страницы не индексируются

Список разделов phpBBex 1.x (поддерживается) Поддержка 1.x

Описание: У вас проблемы с phpBBex 1.x и вам необходима помощь? Спрашивайте здесь!
Правила раздела: Одна тема — один вопрос или группа связанных вопросов. Обязательно формируйте внятный заголовок, максимально отражающий суть вопроса. Подробно описывайте проблему. Не забудьте указать версию phpBBex и какие моды установлены, по возможности добавьте скриншоты проблемы или ссылку на страницу с проблемой.
Модератор: Поддержка

Сообщение #1 nikulinlg » 31.10.2013, 12:44

Страницы форума не попадают в поисковую выдачу из-за canonical. Как это исправить? Вот, то, что говорит мне yandex webmaster:
info.png
info.png (8.27 КБ) Просмотров: 5012

canon.png
canon.png (9.73 КБ) Просмотров: 5015

Robots.txt:
Код: Выделить всё
User-Agent: *
Host: forumspeak.ru
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/modules
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/styles
Disallow: /forum/umil
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/style.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Sitemap: http://forumspeak.ru/sitemap.php
Clean-param: sid /
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10
nikulinlg M
Автор темы
Аватара
Откуда: Воронеж
Репутация: 1
С нами: 10 лет 5 месяцев

Сообщение #2 Demasik » 31.10.2013, 13:12

Сделайте вот так, т.к скрипт движка у вас не в папке forum.
Код: Выделить всё
User-Agent: *
Host: forumspeak.ru
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow:    /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /modules
Disallow: /stk
Disallow: /store
Disallow: /styles
Disallow: /umil
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid /
Clean-param: f&hilit /viewtopic.php
Crawl-delay: 10
Demasik
Аватара
Откуда: Новосибирск
Репутация: 14
С нами: 10 лет 7 месяцев

Сообщение #3 nikulinlg » 31.10.2013, 13:39

Вот это я дурачок! Спасибо Огромное!
nikulinlg M
Автор темы
Аватара
Откуда: Воронеж
Репутация: 1
С нами: 10 лет 5 месяцев

Сообщение #4 Alexandr_ » 31.10.2013, 14:22

Я думаю что проблема не в роботс.тхт.

И вообще, какой смысл указывать это:
Disallow: /docs # Это вообще нужно удалить
Disallow: /install # Это тем более

Это вообще должно быть закрыто напрочь по ip и htpasswd {return 404;} {return 403;}
Disallow: /stk
Disallow: /adm
Disallow: /mcp.php

# Это тоже можно закрыть на {return 404;} не {return 403;}
Disallow: /store
Disallow: /includes
Disallow: /umil
Disallow: /cache
Disallow: /classes


Это вообще бред
Disallow: /style.php
Disallow: /posting.php
Disallow: /report.php

#Это тоже тут не нужно а файлы темы закрыть на доступ через GET запрос .html
Disallow: /styles

И вообще, лучше всего создать sitemap.xml и в роботс указать где он есть.
Alexandr_
Репутация: 5
С нами: 10 лет 5 месяцев

Сообщение #5 nikulinlg » 31.10.2013, 15:15

Alexandr_:И вообще, лучше всего создать sitemap.xml и в роботс указать где он есть.
То есть в robots.txt должен быть только путь к sitemap.xml и все?
nikulinlg M
Автор темы
Аватара
Откуда: Воронеж
Репутация: 1
С нами: 10 лет 5 месяцев

Сообщение #6 Sumanai » 31.10.2013, 15:24

nikulinlg:Страницы форума не попадают в поисковую выдачу из-за canonical.

Из- за него не попала только часть страниц, но это так и надо. У вас другие проблемы- 9 штук 404 ответов и ошибки типа "Документ не поддерживается".

Alexandr_:И вообще, какой смысл указывать это:
Disallow: /docs # Это вообще нужно удалить
Disallow: /install # Это тем более

Могут возникнуть проблемы при обновлении мерикуалом.

nikulinlg:То есть в robots.txt должен быть только путь к sitemap.xml и все?

Само собой не забудьте её создать. Для phpBBex есть мод, генерирующий карту сайта, поищите в мастерской.
Sumanai M
Аватара
Репутация: 1677
С нами: 11 лет 2 месяца

Сообщение #7 nikulinlg » 31.10.2013, 15:26

Sumanai:Само собой не забудьте её создать. Для phpBBex есть мод, генерирующий карту сайта, поищите в мастерской.
Sitemap уже стоит. Значит я просто отсылаю бота на sitemap и все, так?
nikulinlg M
Автор темы
Аватара
Откуда: Воронеж
Репутация: 1
С нами: 10 лет 5 месяцев

Сообщение #8 Sumanai » 31.10.2013, 15:35

nikulinlg:Значит я просто отсылаю бота на sitemap и все, так?

Ну да, указываете путь к нему в robots.txt. Иначе как поисковик узнает, что у вас есть карта сайта? Как укажете- найдёт и пройдётся по всем указанным там ссылкам.
Sumanai M
Аватара
Репутация: 1677
С нами: 11 лет 2 месяца

Сообщение #9 nikulinlg » 31.10.2013, 15:37

Sumanai, спасибо за ценные советы. Обязательно сделаю так, как Вы порекомендовали.
nikulinlg M
Автор темы
Аватара
Откуда: Воронеж
Репутация: 1
С нами: 10 лет 5 месяцев

Сообщение #10 Sumanai » 31.10.2013, 15:38

nikulinlg:Обязательно сделаю так, как Вы порекомендовали.

Не я первый предложил, если что.
Sumanai M
Аватара
Репутация: 1677
С нами: 11 лет 2 месяца

Сообщение #11 Alexandr_ » 31.10.2013, 15:44

Sumanai:Могут возникнуть проблемы при обновлении мерикуалом.
Я сомневаюсь что у nikulinlg будут такие проблемы. А лично я работаю с ним локально. Мне на боевом сервере незачем отслеживать изменения. Все работы ведутся на локальном компустере. Может пригодиться разве что, если доступ на сервер не у тебя одного.
Alexandr_
Репутация: 5
С нами: 10 лет 5 месяцев


Вернуться в Поддержка 1.x



cron