Индексация Яндекса

Список разделов phpBBex 1.x (поддерживается) Поддержка 1.x

Описание: У вас проблемы с phpBBex 1.x и вам необходима помощь? Спрашивайте здесь!
Правила раздела: Одна тема — один вопрос или группа связанных вопросов. Обязательно формируйте внятный заголовок, максимально отражающий суть вопроса. Подробно описывайте проблему. Не забудьте указать версию phpBBex и какие моды установлены, по возможности добавьте скриншоты проблемы или ссылку на страницу с проблемой.
Модератор: Поддержка

Сообщение #1 rvszap » 05.05.2013, 14:48

Добрый день. Пользуемся версией 1.5.3. Столкнулись вот с какой проблемой, Яндекс выбросил из индекса кучу страниц с формулировкой, что они являются неканоническими. Потратили кучу времени, чтобы разобраться и вот, что обнаружили.
Вот, к примеру, страница, которая находится в Вебмастере Яндекса в разделе исключены роботом по причине, что страница неканоническая - http:// example.com/viewtopic.php?t=230&p=276, а вот эта же страница, которую мы видим просто зайдя в нужный раздел форума и выбрав нужную тему - http:// example.com/viewtopic.php?f=78&t=230. Как видно - одна и та же страница, но с разными "хвостами", по идее и робот видит их как две разные страницы с абсолютно одинаковым контентом, раз исключил из индекса и где то взял второй "хвост" . Отсюда по идее и причина, почему он сразу же исключает страницу из индекса по причине неканонического контента, потому что воспринимает их ни как одну и ту же страницу, а как две разные с полностью одинаковым текстом. И так уже более 240 страниц. Подскажите как это побороть, нужно добиться, что бы при любых вариантах просмотра у страницы был один код и робот не мог видеть одну страницу, как две, три и тд. Спасибо, с нетерпением ждем ответ.
rvszap
Автор темы
Репутация: 6
С нами: 11 лет

Сообщение #2 VEG » 05.05.2013, 14:56

Всё верно. В phpBB и phpBBex множество страниц с совершенно одинаковым контентом могут иметь разные URL.

Например, вот возможные URL этой страницы:
  • http://phpbbex.com/forum/viewtopic.php?t=535
  • http://phpbbex.com/forum/viewtopic.php?p=5497#p5497 — ссылка при клике по иконке с изображением листика рядом с вашим сообщением
  • http://phpbbex.com/forum/viewtopic.php?t=535&p=5497#p5497 — ссылка при переходе на последнее сообщение из списка тем

Поскольку все эти страницы на самом деле являются одной страницей, phpBBex вставляет следующий тег в код HTML:
Код: Выделить всё
<link rel="canonical" href="http://phpbbex.com/forum/viewtopic.php?t=535" />

Этот тег задаёт единственный правильный (канонический) URL страницы. Подробнее вы можете почитать, например, в справке Google. То есть то, что Яндекс отбрасывает «левые» адреса по причине их «неканоничности» — совершенно нормальное и правильное поведение.

В оригинальном phpBB 3 этого тега нет, поэтому там поисковики объединяют страницы уже по контенту, поэтому основным URL может стать любой из указанных выше вариантов URL, что очень плохо. В phpBBex у вас всегда будет считаться основным только первый вариант, потому что он явно указан как «основной».
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #3 rvszap » 05.05.2013, 15:31

Дело в том, что Яндекс почему то не разбирается, какая главная какая нет, по нашим наблюдениям он просто выкинул из индекса все страницы. Раньше, указанная Вам в качестве примера страница, точно была в поиске и если ввести в поиск полное название темы, выдавалась на первой странице в поиске Яндекса. Сейчас ее нет ни с каким хвостом. Исходя из Вашего поста получается, что робот зашел на сайт прочел не главную ссылку, проиндексировал ее, вывел в поиск. Потом спохватился исключил ее из поиска, а нужную ГЛАВНУЮ еще не проиндексировал. Получается ерунда, где он мог прочесть и как не главную ссылку, если сразу ссылкам присваивается пометка - неканоническая?
rvszap
Автор темы
Репутация: 6
С нами: 11 лет

Сообщение #4 VEG » 05.05.2013, 15:41

rvszap:Сейчас ее нет ни с каким хвостом.
Причина этого явно не в canonical url.
rvszap:Исходя из Вашего поста получается, что робот зашел на сайт прочел не главную ссылку, проиндексировал ее, вывел в поиск. Потом спохватился исключил ее из поиска, а нужную ГЛАВНУЮ еще не проиндексировал.
Робот сразу понимает, что он проиндексировал не канонический URL, поэтому в индекс эта страница попадёт с уже правильным URL.
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #5 rvszap » 05.05.2013, 15:47

Т.е. простыми словами Канонический URL роботом еще не проиндексирован? Тогда все таки не могу понять, какой URL попал в поиск и в последствии от туда был исключен?
rvszap
Автор темы
Репутация: 6
С нами: 11 лет

Сообщение #6 VEG » 05.05.2013, 16:21

rvszap:Тогда все таки не могу понять, какой URL попал в поиск и в последствии от туда был исключен?
В результатах поиска у вас скорее всего был канонический URL, а из поиска страница очевидно была исключена по каким-то другим причинам (если она на самом деле была проиндексирована).
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #7 rvszap » 16.06.2013, 23:09

Проблема не ушла, роботы,особенно Яндекс, продолжают читать страницы и сбрасывать их в исключенные, по причине неканонического контента.
Если поступить таким образом в файле robot.txt
Allow: /viewtopic.php?f=*&t=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Это решит проблему?
rvszap
Автор темы
Репутация: 6
С нами: 11 лет

Сообщение #8 VEG » 17.06.2013, 11:48

rvszap:Проблема не ушла, роботы,особенно Яндекс, продолжают читать страницы и сбрасывать их в исключенные, по причине неканонического контента.
Я же написал, что это не проблема. Так и должно быть. Canonical URL и указывается для того, чтобы Яндекс не рассматривал страницы с неканоничным URL.

Ваш вариант robots.txt запретит Яндексу индексировать ссылки на конкретные сообщения. Если кто-то из пользователей поделится такой ссылкой где-то, её вес не будет передан каноничному URL.
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев


Вернуться в Поддержка 1.x