Индексация Яндекса

[rvszap]

Добрый день. Пользуемся версией 1.5.3. Столкнулись вот с какой проблемой, Яндекс выбросил из индекса кучу страниц с формулировкой, что они являются неканоническими. Потратили кучу времени, чтобы разобраться и вот, что обнаружили.
Вот, к примеру, страница, которая находится в Вебмастере Яндекса в разделе исключены роботом по причине, что страница неканоническая - http:// example.com/viewtopic.php?t=230&p=276, а вот эта же страница, которую мы видим просто зайдя в нужный раздел форума и выбрав нужную тему - http:// example.com/viewtopic.php?f=78&t=230. Как видно - одна и та же страница, но с разными "хвостами", по идее и робот видит их как две разные страницы с абсолютно одинаковым контентом, раз исключил из индекса и где то взял второй "хвост" . Отсюда по идее и причина, почему он сразу же исключает страницу из индекса по причине неканонического контента, потому что воспринимает их ни как одну и ту же страницу, а как две разные с полностью одинаковым текстом. И так уже более 240 страниц. Подскажите как это побороть, нужно добиться, что бы при любых вариантах просмотра у страницы был один код и робот не мог видеть одну страницу, как две, три и тд. Спасибо, с нетерпением ждем ответ.

[VEG]

Всё верно. В phpBB и phpBBex множество страниц с совершенно одинаковым контентом могут иметь разные URL.

Например, вот возможные URL этой страницы:

• http://phpbbex.com/forum/viewtopic.php?t=535
• http://phpbbex.com/forum/viewtopic.php?p=5497#p5497 — ссылка при клике по иконке с изображением листика рядом с вашим сообщением
• http://phpbbex.com/forum/viewtopic.php?t=535&p=5497#p5497 — ссылка при переходе на последнее сообщение из списка тем

Поскольку все эти страницы на самом деле являются одной страницей, phpBBex вставляет следующий тег в код HTML:

Код: Выделить всё

<link rel="canonical" href="http://phpbbex.com/forum/viewtopic.php?t=535" />

Этот тег задаёт единственный правильный (канонический) URL страницы. Подробнее вы можете почитать, например, в справке Google. То есть то, что Яндекс отбрасывает «левые» адреса по причине их «неканоничности» — совершенно нормальное и правильное поведение.

В оригинальном phpBB 3 этого тега нет, поэтому там поисковики объединяют страницы уже по контенту, поэтому основным URL может стать любой из указанных выше вариантов URL, что очень плохо. В phpBBex у вас всегда будет считаться основным только первый вариант, потому что он явно указан как «основной».

[rvszap]

Дело в том, что Яндекс почему то не разбирается, какая главная какая нет, по нашим наблюдениям он просто выкинул из индекса все страницы. Раньше, указанная Вам в качестве примера страница, точно была в поиске и если ввести в поиск полное название темы, выдавалась на первой странице в поиске Яндекса. Сейчас ее нет ни с каким хвостом. Исходя из Вашего поста получается, что робот зашел на сайт прочел не главную ссылку, проиндексировал ее, вывел в поиск. Потом спохватился исключил ее из поиска, а нужную ГЛАВНУЮ еще не проиндексировал. Получается ерунда, где он мог прочесть и как не главную ссылку, если сразу ссылкам присваивается пометка - неканоническая?

[VEG]

Сейчас ее нет ни с каким хвостом.

Причина этого явно не в canonical url.

Исходя из Вашего поста получается, что робот зашел на сайт прочел не главную ссылку, проиндексировал ее, вывел в поиск. Потом спохватился исключил ее из поиска, а нужную ГЛАВНУЮ еще не проиндексировал.

Робот сразу понимает, что он проиндексировал не канонический URL, поэтому в индекс эта страница попадёт с уже правильным URL.

[rvszap]

Т.е. простыми словами Канонический URL роботом еще не проиндексирован? Тогда все таки не могу понять, какой URL попал в поиск и в последствии от туда был исключен?

[VEG]

Тогда все таки не могу понять, какой URL попал в поиск и в последствии от туда был исключен?

В результатах поиска у вас скорее всего был канонический URL, а из поиска страница очевидно была исключена по каким-то другим причинам (если она на самом деле была проиндексирована).

[rvszap]

Проблема не ушла, роботы,особенно Яндекс, продолжают читать страницы и сбрасывать их в исключенные, по причине неканонического контента.
Если поступить таким образом в файле robot.txt
Allow: /viewtopic.php?f=*&t=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?t=*&p=*
Disallow: /viewtopic.php?f=*&p=*
Disallow: /viewtopic.php?f=*&t=*&p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Это решит проблему?

[VEG]

Проблема не ушла, роботы,особенно Яндекс, продолжают читать страницы и сбрасывать их в исключенные, по причине неканонического контента.

Я же написал, что это не проблема. Так и должно быть. Canonical URL и указывается для того, чтобы Яндекс не рассматривал страницы с неканоничным URL.

Ваш вариант robots.txt запретит Яндексу индексировать ссылки на конкретные сообщения. Если кто-то из пользователей поделится такой ссылкой где-то, её вес не будет передан каноничному URL.