Дубли

**sas333** » 01.02.2018, 16:23

Здравствуйте подскажите кто разбирается в подобном. Собственно на скриншоте всё видно

Почему так? и так понимаю это отражается на результаты индексирования. Так как у меня всего 12 страниц в поиске так же из этих 12 страниц нет ни одной темы. вот скриншот

а все темы они как дубли отмечены подскажите что не так? и как это исправить?

**Sumanai** » 01.02.2018, 16:32

У вас ботам выдаётся "Вы не авторизованы для чтения этого раздела.", и так для всех тем. Настройте права доступа.

**sas333** » 01.02.2018, 16:48

Sumanai, Если не сложно подскажите где именно это сделать и какие права лучше установить? Зашёл в раздел Права доступа
Там дальше так понимаю нужно выбрать раздел Права групп Потом выбрать Боты Вообщем Зашёл туда вижу следующее

и вот тут возникает проблема. Так понимаю разрешить всё? Или может я не там смотрю?

**Sumanai** » 01.02.2018, 17:05

Зашёл туда вижу следующее

sas333, а теперь посмотрите в доступе к разделам, тут всё в порядке.

sas333:Так понимаю разрешить всё?

Ни в коем случае, иначе любой проходящий может наделать гадостей.

**sas333** » 01.02.2018, 19:50

Sumanai, вроде сделал только вот как проверить подскажите? Как вы узнали что у меня были проблемы с доступом?
Так же хотел спросить не отходя от темы стоит расширение SEO Topic & Canonical URL описание скинул в личку чтобы не было рекламы. подскажите оно вообще нужно? если толк с него. и так же хотел спросить файл robots.txt не как не может повлиять на то что эти дубли появились? так же хотел спросить нет в нем ошибок? стоит такой.

User-Agent: *
Host: http://forum.host-v.ru
Sitemap: http://forum.host-v.ru/sitemap.xml
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow: /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /stk
Disallow: /store
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid /
Clean-param: f&hilit /viewtopic.php
Crawl-delay: 10

**Sumanai** » 01.02.2018, 21:01

sas333:Sumanai, вроде сделал только вот как проверить подскажите?

В яндекс-вебмастере.

sas333:Как вы узнали что у меня были проблемы с доступом?

Посмотрел кеш поисковой системы.

sas333:SEO Topic & Canonical URL

В общем то не обязательно, на эксе это исправлено другим способом, но удалять уже поздно.

sas333:и так же хотел спросить файл robots.txt не как не может повлиять на то что эти дубли появились?

Нет не может. Причину я уже указал, с точки зрения поисковых систем содержание тем у вас не отличается, отсюда и дубли.
Файл у вас нормальный.

**sas333** » 03.02.2018, 10:37

Sumanai, решил Проверить статус URL в яндекс вебмастере взял тему которая в дубли попадает (хотя они все темы в дублях) и почему он (яндекс) считает что содержание у тем не отличается. Есть конечно несколько тем где просто ссылка на видио с ютуба но это всего 2 или три темы таких так он все почему то пихает в дубли. взять пример пишет что это http://forum.host-v.ru/viewtopic.php?t=84 дублируется этим http://forum.host-v.ru/viewtopic.php?t=6 но видно же то это разные темы. Так же есть тема которая появилась одна из первых на моём форуме так в итоге я её в поиске так и не увидел уже после на других ресурсах скопированные тему увидел, а моя как дубль засчиталась. вообщем вернусь к тому с чего начал сообщение собственно на скриншоте показано что выдал яндекс

Пишет что Страница исключена в результате обработки роботом директивы Clean-param. Чтобы страница индексировалась, измените robots.txt

**Sumanai** » 03.02.2018, 12:28

sas333:но видно же то это разные темы.

Если вы не изменяли прав доступа, то поисковая система не увидит отличий в тексте "Вы не авторизованы для чтения этого раздела". Вы настроили права доступа? Если не можете сами, можете дать мне, за пиво сделаю.

sas333:Страница исключена в результате обработки роботом директивы Clean-param.

Ну конечно, вот же

Код: Выделить всё: Clean-param: f&hilit /viewtopic.php

Перевожу на человеческий- "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php.
SEO Topic & Canonical URL удалили? Я же говорил, что делать это уже поздно. Либо ставьте его назад, чтобы ссылки соответствовали роботсу, либо удалите f& оттуда.

**sas333** » 03.02.2018, 15:51

Sumanai, всё теперь понял что он видел только Вы не авторизованы для чтения этого раздела Просто немного другое представление было о том как бот видит сайт поэтому сам себя и ввел в заблуждение.
На счёт прав я их открыл. Сделал вообщем права как для гостей запретил всё кроме этого

Так нормально или может ещё что то открыть нужно?

По поводу Clean-param: f&hilit /viewtopic.php если честно не совсем понял до конца. Вы написали "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php. это что он страницу будет игнорировать или что?

Расширение пока не удалял в настройках расширения стоит так

Адреса тем получаются идут такие viewtopic.php?t=148 ну вообщем как и были.

**Sumanai** » 03.02.2018, 16:23

sas333:Так нормально или может ещё что то открыть нужно?

Нормально.

sas333:Вы написали "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php. это что он страницу будет игнорировать или что?

ПО идее он должен игнорировать только изменение параметра f.

sas333:Адреса тем получаются идут такие viewtopic.php?t=148 ну вообщем как и были

Ага, а каноникал другой. Проблема этого расширения в том, что оно не учитывает правки в phpBBex.
Вам нужно открыть файл viewtopic.php, найти строку

Код: Выделить всё: 'U_CANONICAL' => generate_board_url() . '/' . append_sid("viewtopic.$phpEx", "f=$forum_id&t=$topic_id" . (($start) ? "&start=$start" : ''), true, ''),

И заменить на

Код: Выделить всё: 'U_CANONICAL' => generate_board_url() . '/' . append_sid("viewtopic.$phpEx", "t=$topic_id" . (($start) ? "&start=$start" : ''), true, ''),

**sas333** » 03.02.2018, 16:50

Sumanai:ПО идее он должен игнорировать только изменение параметра f.

а что если просто убрать в robots.txt Clean-param: f&hilit /viewtopic.php а то что то как то странно яндекс пишет Страница исключена в результате обработки роботом директивы Clean-param
в гугле так вообще не понятно типа ошибка. Вообще чем она помогает индексированию и как как она важна? или особой важности она не представляет?

Sumanai:И заменить на

Сделал. так понимаю остаётся только ждать? это не быстрый процесс наверно? (Я про то когда эти дубли уберутся)

**Sumanai** » 03.02.2018, 19:33

sas333:Вообще чем она помогает индексированию и как как она важна?

Она даёт ПС понять, что при изменении параметра f содержимое страницы не меняется. Так как у вас как канонические, так и реальные ссылки без этого параметра, в общем-то опция эта не нужна. Но по идее и хуже быть не должно, так как все ссылки у вас теперь без этого параметра.
Проблема тут появилась из-за того, что вы начали чинить то, что не сломано. Расширение SEO Topic & Canonical URL по сути не нужно на phpBBex, просто метод решения проблемы был другой, не совместимый с ним. Правкой в viewtopic вы откатили это изменение, сделав движок совместимым с этим расширением.

**sas333** » 03.02.2018, 20:13

Sumanai, Сейчас у меня всё настроено как надо и темы будут попадать в поиск я правильно понимаю? так же ещё хотел спросить сам phpbbex уже оптимизирован под поисковые системы или может мне нужно что то ещё сделать чтобы это сказывалась на результатах индексирования ( на позиции в поиске) я про то что не считая того чтобы создавать уникальный контент на форуме и тому подобное мне нужно что то ещё сделать? Ну и не считая sitemap.xml он уже есть. я сам в подобном не силён да и думаю вы уже это поняли))) значит sitemap.xml есть. Потом robots.txt тоже есть. Права боту открыл. Ну и может ещё что то посоветуете сделать? как говорится Совет от опытного человека))

**Sumanai** » 03.02.2018, 23:43

sas333:Сейчас у меня всё настроено как надо и темы будут попадать в поиск я правильно понимаю?

Да. Больше пока ничего делать не нужно.

**sas333** » 04.02.2018, 00:03

Sumanai, Спасибо вам большое а то я бы так долго бы гадал что не так у меня))

**sas333** » 08.02.2018, 18:57

Sumanai, Зравствуйте благодаря вам процес пошёл. Сегодня зашёл на Яндекс Вебмастер увидел что страницы начинают по маленьку появлятся. Только заметил следующее Так же появляются дубли но уже связанные с поиском на самом форуме вообщем выдаёт следующее

/search.php?keywords=ник
/search.php?keywords=%D0%B1%D0%B0%D0%BD

Страница дублирует уже представленную в поиске страницу http://forum.host-v.ru/search.php?keywords=бан. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

при переходе по ссылкам попадаю на страницы
http://forum.host-v.ru/search.php?keywords=ник
и
http://forum.host-v.ru/search.php?keywords=бан

Подскажите это так и должно быть или может что то не так сделал?

**Sumanai** » 09.02.2018, 01:02

В robots добавьте

Код: Выделить всё: Disallow: /search.php

после остальных Disallow, в поиске эти страницы не нужны.