Дубли

Board index phpBBex 2.x Поддержка

Description: У вас проблемы с phpBBex 2.x и вам необходима помощь? Спрашивайте здесь!
Forum rules: Одна тема — один вопрос или группа связанных вопросов. Обязательно формируйте внятный заголовок, максимально отражающий суть вопроса. Подробно описывайте проблему. Не забудьте указать версию phpBBex и какие моды установлены, по возможности добавьте скриншоты проблемы или ссылку на страницу с проблемой.
Moderator: Поддержка

Post #1by sas333 » 01.02.2018, 16:23

Здравствуйте подскажите кто разбирается в подобном. Собственно на скриншоте всё видно

Image

Почему так? и так понимаю это отражается на результаты индексирования. Так как у меня всего 12 страниц в поиске так же из этих 12 страниц нет ни одной темы. вот скриншот

Image

а все темы они как дубли отмечены подскажите что не так? и как это исправить?
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #2by Sumanai » 01.02.2018, 16:32

У вас ботам выдаётся "Вы не авторизованы для чтения этого раздела.", и так для всех тем. Настройте права доступа.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #3by sas333 » 01.02.2018, 16:48

Sumanai, Если не сложно подскажите где именно это сделать и какие права лучше установить? Зашёл в раздел Права доступа
Там дальше так понимаю нужно выбрать раздел Права групп Потом выбрать Боты Вообщем Зашёл туда вижу следующее

Image

и вот тут возникает проблема. Так понимаю разрешить всё? Или может я не там смотрю?
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #4by Sumanai » 01.02.2018, 17:05

Зашёл туда вижу следующее
sas333, а теперь посмотрите в доступе к разделам, тут всё в порядке.
sas333 wrote:Так понимаю разрешить всё?
Ни в коем случае, иначе любой проходящий может наделать гадостей.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #5by sas333 » 01.02.2018, 19:50

Sumanai, вроде сделал только вот как проверить подскажите? Как вы узнали что у меня были проблемы с доступом?
Так же хотел спросить не отходя от темы стоит расширение SEO Topic & Canonical URL описание скинул в личку чтобы не было рекламы. подскажите оно вообще нужно? если толк с него. и так же хотел спросить файл robots.txt не как не может повлиять на то что эти дубли появились? так же хотел спросить нет в нем ошибок? стоит такой.

User-Agent: *
Host: http://forum.host-v.ru
Sitemap: http://forum.host-v.ru/sitemap.xml
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow: /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /stk
Disallow: /store
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid /
Clean-param: f&hilit /viewtopic.php
Crawl-delay: 10
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #6by Sumanai » 01.02.2018, 21:01

sas333 wrote:Sumanai, вроде сделал только вот как проверить подскажите?
В яндекс-вебмастере.
sas333 wrote:Как вы узнали что у меня были проблемы с доступом?
Посмотрел кеш поисковой системы.
sas333 wrote:SEO Topic & Canonical URL
В общем то не обязательно, на эксе это исправлено другим способом, но удалять уже поздно.
sas333 wrote:и так же хотел спросить файл robots.txt не как не может повлиять на то что эти дубли появились?
Нет не может. Причину я уже указал, с точки зрения поисковых систем содержание тем у вас не отличается, отсюда и дубли.
Файл у вас нормальный.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #7by sas333 » 03.02.2018, 10:37

Sumanai, решил Проверить статус URL в яндекс вебмастере взял тему которая в дубли попадает (хотя они все темы в дублях) и почему он (яндекс) считает что содержание у тем не отличается. Есть конечно несколько тем где просто ссылка на видио с ютуба но это всего 2 или три темы таких так он все почему то пихает в дубли. взять пример пишет что это http://forum.host-v.ru/viewtopic.php?t=84 дублируется этим http://forum.host-v.ru/viewtopic.php?t=6 но видно же то это разные темы. Так же есть тема которая появилась одна из первых на моём форуме так в итоге я её в поиске так и не увидел уже после на других ресурсах скопированные тему увидел, а моя как дубль засчиталась. вообщем вернусь к тому с чего начал сообщение собственно на скриншоте показано что выдал яндекс

Image

Пишет что Страница исключена в результате обработки роботом директивы Clean-param. Чтобы страница индексировалась, измените robots.txt
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #8by Sumanai » 03.02.2018, 12:28

sas333 wrote:но видно же то это разные темы.
Если вы не изменяли прав доступа, то поисковая система не увидит отличий в тексте "Вы не авторизованы для чтения этого раздела". Вы настроили права доступа? Если не можете сами, можете дать мне, за пиво сделаю.
sas333 wrote:Страница исключена в результате обработки роботом директивы Clean-param.
Ну конечно, вот же
Code: Select all
Clean-param: f&hilit /viewtopic.php
Перевожу на человеческий- "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php.
SEO Topic & Canonical URL удалили? Я же говорил, что делать это уже поздно. Либо ставьте его назад, чтобы ссылки соответствовали роботсу, либо удалите f& оттуда.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #9by sas333 » 03.02.2018, 15:51

Sumanai, всё теперь понял что он видел только Вы не авторизованы для чтения этого раздела Просто немного другое представление было о том как бот видит сайт поэтому сам себя и ввел в заблуждение.
На счёт прав я их открыл. Сделал вообщем права как для гостей запретил всё кроме этого
Image
Так нормально или может ещё что то открыть нужно?

По поводу Clean-param: f&hilit /viewtopic.php если честно не совсем понял до конца. Вы написали "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php. это что он страницу будет игнорировать или что?

Расширение пока не удалял в настройках расширения стоит так

Image

Адреса тем получаются идут такие viewtopic.php?t=148 ну вообщем как и были.
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #10by Sumanai » 03.02.2018, 16:23

sas333 wrote:Так нормально или может ещё что то открыть нужно?
Нормально.
sas333 wrote:Вы написали "игнорируем параметры f и hilit на адресах, начинающихся с viewtopic.php. это что он страницу будет игнорировать или что?
ПО идее он должен игнорировать только изменение параметра f.
sas333 wrote:Адреса тем получаются идут такие viewtopic.php?t=148 ну вообщем как и были
Ага, а каноникал другой. Проблема этого расширения в том, что оно не учитывает правки в phpBBex.
Вам нужно открыть файл viewtopic.php, найти строку
Code: Select all
   'U_CANONICAL'         => generate_board_url() . '/' . append_sid("viewtopic.$phpEx", "f=$forum_id&t=$topic_id" . (($start) ? "&start=$start" : ''), true, ''),
И заменить на
Code: Select all
   'U_CANONICAL'         => generate_board_url() . '/' . append_sid("viewtopic.$phpEx", "t=$topic_id" . (($start) ? "&start=$start" : ''), true, ''),
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #11by sas333 » 03.02.2018, 16:50

Sumanai wrote:ПО идее он должен игнорировать только изменение параметра f.
а что если просто убрать в robots.txt Clean-param: f&hilit /viewtopic.php а то что то как то странно яндекс пишет Страница исключена в результате обработки роботом директивы Clean-param
в гугле так вообще не понятно типа ошибка. Вообще чем она помогает индексированию и как как она важна? или особой важности она не представляет?

Sumanai wrote:И заменить на
Сделал. так понимаю остаётся только ждать? это не быстрый процесс наверно? (Я про то когда эти дубли уберутся)
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #12by Sumanai » 03.02.2018, 19:33

sas333 wrote:Вообще чем она помогает индексированию и как как она важна?
Она даёт ПС понять, что при изменении параметра f содержимое страницы не меняется. Так как у вас как канонические, так и реальные ссылки без этого параметра, в общем-то опция эта не нужна. Но по идее и хуже быть не должно, так как все ссылки у вас теперь без этого параметра.
Проблема тут появилась из-за того, что вы начали чинить то, что не сломано. Расширение SEO Topic & Canonical URL по сути не нужно на phpBBex, просто метод решения проблемы был другой, не совместимый с ним. Правкой в viewtopic вы откатили это изменение, сделав движок совместимым с этим расширением.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #13by sas333 » 03.02.2018, 20:13

Sumanai, Сейчас у меня всё настроено как надо и темы будут попадать в поиск я правильно понимаю? так же ещё хотел спросить сам phpbbex уже оптимизирован под поисковые системы или может мне нужно что то ещё сделать чтобы это сказывалась на результатах индексирования ( на позиции в поиске) я про то что не считая того чтобы создавать уникальный контент на форуме и тому подобное мне нужно что то ещё сделать? Ну и не считая sitemap.xml он уже есть. я сам в подобном не силён да и думаю вы уже это поняли))) значит sitemap.xml есть. Потом robots.txt тоже есть. Права боту открыл. Ну и может ещё что то посоветуете сделать? как говорится Совет от опытного человека))
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #14by Sumanai » 03.02.2018, 23:43

sas333 wrote:Сейчас у меня всё настроено как надо и темы будут попадать в поиск я правильно понимаю?
Да. Больше пока ничего делать не нужно.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months

Post #15by sas333 » 04.02.2018, 00:03

Sumanai, Спасибо вам большое а то я бы так долго бы гадал что не так у меня))
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #16by sas333 » 08.02.2018, 18:57

Sumanai, Зравствуйте благодаря вам процес пошёл. Сегодня зашёл на Яндекс Вебмастер увидел что страницы начинают по маленьку появлятся. Только заметил следующее Так же появляются дубли но уже связанные с поиском на самом форуме вообщем выдаёт следующее

/search.php?keywords=ник
/search.php?keywords=%D0%B1%D0%B0%D0%BD

Страница дублирует уже представленную в поиске страницу http://forum.host-v.ru/search.php?keywords=бан. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

при переходе по ссылкам попадаю на страницы
http://forum.host-v.ru/search.php?keywords=ник
и
http://forum.host-v.ru/search.php?keywords=бан

Подскажите это так и должно быть или может что то не так сделал?
То что я пытаюсь настроить вот собственно сам форум http://forum.host-v.ru/
sas333
Topic author, Мастер
Reputation: 8
With us: 2 yaers 1 month

Post #17by Sumanai » 09.02.2018, 01:02

В robots добавьте
Code: Select all
Disallow: /search.php
после остальных Disallow, в поиске эти страницы не нужны.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Гуру
Avatar
Reputation: 1658
With us: 5 years 8 months


Return to Поддержка