Файл robots.txt для phpBBex 2.x и новее

[agronavt]

:biggrin: у яндекса сколько?
Невидимая рука рынка.

Сегодня цена выросла в СЕМЬ раз, с двух рублей за клик до 14. С чем это связано не понятно. По другому объявлению в пять раз рост цены.

[trururu]

Ребят, всем привет! В кратце: в корне сайта лежит wordpress и имеет вот такой работс.тхт

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*add-to-cart=*
Disallow: /wp-json
Disallow: /cart
Disallow: /checkout
Disallow: /my-account
Allow: /wp-content/uploads/
Allow: /club/

Теперь, будет создаваться папка /club/ и там появится форум на phpbbex, в связи с чем вопросы:
1. Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)
2. Стоит ли на корневом роботс ворпресса указывать Allow: /club/, или поисковики сами найдут если сайтмап указать
3. Вопрос вытекает из второго.. Нужно ли указывать сайтмап форума /club/ рядом с сайтмапом самого вопресса и можно(нужно) ли вообще объединить оба этих robots.txt в один?
понятно что сайтмапы разные будут, а роботс?

[Sumanai]

Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)

Будет, это правило нужно удалить, иначе форума в индексе вы не дождётесь.

Стоит ли на корневом роботс ворпресса указывать Allow: /club/,

Правил, запрещающих индексацию части этой ссылки, нет, поэтому не нужно.

и можно(нужно) ли вообще объединить оба этих robots.txt в один?

robots.txt должен быть один, в корне домена. Остальные работать не будут.
Карт сайта можно указать несколько, так что форумная и вордпресовская пересекаться не будут.

Добавлено спустя 32 секунды:
А вообще, у нас есть тема про robots, завтра темы объединю.

[trururu]

В общем, залез сегодня в инструменты веб-мастеров яши и гугла, они выдали следующее:





по логике вещей правило *?* должно запретить индекс топиков форума, но с другой стороны возможно "Alow club" как-то исправляет ситуацию? Потому что в инструментах веб-мастеров показывается что индекс разрешен, даже если это и не логично...
Кто-то сталкивался с подобным? Стоит ли оставлять такие параметры роботса, чтобы потом без проблем? Сайту нельзя выпадать из поиска..

Добавлено спустя 1 минуту 55 секунд:
Кстати, робот гугла тоже, как и на яндексе выдает также, что
/club/тема - доступен
/тема - недоступен

Возможно правило *?* срабатывает только в вордпресс сайте? но почему?!

[Sumanai]

Сайту нельзя выпадать из поиска..

Он не выпадет, если убрать запрещающее правило. Лучше убрать, надёжнее.
И прописать правила форума из первого сообщения этой темы.