Файл robots.txt для phpBBex 2.x и новее

Список разделов phpBBex 2.x (заброшен) Мастерская 2.x

Описание: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 2.x и phpBB 3.1.x.
Модератор: Поддержка

Сообщение #21 agronavt » 14.12.2015, 15:02

ЖЪРЧИК::biggrin: у яндекса сколько?
Невидимая рука рынка. :smoke:

forum14.jpg

Сегодня цена выросла в СЕМЬ раз, с двух рублей за клик до 14. С чем это связано не понятно. По другому объявлению в пять раз рост цены.
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Нужна подсказка в настройке robots.txt

Сообщение #22 trururu » 06.05.2016, 21:28

Ребят, всем привет! В кратце: в корне сайта лежит wordpress и имеет вот такой работс.тхт

Код: Выделить всё
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*add-to-cart=*
Disallow: /wp-json
Disallow: /cart
Disallow: /checkout
Disallow: /my-account
Allow: /wp-content/uploads/
Allow: /club/

Теперь, будет создаваться папка /club/ и там появится форум на phpbbex, в связи с чем вопросы:
1. Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)
2. Стоит ли на корневом роботс ворпресса указывать Allow: /club/, или поисковики сами найдут если сайтмап указать
3. Вопрос вытекает из второго.. Нужно ли указывать сайтмап форума /club/ рядом с сайтмапом самого вопресса и можно(нужно) ли вообще объединить оба этих robots.txt в один?
понятно что сайтмапы разные будут, а роботс?
trururu
Гость

Сообщение #23 Sumanai » 06.05.2016, 22:24

trururu:Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)
Будет, это правило нужно удалить, иначе форума в индексе вы не дождётесь.
trururu:Стоит ли на корневом роботс ворпресса указывать Allow: /club/,
Правил, запрещающих индексацию части этой ссылки, нет, поэтому не нужно.
trururu:и можно(нужно) ли вообще объединить оба этих robots.txt в один?
robots.txt должен быть один, в корне домена. Остальные работать не будут.
Карт сайта можно указать несколько, так что форумная и вордпресовская пересекаться не будут.

Добавлено спустя 32 секунды:
А вообще, у нас есть тема про robots, завтра темы объединю.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #24 trururu » 07.05.2016, 10:05

В общем, залез сегодня в инструменты веб-мастеров яши и гугла, они выдали следующее:

Изображение

Изображение

по логике вещей правило *?* должно запретить индекс топиков форума, но с другой стороны возможно "Alow club" как-то исправляет ситуацию? Потому что в инструментах веб-мастеров показывается что индекс разрешен, даже если это и не логично...
Кто-то сталкивался с подобным? Стоит ли оставлять такие параметры роботса, чтобы потом без проблем? Сайту нельзя выпадать из поиска..

Добавлено спустя 1 минуту 55 секунд:
Кстати, робот гугла тоже, как и на яндексе выдает также, что
/club/тема - доступен
/тема - недоступен

Возможно правило *?* срабатывает только в вордпресс сайте? но почему?! :weirdface:
trururu
Гость

Сообщение #25 Sumanai » 07.05.2016, 12:05

trururu:Сайту нельзя выпадать из поиска..
Он не выпадет, если убрать запрещающее правило. Лучше убрать, надёжнее.
И прописать правила форума из первого сообщения этой темы.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Пред.

Вернуться в Мастерская 2.x