Файл robots.txt для phpBBex 2.x и новее

Board index phpBBex 2.x Мастерская

Description: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 2.x и phpBB 3.1.x.
Moderator: Поддержка

Post #21by agronavt » 14.12.2015, 15:02

ЖЪРЧИК wrote::biggrin: у яндекса сколько?
Невидимая рука рынка. :smoke:

forum14.jpg

Сегодня цена выросла в СЕМЬ раз, с двух рублей за клик до 14. С чем это связано не понятно. По другому объявлению в пять раз рост цены.
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 7 months

Нужна подсказка в настройке robots.txt

Post #22by trururu » 06.05.2016, 21:28

Ребят, всем привет! В кратце: в корне сайта лежит wordpress и имеет вот такой работс.тхт

Code: Select all
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*add-to-cart=*
Disallow: /wp-json
Disallow: /cart
Disallow: /checkout
Disallow: /my-account
Allow: /wp-content/uploads/
Allow: /club/

Теперь, будет создаваться папка /club/ и там появится форум на phpbbex, в связи с чем вопросы:
1. Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)
2. Стоит ли на корневом роботс ворпресса указывать Allow: /club/, или поисковики сами найдут если сайтмап указать
3. Вопрос вытекает из второго.. Нужно ли указывать сайтмап форума /club/ рядом с сайтмапом самого вопресса и можно(нужно) ли вообще объединить оба этих robots.txt в один?
понятно что сайтмапы разные будут, а роботс?
trururu
Гость

Post #23by Sumanai » 06.05.2016, 22:24

trururu wrote:Не будет ли конфликта роботса от вордпресса с новым форумом (меня беспокоит пункт Disallow: /*?*)
Будет, это правило нужно удалить, иначе форума в индексе вы не дождётесь.
trururu wrote:Стоит ли на корневом роботс ворпресса указывать Allow: /club/,
Правил, запрещающих индексацию части этой ссылки, нет, поэтому не нужно.
trururu wrote:и можно(нужно) ли вообще объединить оба этих robots.txt в один?
robots.txt должен быть один, в корне домена. Остальные работать не будут.
Карт сайта можно указать несколько, так что форумная и вордпресовская пересекаться не будут.

Added after 32 seconds:
А вообще, у нас есть тема про robots, завтра темы объединю.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1579
With us: 4 yaers 5 months

Post #24by trururu » 07.05.2016, 10:05

В общем, залез сегодня в инструменты веб-мастеров яши и гугла, они выдали следующее:

Image

Image

по логике вещей правило *?* должно запретить индекс топиков форума, но с другой стороны возможно "Alow club" как-то исправляет ситуацию? Потому что в инструментах веб-мастеров показывается что индекс разрешен, даже если это и не логично...
Кто-то сталкивался с подобным? Стоит ли оставлять такие параметры роботса, чтобы потом без проблем? Сайту нельзя выпадать из поиска..

Added after 1 minute 55 seconds:
Кстати, робот гугла тоже, как и на яндексе выдает также, что
/club/тема - доступен
/тема - недоступен

Возможно правило *?* срабатывает только в вордпресс сайте? но почему?! :weirdface:
trururu
Гость

Post #25by Sumanai » 07.05.2016, 12:05

trururu wrote:Сайту нельзя выпадать из поиска..
Он не выпадет, если убрать запрещающее правило. Лучше убрать, надёжнее.
И прописать правила форума из первого сообщения этой темы.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1579
With us: 4 yaers 5 months

Previous

Return to Мастерская