По умолчанию в комплекте с phpBBex нет файла robots.txt. Причины две:
1. Этот файл должен отличаться на разных хостах как минимум директивой Host
2. Форум не всегда устанавливается в корень, а во вложенных директориях с этого файла толку нет
В целом phpBBex неплохо дружит с поисковиками и без robots.txt, но правильно созданный robots.txt поможет поисковым роботам разобраться, по каким адресам они не найдут ничего полезного. Это должно немного сократить количество запросов к серверу и общая нагрузка на сервер немного уменьшится. Также в robots.txt вы можете явно указать, какое доменное имя у вас является основным (с www или без). При этом рекомендуется дополнительно настроить постоянные редиректы с не основного домена на основной, чтобы у вас все ссылки были либо строго с www, либо без.
Предлагается следующий robots.txt, который используется на phpbbex.com:
- Код: Выделить всё
User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow: /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/modules
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/styles
Disallow: /forum/umil
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/style.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10
Внимание! Перед использованием вы должны:
1. Заменить адрес в директиве Host, причём важно указать основную форму домена (с www или без)
2. Заменить путь «/forum/» на ваш, если у вас форум в корне — замените просто на «/»
