Файл robots.txt для phpBBex 2.x и новее

[Sumanai]

Так как произошли изменения в движке phpBB 3.1.x и соответственно phpBBex 2.x, оптимальный файл robots.txt претерпевает изменения:

Код: Выделить всё

User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10

По сравнению с файлом robots.txt phpBBex 1.х убраны строки

Код: Выделить всё

Disallow: /forum/modules
Disallow: /forum/styles
Disallow: /forum/umil
Disallow: /forum/style.php

Настоятельно рекомендую проверить наличие данных строк и удалить. Например, строка Disallow: /forum/styles запрещает индексирование файлов стилей, вследствие чего поисковые роботы не смогут определить наличие адаптивного дизайна, и понизят позиции в выдаче для мобильных устройств.

Внимание! Перед использованием вы должны:
1. Заменить адрес в директиве Host, причём важно указать основную форму домена (с www или без)
2. Заменить путь «/forum/» на ваш, если у вас форум в корне — замените просто на «/»

[ЖЪРЧИК]

В форке нет роботса по умолчанию.

[Sumanai]

Само собой. Но многие использовали его из старой темы.

[Glenerg]

Не знаю как у других, а у меня после замены файла фавикон начал отбражаться в Яше (2 недели или чуть больше прошло)
Может это совпадение? да фиг его знает
Но я дурак уже успел его поменять и именно в этот момент: теперь сверху одно в поиске другое
Будем ждать другое фавиконробот посещение

[Sumanai]

Совпадение, если конечно ваш старый файл не запрещал индексацию фавикона.

[Glenerg]

Может и совпадение файл стоял стандартный

[agronavt]

Где блудняк?..
Вот чего пишет Google:

ошибка ротос.ткст.jpg (41 КБ) Просмотров: 14134

Сам файл:

Код: Выделить всё

User-Agent: *
Host: agronavtika.ru
Sitemap: http://agronavtika.ru/sitemap.xml
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow:    /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /stk
Disallow: /store
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10

Чего не так накрутил???

[Гость]

Наличие на сайте правильного составленного robots.txt служит гарантией правильной индексации сайта поисковыми системами. Используя доступные в robots директивы (указания для поисковых роботов) мы можем разрешать и запрещать к индексированию любые страницы, разделы и даже весь сайт.

Директивы для составления правильного robots.txt

Яндекс.Директ
Основными директивами файла robots.txt являются:

Имя робота которому дается указание: User-agent.
Запрещающая индексирование директива: Disallow.
Указание расположения карты сайта: Sitemap.
Для робота Yandex есть специальная директива указывающая основное зеркало сайта: Host.
Запрет на индексацию определенных страниц сайта можно устанавливать как для всех роботов сразу, так и для каждого в отдельности или выборочно.
Если указание относится только к определенному роботу необходимо указывать его правильное название.

Примеры директив в robots.txt

Всем роботам разрешено индексировать все:

User-Agent: *
Disallow:

Всем роботам запрещено индексировать сайт:

User-Agent: *
Disallow: /

Запрещаем роботу Yandex индексировать каталог админки:

User-Agent: Yandex
Disallow: /admin/

Запрещаем роботу Google индексировать страницу контактов (http://site.ru/contacts.htm):

User-Agent: Googlebot
Disallow: /contacts.htm
Запрещаем всем индексировать каталог админки и страницы вначале адреса которых есть слово "admin" (например: http://admin.php):

User-Agent: *
Disallow: /admin

Как правильно составить robots.txt

В правильном robots.txt директивы для поисковых роботов должны быть расположены в четкой последовательности: от общих директив, касающихся всех, до частных - для отдельных поисковиков.
В случае создания отдельных директив для определенного робота, в указаниях даваемых ему нужно повторить общие запреты для индексирования.
Иначе в ситуации когда в общих директивах выставлен запрет, а в директиве конкретному боту не указан это воспринимается как разрешение к индексации.
Важно: роботы всегда следуют последним к ним относящимся указаниям.

Примеры:

Неправильный:

User-Agent: Yandex
Disallow: /admin/

User-Agent: *
Disallow:

Правильный:

User-Agent: *
Disallow:

User-Agent: Googlebot
Disallow: /admin/
Disallow: /contacts.htm

User-Agent: Yandex
Disallow: /admin/
Disallow: /contacts.htm
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

[agronavt]

Гость, Прочёл трижды. Легче не стало..А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи? Или как?

[Sumanai]

Где блудняк?..
Вот чего пишет Google:

Да нормально всё, просто гугл не знает про эти параметры. Он их просто проигнорирует, и это никак не скажется на остальном.

А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи?

Это плохо для индексации. С правильно настроенным robots ПС будут индексировать только то, что нужно, не отвлекаясь на ненужное.

[agronavt]

Да нормально всё

Огромное спасибо! А, то уже весь извёлся. Попытался сделать рекламу через гугл, перевёл им 500р. и активировал их талон на 1000р. в итоге они мой сайт заблокировали от показа объявлений. Думал, что из-за неправильного роботс.

[Sumanai]

в итоге они мой сайт заблокировали от показа объявлений

Ну так у них и нужно спрашивать, почему.

[Гость]

Уберите:
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10

Запросите у Гула повторной проверки.Можно вот тут все сделать - https://www.google.ru/webmasters/
Некоторые параметры robots относятся только к одному поисковику, а некоторые роботы и поисковики и не переваривают - потому и блокируют. Отсюда следует, что надо для каждого свое указать например.

[agronavt]

Ну так у них и нужно спрашивать, почему.

У них робот отвечает с подсказками - суть которых сводится к следующему: "Исправьте сайт, так как он не подходит к нашим требованиям"
Что им не нравится: не ясно вообще.
Деньги, что интересно обратно уже не получишь..

Уберите:

Убрал. Благодарю за совет. Буду морочиться дальше с ними.

[Sumanai]

Уберите:

Нет необходимости. Тут так же, никто не жаловался.

[ЖЪРЧИК]

Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять

Добавлено спустя 21 секунду:
или на хабре или еще где.

[agronavt]

Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять

После просмотров обучающих видео с гугла как исправить сайт под их требования, многочасового чтения их таблиц и статей, я пришёл к выводу, что блокировка произошла из-за отсутствия конкретной цены на странице.. Здесь https://support.google.com/adwordspolicy/answer/6020955?hl=ru&rd=1 их полный списочек заморочек и тараканов. Соблюдайте местные законы - указывают они.. А, местные обычаи - как соблюдать прикажут?.. Выставить ценник на объект недвижимости и ждать тусы вокруг своего дома из всего голодающего окрестного криминального сообщества?..
Иных причин я лично не вижу.
Цену за переход они хотят 15р. Т.е. мои 500р = 30кликам. Пошли они со своими требованиями и ценниками на кукан. Больше возиться не хочу.
роботс. верну в исходное состояние.

[Sumanai]

Ну так может именно по этим параметрам спросить у сапорта гугла ему?

Что там спрашивать? Эти параметры не поддерживаются и соответственно игнорируются.

Цену за переход они хотят 15р.

[agronavt]

Вот так и выглядят запросы охеревших, жирных пидоров.
Перекинул я ссылку с объявления ну другой сайт, который их устроил. Теперь они меня отчётами балуют.

[ЖЪРЧИК]

у яндекса сколько?
Невидимая рука рынка.