Файл robots.txt для phpBBex 2.x и новее

Список разделов phpBBex 2.x (заброшен) Мастерская 2.x

Описание: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 2.x и phpBB 3.1.x.
Модератор: Поддержка

Сообщение #1 Sumanai » 06.12.2015, 01:01

Так как произошли изменения в движке phpBB 3.1.x и соответственно phpBBex 2.x, оптимальный файл robots.txt претерпевает изменения:
Код: Выделить всё
User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10

По сравнению с файлом robots.txt phpBBex 1.х убраны строки
Код: Выделить всё
Disallow: /forum/modules
Disallow: /forum/styles
Disallow: /forum/umil
Disallow: /forum/style.php

Настоятельно рекомендую проверить наличие данных строк и удалить. Например, строка Disallow: /forum/styles запрещает индексирование файлов стилей, вследствие чего поисковые роботы не смогут определить наличие адаптивного дизайна, и понизят позиции в выдаче для мобильных устройств.

Внимание! Перед использованием вы должны:
1. Заменить адрес в директиве Host, причём важно указать основную форму домена (с www или без)
2. Заменить путь «/forum/» на ваш, если у вас форум в корне — замените просто на «/»
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #2 ЖЪРЧИК » 06.12.2015, 08:30

В форке нет роботса по умолчанию.
ЖЪРЧИК
Аватара
Репутация: 174
С нами: 9 лет 7 месяцев

Сообщение #3 Sumanai » 06.12.2015, 17:38

Само собой. Но многие использовали его из старой темы.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #4 Glenerg » 07.12.2015, 18:42

Не знаю как у других, а у меня после замены файла фавикон начал отбражаться в Яше (2 недели или чуть больше прошло)
Может это совпадение? да фиг его знает
Но я дурак уже успел его поменять и именно в этот момент: теперь сверху одно в поиске другое :wink:
Будем ждать другое фавиконробот посещение
Glenerg M
Репутация: 37
С нами: 8 лет 7 месяцев

Сообщение #5 Sumanai » 07.12.2015, 18:44

Совпадение, если конечно ваш старый файл не запрещал индексацию фавикона.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #6 Glenerg » 07.12.2015, 18:48

Может и совпадение файл стоял стандартный :smile:
Glenerg M
Репутация: 37
С нами: 8 лет 7 месяцев

Сообщение #7 agronavt » 09.12.2015, 11:03

Где блудняк?..
Вот чего пишет Google:
ошибка ротос.ткст.jpg
ошибка ротос.ткст.jpg (41 КБ) Просмотров: 13716

Сам файл:
Код: Выделить всё
User-Agent: *
Host: agronavtika.ru
Sitemap: http://agronavtika.ru/sitemap.xml
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow:    /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /stk
Disallow: /store
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10
Чего не так накрутил???
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #8 Гость » 09.12.2015, 12:32

Наличие на сайте правильного составленного robots.txt служит гарантией правильной индексации сайта поисковыми системами. Используя доступные в robots директивы (указания для поисковых роботов) мы можем разрешать и запрещать к индексированию любые страницы, разделы и даже весь сайт.

Директивы для составления правильного robots.txt

Яндекс.Директ
Основными директивами файла robots.txt являются:

Имя робота которому дается указание: User-agent.
Запрещающая индексирование директива: Disallow.
Указание расположения карты сайта: Sitemap.
Для робота Yandex есть специальная директива указывающая основное зеркало сайта: Host.
Запрет на индексацию определенных страниц сайта можно устанавливать как для всех роботов сразу, так и для каждого в отдельности или выборочно.
Если указание относится только к определенному роботу необходимо указывать его правильное название.

Примеры директив в robots.txt

Всем роботам разрешено индексировать все:

User-Agent: *
Disallow:
Всем роботам запрещено индексировать сайт:

User-Agent: *
Disallow: /

Запрещаем роботу Yandex индексировать каталог админки:

User-Agent: Yandex
Disallow: /admin/
Запрещаем роботу Google индексировать страницу контактов (http://site.ru/contacts.htm):

User-Agent: Googlebot
Disallow: /contacts.htm
Запрещаем всем индексировать каталог админки и страницы вначале адреса которых есть слово "admin" (например: http://admin.php):

User-Agent: *
Disallow: /admin
Как правильно составить robots.txt

В правильном robots.txt директивы для поисковых роботов должны быть расположены в четкой последовательности: от общих директив, касающихся всех, до частных - для отдельных поисковиков.
В случае создания отдельных директив для определенного робота, в указаниях даваемых ему нужно повторить общие запреты для индексирования.
Иначе в ситуации когда в общих директивах выставлен запрет, а в директиве конкретному боту не указан это воспринимается как разрешение к индексации.
Важно: роботы всегда следуют последним к ним относящимся указаниям.

Примеры:

Неправильный:

User-Agent: Yandex
Disallow: /admin/

User-Agent: *
Disallow:
Правильный:

User-Agent: *
Disallow:

User-Agent: Googlebot
Disallow: /admin/
Disallow: /contacts.htm

User-Agent: Yandex
Disallow: /admin/
Disallow: /contacts.htm
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Гость
Гость

Сообщение #9 agronavt » 09.12.2015, 12:51

Гость, Прочёл трижды. Легче не стало..А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи? Или как?
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #10 Sumanai » 09.12.2015, 15:36

agronavt:Где блудняк?..
Вот чего пишет Google:
Да нормально всё, просто гугл не знает про эти параметры. Он их просто проигнорирует, и это никак не скажется на остальном.
agronavt:А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи?
Это плохо для индексации. С правильно настроенным robots ПС будут индексировать только то, что нужно, не отвлекаясь на ненужное.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #11 agronavt » 09.12.2015, 16:48

Sumanai:Да нормально всё
Огромное спасибо! А, то уже весь извёлся. Попытался сделать рекламу через гугл, перевёл им 500р. и активировал их талон на 1000р. в итоге они мой сайт заблокировали от показа объявлений. Думал, что из-за неправильного роботс.
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #12 Sumanai » 09.12.2015, 16:55

agronavt:в итоге они мой сайт заблокировали от показа объявлений
Ну так у них и нужно спрашивать, почему.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #13 Гость » 10.12.2015, 00:01

Уберите:
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10

Запросите у Гула повторной проверки.Можно вот тут все сделать - https://www.google.ru/webmasters/
Некоторые параметры robots относятся только к одному поисковику, а некоторые роботы и поисковики и не переваривают - потому и блокируют. Отсюда следует, что надо для каждого свое указать например.
Гость
Гость

Сообщение #14 agronavt » 10.12.2015, 01:55

Sumanai:Ну так у них и нужно спрашивать, почему.
У них робот отвечает с подсказками - суть которых сводится к следующему: "Исправьте сайт, так как он не подходит к нашим требованиям"
Что им не нравится: не ясно вообще.
Деньги, что интересно обратно уже не получишь..
Гость:Уберите:
Убрал. Благодарю за совет. Буду морочиться дальше с ними.
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #15 Sumanai » 10.12.2015, 05:17

Гость:Уберите:
Нет необходимости. Тут так же, никто не жаловался.
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #16 ЖЪРЧИК » 10.12.2015, 10:26

Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять

Добавлено спустя 21 секунду:
или на хабре или еще где.
ЖЪРЧИК
Аватара
Репутация: 174
С нами: 9 лет 7 месяцев

Сообщение #17 agronavt » 10.12.2015, 13:03

ЖЪРЧИК:Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять
После просмотров обучающих видео с гугла как исправить сайт под их требования, многочасового чтения их таблиц и статей, я пришёл к выводу, что блокировка произошла из-за отсутствия конкретной цены на странице.. Здесь https://support.google.com/adwordspolicy/answer/6020955?hl=ru&rd=1 их полный списочек заморочек и тараканов. Соблюдайте местные законы - указывают они.. А, местные обычаи - как соблюдать прикажут?.. Выставить ценник на объект недвижимости и ждать тусы вокруг своего дома из всего голодающего окрестного криминального сообщества?..
Иных причин я лично не вижу.
Цену за переход они хотят 15р. Т.е. мои 500р = 30кликам. Пошли они со своими требованиями и ценниками на кукан. Больше возиться не хочу.
роботс. верну в исходное состояние.
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #18 Sumanai » 10.12.2015, 15:23

ЖЪРЧИК:Ну так может именно по этим параметрам спросить у сапорта гугла ему?
Что там спрашивать? Эти параметры не поддерживаются и соответственно игнорируются.
agronavt:Цену за переход они хотят 15р.
:eek:
Sumanai M
Автор темы
Аватара
Репутация: 1677
С нами: 11 лет 1 месяц

Сообщение #19 agronavt » 14.12.2015, 10:36

Sumanai: :eek:

forum13.jpg


Вот так и выглядят запросы охеревших, жирных пидоров.
Перекинул я ссылку с объявления ну другой сайт, который их устроил. Теперь они меня отчётами балуют.
Sumanai » 14.12.2015, 15:14 Замечание
Без мата пожалуйста
agronavt M
Аватара
Репутация: 7
С нами: 8 лет 3 месяца

Сообщение #20 ЖЪРЧИК » 14.12.2015, 13:52

:biggrin: у яндекса сколько?
Невидимая рука рынка. :smoke:
ЖЪРЧИК
Аватара
Репутация: 174
С нами: 9 лет 7 месяцев

След.

Вернуться в Мастерская 2.x



cron