Файл robots.txt для phpBBex 2.x и новее

Board index phpBBex 2.x Мастерская

Description: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 2.x и phpBB 3.1.x.
Moderator: Поддержка

Post #1by Sumanai » 06.12.2015, 01:01

Так как произошли изменения в движке phpBB 3.1.x и соответственно phpBBex 2.x, оптимальный файл robots.txt претерпевает изменения:
Code: Select all
User-Agent: *
Host: example.com
Disallow: /forum/adm
Disallow: /forum/cache
Disallow: /forum/classes
Disallow: /forum/docs
Disallow: /forum/download
Allow:    /forum/download/file.php
Disallow: /forum/files
Disallow: /forum/includes
Disallow: /forum/install
Disallow: /forum/language
Disallow: /forum/stk
Disallow: /forum/store
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/viewtopic.php?*&view=print
Disallow: /forum/memberlist.php
Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10

По сравнению с файлом robots.txt phpBBex 1.х убраны строки
Code: Select all
Disallow: /forum/modules
Disallow: /forum/styles
Disallow: /forum/umil
Disallow: /forum/style.php

Настоятельно рекомендую проверить наличие данных строк и удалить. Например, строка Disallow: /forum/styles запрещает индексирование файлов стилей, вследствие чего поисковые роботы не смогут определить наличие адаптивного дизайна, и понизят позиции в выдаче для мобильных устройств.

Внимание! Перед использованием вы должны:
1. Заменить адрес в директиве Host, причём важно указать основную форму домена (с www или без)
2. Заменить путь «/forum/» на ваш, если у вас форум в корне — замените просто на «/»
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #2by ЖЪРЧИК » 06.12.2015, 08:30

В форке нет роботса по умолчанию.
плешивый кот
ЖЪРЧИК
Гуру
Avatar
Reputation: 174
With us: 2 yaers 5 months

Post #3by Sumanai » 06.12.2015, 17:38

Само собой. Но многие использовали его из старой темы.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #4by Glenerg » 07.12.2015, 18:42

Не знаю как у других, а у меня после замены файла фавикон начал отбражаться в Яше (2 недели или чуть больше прошло)
Может это совпадение? да фиг его знает
Но я дурак уже успел его поменять и именно в этот момент: теперь сверху одно в поиске другое :wink:
Будем ждать другое фавиконробот посещение
Любая инструкция должна начинаться: Ну что дебил? -уже сломал!
Glenerg
Мастер
Reputation: 17
With us: 1 year 5 months

Post #5by Sumanai » 07.12.2015, 18:44

Совпадение, если конечно ваш старый файл не запрещал индексацию фавикона.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #6by Glenerg » 07.12.2015, 18:48

Может и совпадение файл стоял стандартный :smile:
Любая инструкция должна начинаться: Ну что дебил? -уже сломал!
Glenerg
Мастер
Reputation: 17
With us: 1 year 5 months

Post #7by agronavt » 09.12.2015, 11:03

Где блудняк?..
Вот чего пишет Google:
ошибка ротос.ткст.jpg
ошибка ротос.ткст.jpg (41 KiB) Viewed 2228 times

Сам файл:
Code: Select all
User-Agent: *
Host: agronavtika.ru
Sitemap: http://agronavtika.ru/sitemap.xml
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow:    /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /stk
Disallow: /store
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10
Чего не так накрутил???
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #8by Гость » 09.12.2015, 12:32

Наличие на сайте правильного составленного robots.txt служит гарантией правильной индексации сайта поисковыми системами. Используя доступные в robots директивы (указания для поисковых роботов) мы можем разрешать и запрещать к индексированию любые страницы, разделы и даже весь сайт.

Директивы для составления правильного robots.txt

Яндекс.Директ
Основными директивами файла robots.txt являются:

Имя робота которому дается указание: User-agent.
Запрещающая индексирование директива: Disallow.
Указание расположения карты сайта: Sitemap.
Для робота Yandex есть специальная директива указывающая основное зеркало сайта: Host.
Запрет на индексацию определенных страниц сайта можно устанавливать как для всех роботов сразу, так и для каждого в отдельности или выборочно.
Если указание относится только к определенному роботу необходимо указывать его правильное название.

Примеры директив в robots.txt

Всем роботам разрешено индексировать все:

User-Agent: *
Disallow:
Всем роботам запрещено индексировать сайт:

User-Agent: *
Disallow: /

Запрещаем роботу Yandex индексировать каталог админки:

User-Agent: Yandex
Disallow: /admin/
Запрещаем роботу Google индексировать страницу контактов (http://site.ru/contacts.htm):

User-Agent: Googlebot
Disallow: /contacts.htm
Запрещаем всем индексировать каталог админки и страницы вначале адреса которых есть слово "admin" (например: http://admin.php):

User-Agent: *
Disallow: /admin
Как правильно составить robots.txt

В правильном robots.txt директивы для поисковых роботов должны быть расположены в четкой последовательности: от общих директив, касающихся всех, до частных - для отдельных поисковиков.
В случае создания отдельных директив для определенного робота, в указаниях даваемых ему нужно повторить общие запреты для индексирования.
Иначе в ситуации когда в общих директивах выставлен запрет, а в директиве конкретному боту не указан это воспринимается как разрешение к индексации.
Важно: роботы всегда следуют последним к ним относящимся указаниям.

Примеры:

Неправильный:

User-Agent: Yandex
Disallow: /admin/

User-Agent: *
Disallow:
Правильный:

User-Agent: *
Disallow:

User-Agent: Googlebot
Disallow: /admin/
Disallow: /contacts.htm

User-Agent: Yandex
Disallow: /admin/
Disallow: /contacts.htm
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Гость
Гость

Post #9by agronavt » 09.12.2015, 12:51

Гость, Прочёл трижды. Легче не стало..А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи? Или как?
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #10by Sumanai » 09.12.2015, 15:36

agronavt wrote:Где блудняк?..
Вот чего пишет Google:
Да нормально всё, просто гугл не знает про эти параметры. Он их просто проигнорирует, и это никак не скажется на остальном.
agronavt wrote:А, если вообще робтс. не прикреплять?
Это очень плохо для выдачи?
Это плохо для индексации. С правильно настроенным robots ПС будут индексировать только то, что нужно, не отвлекаясь на ненужное.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #11by agronavt » 09.12.2015, 16:48

Sumanai wrote:Да нормально всё
Огромное спасибо! А, то уже весь извёлся. Попытался сделать рекламу через гугл, перевёл им 500р. и активировал их талон на 1000р. в итоге они мой сайт заблокировали от показа объявлений. Думал, что из-за неправильного роботс.
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #12by Sumanai » 09.12.2015, 16:55

agronavt wrote:в итоге они мой сайт заблокировали от показа объявлений
Ну так у них и нужно спрашивать, почему.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #13by Гость » 10.12.2015, 00:01

Уберите:
Clean-param: sid/
Clean-param: f&hilit/viewtopic.php
Crawl-delay: 10

Запросите у Гула повторной проверки.Можно вот тут все сделать - https://www.google.ru/webmasters/
Некоторые параметры robots относятся только к одному поисковику, а некоторые роботы и поисковики и не переваривают - потому и блокируют. Отсюда следует, что надо для каждого свое указать например.
Гость
Гость

Post #14by agronavt » 10.12.2015, 01:55

Sumanai wrote:Ну так у них и нужно спрашивать, почему.
У них робот отвечает с подсказками - суть которых сводится к следующему: "Исправьте сайт, так как он не подходит к нашим требованиям"
Что им не нравится: не ясно вообще.
Деньги, что интересно обратно уже не получишь..
Гость wrote:Уберите:
Убрал. Благодарю за совет. Буду морочиться дальше с ними.
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #15by Sumanai » 10.12.2015, 05:17

Гость wrote:Уберите:
Нет необходимости. Тут так же, никто не жаловался.
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #16by ЖЪРЧИК » 10.12.2015, 10:26

Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять

Added after 21 second:
или на хабре или еще где.
плешивый кот
ЖЪРЧИК
Гуру
Avatar
Reputation: 174
With us: 2 yaers 5 months

Post #17by agronavt » 10.12.2015, 13:03

ЖЪРЧИК wrote:Ну так может именно по этим параметрам спросить у сапорта гугла ему? чем удалять
После просмотров обучающих видео с гугла как исправить сайт под их требования, многочасового чтения их таблиц и статей, я пришёл к выводу, что блокировка произошла из-за отсутствия конкретной цены на странице.. Здесь https://support.google.com/adwordspolicy/answer/6020955?hl=ru&rd=1 их полный списочек заморочек и тараканов. Соблюдайте местные законы - указывают они.. А, местные обычаи - как соблюдать прикажут?.. Выставить ценник на объект недвижимости и ждать тусы вокруг своего дома из всего голодающего окрестного криминального сообщества?..
Иных причин я лично не вижу.
Цену за переход они хотят 15р. Т.е. мои 500р = 30кликам. Пошли они со своими требованиями и ценниками на кукан. Больше возиться не хочу.
роботс. верну в исходное состояние.
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #18by Sumanai » 10.12.2015, 15:23

ЖЪРЧИК wrote:Ну так может именно по этим параметрам спросить у сапорта гугла ему?
Что там спрашивать? Эти параметры не поддерживаются и соответственно игнорируются.
agronavt wrote:Цену за переход они хотят 15р.
:eek:
Использование поиска продлевает жизнь.
Это форум поддержки форка phpBBex. Поддержка по phpBB осуществляется в других местах.
Sumanai M
Topic author, Гуру
Avatar
Reputation: 1493
With us: 3 yaers 11 months

Post #19by agronavt » 14.12.2015, 10:36

Sumanai wrote: :eek:

forum13.jpg


Вот так и выглядят запросы охеревших, жирных пидоров.
Перекинул я ссылку с объявления ну другой сайт, который их устроил. Теперь они меня отчётами балуют.
Sumanai » 14.12.2015, 15:14 Remark
Без мата пожалуйста
agronavt M
Бывалый
Avatar
Age: 44
Reputation: 9
With us: 1 year 1 month

Post #20by ЖЪРЧИК » 14.12.2015, 13:52

:biggrin: у яндекса сколько?
Невидимая рука рынка. :smoke:
плешивый кот
ЖЪРЧИК
Гуру
Avatar
Reputation: 174
With us: 2 yaers 5 months

Next

Forum name: Мастерская
Description: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 2.x и phpBB 3.1.x.

Quick reply


Enter the code exactly as it appears. All letters are case insensitive.
Confirmation code
:hi: :smile: :wink: :twisted: :sad: :evil: :smoke: :eh: :eek: :fie: :silenced: :razz: :oops: :help: :spy: :insane: :biggrin: :toothless: :ill: :nervious: :weirdface: :pray: :clap: :think: :boxing: :cyclop: :rambo: :zombie: :cry: View more smilies

   

Return to Мастерская



cron