Боты (поисковые роботы) для phpBB и phpBBex

**VEG** » 25.07.2012, 20:48

В phpBBex с самой первой версии было встроено опознание русских поисковых роботов. Но дело в том, что на самом деле они были добавлены в 2008 году (на моём форуме), задолго до официального выхода первой публичной версии phpBBex. С тех пор данные по ним уже успели устареть.

Настоятельно рекомендую на ваших форумах проделать две вещи:
1. Удалить поискового бота «Aport [Bot]» (с 2011 года они работают на базе Яндекса)
2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)

Далее по желанию можете добавить таких роботов (указаны название робота и его User-Agent):

Код: Выделить всё: Yandex [Images] YandexImages/ Yandex [Video] YandexVideo/ Yandex [Media] YandexMedia/ Yandex [Blogs] YandexBlogs/ Yandex [Addurl] YandexAddurl/ Yandex [Direct] YandexDirect/ Yandex [Metrika] YandexMetrika/ Yandex [Catalog] YandexCatalog/ Yandex [News] YandexNews/

В готовящемся выпуске phpBBex при установке сразу будут создаваться все указанные боты. Но при обновлении с предыдущих версий они не будут добавлены, будет только исправлен User-Agent у робота Яндекса и удалён Aport.

**VEG** » 29.08.2012, 11:02

Итак, вышел phpBBex 1.4.0. Скрипт обновления исправил UserAgent у робота Yandex [Bot] и удалил Aport [Bot]. Остальных роботов вы можете добавить вручную (при желании, это не обязательно). Если же вы устанавливали сразу phpBBex 1.4.0, то эти роботы у вас уже есть.
Также предлагаю делиться в этой теме другими полезными роботами, которые посещают ваш форум.

**VEG** » 09.10.2012, 18:23

В последнее время активно ходит с разных IP по форумам бот Ahrefs [Bot]. Строка User-Agent: «AhrefsBot/». Предлагайте своих ботов, которые часто заходят на ваш форум (вы можете анализировать это на странице «Кто сейчас на сайте».

Вообще на небольших форумах, как правило, большая часть гостей — это боты. Причём если бот заходит на сайт с нескольких IP адресов, то он воспринимается как сразу несколько гостей. Из-за этого на каком-нибудь мелком форуме вполне может высветить, что сейчас на сайте 120 гостей и поставлен новый рекорд.

Чтобы хоть как-то бороться с неверным определением количества гостей требуется периодически регистрировать у вас на форуме новых ботов, которые к вам заходят. Иначе в рекордном количестве посетителей онлайн будет неверное значение. Может быть вообще не стоит учитывать гостей для рекорда? Можно просто написать: «Рекорд зарегистрированных пользователей онлайн: 15 (поставлен 25.05.2010)» и все дела, тогда хотя бы это число будет хоть что-то обозначать. Что думаете по этому поводу?

**cnfp** » 11.10.2012, 03:52

VEG:Может быть вообще не стоит учитывать гостей для рекорда?

Я думаю что это правильное предложение.

**kwike** » 07.04.2013, 14:22

Подскажи пожалуйста, боты должны находиться в таблице с пользователями или в php_bot?

**VEG** » 07.04.2013, 23:13

kwike, они есть и там и там.

**kwike** » 08.04.2013, 19:39

такой ещё вопрос, а гость, а то у меня отображается он то в зарегистрированных, то просто как гость?!

**VEG** » 08.04.2013, 20:02

kwike, не понял вопроса. Есть ли информация о госте в таблице phpbb_users? Да, есть. И у него user_id = 1. Это заложено в самом phpBB.

**kwike** » 09.04.2013, 00:06

не, я не про это, у меня гость отображается в истории как гость и как зарегистрированный пользователь: гость

**VEG** » 09.04.2013, 00:29

kwike, возможно, кто-то зарегистрировался под ником «Гость».

**RuRupert** » 11.04.2013, 14:32

Помимо просмотра страницы «Кто сейчас на сайте» новых роботов никак нельзя отследить? Имею ввиду тех, кто не прописан в админке. Хотелось бы иметь какую-нибудь статистику по этим полезным гостям форума. Счётчики, поставленные на форум в этом деле не помогают. Вроде бы если поставить портал, там есть специальное окошко о поледних ботах, но не на всякий форум есть смысл ставить портал только ради мониторинга ботов и не знаю, отражаются ли в этом окошке имена всех ботов, или только зарегистрированных в админке. Да и данные эти, как мне кажется, никому, кроме администратора, особо не нужны. Хорошо бы иметь отображение такой статистики где-то в администраторском отделе.

**VEG** » 11.04.2013, 14:41

RuRupert, эта информация и отображается в админке. Посмотрите страницу «Поисковые боты».

**RuRupert** » 11.04.2013, 15:37

Новые боты там тоже отображаются? Насколько я понял, в эту таблицу нужно вносить новых ботов вручную. Или она заполняется автоматически при появлении нового бота на форуме?

**VEG** » 12.04.2013, 01:20

RuRupert, конечно нужно вносить вручную.

**SinglWolf** » 07.09.2013, 05:20

Заметил подозрительную активность гостей, начал разбираться. Оказывается это поисковые боты. :smile:

Вот эти партизаны:

Код: Выделить всё: BLEX [Bot] - Добавить BLEXBot/1.0 ---------------------------------- Sogou web spider [Bot] - Добавить Sogou web spider/4.0 ---------------------------------- MailRu [Bot] - Исправить Mail.RU_Bot

**Xisp** » 08.09.2013, 02:10

SinglWolf:Sogou web spider [Bot]

Этот и у меня появлялся. Правда добавил как Sogou web spider, без версии.

**SinglWolf** » 08.09.2013, 16:01

Обнаружил ещё одного бота от google
Ezooms [Bot] - Добавить
Ezooms

**user** » 07.04.2014, 10:15

А как основного бота добавить? Что писать в агенте ??
Написал

Код: Выделить всё: YandexBot/

посмотрим, зайдёт ли

Если писать его юзер агента как

Код: Выделить всё: Mozilla/5.0

, то тогда любой гость, у которого такой агент, отображается как Яндекс-бот :?

**VEG** » 07.04.2014, 14:56

Ответ касательно UA Яндекса в первом сообщении:

VEG:2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)

**user** » 16.04.2014, 09:08

Основного бота добавил, а как добавить бота

Код: Выделить всё: Yandex [Addurl]

Добавил так, как указано у вас в первом сообщении - не зашёл ещё ни разу, хотя у меня появилось много новых тем и приходится ссылки на темы вручную вносить в аадурилку яндекса :?

И ещё: в robots.txt
в блоке для Яндекса у меня указано:

Код: Выделить всё: User-agent: Yandex

Я так понимаю, надо указать

Код: Выделить всё: User-agent: YandexBot

?