Боты (поисковые роботы) для phpBB и phpBBex

Список разделов phpBBex 1.x (поддерживается) Мастерская 1.x

Описание: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 1.x и phpBB 3.0.x.
Модератор: Поддержка

Сообщение #1 VEG » 25.07.2012, 20:48

В phpBBex с самой первой версии было встроено опознание русских поисковых роботов. Но дело в том, что на самом деле они были добавлены в 2008 году (на моём форуме), задолго до официального выхода первой публичной версии phpBBex. С тех пор данные по ним уже успели устареть.

Настоятельно рекомендую на ваших форумах проделать две вещи:
1. Удалить поискового бота «Aport [Bot]» (с 2011 года они работают на базе Яндекса)
2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)

Далее по желанию можете добавить таких роботов (указаны название робота и его User-Agent):
Код: Выделить всё
Yandex [Images]    YandexImages/
Yandex [Video]     YandexVideo/
Yandex [Media]     YandexMedia/
Yandex [Blogs]     YandexBlogs/
Yandex [Addurl]    YandexAddurl/
Yandex [Direct]    YandexDirect/
Yandex [Metrika]   YandexMetrika/
Yandex [Catalog]   YandexCatalog/
Yandex [News]      YandexNews/
В готовящемся выпуске phpBBex при установке сразу будут создаваться все указанные боты. Но при обновлении с предыдущих версий они не будут добавлены, будет только исправлен User-Agent у робота Яндекса и удалён Aport.
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #2 VEG » 29.08.2012, 11:02

Итак, вышел phpBBex 1.4.0. Скрипт обновления исправил UserAgent у робота Yandex [Bot] и удалил Aport [Bot]. Остальных роботов вы можете добавить вручную (при желании, это не обязательно). Если же вы устанавливали сразу phpBBex 1.4.0, то эти роботы у вас уже есть.
Также предлагаю делиться в этой теме другими полезными роботами, которые посещают ваш форум.
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #3 VEG » 09.10.2012, 18:23

В последнее время активно ходит с разных IP по форумам бот Ahrefs [Bot]. Строка User-Agent: «AhrefsBot/». Предлагайте своих ботов, которые часто заходят на ваш форум (вы можете анализировать это на странице «Кто сейчас на сайте».

Вообще на небольших форумах, как правило, большая часть гостей — это боты. Причём если бот заходит на сайт с нескольких IP адресов, то он воспринимается как сразу несколько гостей. Из-за этого на каком-нибудь мелком форуме вполне может высветить, что сейчас на сайте 120 гостей и поставлен новый рекорд.

Чтобы хоть как-то бороться с неверным определением количества гостей требуется периодически регистрировать у вас на форуме новых ботов, которые к вам заходят. Иначе в рекордном количестве посетителей онлайн будет неверное значение. Может быть вообще не стоит учитывать гостей для рекорда? Можно просто написать: «Рекорд зарегистрированных пользователей онлайн: 15 (поставлен 25.05.2010)» и все дела, тогда хотя бы это число будет хоть что-то обозначать. Что думаете по этому поводу?
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #4 cnfp » 11.10.2012, 03:52

VEG:Может быть вообще не стоит учитывать гостей для рекорда?
Я думаю что это правильное предложение.
cnfp M
Аватара
Откуда: г.Чита
Репутация: 4
С нами: 11 лет 7 месяцев

Сообщение #5 kwike » 07.04.2013, 14:22

Подскажи пожалуйста, боты должны находиться в таблице с пользователями или в php_bot?
kwike
Гость

Сообщение #6 VEG » 07.04.2013, 23:13

kwike, они есть и там и там.
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #7 kwike » 08.04.2013, 19:39

такой ещё вопрос, а гость, а то у меня отображается он то в зарегистрированных, то просто как гость?!
kwike
Гость

Сообщение #8 VEG » 08.04.2013, 20:02

kwike, не понял вопроса. Есть ли информация о госте в таблице phpbb_users? Да, есть. И у него user_id = 1. Это заложено в самом phpBB.
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #9 kwike » 09.04.2013, 00:06

не, я не про это, у меня гость отображается в истории как гость и как зарегистрированный пользователь: гость
kwike
Гость

Сообщение #10 VEG » 09.04.2013, 00:29

kwike, возможно, кто-то зарегистрировался под ником «Гость».
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #11 RuRupert » 11.04.2013, 14:32

Помимо просмотра страницы «Кто сейчас на сайте» новых роботов никак нельзя отследить? Имею ввиду тех, кто не прописан в админке. Хотелось бы иметь какую-нибудь статистику по этим полезным гостям форума. Счётчики, поставленные на форум в этом деле не помогают. Вроде бы если поставить портал, там есть специальное окошко о поледних ботах, но не на всякий форум есть смысл ставить портал только ради мониторинга ботов и не знаю, отражаются ли в этом окошке имена всех ботов, или только зарегистрированных в админке. Да и данные эти, как мне кажется, никому, кроме администратора, особо не нужны. Хорошо бы иметь отображение такой статистики где-то в администраторском отделе.
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #12 VEG » 11.04.2013, 14:41

RuRupert, эта информация и отображается в админке. Посмотрите страницу «Поисковые боты».
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #13 RuRupert » 11.04.2013, 15:37

Новые боты там тоже отображаются? Насколько я понял, в эту таблицу нужно вносить новых ботов вручную. Или она заполняется автоматически при появлении нового бота на форуме?
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #14 VEG » 12.04.2013, 01:20

RuRupert, конечно нужно вносить вручную.
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #15 SinglWolf » 07.09.2013, 05:20

Заметил подозрительную активность гостей, начал разбираться. Оказывается это поисковые боты. :smile:
Вот эти партизаны:
Код: Выделить всё
BLEX [Bot] - Добавить
BLEXBot/1.0
----------------------------------
Sogou web spider [Bot] - Добавить
Sogou web spider/4.0
----------------------------------
MailRu [Bot] - Исправить
Mail.RU_Bot
SinglWolf M
Аватара
Откуда: Россия, Башкортостан
Репутация: 39
С нами: 10 лет 7 месяцев

Сообщение #16 Xisp » 08.09.2013, 02:10

SinglWolf:Sogou web spider [Bot]

Этот и у меня появлялся. Правда добавил как Sogou web spider, без версии.
Xisp
Репутация: 9
С нами: 10 лет 11 месяцев

Сообщение #17 SinglWolf » 08.09.2013, 16:01

Обнаружил ещё одного бота от google
Ezooms [Bot] - Добавить
Ezooms
SinglWolf M
Аватара
Откуда: Россия, Башкортостан
Репутация: 39
С нами: 10 лет 7 месяцев

Сообщение #18 user » 07.04.2014, 10:15

А как основного бота добавить? Что писать в агенте ??
Написал

Код: Выделить всё
YandexBot/

посмотрим, зайдёт ли

Если писать его юзер агента как
Код: Выделить всё
Mozilla/5.0
, то тогда любой гость, у которого такой агент, отображается как Яндекс-бот :?
user M
Аватара
Откуда: ZP
Репутация: 2
С нами: 10 лет 10 месяцев

Сообщение #19 VEG » 07.04.2014, 14:56

Ответ касательно UA Яндекса в первом сообщении:
VEG:2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)
VEG M
Автор темы, Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #20 user » 16.04.2014, 09:08

Основного бота добавил, а как добавить бота
Код: Выделить всё
Yandex [Addurl]

Добавил так, как указано у вас в первом сообщении - не зашёл ещё ни разу, хотя у меня появилось много новых тем и приходится ссылки на темы вручную вносить в аадурилку яндекса :?

И ещё: в robots.txt
в блоке для Яндекса у меня указано:

Код: Выделить всё
User-agent: Yandex

Я так понимаю, надо указать

Код: Выделить всё
User-agent: YandexBot
?
user M
Аватара
Откуда: ZP
Репутация: 2
С нами: 10 лет 10 месяцев

След.

Вернуться в Мастерская 1.x



cron