Боты (поисковые роботы) для phpBB и phpBBex

Board index phpBBex 1.x Мастерская

Description: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 1.x и phpBB 3.0.x.
Moderator: Поддержка

Post #1by VEG » 25.07.2012, 20:48

В phpBBex с самой первой версии было встроено опознание русских поисковых роботов. Но дело в том, что на самом деле они были добавлены в 2008 году (на моём форуме), задолго до официального выхода первой публичной версии phpBBex. С тех пор данные по ним уже успели устареть.

Настоятельно рекомендую на ваших форумах проделать две вещи:
1. Удалить поискового бота «Aport [Bot]» (с 2011 года они работают на базе Яндекса)
2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)

Далее по желанию можете добавить таких роботов (указаны название робота и его User-Agent):
Code: Select all
Yandex [Images]    YandexImages/
Yandex [Video]     YandexVideo/
Yandex [Media]     YandexMedia/
Yandex [Blogs]     YandexBlogs/
Yandex [Addurl]    YandexAddurl/
Yandex [Direct]    YandexDirect/
Yandex [Metrika]   YandexMetrika/
Yandex [Catalog]   YandexCatalog/
Yandex [News]      YandexNews/
В готовящемся выпуске phpBBex при установке сразу будут создаваться все указанные боты. Но при обновлении с предыдущих версий они не будут добавлены, будет только исправлен User-Agent у робота Яндекса и удалён Aport.
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #2by VEG » 29.08.2012, 11:02

Итак, вышел phpBBex 1.4.0. Скрипт обновления исправил UserAgent у робота Yandex [Bot] и удалил Aport [Bot]. Остальных роботов вы можете добавить вручную (при желании, это не обязательно). Если же вы устанавливали сразу phpBBex 1.4.0, то эти роботы у вас уже есть.
Также предлагаю делиться в этой теме другими полезными роботами, которые посещают ваш форум.
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #3by VEG » 09.10.2012, 18:23

В последнее время активно ходит с разных IP по форумам бот Ahrefs [Bot]. Строка User-Agent: «AhrefsBot/». Предлагайте своих ботов, которые часто заходят на ваш форум (вы можете анализировать это на странице «Кто сейчас на сайте».

Вообще на небольших форумах, как правило, большая часть гостей — это боты. Причём если бот заходит на сайт с нескольких IP адресов, то он воспринимается как сразу несколько гостей. Из-за этого на каком-нибудь мелком форуме вполне может высветить, что сейчас на сайте 120 гостей и поставлен новый рекорд.

Чтобы хоть как-то бороться с неверным определением количества гостей требуется периодически регистрировать у вас на форуме новых ботов, которые к вам заходят. Иначе в рекордном количестве посетителей онлайн будет неверное значение. Может быть вообще не стоит учитывать гостей для рекорда? Можно просто написать: «Рекорд зарегистрированных пользователей онлайн: 15 (поставлен 25.05.2010)» и все дела, тогда хотя бы это число будет хоть что-то обозначать. Что думаете по этому поводу?
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #4by cnfp » 11.10.2012, 03:52

VEG wrote:Может быть вообще не стоит учитывать гостей для рекорда?
Я думаю что это правильное предложение.
Читинский парапланерный клуб - http://paraplan.chita.ru
cnfp M
Новичок
Avatar
Location: г.Чита
Reputation: 4
With us: 4 yaers 7 months

Post #5by kwike » 07.04.2013, 14:22

Подскажи пожалуйста, боты должны находиться в таблице с пользователями или в php_bot?
kwike
Гость

Post #6by VEG » 07.04.2013, 23:13

kwike, они есть и там и там.
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #7by kwike » 08.04.2013, 19:39

такой ещё вопрос, а гость, а то у меня отображается он то в зарегистрированных, то просто как гость?!
kwike
Гость

Post #8by VEG » 08.04.2013, 20:02

kwike, не понял вопроса. Есть ли информация о госте в таблице phpbb_users? Да, есть. И у него user_id = 1. Это заложено в самом phpBB.
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #9by kwike » 09.04.2013, 00:06

не, я не про это, у меня гость отображается в истории как гость и как зарегистрированный пользователь: гость
kwike
Гость

Post #10by VEG » 09.04.2013, 00:29

kwike, возможно, кто-то зарегистрировался под ником «Гость».
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #11by RuRupert » 11.04.2013, 14:32

Помимо просмотра страницы «Кто сейчас на сайте» новых роботов никак нельзя отследить? Имею ввиду тех, кто не прописан в админке. Хотелось бы иметь какую-нибудь статистику по этим полезным гостям форума. Счётчики, поставленные на форум в этом деле не помогают. Вроде бы если поставить портал, там есть специальное окошко о поледних ботах, но не на всякий форум есть смысл ставить портал только ради мониторинга ботов и не знаю, отражаются ли в этом окошке имена всех ботов, или только зарегистрированных в админке. Да и данные эти, как мне кажется, никому, кроме администратора, особо не нужны. Хорошо бы иметь отображение такой статистики где-то в администраторском отделе.
RuRupert M
Мастер
Age: 30
Reputation: 63
With us: 4 yaers 1 month

Post #12by VEG » 11.04.2013, 14:41

RuRupert, эта информация и отображается в админке. Посмотрите страницу «Поисковые боты».
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #13by RuRupert » 11.04.2013, 15:37

Новые боты там тоже отображаются? Насколько я понял, в эту таблицу нужно вносить новых ботов вручную. Или она заполняется автоматически при появлении нового бота на форуме?
RuRupert M
Мастер
Age: 30
Reputation: 63
With us: 4 yaers 1 month

Post #14by VEG » 12.04.2013, 01:20

RuRupert, конечно нужно вносить вручную.
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #15by SinglWolf » 07.09.2013, 05:20

Заметил подозрительную активность гостей, начал разбираться. Оказывается это поисковые боты. :smile:
Вот эти партизаны:
Code: Select all
BLEX [Bot] - Добавить
BLEXBot/1.0
----------------------------------
Sogou web spider [Bot] - Добавить
Sogou web spider/4.0
----------------------------------
MailRu [Bot] - Исправить
Mail.RU_Bot
SinglWolf M
Мастер
Avatar
Age: 46
Location: Россия, Башкортостан
Reputation: 30
With us: 3 yaers 7 months

Post #16by Xisp » 08.09.2013, 02:10

SinglWolf wrote:Sogou web spider [Bot]

Этот и у меня появлялся. Правда добавил как Sogou web spider, без версии.
Xisp
Бывалый
Reputation: 9
With us: 3 yaers 11 months

Post #17by SinglWolf » 08.09.2013, 16:01

Обнаружил ещё одного бота от google
Ezooms [Bot] - Добавить
Ezooms
SinglWolf M
Мастер
Avatar
Age: 46
Location: Россия, Башкортостан
Reputation: 30
With us: 3 yaers 7 months

Post #18by user » 07.04.2014, 10:15

А как основного бота добавить? Что писать в агенте ??
Написал

Code: Select all
YandexBot/

посмотрим, зайдёт ли

Если писать его юзер агента как
Code: Select all
Mozilla/5.0
, то тогда любой гость, у которого такой агент, отображается как Яндекс-бот :?
user M
Новичок
Avatar
Age: 24
Location: ZP
Reputation: 2
With us: 3 yaers 10 months

Post #19by VEG » 07.04.2014, 14:56

Ответ касательно UA Яндекса в первом сообщении:
VEG wrote:2. У робота «Yandex [Bot]» заменить User-Agent на «YandexBot/» (в конце 2010 года поменяли)
С наилучшими пожеланиями, Евгений
VEG M
Topic author, Администратор
Avatar
Age: 29
Location: Минск, Беларусь
Reputation: 1608
With us: 4 yaers 11 months

Post #20by user » 16.04.2014, 09:08

Основного бота добавил, а как добавить бота
Code: Select all
Yandex [Addurl]

Добавил так, как указано у вас в первом сообщении - не зашёл ещё ни разу, хотя у меня появилось много новых тем и приходится ссылки на темы вручную вносить в аадурилку яндекса :?

И ещё: в robots.txt
в блоке для Яндекса у меня указано:

Code: Select all
User-agent: Yandex

Я так понимаю, надо указать

Code: Select all
User-agent: YandexBot
?
user M
Новичок
Avatar
Age: 24
Location: ZP
Reputation: 2
With us: 3 yaers 10 months

Next

Forum name: Мастерская
Description: Только готовые решения! Статьи, заметки, моды и другие полезности для phpBBex 1.x и phpBB 3.0.x.

Quick reply


Enter the code exactly as it appears. All letters are case insensitive.
Confirmation code
:hi: :smile: :wink: :twisted: :sad: :evil: :smoke: :eh: :eek: :fie: :silenced: :razz: :oops: :help: :spy: :insane: :biggrin: :toothless: :ill: :nervious: :weirdface: :pray: :clap: :think: :boxing: :cyclop: :rambo: :zombie: :cry: View more smilies

   

Return to Мастерская