Индексация роботами

Список разделов phpBBex 1.x (поддерживается) Поддержка 1.x

Описание: У вас проблемы с phpBBex 1.x и вам необходима помощь? Спрашивайте здесь!
Правила раздела: Одна тема — один вопрос или группа связанных вопросов. Обязательно формируйте внятный заголовок, максимально отражающий суть вопроса. Подробно описывайте проблему. Не забудьте указать версию phpBBex и какие моды установлены, по возможности добавьте скриншоты проблемы или ссылку на страницу с проблемой.
Модератор: Поддержка

Сообщение #1 Girl » 15.03.2013, 11:32

Скажите пожалуйста, это нормально что бот заходит в тему и висит там, если индексация раздела запрещена?
http://f1.s.qip.ru/YcnuraBV.jpg
Я не заметила во время сколько общего времени бот там провёл , но последние 3 минуты точно.
Girl
Автор темы
Аватара
Репутация: 18
С нами: 11 лет 5 месяцев

Сообщение #2 VEG » 15.03.2013, 11:41

Girl, судя по всему робот перешёл по ссылке на эту тему, но форум ответил ему ошибкой. Запись о том, что кто-то смотрит такую-то страницу, хранится заданное в админке время (5-10 минут). На самом деле робот не смотрел на ошибку всё это время, он справился меньше чем за секунду :)
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #3 Girl » 15.03.2013, 12:02

Спасибо, буду в курсе !
Репутация ,кстати, не нажимается ...уже нажимается....
Последний раз редактировалось Girl 15.03.2013, 12:09, всего редактировалось 1 раз.
Girl
Автор темы
Аватара
Репутация: 18
С нами: 11 лет 5 месяцев

Сообщение #4 VEG » 15.03.2013, 12:07

Girl:Репутация ,кстати, не нажимается ...
Спасибо за замечание, исправил.
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #5 RuRupert » 10.09.2013, 22:50

Давно заметил, что несмотря на наличие картинок в сообщениях форума, они не индексируются поисковиками. Яндекс не индексирует вообще ни одного изображения, гугль индексирует в качестве картинок только атаварки пользователей и фавикон, который лежит в корне форума. Посмотрел на ситуацию с phpBBex.com - и яша и гугль вывалили ворох изображений из вложений. Похоже у меня что то наворочено в настройках форума и роботы просто не имеют доступа к картинкам вложений. Подскажите, где посмотреть-поправить? У меня есть подозрения на файл robots.txt - тот, что сейчас лежит в корне форума когда то при установке phpBBex был скопирован из первого поста этой темы:

Код: Выделить всё
User-agent: *
Host: tangovrn.ru
Disallow: /adm
Disallow: /cache
Disallow: /classes
Disallow: /docs
Disallow: /download
Allow:    /download/file.php
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /modules
Disallow: /stk
Disallow: /store
Disallow: /styles
Disallow: /umil
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /viewtopic.php?*&view=print
Disallow: /memberlist.php
Clean-param: f&hilit /viewtopic.php
Crawl-delay: 10
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #6 factotum » 10.09.2013, 22:57

вложения выводятся через разрешенный /download/file.php
смысл для поисковых роботов наступает, если вы сможете заставить пользователей добавлять описание картинок & в файле attachment.html вставить описание в тег alt или title

можете попробовать разрешить все вложения:
Disallow: /download исправить на Allow: /download
factotum
Откуда: Люксембург
Репутация: 234
С нами: 11 лет 11 месяцев

Сообщение #7 RuRupert » 10.09.2013, 23:28

Заставить пользователей )))) это вряд ли. Интересно то, что на этом форуме картинки из постов индексируются и картинки в массе своей без подписей. Открыть доступ к download, попробую. Спасибо за совет.
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #8 factotum » 10.09.2013, 23:53

RuRupert:постов индексируются и картинки в массе своей без подписей
Так а что Вы искали?
так понимаю, все картинки на указанном ресурсе. Как это привлечет поисковый трафик?

обычно ищут как то так:
"курица" - поисковик вываливает всех проиндексированных "куриц". Тематика картинок индексируется через теги alt и tile. Уже затем предлагаются картинки из проиндексированных страниц с ревалентными заголовками. А вот такой поиск уже приносит трафик.

Заставить пользователей добавлять метаописания - отдельная тема. ничто не мешает после загрузки картинки на сервер добавить всплывающий ноуд с предложением заполнить метаописание.

Вот еще одна тема для размышлений: https://groups.google.com/forum/#!topic/google_webmaster_help-indexing-ru/ZvFXR29gzK8
factotum
Откуда: Люксембург
Репутация: 234
С нами: 11 лет 11 месяцев

Сообщение #9 RuRupert » 11.09.2013, 12:23

Понятно, что просто индексация картинок не имеет никакого смысла. У меня не индексировались даже те изображения, что имели подписи. Всплывающий ноуд... банальное прикрепление картинки к посту превратится в весьма увлекательную процедуру, имел удовольствие понаблюдать за посетителями собственного форума, большинству лень атавару поставить и настроить отображение форума в профиле под себя... какие там метаданные )) Заходят и постят - уже хорошо. Наверное было бы оптимальным, если метаданные картинок заполнялись из подписей. Пока оставлю всё как есть.
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #10 VEG » 11.09.2013, 13:00

RuRupert, скорее всего у вас боты не имеют права скачивать вложения. В этом и проблема. Ваш robots.txt позволяет роботам скачивать изображения, но система прав судя по всему не даёт этого сделать.
VEG M
Администратор
Аватара
Откуда: Finland
Репутация: 1653
С нами: 11 лет 11 месяцев

Сообщение #11 RuRupert » 11.09.2013, 17:05

Проверил. В настройках "Доступ к разделам" ботам установлен стандартный "доступ для бота", на вкладке прав "Доступ к содержимому" - переключатель "Может скачивать файлы" установлен. Но... в настройках "Права групп"-"Права пользователя"-вкладка "Размещение сообщений" опция "Может скачивать файлы" отключена, точнее для бота вообще тут не была назначена роль. Так понимаю, что эта настройка дублируется, не понятно, какая из них имеет более высокий приоритет, если последняя, тогда естественно боты не могут ничего скачать вообще.
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц

Сообщение #12 Sumanai » 11.09.2013, 17:27

RuRupert:не понятно, какая из них имеет более высокий приоритет, если последняя, тогда естественно боты не могут ничего скачать вообще.

Если есть хоть один "Да" и нет "Никогда", то будет "Да". Посмотрите в масках прав доступа, вдруг где "Никогда" стоит.
Sumanai M
Аватара
Репутация: 1677
С нами: 11 лет 2 месяца

Сообщение #13 RuRupert » 22.09.2013, 21:14

В масках доступа было "никогда" на скачивание вложений для ботов из-за запрета этой опции в настройках "Права групп". Прошла неделя после изменения настроек доступа, сегодня проверил - Гугль начал индексировать картинки. VEG, Sumanai, factotum, спасибо за подсказки.
RuRupert M
Репутация: 61
С нами: 11 лет 1 месяц


Вернуться в Поддержка 1.x