Индексация роботами

**Girl** » 15.03.2013, 11:32

Скажите пожалуйста, это нормально что бот заходит в тему и висит там, если индексация раздела запрещена?
http://f1.s.qip.ru/YcnuraBV.jpg
Я не заметила во время сколько общего времени бот там провёл , но последние 3 минуты точно.

**VEG** » 15.03.2013, 11:41

Girl, судя по всему робот перешёл по ссылке на эту тему, но форум ответил ему ошибкой. Запись о том, что кто-то смотрит такую-то страницу, хранится заданное в админке время (5-10 минут). На самом деле робот не смотрел на ошибку всё это время, он справился меньше чем за секунду :)

**Girl** » 15.03.2013, 12:02

Спасибо, буду в курсе !
Репутация ,кстати, не нажимается ...уже нажимается....

**VEG** » 15.03.2013, 12:07

Girl:Репутация ,кстати, не нажимается ...

Спасибо за замечание, исправил.

**RuRupert** » 10.09.2013, 22:50

Давно заметил, что несмотря на наличие картинок в сообщениях форума, они не индексируются поисковиками. Яндекс не индексирует вообще ни одного изображения, гугль индексирует в качестве картинок только атаварки пользователей и фавикон, который лежит в корне форума. Посмотрел на ситуацию с phpBBex.com - и яша и гугль вывалили ворох изображений из вложений. Похоже у меня что то наворочено в настройках форума и роботы просто не имеют доступа к картинкам вложений. Подскажите, где посмотреть-поправить? У меня есть подозрения на файл robots.txt - тот, что сейчас лежит в корне форума когда то при установке phpBBex был скопирован из первого поста этой темы:

Код: Выделить всё: User-agent: * Host: tangovrn.ru Disallow: /adm Disallow: /cache Disallow: /classes Disallow: /docs Disallow: /download Allow: /download/file.php Disallow: /files Disallow: /includes Disallow: /install Disallow: /language Disallow: /modules Disallow: /stk Disallow: /store Disallow: /styles Disallow: /umil Disallow: /mcp.php Disallow: /posting.php Disallow: /report.php Disallow: /style.php Disallow: /viewtopic.php?*&view=print Disallow: /memberlist.php Clean-param: f&hilit /viewtopic.php Crawl-delay: 10

**factotum** » 10.09.2013, 22:57

вложения выводятся через разрешенный /download/file.php
смысл для поисковых роботов наступает, если вы сможете заставить пользователей добавлять описание картинок & в файле attachment.html вставить описание в тег alt или title

можете попробовать разрешить все вложения:
Disallow: /download исправить на Allow: /download

**RuRupert** » 10.09.2013, 23:28

Заставить пользователей )))) это вряд ли. Интересно то, что на этом форуме картинки из постов индексируются и картинки в массе своей без подписей. Открыть доступ к download, попробую. Спасибо за совет.

**factotum** » 10.09.2013, 23:53

RuRupert:постов индексируются и картинки в массе своей без подписей

Так а что Вы искали?
так понимаю, все картинки на указанном ресурсе. Как это привлечет поисковый трафик?

обычно ищут как то так:
"курица" - поисковик вываливает всех проиндексированных "куриц". Тематика картинок индексируется через теги alt и tile. Уже затем предлагаются картинки из проиндексированных страниц с ревалентными заголовками. А вот такой поиск уже приносит трафик.

Заставить пользователей добавлять метаописания - отдельная тема. ничто не мешает после загрузки картинки на сервер добавить всплывающий ноуд с предложением заполнить метаописание.

Вот еще одна тема для размышлений: https://groups.google.com/forum/#!topic/google_webmaster_help-indexing-ru/ZvFXR29gzK8

**RuRupert** » 11.09.2013, 12:23

Понятно, что просто индексация картинок не имеет никакого смысла. У меня не индексировались даже те изображения, что имели подписи. Всплывающий ноуд... банальное прикрепление картинки к посту превратится в весьма увлекательную процедуру, имел удовольствие понаблюдать за посетителями собственного форума, большинству лень атавару поставить и настроить отображение форума в профиле под себя... какие там метаданные )) Заходят и постят - уже хорошо. Наверное было бы оптимальным, если метаданные картинок заполнялись из подписей. Пока оставлю всё как есть.

**VEG** » 11.09.2013, 13:00

RuRupert, скорее всего у вас боты не имеют права скачивать вложения. В этом и проблема. Ваш robots.txt позволяет роботам скачивать изображения, но система прав судя по всему не даёт этого сделать.

**RuRupert** » 11.09.2013, 17:05

Проверил. В настройках "Доступ к разделам" ботам установлен стандартный "доступ для бота", на вкладке прав "Доступ к содержимому" - переключатель "Может скачивать файлы" установлен. Но... в настройках "Права групп"-"Права пользователя"-вкладка "Размещение сообщений" опция "Может скачивать файлы" отключена, точнее для бота вообще тут не была назначена роль. Так понимаю, что эта настройка дублируется, не понятно, какая из них имеет более высокий приоритет, если последняя, тогда естественно боты не могут ничего скачать вообще.

**Sumanai** » 11.09.2013, 17:27

RuRupert:не понятно, какая из них имеет более высокий приоритет, если последняя, тогда естественно боты не могут ничего скачать вообще.

Если есть хоть один "Да" и нет "Никогда", то будет "Да". Посмотрите в масках прав доступа, вдруг где "Никогда" стоит.

**RuRupert** » 22.09.2013, 21:14

В масках доступа было "никогда" на скачивание вложений для ботов из-за запрета этой опции в настройках "Права групп". Прошла неделя после изменения настроек доступа, сегодня проверил - Гугль начал индексировать картинки. VEG, Sumanai, factotum, спасибо за подсказки.