Файл robots.txt для вашего форума

**Модник** » 15.07.2014, 09:46

Данный роботс актуален на 1.8?

Код: Выделить всё: User-Agent: * Host: example.com Disallow: /forum/adm Disallow: /forum/cache Disallow: /forum/classes Disallow: /forum/docs Disallow: /forum/download Allow: /forum/download/file.php Disallow: /forum/files Disallow: /forum/includes Disallow: /forum/install Disallow: /forum/language Disallow: /forum/modules Disallow: /forum/stk Disallow: /forum/store Disallow: /forum/styles Disallow: /forum/umil Disallow: /forum/mcp.php Disallow: /forum/posting.php Disallow: /forum/report.php Disallow: /forum/style.php Disallow: /forum/viewtopic.php?*&view=print Disallow: /forum/memberlist.php Clean-param: sid /forum/ Clean-param: f&hilit /forum/viewtopic.php Crawl-delay: 10

**VEG** » 15.07.2014, 10:15

Актуален.

**pisikot** » 15.09.2014, 13:19

Clean-param: sid /forum/
Clean-param: f&hilit /forum/viewtopic.php
Crawl-delay: 10

Оказывается это для яндекса, гугл не знает что это такое))

**Sumanai** » 15.09.2014, 15:09

Зато когда узнает, ничего править не нужно будет, в отличии от разнесения правил по разным секциям.

**ЖЪРЧИК** » 21.11.2014, 11:38

Модник,

добавил бы, если имеется.

**dipol** » 16.12.2014, 01:21

VEG:Угу, помимо hilit ещё параметр f должен игнорироваться.

И? Чувствую у меня загвоздка именно где то тут )):

Добавлено спустя 1 минуту 23 секунды:

pisikot:Оказывается это для яндекса, гугл не знает что это такое))

Так мб тут у меня собака то зарыта или чего? Или это мод Sitemap_FX мне чего то там не так создает?

**dipol** » 16.12.2014, 10:31

А все.. вроде прочухалось... (видать у гугла там старый robot.txt завис)