Мои вопросы....

[goalkar]

Помогите сделать robots.txt  в гугл написали сегодня ошибку сканирования
http://tihan.ru/page/4/
   URL, запрещенный файлом robots.txt
вот сам файл
User-agent: *
Disallow: /backup/
Disallow: /catalog/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /addnews.html
Disallow: /admintihan.php
Disallow: /autobackuptihan.php
Disallow: /index.php?do=
Disallow: /index.php?subaction=newposts
Disallow: /rules.html
Disallow: /statistics.html
Host: tihan.ru
Sitemap: http://tihan.ru/sitemap.xml

[asmakovec2]

с роботсом всё впорядке. Скорее всего просто глюк гугла.

[vladimir]

Ага. А только одну страницу указал он в ошибках? Дата какая ошибки?

[goalkar]

дата обновления Обновлено 06.09.2010
только почему-то заблокировал одну страницу ,странно
роботс полный ничего не нужно добавлять?
что еще посоветуете для лучшего вывода сайта

[Vens]

Ты плз проясни - Гугл тебе страницу блокирнул или AdSense? Если второе - кое что проясню. А с роботсом действительно порядок - у меня похожий.

[goalkar]

меня гугл блоканул

[Vens]

Тащи скрин блокирнутой строки.
Вот что можно еще:
Disallow: /*print - запрет всех страниц из версии для печати. Осторожно, это палка о двух концах. Ходят слухи, что гугл лучше печатныке версии страниц индексирует. А минус в том, что неопытный откроет и сразу закроет, ты пролетаеш.
Я не спец по robots.txt , но у меня Disallow: /tags/ не запрещены.

[asmakovec2]

Тащи скрин блокирнутой строки.
Вот что можно еще:
Disallow: /*print - запрет всех страниц из версии для печати. Осторожно, это палка о двух концах. Ходят слухи, что гугл лучше печатныке версии страниц индексирует. А минус в том, что неопытный откроет и сразу закроет, ты пролетаеш.
Я не спец по robots.txt , но у меня Disallow: /tags/ не запрещены.

Disallow: /*print  - здесь явно не причём.
Disallow: /tags/ -  насчёт тегов у всех разное мнение, я лично закрываю, мне на сайте лишние дубли совсем ни кчему.

[Сима]

А у меня яша только теги и кушал,не вылазил с сайта,когда я новости грабером получал,и теги с новости брались,и вообще мне  больше всего в граббере понравилось как он теги выбирает

[asmakovec2]

А у меня яша только теги и кушал,не вылазил с сайта,когда я новости грабером получал,и теги с новости брались,и вообще мне  больше всего в граббере понравилось как он теги выбирает

ну да теги кушает, а основные страницы с новостью выкидывает.

[Vens]

Да *принт - это он спрашивает, что еще можно запретить, я и указал.
А вот про теги грабберских новостей, это очень интересно.
Сейчас у меня стоит вроде по умолчанию - оставлять старые, ну с фильтром конечно. А я вот и думаю, может поставить перегенерацию? А то прикиньте, одинаковые строки в поиске вылетать начнут. Надо перегенерировать или нет?

[Сима]

Там есть генерировать из новости,или как-то так.
Мне за теги яша людей слал,ммммммммммм.....

[Vens]

Я не понял, так надо генерить или нет? Кстати, у меня индексация вроде растет.

[Сима]

Я не понял, так надо генерить или нет? Кстати, у меня индексация вроде растет.

вот видиш нужно было подождать=)
Генерить нужно там в настройках есть генерить

[Vens]

Подождать то подождать, но пока 400 стр. всего в соплях Гугла и всего 80 Яша.
Где там Goalkar? Нам нужно составить ему идеальный robots, или нас могут обвинить в замусоривании тем. Так вот у меня, вот эти строки:
Host: _tihan.ru
Sitemap: _http://tihan.ru/sitemap.xml
стоят в другой последовательности, наоборот.
И как его зовут? Гулькар? Гоалкер?