Цитата из FAQ - Быстрый поиск для ленивых:
Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.
.....
500 ссылок съедается с главной
150 - с каждой страницы второго уровня
Итого: 1+500+500*150=75501
Перед очередной индексацией решил посмотреть структуру сайта и заметил, что на некоторых страницах второго уровня, количество ссылок под 200!!! Но у бота sape есть ограничение: 150!!! Вообщем, настало время немножко перестроить сайт.
Комментариев нет:
Отправить комментарий