Может все же есть какой-то FAQ, как работать с многостраничными сайтами? Ну кроме того, что разбивать на несколько файлов xml для уменьшения объёма каждого.
Неподумавши послал письмо, но потом прикрыл вход, так как всё же файлы у Вас зазендованы...
Настройкой robots.txt я сделал всё что мог для облегчения жизни Вашему скрипту.
Вы можете сами взглянуть.
Но он создавал crawl_dump.log 25 мб, затем удалял другой лог-файл и останавливался...