Проверьте доступность robots.txt и объявленных Sitemap для публичного сайта.
Проверяется только указанный публичный URL. Локальные адреса и URL с credentials не поддерживаются.
Другие проверки Crawly