Посмотрите фактический HTTP-ответ публичного URL и ограниченную цепочку переходов.
Проверяется только указанный публичный URL. Локальные адреса и URL с credentials не поддерживаются.
Другие проверки Crawly