Найдите недоступные HTTP-ссылки на одной публичной странице и посмотрите проверенные статусы.
Проверяется только указанный публичный URL. Локальные адреса и URL с credentials не поддерживаются.
Другие проверки Crawly