Сопоставьте canonical, robots.txt, meta robots и X-Robots-Tag без утверждений о фактической индексации.
Проверяется только указанный публичный URL. Локальные адреса и URL с credentials не поддерживаются.
Другие проверки Crawly