Що означає crawl?

Де і як уживається

Бота називають crawler або spider, а Google має Googlebot. Розробники керують скануванням через robots.txt і говорять про помилки сканування та, для дуже великих сайтів, про crawl budget — бюджет обходу.

Приклади речень

1. Googlebot crawled the staging site because nobody had blocked it.

   Googlebot просканував тестовий сайт, бо ніхто не закрив до нього доступ.

   Йдеться про автоматичний обхід сайту пошуковим ботом; staging site тут означає середовище перед запуском.

2. Pages that can only be reached through a search form are hard for bots to crawl.

   Ботам складно сканувати сторінки, до яких можна дістатися лише через пошукову форму.

   Форма створює шлях до сторінок, за яким ботам важко переходити автоматично.

Поширені словосполучення

• crawl a site
• search engine crawler
• crawl budget
• crawl errors
• block crawlers