Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит crawl?
Значение и примеры · Веб-разработка
crawl: сканировать сайт, обходить страницы
Автоматически посещать страницы сайта, переходить по ссылкам и загружать их содержимое, чтобы поисковая система могла добавить его в индекс.
Где и как употребляется
Бот называется crawler или spider, по-русски — поисковый робот. Разработчики управляют обходом через robots.txt и говорят об ошибках сканирования и бюджете обхода крупных сайтов.
Примеры предложений
Googlebot crawled the staging site because nobody had blocked it.
Googlebot просканировал тестовый сайт, потому что его никто не запретил обходить.
Робот попал на staging-сайт, который следовало закрыть от сканирования.
Pages that can only be reached through a search form are hard for bots to crawl.
Ботам трудно обходить страницы, доступные только через поисковую форму.
Без ссылок, ведущих на страницу, робот не сможет найти её обычным обходом.
Распространённые словосочетания
- crawl a site
- search engine crawler
- crawl budget
- crawl errors
- block crawlers
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: SEO для разработчиков
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: