Английская лексика: Разработка программного обеспечения · Машинное обучение и обработка данных

Что значит web scraping?

Значение и примеры · Разработка программного обеспечения

существительноеРаспространённый термин

web scraping: сбор данных с веб-сайтов, веб-скрейпинг

Автоматический сбор данных с сайтов программой, которая загружает страницы и извлекает нужные сведения, например цены или названия товаров.

Где и как употребляется

Сайт скрейпят или для него создают скрейпер, например на Beautiful Soup или Scrapy. Условия многих сайтов ограничивают сбор, а персональные данные защищены законами GDPR и KVKK. При наличии обычно предпочитают официальный API.

Примеры предложений

We collected competitor prices through web scraping until they released a public API.
Мы собирали цены конкурентов скрейпингом, пока они не выпустили публичный API.
Автоматическое извлечение использовалось до появления официального интерфейса данных.
The web scraping job broke because the site changed its page layout.
Задание скрейпинга сломалось, потому что сайт изменил структуру страницы.
Парсер зависел от прежней разметки сайта и перестал находить нужные элементы.

Распространённые словосочетания

web scraping script
scrape a website
build a scraper
scraped data

Это слово в других отраслях

Одно и то же английское слово может иметь другое значение в другой отрасли:

Другие термины: Машинное обучение и обработка данных

Закрепляйте лексику чтением

Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: