Що означає corpus?

Де і як уживається

Інженери створюють, очищують, фільтрують і дедуплікують корпус та описують його розмір у токенах, мови й джерела. Слово частіше трапляється в NLP та лінгвістиці, ніж в інших галузях машинного навчання.

Приклади речень

1. We built a Turkish legal corpus of about two billion tokens.

   Ми створили турецький корпус юридичних текстів обсягом близько двох мільярдів токенів.

   Корпус описано за мовою, тематикою й розміром.

2. Half of the web corpus was duplicates, so we removed them before training.

   Половина вебкорпусу складалася з дублікатів, тому перед навчанням ми їх вилучили.

   Дедуплікація прибрала повтори з навчального матеріалу.

Поширені словосполучення

• text corpus
• training corpus
• build a corpus
• parallel corpus
• web corpus