¿Qué significa pretraining?
Significado en Inteligencia artificial y aprendizaje automático, traducción al español y ejemplos
pretraining: preentrenamiento
Primera y mayor etapa de entrenamiento, en la que un modelo aprende patrones generales a partir de grandes cantidades de datos, en su mayoría sin etiquetar, antes de adaptarse a tareas específicas.
Cómo se usa
En LLM suele consistir en predecir el siguiente token a partir de billones de tokens de texto y es, con diferencia, la etapa más costosa. Después vienen pasos de posentrenamiento, como el ajuste fino y RLHF. También se escribe pre-training; el adjetivo es pretrained.
Frases de ejemplo
Pretraining took eight weeks on a few thousand GPUs.
El preentrenamiento duró ocho semanas con varios miles de GPU.
La escala de recursos ilustra el coste de esta etapa inicial.
We don't do pretraining ourselves; we fine-tune open models.
No hacemos el preentrenamiento por nuestra cuenta; ajustamos modelos abiertos.
El equipo parte de modelos ya entrenados de forma general.
Combinaciones frecuentes
- pretraining data
- pretraining run
- large-scale pretraining
- pretrained model
Términos relacionados
Esta palabra en otras especialidades
Una misma palabra en inglés puede tener un significado diferente según la especialidad:
Más términos: Grandes modelos de lenguaje
Practica con lecturas adaptadas a tu nivel
Leer textos de tu nivel te ayuda a recordar las palabras nuevas. Elige libros gratuitos en inglés: