¿Qué significa tokenizer?
Significado en Inteligencia artificial y aprendizaje automático, traducción al español y ejemplos
tokenizer: tokenizador
Componente que divide texto en tokens y los convierte en números que el modelo puede leer, y convierte sus salidas numéricas de nuevo en texto.
Cómo se usa
Cada modelo tiene su tokenizador; usar otro puede estropear resultados. Se examinan tamaño del vocabulario y eficiencia por idioma; el proceso es tokenización.
Frases de ejemplo
This tokenizer splits long Turkish words into many pieces, so our prompts cost more.
Este tokenizador divide las palabras largas del turco en muchas partes, así que nuestros prompts cuestan más.
La fragmentación aumenta el número de tokens procesados.
Make sure you load the tokenizer from the same checkpoint as the model.
Asegúrate de cargar el tokenizador del mismo checkpoint que el modelo.
Los vocabularios deben corresponder a los parámetros del modelo.
Combinaciones frecuentes
- load the tokenizer
- tokenizer vocabulary
- subword tokenizer
- tokenization
Términos relacionados
Esta palabra en otras especialidades
Una misma palabra en inglés puede tener un significado diferente según la especialidad:
Más términos: Procesamiento del lenguaje natural
Practica con lecturas adaptadas a tu nivel
Leer textos de tu nivel te ayuda a recordar las palabras nuevas. Elige libros gratuitos en inglés: