¿Qué significa token?
Significado en Inteligencia artificial y aprendizaje automático, traducción al español y ejemplos
token: token, unidad de texto
Unidad pequeña de texto que un modelo de lenguaje lee o genera; puede ser una palabra, parte de ella o un signo. Los límites y precios suelen contarse en tokens.
Cómo se usa
En el trabajo con LLM se habla de tokens de entrada y salida, tokens por segundo, coste por millón de tokens y límite máximo. En inglés, un token suele ser algo más corto que una palabra; el turco, con sus palabras largas, suele necesitar más tokens por palabra.
Frases de ejemplo
The prompt is about 3,000 tokens, so it fits easily in the context window.
El prompt tiene unos 3 000 tokens, así que cabe de sobra en la ventana de contexto.
El recuento se compara con el límite disponible en el contexto.
With most providers, output tokens cost more than input tokens.
Con la mayoría de proveedores, los tokens de salida cuestan más que los de entrada.
Se distingue el coste de lo generado del coste de lo recibido.
Combinaciones frecuentes
- input tokens
- output tokens
- tokens per second
- token limit
- cost per token
Términos relacionados
Esta palabra en otras especialidades
Una misma palabra en inglés puede tener un significado diferente según la especialidad:
Más términos: Grandes modelos de lenguaje
Practica con lecturas adaptadas a tu nivel
Leer textos de tu nivel te ayuda a recordar las palabras nuevas. Elige libros gratuitos en inglés: