Tokens y Tokenización en Inteligencia Artificial

1. Qué es un token en el contexto de los modelos de lenguaje?

• Una palabra completa en cualquier idioma
• La unidad más pequeña de texto en la que se divide una frase o palabra
• Un número que representa el costo de procesamiento
• Un tipo de algoritmo de IA

2. Un token siempre equivale exactamente a una palabra completa.

• Verdadero
• Falso

3. La tokenización es el proceso de convertir texto en una secuencia de tokens que pueden ser procesados por modelos de lenguaje.

• Verdadero
• Falso

4. ¿Cuál es el objetivo principal de la tokenización en procesamiento de lenguaje natural?

• Traducir texto a diferentes idiomas
• Corregir errores ortográficos
• Generar resúmenes automáticos
• Convertir texto en una representación numérica procesable

5. Una vez que el texto ha sido tokenizado, ¿en qué se convierte cada token para que los LLMs puedan procesarlo y "entender" su significado?

• Directamente en una imagen de la palabra.
• En un formato de texto comprimido para reducir el tamaño.
• En un ID numérico único y luego en "embeddings" (representaciones numéricas).
• En un archivo de audio para su procesamiento.

6. ¿Por qué es crucial entender la tokenización para el cálculo de costos en APIs de LLMs?

• Los costos se basan en el número de caracteres especiales.
• Los modelos de IA no tienen costos asociados a la cantidad de texto.
• Los costos solo se aplican a los tokens de salida, no a los de entrada.
• Porque la facturación se realiza por tokens procesados (tanto de entrada como de salida), no por palabras.

7. La tokenización es el proceso principal mediante el cual un modelo de IA transforma su salida final en un formato comprensible para el usuario.

• Verdadero
• Falso

8. ¿Qué tipo de tokenización es aquella que descompone una palabra como "racket" en "rack" y "##et"?

• Tokenización de subpalabras
• Tokenización de caracteres