Examen de Inteligencia Artificial: Conceptos Básicos de IA y LLMs

1. ¿Qué es un Modelo de Lenguaje Grande (LLM)?

Un modelo de IA diseñado exclusivamente para generar imágenes.
Un tipo de modelo de IA que comprende y genera texto similar al humano, entrenado con grandes cantidades de datos.
Un programa de computadora que solo puede realizar cálculos matemáticos.
Un tipo de modelo de IA diseñado para actuar como un software de edición de texto.

2. ¿Cuáles son las principales diferencias entre un modelo de lenguaje tradicional y un LLM?

3. ¿Qué es la tokenización en el contexto de los LLM?

El proceso de convertir texto en voz.
El método para entrenar el modelo.
La técnica para evaluar el rendimiento del modelo.
El proceso de dividir un texto en unidades más pequeñas (tokens) que el LLM puede procesar.

4. ¿Cuáles son los principales desafíos en el entrenamiento de LLMs?

5. ¿Cuál es el papel del pre-entrenamiento en los LLMs?

Entrenar el modelo en un conjunto de datos grande y general para aprender patrones amplios del lenguaje
Evaluar la calidad del modelo final
Evaluar el rendimiento del modelo en tareas muy específicas.
Optimizar la velocidad del modelo

6. ¿Qué es el "fine-tuning" (ajuste fino) en el contexto de los LLM?

Entrenar un modelo desde cero sin ningún dato previo.
Crear un nuevo modelo de lenguaje desde cero.
Ajustar un LLM pre-entrenado en un conjunto de datos más pequeño y específico para mejorar el rendimiento en una tarea particular.
La técnica para reducir el sesgo en el modelo sin cambiar sus pesos.

7. ¿Cuáles son las características del fine-tuning (ajuste fino)?

8. ¿Qué es el aprendizaje de cero disparos (zero-shot learning) en LLMs?

La capacidad de un LLM para realizar una tarea con muchos ejemplos de entrenamiento.
Un método de entrenamiento que utiliza solo una pequeña cantidad de datos.
La habilidad de un LLM para realizar una tarea sin ejemplos específicos de entrenamiento, basándose en su conocimiento pre-entrenado.
Un método de entrenamiento sin datos

9. ¿Qué son los transformers en el contexto de los LLMs?

Arquitecturas de redes neuronales que utilizan mecanismos de atención para procesar secuencias
Dispositivos físicos para procesar datos.
Un método para que el LLM ignore ciertas palabras en una oración.
Bases de datos especializadas

10. ¿Cuáles son las ventajas de la tokenización de subpalabras sobre la tokenización a nivel de palabra?

11. ¿Cuáles son ventajas de los transformers sobre las RNNs?

12. ¿Qué es el olvido catastrófico en el fine-tuning?

Un error en el código del modelo
Un problema de hardware
Una técnica de optimización
Cuando el modelo pierde conocimiento general aprendido durante el pre-entrenamiento

13. ¿Cuál es el riesgo de "overfitting" (sobreajuste) en los LLMs y cómo se puede abordar?

El modelo se vuelve demasiado grande para ejecutarse en computadoras normales; se aborda reduciendo el número de parámetros.
El modelo memoriza los datos de entrenamiento y no generaliza bien a datos nuevos; se aborda usando más datos, regularización o detención temprana.
El modelo aprende demasiado lento; se aborda aumentando la tasa de aprendizaje.
El modelo genera resultados demasiado cortos; se aborda añadiendo más capas al modelo.

14. ¿Qué es la perplejidad en la evaluación de LLMs?

15. ¿Qué es la ingeniería de prompts?

Una técnica de programación avanzada
Un método de evaluación de modelos
Una arquitectura de red neuronal
El diseño de instrucciones de entrada para guiar el comportamiento de un LLM sin cambiar sus pesos

16. ¿Cómo se utiliza la Comprensión del Lenguaje Natural (NLU) en los LLMs?

Solo para traducir idiomas desconocidos.
Creando nuevas palabras para un idioma.
Clasificando intenciones, extrayendo entidades, realizando análisis de sentimientos y comparando significados de oraciones para entender el lenguaje.
Calculando la frecuencia de aparición de palabras en un texto.

17. ¿Qué son los "transformers dispersos" (sparse transformers) y cómo mejoran la eficiencia de los LLMs?

Reducen la complejidad cuadrática de la autoatención al atender solo a un subconjunto de tokens, lo que reduce los requisitos de cómputo y memoria.
Son modelos Transformer con menos capas, lo que los hace más rápidos.
Son modelos Transformer que utilizan una menor cantidad de datos de entrenamiento.
Son Transformers que no usan el mecanismo de atención.

18. ¿Qué es la generación aumentada por recuperación (RAG)?

Una técnica que combina LLMs con sistemas de recuperación de información externa.
Un tipo de arquitectura transformer.
Un método de tokenización.
Una técnica de fine-tuning con información interna y externa.

19. ¿Para qué se usa la destilación de conocimiento en LLMs?

Para limpiar los datos de entrenamiento
Para evaluar la calidad del modelo
Para entrenar un modelo más grande que imite a uno que ha sido especializado, manteniendo el rendimiento
Para entrenar un modelo más pequeño que imite a uno más grande, reduciendo el tamaño pero manteniendo el rendimiento

20. ¿Cuáles son características de los modelos encoder-only como BERT?