La evaluación de modelos de lenguaje grande (LLM) es una parte central del proceso de despliegue y mejora de aplicaciones impulsadas por LLM. En este artículo, exploraremos las metodologías de evaluación de LLM, dividiendo todo en dos categorías principales: LLM como Juez y Humano como Juez.

Evaluación con LLM como Juez

Visión General
La evaluación con LLM como Juez aprovecha las capacidades de los LLMs para evaluar las respuestas de otros LLMs. Este método simula una evaluación similar a la humana, pero el trabajo lo realiza el propio modelo de lenguaje grande.

Cómo Funciona

1. Identificar Criterios de Evaluación: Determina qué características deseas evaluar, como la alucinación, toxicidad, exactitud u otra cualidad. Utiliza evaluadores preestablecidos para criterios de evaluación comunes.
2. Crear el Prompt de Evaluación: Redacta una plantilla de prompt que guíe el proceso de evaluación. Esta plantilla debe definir las variables necesarias tanto del prompt inicial como de la respuesta del LLM para evaluar de manera efectiva el resultado.
3. Seleccionar el LLM para Evaluación: Elige un LLM adecuado para realizar las evaluaciones. El modelo seleccionado debe alinearse con las necesidades específicas de evaluación.
4. Generar Evaluaciones y Ver Resultados: Ejecuta las evaluaciones a través de tu conjunto de datos. Este proceso permite realizar pruebas exhaustivas sin la necesidad de anotación manual, acelerando la iteración y la mejora de los prompts.

Ventajas

• Consistencia: Proporciona criterios de evaluación uniformes utilizados ampliamente en la industria.
• Velocidad Inicial: Acelera el proceso de iteración para afinar los prompts y respuestas de los LLM antes de contar con usuarios reales.

Evaluación con Humano como Juez

Visión General
La categoría de Humano como Juez se centra en los métodos de evaluación en los que la entrada humana es crucial para valorar las salidas de los LLM. Esto incluye tanto el juicio explícito de los humanos como la retroalimentación implícita proveniente de interacciones reales. Al acuñar este término, similar a conceptos conocidos como Evaluación de LLM basada en Usuarios o Evaluación Humana, buscamos centralizar la perspectiva humana en el proceso de evaluación, asegurando que la satisfacción del usuario sea una métrica primaria para los desarrolladores de LLM.

Métodos y Métricas

1. Evaluación Humana (también conocida como “Vibe Checking”): Implica que expertos en el dominio o usuarios representativos finales evalúen manualmente la calidad de las respuestas generadas por el modelo. Esto incluye evaluar aspectos como fluidez, coherencia, creatividad, relevancia y equidad.
   • Tácticas:
     • Revisar las respuestas generadas por el LLM.
     • Calificar las respuestas según criterios específicos relevantes para la aplicación.
     • Usar los comentarios para ajustar y mejorar el modelo.
2. Pruebas A/B: Realización de experimentos controlados en los que se prueban diferentes versiones de una característica de LLM con usuarios para determinar cuál ofrece un mejor desempeño.
   • Tácticas:
     • Dividir a los usuarios en grupos de control y tratamiento.
     • Desplegar diferentes versiones de la característica del LLM a cada grupo.
     • Comparar métricas de desempeño, como satisfacción y participación de los usuarios.
3. Crowdsourcing: Utilizar a un gran número de individuos para evaluar las respuestas de los LLM. Este método puede generar retroalimentación sustancial rápidamente, proporcionando diversas perspectivas.
   • Tácticas:
     • Distribuir tareas de evaluación a una multitud de usuarios.
     • Recopilar y agregar comentarios para evaluar el desempeño del modelo.
     • Usar los datos agregados para refinar y mejorar el modelo.
4. Retroalimentación Explícita de Usuarios: Recoger comentarios directamente de los usuarios que interactúan con aplicaciones LLM en escenarios reales. Estos comentarios pueden incluir “me gusta/no me gusta”, calificaciones y comentarios.
   • Tácticas:
     • Pedir a los usuarios que dejen retroalimentación explícita después de interactuar con el LLM.
     • Analizar manualmente los comentarios cualitativos para identificar áreas de mejora.
5. Retroalimentación Implícita y Participación de Usuarios: Retroalimentación indirecta obtenida a partir de los prompts, comportamientos e interacciones de los usuarios con la aplicación.
   • Tácticas:
     • Monitorear las interacciones de los usuarios con las características del LLM.
     • Rastrear métricas de participación como tasas de aceptación, duración de la conversación y retención de usuarios.
     • Analizar automáticamente la retroalimentación implícita para identificar áreas de mejora, como advertencias de usuarios o experiencias positivas.

Ventajas

• Escalabilidad: Con la evaluación de retroalimentación implícita de usuarios, este método puede escalar a medida que aumenta la actividad de los usuarios. Recoge retroalimentación extensa basada en interacciones reales sin requerir esfuerzo manual continuo.
• Experiencias Reales de Usuarios: Proporciona información basada en interacciones auténticas de los usuarios, lo que asegura que la evaluación refleje el desempeño en el mundo real.
• Retroalimentación Matizada: Captura las sutilezas del lenguaje humano y la interacción que los sistemas automáticos pueden no detectar.

Conclusión

Tanto la evaluación con Humano como Juez como la evaluación con LLM como Juez son esenciales para una evaluación integral de los LLM. Los métodos humanos proporcionan perspectivas matizadas y cualitativas que capturan las sutilezas del lenguaje y la interacción humana. Además, permiten que el desarrollo del modelo se enfoque en la experiencia y satisfacción del usuario. Por otro lado, los métodos con LLM como Juez garantizan que los modelos cumplan con los estándares de rendimiento en diferentes casos de uso y de acuerdo con una variedad de criterios preestablecidos. Al combinar estos enfoques, podemos lograr una evaluación robusta y diversa, así como una mejora continua de los LLM, alineándolos con las verdaderas necesidades de los usuarios. La promesa de escalar la retroalimentación humana real mediante el monitoreo continuo de interacciones y prompts es especialmente emocionante, ofreciendo un camino hacia sistemas de IA cada vez más efectivos y alineados.