¿Qué son los Tableros de Clasificación de LLM?

Los tableros de clasificación de Modelos de Lenguaje Grande (LLM) han adquirido una gran relevancia entre los desarrolladores de LLM, ya que permiten comparar las capacidades de estos modelos mediante un sistema de evaluación estandarizado. Estos tableros ayudan a clasificar el rendimiento de los modelos de lenguaje en diversas tareas como generación de texto, traducción, resumen, respuesta a preguntas, entre otras. Al usar métodos detallados y grandes bases de datos, los tableros de clasificación de LLM ayudan a identificar las fortalezas y debilidades de los modelos, guiando a los investigadores y desarrolladores en sus decisiones.

Principales Tableros de Clasificación de LLM a Seguir en 2024

1. LMSYS Chatbot Arena Leaderboard

El LMSYS Chatbot Arena Leaderboard es reconocido por su sistema de evaluación exhaustivo. Combina votos de preferencia humana con el método de clasificación Elo para evaluar los modelos de lenguaje. Incorpora benchmarks como MT-Bench y MMLU, permitiendo a los usuarios clasificar modelos a través de interacciones con indicaciones personalizadas. A pesar de ser alabado por su apertura y justicia, el juicio humano puede introducir sesgos, lo que podría inclinar los resultados hacia modelos que ofrecen respuestas agradables en lugar de precisas.

2. Trustbit LLM Benchmark

El Trustbit LLM Benchmark es una valiosa fuente de información para el desarrollo de productos digitales. Proporciona evaluaciones mensuales detalladas de los LLMs basadas en datos reales de productos de software. Trustbit evalúa modelos en categorías como procesamiento de documentos, integración con CRM, soporte de marketing, costos, velocidad y generación de código. Este tablero es útil para comparaciones de alto nivel de los modelos más conocidos.

3. EQ-Bench: Inteligencia Emocional

EQ-Bench, desarrollado por Samuel J. Paech, evalúa la inteligencia emocional de los modelos de lenguaje, enfocándose en su capacidad para entender emociones complejas e interacciones sociales a través de 171 preguntas en inglés. La versión más reciente, EQ-Bench v2, cuenta con un sistema de puntuación mejorado para diferenciar mejor el rendimiento de los modelos. Aunque destaca en evaluaciones iniciales de inteligencia emocional, puede no ser adecuado para todas las evaluaciones.

4. Berkeley Function-Calling Leaderboard

Este tablero se centra en las capacidades de llamada de funciones de los LLMs, evaluando los modelos en su habilidad para procesar llamadas de funciones, analizar árboles de sintaxis y ejecutar funciones de manera precisa en diversos escenarios.

5. ScaleAI Leaderboard

Los tableros de ScaleAI cuentan con conjuntos de datos privados y evaluaciones dirigidas por expertos, buscando resultados imparciales y sin contaminación en un entorno dinámico, similar a un concurso.

6. OpenCompass: CompassRank

OpenCompass 2.0 es una plataforma de evaluación versátil que incluye tableros de clasificación como CompassRank. Evalúa LLMs en múltiples dominios utilizando benchmarks tanto de código abierto como propietarios. Los componentes principales de la plataforma incluyen CompassKit para herramientas de evaluación, CompassHub para repositorios de benchmarks y CompassRank para los rankings.

7. Hugging Face Open LLM Leaderboard

El Hugging Face Open LLM Leaderboard es una plataforma bien conocida que clasifica y evalúa modelos de lenguaje abiertos y chatbots. Utilizando el Eleuther AI LM Evaluation Harness, evalúa los modelos en términos de conocimiento, razonamiento y capacidades de resolución de problemas. A pesar de haber enfrentado problemas con modelos fusionados que manipulaban los rankings, las actualizaciones recientes han mejorado la equidad, filtrando estos modelos por defecto.

8. CanAiCode Leaderboard

El CanAiCode leaderboard forma parte del conjunto de pruebas CanAiCode, diseñado para probar LLMs pequeños de texto a código. Evalúa cómo los modelos convierten entradas de texto en código, proporcionando visibilidad y comparación entre diversos modelos de programación. Aunque es útil para identificar los mejores rendimientos, su relevancia en aplicaciones de programación del mundo real puede ser limitada.

9. Open Multilingual LLM Evaluation Leaderboard

Este tablero evalúa LLMs en 29 idiomas, promoviendo los beneficios globales de los LLMs. Utiliza benchmarks como el AI2 Reasoning Challenge y TruthfulQA para garantizar que los modelos sean efectivos en múltiples idiomas. Es un recurso esencial para los modelos diseñados para tareas multilingües.

10. Massive Text Embedding Benchmark (MTEB) Leaderboard

El MTEB Leaderboard evalúa modelos de incrustación de texto utilizando 56 conjuntos de datos y 8 tareas, abarcando hasta 112 idiomas. Evalúa modelos en función de la clasificación, precisión, puntuaciones F1 y otros métricos, siendo esencial para seleccionar los modelos más efectivos para diversas tareas.

11. AlpacaEval Leaderboard

El AlpacaEval Leaderboard proporciona una evaluación rápida de los modelos de lenguaje que siguen instrucciones. Clasifica los modelos según su tasa de victorias frente a las respuestas de referencia basadas en GPT-4. Aunque es útil para evaluaciones iniciales, se recomienda complementar los resultados con métricas y pruebas adicionales adaptadas a tareas del mundo real.

12. Uncensored General Intelligence Leaderboard (UGI)

El UGI Leaderboard clasifica los modelos según su manejo de temas sensibles o no censurados. Mantiene la confidencialidad de las preguntas de evaluación para evitar sesgos, proporcionando una comparación honesta de los modelos. Este tablero es crucial para quienes buscan modelos capaces de manejar contenido controvertido.