¿Qué es el Análisis de Usuarios para LLMs?
En los próximos años, miles de millones de personas interactuarán con LLMs (Modelos de Lenguaje Grande) a diario. Las herramientas tradicionales de análisis de productos no son suficientes para descubrir información valiosa de los usuarios de LLMs. Este artículo presenta un nuevo marco para el Análisis de Usuarios de LLMs, con el fin de entender mejor el comportamiento de los usuarios que interactúan con estos modelos.
Los modelos de lenguaje grande están introduciendo una nueva interfaz para interactuar con productos. Ya no es solo apuntar y hacer clic, sino que las interacciones ahora ocurren a través del lenguaje natural.
Este cambio de paradigma crea una forma radicalmente nueva para que los equipos de IA y los líderes de producto piensen sobre el análisis de productos, pasando de entender el viaje del usuario a través de clics a comprender el flujo de la conversación entre el usuario y el LLM.
¿Cuál es la Diferencia entre el Análisis de Productos y el Análisis de LLMs?
Las herramientas tradicionales de análisis de productos (como Mixpanel, Amplitude, etc.) no son efectivas para descubrir información valiosa sobre los usuarios de modelos de lenguaje grande. Las interacciones de los usuarios con productos basados en LLMs generalmente consisten en escribir texto y presionar Enter, luego escribir más texto y volver a presionar Enter… una y otra vez. Las herramientas tradicionales de análisis de productos no pueden capturar la esencia de lo que los usuarios escriben, por lo que no pueden responder a las preguntas más importantes que surgen de los productos de LLM:
- ¿Cuál es la intención principal del usuario al interactuar con los LLMs?
- ¿Cuáles son las preguntas o acciones de seguimiento más comunes que los usuarios realizan después de recibir una respuesta del LLM?
- ¿Cuáles son los temas más relevantes que discuten los usuarios? ¿Están satisfechos con las respuestas?
- ¿Hay situaciones en las que los usuarios parecen confundidos o insatisfechos con las respuestas del LLM?
- ¿Existen oportunidades para mejorar las respuestas del LLM basándose en la retroalimentación e interacciones de los usuarios?
¿Cómo Funciona el Análisis de Usuarios de LLMs?
Las preguntas anteriores requieren una perspectiva diferente sobre el análisis para hacer sentido de la gran cantidad de interacciones de los usuarios con los LLMs.
El análisis de usuarios de LLMs necesita un marco robusto que cubra los siguientes 4 pasos:
- Entender las acciones dentro de una interacción usuario-LLM.
- Entender las propiedades de una interacción.
- Extraer el flujo de una conversación.
- Detectar el compromiso del usuario vs. frustración.
Entender las Acciones Dentro de una Interacción Usuario-LLM
Definimos la interacción usuario-LLM como el intercambio dinámico entre el mensaje del usuario y la respuesta correspondiente del LLM.
Cada interacción involucra acciones específicas del usuario que pueden clasificarse en los siguientes tipos:
- Acciones Activas del Usuario (AAU): Son tareas explícitas que los usuarios realizan. Por ejemplo, cuando un usuario pide explícitamente al LLM que brinde una explicación o sugiera una respuesta alternativa.
- Acciones Pasivas del Usuario (APU): Son comportamientos sutiles e implícitos que los usuarios exhiben sin dar instrucciones directas al LLM. Por ejemplo, copiar la respuesta anterior del LLM y pegarla en una nueva pregunta.
- Acciones del Asistente (AA): Son las respuestas que el LLM proporciona como resultado de una solicitud del usuario.
Entender las Propiedades de una Interacción
Cada interacción usuario-LLM está llena de propiedades matizadas que definen los detalles de la interacción. Algunas propiedades relevantes incluyen:
- Formato, estilo, verbosidad y lenguaje: El formato indica si la interacción parece un artículo, un blog, un informe, etc. El estilo se refiere al tono (formal, humorístico, etc.), la verbosidad mide la longitud de la respuesta y el lenguaje indica en qué idioma se genera la salida.
- Tema: ¿Cuál es el tema principal de la conversación?
- Fuentes: Si el LLM obtiene información de fuentes externas, como en un sistema de Recuperación Aumentada por Generación (RAG), ¿cuáles son las fuentes principales?
Extraer el Flujo de la Conversación
Al extraer las acciones y propiedades inherentes de cada interacción, es posible trazar la trayectoria completa de la conversación. Esto va más allá de interacciones aisladas y permite visualizar el “flujo” holístico, un mapa secuencial que detalla los pasos que los usuarios siguen para alcanzar su objetivo deseado. Comprender este flujo proporciona valiosos conocimientos sobre el comportamiento del usuario, identificando patrones, puntos de dolor y momentos de satisfacción.
Detectar el Compromiso del Usuario vs. Frustración
A partir de nuestra comprensión de las i) acciones, ii) propiedades de las interacciones, y iii) el flujo de la conversación, podemos diferenciar las señales de un compromiso genuino de los indicadores de frustración creciente.
El compromiso puede manifestarse como una serie de seguimientos entusiastas, una exploración exhaustiva de subtemas o el uso frecuente de las respuestas del LLM mediante acciones como copiar y pegar. Por otro lado, las frustraciones pueden expresarse en consultas repetitivas sobre un mismo tema, ligeras reformulaciones de las mismas preguntas sin avanzar a nuevas, o cambios abruptos de tema.
Identificar la raíz de esta frustración es clave para mejorar las interacciones de los LLMs. ¿Está el usuario insatisfecho por las limitaciones de conocimiento del modelo? Tal vez sea por la incapacidad del LLM de igualar el tono o estilo deseado del usuario. Otras posibles causas de frustración pueden ser la verbosidad, la falta de creatividad o una respuesta que no cumple con las expectativas del usuario.
Resumen
En los próximos años, miles de millones de personas interactuarán con LLMs a diario. Las herramientas tradicionales de análisis de productos no son suficientes para descubrir información valiosa de los usuarios de modelos de lenguaje grande.
En este artículo, hemos revisado un marco para el análisis de usuarios de LLMs, explicando los componentes clave: interacciones, acciones, propiedades y flujo de la conversación. Estos elementos son esenciales para entender la satisfacción y la frustración de los usuarios, y mejorar continuamente la experiencia de los mismos.
Este nuevo enfoque de Análisis de Usuarios para LLMs permitirá a las empresas optimizar sus productos basados en LLMs, mejorando la interacción con los usuarios y ofreciendo experiencias más satisfactorias y eficientes.
