Aprende sobre la retroalimentación explícita e implícita de usuarios en LLM y comprende los pros y contras de ambos métodos.

Con las aplicaciones impulsadas por LLM, recopilar retroalimentación de los usuarios lo más rápido posible es crucial. Después del lanzamiento, la retroalimentación de los usuarios es esencial para construir un conjunto de datos diverso para la evaluación, asegurando la mejora continua tanto del modelo como de la experiencia del usuario. Pero, ¿cómo recoger esta retroalimentación? ¿Y cómo decidir entre retroalimentación explícita o implícita? Este artículo explora ambos métodos, sus diferencias, y evalúa sus ventajas y desventajas.

Métodos para Recopilar Retroalimentación de Usuarios en LLM

Existen dos métodos principales para recopilar retroalimentación de usuarios en LLM: explícita e implícita.

¿Qué es la Retroalimentación Explícita de Usuarios en LLM?

La retroalimentación explícita es una retroalimentación directa e intencional recopilada de los usuarios después de interactuar con tu producto. Ejemplos incluyen sistemas de calificación como estrellas ⭐, me gusta/no me gusta 👍 👎, encuestas y comentarios escritos. Los usuarios son conscientes de que están proporcionando retroalimentación, y estos datos pueden ser estructurados, como una calificación numérica, o no estructurados, como comentarios en texto libre.

¿Qué es la Retroalimentación Implícita de Usuarios en LLM?

La retroalimentación implícita es una retroalimentación indirecta obtenida a partir de los prompts, comportamientos e interacciones de los usuarios con la aplicación. Un ejemplo es rastrear las reacciones de los usuarios a las salidas generadas, como monitorear la frecuencia de preguntas de seguimiento sobre un tema en particular, o peticiones para mejorar la salida de alguna manera específica. La retroalimentación implícita también puede incluir datos de participación como el tiempo en el sitio y las tasas de abandono. Estos datos proporcionan información sobre áreas en las que el rendimiento del modelo necesita mejoras, revelando patrones en el comportamiento del usuario que pueden informar ajustes y mejoras en el modelo. Los usuarios, generalmente, no son conscientes de que sus acciones están siendo monitoreadas con fines de retroalimentación implícita.

Pros y Contras de la Retroalimentación Explícita de Usuarios en LLM

Pros:

• Claridad: La retroalimentación explícita proporciona ideas claras y directas sobre las opiniones y satisfacción de los usuarios.
• Especificidad: Los usuarios pueden señalar problemas específicos, facilitando la identificación y solución de los mismos.
• Transparencia: Los usuarios saben cómo se utilizará su retroalimentación, lo que puede generar confianza.

Contras:

• Volumen: La cantidad de retroalimentación explícita recopilada suele ser extremadamente limitada, lo que puede sesgar los resultados. Las tasas de respuesta a solicitudes de retroalimentación explícita suelen ser solo del 1-3%.
• Subjetividad: Los usuarios que proporcionan retroalimentación pueden tener opiniones extremas (muy positivas o muy negativas), lo cual podría no ser representativo de la base de usuarios en general.

Pros y Contras de la Retroalimentación Implícita de Usuarios en LLM

Pros:

• Volumen: La retroalimentación implícita puede ser recopilada de todos los usuarios, proporcionando un conjunto de datos más grande y completo.
• Económica: Generalmente es barata de recopilar, ya que no requiere participación activa de los usuarios ni del proveedor del servicio.
• Objetividad: La retroalimentación implícita es menos probable que esté sesgada, ya que captura datos de una muestra de usuarios más grande y se basa en el comportamiento real del usuario en lugar de opiniones subjetivas.

Contras:

• Interpretación: La retroalimentación implícita puede ser difícil de interpretar. Por ejemplo, si un usuario abandona rápidamente una conversación, esto puede significar que obtuvo la respuesta que buscaba o que consideró que la conversación no era útil.
• Privacidad: Si los usuarios no son informados sobre cómo se utiliza su información, la retroalimentación implícita puede generar preocupaciones sobre la privacidad.
• Incompletitud: La retroalimentación implícita puede no capturar el contexto completo de las interacciones del usuario, lo que hace que sea más difícil entender el “por qué” detrás de ciertos comportamientos.

El Poder de la Retroalimentación Implícita Inteligente en LLM

Aunque la retroalimentación explícita proporciona valiosas ideas, sus limitaciones la hacen menos escalable para aplicaciones a gran escala. La retroalimentación implícita, por otro lado, ofrece un potencial increíble cuando se recopila y analiza de manera inteligente. He aquí por qué:

• Escala: La retroalimentación implícita puede ser recopilada de toda la base de usuarios, ofreciendo una vista más completa de las interacciones y preferencias de los usuarios.
• Eficiencia: La recopilación automatizada de retroalimentación implícita reduce la necesidad de participación activa de los usuarios, lo que puede ahorrar tiempo y recursos.
• Profundidad: Cuando se analiza correctamente, la retroalimentación implícita puede revelar valiosos detalles sobre el comportamiento y las preferencias de los usuarios que podrían no ser capturados a través de retroalimentación explícita.
• Mejora Continua: La retroalimentación implícita permite un aprendizaje y adaptación continuos. Al monitorear el comportamiento de los usuarios en tiempo real, los modelos pueden actualizarse con mayor frecuencia y precisión, lo que lleva a un mejor rendimiento y mayor satisfacción del usuario.

Combinando Ambos Métodos para Resultados Óptimos

Si bien la retroalimentación implícita ofrece grandes ventajas, combinarla con retroalimentación explícita puede proporcionar lo mejor de ambos mundos. La retroalimentación explícita puede validar y contextualizar las ideas obtenidas de un conjunto de datos más amplio de retroalimentación implícita, ofreciendo una imagen más completa de la satisfacción del usuario y las áreas de mejora.

Por ejemplo, un asistente de currículum impulsado por LLM podría usar retroalimentación implícita de los usuarios para rastrear qué secciones de los currículos generados editan los usuarios y/o piden que se mejoren más frecuentemente en su siguiente solicitud al modelo. Estos datos pueden resaltar áreas donde el rendimiento del modelo necesita mejoras. Al mismo tiempo, la retroalimentación explícita recogida a través de calificaciones directas puede proporcionar contexto adicional y sugerencias específicas de los usuarios.

Conclusión

Tanto la retroalimentación explícita como la implícita tienen su lugar en la evaluación y mejora de las aplicaciones impulsadas por LLM. Mientras que la retroalimentación explícita ofrece claridad y especificidad, sus problemas de escalabilidad hacen que sea menos viable para formar un conjunto de datos de evaluación representativo de toda la base de usuarios. La retroalimentación implícita, por otro lado, proporciona una gran cantidad de datos de toda la base de usuarios, aunque debe considerarse la privacidad de los usuarios.

En última instancia, el enfoque más eficaz a menudo involucra una combinación de ambos métodos, aprovechando las fortalezas de cada uno para refinar y mejorar continuamente el rendimiento de la aplicación. Al recopilar y analizar de manera inteligente la retroalimentación implícita, las empresas pueden obtener información profunda sobre el comportamiento de los usuarios, lo que lleva a mejores modelos, mayor satisfacción del usuario y un mayor éxito general en el negocio.