Introducción al Costo Total de Propiedad (TCO) de OpenAI

A medida que la inteligencia artificial (IA) sigue transformando las industrias, OpenAI se ha consolidado como el proveedor líder de API con soluciones como ChatGPT y DALL-E. Sin embargo, para integrar completamente los servicios de OpenAI en las operaciones empresariales, es fundamental entender en detalle el costo total de propiedad (TCO) asociado con estas iniciativas de IA. Para maximizar el retorno de la inversión (ROI), las organizaciones deben considerar una amplia variedad de factores, incluyendo costos fijos de suscripción y costos variables.

En este artículo, exploraremos los diversos componentes que contribuyen al TCO relacionado con OpenAI. Presentamos tanto un marco conceptual como un estudio de caso práctico para estimar el TCO de un chatbot en una empresa de tecnología educativa (edtech). En particular, desglosaremos la estructura de costos de un asistente de IA diseñado para incrustar consultas de usuarios, recuperar chats antiguos desde Pinecone VectorDB, y luego utilizar los datos recuperados, el historial de chats y la consulta del usuario como entradas para un modelo generativo que produzca una respuesta.

OpenAI y el Costo Total de Propiedad (TCO)

El auge de OpenAI
Según Sam Altman, OpenAI está en camino de alcanzar $1,000 millones en ingresos para 2024. Si estás leyendo este artículo, es probable que ya estés contribuyendo a ese objetivo y te estés preguntando si puedes optimizar tus gastos.

OpenAI ofrece una suite completa de productos, siendo uno de los más destacados ChatGPT. Esta solución, basada en el marco GPT, está diseñada para mantener conversaciones interactivas y envolventes. Ha sido fundamental en el impulso de chatbots, permitiendo diálogos conscientes del contexto, comprendiendo solicitudes complejas y ofreciendo respuestas relevantes.

El impacto de ChatGPT ha sido profundo, alcanzando más de 100 millones de usuarios activos en enero de 2023, apenas dos meses después de su lanzamiento. Esto lo convierte en la aplicación de consumo más rápidamente adoptada de todos los tiempos, superando los récords previos de plataformas como Instagram (2.5 años) y Facebook (4.5 años).

La noción de TCO en IA
El Costo Total de Propiedad (TCO) ofrece una visión completa de todos los costos asociados con un producto o sistema, convirtiéndolo en una herramienta valiosa para la evaluación de proyectos o servicios que podrían no parecer comparables a simple vista.

Por ejemplo, supongamos que estás considerando dos proyectos. El primero tiene un costo inicial alto pero es más barato de mantener, mientras que el segundo es barato al principio pero requiere actualizaciones regulares costosas. El TCO te ayuda a comparar estos proyectos observando más allá de los costos iniciales, que pueden ser engañosos.

En el espacio de la IA, el TCO es más que solo los costos visibles de suscripción y tarifas de uso. De hecho, incluye otros gastos como la integración del sistema de IA, la capacitación del personal, el mantenimiento del software y futuras actualizaciones y entrenamientos. Al tener en cuenta todos estos factores, las organizaciones pueden tomar decisiones bien informadas sobre sus inversiones en IA y realizar un seguimiento efectivo de los costos a lo largo del tiempo.

Modelos de Precios de OpenAI

El modelo de precios de OpenAI es sencillo de entender y flexible para adaptarse a diferentes necesidades. OpenAI utiliza un sistema de pago por uso, donde los costos varían según el servicio, de modo que los usuarios pagan solo por lo que consumen realmente. Al registrarse, los usuarios reciben un crédito de $5 válido durante los primeros tres meses.

Los precios varían según el servicio. Las API de lenguaje tienen un costo basado en el modelo seleccionado (modelos más grandes = mayor precio) y en el número de tokens de entrada y salida. Para referencia, un token es aproximadamente equivalente a cuatro caracteres o 0.75 palabras en inglés.

Los modelos de generación de imágenes, como DALL-E, se cobran según la resolución de la imagen (mayor resolución = mayor precio). Finalmente, los modelos de audio, como Whisper, se cobran según la duración del audio procesado (audios más largos = mayor precio).

Precios de OpenAI
OpenAI también permite a los usuarios ajustar, es decir, personalizar modelos de lenguaje con sus propios datos. Si bien esto mejora el rendimiento y diferencia los resultados, la personalización tiene un costo significativo, ya que el precio por token puede ser hasta 6 veces más alto que para los modelos básicos.

Al registrarse, los usuarios reciben un límite de gasto o cuota que puede aumentarse con el tiempo a medida que las aplicaciones demuestran fiabilidad. Los usuarios que necesiten tokens adicionales deben asegurarse de solicitar una cuota más alta con anticipación, ya que este proceso puede tardar algo de tiempo. Los detalles completos sobre los precios de OpenAI se pueden consultar en su página de precios.

El Costo Completo: Evaluando el Impacto Financiero de Usar OpenAI

Para pintar una imagen más detallada del impacto financiero de usar OpenAI, vamos a profundizar en un caso de uso real. Consideraremos a una empresa de tecnología educativa (edtech) llamada LearnOnline, que planea implementar un chatbot para responder preguntas de estudiantes. Dado que cada estudiante puede beneficiarse de las preguntas de otros estudiantes, un chatbot simple no es suficiente. LearnOnline necesita que su chatbot recuerde conversaciones anteriores y por ello diseñó su asistente de IA de la siguiente manera:

1. La consulta del usuario es incrustada y se utiliza para recuperar 5 chats desde la base de datos Pinecone.
2. Los datos recuperados, junto con el historial de chats y la consulta del usuario, se utilizan como entradas para el modelo generativo de OpenAI.
3. El modelo generativo de OpenAI genera la respuesta.

Como recordatorio, las incrustaciones son mapas semánticos de las consultas de los clientes. Almacenados en una base de datos vectorial, permiten que el sistema recuerde el contexto de chats pasados, superando una de las limitaciones más problemáticas de los chatbots convencionales.

En términos de volumen, LearnOnline proyecta alrededor de 40,000 chats de usuarios por mes. Dado un tamaño promedio de chat de 1,000 tokens (alrededor de 750 palabras o 1.5 páginas), esto se traduce en un consumo total de aproximadamente 40 millones de tokens por mes. Según evidencia empírica, los tokens generados por el modelo representan el 63% de la mezcla (25 millones al mes), mientras que los tokens del texto del usuario representan la diferencia (15 millones al mes). Aunque se espera que los costos de software sean el principal impulsor de costos, LearnOnline también espera incurrir en costos significativos de personal, ya que es una empresa con sede en EE. UU. Los salarios anuales estimados son los siguientes: ingeniero de software senior $150k, ingeniero de software junior $100k, otros empleados de TI $70k por año.

Evaluación de Costos de OpenAI

Con este contexto en mente, analicemos los diferentes ítems de costo:

1. Fase de investigación y consultoría: Fase inicial en la que se establecen los objetivos del proyecto, requisitos y planes detallados. Con 2 recursos senior involucrados durante un mes, los costos de personal son $25k.
2. Incrustaciones de OpenAI: El modelo Davinci de OpenAI es ideal para crear incrustaciones. El volumen total estimado es de 55 millones de tokens al mes, con un costo de $11k mensuales o $132k anuales.
3. Almacenamiento de Incrustaciones en Pinecone: Pinecone optimiza el almacenamiento eficiente de incrustaciones. Con un costo mensual de $1.2k o $14k anuales.
4. Generación de texto con OpenAI: La empresa ha optado por el modelo GPT-4 de OpenAI. Los costos mensuales son de aproximadamente $35k por la generación de texto.
5. Desarrollo e integración: El equipo de desarrollo trabaja durante un mes, lo que resulta en un costo de $20k.
6. Pruebas y control de calidad: Un ingeniero de calidad invierte un mes en las pruebas, resultando en $10k en costos totales.
7. Despliegue y monitoreo: Costo anual de $5k para monitorear el desempeño.
8. Mantenimiento y actualizaciones: Costo anual de $15k para mantenimiento y actualizaciones regulares.

El costo total estimado de LearnOnline es de $640K, de los cuales la mayor parte será un costo recurrente en los años siguientes. Como se muestra en el gráfico, la API generativa de OpenAI representa el mayor costo único (65%), pero otros costos, como las incrustaciones y Pinecone, también son significativos.

Este enfoque de Costo Total de Propiedad (TCO) ayuda a las empresas a tomar decisiones mejor informadas sobre sus inversiones en IA, evitando que los costos se disparen por encima del presupuesto y optimizando la rentabilidad a largo plazo.