es una fundación para desarrollar proyectos sociales de salud digital
Con la rápida innovación en modelos de lenguaje (LLM), las empresas están explorando activamente casos de uso y desplegando sus primeras aplicaciones de IA generativas en producción. Destacar cuatro tipos de aproximaciones de aplicación de la IA generativa empleando LLM, dependiendo de las capacidades (perfiles), las herramientas y la capacidad de inversión de las empresas.
En la gráfica siguiente se reproduce la clasificación de implementaciones de Fiddler:
Fuente: Fiddler
Cinco enfoques para emplear LLMs en producción
- Ingeniería de Prompt con contexto: Muchas empresas comienzan su viaje con este enfoque, ya que es el más rentable y eficiente en tiempo. Implica llamar directamente a proveedores de IA externos como OpenAI, Cohere o Anthropic con un prompt. Este método es común para casos generales de lenguaje natural, pero puede volverse costoso con un alto tráfico.
- Generación Aumentada por Recuperación (RAG): Para respuestas específicas del dominio, las empresas pueden usar RAG para mejorar los prompts con datos externos, reduciendo el riesgo de alucinaciones y mejorando la calidad de las respuestas.
- Modelos de código abierto ejecutados localmente se implementan plataformas que permiten crear grandes modelos gráficos personalizados o modelos de inteligencia artificial diseñados para trabajar con datos estructurados. Pero para que la interfaz sea más fácil se utiliza una versión de miles millones de parámetros del LLM de código abierto, como Falcon y lo ejecuta en su propio entorno.
- Modelo con ajuste fino: A medida que aumenta la cantidad de datos empresariales y la criticidad del caso de uso, ajustar finamente un LLM ofrece un mejor retorno de la inversión al absorber el conocimiento del conjunto de datos ajustado en el modelo mismo.
- Entrenar un modelo: Para casos específicos del dominio con abundante información, entrenar un LLM desde cero ofrece la mejor calidad, pero es el método más costoso y complejo.
Estos enfoques de despliegue seguirán evolucionando a medida que se lancen nuevas optimizaciones y herramientas para LLM. A medida que esto suceda, veremos más empresas adoptando opciones de implementación de LLM con productos de mayor calidad a un costo más económico y con un tiempo de llegada al mercado más rápido.