Cómo procesar datos propios de una organización con ChatGPT

Resumen en Español:

Este trabajo surge de la necesidad de responder a la pregunta ¿Cómo procesar datos propios de una organización con ChatGPT? Explora las capacidades y limitaciones de ChatGPT para procesar datos específicos de una organización. El trabajo comienza destacando la amplia gama de aplicaciones que permite. Sin embargo, señala limitaciones clave, como la posibilidad de generar respuestas incorrectas (alucinaciones) y el hecho de que su conocimiento se limita a la información con la que ha sido entrenado, limitada hasta una fecha determinada. El estudio propone dos enfoques principales para responder a la pregunta planteada: el ajuste fino (fine-tuning) y la generación aumentada con recuperación (RAG). Si bien el ajuste fino requiere modificar el modelo, RAG permite consultar bases de datos externas y generar respuestas más precisas sin entrenar nuevamente el modelo. La investigación se enfoca en RAG debido a su flexibilidad y menor costo. A fin de experimentar con la solución propuesta se desarrolló un prototipo de RAG que permite a las organizaciones utilizar ChatGPT de manera local, preservando la seguridad y privacidad de los datos. Aunque las primeras versiones del modelo funcionaron bien, se introdujeron mejoras para reducir alucinaciones y mejorar la relevancia de las respuestas. Código disponible en GitHub.