RAG (generación aumentada por recuperación)

RAG busca documentos relevantes en una base de datos antes de responder, para que una IA pueda usar conocimiento que no estaba en su entrenamiento.

El problema

Un LLM solo conoce lo que quedó plasmado en sus pesos durante el entrenamiento. No conoce eventos actuales, documentos internos de la empresa ni tu base de conocimiento privada, a menos que se los proporciones en el prompt. Pero con miles de documentos, eso ya no cabe en una ventana de contexto.

La solución: Retrieval-Augmented Generation (RAG)

RAG combina una búsqueda con la generación de texto. En lugar de meter todo el conocimiento en el modelo, en cada consulta se ejecuta automáticamente este proceso: tu pregunta se convierte en un vector de embedding, con él se buscan los fragmentos de texto más similares en una base de datos (retrieval), y solo esos pocos fragmentos relevantes se incluyen junto con tu pregunta en la ventana de contexto. El LLM formula entonces la respuesta a partir de ese material proporcionado.

Por qué es útil

Permite usar conocimiento actual y privado sin reentrenar el modelo
Menos alucinaciones, porque la respuesta se basa en fuentes reales proporcionadas, no solo en lo memorizado
Las respuestas pueden respaldarse con referencias a las fuentes

Un refinamiento

Anthropic describe con "Contextual Retrieval" una técnica en la que se añade contexto adicional del documento completo a cada fragmento de texto antes de generar su embedding, lo que mejora notablemente la fiabilidad con la que se encuentran los fragmentos correctos.