RAG (génération augmentée par récupération)

Le RAG va chercher des documents pertinents dans une base de données avant de répondre, ce qui permet à une IA d'exploiter des connaissances absentes de son entraînement.

Le problème

Un LLM ne connaît que ce qui s'est retrouvé dans ses poids pendant l'entraînement. Il ignore les événements récents, les documents internes de l'entreprise ou votre base de connaissances privée, à moins que vous ne les fournissiez dans le prompt. Mais avec des milliers de documents, cela ne tient plus dans une fenêtre de contexte.

La solution : Retrieval-Augmented Generation (RAG)

Le RAG combine une recherche avec la génération de texte. Plutôt que de faire entrer tout le savoir dans le modèle, ce déroulement s'exécute automatiquement à chaque requête : votre question est transformée en vecteur d'embedding, celui-ci sert à rechercher les extraits de texte les plus similaires dans une base de données (retrieval), et seuls ces quelques extraits pertinents sont fournis avec votre question dans la fenêtre de contexte. Le LLM formule alors la réponse à partir de ce matériel fourni.

Pourquoi c'est utile

Rendre exploitables des connaissances actuelles et privées sans réentraîner le modèle
Moins d'hallucinations, car la réponse repose sur de vraies sources fournies plutôt que sur du pur par-cœur
Les réponses peuvent être étayées par des références aux sources

Un raffinement

Anthropic décrit avec le « Contextual Retrieval » une technique où un contexte supplémentaire, tiré du document entier, est ajouté à chaque extrait de texte avant son encodage, ce qui améliore nettement la fiabilité avec laquelle les bons extraits sont retrouvés.