Le context engineering et le RAG : donner à l'IA la bonne information

1.Le problème : une IA amnésique et hors-sol

Un modèle de langage a deux limites natives, qu'il faut comprendre pour saisir tout le reste.

• Il est hors-sol. Il ne connaît que ses données d'entraînement. Il ignore vos documents, vos contrats, vos projets, et l'actualité récente. Posez-lui une question sur votre dossier de financement : il n'en sait rien.
• Il est amnésique. À chaque échange, il repart de zéro. Tout ce qu'il « sait » à un instant tient dans sa fenêtre de contexte, l'espace de texte qu'il a sous les yeux pour cette réponse. En dehors, plus rien n'existe pour lui.

Le context engineering, c'est l'art de remplir cette fenêtre avec la bonne information : vos données d'un côté (grâce au RAG), la mémoire de l'autre (grâce aux sessions et aux souvenirs). Donner au modèle ce qu'il lui faut, au bon moment, pour qu'il travaille sur votre matière et non dans le vide.

2.Du prompt au contexte

Le prompt engineering se concentre sur la consigne : comment formuler au mieux votre demande. C'est souvent statique. Le context engineering s'occupe de tout le reste du paquet envoyé au modèle, construit dynamiquement à chaque échange, en fonction de l'utilisateur, de l'historique et des données disponibles.

Ce paquet réunit plusieurs ingrédients : les instructions système et les outils disponibles, les données factuelles (votre mémoire long terme, les documents récupérés par le RAG, les résultats d'outils), et l'information immédiate (l'historique de la conversation, l'état en cours, votre question). L'objectif, formulé par les équipes de Google : que le modèle ait ni plus ni moins que l'information la plus pertinente pour accomplir sa tâche.

L'image est encore celle du cuisinier : le context engineering, c'est la mise en place, réunir et préparer les bons ingrédients avant de cuisiner. Donnez seulement la recette au chef, il fera un plat correct avec ce qu'il a sous la main ; donnez-lui d'abord les bons produits, il fera un plat d'exception.

Concrètement, à chaque tour de conversation, un cycle se répète : récupérer le contexte utile (souvenirs, documents, échanges récents), le préparer en un paquet cohérent, appeler le modèle et les outils, puis sauvegarder ce qui vient d'être appris. Deux mécanismes sont au cœur de tout cela : le RAG, et la mémoire.

3.Le RAG : ancrer l'IA sur vos données

Le RAG (génération augmentée par la récupération) répond au problème du « hors-sol ». Avant de répondre, le système va chercher les passages pertinents dans vos propres documents et les injecte dans le contexte. Résultat : des réponses ancrées sur votre matière, et beaucoup moins d'inventions. Voici la mécanique, maillon par maillon.

• Le découpage (chunking) : on découpe vos documents en morceaux. C'est un art, et trois stratégies coexistent. La taille fixe (par exemple 256 à 512 mots, avec un léger recouvrement pour ne pas casser une idée en deux) : simple, mais elle coupe parfois au mauvais endroit. Le découpage par structure (titres, sections, paragraphes) : il respecte les unités de sens, idéal pour des documents bien structurés comme des rapports ou des contrats. Le découpage sémantique : on repère, grâce aux embeddings, les ruptures de sens pour couper au bon endroit. C'est le plus précis, mais le plus coûteux. Le conseil des guides récents : viser quelques centaines de tokens avec un recouvrement modéré, et éviter le découpage naïf « tous les 512 tokens » sans tenir compte de la structure.
• Les embeddings : chaque morceau est transformé en vecteur, une liste de nombres qui capture son sens ; deux passages proches par le sens ont des vecteurs proches. Le choix du modèle est déterminant. On trouve des modèles gérés par API (OpenAI, Cohere, Voyage) et des modèles open source auto-hébergeables (BGE, E5). Deux critères priment : le tester sur votre propre domaine (les classements génériques ne suffisent pas), et le multilingue, pour un corpus français, des modèles comme Cohere ou BGE-M3 sont taillés pour ça.
• La base vectorielle : elle stocke ces vecteurs et permet la recherche par le sens, presque instantanée même sur des millions de morceaux. On la choisit selon l'échelle : une extension comme pgvector (sur une base Postgres) suffit sous un million de vecteurs ; au-delà, des bases dédiées comme Qdrant ou Pinecone apportent latence maîtrisée et filtrage fin.
• La recherche hybride : la meilleure pratique moderne ne se limite pas à la recherche par le sens. Elle la combine avec la recherche par mots-clés, pour attraper à la fois les concepts proches et les termes exacts. C'est le « hybrid retrieval », l'un des grands acquis récents.
• Le reranking : la recherche ramène un premier lot (disons vingt à cinquante passages), puis un modèle plus fin les reclasse pour ne garder que les trois à huit vraiment pertinents avant de les donner au modèle. Cette étape en deux temps est devenue quasi incontournable en production.

La leçon des spécialistes du RAG : la qualité de l'ensemble dépend de chaque maillon. Un mauvais découpage ou un mauvais reclassement, et tout le système déçoit, même avec un excellent modèle.

4.Sessions et mémoire : une IA qui se souvient

C'est la réponse au problème de l'amnésie, et le document de référence de Google en donne une image parfaite : la session est votre bureau de travail, la mémoire est votre classeur organisé.

• La session : le bureau sur lequel vous travaillez pour un projet précis. On y trouve l'historique de la conversation en cours (vos messages, les réponses, les appels d'outils) et un « état », une mémoire de travail temporaire. Tout est immédiatement accessible, mais propre à cette tâche et éphémère.
• La mémoire : quand le projet est fini, on ne jette pas le bureau en désordre dans un carton. On trie : on écarte les brouillons, et on classe l'essentiel (des résumés, des faits, vos préférences) dans un classeur bien rangé. Cette mémoire long terme traverse les sessions et reste une source fiable pour les projets futurs.

Pourquoi c'est décisif : c'est ce qui rend une IA personnalisée et continue. Sans mémoire, elle vous redemande tout à chaque fois. Avec, elle se souvient de vos projets, de votre façon de travailler, de votre contexte, et vous fait gagner un temps considérable.

En production, un point technique important : un modèle est sans état par nature. Les sessions et la mémoire doivent donc être conservées dans une vraie base de données, avec une isolation stricte (un utilisateur n'accède jamais aux données d'un autre) et une protection des informations personnelles.

5.Les bonnes pratiques et les pièges

Bien nourrir le contexte est un équilibre subtil. Quelques principes issus de la pratique.

• Ni trop, ni trop peu. Donner la bonne information, pas toute l'information. Trop de contexte augmente le coût et la lenteur, et provoque un phénomène réel, le « context rot » : plus le contexte enfle, moins le modèle prête attention à ce qui compte vraiment.
• Gérer les longues conversations. Quand l'historique grossit, on le résume, on élague le superflu, on compacte, pour préserver l'essentiel sans exploser le nombre de tokens.
• Réduire les hallucinations. Au-delà du RAG, on instruit explicitement le modèle à ne répondre qu'à partir du contexte fourni, à citer ses sources, et à dire « je ne sais pas » quand l'information manque. On peut ajouter une vérification, le modèle ou un second modèle contrôlant que la réponse est bien appuyée sur les passages récupérés.
• Évaluer avant de lancer. C'est le point le plus martelé, et il est souvent négligé. On mesure séparément chaque maillon (récupération, reranking, génération) et l'ensemble, sur un jeu de questions représentatif (cas fréquents, cas limites, ambiguïtés). Les métriques clés : la pertinence des passages récupérés, et surtout la groundedness (la part de la réponse réellement appuyée sur les sources) et le taux d'hallucination. Des outils comme RAGAS automatisent cette évaluation.
• Surveiller après. Un système RAG n'est jamais « fini ». En production, on suit la latence, les retours des utilisateurs et le taux d'hallucination estimé ; on analyse les échecs ; on réajuste le découpage, on enrichit le corpus, et on met l'index à jour pour garder les réponses fraîches.
• Sécuriser et gouverner. Point trop souvent oublié : un RAG ingère vos données, parfois sensibles. Contrôle d'accès strict, filtrage des informations personnelles avant l'ingestion, et, pour les sujets à fort enjeu, une vérification humaine.

6.Ce qu'il faut retenir

• Le prompt dit comment demander ; le contexte dit quoi donner. C'est le niveau au-dessus du prompt engineering.
• Le RAG ancre l'IA sur vos données : découpage, embeddings, base vectorielle, reranking. Chaque maillon compte.
• Les sessions et la mémoire donnent à l'IA un état et des souvenirs : elle devient personnelle et continue.
• La règle d'or : ni plus ni moins que l'information la plus pertinente. Trop de contexte nuit autant que trop peu.
• C'est précisément ce qui transforme une IA générique en assistant fiable pour votre métier.