Noé Achache - https://twitter.com/karpathy/status/1697318534555336961 Un **RAG (Retrieval Augmented Generation)** permet de requêter un ensemble de documents avec du langage naturel, en utilisant de la recherche vectorielle et des LLMs : - Un modèle d'embedding crée des représentations (vecteurs) de tous les documents, qui sont ensuite stockés dans une base de données vectorielle. - Le même modèle d'embedding crée une représentation de la question utilisateur, permettant de récupérer les documents les plus similaires via une recherche par similarité (retrieval) - En utilisant ces documents et la question, un LLM génère une réponse. De nombreux outils open-source permettent de créer un RAG en quelques lignes de code. Cependant, sans adaptations spécifiques, les RAG ne sont souvent pas assez performants pour gagner l'adoption des utilisateurs. Nous aborderons les défis rencontrés lors de la construction d'un RAG pour la documentation médicamenteuse d'une entreprise médicale, à destination des médecins. Nous couvrirons: - Les bases des RAGs. - Notre cas d'utilisation et le produit résultant. - Comment nous avons amélioré nos métriques de retrieval et de génération. - Comment éviter que les éventuelles hallucinations des LLMs n'induisent pas les médecins en erreur, principalement en affichant les HTLMs des sources directement dans les réponses générées, et en surlignant les éléments importants. - Comment notre stack technique nous a aidé à construire un meilleur produit : Chainlit, Qdrant, DVC, Langsmith ... Sunny Tech 2024