Pipelines ETL automatisés, workflows n8n, architectures RAG et agents IA
Contexte métier : Une plateforme d'e-commerce souhaite analyser les avis laissés sur des entreprises concurrentes. Les données doivent être extraites, nettoyées et stockées dans une base exploitable pour des analyses comparatives.
Objectif : Construire un pipeline ETL (extraction, transformation, chargement) qui alimente une base SQLite à partir d'avis Trustpilot, orchestré par un DAG Airflow quotidien.
BeautifulSoup : requête HTTP avec en-têtes de navigateur et extraction des avis depuis la page d'une entreprise.reviews : identifiant auto-incrémenté, entreprise, note et texte de l'avis.trustpilot_etl_pipeline planifié chaque jour (@daily), avec une nouvelle tentative après 5 minutes en cas d'échec.extraire, transformer et charger.Problématique métier : Centraliser et automatiser l'exploitation des documents d'une entreprise pour donner un accès rapide aux connaissances internes.
Objectif : Concevoir un workflow n8n avec une architecture RAG (Retrieval-Augmented Generation) : le chatbot cherche d'abord dans les documents de l'entreprise, puis répond avec Google Gemini.