← Retour à l'accueil

Projets automatisation et intelligence artificielle

Pipelines ETL automatisés, workflows n8n, architectures RAG et agents IA

Pipeline ETL des avis Trustpilot (Python, SQLite et Airflow)

Contexte métier : Une plateforme d'e-commerce souhaite analyser les avis laissés sur des entreprises concurrentes. Les données doivent être extraites, nettoyées et stockées dans une base exploitable pour des analyses comparatives.

Objectif : Construire un pipeline ETL (extraction, transformation, chargement) qui alimente une base SQLite à partir d'avis Trustpilot, orchestré par un DAG Airflow quotidien.

Python Pandas SQLite Apache Airflow BeautifulSoup Trustpilot Reviews Dataset (2022)

Extraction et transformation

  • Lecture d'un fichier CSV d'avis clients (jeu de données Trustpilot de juin 2022).
  • Détection et renommage des colonnes (entreprise, note, texte), suppression des doublons et nettoyage du texte (sauts de ligne, espaces).
  • Prototype de scraping avec BeautifulSoup : requête HTTP avec en-têtes de navigateur et extraction des avis depuis la page d'une entreprise.

Stockage et orchestration

  • Table SQLite reviews : identifiant auto-incrémenté, entreprise, note et texte de l'avis.
  • DAG Airflow trustpilot_etl_pipeline planifié chaque jour (@daily), avec une nouvelle tentative après 5 minutes en cas d'échec.
  • Code organisé en étapes distinctes : extraire, transformer et charger.

LogiPro : chatbot RAG et automatisation

Problématique métier : Centraliser et automatiser l'exploitation des documents d'une entreprise pour donner un accès rapide aux connaissances internes.

Objectif : Concevoir un workflow n8n avec une architecture RAG (Retrieval-Augmented Generation) : le chatbot cherche d'abord dans les documents de l'entreprise, puis répond avec Google Gemini.

n8n Google Gemini RAG Base vectorielle Google Drive

Ingestion des documents

  • Surveillance d'un dossier Google Drive pour détecter les documents ajoutés ou modifiés.
  • Découpage des fichiers en segments avec un séparateur de texte récursif.
  • Vectorisation (embeddings) des segments avec Google Gemini.

Chatbot et restitution

  • Agent conversationnel relié au modèle de chat Gemini, qui interroge la base vectorielle comme outil de recherche documentaire.
  • Base documentaire mise à jour à chaque nouveau document déposé.
Télécharger le workflow (.json)