---
title: "Flux - Synchronisation des données fournisseurs"
description: "Une plateforme ETL interne automatisant la synchronisation quotidienne des données produits (stocks, prix, catalogues) de 30+ fournisseurs européens via FTP, HTTP et API REST vers la marketplace European Sourcing."
locale: "fr"
canonical: "https://portfolio.josedacosta.info/fr/realisations/flux-synchronisation-fournisseurs"
source: "https://portfolio.josedacosta.info/fr/realisations/flux-synchronisation-fournisseurs.md"
html_source: "https://portfolio.josedacosta.info/fr/realisations/flux-synchronisation-fournisseurs"
author: "José DA COSTA"
date: "2016"
type: "achievement"
slug: "flux-synchronisation-fournisseurs"
tags: ["PHP 5.3+", "Symfony 2.4", "MySQL", "Doctrine DBAL", "Twig", "Bootstrap", "jQuery", "FTP", "REST API", "CSV", "XML", "JSON", "Elasticsearch", "Cron"]
generated_at: "2026-04-23T15:46:40.058Z"
---

# Flux - Synchronisation des données fournisseurs

Une plateforme ETL interne automatisant la synchronisation quotidienne des données produits (stocks, prix, catalogues) de 30+ fournisseurs européens via FTP, HTTP et API REST vers la marketplace European Sourcing.

**Date:** 2013 - 2016  
**Duration:** ~3 ans  
**Role:** Senior Software Engineer - ETL & Intégration de données  
**Technologies:** PHP 5.3+, Symfony 2.4, MySQL, Doctrine DBAL, Twig, Bootstrap, jQuery, FTP, REST API, CSV, XML, JSON, Elasticsearch, Cron

### Key Metrics

- Fournisseurs intégrés: **-** - 8+ pays européens
- Classes de connecteurs: **-** - Pattern Strategy (Lib/*.php)
- Formats de données: **-** - CSV, XML, JSON, XLS, TSV, TXT, GZ
- Taille BDD: **-** - Dump SQL complet (mars 2019)

## Presentation

_Le système nerveux de l'intégration des données fournisseurs européens_

- Flux (v1) et FluxV2 sont des applications web internes développées pour European Sourcing, une entreprise spécialisée dans le sourcing d'objets publicitaires et promotionnels à l'échelle européenne. Ces applications constituent le système nerveux de la synchronisation des données produits entre les fournisseurs et la plateforme European Sourcing.
- La plateforme opère dans le domaine du e-commerce B2B / marketplace d'objets publicitaires. European Sourcing agit comme un agrégateur de catalogues de fournisseurs d'objets promotionnels (goodies, textiles, accessoires, articles de bureau, etc.) à destination des revendeurs européens. L'entreprise collecte, normalise et redistribue les données produits (stocks, prix, docs, fiches techniques) de dizaines de fournisseurs vers sa plateforme en ligne, alimentant environ 160 sites revendeurs.

**Arch Caption:** Architecture globale du système Flux au sein de l'écosystème European Sourcing

## Objectifs, Contexte, Enjeux et Risques

_Comprendre la vision stratégique derriere le pipeline de données_

### Contexte

- S'inscrit dans un écosystème de 20+ applications sous *.europeansourcing.com (extranet, API, moteur de recherche, export, statistiques, traduction, etc.)
- Développement sous l'organisation GitHub medialeads (~8 développeurs), agence basée à Bordeaux
- Base de données MySQL maître/esclave partagée (~15 Go) avec tous les autres projets de la plateforme
- Environnements multiples : développeur (local), recette (es-recette.com), production (OVH)

## Les Etapes - Ce que j'ai fait

_Un parcours concret, phase par phase, de la construction_

**Etl Caption:** Pipeline ETL complet montrant les étapes d'extraction, transformation et chargement

**Data Model Caption:** Tables de la base de données utilisees par Flux pour la configuration de synchronisation et les rapports

**Supplier Caption:** Cartographie complète des 30+ fournisseurs intégrés, classés par protocole (FTP, HTTP, API REST) avec pays d'origine et format de données

**Infra Caption:** Environnements de déploiement du développement local a la production OVH

## Les Acteurs - Les Interactions

_Une équipe restreinte et ciblée au sein d'un écosystème plus large_

### Équipe de développement

Le projet Flux a été principalement développé par 2 développeurs au sein de l'organisation medialeads (~8 personnes au total). Thomas C. était le développeur principal, ayant implémenté la majorite des connecteurs fournisseurs (28 commits, 65% du code). J'ai contribué 15 commits (35%) incluant le commit initial, la migration SVN et des connecteurs clés pour BIC France, PF Concept et Midocean.

### Partenaires externes

Le projet interagissait directement avec 30+ APIs et flux de données de fournisseurs européens - chacun avec ses propres protocoles, formats, méthodes d'authentification et contacts techniques. Cela exigeait une adaptation et une communication constantes avec les équipes techniques externes.

## Les Résultats

_Impact mesurable pour l'entreprise et croissance personnelle_

### Impact business

- La synchronisation automatisée quotidienne garantit des données produits à jour pour les revendeurs sur europeansourcing.com → conversion améliorée, erreurs de commande réduites
- 6 120 variantes produits mises à jour en une seule exécution de 45 secondes (fournisseur Anda, août 2019)
- ~100 exécutions quotidiennes tous fournisseurs confondus, assurant une fraîcheur de données continue
- Couverture massive du catalogue : base de données de ~15 Go alimentant 160+ sites revendeurs
- Couverture géographique paneuropéenne : fournisseurs de 8+ pays intégrés de manière transparente

### Acquis personnels

- Expertise approfondie en intégration de données hétérogènes (ETL) sur de multiples protocoles et formats
- Maîtrise du design pattern Strategy appliqué à une architecture réelle de connecteurs fournisseurs
- Compréhension de la gestion de catalogue e-commerce B2B à l'échelle européenne
- Expérience de l'architecture MySQL maître/esclave et des opérations de données à grande échelle
- Connaissance pratique des commandes CLI Symfony 2, services et système d'événements

## Les Lendemains du projet

_Au-dela de la livraison - cycle de vie et évolution_

## Mon Regard Critique

_Retrospective honnete sur les forces, faiblesses et lecons apprises_