--- title: "Système de syndication automatisé vers 25+ portails immobiliers" description: "Pipeline ETL complet extrayant les annonces immobilières du PIM Akeneo, les transformant au format requis par chaque partenaire (XML, CSV, JSON) et les livrant vers SeLoger, LeBonCoin, BienIci, LogicImmo et d'autres portails - 4 ans d'exploitation continue." locale: "fr" canonical: "https://portfolio.josedacosta.info/fr/realisations/diffusion-portails-immobiliers" source: "https://portfolio.josedacosta.info/fr/realisations/diffusion-portails-immobiliers.md" html_source: "https://portfolio.josedacosta.info/fr/realisations/diffusion-portails-immobiliers" author: "José DA COSTA" date: "2019" type: "achievement" slug: "diffusion-portails-immobiliers" tags: ["PHP", "Symfony", "Akeneo PIM v2", "REST API", "XML", "CSV", "JSON", "FTP/SFTP", "GitLab CI", "Docker", "Kubernetes", "MySQL"] generated_at: "2026-04-23T15:44:04.454Z" --- # Système de syndication automatisé vers 25+ portails immobiliers Pipeline ETL complet extrayant les annonces immobilières du PIM Akeneo, les transformant au format requis par chaque partenaire (XML, CSV, JSON) et les livrant vers SeLoger, LeBonCoin, BienIci, LogicImmo et d'autres portails - 4 ans d'exploitation continue. **Date:** Janvier 2019 - 2023 **Duration:** ~4 ans **Role:** Technical Lead puis Project Manager - Distribution Export **Technologies:** PHP, Symfony, Akeneo PIM v2, REST API, XML, CSV, JSON, FTP/SFTP, GitLab CI, Docker, Kubernetes, MySQL ### Key Metrics - Portails partenaires: **-** - Migres, integres et maintenus - Formats d'export: **-** - XML, CSV, JSON - Durée du projet: **-** - Évolution continue - Branches GitLab: **-** - Features et hotfixes documentes - Volume quotidien: **-** - Annonces traitees sur tous les portails - Disponibilité: **-** - Sur 4 ans de fonctionnement continu ## Présentation _Définition et périmètre du projet_ ### Nature Pipeline ETL automatisé (Extract-Transform-Load) pour la diffusion multi-canaux d'annonces immobilières ### Domain Immobilier / PropTech - B2B (équipes internes, portails partenaires) et B2C (indirect, acquereurs potentiels) ### Scope - Extraction automatisée des données depuis l'API REST PIM Akeneo v2 - Transformation au format spécifique de chaque partenaire (XML, CSV, JSON) - Livraison automatisée par FTP/SFTP vers 25+ plateformes partenaires - Gestion des images avec adaptation multi-format (4/3, 16/9, panoramique, carre, ratios spécifiques par portail) - Mapping des typologies immobilières (appartement, maison, duplex, triplex, studio, T1-T5+) - Monitoring des exécutions avec alertes email et intégration SOFT Monitor - Capacité d'activation/désactivation individuelle par partenaire - Algorithme de matching SKU pour les programmes réels vs. programmes crees manuellement dans le PIM ### Choix technologiques et justifications - [object Object] - [object Object] - [object Object] - [object Object] **Content:** Le système **"Export Ligneurs"** est le **moteur de diffusion automatisée des annonces immobilières** du Groupe Pichet. Il extrait les données programmes et lots depuis le PIM Akeneo, les transformé au format spécifique requis par chaque partenaire (XML, CSV ou JSON) et les exporté automatiquement vers les plateformes de diffusion immobilière. Le système constitue le **lien critique entre les données produit de l'entreprise et sa visibilité commerciale** : chaque annonce immobilière publiée sur les grands portails français (SeLoger, LeBonCoin, BienIci, LogicImmo...) transite par ce pipeline. Toute interruption ou incohérence de données se traduit directement en **perte de leads et d'opportunités commerciales manquees**. En tant que **seul responsable technique** de ce système, j'etais en charge de toutes les décisions d'architecture, du développement, du déploiement, du monitoring et de la gestion des incidents - avec une responsabilite complète sur un pipeline alimentant un volume estime a **400K euros/mois en acquisition de leads**. **Nature Label:** Nature **Domain Label:** Domaine **Scope Label:** Périmètre fonctionnel ## Objectifs, Contexte, Enjeux et Risques _Vision stratégique et contraintes_ ### Obj - Migrer tous les flux d'export de l'ancien PIM v1.4 vers le nouveau PIM v2 Akeneo - Executer la migration partenaire par partenaire avec validation métier à chaque étape - Verifier la cohérence des données entre le PIM source et les flux envoyes aux portails - Gerer les spécificités de chaque portail (formats d'images, typologies, champs obligatoires) - Automatiser la supervision des flux (alertes en cas d'erreur, rapports d'exécution) ### Context Le projet a debute lors du **transfert de connaissances d'Andoni L. (Kariba)** en janvier 2019. Le système existant fonctionnait sur l'ancien PIM v1.4 et devait être entièrement migre vers le PIM v2 Akeneo tout en maintenant un service continu vers tous les portails partenaires. La migration devait être réalisée **portail par portail** - chacun avec ses propres spécifications de format, champs obligatoires, contraintes d'images et mappings de typologies immobilières - rendant impossible une migration "big bang". Chaque partenaire nécessitait une validation individuelle par les équipes métier avant la mise en production. Le système s'inscrivait dans un écosystème de données plus large : en amont, les données provenaient des ERP Qualiac, G2P et Oraclé alimentant le PIM, tandis qu'en aval les flux étaient connectés a 75+ fournisseurs de leads générant un volume estime a **1 lead toutes les 2 secondes** sur l'ensemble des portails. ### Stakes Les portails immobiliers partenaires (SeLoger, LeBonCoin, BienIci...) sont les **principaux canaux d'acquisition de prospects** du Groupe Pichet, alimentant un pipeline estime a **400K euros/mois en leads**. Toute interruption ou erreur dans les flux se traduit directement en **perte de leads et réduction du pipeline commercial**. Avec 25+ partenaires a migrer individuellement, le projet exigeait une attention soutenue sur plusieurs années tout en maintenant zero temps d'arret sur les flux actifs. ### Risk - [object Object] - [object Object] - [object Object] - [object Object] ### Décisions d'architecture clés - [object Object] - [object Object] - [object Object] - [object Object] **Objectives:** Objectifs **Context:** Contexte **Stakes:** Enjeux **Risks:** Risques **Arch Decision Label:** Décision **Arch Rationale Label:** Justification ## Les étapes - Ce que j'ai fait _Progression chronologique du projet_ ## Les acteurs et interactions _Écosystème collaboratif_ **Content:** En tant que **seul responsable technique**, je coordonnais directement avec les parties prenantes métier, les prestataires externes et les portails partenaires. Chaque migration impliquait la définition des critères d'acceptation, le pilotage des cycles de validation et les décisions de go/no-go pour la mise en production. Cela exigeait de traduire les contraintes techniques en termes métier et inversement. ## Les résultats _Impact pour moi et pour l'entreprise_ ### For Me - Responsabilite technique complète d'un système critique impactant directement la génération de revenus - canal principal d'acquisition de leads de l'entreprise - Décisions d'architecture autonomes sur un périmètre a haute valeur avec responsabilite totale sur la fiabilité du système et la précision des données - Capacité prouvee a piloter un projet technique de 4 ans avec de multiples parties prenantes : équipes métier, prestataires externes et 25+ portails partenaires - Gestion du cycle de vie complet du système : conception d'architecture, développement, déploiement, monitoring, réponse aux incidents et évolution continue - Leadership transverse : définition des processus de validation, coordination des équipes métier et techniques, mise en place des procédures opérationnelles d'onboarding partenaire ### For Company - 25+ portails partenaires migres du PIM v1.4 vers le PIM v2 Akeneo sans interruption de service - protection d'un pipeline d'acquisition de leads estime a 400K euros/mois - 2 nouvelles intégrations partenaires construites de zero (BienIci, Investimeo), élargissant le réseau de diffusion de ~8% - ~2 000 annonces traitees quotidiennement sur 27+ portails, alimentant le canal principal de génération de leads commerciaux - 99,5%+ de disponibilité du système sur 4 ans de fonctionnement continu, avec un temps moyen de résolution d'incident inférieur a 4 heures - Gestion des typologies immobilières standardisée sur tous les flux partenaires, réduisant les signalements d'incohérence des données par les équipes métier **For Me:** Pour moi **For Company:** Pour l'entreprise ## Les lendemains du projet _Ce qui s'est passe après la livraison_ **Content:** **Suite immédiate** : Après la vague initiale de migration (2019), le système est entre dans une **phase de maintenance et d'évolution continue**. De nouveaux partenaires ont été ajoutes au gre des besoins business, les flux existants ont été mis à jour pour correspondre aux spécifications evoluant des portails, et les anomalies ont été resolues au fur et à mesure de leur détection. **A moyen terme** : Le système a prouve sa résilience sur 4 ans d'exploitation continue, gerant les changements de format des partenaires (mises à jour des spécifications BienIci, ajout de champs SeLoger) et les évolutions internes du modèle de données (nouveaux types de biens, changements de structure de prix). **Perspective à long terme** : Le système d'export est devenu une **pièce d'infrastructure fondamentale** chez le Groupe Pichet, alimentant directement le pipeline commercial. Les choix architecturaux - modules individuels par partenaire, gestion solide des erreurs, monitoring automatisé - ont permis au système d'évoluer du lot initial de portails a 27+ sans nécessité de refonte fondamentale. L'architecture modulaire que j'ai choisie a permis à tout développeur d'ajouter une nouvelle intégration partenaire en suivant les patterns etablis, sans nécessité de connaître en profondeur l'ensemble du système. ## Mon regard critique _Analyse rétrospective honnete_ ### Positive - La stratégie de migration portail par portail était le bon choix - elle a minimise les risques et permis la validation métier à chaque étape, avec capacité de rollback immédiat - La gestion solide des erreurs et les alertes email ont permis de detecter les problèmes avant qu'ils n'impactent les résultats commerciaux - temps moyen de détection inférieur a 30 minutes - L'architecture modulaire (un module par partenaire) a facilité l'ajout, la modification ou la désactivation de flux individuels sans effets de bord sur les autres partenaires - La mise en place d'un processus standardisé d'onboarding des nouveaux partenaires a réduit le temps d'intégration de plusieurs semaines a quelques jours ### Improvement - Un tableau de bord centralise pour le monitoring des flux aurait réduit le temps passe a verifier les alertes email individuelles - Des tests d'intégration automatisés pour chaque format partenaire auraient permis de detecter plus tot les regressions de format - Une meilleure documentation des exigences spécifiques de chaque partenaire aurait accéléré l'intégration de nouveaux membres dans l'équipe ### Redo - J'implementerais un registre de spécifications partenaires des le premier jour : une base structuree des exigences de format, mappings de champs et contraintes d'images de chaque portail. Cela aurait réduit le temps d'onboarding des nouveaux partenaires d'au moins 50%. - J'ajouterais des tests d'intégration automatisés générant des exports samples et les validant contre le schema de chaque partenaire avant déploiement. Les cycles de vérification manuelle ajoutaient 1 a 2 jours par migration. - Je construirais un tableau de bord de monitoring centralise avec le statut des flux en temps réel au lieu de dependre des alertes email. Le coût en changement de contexte de la vérification des emails individuels était significatif sur 4 ans. - Je pousserais pour une couche de notification event-driven au-dessus du batch ETL, pour alerter proactivement l'équipe métier quand un flux termine ou echoue, plutôt que d'attendre des vérifications manuelles periodiques. ### Lesson - Dans les systèmes multi-partenaires, il n'y a pas de "solution universelle" - chaque intégration à des contraintes uniques qui doivent être respectees - Les projets de long terme exigent une mentalite de maintenance des le premier jour, pas seulement une approche "construire et livrer" - La validation métier à chaque étape de migration est non negociable quand le système impacté directement la génération de revenus - En tant que seul responsable technique, l'investissement le plus précieux est dans l'observabilité du système - la capacité a diagnostiquer rapidement les problèmes compte plus que la prévention de chaque défaillance possible **Positives:** Ce qui a bien fonctionne **Improvements:** Ce qui aurait pu être mieux **Redo:** Si c'était a refaire aujourd'hui **Lessons:** Leçons clés apprises