--- title: "Sistema de sindicacao automatizado para 25+ portais imobiliarios" description: "Pipeline ETL completo extraindo anuncios imobiliarios do PIM Akeneo, transformando-os no formato exigido por cada parceiro (XML, CSV, JSON) e entregando ao SeLoger, LeBonCoin, BienIci, LogicImmo e outros portais - 4 anos de operacao continua." locale: "pt" canonical: "https://portfolio.josedacosta.info/pt/realizacoes/diffusion-portails-immobiliers" source: "https://portfolio.josedacosta.info/pt/realizacoes/diffusion-portails-immobiliers.md" html_source: "https://portfolio.josedacosta.info/pt/realizacoes/diffusion-portails-immobiliers" author: "José DA COSTA" date: "2019" type: "achievement" slug: "diffusion-portails-immobiliers" tags: ["PHP", "Symfony", "Akeneo PIM v2", "REST API", "XML", "CSV", "JSON", "FTP/SFTP", "GitLab CI", "Docker", "Kubernetes", "MySQL"] generated_at: "2026-04-23T15:46:31.031Z" --- # Sistema de sindicacao automatizado para 25+ portais imobiliarios Pipeline ETL completo extraindo anuncios imobiliarios do PIM Akeneo, transformando-os no formato exigido por cada parceiro (XML, CSV, JSON) e entregando ao SeLoger, LeBonCoin, BienIci, LogicImmo e outros portais - 4 anos de operacao continua. **Date:** Janeiro 2019 - 2023 **Duration:** ~4 anos **Role:** Technical Lead depois Project Manager - Distribuicao Export **Technologies:** PHP, Symfony, Akeneo PIM v2, REST API, XML, CSV, JSON, FTP/SFTP, GitLab CI, Docker, Kubernetes, MySQL ### Key Metrics - Portais parceiros: **-** - Migrados, integrados e mantidos - Formatos de exportacao: **-** - XML, CSV, JSON - Duracao do projeto: **-** - Evolucao continua - Branches GitLab: **-** - Features e hotfixes documentados - Volume diario: **-** - Anuncios processados em todos os portais - Disponibilidade: **-** - Em 4 anos de operacao continua ## Apresentacao _Definicao e escopo do projeto_ ### Nature Pipeline ETL automatizado (Extract-Transform-Load) para distribuicao multicanal de anuncios imobiliarios ### Domain Imobiliario / PropTech - B2B (equipes internas, portais parceiros) e B2C (indireto, compradores potenciais) ### Scope - Extracao automatizada de dados da API REST PIM Akeneo v2 - Transformacao no formato especifico de cada parceiro (XML, CSV, JSON) - Entrega automatizada por FTP/SFTP para 25+ plataformas parceiras - Gestao de imagens com adaptacao multi-formato (4/3, 16/9, panoramico, quadrado, ratios especificos por portal) - Mapeamento de tipologias imobiliarias (apartamento, casa, duplex, triplex, estudio, T1-T5+) - Monitoramento de execucoes com alertas por email e integracao SOFT Monitor - Capacidade de ativacao/desativacao individual por parceiro - Algoritmo de matching SKU para programas reais vs. programas criados manualmente no PIM ### Escolhas tecnologicas e justificativas - [object Object] - [object Object] - [object Object] - [object Object] **Content:** O sistema **"Export Ligneurs"** e o **motor de distribuicao automatizada de anuncios imobiliarios** do Groupe Pichet. Ele extrai dados de programas e lotes do PIM Akeneo, transforma-os no formato especifico exigido por cada parceiro (XML, CSV ou JSON) e os exporta automaticamente para as plataformas de distribuicao imobiliaria. O sistema constitui o **elo critico entre os dados de produtos da empresa e sua visibilidade comercial**: cada anuncio imobiliario publicado nos grandes portais franceses (SeLoger, LeBonCoin, BienIci, LogicImmo...) passa por este pipeline. Qualquer interrupcao ou inconsistencia de dados se traduz diretamente em **perda de leads e oportunidades comerciais perdidas**. Como **unico responsavel tecnico** deste sistema, eu era responsavel por todas as decisoes de arquitetura, desenvolvimento, deploy, monitoramento e resposta a incidentes - com responsabilidade total sobre um pipeline que alimentava um volume estimado de **400K euros/mes em aquisicao de leads**. **Nature Label:** Natureza **Domain Label:** Dominio **Scope Label:** Escopo funcional ## Objetivos, Contexto, Desafios e Riscos _Visao estrategica e restricoes_ ### Obj - Migrar todos os feeds de exportacao do antigo PIM v1.4 para o novo PIM v2 Akeneo - Executar a migracao parceiro por parceiro com validacao de negocios a cada etapa - Verificar a consistencia dos dados entre o PIM fonte e os feeds enviados aos portais - Gerenciar as especificidades de cada portal (formatos de imagem, tipologias, campos obrigatorios) - Automatizar a supervisao dos feeds (alertas de erro, relatorios de execucao) ### Context O projeto foi iniciado durante a **transferencia de conhecimento de Andoni L. (Kariba)** em janeiro de 2019. O sistema existente funcionava no antigo PIM v1.4 e precisava ser totalmente migrado para o PIM v2 Akeneo, mantendo o servico continuo para todos os portais parceiros. A migracao precisava ser realizada **portal por portal** - cada um com suas proprias especificacoes de formato, campos obrigatorios, restricoes de imagem e mapeamentos de tipologias - tornando impossivel uma migracao "big bang". Cada parceiro exigia validacao individual pelas equipes de negocios antes de entrar em producao. O sistema fazia parte de um ecossistema de dados mais amplo: upstream, os dados vinham dos ERPs Qualiac, G2P e Oracle alimentando o PIM, enquanto downstream os feeds conectavam-se a 75+ fornecedores de leads gerando um volume estimado de **1 lead a cada 2 segundos** em todos os portais. ### Stakes Os portais imobiliarios parceiros (SeLoger, LeBonCoin, BienIci...) sao os **principais canais de aquisicao de prospects** do Groupe Pichet, alimentando um pipeline estimado em **400K euros/mes em leads**. Qualquer interrupcao ou erro nos feeds se traduz diretamente em **perda de leads e reducao do pipeline comercial**. Com 25+ parceiros para migrar individualmente, o projeto exigiu atencao sustentada por varios anos mantendo zero tempo de inatividade nos feeds ativos. ### Risk - [object Object] - [object Object] - [object Object] - [object Object] ### Decisoes de arquitetura chave - [object Object] - [object Object] - [object Object] - [object Object] **Objectives:** Objetivos **Context:** Contexto **Stakes:** Desafios **Risks:** Riscos **Arch Decision Label:** Decisao **Arch Rationale Label:** Justificativa ## As etapas - O que eu fiz _Progressao cronologica do projeto_ ## Os atores e interacoes _Ecossistema colaborativo_ **Content:** Como **unico responsavel tecnico**, eu coordenava diretamente com os stakeholders de negocios, fornecedores externos e portais parceiros. Cada migracao envolvia definir criterios de aceitacao, pilotar ciclos de validacao e tomar decisoes de go/no-go para deploy em producao. Isso exigia traduzir restricoes tecnicas em termos de negocios e vice-versa. ## Os resultados _Impacto para mim e para a empresa_ ### For Me - Responsabilidade tecnica completa de um sistema critico impactando diretamente a geracao de receita - canal principal de aquisicao de leads da empresa - Decisoes de arquitetura autonomas em um escopo de alto valor com responsabilidade total pela confiabilidade do sistema e precisao dos dados - Capacidade comprovada de pilotar um projeto tecnico de 4 anos com multiplos stakeholders: equipes de negocios, fornecedores externos e 25+ portais parceiros - Gestao do ciclo de vida completo do sistema: design de arquitetura, desenvolvimento, deploy, monitoramento, resposta a incidentes e evolucao continua - Lideranca transversal: definicao de processos de validacao, coordenacao de equipes de negocios e tecnicas, estabelecimento de procedimentos operacionais de onboarding de parceiros ### For Company - 25+ portais parceiros migrados do PIM v1.4 para o PIM v2 Akeneo sem interrupcao de servico - protecao de um pipeline de aquisicao de leads estimado em 400K euros/mes - 2 novas integracoes de parceiros construidas do zero (BienIci, Investimeo), expandindo a rede de distribuicao em ~8% - ~2.000 anuncios processados diariamente em 27+ portais, alimentando o canal principal de geracao de leads comerciais - 99,5%+ de disponibilidade do sistema em 4 anos de operacao continua, com tempo medio de resolucao de incidentes inferior a 4 horas - Gestao de tipologias imobiliarias padronizada em todos os feeds parceiros, reduzindo relatos de inconsistencia de dados pelas equipes de negocios **For Me:** Para mim **For Company:** Para a empresa ## O que aconteceu depois _O que aconteceu apos a entrega_ **Content:** **Resultado imediato**: Apos a onda inicial de migracao (2019), o sistema entrou em uma **fase de manutencao e evolucao continua**. Novos parceiros foram adicionados conforme as necessidades de negocios, os feeds existentes foram atualizados para corresponder as especificacoes em evolucao dos portais, e as anomalias foram resolvidas a medida que eram detectadas. **A medio prazo**: O sistema provou sua resiliencia ao longo de 4 anos de operacao continua, gerenciando mudancas de formato dos parceiros (atualizacoes de especificacoes BienIci, adicao de campos SeLoger) e evolucoes internas do modelo de dados (novos tipos de imoveis, mudancas na estrutura de precos). **Perspectiva de longo prazo**: O sistema de exportacao se tornou uma **peca de infraestrutura fundamental** no Groupe Pichet, alimentando diretamente o pipeline comercial. As escolhas arquiteturais - modulos individuais por parceiro, gestao solida de erros, monitoramento automatizado - permitiram ao sistema escalar do lote inicial de portais para 27+ sem necessidade de redesign fundamental. A arquitetura modular que escolhi permitiu a qualquer desenvolvedor adicionar uma nova integracao de parceiro seguindo os padroes estabelecidos, sem necessidade de conhecer profundamente todo o sistema. ## Meu olhar critico _Analise retrospectiva honesta_ ### Positive - A estrategia de migracao portal por portal foi a decisao correta - minimizou riscos e permitiu validacao de negocios a cada etapa, com capacidade de rollback imediato - A gestao solida de erros e alertas por email permitiram detectar problemas antes de impactarem os resultados comerciais - tempo medio de deteccao inferior a 30 minutos - A arquitetura modular (um modulo por parceiro) facilitou a adicao, modificacao ou desativacao de feeds individuais sem efeitos colaterais nos outros parceiros - O estabelecimento de um processo padronizado de onboarding de novos parceiros reduziu o tempo de integracao de semanas para dias ### Improvement - Um dashboard centralizado para monitoramento dos feeds teria reduzido o tempo gasto verificando alertas de email individuais - Testes de integracao automatizados para cada formato de parceiro teriam detectado regressoes de formato mais cedo - Melhor documentacao dos requisitos especificos de cada parceiro teria acelerado a integracao de novos membros na equipe ### Redo - Eu implementaria um registro de especificacoes de parceiros desde o primeiro dia: uma base estruturada dos requisitos de formato, mapeamentos de campos e restricoes de imagem de cada portal. Isso teria reduzido o tempo de onboarding de novos parceiros em pelo menos 50%. - Eu adicionaria testes de integracao automatizados gerando exports de amostra e validando-os contra o schema de cada parceiro antes do deploy. Os ciclos de verificacao manual adicionavam 1 a 2 dias por migracao. - Eu construiria um dashboard de monitoramento centralizado com status dos feeds em tempo real ao inves de depender de alertas por email. O custo de troca de contexto de verificar emails individuais era significativo ao longo de 4 anos. - Eu pressionaria por uma camada de notificacao orientada a eventos acima do batch ETL, para alertar proativamente a equipe de negocios quando um feed termina ou falha, ao inves de esperar verificacoes manuais periodicas. ### Lesson - Em sistemas multi-parceiros, nao existe "solucao universal" - cada integracao tem restricoes unicas que devem ser respeitadas - Projetos de longo prazo exigem uma mentalidade de manutencao desde o primeiro dia, nao apenas uma abordagem "construir e entregar" - A validacao de negocios a cada etapa de migracao e inegociavel quando o sistema impacta diretamente a geracao de receita - Como unico responsavel tecnico, o investimento mais valioso e na observabilidade do sistema - a capacidade de diagnosticar rapidamente os problemas importa mais do que prevenir cada falha possivel **Positives:** O que funcionou bem **Improvements:** O que poderia ter sido melhor **Redo:** Se eu tivesse que refazer hoje **Lessons:** Licoes-chave aprendidas