---
title: "Flux - Sincronizacao de Dados de Fornecedores"
description: "Uma plataforma ETL interna automatizando a sincronizacao diaria de dados de produtos (estoque, precos, catalogos) de mais de 30 fornecedores europeus via FTP, HTTP e APIs REST para o marketplace European Sourcing."
locale: "pt"
canonical: "https://portfolio.josedacosta.info/pt/realizacoes/flux-synchronisation-fournisseurs"
source: "https://portfolio.josedacosta.info/pt/realizacoes/flux-synchronisation-fournisseurs.md"
html_source: "https://portfolio.josedacosta.info/pt/realizacoes/flux-synchronisation-fournisseurs"
author: "José DA COSTA"
date: "2016"
type: "achievement"
slug: "flux-synchronisation-fournisseurs"
tags: ["PHP 5.3+", "Symfony 2.4", "MySQL", "Doctrine DBAL", "Twig", "Bootstrap", "jQuery", "FTP", "REST API", "CSV", "XML", "JSON", "Elasticsearch", "Cron"]
generated_at: "2026-04-23T15:48:45.643Z"
---

# Flux - Sincronizacao de Dados de Fornecedores

Uma plataforma ETL interna automatizando a sincronizacao diaria de dados de produtos (estoque, precos, catalogos) de mais de 30 fornecedores europeus via FTP, HTTP e APIs REST para o marketplace European Sourcing.

**Date:** 2013 - 2016  
**Duration:** ~3 anos  
**Role:** Senior Software Engineer - ETL & Integracao de Dados  
**Technologies:** PHP 5.3+, Symfony 2.4, MySQL, Doctrine DBAL, Twig, Bootstrap, jQuery, FTP, REST API, CSV, XML, JSON, Elasticsearch, Cron

### Key Metrics

- Fornecedores Integrados: **-** - 8+ paises europeus
- Classes de Conectores: **-** - Padrao Strategy (Lib/*.php)
- Formatos de Dados: **-** - CSV, XML, JSON, XLS, TSV, TXT, GZ
- Tamanho do BD: **-** - Dump SQL completo (marco 2019)

## Apresentacao

_O centro nervoso da integracao de dados de fornecedores europeus_

- Flux (v1) e FluxV2 sao aplicacoes web internas desenvolvidas para a European Sourcing, empresa especializada em sourcing de produtos promocionais e publicitarios em toda a Europa. Essas aplicacoes constituem a espinha dorsal da sincronizacao de dados de produtos entre fornecedores e a plataforma European Sourcing.
- A plataforma opera no dominio de e-commerce B2B / marketplace de produtos promocionais. A European Sourcing atua como agregadora de catalogos de fornecedores de objetos promocionais (brindes, texteis, acessorios, material de escritorio, etc.) para revendedores europeus. A empresa coleta, normaliza e redistribui dados de produtos (niveis de estoque, precos, imagens, fichas tecnicas) de dezenas de fornecedores para sua plataforma online, atendendo aproximadamente 160 sites revendedores.

**Arch Caption:** Arquitetura geral do sistema Flux dentro do ecossistema European Sourcing

## Objetivos, Contexto, Desafios e Riscos

_Compreendendo a visao estrategica por tras do pipeline de dados_

### Contexto

- Parte de um ecossistema de 20+ aplicacoes sob *.europeansourcing.com (extranet, API, motor de busca, exportacao, estatisticas, traducao, etc.)
- Desenvolvimento sob a organizacao GitHub medialeads (~8 desenvolvedores) em Bordeaux, Franca
- Banco de dados MySQL master/slave compartilhado (~15 GB) com todos os outros projetos da plataforma
- Multiplos ambientes: desenvolvedor (local), homologacao (es-recette.com), producao (OVH)

## As Etapas - O que Fiz

_Uma jornada concreta, fase por fase, da construcao_

**Etl Caption:** Pipeline ETL completo mostrando etapas de extracao, transformacao e carregamento

**Data Model Caption:** Tabelas do banco de dados usadas pelo Flux para configuracao de sincronizacao e relatorios

**Supplier Caption:** Mapa completo de 30+ fornecedores integrados, classificados por protocolo (FTP, HTTP, API REST) com pais de origem e formato de dados

**Infra Caption:** Ambientes de implantacao do desenvolvimento local a producao OVH

## Os Atores - Interacoes

_Uma equipe pequena e focada dentro de um ecossistema maior_

### Équipe de Desenvolvimento

O projeto Flux foi desenvolvido principalmente por 2 desenvolvedores dentro da organizacao medialeads (~8 pessoas no total). Thomas C. foi o desenvolvedor principal, implementando a maioria dos conectores de fornecedores (28 commits, 65% do codigo). Eu contribui com 15 commits (35%) incluindo o commit inicial, migracao SVN e conectores-chave para BIC France, PF Concept e Midocean.

### Parceiros Externos

O projeto interagia diretamente com mais de 30 APIs e feeds de dados de fornecedores europeus - cada um com seus proprios protocolos, formatos, metodos de autenticacao e contatos tecnicos. Isso exigia adaptacao e comunicacao constantes com equipes tecnicas externas.

## Resultados

_Impacto mensuravel para o negocio e crescimento pessoal_

### Impacto nos Negocios

- Sincronizacao automatizada diaria garante dados de produtos atualizados para revendedores no europeansourcing.com → conversao melhorada, erros de pedido reduzidos
- 6.120 variantes de produtos atualizadas em uma unica execucao de 45 segundos (fornecedor Anda, agosto 2019)
- ~100 execucoes diarias em todos os fornecedores, garantindo frescura continua dos dados
- Cobertura massiva de catalogo: banco de dados de ~15 GB atendendo mais de 160 sites revendedores
- Alcance geografico pan-europeu: fornecedores de 8+ paises integrados perfeitamente

### Crescimento Pessoal

- Expertise profunda em integracao de dados heterogeneos (ETL) atraves de multiplos protocolos e formatos
- Dominio do padrao de design Strategy aplicado a arquitetura real de conectores de fornecedores
- Compreensao da gestao de catalogos de e-commerce B2B em escala europeia
- Experiencia com arquitetura MySQL master/slave e operacoes de dados em grande escala
- Conhecimento pratico de comandos CLI, servicos e sistema de eventos do Symfony 2

## O Futuro do Projeto

_Alem da entrega - ciclo de vida e evolucao_

## Reflexao Critica

_Retrospectiva honesta sobre pontos fortes, fracos e licoes aprendidas_