"Engenharia de Dados não é sobre mover bytes, é sobre eficiência sob pressão."
Engenheiro em pipelines de processamento massivo e sistemas backend de alta vazão. Minha abordagem foca em extrair o máximo de performance do hardware disponível, utilizando concorrência avançada e arquiteturas otimizadas para transformar o caos de dados legados em sistemas resilientes e elegantes.
- 87M+ de registros: Processados, enriquecidos e persistidos em menos de 3 horas.
- Concorrência: Implementação de pipelines assíncronos (Python/Asyncio) e Multi-threading pesado (Java/JVM).
- Escala: Transformação de GBs de dados brutos não estruturados em ativos estratégicos para BI e Analytics.
Plataforma analítica end-to-end para gestão operacional e qualidade de dados de clínicas.
- Problema: Necessidade de rastreabilidade completa e governança sobre métricas gerenciais complexas, garantindo a qualidade da informação consumida por painéis executivos.
- Arquitetura: Pipeline ETL/ELT idempotente desenvolvido do zero (Python). Dados transitam por camadas (Raw → Staging → Curated → Analytics). Backend servido em FastAPI com RBAC e frontend em Vue 3. Banco PostgreSQL gerenciado via Alembic e Docker Compose.
- Resultado: Sistema com garantia de rastreabilidade, geração de 11 KPIs dinâmicos e controle rigoroso de estado e qualidade dos dados.
Sistema monolítico modular para call centers lidarem com alta rotatividade e regras trabalhistas complexas.
- Problema: Gestão descentralizada de operações de RH com turnover massivo, exigindo cálculos pesados e instantâneos de ponto, rescisões e comissionamento.
- Arquitetura: Monolito robusto em Java 17 LTS e Spring Boot 3.1.x, protegido por Spring Security + JWT. Banco PostgreSQL controlado por Flyway. Frontend construído com React 19 e TanStack Query.
- Resultado: Automação completa do ciclo de vida do colaborador, da admissão à geração de contracheques em PDF (JasperReports) e folha de pagamento, desenhado para alta disponibilidade em redes locais.
Aplicação full-stack de Business Intelligence com dados abertos da Agência Nacional de Saúde Suplementar (ANS).
- Problema: Inconsistências severas na contagem de dados abertos da ANS devido a planos de contas hierárquicos e granularidade variável, inflando ou distorcendo dados contábeis em bilhões.
- Arquitetura: Backend em FastAPI (Python 3.11+) conectado a MySQL 8.0 e Redis 7 via Docker. Frontend responsivo e reativo em Vue.js 3 e Vite. Implementação de uma esteira CI/CD no GitHub Actions com gate de cobertura rígido (74%+).
- Resultado: Desenvolvimento do "Método D" auditável que processou R$ 44.48 Bi com rigor acadêmico, resolvendo dupla contagem hierárquica. Entrega de dashboards avançados, detecção de outliers (IQR) e exportações nativas em Excel/PDF.
Painel analítico B2B para gestão de vendas focado em interatividade extrema sem dependência de banco de dados no runtime.
- Problema: Vendedores e gerentes precisavam analisar sazonalidade, progressão de metas e performance de forma instantânea a partir de planilhas locais cruas, sem atrito ou latência de rede.
- Arquitetura: Abordagem 100% Frontend Client-Side. Pipeline Python extrai e consolida
.xlsxem um banco local.json. Frontend renderizado via React 18, Vite 6 e Recharts, com UI baseada em Tailwind CSS v4. - Resultado: Dashboard hiper-responsivo com UX SaaS premium, cross-filtering global em milissegundos e persistência de metas e temas em localStorage, eliminando custos de infraestrutura no frontend.
Painel analítico para monitoramento de retenção com sanitização rigorosa de dados.
- Problema: Exposição acidental de PII (Personally Identifiable Information) ao distribuir relatórios de cancelamento de clientes B2B.
- Arquitetura: Python (Streamlit e Pandas) com integração do Plotly para visualizações. Módulos de anonimização determinística (
Faker+ hashing) e exportador de PDF viaReportLab/WeasyPrint. - Resultado: Pipeline de mascaramento inteligente integrado (CNPJ, CPF e Nomes). UI Premium com alertas baseados em thresholds, análise de cohorts e exportação direta de reports executivos.
Arquitetura de extração e transformação da base de dados pública da Receita Federal.
- Problema: Gargalos severos de I/O de disco ao lidar com dezenas de gigabytes de arquivos governamentais fragmentados.
- Arquitetura: Python utilizando
asyncioeaiohttppara paralelismo, PyArrow para conversão colunar (Parquet) e PostgreSQL (Bulk Load COPY). - Resultado: Processamento de 87 milhões de linhas em ~180 minutos com extração em memória.
Engine de classificação de Telecom em Java para processamento massivo.
- Problema: Limitações de vazão e memória em linguagens interpretadas ao realizar lookups em bases de portabilidade.
- Arquitetura: Java (Maven), Multi-threading, DuckDB embarcado e Google Libphonenumber.
- Resultado: Consulta paralela de arquivos CSV em base local de 55M+ registros atingindo 100% de precisão.
Streaming de eventos e analytics em tempo real para operações de alta demanda.
- Problema: Travamentos de banco sob picos de ingestão de logs.
- Arquitetura: Node.js (Fastify/Socket.IO), Redis (Bull Queue), e PostgreSQL/MySQL.
- Resultado: Backpressure eficiente com filas assíncronas garantindo zero perda de pacotes.
Aberto a desafios remotos, arquitetura de sistemas de alta escala e consultorias de otimização de pipelines e bancos de dados.
"A determinação mantém o percurso quando a empolgação acaba."
"A determinação mantém o percurso quando a empolgação acaba."
