Skip to content
View LCS87's full-sized avatar

Block or report LCS87

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Content in all repositories owned by your account will be closed.
Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. Markdown is supported. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
LCS87/README.md

Leandro Costa | Data Engineering & Backend Architecture ⚡

"Engenharia de Dados não é sobre mover bytes, é sobre eficiência sob pressão."

Engenheiro em pipelines de processamento massivo e sistemas backend de alta vazão. Minha abordagem foca em extrair o máximo de performance do hardware disponível, utilizando concorrência avançada e arquiteturas otimizadas para transformar o caos de dados legados em sistemas resilientes e elegantes.


🚀 Performance em Números

  • 87M+ de registros: Processados, enriquecidos e persistidos em menos de 3 horas.
  • Concorrência: Implementação de pipelines assíncronos (Python/Asyncio) e Multi-threading pesado (Java/JVM).
  • Escala: Transformação de GBs de dados brutos não estruturados em ativos estratégicos para BI e Analytics.

📂 Projetos (Destaque Arquitetural)

🏥 Clinic Analytics (PAGCC)

Plataforma analítica end-to-end para gestão operacional e qualidade de dados de clínicas.

  • Problema: Necessidade de rastreabilidade completa e governança sobre métricas gerenciais complexas, garantindo a qualidade da informação consumida por painéis executivos.
  • Arquitetura: Pipeline ETL/ELT idempotente desenvolvido do zero (Python). Dados transitam por camadas (Raw → Staging → Curated → Analytics). Backend servido em FastAPI com RBAC e frontend em Vue 3. Banco PostgreSQL gerenciado via Alembic e Docker Compose.
  • Resultado: Sistema com garantia de rastreabilidade, geração de 11 KPIs dinâmicos e controle rigoroso de estado e qualidade dos dados.

🏢 Sistema de Gestão de RH e Financeiro On-Premise

Sistema monolítico modular para call centers lidarem com alta rotatividade e regras trabalhistas complexas.

  • Problema: Gestão descentralizada de operações de RH com turnover massivo, exigindo cálculos pesados e instantâneos de ponto, rescisões e comissionamento.
  • Arquitetura: Monolito robusto em Java 17 LTS e Spring Boot 3.1.x, protegido por Spring Security + JWT. Banco PostgreSQL controlado por Flyway. Frontend construído com React 19 e TanStack Query.
  • Resultado: Automação completa do ciclo de vida do colaborador, da admissão à geração de contracheques em PDF (JasperReports) e folha de pagamento, desenhado para alta disponibilidade em redes locais.

⚕️ ANS Intelligence

Aplicação full-stack de Business Intelligence com dados abertos da Agência Nacional de Saúde Suplementar (ANS).

  • Problema: Inconsistências severas na contagem de dados abertos da ANS devido a planos de contas hierárquicos e granularidade variável, inflando ou distorcendo dados contábeis em bilhões.
  • Arquitetura: Backend em FastAPI (Python 3.11+) conectado a MySQL 8.0 e Redis 7 via Docker. Frontend responsivo e reativo em Vue.js 3 e Vite. Implementação de uma esteira CI/CD no GitHub Actions com gate de cobertura rígido (74%+).
  • Resultado: Desenvolvimento do "Método D" auditável que processou R$ 44.48 Bi com rigor acadêmico, resolvendo dupla contagem hierárquica. Entrega de dashboards avançados, detecção de outliers (IQR) e exportações nativas em Excel/PDF.

📊 Maré de Vendas - Dashboard SaaS Administrativo

Painel analítico B2B para gestão de vendas focado em interatividade extrema sem dependência de banco de dados no runtime.

  • Problema: Vendedores e gerentes precisavam analisar sazonalidade, progressão de metas e performance de forma instantânea a partir de planilhas locais cruas, sem atrito ou latência de rede.
  • Arquitetura: Abordagem 100% Frontend Client-Side. Pipeline Python extrai e consolida .xlsx em um banco local .json. Frontend renderizado via React 18, Vite 6 e Recharts, com UI baseada em Tailwind CSS v4.
  • Resultado: Dashboard hiper-responsivo com UX SaaS premium, cross-filtering global em milissegundos e persistência de metas e temas em localStorage, eliminando custos de infraestrutura no frontend.

📉 Dashboard B2B Churn - Telecomunicações S/A

Painel analítico para monitoramento de retenção com sanitização rigorosa de dados.

  • Problema: Exposição acidental de PII (Personally Identifiable Information) ao distribuir relatórios de cancelamento de clientes B2B.
  • Arquitetura: Python (Streamlit e Pandas) com integração do Plotly para visualizações. Módulos de anonimização determinística (Faker + hashing) e exportador de PDF via ReportLab/WeasyPrint.
  • Resultado: Pipeline de mascaramento inteligente integrado (CNPJ, CPF e Nomes). UI Premium com alertas baseados em thresholds, análise de cohorts e exportação direta de reports executivos.

⚡ ETLreceitaPy

Arquitetura de extração e transformação da base de dados pública da Receita Federal.

  • Problema: Gargalos severos de I/O de disco ao lidar com dezenas de gigabytes de arquivos governamentais fragmentados.
  • Arquitetura: Python utilizando asyncio e aiohttp para paralelismo, PyArrow para conversão colunar (Parquet) e PostgreSQL (Bulk Load COPY).
  • Resultado: Processamento de 87 milhões de linhas em ~180 minutos com extração em memória.

☕ Portabilidade Numérica (ConsultaOperadora)

Engine de classificação de Telecom em Java para processamento massivo.

  • Problema: Limitações de vazão e memória em linguagens interpretadas ao realizar lookups em bases de portabilidade.
  • Arquitetura: Java (Maven), Multi-threading, DuckDB embarcado e Google Libphonenumber.
  • Resultado: Consulta paralela de arquivos CSV em base local de 55M+ registros atingindo 100% de precisão.

📡 Mirror-DB

Streaming de eventos e analytics em tempo real para operações de alta demanda.

  • Problema: Travamentos de banco sob picos de ingestão de logs.
  • Arquitetura: Node.js (Fastify/Socket.IO), Redis (Bull Queue), e PostgreSQL/MySQL.
  • Resultado: Backpressure eficiente com filas assíncronas garantindo zero perda de pacotes.

📫 Contato & Colaboração

Aberto a desafios remotos, arquitetura de sistemas de alta escala e consultorias de otimização de pipelines e bancos de dados.

"A determinação mantém o percurso quando a empolgação acaba."

LinkedIn Gmail GitHub


"A determinação mantém o percurso quando a empolgação acaba."

Pinned Loading

  1. AutomacaoBandaLarga AutomacaoBandaLarga Public

    Pipeline modular em Python para processar, enriquecer e segmentar dados de prospecção. Cada etapa consome a saída da anterior.

    Python

  2. ans-app ans-app Public

    Esta aplicação automatiza o ciclo de vida de dados da ANS (Agência Nacional de Saúde Suplementar), processando desde o scraping de PDFs oficiais até a análise financeira de milhões de registros con…

    Python

  3. cnpj-cruzamento-db-api cnpj-cruzamento-db-api Public

    Sistema Python para consulta e cruzamento de informações de CNPJs entre banco de dados local e API externa (Invertexto).

    Python

  4. ETLreceitaPy ETLreceitaPy Public

    Pipeline de engenharia de dados para extração, transformação e carga dos dados públicos de CNPJ da Receita Federal, com exportação de leads segmentados por operadora de telefonia, porte empresarial…

    Python

  5. portabilidade-java portabilidade-java Public

    Aplicacao Java para resolver operadora de telefones BR via portabilidade numerica (DuckDB) com fallback por prefixo e Docker.

    Java

  6. gestao-rh-financeiro gestao-rh-financeiro Public

    Java