O desafio

Times de dados operam no escuro. Sabem quando um job de pipeline falha, mas nao sabem quando dados chegam atrasados, volumes driftam silenciosamente, ou uma mudanca de schema upstream quebra um modelo downstream tres dias depois. Quando alguem percebe, o dano ja chegou aos relatorios de negocio.

Como resolvemos

• - Coletar metadados de pipeline de runs de DAGs Airflow, execucoes de modelos dbt e estatisticas de banco em um store centralizado de observabilidade
• - Detectar anomalias em freshness, volume de linhas, taxas de null e schema drift usando baselines estatisticos
• - Rastrear linhagem end-to-end da ingestao de fonte ate transformacao e consumo final em dashboard
• - Alertar sobre violacoes de SLA com informacao contextual que ajuda engenheiros a diagnosticar causa raiz em minutos ao inves de horas

Historia de execucao

Cada estagio do pipeline emite metadados para um store de observabilidade em PostgreSQL. Um servico Python roda deteccao de anomalias em baselines de freshness e volume. Testes dbt adicionam sinais de qualidade na camada de transformacao. Streamlit fornece um dashboard unificado onde engenheiros podem ver saude do pipeline, rastrear linhagem e investigar anomalias sem alternar entre UI do Airflow, docs do dbt e queries de banco.