InfoQ traz nova perspectiva sobre arquitetura de software, engenharia de IA e estrategia de dados...

O IngestionNext da Uber marca uma virada importante em como devemos pensar sobre atualização de dados versus custo de infraestrutura. A redução de 25% em computação é relevante, mas o ganho real é comprimir a latência de ingestão de horas para minutos—isso habilita engenharia de features em tempo real para modelos de ML e dashboards operacionais sem construir sistemas de caminho rápido separados. Já vi times mantendo arquiteturas batch e streaming paralelas por anos, o que dobra o peso operacional. O que é significativo aqui é que a Uber construiu isso sobre tecnologias open-source consolidadas (Kafka, Flink, Hudi), não caixas pretas proprietárias, o que torna os padrões arquiteturais portáveis. Para a maioria dos times enterprise, isso sinaliza que data lakes streaming-first já são obrigatoriedade, não experimentos de ponta. A implicação prática: se você ainda está projetando com pensamento batch, já está atrasado em latência e custo. Minha recomendação é avaliar Apache Hudi para atualizações incrementais no seu data lake existente—é o desbloqueio imediato sem redesenhar tudo hoje.