Software & IA
99,9%+ de disponibilidade na migração de Event Hubs para Confluent Kafka
Migração para uma arquitetura de streaming em Confluent Kafka, sem impacto nas operações críticas e com mais de 5 TB replicados por dia em tempo real.
Indicadores do case
99,9%+
Disponibilidade operacional
-70%
Riscos operacionais em streaming
5,18 TB/dia
Replicados ao data lake em tempo real
A história do projeto
Desafio
Evoluir a arquitetura de dados para um modelo orientado a eventos, capaz de suportar grandes volumes com baixa latência e alta disponibilidade, reduzindo riscos operacionais em streaming.
O cenário exigia uma transição segura do Event Hubs para Kafka, sem impacto nas operações críticas do negócio.
Abordagem
Projetamos uma arquitetura em Confluent Kafka com alta disponibilidade, definindo tópicos, particionamento, políticas de retenção e estratégias de replay para garantir resiliência e performance.
Também estruturamos camadas de automação e observabilidade para ampliar o controle operacional e antecipar incidentes.
Resultado
Alcançamos 99,9%+ de disponibilidade, reduzimos em 70% os riscos operacionais em streaming e passamos a processar dados com latência de milissegundos.
Hoje, mais de 5 TB de dados são replicados por dia em tempo real, sustentando decisões rápidas e uma operação orientada a dados.
Destaques do projeto
- Desenho da arquitetura de streaming
- Migração de Event Hubs para Kafka sem impacto nas operações críticas
- Tópicos, partições, retenção e políticas de replay
- Automação e observabilidade
- ≈63 MB/s replicados, com latência inferior a 100 ms
- Escalabilidade horizontal
Tecnologias
- Azure
- Confluent (Kafka + Flink)
- Databricks
- Power BI
Outros cases
Seu streaming aguenta crescer sem colocar a operação em risco?
Converse com a Datatchê para migrar para Confluent Kafka com alta disponibilidade e sem impacto nas operações críticas.
