Fluxo Conceitual de Dados
Visão macroscópica do ciclo de vida dos dados na Oportunidados, desde a captura em fontes externas até a disponibilização como produtos de dados.
Diagrama de Nível 0: Fluxo de Valor
Legenda do Diagrama:
Este diagrama ilustra a jornada dos dados através das principais zonas de arquitetura, abstraindo as ferramentas específicas para focar na natureza dos dados.
1. Fontes Externas
Dados públicos e privados coletados de diversas origens como Receita Federal, IBGE, e APIs de parceiros. A diversidade de formatos (CSV, JSON, XML) é tratada na ingestão.
2. Data Lake (GCS)
Repositório central de arquivos brutos. Atua como a "zona de aterrissagem" (landing zone) e backup histórico de todos os dados ingeridos.
3. Data Warehouse
Onde a mágica acontece. Dados são limpos, transformados e modelados. Utilizamos ClickHouse para alta performance analítica.
4. Data Products
O valor entregue ao usuário final. Interfaces de consulta, dashboards de BI e APIs que consomem os dados tratados.