Se você nao sabe que tipo de armazenamento de dados e arquitetura utilizar (Data Warehouse, Data Lake ou Data Mesh) esse é seu vídeo, te vou revelar como escolher entre as 3 tecnologias. Artigo Data Mesh: martinfowler.c...
Ótimo video! Só pra deixar algo aqui a ser pensado. O Daralakehouse veio para garantir algo que um datalake puro não faz: ACID. Dps da revolucao do armazenamento distribuido a maioria das grandes empresas usam o data lake como um saco de lixo. Dado duplicados, sem governanca e sem acid. No meu entendimento a melhor combinacao atual é data lake como raw data, dps os dados trafegam para algum datalakehouse(Hudi, Iceberg ou Delta) e de lá criam se os marts(data mesh). O que acham?
Olá, boa tarde, tudo bem? :) Fiquei com uma dúvida em relação ao último tema que você abordou, o Lake House. Entendi que o Data Mesh seria a união de um lake com a ideia de data marts (que são os domínios). Contudo, a união: lake + data marts é justamente o conceito que você sugeriu para um Lake House. Logo Lake House e Data Mesh seriam a mesma coisa? (União de um lake + separações (seja domínios ou data marts)) Como entendendo que não são a mesma coisa, até pelo fato de terem nomes diferentes rs, qual seria a diferença entre Data Mesh e Lake House? Desde já agradeço demais por esse vídeo, pois aborda os temas que tenho mais dúvida!
Muito boa pergunta. O Data Mesh é uma tecnica (arquitetura) da sua estrutura de dados e o Lake House é como vc distribuí os dados. O Data Mesh efetivamente pode fazer uso de um Lake House, vai depender muito de como vc quer que seu usuario ou sistema consumam os dados. Espero ter ajudado!
@@ccardoso79 Oi Carlos, o Mesh é a forma como você constroi o seu “parque de dados” ja o lake house é uma técnica que mistura “big data” com a modelagem tradicional. Você pode ter um mesh que utiliza a modelagem lake house. São complementares. Um abs!
