Conheça o Data Mesh: A última tendência em arquitetura de dados  🆙

Data Mesh: indo além do Data Lake e Data Warehouse

Author

Data Hackers
May 17, 2021

E aí Data Hackers! Vamos a mais uma edição da sua newsletter preferida!O assunto principal de hoje é última tendência em arquitetura de dados, o conceito de Data Mesh que promete ser o futuro dos Data Lakes e Data Warehouses.Mas não para por aí, hoje a newsletter está cheia de conteúdos com destaque para: como a Nubank distribui suas equipes de dados para acelerar a inovação; Chaticulator, uma ferramenta open source para criar visualizações de dados incríveis; Curso de MLOps com o Andrew NG; Aprenda a extrair, armazenar e analisar dados de imagens; Entenda como funciona uma árvore de decisão e muito mais.Além disso, como de costume, vamos trazer vagas de emprego, meme da semana e dicas de eventos.Melhor não enrolarmos muito pois hoje temos muitos conteúdos, vamos lá! 

O conteúdo principal da edição de hoje da nossa newsletter foi produzido pelo Data Hacker Savio Teles, que foi sagaz em trazer para o nosso blog um post sobre Data Mesh, um dos temas mais quentes da atualidade no que diz respeito a arquitetura de dados.

O conceito de Data Mesh ainda é relativamente novo e foi proposto pela Zhamak Dehghani, diretora de tecnologia na ThoughtWorks, e consiste em uma abordagem inovadora para a arquitetura de dados das empresas com o objetivo de facilitar a democratização em escala dos dados.

O Data Mesh segue 4 princípios:

(1) arquitetura de dados descentralizada orientada ao domínio;

(2) dados disponibilizados como produto;

(3) infraestrutura para disponibilizar os dados como self-service;

(4) governança federada para permitir a interoperabilidade dos domínios.

No

no Blog do Data Hackers ele se aprofunda em cada um desses princípios através de exemplos e mostra quais os passos necessários para a implantação dessa estrutura, suas vantagens e desvantagens, vale muito a pena conferir! (em Português)

A DataSprints é uma empresa Brasileira (criada pelo Allan Sene, um dos fundadores do Data Hackers) e acaba de ganhar o prêmio “Parceiro de Impacto Social do Ano” pela Amazon AWS por ter desenvolvido o projeto

 com o objetivo de reunir voluntários para organizar dados públicos e privados sobre a saúde Brasileira.

Em nome de toda a comunidade brasileira de dados, o Data Hackers gostaria de parabenizar a DataSprints por essa grande iniciativa e pelo merecido prêmio.

Se você tem interesse em atuar voluntariamente em um projeto de dados com foco social essa é uma ótima alternativa pois eles estão sempre em busca de novos voluntários. Para ter mais detalhes basta acessar

.

Gerenciar dados gerados por mais de 35 milhões de clientes certamente não é uma tarefa fácil e fazer isso garantindo inovação, escalabilidade das soluções e a qualidade dos dados é um desafio enorme. Nesse post a equipe de dados da Nubank mostra como evoluíram a estrutura dos times para atender todos esses requisitos. (em Inglês)

 

Recentemente a Microsoft tornou open source o Charticulator, uma solução para criação de visualizações de dados totalmente customizáveis. O Charticulator permite a criação de gráficos de visualizações complexas numa interface "drag-and-drop". Os modelos de data visualization desenvolvidos ainda podem ser exportados como um template, uma imagem, arquivo html ou Custom Visual no PowerBI. (em Inglês) 

A DeepLearning.AI e o Andrew NG acabaram de lançar uma especialização em MLOps, com o foco em "produtização" de modelos de machine learning.A especialização conta com um total de quatro cursos:1- Introduction to Machine Learning in Production2 - Machine Learning Data Lifecycle in Production3 - Machine Learning Modeling Pipelines in Production4 - Deploying Machine Learning Models in ProductionO curso dura aproximadamente 3 meses, e como a maioria dos cursos disponibilizados na plataforma Coursera, existe a possibilidade de assistir gratuitamente e pagar apenas pelo certificado. (em Inglês)

Pietro Oliveira, community manager do Data Hackers fez um texto muito interessante para a TI Inside onde mostra os principais desafios das empresas que buscam se tornar Data Driven. (em Português)

Em mais um post extremamente completo, o Data Hacker André Sionek mostra o passo a passo para sair do zero e construir análises de dados incríveis. No texto ele parte desde a ingestão dos dados, passando por todo o pipeline de dados até chegar na visualização e análise. (em Inglês)

O Data Hacker Bernardo Caldas mostra em poucos passos como analisar, extrair e armazenar dados a partir de imagens utilizando a lib Deepface no Python. Com essa biblioteca é possível utilizar a imagem do rosto de uma pessoa e extrair informações como idade, genero, raça e emoção que está sendo expressada na imagem. (em Português)

O Data Hacker Fabio D. Junior, resolveu explicar detalhadamente como funciona uma árvore de decisão e os principais casos que essa técnica pode ser utilizada. (em Português)

VAGAS DA SEMANA

  • Ter experiencia liderando tecnicamente construção de data lakes

  • Conhecimento de serviço AWS e suas ferramentas relacionadas a dados; EMR, Redshift,S3, Glue etc.;

  • Experiência com programação em infraestrutura de big data (Scala ou PySpark);

  • Conhecimentos de ferramentas de controle de versão (Git);

  • Conhecimentos em Python/SQL;

  • Conhecimento Python e SQL;

  • Ferramentes de visualização como Oracle Data Visualization (Power BI, Tableau, etc.);

  • Conhecimento e experiencia com técnicas de Machine Learning (Regressão, Arvore de Decisão, Random Forest, SVM, XGBoosting, etc.);

Fonte: 

Um dos tristes efeitos causados pela pandemia foi o aumento da concentração de renda na mão dos mais ricos do mundo. Quando saiu a lista de bilionários da Forbes já havia ficado evidente que esse número tinha crescido de forma acelerada, mas acredito que nem os mais críticos imaginavam com detalhes o quanto essa diferença aumentaria. Em mais uma visualização de dados sensacional o time do Nexo Jornal mostra como a fortuna dos bilionários de todo o globo aumentou significativamente no último ano. Observação: Se você gostou do conteúdo deles uma dica é assinar para apoiar o trabalho e garantir que eles possam continuar mantendo essa inciativa. (em Português)

11 a 20 de Maio - Evento Gratuito e 100% Online

26 de Maio - Evento Gratuito e 100% Online

08 a 16 de Julho - Evento Gratuito e 100% Online

17 a 19 de Agosto de 2021 -  Evento Pago e 100% Online