Uber, Netflix e Twitter: gente de dados como a gente! 👬

Como o Uber refez sua arquitetura de análise de dados em tempo-real

Author

Data Hackers
September 13, 2021

Fala, Data Hackers! Quando ouvimos falar sobre Dados nessas Big Techs, sempre pensamos que eles estão em outro nível, muito distante da gente, pessoas comuns no mundo dos dados. Mas não!Nessa news trouxemos como o Uber está refazendo sua arquitetura de real-time analytics, o Twitter fazendo sua jornada para nuvem e Netflix criando sua ferramenta de Data Collection.E mais: usando Python pra manipular Excel, aprendendo o Azure Synapses, Snowflake vs Databricks, vagas e meme!

Re-arquitetura é um dom. Fazer as mudanças certas, na hora certa, sem perder muito tempo construindo, requer muita experiência e know-how. Esse post é um guia excepcional de como construir uma arquitetura de dados em substituição a uma já existente.O time de Global Scaled Solutions da Uber conta como escolheu item a item da arquitetura simples e efetiva mostrada aqui em cima, que suporta, nos dias mais sossegados, 10 milhões de eventos por dia, com latência quase zero. Imperdível! (em Inglês)

Uma info que eu não sabia e talvez você também não, era que grande parte do Twitter sempre rodou em servidores próprios. Mas realmente a era da cloud chegou para ficar. Esse post da Venture Beat conta como e porque o Twitter decidiu ir para nuvem e escolheu a Google para tal. 

Legal ver que não é só nós, reles mortais, que passamos pelas dificuldades de quebra Data Silos e fazer uma migração de dados para nuvem, em plenos anos 2020. (em Inglês)

 

Data Mesh é um assunto muito na moda, mas esse post da Netflix é oooutra coisa: eles construiram uma plataforma que facilita coleta de dados via CDC e botaram esse nome: Data Mesh Platform.

Esse post do Netflix Studio Tech Team conta como a plataforma funciona: conta com evolução de schema, enriquecimento e validação de qualidade, tudo em realtime. Pra facilitar, ainda entregam os dados tanto no Google Sheets, quanto no Airtable, aumentando e muito a democratização dos dados no Studio. (em Inglês)

Há menos que você viva numa caverna, você já ouviu falar no Snowflake ou Databricks: os novos garotos no pedaço, do mundo de Data. Nesse texto muito bacana, a Annika Lewis, do Vanedge Capital, mostra como Snowflake tem caminhado em direção do Storage > Processing, enquanto Databricks tem ido no caminho de Processing > Storage. (em Português)

O Data Hacker Gustavo Santos, em mais uma contribuição pro nosso blog, escreveu um guia de como aumentar sua produtividade usando Python para manipular planilhas de Excel, usando a lib openpyxl. Será o fim do VBA para esse tipo de trampo?! Imperdível! (em Português)

VAGAS DA SEMANA

  • +2 anos de exp. com projetos de Data em produção, em larga-escala;

  • Experiência com banco de dados SQL e NoSQL;

  • Experiência com Cloud Computing, preferencialmente AWS;

  • Experiência com Git, Linux e Shell script;

  • Experiência no desenvolvimento de pipelines de ETL e ELT;

  • Experiência com IaC;

  • Mais de 2 anos de exp. relevante em data;

  • Proficiência em linguagem SQL;

  • Proficiência em Python, libs Panda e Numpy;

  • Exp. com modelagem e Machine Learning;

  • Exp. com Git, Bash e Containers;

  • Conhecimento em Cloud;

Conheça o que é e um pouco de como funciona o Azure SynapseUma das ferramentas mais interessantes lançadas nos últimos meses, o Azure Synapses facilita e muito a vida de qualquer engenheiro de dados dentro da Azure. Nesse video, você vai descobrir o que é e como usá-lo no dia-a-dia de manter uma plataforma de dados. (Em Inglês)

Como estamos? :)

Rodrigo Teoria mandou no nosso 

Imagina ficar 15 dias sem comer nada? Impressionante né. Mas, mais impressionante ainda, é coletar todos os dados, fazer visualizações e divulgar pra todo mundo no Reddit! Veja a viz completa clicando aqui.  (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

14 de Setembro- Evento Gratuito e 100% Online

21 de Setembro- Evento Gratuito e 100% Online

22 a 24 de Setembro- Evento Gratuito e 100% Online

28 a 30 de Setembro - Evento Gratuito e 100% Online