- Data Hackers Newsletter
- Posts
- O que é um Data Lake? 🌊
Fala, Data Hacker! Seja bem-vindo a nossa newsletter! Logo depois do feriadão estamos trazendo AQUELE compilado especial pra vocês, com destaque pra esse episódio do podcast do DH sonhado pelos engenheiros de dados que nos acompanham: O que é, pra que serve e como construir um Data Lake? Sim, dessa vez trouxemos 2 data engineers feras no assunto pra explicar essa hype pra nós.E tem bem mais: como mentir com Data Science, dicas de Jupyter, de Redshift e de prototipagem de dashboards, vagas muito tops e aquele meme da semana pra descontrair. Bora ver?!
No tão esperado episódio onde voltamos a discutir temas de engenharia de dados, vamos falar do que talvez seja o maior assunto de interesse na área atualmente: Data Lakes! Nesse papo, além de mim, Allan Sene - cara que adora esse assunto - estão André Sionek, que é Data Engineer na Gousto, na Inglaterra; e Maikel Penz, Senior Data Engineer na Spidertracks, na Nova Zelândia.Lembre-se que o Data Hackers é um podcast quinzenal que você pode ouvir gratuitamente em qualquer player de podcast, como Spotify, iTunes, Google Podcast, Castbox e muitos outros (em Português)
Ah! Lembrando que esse episódio é trazido pelos nossos parceiros da DataSprints, que estão lançando esse mega curso Data Lakes na Prática ONLINE!
Nele você vai aprender, desde do básico, como construir, modelar e produtizar Data Lakes, utilizando as melhores ferramentas de mercado: Dremio e Power BI. Tudo que você precisa pra resolver de vez por todas a bagunça nos dados da sua organização, entregando valor de maneira rápida e relevante.
Você já mentiu? Claro né... mas, e usando dados? Sim, isso é totalmente possível e está cada vez mais comum de se ver por aí, seja por vontade própria da galera ou mera ignorância. É sobre isso que Paulo Vasconcellos discorre nesse artigo incrível!
A partir de embasamentos em livros muito bacanas, nosso co-fundador se aprofunda nos viéses que existem nos indivíduos e como isso afeta diariamente nossa análise de dados. IMPERDÍVEL! (em Português)
Já tem um pessoal fazendo guerra entre Jupyter e IDEs como Visual Code. Como bom programador, sempre fui um IDE-guy, mas confesso que com essas 5 dicas aqui eu poderia repensar em usar um Jupyter de vez em quando.
Nesse post breve, porém MUITO ÚTIL, a cientista de dados Meirav Ben traz 5 dicas bem legais pro nosso server de notebooks do dia a dia. Desde atalhos salvadores, até dark-mode no Jupyter Lab. Veja! (em Inglês)
Esse post bem bacana da Nathalia Mazo traz um compilado de 5 ferramentas pra prototipar dashboards. Com análise de preço, prós e contras, a Nathalia vai te ajudar a parar de ficar gambiarrando dashboard antes de ver direitinho como que as informações vão ficar na telinha do seu chefe. (em Inglês)
Pode reclamar de ser caro, de ser copia de um Postgres parrudo ou de o copy from S3 ser uma carroça com roda velha, mas um Redshift bem tunado resolve MIL problemas que nos anos 2000 precisavam de pelo menos 10 especialistas Hadoop para resolver. Esse post incrível no blog da AWS compila 10 dicas imperdíveis para deixar seu cluster nos trinques! (em Inglês)
A LGPD - Lei Geral de Proteção de Dados - acabou de passar pelo Congresso Nacional e segue para sanção presidencial. Já estão discutindo a criação da ANPD - Agencia Nacional de Proteção aos Dados - e tudo mais. Mas: já é pra valer ou não?! Nesse ótimo texto, Cristina Terra dá um overview sobre tudo no que se refere essa lei tão importante para nosso cenário no Brasil.
(em Português)
VAGAS DA SEMANA
Inglês e Português/Espanhol fluente
10 anos de exp. na área de dados
Exp. em liderança de times
Grande entendimento em Estatistica, DataScience, SQL e modelagem
Formação em Computação ou relatadas
Proeficiência em SQL
Exp. em Data Lakes e DWs
Conhecimento em Python, Scala, Spark, Flink ou Airflow é diferencial
Rapaz, o que tem de if-else enganando a galera por aí que é IA, não tá escrito! Pra nos ajudar na identificação do que é realmente Inteligência Artificial, a nossa colega Kizzy, do Canal Programação Dinâmica, fez esse video muito bacana comentando e traduzindo um fluxograma do pessoal do MIT Technology Review. Ah, não vem reclamar comigo depois que a gente tá desfazendo hype não hein! hahaha (em Português)
Mestre Ng só me enrolando no saudoso curso de ML no Coursera...
Explorando Iowa com mapas e lindas fotosImagina você poder ter um album totalmente imersivo, com fotos e diversos mapas e visualizações de dados de cada viagem sua? É com esse gostinho que o Allen Carrol, engenheiro da ESRI - criadora do ArcGIS - fez esse storymap incrível cruzando fotos e mapas de Iowa, pacato estado do interior dos EUA. (em Português)
PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]
22 de setembro de 2020 - 15:30 até 16:30 - Online Gratuito
06 a 16 de outubro de 2020 - Online Gratuito
30 de Novembro a 18 de Dezembro de 2020 - Online gratuito