Engenheiros e Cientistas uni-vos pela qualidade dos dados! 💪📝📊

Open-source da AWS para Tratamento de Dados feito por Brazucas!

Author

Data Hackers
September 09, 2019

Fala, Data Hacker! Seja bem-vindo a mais uma news!Nessa news vamos focar qualidade e tratamento dos dados. Sim, a preocupação número 1 dos Engenheiros e Cientistas de Dados Seniores, muita das vezes negligenciada por quem ainda não bateu cabeça alguns meses com bugs em produção que não fazem sentido e só aparecem depois daquele Data Quality bem implementado.Com posts como: os 3 Principios de Engenharia de dados, AWS toolbelt pra Data Wrangling, o case de Data Science no New York Times, estaremos pronto pra colocar aquele 99% de confiança no deploy de produção! Vamos lá!?

A Alura, a mais nova apoiadora da nossa comunidade, continua oferecendo 10% de desconto em seus planos para todos os membros do Data Hackers!Com apenas uma assinatura, você terá acesso aos mais de

800 cursos da plataforma

, incluindo as incríveis Formações Completas de Data Science e Machine Learning, onde você vai poder aprender as técnicas mais relevantes para atuar na área de Data Science e fazer projetos práticos para incluir no seu portfólio. Aproveite esse desconto que é por tempo limitado!

Muita gente ainda acha que Engenharia de Dados nada mais é que fazer ETL e tunar bancos de dados. Dada a imaturidade do mercado, muita gente tem começado trabalhos como Engenheiros sem saber alguns princípios que devem guiar as decisões do profissional que deve expor com qualidade e desempenho qualquer volume e formato de dados para a organização.Neste post breve, mas sensacional, a engenheira de dados Jiaqi Liu, da Button, levanta 3 princípios que todo Data Eng deveria ter tatuado na pele:

  • Projete para Dados imutáveis

  • Crie Linhagem dos Dados

  • Valide os dados opcionalmente

Tais principios garantem a criação de uma arquitetura CONFIÁVEL e, ao mesmo tempo, ÁGIL, para disponibilização de dados. (em Ingles)

O Data Hacker e Arquiteto de Dados na AWS, Igor Tavares postou recentemente em

 a ferramenta que ele tem desenvolvido para facilitar a vida dos cientistas e engenheiros de dados que usam a nuvem da Amazon. Do Pandas, pro S3 - em Parquet e CSV - Athena e até Redshift. (em Inglês)

 

Já falamos como que é feito o jornalismo através dos dados. Mas e como o principal jornal do mundo usa Data Science? Nessa talk incrível do

, Chief Data Scientist no NYT, você vai descobrir como eles evoluiram o time de DS deles dentro do jornal, até ter total buy-in do CEO deles, quais ferramentas eles criaram pra democratizar os dados dentro da própria organização e qual a stack tecnológica que usam.

 (em Português)

A Engenheira de Dados brasileira Rayane de Araújo publicou recentemente um ótimo guia de como construir um pipeline de dados na AWS no Towards Data Science. Rayane mostra quais ferramentas sugere para storage, processamento e visualização dos dados (Metabase

Se você não tem etapa de code review no seu processo de transformação e análises de dados, meu amigo: volte à primeira casa! Um dos maiores problemas nos ETLs macarronicos de hoje foram falta de preocupações simples que poderiam ser levadas em conta em um processo simples de revisão de código. Nesse ótimo texto, o pessoal do

conta 10 pontos importantes a avaliar em um review de códigos de analises/etl. (em Inglês)

Projetos de Machine Learning em PythonPra comemorar o lançamento do PyCon 2019, a Digital Ocean compilou um hands-on completo com projetos de casos reais usando Machine Learning em Python! Do setup, a modelos de Reinforcement Learning, passando por classificação Scikit-learn e redes neurais com TensorFlow. Imperdível! (em Inglês)

VAGAS DA SEMANA

  • Ensino superior em Computação, Engenharia ou cursos relacionados;

  • XP com BI, Analytics, Data Viz e Apresentação de Dados;

  • Inglês avançado;

  • Habilidades de comunicação,

  • Bancos de Dados, SQL, Excel;

  • Superior completo;

  • Conhecimentos avançados em Excel;

  • Desejável Power BI e Programação;

  • Experiência em Sistemas Anti-Fraude (Cybersource)

De onde vem e para onde vão os tributos que pagamosVocê sabe realmente para onde vão os impostos que pagamos pro Estado? Nessa ótima visualização disponibilizada pela Folha de São Paulo e sugerida pelo Data Hacker Victor Bertoldo no Slack você vai saber exatamente qual é a maior arrecadação dos governos federais, estaduais e municipais, bem como os repasses e gastos que estes fazem. (em português)

PRÓXIMOS EVENTOS E MEETUPS

17 de setembro de 2019

DB1 Global Software - Maringá/PR - Gratuito

05 e 07 de setembro de 2019

Shopping Passeio das Águas - Goiânia/GO - Ingresso R$ 120

Obs: Nosso community manager Marlesson Santana será um dos palestrantes

18 - 20 de novembro de 2019

UFBA - Salvador/BA

01 - 02 de novembro de 2019

R$ 765,00 por dia - Centro de Convenções Rebouças - São Paulo/SP