Por que Data Engineering cria tantos empregos em 2021? 💾

KNN - O que é o famoso K-Nearest Neighbor

Author

Data Hackers
May 10, 2021

Fala, Data Hacker! Achar e formar Pessoas Engenheiras de Dados é um desafio quase que impossível. Nessa news, trazemos não só no destaque, mas também em um post do World Economic Forum, os impactos latentes do crescimento quase que indescritível do volume e variedade de dados disponibilizados no mundo atual.Um dos maiores impactos disso é o crescimento da demanda de profissionais, não só para analisar e fazer ciência, mas muito mais para processar, catalogar e organizar esses ativos.E mais: atoti, fazer um BI no python, o que é o KNN, Airbnb inovando de novo, vagas e eventos tops! Bora?!?

Já estamos vendo esse movimento aqui, mas é pelo mundo inteiro: Engenharia de Dados está explodindo de vagas e oportunidades. Com o crescimento vertiginoso de disponibilização de dados, principalmente desestruturados, em toda a web, coletar, organizar e disponibilizar eles para análise, com qualidade e entendimento nas empresas parece impossível.

Nesse post do India Analytics Magazine, uma das publicações mais importantes da área na India, fala os porquês dessa realidade, quais profissionais são os mais exigidos no mercado e quais skills o Data Engineer deve dominar. Imperdível! (Em Inglês)

Provavelmente você já ouviu falar nele, o KNN, um dos algoritmos mais famosos do mundo do Machine Learning. Com uma lógica bem simples e intuitiva, é um ótimo método de classificação e agrupamento, explicável e eficiente. Nesse post, o Data Hacker Arthur Vaz, traz um guia de como ele funciona, com muitas referências da matemática do negócio. Leia! (em Português)

 

O que mais aconteceu esse ano foi vazamento de dados. Nós mesmo do DH trouxemos diversos casos aqui na news.

Esse texto do André Ferraz, co-fundador da Incognia, uma das empresas de tecnologia que mais entende de privacidade de dados, traz uma dezena de dicas para você proteger seus dados pessoais e também atuar caso tenha seus dados vazados por alguma organização. (Em Português)

Você só usa Seaborn e Matplotlib pra fazer visualizações no Python? Tá na hora de mudar, meu amigo! O atoti é uma lib de Python que cria, a partir de um jupyter notebook, toda uma interface de simples e poderosa de BI para análise. Crie cubos, dimensões e fatos e saia desembolando nos dashboards mais uteis para seu time se vislubrar! (em Inglês)

Só em 2018, produzimos 33 zettabytes (ZB) – o equivalente a 33 trilhões  de Gigabytes! Em 2020, esse número foi pra 59 Zb, ou seja, quase que dobrou! Esse post do World Economic Forum, resume o estudo do prof. Melvin Vopson, da University of Portsmouth, sobre a real revolução do Big Data na nova era. (em Inglês)

Com o aumento de disponibilização de dados dentro da organização, um dos maiores desafios é manter a qualidade, centralização e entrega consistente de métricas nas diversas áreas. Mais uma vez, um dos times de maior vanguarda no mundo dos dados, o Airbnb trouxe um post bem completo sobre o Minerva, um barramento para declaração e integração de métricas nas suas diversas plataformas, desde o BI no Superset, até o catálogo no DataPortal. (em Inglês)

VAGAS DA SEMANA

  • Python

  • Gestão de equipes

  • Machine Learning

  • SQL

  • XP em programação, especialmente Python ou Java;

  • Proficiência em linguagem SQL;

  • Conhecimento em DataOps

  • Ferramentas de ETL e Orquestração

  • Nuvem, preferecialmente GCP

"Eles: Você pode puxar esses dados pra gente, rapidão?Eu: Claro! Só vou:SELECT * FROM alguma_linda_e_imaculada.tabela_q_vc_acha_q_existe"

E VC ACHA Q ME ENGANA, EU, DATA ENG, com esse feature-limpo-pre-modelo.csv na sua maquina! hahahaha

Dica do Data Hacker Ricardo no nosso 

.

Como as Big Four Tech cresceram por meios de aquisiçõesAs 4 grandes empresas de tecnologia, as Big Four: Google, Amazon, Facebook e Apple, tem um crescimento vertiginoso, desde suas fundações. Grande parte desse crescimento é acelerado por aquisições. Cada uma tem sua estratégia: Apple foca em acqui-hiring, enquanto a Amazon segue seu caminho de ser a Loja de Tudo. Post incrível do Washington Post. (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

13 de Maio - Evento Gratuito e 100% Online

08 a 16 de Julho - Evento Gratuito e 100% Online

17 a 19 de Agosto de 2021 -  Evento Pago e 100% Online