Domine o processo seletivo de IA das maiores empresas tech do Mundo!

Como construir um Data Lake da maneira correta (Inglês)

Author

Data Hackers
May 28, 2018

Olá, Data Hacker! Qual Cientista de Dados não sonha em trabalhar em uma top tech, não é mesmo? Empresas como Facebook, Google e Netflix estão na vanguarda da pesquisa e aplicação de Machine Learning e IA em geral no mercado. Nessa news resolvemos trazer pra realidade tal sonho!Achamos um compilado de perguntas feitas nas entrevistas destas empresas pra você ver que não é nada impossível, só exige uma boa capacitação - e uma dose de tranquilidade na entrevista né hehe.E mais! Processamento massivo de dados em grafos com Spark, como construir um Data Lake e dados sobre o transporte de carga no Brasil! Bora?!

Há algum tempo, fizemos um

, mas ficamos devendo sobre processos de Cientistas de Dados né?

Resolvemos então trazer um combo!

fez um compilado de perguntas nas entrevistas para seleção de IA nas maiores empresas de tecnologia do mundo! Seguem abaixo, os links dos destaques:

Grafos são estruturas de dados muito representativas, principalmente quando temos Datasets relacionais, como em redes sociais. Neste post no

, o

dá uma bela introdução ao Spark GraphX, framework para processamento de volumes massivos de dados em grafos.

Esta semana tivemos discussões no

sobre formas de criar e gerenciar Data Lakes. Surgiu este post, onde a McKinsey, uma das maiores consultorias do mundo, faz um verdadeiro deep dive em Data Lakes, mostrando abordagens Lean e Ageis para um projeto seguro e com menos riscos.

Já parou pra pensar que podemos analisar uma música de uma maneira mais estatística? A

resolveu fazer isso no seu TCC! Em um post para o blog do Curso R, ela mostra os resultados de sua pesquisa. Várias visualizações mostram como é a progressão de notas, a média de acordes por gênero musical e artistas! E mais: todo o código em R está disponível no

! :)

Curso super hand-on de Deep Learning! (Inglês)Mais uma discussão popular do nosso Slack, tivemos várias recomendações do curso de Deep Learning fast.ai. Conhecido por uma abordagem totalmente prática e sem anúncios e propagandas, a fast.ai é uma iniciativa do Jeremy Howard, ex Kaggle e McKinsey e da Rachel Thomas, PhD na Duke e ex-Engenheira da Uber. Recomendado!

VAGAS DA SEMANA

São Paulo/SP - XP em Gerenciamento de Produtos Digitais. Background científico. Conhecimento em Bancos de Dados.

(*Obs: no nosso Slack você pode encontrar pessoalmente pessoas que trabalham na Quinto Andar para falar sobre a vaga.) 

São Paulo/SP - ETL, Python, Spark, PostgreSQL e AWS​.

(*Obs: no nosso Slack você pode encontrar pessoalmente pessoas que trabalham na Confere para falar sobre a vaga.) 

Curitiba/PR - XP em Gestão e Projetos, Análise de Dados, Inglês Intermediário.

Recife/PE - Superior Completo Computação, Estatística ou Matemática, Postgres/RDS, Python/R/Scala, Hive/Spark

O transporte de carga no Brasil em DadosCom toda essa tensão entre o governo brasileiro, a população comum e os manifestantes caminhoneiros, não podíamos deixar de contextualizar todo mundo com dados sobre o setor. A HiveCloud disponibilizou um guia com vários dados do setor no Brasil, como Distribuição de carga pelas regiões e volume de receita gerada pelo setor.

PRÓXIMOS EVENTOS E MEETUPS

21/06/2018 - 7:00 às 19:00

Grátis - São Paulo/ SP - Transamerica Expo Center​

09/06/2018 - 13h as 17:30h

Belo Horizonte - Grátis

(A participação é exclusivamente para mulheres)