Eu vejo dados sujos! Com que frequência?? O tempo todo! 😣😱

Google Dataset Search - mecanismo de busca de datasets

Author

Data Hackers
September 10, 2018

Olá, Data Hacker! Você tem medos de ver dados limpos?! Então FECHE ESSA NEWS!  O mundo dos profissionais de dados em sua maioria se resume a dissecar os dados: obter de fontes confiáveis, limpar e juntar, ver distribuições e padrões, pra só depois tirar bons insights, seja com modelos complexos ou simples análises. Nessa news vamos trazer várias ferramentas pra FACILITAR sua vida! Hoje tem:  projeto Google Dataset Search, que é isso mesmo que o nome diz, um buscador de datasets, o artigo da Uber sobre seu Databook, sua ferramenta de catálogo e conhecimento de dados, o projeto DataViz da Ferdio, que mapea diversos tipos de visualizações e quando usá-las e muito mais! Olha aí!!

Discussão comum entre profissionais de dados, em

e em todos outros meios, o processo de catalogação, curadoria e descoberta de dados e insights através destes em uma organização é bem complexo.

Nesse artigo sensacional, a

Uber

descreve sua ferramenta

Databook

: uma plataforma de descoberta e exploração de metadados, fontes e insights. No texto, eles dissecam sobre sua infraestrutura, decisões de implementação e quais os princípios que guiaram o desenvolvimento da plataforma.

Você que está na fase de crescimento e adoção de dados na sua organização não pode perder! (Em Inglês)

Todo Cientista/Analista de Dados, principalmente os iniciantes, batalham muito para achar bons datasets para seus experimentos. A

Google

decidiu dar uma mãozinha: disponibilizou o

Google Dataset Search

, um buscador de dados públicos! Ainda não temos muitos dados brasileiros, mas a ferramenta facilita DEMAIS não só encontrar, mas ver descrição e metadados dos datasets. Show!

 

O Engenheiro de Dados que nunca parou pra explicar a diferença entre um Data Warehouse e um Data Lake que atire a primeira pedra... Agora você pode responder com um link! haha! 

A Xplenty fez um artigo pequeno e conciso explicando o que é cada um desses e como os conceitos de ETL e ELT (de Extract, Load e Transformation) estão relacionados com isso tudo. (em Inglês)

Explicar o que é Machine Learning é uma tarefa difícil... mas não para o Átila Iamarino do

! Em mais um video da série Nerdologia Tech, Átila explica o que é Aprendizado de Máquina de uma forma que até seu tiozão da Sukita vai aprender!

O Data Hacker

Fabio Ismerim

escreveu um artigo muito massa sobre como nos enganamos ao discutir sobre diversos assuntos pois consideramos uma visão muito restrita da realidade. Ele descreve isso como a crença na Lei dos Pequenos Números e mostra com experimento simples de amostragem como isso funciona. (em Português)

Vocabulário Visual: como se expressar com dados!Uma dica do Data Hacker Ricardo Storck no nosso Slack: Um Datasheet com um guia de como se comunicar com dados! A folha separa as visualizações em várias categorias: desvio, ranking, espacial, correlação, etc. e mostra, com exemplos, qual gráfico atende cada realidade.

VAGAS DA SEMANA

Superior completo, Bancos de Dados, SQL, Python/Java/PHP, DW, ETL

Superior completo, XP em tráfico de ads, Capacidade analítica de dados, DoubleClick/AppNexus, HTML, JS, Inglês Fluente

Escolha a melhor visualização para seu projeto!A agência Ferdio fez um projeto simplesmente incrível: uma lista com dezenas de tipos de visualizações, o Data Viz Project! No site, você consegue filtrar por tipo de entrada, forma, função e família. Todas as visualizações tem uma descrição detalhada de como ela funciona e uma lista de exemplos. Não deixe de consultar antes de montar aquele storytelling matador!

PRÓXIMOS EVENTOS E MEETUPS

10 de Outubro

São Paulo/SP - Grátis -

Concorra a um nanodegree da Udacity!

29 de Setembro

Belo Horizonte/MG - 2º Lote - Valor: R$ 100