Ferramentas e truques de dados que você não conhecia! 😳✂🔨

8 Ferramentas de Engenharia de Dados que ninguém te conta sobre

Author

Data Hackers
October 21, 2019

Fala, Data Hacker! Seja bem-vindo a mais uma news!Dessa vez, trouxemos uma lista de coisas que, apostamos, você não conhecia! De ferramentas e plataformas de engenheiros de dados a truques e elementos do Python que você nunca usou direito, como Threads e List Comprehensions. Fora isso, tem uma discussão bem importante: devo ser um cientista de dados generalista ou especialista? Vai ficar de bobeira aí? Bora ler isso tudo!Ainda aqui: 15000 bolsas de estudo na Udacity, Tutorial do Spark com Databricks, Visualização sobre filmes de terror e mais!

São tantas coisas para aprender, que você sempre se pergunta: Será que estou no caminho certo? Nesse belo post, com varias reflexões e referências a grandes gênios da tecnologia ou do passado, o Data Hacker Lucas Oliveira levanta uma das questões mais comuns na área de Data Science: devo me especializar mais ou ser mais generalista?Com argumentação clara e envolvente, Lucas mostra que o melhor caminho, inclusive pra quem quer ser um Especialista, é abraçar o generalismo e se tornar um bom resolvedor de problemas. Texto imperdível! (em Português)

Muita gente aponta que Python não é performático, principalmente por sua característica single-threaded. Mas não é por isso que a linguagem não deixa você paralelizar e usar diversas CPUs para processamento. Nesse post você vai aprender como usar a lib

concurrent.futures

para instanciar diversas threads e assim usar todo poder que os diversos cores da sua máquina tem disponível. (em Inglês)

 

Nem tudo que é Engenharia de Dados, é Hadoop ou Spark. O co-fundador do Data Hackers, 

lista nesse post 8 ferramentas incríveis que todo engenheiro de dados deveria conhecer! De Visualização até Privacidade, tem plataforma pra toda sua stack. Depois desse post, seu Big Data nem vai parecer tão "Big" assim. (em Português)

Python realmente é uma linguagem versátil. Mas um dos elementos da linguagem mais elegantes, porém difíceis de dominar pra quem está começando são as List Comprehensions e Generators. Nesse post, o Data Hacker Christian Costa ensina passo a passo como utilizar tais elementos e para que eles são uteis. (em Português)

Dominar o Spark é quase que um requisito essencial para todo engenheiro de dados. O que talvez você não saiba é que dá pra começar a aprender sem ter que saber os detalhes de instalação e preparação de ambiente, logo, em alguns minutos. Nesse tutorial do Rubens Soto, você vai usar o Databricks Community pra dar o primeiro passo nesse framework tão utilizado hoje em dia. (em Português)

Essa semana o pessoal do Dremio lançou um post mostrando como é possível manipular essa plataforma incrível usando o SDK em JS disponibilizado para a comunidade. Com o SDK, a interação com a API ficou muito mais fácil, deixando você focar em criar seus datasets e otimizá-los, sem se preocupar com tratativas de chamadas HTTP. (em Inglês)

Udacity oferece mais de 15000 bolsas em Cloud, IA e Deep LearningA Bertelsmann, maior conglomerado de mídia da Alemanha, está oferecendo em parceria com a Udacity 15000 BOLSAS para os cursos "Introduction to Cloud DevOps", "Introduction to Data Analysis & Programming" e "Introduction to Deep Learning with PyTorch", com 3 meses de duração cada. E mais, os TOP 1500 alunos ganharão os Nanodegrees da Udacity em cada um dos tracks: Cloud DevOps, Data Analyst e Deep Learning. (Inglês)

VAGAS DA SEMANA

  • Experiência anterior como Data Scientist;

  • Conhecimento avançado em Machine Learning e Deep Learning

  • NLP (Natural Language Processing)

  • Python, R ou Scala;

  • SQL e NoSQL;

  • Conhecimentos em modelagem preditiva e machine learning;

  • Graduação completa em Matemática, Estatística ou áreas correlatadas;

Analizando Filmes de Terror com "Jump Scares" Achamos uma batalha de dados muito interessante no Reddit /r/dataisbeautiful: análise de dados de "Jump Scares"- aqueles sustos aleatórios - em filmes de terror. Listamos 3 visualizações que os usuários já disponibilizaram na competição para seu deleite (em Inglês):

PRÓXIMOS EVENTOS E MEETUPS

13 de dezembro de 2019

Curitiba/PR - Gratuito

31 de Outubro de 2019 - 19:00

Goiânia/GO - Gratuito

18 - 20 de novembro de 2019

UFBA - Salvador/BA