Entenda o que faz um engenheiro de dados e como se tornar um! 👷↗

O que faz um Engenheiro de Dados e o que você precisa fazer para se tornar um!

Author

Data Hackers
November 12, 2018

Fala Data Hacker! Bora pra mais uma edição da melhor newsletter que você vai ler hoje??? Se você está assustado com o título não se preocupe, na newsletter de hoje vamos do básico ao avançado em uma das profissões mais em alta no momento!  A Engenharia de Dados! Para isso reunimos diversos conteúdos sobre o tema, incluindo como grandes empresas estão lidando com isso e um guia de como montar sua própria estrutura de Big Data gastando muito, mas muito pouco!O Data Hackers também está no Slack!!! Se você quer conversar diariamente com grandes profissionais da área de dados e ter acesso exclusivo a dicas de Data Science, Machine Learning, Big Data, Data Engineering, etc é só se cadastrar nesse link! 

No último final de semana ocorreu em Belo Horizonte a segunda edição do Bootcamp do Data Hackers! Foram 20 horas de imersão onde os participantes aprenderam conhecimentos importantes de Data Science e Machine Learning utilizando as principais ferramentas, bibliotecas e linguagens como Python, Jupyter, Pandas, Scikit-learn, git e SQL.Dessa vez tivemos participantes de vários estados como MG, SP, ES, DF, PI e RJ!

Em 2018 não foi possível fazer o Bootcamp do Data Hackers em outras cidades, mas a notícia boa é que temos planos em 2019 de expandir o treinamento para outras regiões do Brasil!Se você gostaria que o bootcamp ocorresse em sua cidade em 2019 visite o site do bootcamp ou preencha o formulário clicando aqui!

Se você ainda não faz ideia de qual o papel do Engenheiro de Dados em uma equipe de Data Science, não se preocupe. Dessa vez trouxemos um guia extremamente completo sobre a profissão feito pela Udacity!

O post aborda os principais aspectos dessa profissão, como por exemplo:

  • O que é engenharia de dados?

  • Qual a diferença entre engenheiros de dados e cientista de dados?

  • Quais as habilidades e ferramentas de um engenheiro de dados?

  • Quanto ganha um engenheiro de dados?

  • O que fazer para se tornar um engenheiro de dados?

Ou seja, se você trabalha na área de dados

é mais um daqueles posts obrigatórios para compreender o papel de cada um na equipe! 

(em português)

Você utiliza o R no dia a dia? Se sim, já pensou em colocar seus modelos em produção?

mostra um passo a passo de como você pode utilizar Cron e Hyper para colocar seus modelos online, através de jobs, ou seja sem precisar ficar rodando tudo na mão toda vez. Que tal elevar o nível de suas aplicações e ainda integrar o R ao telegram?  

 (em português)

 

Pipeline e Streaming de dados são conceitos novos pra você? Pois saiba que a maior parte das soluções de Big Data envolvem esses conceitos e grande parte das empresas está em busca de uma solução para lidar com o grande volume de dados que só aumenta diariamente.

Com a UBER não foi diferente, e

eles contam como o time de engenharia testou diversas soluções antes de chegar no modelo atual que suporta mais de 100 petabytes de dados com uma latência de minutos.

(em inglês)

A maioria das pessoas pensa que o custo de uma plataforma de Big Data é algo extremamente caro e que só grandes empresas com orçamentos milionários é capaz de bancar e

veio para quebrar de uma vez por todas essa percepção! O time da A Cloud Guru, conseguiu reduzir os custos por usuário de US$ 74 por mês para cerca de US$ 0,02, leia o post e descubra como! (em inglês)

Nem todos os influenciadores digitais são youtubers... No mundo de Data Science também existem vários influenciadores que compartilham diversas novidades nas redes sociais e seguir eles pode ser ótimo para acompanhar tudo que está acontecendo!

você encontra uma lista de quem começar a seguir hoje mesmo! (em português)

Mineração de Dados Complexos - Curso de AperfeiçoamentoO curso de aperfeiçoamento em Mineração de Dados Complexos da Unicamp é um curso de extensão composto por 9 disciplinas que ensinam tópicos relacionados a Análise de Dados, Engenharia de dados,  com uma carga total de 180 horas.Inscrições até: 15/12/2018Obs 1: O curso NÃO é gratuito! Tem um valor de R$ 7.999 a vista ou 3x R$ 2.999 a prazo.Obs 2: É exigido nível superior completo para participar do curso.

VAGAS DA SEMANA

Conhecimento em SQL Server / Linguagem T-SQL, Conceitos de BI, Banco de dados relacional e não relacional, Analysis Services e Integration Services.

Python com Airflow; Data Warehouse (Redshift); PostgreSQL ou MySQL; NoSQL;

Entenda como a imigração vem afetando o mundoe pare de acreditar em fake newsE Quase todos dia os noticiários estampam manchetes sobre imigrantes... Pessoas indo para os USA, refugiados sírios se espalhando pela Europa,  venezuelanos fugindo de seu país etc... Mas será que você sabe realmente como é a situação dos imigrantes em torno do mundo? Sabe quais os países mais afetados? De onde vem, para onde vão? Entenda tudo isso, e pare de acreditar nas fake news, lendo esse excelente projeto de data visualization. (em inglês).

PRÓXIMOS EVENTOS E MEETUPS

26 de Novembro

Curitiba/PR -  ̶R̶$̶ ̶8̶0̶  por R$ 40 no link 

10 e 11 de Dezembro

São Paulo/SP - R$ 100 ~ R$ 200

Obs: Se você conhece o marketing do evento avise-os que desde 2013 alguém da o nome a um evento de "primeiro encontro brasileiro de data science"

24 de Novembro

São Paulo/SP - R$ 30

05 de Dezembro

São Paulo/SP - R$ 250 ~ R$ 500