O mapeamento completo do mercado de dados do Brasil

Como a Netflix utiliza técnicas avançadas de ML e AI para tomar decisões Descubra as tecnologias mais utilizadas por engenheiros de dados em 2021

Author

Data Hackers
October 18, 2021

Fala, Data Hacker! É muito bom te ver de volta em nossa Newsletter!Hoje estamos cheios de novidade, portanto decidi já começar essa edição com o Spoiler completo: A pesquisa do Data Hackers está de volta!Após um ano de 2020 complicado devido a pandemia, a pesquisa volta com diversas novidades incríveis que vamos explicar com detalhes ao longo dessa newsletter.  Responda a pesquisa, ajude a comunidade e ainda concorra a prêmiosMas não é só isso, veja outros conteúdos que teremos hoje:

Nova parceria para a comunidade: Data Hackers + Bain & Company

É com muito orgulho que anunciamos que a Bain & Company, uma das maiores e mais importantes empresas de consultoria globais, é a mais nova parceira da comunidade Data Hackers.A primeira iniciativa dessa parceria é o State of Data Brazil 2021. A Vector e a Bain & Company estão nos apoiando no desenvolvimento e condução da pesquisa, nos ajudando a levar o projeto para outro patamar (as novidades você vai ver a seguir.

A pesquisa do Data Hackers está de volta e repleta de novidades incríveis!

Se você ainda é novo por aqui, em 2019 a comunidade Data Hackers realizou o maior mapeamento do mercado brasileiro de dados até então, foram mais de 2.000 pessoas participando ativamente da pesquisa. No final os dados foram anonimizados e compartilhados com os membros da comunidade para que todos pudessem fazer suas próprias análises. Devido aos problemas de 2020 essa iniciativa parou, mas agora voltou com tudo!Em parceria com a Bain & Company, lançamos o State of Data Brazil 2021, a pesquisa completamente remodelada e cheia de novidades.O objetivo dessa vez é conseguirmos mapear:

  •  Onde estão os profissionais de dados do Brasil

  • Salário e carreira

  • Maiores desafios de DS, DE, DA, Gestores etc

  • Ferramentas mais utilizadas pelos profissionais

  • Tecnologias que tem ganhado destaque

  • O impacto do cenário remoto na área de dados

e muito mais.

A pesquisa vai acontecer em 5 etapas:

  1. Coleta dos dados: Em novembro e dezembro vamos coletar os dados e precisamos muito da sua ajuda na divulgação!

  2. Sorteios de prêmios: Vamos fazer 2 lives no canal do youtube do Data Hackers e sortear mais de 200 packs de adesivos do Data Hackers para quem responder a pesquisa. Os packs serão enviados gratuitamente para a casa dos ganhadores como forma de agradecimento pela participação.

  3. Report State of Data Brazil 2021: A Vector e a Bain & Company vão nos ajudar a construir um relatório com todo o panorama da área de dados no Brasil, contemplando carreira, salários, frameworks, ferramentas e tecnologias mais utilizadas.

  4. Compartilhamento dos dados com a comunidade: Depois da anonimização dos dados, vamos compartilhar o dataset na integra com toda a comunidade, isso vai permitir que você explore os dados e faça suas próprias análises sobre o mercado brasileiro de dados.

  5. State of Data Challenge: A cereja do bolo, já que vamos abrir os dados para a comunidade, por quê não fazer uma competição? Vamos dar prêmios incríveis para os melhores estudos desenvolvidos com base nos dados da pesquisa.

Acreditamos que essa iniciativa vai levar a pesquisa para outro patamar e se consolidar como a maior e mais completa pesquisa sobre o cenário de dados no Brasil, mas só vamos conseguir isso com a ajuda de todos. Dessa forma já deixamos aqui um pedido para que você Data Hacker nos ajude nessa divulgação, fazendo a pesquisa chegar ao maior número possível de profissionais de dados.

Podemos contar com a sua ajuda?

Compartilhe esse link:

Você já reparou que as capas de filmes da Netflix não são capas oficiais e que elas ficam mudando? A verdade é que eles sabem que se você não escolher o que assistir em 90 segundos existe uma alta probabilidade que você feche o app e vá fazer outra coisa.

Esse é apenas um dos processos fortemente baseado em ferramentas analíticas que a Netflix tem em seu produto, mas existem muitos outros. Esse post fala exatamente disso, mostrando como a Netflix utiliza os dados no pros processos de tomada de decisão.

Para complementar temos essa

onde o Trung Phan reuniu os principais detalhes do sistema de recomendação deles,  o post é ultra-completo e ele precisou de 21 tweets pra isso. (em Inglês)

 

Esse é um daqueles posts direto ao ponto (afinal ninguém gosta de enrolação) e apresenta mais de 40 das principais tecnologias utilizadas por Data Engineers em 2021.

A lista é bem vasta e conta com ferramentas de qualidade de dados, ETL, observabilidade, gestão de metadados, feature store e muito mais. Vale muito a pena olhar com calma, pois talvez tenha alguma ferramenta que você ainda não conheça mas que resolva suas maiores dores de engenharia de dados. (em Inglês)

Apesar de ser um conceito ainda pouco explorado Uplift Modeling pode ser considerado um mix entre inferência estatística e Machine Learning. Nesse post Oriel Zambrano explica em detalhes esse processo e da dicas de uma lib criada pela booking.com que facilita o uso dessa técnica no dia a dia. (em Português)

Esse projeto tem ocmo objetivo organizar de maneira simples os principais conceitos de MLOps, facilitando a vida de quem está começando nesse novo mundo. (em Inglês)

Migração de dados é quase sempre um processo muito complexo. Não importa se é apenas migrar os dados de um sistema para outro ou de uma cloud para outra, o que virá pela frente sem dúvidas será muito desafiador. Nesse post são apresentados 3 passos para facilitar a vida de quem precisar trabalhar com isso. (em Inglês)

Esse post/tutorial apresenta o passo a passo de como você pode começar a utilizar o Autopilot e outros recursos de AutoML disponíveis na AWS. (em Inglês)

VAGAS DA SEMANA

  • 5+ anos de experiência em liderança

  • SQL

  • Ferramentas de Dataviz (Tableau, Looker etc)

  • Pipeline de dados e ETL

  • Sólidos conhecimentos em análise de dados com impacto em negócios

*Vaga exclusiva para mulheres

  • Experiência prévia, mínimo de 2 anos, como gerente e/ou coordenador de times de dados.

  • Profundo conhecimento e domínio de Estatística, Probabilidade e Aprendizado de Máquina.

  • Experiência prévia com AI & ML em produçao para grandes organizações ou startups relevantes no mercado.

  • Experiência prévia hands-on com projetos complexos de Machine Learning e AI, frameworks de Data Science e produtização de modelos.

Você consegue ver o Gorila nessa imagem?A dica de vídeo da semana vem diretamente do canal do Data Hackers no Youtube. Dessa vez o Paulo resolver falar sobre um experimento muito interessante envolvendo o processo de análise exploratória de dados. Também conhecido como "Hipótese do Gorila" foi um experimento feito com estudantes, que foram testados a realizar uma análise de dados e validação de hipótese, mas no meio do estudo existia uma pegadinha. O resultado foi impressionante, vale a pena conferir o vídeo para entender o que aconteceu. (Em Português)

Atualmente diversos países no mundo tem programas nucleares, armamentos e defesas baseadas nesse tipo de tecnologia. O Dataviz dessa semana fala exatamente disso, a relação de países que possuem esse tipo de armamento com o destaque para o volume de armas nucleares que cada país tem (dica a visualização tem muito mais do que a imagem acima veja pelo link).  (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

14 de Outubro - Evento Gratuito e 100% Online

29 de Outubro a 05 de Novembro - Evento Gratuito e 100% Online

02 a 04 de Novembro - Evento Gratuito e 100% Online

08 a 12 de Novembro- Evento Gratuito e 100% Online