O mercado de dados em 2022: O que vai mudar? 👀

Supletivo DH: Reinforcement Learning Live com os fundadores da comunidade Data Hackers falando sobre a pesquisa State of Data e dos próximos passos do projeto

Author

Data Hackers
November 22, 2021

Fala, Data Hacker. Chegamos a mais uma edição da sua newsletter favorita!O assunto principal da Newsletter de hoje é também um convite:Topa participar de um bate papo onde vamos discutir ao vivo as principais mudanças que podem ocorrer no mercado de dados em 2022? Esse é o tema da Live do Data Hackers que vai rolar essa semana, vamos discutir sobre como essas mudanças vão trazer impactos para as empresas e para os profissionais de dados. Para participar basta se cadastrar nesse link e acessar o canal de Youtube do Data Hackers na terça-feira dia 23/11 as 20h (horário de Brasília).Além disso precisamos falar de Engenharia de Dados. Todos nós sabemos o quanto a área de DE está aquecida e cheia de novidades, por isso decidimos chamar dois especialistas de peso, que atuam em projetos de larga escala para contar pra gente mais detalhes sobre toda essa evolução que a área vem passando no mais recente episódio do nosso Podcast.Aviso importante: A pesquisa State of Data Brazil está chegando as semanas finais! O maior mapeamento do mercado de dados brasileiro continua no ar e você ainda pode ajudar a comunidade com suas respostas. A pesquisa já conta com mais de 2.200 respostas e já é um marco para a área de dados do nosso país. Não deixe de participar e contribuir com a comunidade, leva menos de 10 minutos! Pode dar essa força pra gente?E mais, ainda nessa edição você vai conferir:

Na próxima terça-feira dia 23/11 às 20h vamos fazer uma live exclusiva no canal do Data Hackers no Youtube para debater sobre as principais mudanças que podem ocorrer no mercado de dados em 2022.É um bate papo imperdível, onde você vai poder contribuir com suas perguntas ao vivo e no final vamos sortear adesivos da comunidade. Cadastre-se para ser avisado na hora da live!

Já se perguntou o que será da área de Engenharia de Dados nos próximos anos?Com o passar do tempo essa área vem evoluindo muito, e toda essa evolução tem levado ao surgimento de novas ferramentas, técnicas e processos. Mas como será o futuro de tudo isso?Como forma de nos aprofundarmos nessa discussão convidamos dois especialistas no assunto para um bate papo descontraído no mais recente episódio do Data Hackers Podcast.Gustavo Campos (Prezado) lidera a área de engenharia de dados da Hotmart e o Rodrigo Carneiro (Teoria) é especialista em Big Data na TKSolution (Tok&Stok) e juntos contaram um pouco de toda essa evolução que esse mercado passou até aqui, falaram dos desafios que enfrentam hoje e por fim deixaram suas previsões sobre o que ainda está por vir pela frente.

Para escutar o podcast do Data Hackers basta acessar esse link, mas se preferir pode escutar no Spotify, iTunes, Google Podcast, Castbox e muitas outras plataformas, incluindo nosso site oficial.  (em português)

Rasa é um framework que utiliza Machine Learning para automatizar conversas baseadas em texto e voz.

Através do Rasa, você pode criar assistentes virtuais em diversos serviços diferentes, como:

  • Facebook Messenger

  • Slack

  • Google Hangouts

  • Webex Teams

  • Microsoft Bot Framework

  • Rocket.Chat

  • Mattermost

  • Telegram

  • Twilio

E ainda tem recursos para assistentes de voz como:

  • Alexa

  • Google Home

No github do projeto você pode encontrar mais detalhes da ferramenta, incluindo tutoriais.

(em Inglês)

 

Quando falamos em modelagem de dados a maioria das pessoas logo pensa em tabelas fato e dimensão orquestradas através de ferramentas de ETL tradicionais, mas a verdade é que muita coisa vem mudando.

Esse artigo se aprofunda em como o processo de modelagem e transformação de dados vem evoluindo, passando por diferentes fases e paradigmas.

Além disso ele aborda as principais técnicas e ferramentas que vem ganhando destaque nas stacks modernas de dados.

Obs: Esse artigo é um "must read" para qualquer profissional de dados que quer encontrar formas de aumentar a eficiência do dia a dia. (em Inglês)

Esse artigo mostra em detalhes qual a estrutura de um paper de Deep Learning e o que você precisa fazer para conseguir reproduzir o conteúdo e obter bons resultados. É um guia muito interessante para quem quer se aprofundar mais na parte acadêmica e acompanhar de perto as principais inovações da área. (Em Inglês)

Uma área que vem crescendo muito é a área de DataOps. Com o aumento dos desafios e complexidades dos processos da área de dados, as empresas precisam de um volume cada vez maior de profissionais especializados em cada etapa da operação. Esse artigo mostra em detalhes os desafios de quem atua com DataOps.  (em Inglês)

Nem todo mundo sabe que é possível utilizar o Plotly no R (e o ggplot em Python também). Pensando nisso a galera do Curso-R fez um post mostrando um passo a passo de como utilizar essa biblioteca tão completa no R. (em Português)

VAGAS DA SEMANA

  • Conhecimento em banco de dados e linguagem SQL;

  • Experiência com manipulação, análise e visualização de dados (Tableau, Metabase ou outras ferramentas de visualização de dados);

  • Será considerado diferencial conhecimento em marketing digital;

  • Vicência na área de Business Intelligence ou Analytics;

  • Conhecimento em metodologias ágeis (Kanban/Scrum);

  • Experiência em projetos de dados;

  • Conhecimentos em Git/Gitlab;

Supletivo DH: Reinforcement LearningO Supletivo Data Hackers dessa semana vai abordar um dos temas mais quentes na área de AI, o Reinforcement Learning! Teremos um evento totalmente hands-on explicando como e quando utilizar essas técnicas em seus projetos de AI. Dessa vez o evento vai ocorrer no dia 24 de novembro (quarta) às 20h. (em Português)

E você se considera uma pessoa preparada para entregar seus dados pessoais para o Metaverso?

Dessa vez o dataviz da semana vai abordar o Enem 2021, prova que teve início esse final de semana, e começa com um dado alarmante. A prova tem cerca de 3,4 milhões de inscritos em 2021, em mais uma provável consequência da pandemia e isolamento social, o Enem teve uma redução de 64,35% em relação ao recorde de 2014. (em Português)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

Live do Data Hackers - O mercado de dados em 2022: O que vai mudar?23 de Novembro - 20 h - Evento Gratuito e 100% OnlineBônus: Sorteio de adesivos da comunidade Data HackersSupletivo DH: Reinforcment Learning24 de Novembro - 20h - Evento Gratuito e 100% OnlineDBT Coalesce: The Analytics Engineering Event06 a 10 de Dezembro - Evento Gratuito e 100% OnlineBuild Streaming Applications with ksqlDB08 de Dezembro - Evento Gratuito e 100% Online