Tendências no mundo de Dados em 2022 🔮

O Supercomputador da Meta para processar AI Um guia de estudos pra se tornar Data Engineer

Author

Data Hackers
February 07, 2022

Fala, Data Hackers! Como vão vocês?! Estamos de volta com mais uma news recheada de conteúdo novo pra vocês! Essa semana teve Live falando da tal Bolha no Mercado de Dados, com participação da nossa parceira Bain & Company, onde destrinchamos os motivos e entendimentos sobre o cenário do mercado brasileiro.Teve também o baita podcast com os Community Managers Mario Filho, Pietro Oliveira e Marlesson Santana sobre as Tendências no mundo de Dados de 2022: tiramos da mala nossas bolas de cristais e lançamos um monte de chute sobre o futuro dessa área que tanto amamos! Como sempre, muita diversão e risada no episódio!E mais, ainda nessa edição você vai conferir:

Chegou aquele momento do ano em que vamos bancar a Mãe Dináh e fazer nossas previsões sobre o que achamos que será tendência na área de dados como um todo. Falamos sobre MLOps, Analytics Engineer, altos salários e até eleições! E é claro que convidamos novamente os Community Managers do Data Hackers para essa conversa: Marlesson Santana, Pietro Oliveira e Mario Filho!Lembrando que você pode encontrar o podcast do Data Hackers no Spotify, iTunes, Google Podcast, Castbox e muitas outras plataformas. Caso queira, você também pode ouvir o episódio no nosso blog também!

Que a Meta, ex-Facebook, é uma empresa onde seu sucesso vem de Dados e Inteligência, a gente já sabe. Mas que ela tem um baita supercomputador, o AI Research SuperCluster (RSC), construído justamente para processar AI, é novidade pra mim! Nesse post, o time do Meta conta os desafios de se construir esse cluster, que tem mais de 6,080 GPUs e armazena mais de 170 Petabytes de dados! O supercomputador vai ser uma das bases para o futuro do metaverso. (em Inglês)

Tomar conta de uma plataforma de dados, não é fácil. Na escala da Netflix então, deve ser mais complicado ainda! Pensando em atender esse desafio, a Netflix criou o Pensive: plataforma de auto-diagnóstico e remediação de dados.

Ela tem uma parte Batch e outra Streaming, recebe logs de todas ferramentas importantes da stack da empresa: Flink, Atlas, Kafka e outras, e consegue agir para corrigir problemas de memória, reinicia instancias, faz retry de jobs e mais!. Muito bacana! (em Inglês)

 

Uma das profissões mais importantes no mundo de dados, precisa de uma preparação rara de se encontrar por aí. O Data Hacker Bernardo Costa escreveu um guia em que monta um roadmap com base em pontuações, considerando diversos assuntos que são importantíssimos para pessoas Engenheiras de Dados. Com várias dicas de cursos e livros, esse roadmap vai te ajudar a migrar pra essa carreira tão linda! (em Português)

Uma das ferramentas que vem mudando a forma que Data Discovery funciona na Modern Data Stack é o Amundsen. Num post mais que completo, o Tech Lead em Engenharia de Dados da Dadosfera Cícero Moura escreve como que funciona o Amundsen: das suas principais funcionalidades até o que rola por trás - com ElasticSearch e Neo4J -, artigo perfeito pra quem está pensando em testar e implantar o catálogo em produção. (em Português)

Fazer um evento de grande escala numa pandemia, requer soluções inteligentes para proteger as pessoas. Mas, soma-se esse cenário com a tecnologia da China e temos quase que um filme de ficção científica! Esse post mostra todos os robôs que vão estar presentes nas Olimpíadas de Inverno em Beijing: De robôs que detectam altas temperaturas, até cozinheiros e garçons! (Em Inglês)

VAGAS DA SEMANA

  • Graduação em andamento com previsão de formação para 2023 em Ciência da Computação, Engenharia de Software ou similares;

  • Inglês Avançado;

  • Spark, Scala, Python e SQL será um diferencial;

  • Pragmatismo e solução de problemas;

  • Análise de dados, estatística, testes e ferramentas de comparação;

  • SQL, Inglês Avançado.

  • Diferenciais: ter trabalhado em startup e formação em Negócios, Estatística, Engenharia ou Matemática

Live Data Hackers + Bain & Company: Existe uma bolha no Mercado de Dados?Um papo muito discutido nas mesas de bares de cientistas e engenheiros de dados: estamos vivendo uma bolha? Nos juntamos com a Bain & Company e a Vector, com a participação especial do Felipe Fiamozzini, para discutir o cenário de dados no Brasil! Se você não acompanhou ao vivo, não deixe de ver! (em Português)

Essa semana, o pessoal da comunidade que apoiou o

já começou a receber nossos adesivos e, com eles, uma cartinha. Dizem que a galera tá toda emocionada...

HAHAHAHAHA Viagem do Marlesson Santana, meme feito pelo Pietro Oliveira.

Python Maps foi um achado muito legal! É incrível os mapas que eles trazem pra gente. Nesse, eles mostram a densidade populacional no Egito. Muito bacana ver que realmente o Nilo é o oasis do deserto! (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

23 de Fevereiro - Evento Gratuito e 100% Online

10 de Fevereiro - Evento Gratuito e 100% Online