O que aprendi sobre Data & Analytics após mais de 10 anos em startups e empresas como Uber e Meta 💼

Fala Data Hackers! E aí, bora começar a semana se ligando nas novidades envolvendo dados?

Essa é a newsletter do Data Hackers, a melhor forma de iniciar a semana por dentro das principais novidades do mundo dos dados e AI.

Aproveitando, esses são alguns dos destaques de hoje:

• Como escalar projetos de AI com MLOps

• Como melhorar o Design de Dashboards de forma prática

• Conheça o Llama OCR: Uma IA que lê PDFs e é melhor que um OCR comum

• Como funciona a arquitetura de dados de grandes empresas como Uber, Netflix e Spotify?

• 5 maneiras de aprender mais sobre AI Agents de forma gratuita

• Uma lista com ferramentas úteis para Data Engineers e Analytics Engineers

P.S.: Ainda não é assinante da newsletter? Clique aqui para se inscrever gratuitamente

Participe da pesquisa State of Data Brazil e ganhe acesso imediato ao Guia Data Hackers de Carreira e Salários em Dados

A pesquisa State of Data Brazil 2024 está no ar, e mais de 3 mil profissionais de dados já preencheram suas respostas! 💡

A pesquisa está em sua 5ª edição e nos últimos anos ela tem ajudado a comunidade a entender melhor a evolução da área de dados no Brasil.

1️⃣ Em 2020/2021: Descobrimos juntos que os salários médios dos profissionais de dados cresceram 40% durante a pandemia.

2️⃣ Em 2021/2022: Observamos que as novas oportunidades para profissionais iniciantes, ajudaram a tornar a área um pouco mais diversa, crescendo em 25% a proporcão de mulheres na área (porém ainda bem distante de um cenário de equidade)

3️⃣ Em 2022/2023: Vimos que +45% dos profissionais de dados ainda trabalha no modelo remoto, mas a preferência da maioria dos profissionais é pelo modelo Híbrido flexível

4️⃣ Em 2023/2024: Entramos a fundo no tema Gen AI, e descobrimos que mais de 60% das empresas de tecnologia já está investindo em projetos relacionados ao tema, porém na grande maioria dos casos são iniciativas descentralizadas e com poucas diretrizes vindo da estratégia da empresa e alta liderança.

Esta pesquisa é a maior fonte de informação que temos no Brasil hoje sobre carreira e salários dos profissionais de dados, sua ajuda é fundamental para conseguirmos continuar avançando com esse projeto.

Além disso, ao participar da pesquisa você vai poder:

• Receber o Guia Data Hackers, um ebook com mais de 30 páginas de análises sobre o mercado de dados

• Ganhar acesso gratuito aos dados anonimizados da pequisa ao final, para fazer suas próprias análises

• Ajudar toda a comunidade

Participe da pesquisa, não leva nem 10 min!

Podcast Data Hackers + Zoho - Entenda mais sobre a revolução dos dados no Ifood

Em uma conversa inspiradora, nosso cofundador Gabriel Lages é convidado como host no terceiro episódio do about data, o podcast oficial do Zoho Analytics!

Ele recebe Thiago Cardoso, Diretor de Dados e IA do iFood. Juntos, eles discutem como a personalização e o uso inteligente de dados estão transformando o atendimento, trazendo um toque humano e individualizado em larga escala.

Curioso para saber como tudo isso está moldando o mercado? Então, dá o play e
mergulhe nessa conversa que conecta o presente ao futuro da tecnologia e da
personalização do atendimento ao cliente.

O que aprendi sobre Data & Analytics após mais de 10 anos em startups e empresas como Uber e Meta

Durante mais de 10 anos, o líder de analytics Torsten Walbaum passou por diversas empresas, de pequenas startups a gigantes da tecnologia como Uber e Meta. Cada empresa tinha uma cultura de dados única e cada cargo teve seus próprios desafios, mas neste artigo ele resume 10 lições aprendidas (às vezes com muito suor) ao longo dessa estrada - e que se mostraram verdadeiras independentemente do tamanho da empresa. (em Inglês)

OUTROS TÓPICOS

Como escalar projetos de AI com MLOps

Escalar modelos de IA que estão sendo testados e governá-los de forma eficiente é um dos principais desafios para amadurecer no uso de Machine Learning e LLMs. Neste artigo, a turma da Afya, maior hub de educação em saúde e healthtechs do Brasil, detalha como eles implementaram uma arquitetura de MLOps para testar, monitorar e atualizar seus modelos, usando as plataformas Databricks e SageMaker. (em Português)

Como melhorar o Design de Dashboards de forma prática

A ideia dos Dashboards é, sobretudo, simplificar nosso trabalho. Apesar disso, acho que todos já passamos por dificuldades para decifrando relatórios de dados complexos ou navegando por um mares intermináveis de gráficos, certo? Este artigo traz dicas práticas para melhorar seus Dashboards, e transformar o que talvez já esteja bom em algo praticamente impecável. (em Inglês)

Conheça o Llama OCR: Uma IA que lê PDFs e é melhor que um OCR comum

O Llama OCR é uma ferramenta de IA que permite converter documentos complexos e PDFs em markdowns usando para isso o modelo Llama 3.2, da Meta. E essa ferramenta pode ser configurada com apenas 4 linhas de código em Python. Recurso que pode se mostrar muito útil, vale a pena conhecer. (em Inglês)

Como funciona a arquitetura de dados de grandes empresas como Uber, Netflix e Spotify?

Antes de construir sua própria arquitetura de dados, pode ser interessante analisar as arquiteturas já usadas e testadas por outras empresas - principalmente as gigantes, que chegam a lidar com 500 bilhões de eventos em um único dia, e antes do café da manhã já processaram mais dados do que a maioria das empresas processa em um ano. Aqui você confere a arquitetura de dados de empresas como Uber, Netflix e Spotify, e como elas permitem um fluxo que transforma dados brutos em insights valiosos. (em Inglês)

5 maneiras de aprender mais sobre AI Agents de forma gratuita

Os AI Agents estão na pauta do dia, e considerando a velocidade em que a tecnologia vem evoluindo, todos precisamos correr para nos mantermos atualizados. Mas encontrar os meios pra isso pode ser difícil - ainda mais se tratando de recursos gratuitos. Aqui você encontra uma lista com 5 meios para começar a aprender sobre AI Agents, entre blogs, playlists e masterclasses. (em Inglês)

Uma lista com ferramentas úteis para Data Engineers e Analytics Engineers

É muito fácil ficar perdido com o grande número de bibliotecas, estruturas e soluções em nuvem disponíveis para extrair insights e construir pipelines de dados. Mas tem algumas às quais realmente vale dedicar tempo, e listas podem trazer indicações úteis nesse sentido. Neste artigo, a engenheira de software Irina Truong (responsável pelo perfil j-bennet no GitHub) aponta algumas ferramentas de destaque - e que não são de IA (apesar de quase só se falar em IA nesses dias). (em Inglês)

DICA DE LIVRO

Gestão de Plataformas e APIs: Estratégia e discovery para product managers não técnicos

Muitos Product Managers que não têm um perfil técnico se veem em dificuldades quando precisam gerenciar plataformas e APIs. Neste livro, Sheila Chang apresenta uma abordagem prática e rica sobre como fazer essa gestão aplicando conceitos e ferramentas comuns da gestão de produtos, usando exemplos reais. Assim é possível transformar recursos técnicos em recursos estratégicos, o que garante a PMs maior versatilidade. (em Português)

MEME DA SEMANA

DATA VISUALIZATION DA SEMANA

As canções de amor estão morrendo? Uma análise das músicas mais populares desde 1958 

Muita gente fala por aí que as canções de amor estão morrendo. Mas será que isso é realmente verdade? O pessoal do The Pudding resolveu investigar a fundo analisando as músicas populares de 1958 pra cá. Confira nesse Dataviz (que tem uma apresentação incrível, como é costume nos posts do portal) as conclusões a que eles chegaram. (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS

Modern Data Stack Experience (Cupom 30% = DATAHACKERS30 )

• 30 de novembro - Recife-PE

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso canal do slack.