10 formas de trabalhar com datasets gigantes usando Python 🧭

Fala Data Hackers! Fevereiro já está a todo vapor, e no universo dos dados as novidades não param de surgir.

Essa é a newsletter do Data Hackers, a melhor forma de iniciar a semana por dentro das principais novidades do mundo dos dados e AI.

Aproveitando, esses são alguns dos destaques de hoje:

• OpenAI lança agente que varre a internet para pesquisar por você

• Amazon pode anunciar nova Alexa em breve

• Os dois modelos de liderança: que tipo de líder você é?

• O que é Knowledge Distillation?

• Usando LLMs como um Staff Engineer

P.S.: Ainda não é assinante da newsletter? Clique aqui para se inscrever gratuitamente

Imperdível: Lançamento do AGI Club, a comunidade de IA do iFood

Está chegando o primeiro evento presencial da comunidade de IA do iFood, a AGI Club! Com a presença de nomes como Claudionor Coelho Jr., criador de ML technology no Google, João Sobreira, fundador da Adlove.ai e Gabriel Almeida, fundador da Langflow, tem tudo para ser uma noite inspiradora e repleta de insights.

O evento acontece na noite do dia 19 de fevereiro, das 18h30 às 22h, no Auditório iFood, em Osasco/SP. Venha descobrir o real poder de conectar as mentes brasileiras mais apaixonadas por tecnologia e inteligência artificial. As inscrições são gratuitas, mas corre que as vagas são limitadas, ok?

10 formas de trabalhar com datasets gigantes usando Python

Trabalhar com grandes arquivos no Python pode ser um desafio, especialmente quando o tamanho chega a gigabytes (haja memória para aguentar…). Mas relaxa! Este artigo traz as melhores estratégias para processar esses arquivos sem comprometer a performance. De logs de servidor a datasets massivos, aprenda práticas e técnicas para lidar com arquivos imensos e domine o manuseio de dados como um verdadeiro mestre. (em Inglês)

OUTROS TÓPICOS

OpenAI lança agente que varre a internet para pesquisar por você

Pressionada pelo sucesso do DeepSeek, a OpenAI lançou nessa semana o Deep Research, novo agente de IA voltado para pesquisas. Capaz de trabalhar de forma independente, a ferramenta busca, analisa e sintetiza centenas de fontes online para produzir relatórios completos, fazendo em alguns minutos o que para um ser humano exigiria muitas horas, de acordo com a companhia. (em Inglês)

Amazon pode anunciar nova Alexa em breve

A Amazon está prestes a lançar uma nova Alexa com recursos de inteligência artificial. A empresa anunciou um evento no dia 26 de fevereiro sem especificar do que se tratava, o que colocou os rumores a mil. O novo comando do ex-CPO da Microsoft Panos Panay, contratado em outubro de 2023, aumenta ainda mais as expectativas, e comenta-se que a nova Alexa deve ser apresentada para um público inicialmente limitado, mas sem custo adicional, pelo menos em um primeiro momento. Saiba tudo aqui. (em Inglês)

Os dois modelos de liderança: que tipo de líder você é?

No mundo da liderança, existem dois estilos que muitos líderes adotam sem perceber: o Modo Solucionador de Problemas e o Modo Designer. Enquanto o Solucionador é o herói que apaga incêndios rapidamente, o Designer adota uma abordagem mais estratégica e de longo prazo. Saber quando usar cada um desses estilos pode transformar bons comandantes em líderes excepcionais. Este artigo explica como encontrar o equilíbrio perfeito e como saber o momento de mudar seu modo operacional. (em Inglês)

O que é Knowledge Distillation?

Com o lançamento do DeepSeek R1, o chamado Knowledge Distillation voltou a figurar entre os principais assuntos na comunidade de IA. Esse recurso está ajudando a desenvolver modelos menores sem que seu desempenho fique comprometido, tendo assim uma eficiência maior, o que é ideal para dispositivos que não suportam grandes volumes de dados. Descubra como essa técnica está transformando o Machine Learning em apps que vão de assistentes de voz a ferramentas capazes de fazer diagnósticos médicos avançados. (em Inglês)

Usando LLMs como um Staff Engineer

O uso de LLMs divide opiniões entre engenheiros de software: alguns os consideram revolucionários e outros acreditam que são apenas um modismo. Neste post, Sean Goedecke compartilha como ele utiliza LLMs em sua rotina como Staff Engineer. Ele revela como o Copilot facilita a inserção de códigos, e como o uso de LLMs facilita o aprendizado de novos domínios como Unity e até mesmo a correção de bugs. Uma experiência que sugere que, quando usados de forma correta, os LLMs podem sim ser uma ferramenta poderosa na programação. (em Inglês)

DICA DE VÍDEO

Tudo que você precisa saber sobre a guerra da IA, a China e o DeepSeek

Excelente episódio do podcast do Lex Fridman! Uma discussão aprofundada sobre a guerra tecnológica entre EUA e China, as capacidades dos modelos da DeepSeek e o impacto geopolítico que a IA tem no mundo atual, com convidados como o fundador do blog SemiAnalysis e um cientista do Allen Institute for AI. Não faltam detalhes técnicos e insights sobre a corrida pela AGI. Quentíssimo! (em Inglês)

MEME DA SEMANA

DATA VISUALIZATION DA SEMANA

Para onde migraram os engenheiros de software que saíram do TikTok em 2024

Nos últimos seis meses, uma incerteza assolou a TikTok devido à iminência de um banimento nos EUA, o que resultou em uma verdadeira debandada de engenheiros de software da rede social. E, surpreendentemente, poucas startups conseguiram atrair esses talentos: segundo dados da Live Data Technologies, os profissionais migraram principalmente para Meta, Google e Amazon, talvez pela estabilidade e pacotes de compensação oferecidos por esses gigantes tecnológicos. Confira nesse Dataviz para onde esses talentos migraram. (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS

• Meetup FIAP: Mulheres no mercado tech: trajetórias de inclusão e equidade - 13 de fevereiro - São Paulo-SP e Online - Gratuito

• AI Dev 25: Conferência de Desenvolvedores - 14 de março - San Francisco, Califórnia, EUA

• Lista com o calendário de cursos gratuitos do canal Téo Me Why (Git e Git Hub, Python, Pandas, Estatística, Machine Learning,Databricks, SQL, Cloud e muito mais) - A partir de janeiro - Online e gratuito

  Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso canal do slack.