China usa IA para clonar porcos! 🐷

O Data Lake da Cidade do Rio Deploy de Airflow em containeres em produção

Author

Data Hackers
June 13, 2022

Fala, Data Hackers. Vamos para mais uma news imperdível!Mano! KKkkkk Paulo e Lages vão ler essa news e achar que eu endoidei, mas não é Fake News não! Num procedimento inédito no mundo, pesquisadores chineses usam uma IA para clonar porcos!Não, isso não é um sonho daqueles sem sentido que você tem de vez em quando. Pesquisadores chineses bolaram uma IA que consegue clonar porcos, sem necessidade de intervenção humana. O método que conseguiu clonar 7 porcos saudáveis. Os pesquisadores afirmam que o processo dá resultados mais confiáveis, pois tirando o ser humano do processo, a IA consegue retirar genes da célula com mínimo de dano, o que pode acontecer com maior probabilidade quando é feita manualmente por alguém.Mas também trouxemos muuuuitas outras novidades bem bacanas, como:

Numa iniciativa inédita no mundo, pesquisadores do Colégio de Inteligência Artificial da Nankai University fizeram uma IA que clonou, com sucesso, 7 porquinhos saudáveis. O processo foi aperfeiçoado ao ponto de não requerer intervenção humana, aumentando ainda a eficiência, tendo menor chance de dano ao material genético.Os pesquisadores confiam que, quando estiver no nível de industrialização, o uso de IA para clonagem de animais pode contribuir com a produção de comida: a China sozinha tem uma população de 400 milhões de porcos para consumo. Insano! (em Inglês)

Se você ainda não ouviu falar nesse termo, é melhor se inteirar! A Modern Data Stack compila uma série de soluções legais que facilitam a vida de nós, profissionais de dados, que sempre precisamos de fazer muita coisa na mão: da Ingestão de dados, ao MLOps, passando por Feature Store e Data Catalog. Nesse post, o Head de Engenharia da Continual, Jordan Voltz fala das ferramentas mais queridas e quentes do ano e como elas podem te fazer um profissionais mil vezes mais produtivo. (em Inglês)

 

Numa iniciativa rara no mundo, o Escritório de Dados, grupo criado pela Prefeitura do Rio de Janeiro criou o primeiro Data Lake municipal do Brasil. Usando tecnologias como Kubernetes, BigQuery e dbt, o time reuniu dados de GPS dos BRTs e Ônibus, dados meteorológicos, congestionamentos e mais. Nessa palestra, além de explicar o que é e o que tem no Data Lake, o pessoal também mostra as análises já feitas com os dados, como visão e status dos projetos tapa-buracos, análise de evasão escolar e muito mais. Sensacional! (em Português)

Levantar um Airflow em produção não é trivial. Ou você gasta uma grana booooua em serviços gerenciados, ou vai ter que ralar um pouquinho. Mas o Cícero Moura, AWS Community Builder e Líder Técnico em Engenharia de Dados na Dadosfera fez esse guia COMPLETO, dando um passo-a-passo de como subir o Airflow usando o serviço de containeres da AWS: o ECS. Muito útil pra quem tá com o Airflow rodando naquele docker-compose maroto em produção kkk. (em Português)

Num artigo muito lúcido e bem embasado, mas que deu o que falar nesses dias, o Chad Sanderson, Head de Dados da Convoy, argumenta o porquê da responsabilidade sobre a qualidade dos dados ser do Produtor destes, não do Consumidor. Com argumentos sobre os gastos e perdas que esse modelo atual, onde times de dados batalharem por Data Quality, implica em algoritmos e outras entregas de valor, além de aceleração do time-to-market, Chad levanta um ponto muito discutido em empresas que estão batalhando para democratizar dados de qualidade por toda a empresa.

VAGAS DA SEMANA

  • Processamento e análise de Big Data

  • Hadoop; Spark, Sklearn ou TensorFlow

  • Conhecimentos em Cloud

  • Kafka e/ou ActiveMQ

  • CI/CD

  • Superior em Computação ou relacionadas

  • Mestrado em andamento ou concluído

  • Python

  • Análise quantitativa e Estatística Básica

  • Leitura técnica em inglês

Um DBT Old-SchoolUm cara muito criativo (e saudosista), o Oliver Laslett criou um app web simulando uma interface do Windows 95 para o dbt! Dá uma navegada aí kkkk Bem legal. O código tá aberto aqui no Github.(em Inglês)

A memória do notebook chega a estralar kkkkkkkRodrigo Teoria mandou lá no nosso Slack.

De ano em ano, a Digital Ocean, um player interessante que briga com as gigantes no mercado de Cloud, traz um relatório com mais de 2500 respondentes de pequenas/médias empresas e startups. Maioria das perguntas são sobre o Mercado de Dev, sobre Open-Source e o uso de tecnologias como Containeres, Serverless, Low-Code e outras tendências. Dá uma olhada pra entender como que o mercado tem olhado pra novidades e como Open-Source contribui para uma carreira de sucesso. (em Português)

21 e 22 de Junho - Evento Gratuito e 100% Online

25 e 26 de Junho - Evento Gratuito e 100% Online

27 a 30 de Junho - Evento Gratuito e 100% Online

Obs: gostaria de ter seu evento divulgado aqui? Basta compartilhar ele em nosso 

.