Usando Análise de Dados para enxergar um Buraco Negro! ✨🌟💫

Como a Lyft organiza e democratiza metadados e fontes de dados

Author

Data Hackers
April 15, 2019

Fala, Data Hacker! Qual aplicação mais legal de Data Science você pode me contar? E se eu te falar que o acontecimento científico mais importante dessa semana só foi possível a partir de algoritmos de Machine Learning?E é isso que trazemos nessa news! Um trabalho de uma equipe gigante de cientistas, entre eles, a incrível Katie Bauman, estudante de PhD no MIT, de apenas 29 anos, especialista em processamento de imagens. Katie criou o Continuous High-resolution Image Reconstruction using Patch priors (CHIRP)que usa vários cálculos algébricos para cancelar o noise dos dados coletados e compensar a perda de informação. Depois disso, usa-se Deep Learning para reconstruir a imagem do buraco negro a partir de imagens diversas, com amostras de fotos astronômicas ou não. Caramba, complexo hein! Mas massa demais!  

E tem muuito mais: Doutor Estranho é Doutor em Estatística, Aprendendo jogar Atari com Deep Learning e uma introdução ao incrível Dremio!

A estudante de PhD no MIT, Katie Bauman, fez história ao construir o algoritmo responsável por montar a

! Tal foto é mais uma das confirmações que a Teoria da Relatividade Geral de Albert Einstein está correta!

Nesta talk, dada em 2016, ela explica didaticamente quais são os nortes do projeto e quais as bases do algoritmo utilizado para montar a imagem. O projeto processou petabytes de dados de imagens coletadas durante anos por 8 telescópios diferentes espalhados pelo mundo.

, Katie explica quais as ideias utilizadas para tirar todo o

noise

dos dados coletados e não enviesar o modelo com imagens simuladas ou as equações de Einstein. Imperdível! (Legendado em Português)

Você já sabe que dá pra ensinar uma máquina a jogar um jogo, não é? Mas e seu te falar que não é algo tão difícil assim de se fazer? Neste post incrível do Data Hacker

 você vai aprender como utilizar Deep Reinforcement Learning para ensinar uma máquina jogar jogos como Pacman, Space Invaders e Pong do Atari! O Lucas também explica todos os conceitos que isso envolve.

! (em Português)

 

Um dos assuntos mais lembrados e discutidos por nós, Data Hackers, são os mecanismos de se democratizar os dados dentro da organização. Após

e

mostrarem seus cases, agora a Lyft mostra o

. Com interface bonita e user-friendly, o Amundsen facilita obtenção de novos dados e a comunicação entre consumidores e mantenedores de fontes. Incrível! (em Inglês)

Quem já usou a Stack da Elastic, com ferramentas como Kibana, Logstash e o poderoso ElasticSearch, pode comemorar: saiu a versão 7.0! Um novo layout e Dark Theme no Kibana, melhoria nos algoritmos de ranking e recuperação de resultados e várias melhorias no Logstash, Beats e demais ferramentas da plataforma. (em inglês)

Além do Metabase, todo mundo da comunidade sabe que amamos o Dremio

escreveu

sobre essa plataforma tão incrível, que vem facilitando a construção e manutenção de Data Lakes em empresas de vanguarda na tecnologia. (em Português)

Desde o surgimento dos bancos de dados, uma das coisas mais difíceis de se fazer em ambientes on-premises é Sharding - distribuir "partes" do banco de dados em diversas instancias. Neste post, a AWS explica como se fazer este tipo de operação, monitorar e ter alta-disponibilidade para qualquer banco no RDS ou Aurora. Imperdível! (em Inglês)

15 Cursos de Inteligência Artificial de MIT, Harvard e outras GRATUITOSDica do Data Hacker Jhon Lucas no nosso Slack, a Harvard está lançando 15 cursos envolvendo Inteligência Artificial: de chatbots a Machine Learning para Genômica. Todos gratuitos, pela plataforma EDx, uma das maiores e mais utilizadas no mundo! (em Inglês)

VAGAS DA SEMANA

  • Programação em Python ou R

  • Análise de dados

  • Modelos preditivos

  • Pensamento analítico

  • Comunicação através de dados (Storytelling)

  • Conhecimentos de Python Básico

  • Conhecimentos de SQL Básico

  • Experiência em Linux

  • Experiência com Cloud (Diferencial)

Visualizando a porradaria de Avengers Infinity Wars com dados!No ritmo da espera pelo filme Avengers Ultimato, o pessoal da Alura montou uma viz incrível: Prevendo o Futuro através de Visualização de Dados e Probabilidades. Baseando no trampo também incrível do Gabriel Schade, eles construíram uma visualização mostrando como qual HP (vida), considerando diversos "turnos" de porrada, Thanos ou Avengers ficariam. Dá pra ver que Thanos provavelmente ficaria com HP entre 60 e 80, enquanto nossos heróis todos já foram pro beleléu :(.P.S.: Doutor Estranho é Doutor é em Estatística! HAHA Por essa você não esperava, hein, Data Hacker! (em Português)

PRÓXIMOS EVENTOS E MEETUPS

27 de Abril de 2019

Belo Horizonte/MG - Grátis

29 de Abril de 2019

Hop n' Roll Brewpub - Curitba/PR - Grátis​

16 de Abril de 2019 - Lista de Espera

Belo Horizonte/MG - Grátis