O Passado, Presente e Futuro do BI ðŸ”®

Capturando dados do Campeonato Brasileiro com Python

Author

Data Hackers
November 30, 2020

Fala, Data Hackers! Essa semana trazemos um velho de guerra pro destaque: o famoso Business Intelligence. Mas, afinal: o que é BI para você? Como é hoje e como será no futuro, esse domínio que muda a realidade das empresas?Pra ajudar a gente a viajar nesse assunto, trouxemos a galera da XP Inc., que também disse como o BI está transformando o negócio e fazendo a empresa crescer em um ritmo vertiginoso, sem perder o norte.Nessa news, também falamos sobre a grande falha da AWS na semana da Black Friday, como construir data pipelines em Kafka e NiFi, além de vagas bem legais e uma dica de livro gratuito que você não pode perder. Bora?!

Business Intelligence é um conceito que muita gente confunde. O tão falado BI, não é só uma tendência antiga, uma ferramenta de visualização ou o DW da sua empresa, mas sim a utilização de dados para tomada de decisão nos negócios.Nesse episódio, juntamente com o time de peso e nossos parceiros da XP Inc, Mariana Alves, Vinícius Piovesana, Renata Mombach e André Mendes, falamos sobre o passado, presente e futuro do BI, e como a XP vem usando essa tecnologia no seu dia a dia para tomada de decisão. Também viajamos sobre como vai ser o futuro do BI, com uso de Realidade Aumentada, NLP e outras técnicas avançadas, para deixar os dados cada vez mais dentro de nosso processo de trabalho no dia-a-dia das empresas.Imperdível esse episódio! (em Português)

O Data Hacker Rafael de Ajuda escreveu um guia bem didático explicando como ele utilizou a lib BeautifulSoup do Python para coletar dados referentes ao Campeonato Brasileiro para análise posterior.

Rafael ainda disponibilizou

, para quem quiser acompanhar todas as ações descritas e, quem sabe, também fazer outras capturas de dados!

(em Português)

 

Nessa quarta-feira, vários serviços online foram afetados por uma indisponibilidade generalizada em alguns serviços da AWS. Não só os clientes da gigante laranja, como Flickr e a Target que tiveram seus serviços afetados, mas a própria Amazon, com o Ring, IoT de segurança, sofreu com o caso.

Num texto longo, a empresa explica que uma ação de aumento de capacidade no serviço de

data streaming

Kinesis foi o que ocasionou a falha em cadeia. Outros serviços como Cloudwatch e Cognito também ficaram fora do ar. 

todo o postmortem do caso. (em Inglês)

Continuando o post da semana passada, o Data Hacker Cícero de Moura terminou seu guia de como construir pipelines de dados utilizando essas plataformas open-source tão utilizadas pelos Engenheiros e Engenheiras de Dados. Cícero mostra como ler dados do Kafka pro NiFi, e utilizar componentes do NiFi para limpar e transformar os dados, para, ao fim, entregar no S3. Aprenda! (em Português)

Apache Airflow é uma das soluções mais utilizadas hoje para gerenciamento de fluxos de ETL hoje. A AWS lançou recentemente o serviço gerenciado para atender essa crescente demanda. Com plugins que facilitam a comunicação com os serviços da cloud, o Managed Worflows for Apache Airflow - ou somente MWAA - conecta facilmente com S3, Athena, EMR e SageMaker! (em Inglês)

Entregar ML em produção não é fácil. Esse post do Fávio Vasquez no Toward Data Science explica como utilizar o MLFlow, framework open-source de MLOps, para fazer seus experimentos, mantendo o tracking da parametrização e métricas dos seus modelos usando a intuitiva UI do MLFlow. (em Inglês)

VAGAS DA SEMANA

  • Graduação completa em cursos de Exatas

  • Experiência com programação

  • Experiência em projetos de IA; 

  • Experiência sólida com frameworks de ML (Keras, Tensorflow, Sklearn, etc);

  • Inglês Avançado. 

  • Governança de acesso a dados

  • Conhecimento em Cloud AWS

  • Gestão e Governança de Data Lakes e DW

  • Conhecimentos em MLOps e DataOps

Ebook: Kafka - The Definitive GuideA Confluent, empresa por trás do Apache Kafka, plataforma mais utilizada no mundo para data streaming, lançou um ebook GRATIS sobre a ferramenta open-source. O guia ensina desde os conceitos básicos, como brokers, consumers e producers, até como securitizar seu cluster e outras preocupações necessárias para produção. (em Inglês).

Não tá facil pra ninguem... Às vezes, até os sistemas nos julgam :( - "Ok, Github, eu sei que meus builds são uma merda, mas não precisa ser passive/agressive comigo :("- "O Build falhou, exatamente como o último build 😒"

 O mercado de Games desde o inícioO Felipe Medeiros postou no nosso Slack uma visualização muito legal do pessoal da Visual Captalist mostrando como evoluiu o mercado de games desde seu início, lá na década de 70. Movimento muito interessante o de games Mobile, que é maior que o mercado de Console e PC juntos! (em Inglês)

PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]

30 de Novembro a 18 de Dezembro de 2020 - Evento online gratuito