Newsletter

Uber, Netflix e Twitter: gente de dados como a gente!¬†ūüϨ

Enviado em: September 13, 2021
View this email in your browser

Uber, Netflix e Twitter: gente de dados como a gente!


Fala, Data Hackers! Quando ouvimos falar sobre Dados nessas Big Techs, sempre pensamos que eles estão em outro nível, muito distante da gente, pessoas comuns no mundo dos dados. Mas não!

Nessa news trouxemos como o Uber est√° refazendo sua arquitetura de real-time analytics, o Twitter fazendo sua jornada para nuvem e Netflix criando sua ferramenta de Data Collection.

E mais: usando Python pra manipular Excel, aprendendo o Azure Synapses, Snowflake vs Databricks, vagas e meme!

Como o Uber refez sua arquitetura de an√°lise de dados em tempo-real

Re-arquitetura é um dom. Fazer as mudanças certas, na hora certa, sem perder muito tempo construindo, requer muita experiência e know-how. Esse post é um guia excepcional de como construir uma arquitetura de dados em substituição a uma já existente.

O time de Global Scaled Solutions da Uber conta como escolheu item a item da arquitetura simples e efetiva mostrada aqui em cima, que suporta, nos dias mais sossegados, 10 milh√Ķes de eventos por dia, com lat√™ncia quase zero. Imperd√≠vel! (em Ingl√™s)

A Jornada do Twitter para nuvem... da Google!


Uma info que eu n√£o sabia e talvez voc√™ tamb√©m n√£o, era que grande parte do Twitter sempre rodou em servidores pr√≥prios. Mas realmente a era da cloud chegou para ficar. Esse post da Venture Beat conta como e porque o Twitter decidiu ir para nuvem e escolheu a Google para tal. 

Legal ver que n√£o √© s√≥ n√≥s, reles mortais, que passamos pelas dificuldades de quebra Data Silos e fazer uma migra√ß√£o de dados para nuvem, em plenos anos 2020. (em Ingl√™s) 


Netflix Studio e Data Mesh (mas n√£o aquele Data Mesh)


Data Mesh é um assunto muito na moda, mas esse post da Netflix é oooutra coisa: eles construiram uma plataforma que facilita coleta de dados via CDC e botaram esse nome: Data Mesh Platform.

Esse post do Netflix Studio Tech Team conta como a plataforma funciona: conta com evolução de schema, enriquecimento e validação de qualidade, tudo em realtime. Pra facilitar, ainda entregam os dados tanto no Google Sheets, quanto no Airtable, aumentando e muito a democratização dos dados no Studio. (em Inglês)
OUTROS T√ďPICOS
SnowBricks ou DataFlake?
H√° menos que voc√™ viva numa caverna, voc√™ j√° ouviu falar no Snowflake ou Databricks: os novos garotos no peda√ßo, do mundo de Data. Nesse texto muito bacana, a Annika Lewis, do Vanedge Capital, mostra como Snowflake tem caminhado em dire√ß√£o do Storage > Processing, enquanto Databricks tem ido no caminho de Processing > Storage. (em Portugu√™s)

Como manipular Planilhas de Excel com Python
O Data Hacker Gustavo Santos, em mais uma contribuição pro nosso blog, escreveu um guia de como aumentar sua produtividade usando Python para manipular planilhas de Excel, usando a lib openpyxl. Será o fim do VBA para esse tipo de trampo?! Imperdível! (em Português)
 
VAGAS DA SEMANA
  • +2 anos de exp. com projetos de Data em produ√ß√£o, em larga-escala;
  • Experi√™ncia com banco de dados SQL e NoSQL;
  • Experi√™ncia com Cloud Computing, preferencialmente AWS;
  • Experi√™ncia com Git, Linux e Shell script;
  • Experi√™ncia no desenvolvimento de pipelines de ETL e ELT;
  • Experi√™ncia com IaC;
Data Scientist Sr - Ebanx
Curitiba - PR ou Remoto
  • Mais de 2 anos de exp. relevante em data;
  • Profici√™ncia em linguagem SQL;
  • Profici√™ncia em Python, libs Panda e Numpy;
  • Exp. com modelagem e Machine Learning;
  • Exp. com Git, Bash e Containers;
  • Conhecimento em Cloud;
DICA DE V√ćDEO
Conheça o que é e um pouco de como funciona o Azure Synapse

Uma das ferramentas mais interessantes lan√ßadas nos √ļltimos meses, o Azure Synapses facilita e muito a vida de qualquer engenheiro de dados dentro da Azure. Nesse video, voc√™ vai descobrir o que √© e como us√°-lo no dia-a-dia de manter uma plataforma de dados. (Em Ingl√™s)
MEME DA SEMANA
Como estamos? :)

Rodrigo Teoria mandou no nosso Slack
DATA VISUALIZATION DA SEMANA
O cara fez 15 dias de jejum e coletou os dados!

Imagina ficar 15 dias sem comer nada? Impressionante n√©. Mas, mais impressionante ainda, √© coletar todos os dados, fazer visualiza√ß√Ķes e divulgar pra todo mundo no Reddit! Veja a viz completa clicando aqui.  (em Ingl√™s)

PR√ďXIMOS EVENTOS E MEETUPS [100% ONLINE]
CDP Brasil 2021: Estratégia de Dados para Marketing
14 de Setembro- Evento Gratuito e 100% Online

VHOL: Snowflake Data Cloud - Laboratório Prático
21 de Setembro- Evento Gratuito e 100% Online

II Workshop de IA da UFF
22 a 24 de Setembro- Evento Gratuito e 100% Online

DataOps Summit 2021
28 a 30 de Setembro - Evento Gratuito e 100% Online
Copyright © *|CURRENT_YEAR|* datahackers.com.br.

Want to change how you receive these emails?
You can update your preferences or unsubscribe from this list.
Facebook
Site
LinkedIn
Twitter
Medium