Newsletter

Conheça o Data Mesh: A última tendência em arquitetura de dados  🆙

Enviado em: May 17, 2021
View this email in your browser

Conheça o Data Mesh: A mais nova tendência que promete ser o futuro da arquitetura de dados 


E aí Data Hackers! Vamos a mais uma edição da sua newsletter preferida!

O assunto principal de hoje é última tendência em arquitetura de dados, o conceito de Data Mesh que promete ser o futuro dos Data Lakes e Data Warehouses.

Mas não para por aí, hoje a newsletter está cheia de conteúdos com destaque para: como a Nubank distribui suas equipes de dados para acelerar a inovação; Chaticulator, uma ferramenta open source para criar visualizações de dados incríveis; Curso de MLOps com o Andrew NG; Aprenda a extrair, armazenar e analisar dados de imagens; Entenda como funciona uma árvore de decisão e muito mais.

Além disso, como de costume, vamos trazer vagas de emprego, meme da semana e dicas de eventos.

Melhor não enrolarmos muito pois hoje temos muitos conteúdos, vamos lá! 

Data Mesh: indo além do Data Lake e Data Warehouse

O conteúdo principal da edição de hoje da nossa newsletter foi produzido pelo Data Hacker Savio Teles, que foi sagaz em trazer para o nosso blog um post sobre Data Mesh, um dos temas mais quentes da atualidade no que diz respeito a arquitetura de dados.

O conceito de Data Mesh ainda é relativamente novo e foi proposto pela Zhamak Dehghani, diretora de tecnologia na ThoughtWorks, e consiste em uma abordagem inovadora para a arquitetura de dados das empresas com o objetivo de facilitar a democratização em escala dos dados.

O Data Mesh segue 4 princípios:

(1) arquitetura de dados descentralizada orientada ao domínio;
(2) dados disponibilizados como produto;
(3) infraestrutura para disponibilizar os dados como self-service;
(4) governança federada para permitir a interoperabilidade dos domínios.

No post do Savio no Blog do Data Hackers ele se aprofunda em cada um desses princípios através de exemplos e mostra quais os passos necessários para a implantação dessa estrutura, suas vantagens e desvantagens, vale muito a pena conferir! (em Português)
DataSprints ganha prêmio “Parceiro de Impacto Social do Ano” pela Amazon AWS
A DataSprints é uma empresa Brasileira (criada pelo Allan Sene, um dos fundadores do Data Hackers) e acaba de ganhar o prêmio “Parceiro de Impacto Social do Ano” pela Amazon AWS por ter desenvolvido o projeto Health Lake com o objetivo de reunir voluntários para organizar dados públicos e privados sobre a saúde Brasileira.

Em nome de toda a comunidade brasileira de dados, o Data Hackers gostaria de parabenizar a DataSprints por essa grande iniciativa e pelo merecido prêmio.

Se você tem interesse em atuar voluntariamente em um projeto de dados com foco social essa é uma ótima alternativa pois eles estão sempre em busca de novos voluntários. Para ter mais detalhes basta acessar o site clicando aqui.

Como a Nubank distribui seu time de dados para acelerar a inovação e a geração de dados confiáveis


Gerenciar dados gerados por mais de 35 milhões de clientes certamente não é uma tarefa fácil e fazer isso garantindo inovação, escalabilidade das soluções e a qualidade dos dados é um desafio enorme. Nesse post a equipe de dados da Nubank mostra como evoluíram a estrutura dos times para atender todos esses requisitos. (em Inglês)
 

Conheça o Charticulator, uma ferramenta de Visualização de Dados open source


Recentemente a Microsoft tornou open source o Charticulator, uma solução para criação de visualizações de dados totalmente customizáveis. O Charticulator permite a criação de gráficos de visualizações complexas numa interface "drag-and-drop". Os modelos de data visualization desenvolvidos ainda podem ser exportados como um template, uma imagem, arquivo html ou Custom Visual no PowerBI. (em Inglês) 
Dica de Curso

A DeepLearning.AI e o Andrew NG acabaram de lançar uma especialização em MLOps, com o foco em "produtização" de modelos de machine learning.

A especialização conta com um total de quatro cursos:
1- Introduction to Machine Learning in Production
2 - Machine Learning Data Lifecycle in Production
3 - Machine Learning Modeling Pipelines in Production
4 - Deploying Machine Learning Models in Production

O curso dura aproximadamente 3 meses, e como a maioria dos cursos disponibilizados na plataforma Coursera, existe a possibilidade de assistir gratuitamente e pagar apenas pelo certificado. (em Inglês)
OUTROS TÓPICOS
Data Driven, muito além de IA e Machine Learing
Pietro Oliveira, community manager do Data Hackers fez um texto muito interessante para a TI Inside onde mostra os principais desafios das empresas que buscam se tornar Data Driven. (em Português)

Como criar Data Storytelling quando você mal mal tem dados para serem visualizados
Em mais um post extremamente completo, o Data Hacker André Sionek mostra o passo a passo para sair do zero e construir análises de dados incríveis. No texto ele parte desde a ingestão dos dados, passando por todo o pipeline de dados até chegar na visualização e análise. (em Inglês)

Analisar, extrair e armazenar dados a partir de imagens
O Data Hacker Bernardo Caldas mostra em poucos passos como analisar, extrair e armazenar dados a partir de imagens utilizando a lib Deepface no Python. Com essa biblioteca é possível utilizar a imagem do rosto de uma pessoa e extrair informações como idade, genero, raça e emoção que está sendo expressada na imagem. (em Português)

Como funciona uma árvore de decisão?
O Data Hacker Fabio D. Junior, resolveu explicar detalhadamente como funciona uma árvore de decisão e os principais casos que essa técnica pode ser utilizada. (em Português)
VAGAS DA SEMANA
Data Engineer - Telecine
Rio de Janeiro - RJ
  • Ter experiencia liderando tecnicamente construção de data lakes
  • Conhecimento de serviço AWS e suas ferramentas relacionadas a dados; EMR, Redshift,S3, Glue etc.;
  • Experiência com programação em infraestrutura de big data (Scala ou PySpark);
  • Conhecimentos de ferramentas de controle de versão (Git);
  • Conhecimentos em Python/SQL;
Cientista de Dados (PCD) - Oracle
São Paulo - SP - Vaga exclusiva para pessoas com deficiência (PCD)
  • Conhecimento Python e SQL;
  • Ferramentes de visualização como Oracle Data Visualization (Power BI, Tableau, etc.);
  • Conhecimento e experiencia com técnicas de Machine Learning (Regressão, Arvore de Decisão, Random Forest, SVM, XGBoosting, etc.);
MEME DA SEMANA
Fonte: @cortanavirus
DATA VISUALIZATION DA SEMANA
Um dos tristes efeitos causados pela pandemia foi o aumento da concentração de renda na mão dos mais ricos do mundo. Quando saiu a lista de bilionários da Forbes já havia ficado evidente que esse número tinha crescido de forma acelerada, mas acredito que nem os mais críticos imaginavam com detalhes o quanto essa diferença aumentaria. Em mais uma visualização de dados sensacional o time do Nexo Jornal mostra como a fortuna dos bilionários de todo o globo aumentou significativamente no último ano. 

Observação: Se você gostou do conteúdo deles uma dica é assinar para apoiar o trabalho e garantir que eles possam continuar mantendo essa inciativa. (em Português)
PRÓXIMOS EVENTOS E MEETUPS [100% ONLINE]
11 a 20 de Maio - Evento Gratuito e 100% Online
  26 de Maio - Evento Gratuito e 100% Online

Airflow Summit 2021
08 a 16 de Julho - Evento Gratuito e 100% Online

Ai4 2021: Exploring Artificial Intelligence Across Industry
17 a 19 de Agosto de 2021 -  Evento Pago e 100% Online
Facebook
Site
LinkedIn
Twitter
Medium
Copyright © *|CURRENT_YEAR|* datahackers.com.br.

Want to change how you receive these emails?
You can update your preferences or unsubscribe from this list.

©2018-2021 - Data Hackers, Todos os direitos reservados.

Site por Kaordica