Converse em tempo real com profissionais da área no nosso Slack
Nossa comunidade é livre e gratuita e vai te permitir receber oportunidades de emprego, notícias recentes, dicas de ferramenta e muito mais! Veja abaixo o pessoal interagindo
Conteúdo para Leigos a especialistas de graça e completo;
"Usando CDF (Change Data Feed) no Databricks com Structured Streaming"
Estou te entregando OURO.
Se você ainda processa todos os dados ao invés de apenas as mudanças? Está gastando mais tempo e recursos do que o necessário?
Com o Change Data Feed (CDF) + Structured Streaming no Databricks, você pode:
Capturar mudanças em tempo real sem reprocessar tudo
Reduzir custos e otimizar a performance do seu pipeline
Escalar facilmente seu processamento de dados
Quer saber como implementar isso na prática?
Confira o artigo completo e descubra como revolucionar seu pipeline de dados!
um tempo atrás vi um site que mostra as stacks de dados das mais variáveis empresas.
só não estou achando, alguém tem sites que mostra isso que possa compartilhar???
O engenheiro de dados que vive só de ETL está com os dias contados 😱😱😱😱😱
Copilot, Gemini, ChatGPT, DeepSeek... A IA generativa já está transformando profundamente o nosso trampo. Escrever código, documentar, testar, revisar PRs, desenhar pipelines — tudo isso está mudando já faz um tempo.
Escrevi esse artigo direto ao ponto sobre a evolução do papel do engenheiro de dados — e por que quem ignora IA, LLMs e prompt engineering está se colocando fora do jogo
No artigo, eu falo sobre:
• O fim do engenheiro “executor de tarefas”
• A ascensão do engenheiro como curador, estrategista e acelerador de negócio
• Casos reais de squads que estão ganhando velocidade com IA
• O que aprender HOJE para continuar relevante amanhã
Minha intenção não é assustar, pois a IA não vai substituir ninguém sozinha. Mas engenheiros que sabem usar IA com inteligência vão.
Se você assim como eu, é engenheiro de dados ou trabalha com dados de alguma forma, vale a leitura — e o compartilhamento com quem ainda não percebeu essa virada.
https://www.linkedin.com/pulse/al%C3%A9m-do-etl-o-novo-papel-engenheiro-de-dados-em-ia-leandro-qlfef
Galera, tudo bem?
Eu tenho visto muitos eventos mais corporativos divulgados por aí, organizados por empresas fornecedoras de plataformas. E assim, apesar de ter seu valor eu sempre tenho a impressão que são eventos menos interessantes.
Quase sempre tratam de ferramentas bastante específicas (que se meu time não usa acabam sendo menos atraentes) ou são muito focados em alguma plataforma comercial, com uma combinação de discussão técnica superficial (porque a plataforma é fechada, então não vai se falar sobre a arquitetura e engenharia por debaixo do capô) com necessidade de vender.
Enfim, eu vou nesses eventos e eles têm seu valor. Mas sinto muita falta dos eventos criados e mantidos pela comunidade que nós tínhamos no pré-pandemia. Eram eventos técnicos, focados em aprendizado, em discussão profunda de tecnologia, em encontrar pessoas com interesses semelhantes, em criar uma comunidade independente dos interesses corporativos.
Vocês têm visto esse tipo de evento acontecer? Têm sugestões? Quase todos os que eu ia acabaram com a pandemia. O site do Meetup virou um deserto. Eu simplesmente não sei nem onde buscar esses eventos hoje. Onde vocês têm encontrado a comunidade de forma mais independente hoje em dia, para conversas mais profundamente técnicas e construção de convívio e comunidade?