Pipelines de dados com o poder mágico do Mage-AI
O Mage AI é uma plataforma de orquestração de fluxo de trabalho de dados, projetada para simplificar e automatizar a integração, transformação e análise de dados em toda a organização.
Destrinchando o Apache Spark — Parte 1
Neste artigo iremos nos aprofundar nas características do Apache Spark, caso você ainda não esteja familiarizado com esta ferramenta, recomendamos primeiro a leitura do artigo Spark o melhor amigo do engenheiro de dados.
Apache Spark: O melhor amigo do engenheiro de dados.
Os engenheiros de dados geralmente trabalham com múltiplas fontes de dados e realizam um trabalho complexo, difícil e por vezes tedioso, porem, necessário para tornar os pipelines de dados operacionais. O trabalho deles é colocar os dados em um formato em que outras pessoas, como cientistas de dados e analistas de dados, possam extrair valor dos dados.
Uma breve introdução ao Apache NiFi
Assim como uma catarata lida com um grande fluxo de água, o NiFi lida com um grande fluxo de dados. Quando se está tentando mover qualquer conteúdo de um local para outro, inúmeros problemas podem acontecer, a internet pode falhar, programas podem apresentar erros, pessoas podem intervir…