APACHE HOP e NIFI: construa pipelines e fluxos de dados

About this course

Preparamos um dos cursos mais incríveis na área de dados, trabalhando com duas grandes ferramentas de mercado que permitem o tratamento e ingestão de dados, seja por criação de pipelines ou por meio de fluxo de dados, estamos falando do APACHE HOP e do APACHE NiFi.Iniciaremos no treinamento com um produto 100% visual, que permite a execução de diversos plugin (componentes) de forma prática e sem código, utilizaremos o APACHE HOP. Ela veio para resolver os grandes problemas de execução e tratamento de dados em sequência, permitindo o encadeamento e diversas tarefas em um componente chamado pipeline, sendo possível (ler um arquivo de dados, gravar um arquivo de dados, ler banco de dados, gravar em banco de dados, fazer união de arquivos ou tabelas, tratar dados criando novas colunas ou eliminando outras existentes, dentre outras atividades). Você poderá criar um schedule utilizando a CRONTAB ou agendador do windows e para isso vamos utilizar o HOP-RUN. Claro, aprenderemos a trabalhar com workflow, para organizar as nossas tarefas.Em seguida vamos adentrar no mundo do APACHE NiFi, que é uma ferramenta de ingestão e fluxo de dados criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.Então venha conhecer e comece hoje mesmo a trabalhar com estas duas grandes ferramentas.