Depois de mais de dois anos de trabalho, a comunidade Apache Hop está orgulhosa em anunciar a versão General Availability do Apache Hop (Incubating) 1.0.
Esse lançamento da versão 1.0 é o resultado de muito trabalho da comunidade Apache Hop.
Vamos dar uma olhada no que o Hop 1.0 traz:
- Arquitetura de Código, Limpeza, Reestruturação
- Hop GUI e um conjunto uniforme de ferramentas
- Projetos e Ambientes
- Tempo de Execução Portátil: Crie uma vez, execute em qualquer lugar
- Unidade, Integração e Teste de Regressão
- Gerenciamento de Vida Útil
- Comunidade
ARQUITETURA DE CÓDIGO, LIMPEZA, REESTRUTURAÇÃO
Desde que o Apache Hop começou a partir do código base do Kettle (Pentaho Data Integration) no final de 2019, nós fizemos todo o possível. Todas as dependências foram atualizadas, grandes partes do Código original foram removidas ou reescritas, literalmente nenhum único arquivo foi deixado sem uma revisão.
O resultado de toda essa limpeza e reestruturação é uma engenharia Hop limpa e bem arquitetada. Todas funcionalidades não essenciais foram cortadas e transformadas em plugins.
O Hop agora suporta mais de vinte tipos de plugins para um total de mais de 400 plugins.
Com essa arquitetura renovada, o Hop é capaz de processar dados no IoT edge até petabytes de dados em streaming, batch e cenários híbridos.
HOP GUI E UM CONJUNTO UNIFORME DE FERRAMENTAS
Hop Gui é o ambiente de desenvolvmento visual (IDE) onde desenvolvedores de dados criam workflows e pipelines. O Hop Gui foi criado do zero e está disponível na maioria das plataformas desktop: Windows, Mac OS e Linux. Hop Web disponibiliza o Hop Gui completo no navegador.
A habilidade de criar visualmente, executar, previsualizar, debugar e manter data workflows e pipelines possibilita os desenvolvedores de dados Hop serem mais produtivos do que jamais foram através do código “puro”.
Centenas de transformações e ações possibilita os desenvolvedores de dados Hop construir soluções complexas para ler, processar e escrever dados de e para uma vasta variedade de plataformas. Isso inclui, mas não é limitado a banco relacional e NoSQL, plataformas de streaming, serviços na nuvem e muito mais.
Não tem nenhum arquivo de configuração escondido, todas as funcionalidades do Hop estão disponíveis através do Hop Gui. Alternativamente, todas operações pra executar, configurar, procurar, etc estão disponíveis através de um conjunto de ferramentas de linha de comando fáceis.
PROJETOS E AMBIENTES
Desenvolvedores de dados quase sempre trabalham em diversos jobs simultaneamente e executam esses projetos em vários ambientes.
Projetos Hop podem ser facilmente gerenciados pelo Hop Gui ou pelo comando «hop-conf». Para cada projeto um número de ambientes pode ser definido, cada um com um propósito específico (dev, teste, CI/CD, etc). Cada ambiente pode conter um número de arquivos de configuração.
Alternar entre projetos e ambientes é rápido e fácil pelo dropdown do Hop Gui.
Em um ambiente de servidor headless, as ferramentas de linha de comando do Hop te dão opções para criar, gerenciar ou especificar projetos e ambientes.
Essa separação estrita entre o código (o metadado do projeto) e a configuração (ambiente dos arquivos) deixa o Hop mesclar de forma suave com controle de versão e implantação de sistemas. A perspectiva do file explorer possibilita que desenvolvedores Hop possam gerenciar workflows, pipelines e outros arquivos de metadados diretamente no git, com opções para operações comuns como pull, push, commit, tendo até uma diferença visual entre versões.
TEMPO DE EXECUÇÃO PORTÁTIL: CRIE UMA VEZ, EXECUTE EM QUALQUER LUGAR
A configuração do tempo de execução para workflows e pipelines no Hop foi projetada para ser o mais flexível possível. Um workflow ou pipeline é criado no Hop Gui, mas pode ser executado onde for mais adequado.
No Hop 1.0, os workflows têm configuração de tempo de execução para o mecanismo de Hop nativo local e remoto. Além do mecanismo nativo local e remoto, os pipelines também podem ser executados no Apache Spark, Apache Flink e Google Dataflow via Apache Beam.
Com tempos de execução portáteis, os desenvolvedores e engenheiros de dados do Hop projetam um workflow ou pipeline no Hop Gui e o implementam e executam no ambiente onde faz mais sentido. Isso dá aos projetos de Hop a flexibilidade de seguir seus dados até o ambiente onde eles fazem mais sentido.
UNIDADE, INTEGRAÇÃO E TESTE DE REGRESSÃO
Hop fornece tudo que você precisa para lidar com erros em workflows e pipelines. No entanto, saber que seus projetos são executados sem erros não é garantia de que seus dados foram processados exatamente da maneira que você deseja e espera.
Os desenvolvedores de dados Hop além de poder projetar workflows e pipelines no Hop Gui, também podem adicionar testes de unidade para verificar se um workflow ou pipeline processou os dados exatamente como esperado. Os testes de unidade executam um pipeline para um conjunto de dados de entrada definido e comparam o resultado que foi produzido com um conjunto de dados esperado. Se o resultado gerado corresponder ao conjunto de dados, o teste será bem-sucedido. Caso contrário, o teste falhará.
Os testes de unidade podem ser combinados com integração de nível superior e testes de regressão para garantir que todo um projeto ou sistema se comporte conforme o esperado.
Uma biblioteca de testes melhora significativamente a qualidade de um projeto. Na verdade, a equipe do projeto Hop usa o próprio Hop para resolver problemas internos: por meio de uma biblioteca crescente de testes de unidade, regressão e integração, os desenvolvedores do Hop foram capazes de identificar e corrigir uma série de problemas que estavam no código base a mais de uma década.
GERENCIAMENTO DE VIDA ÚTIL
Tempos de execução, projetos e ambientes portáteis, controle de versão integrado, teste de unidade e muitas outras funcionalidades que vêm com o Hop 1.0 fornecem todas as ferramentas de que uma equipe de dados precisa para gerenciar seus projetos durante todo o ciclo de vida.
Essas ferramentas não apenas permitem que seu projeto seja desenvolvido, gerenciado, testado e implantado de acordo com as melhores práticas gerais de desenvolvimento de software, mas também permitem que projetos e equipes de dados sigam seus dados até as plataformas onde se encaixam melhor.
Os requisitos mudam, assim como os volumes de dados e as arquiteturas. Ter uma plataforma que permite que você e seu projeto evoluam com esse cenário em constante mudança é crucial em uma organização moderna baseada em dados. O Hop 1.0 oferece tudo que você precisa para fazer exatamente isso.
COMUNIDADE
Um dos principais pilares para se tornar um projeto (incubating) da Apache Software Foundation é a construção da comunidade.
Embora a equipe de Hop tenha trabalhado incansavelmente na construção da melhor orquestração de dados e plataforma de integração de dados que existe, a construção da comunidade tem sido igualmente importante. Construir a melhor plataforma do mundo é inútil sem que as pessoas a usem e fiquem animadas com o que podem fazer com essa plataforma.
Hop teve um grande crescimento na adoção pela comunidade desde que o projeto se juntou à incubadora da Apache Software Foundation em setembro de 2020. O Hop agora tem centenas de seguidores em várias contas de mídia social, bem mais de 200 pessoas estão registradas no chat de Hop. Grupos de usuários locais começaram no Brasil, Japão, Espanha, Itália e muito mais.
Ainda mais importante do que o software, a comunidade tem tudo a ver com Hop. Um caloroso agradecimento a todos que estiveram envolvidos com o Apache Hop (incubating) nos últimos dois anos. Hop 1.0 não seria o grande lançamento que é, sem cada um de vocês!
fonte: https://hop.apache.org/blog/2021/10/hop-1.0.0/
