Esta é uma ótima oportunidade para colocar a sua carreira num próximo nível de classe mundial, pois apesar do uso de nuvem no Brasil já ser uma realidade há algum tempo, o uso de tecnologias e serviços voltados ao desenvolvimento de uma solução de Analytics, ainda está em estágios iniciais, porém já é algo bastante utilizado em empresas lá fora.

Neste curso o aluno irá desenvolver uma serie de exercícios totalmente práticos, onde construirá do zero, um pipeline moderno de dados para Data Lake em AWS S3 usando a ferramenta de engenharia de dados monolítica “No Code, Low Code” Pentaho Data Integration em sua versão Open Source para a ingestão e transformação dos dados no Data Lake e através dos serviços da AWS como o Glue e Athena, criar a camada de sustentação para o Data Viz, a camada de Data Warehouse baseada em arquivos analíticos para que através de ferramentas como Power BI, Qlik Sense e Tableau, você possa entregar as informações aos usuários de negócios num ambiente mais ágil, moderno, robusto e escalável.

 Imagem ilustrativa da arquitetura a ser desenvolvida

Objetivos da Aprendizagem

  • Capacitar os alunos a trabalharem com uma pilha tecnológica atual;
  • Criar um ambiente de Data Lake para apoiar entregas de Analytics;
  • Utilizar as principais ferramentas da AWS para Analytics;
  • Estruturar um Data Warehouse usando modelagem de dados para datasets dentro de um Data Lake;
  • Desenvolver processos de ingestão e transformação com mais produtividade, sem necessidade de escrever códigos;
  • Desenvolver melhores práticas de uso para ter um consumo mais econômico na AWS; e
  • Conectar as principais ferramentas de Data Viz nessa moderna arquitetura de dados.

 

Ferramentas e serviços utilizados neste curso

  • Pentaho Data Integration;
  • PostgreSQL;
  • AWS RDS;
  • AWS IAM;
  • AWS EC2;
  • AWS S3;
  • AWS Glue;
  • AWS Athena;
  • Power BI Desktop;
  • Qlik Sense Desktop;
  • Tableau Desktop; e
  • Pentaho Dashboard.

Requisitos

  • Ser um profissional da área de tecnologia ou formado em áreas ligadas a TI; e
  • Não há necessidade de conhecimento prévio em nenhuma tecnologia ou serviço que iremos utilizar.

Pré-requisitos

  • Criar uma conta nova (necessário ter cartão de crédito) na AWS para poder usufruir de alguns dos serviços necessários ao curso na modalidade gratuita.

Público Alvo

  • Profissionais iniciando na carreira de Engenharia de Dados;
  • Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e
  • Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science e Business Intelligence.

Casos de sucesso

Abaixo, alguns casos de sucesso no uso dessa arquitetura:

  • OLX reduziu custos e tempo de acesso ao mercado por meio da implantação do Athena em toda a organização.  Assista ao video >>>
  • Atlassian criou um data lake de autoatendimento usando o Amazon Athena e outros serviços do AWS Analytics.  Assista ao video >>>
  • Como FINRA opera análises em escala de PB em data lakes com o Amazon Athena  (AWS re:Invent 2020) .  Assista ao video >>>

Benefícios do Curso

  • O Aluno terá o entendimento completo para atuar como Engenheiro de Dados e construir via Pentaho Data Integration, um pipeline de dados, a partir do zero para uma moderna arquitetura de dados para Analytics, onde esta, estará apoiada por um Data Warehouse dentro do Data Lake em S3, também conhecido como Data Lake House;
  • É parte integrante desta proposta, aos alunos deste curso, o acesso ao mesmo conteúdo contratado em nossa plataforma EaD por 365 dias, a partir do momento que este material estiver disponível, sendo que a previsão para esta liberação é por volta de Maio/Junho de 2021. Até lá, os alunos terão acesso as gravações das aulas através da plataforma EaD da Openin Big Data; e
  • Integra também esta proposta a participação vitalícia do aluno em nossa comunidade PentahOpenin Data Engineering for Analytics já com quase 50 alunos no Whatsapp/Telegram para obter suporte técnico referente ao conteúdo do curso, pelo mesmo período de vigência do acesso ao EaD e também poderá realizar network e encontros virtuais com outros alunos.

Idioma

  • Ministrado em português e Material didático em formato eletrônico em português (Brasil).

Conteúdo Programático

  • Criação da conta na AWS;
  • Os softwares e serviços que iremos utilizar;
  • Utilizando uma instância EC2 com Windows para o desenvolvimento de toda a solução;
  • Links de downloads dos softwares a serem utilizados;
  • Utilização do IAM para o gerenciamento de identidade e acesso para o Data Lake e para o Data Viz;
  • Criação e configuração do bucket em S3 para o Data Lake;
  • Utilização do banco de dados PostgreSQL em RDS como uma das inúmeras fontes de dados que este ambiente pode ter;
  • Configuração do serviço de catálogo de dados para as tabelas do Data Warehouse no Glue;
  • Configuração do serviço de query interativa do Athena;
  • Configuração do ambiente de desenvolvimento do Pentaho Data Integration para o desenvolvimento do Pipeline;
    • Repositório de metadados;
    • Variáveis de ambiente;
    • Virtual File System (VFS) e Credencial AWS;
    • Arquivos em formato Parquet; e
    • Conexões com o banco postgreSQL e o Athena.
  • Conhecendo as melhores práticas para uso económico do ambiente de analytics da AWS;
  • Desenvolvimento dos processos (Pipeline) ELT/ETL de ingestão e transformação dos dados nas áreas segmentadas do Data Lake com o Pentaho Data Integration sem a necessidade de codificação; e
  • Configurando e conectando o Power BI, Qlik Sense*, Tableau* e Pentaho Dashboards via AWS Athena para acesso aos dados do Data Warehouse dentro do Data Lake.

*Caso não seja possível instalar e usar as versões trial do Qlik Sense e Tableau, será apresentado um vídeo demonstrando a configuração e conexão destas ferramentas via AWS Athena ao Data Warehouse dentro do Data Lake

Carga horária

  • 16 horas

Depoimento de alunos

Curso top com excelente conteúdo e um instrutor que manja muito do assunto…

Por Alessandro Gomes, do IBOPE no Linkedin – veja mais

Excelente curso, Ricardo Gouvêa parabéns pelo trabalho, ótimo conteúdo abordado, obrigado…

Por Bruno Bizerra, do UOL no Linkedin – veja mais

Mais um curso concluído, a busca por conhecimento nunca é demais….

Por Deivisson Sedrez, da Saque e Pague no Linkedin – veja mais

O melhor treinamento que já participei….

Por Maycon Oleczinski, da Inside Sistemas no Linkedin – veja mais

It was a tough week, going to sleep after 3:00 am, but it worthed. I’ve learned a lot…..

Por Samuel Pinto, da Normática no Linkedin – veja mais

Foram dois finais de semana de muito conhecimento….

Por Fabrizio Machado, da Unesc no Linkedin – veja mais

Curso espetacular, com muitas quebras de paradigma! Melhores práticas para Data…

Por Carlos Migliavacca, da Consultilie no Linkedin – veja mais

Excelente conteúdo e condução!….

Por Marcos Zaniratti, da ITS Group no Linkedin – veja mais

Novos conhecimentos adquiridos…com maestria….

Por Adilson Moralles, da Fototica no Linkedin – veja mais

Excelente conteúdo e condução!….

Por Rodrigo Marcelino, da Claro iMusic no Linkedin – veja mais

Requisitos para o curso

  • Computador com Windows, Linux ou MacOS (Sugerimos Windows);
  • Acesso ao aplicativo de conexão remota do seu SO (Remote Desktop); e
  • Mínimo 4 GB de memória RAM e Conexão banda larga.

Todos os outros softwares necessários para o bom andamento do curso, serão disponibilizados durante o mesmo, pela Openin Big Data.

Materiais do curso

Os materiais (softwares, slides e caderno de exercícios) utilizados durante o curso serão disponibilizados ao participante em formato eletrônico. Os materiais cedidos para o curso são de propriedade intelectual da Openin Big Data. Nenhuma parte destes materiais poderão ser cedido, emprestado ou comercializado para terceiros, nem utilizado para treinamentos e capacitações de terceiros sob quaisquer hipóteses, salvo sob autorização expressa da Openin Big Data.

Certificado de conclusão do curso

Os participantes do curso receberão certificado de conclusão em formato eletrônico emitido pela Openin Big Data, dada frequência mínima de 100% da carga-horária. Caso o aluno não consiga obter a frequência mínima por algum motivo, o mesmo deverá assistir as aulas gravadas e efetuar uma prova para avaliação do seu conhecimento e com uma nota mínima de 6, terá acesso ao certificado de participação.

Mini Currículo do Instrutor do curso

Ricardo Gouvêa – Formado em administração de empresas – Carreira Profissional com mais de 25 anos em TI – 20 dedicados ao desenvolvimento de projetos de BI – Iniciou carreira no Banco Bradesco como analista de suporte técnico e em 1999 deu inicio em sua trajetória com BI, trabalhando no principal parceiro da Business Objects no Brasil, passou pela multinacional Sagent como consultor pre-venda LATAM e desenvolveu ao longo deste período inúmeros projetos, dentre eles Porto Seguro, Intermédica, Pfizer, SEESP, USP, Unibanco, Ambev, Sifra. Atualmente é Proprietário e Diretor de Operações da Openin Big Data (ex-Consulting Brasil), profissional com duas certificações profissionais emitidas pela Pentaho Corporation (Certified Pentaho BI Platform Consultant e Certified Pentaho Solutions Consultant) e instrutor.


Ricardo Gouvea palestrando no Pentaho Day de 2016 no auditório da FEA/USP

Copyright © 2021 Openin. Todos os direitos reservados.