Motivação & Visão Geral do Curso
Esse é o primeiro curso de uma série de cursos que estou planejando, decidi iniciar com as tecnicas mais fundamentais em engenharia de dados, para que no futuro você não fique com gaps de conhecimento se já partir hoje estudando coisas mais avançadas em Engenharia de Dados.
O curso oferece uma base para que você conheça e implemente uma solução de Data Warehouse, o intuito é utilizar ferramentas e tecnologias que favoreçam a construção de um DW seguindo boas práticas de Willian H. Inmon e Ralph Kimball, esses designs serão apresentadas detalhadamente no curso.
Com esses fundamentos você já vai conseguir como Engenheiro de Dados decidir o melhor direcionamento, analisar, calcular e estimar custos da implantação de um DW e fazer todas as devidas cargas no mesmo seguindo é claro as melhores práticas e conceitos.
O curso possui partes teóricas e partes práticas, a teoria é fundamental para entender as migalhas e detalhes da solução.
Assim que você terminar este curso, você vai ter uma solida base de Engenharia de Dados e já vai saber muitas ferramentas essenciais. Você usará suas habilidades tanto para desenvolver seus próprios projetos quanto para aprender novas ferramentas para melhorar sua toolbox cada vez mais e continuar evoluindo em Engenharia de Dados.
Oque Você vai Aprender nesse Curso
Ferramentas:
-
Utilizar e aprender como o Talend funciona, ela é a principal ferramenta de ETL e ELT do curso.
-
Utilizar o Docker para simular e implementar um ambiente de desenvolvimento.
-
Utilizar o Python e API’s em Starlette para inferência de Machine Learning com Talend.
-
Implementar e conectar-se a um cluster de Yugabyte gerenciado.
-
Diferentes use cases onde o Talend pode ser utilizado como Near Real time, Batch e Api Requests.
Conceitos:
-
Entender a fundo o Data Warehouse.
-
Modelagem de DW com princípios de Inmon e Kimball.
-
Como endereçar Dw realmente grandes.
-
Como calcular e investigar o ROI de um DW.
-
Introdução ao Data Lake e Data Lakehouse.
Materiais Complementares
Todo curso você vai ter acesso aos matérias, códigos, apresentações do excalidraw e muito mais utilizado nos vídeos e artigos, inclusive meu contato pessoal para tirar quais quer dúvidas!
