sobre o curso 32h
Neste curso, o aluno aprenderá como implementar e gerenciar cargas de trabalho de engenharia de dados no Microsoft Azure, utilizando serviços Azure como Azure Synapse Analytics, Azure Data Lake Storage Gen2, Azure Stream Analytics, Azure Databricks, entre outros.
O curso se concentra em tarefas comuns de engenharia de dados, como orquestrar transferência de dados e pipelines de transformação, trabalhar com arquivos de dados em um data lake, criar e carregar data warehouses relacionais, capturar e agregar fluxos de dados em tempo real e rastrear ativos e linhagens de dados.
Perfil do público
O público principal deste curso são profissionais de dados, arquitetos de dados e profissionais de inteligência de negócios que desejam aprender sobre engenharia de dados e construção de soluções analíticas usando tecnologias de plataforma de dados existentes no Microsoft Azure.
O público secundário deste curso inclui analistas e cientistas de dados que trabalham com soluções analíticas construídas no Microsoft Azure.
Áreas
- Microsoft - Cursos OFICIAIS
- (AI) Inteligência Artificial
TEM INTERESSE NO CURSO?
Conteúdo
- Introdução à engenharia de dados no Azure
- O que é a engenharia de dados
- Conceitos importantes sobre engenharia de dados
- Engenharia de dados no Microsoft Azure
- Introdução ao Azure Data Lake Storage Gen2
- Entender o Azure Data Lake Storage Gen2
- Habilite o Azure Data Lake Storage Gen2 no Armazenamento do Azure
- Comparar o Azure Data Lake Storage com o Armazenamento de Blobs do Azure
- Entenda as etapas do processamento de big data
- Use o Azure Data Lake Storage Gen2 em cargas de trabalho de análise de dados
- Introdução ao Azure Synapse Analytics
- O que é o Azure Synapse Analytics
- Como o Azure Synapse Analytics funciona
- Quando usar o Azure Synapse Analytics
- Usar o pool de SQL sem servidor do Azure Synapse para consultar arquivos em um data lake
- Entender as funcionalidades e os casos de uso do pool de SQL sem servidor do Azure Synapse
- Consultar arquivos usando um pool de SQL sem servidor
- Criar objetos de banco de dados externos
- Usar pools de SQL sem servidor do Azure Synapse para transformar dados em um data lake
- Transformar arquivos de dados com a instrução
- Encapsular transformações de dados em um procedimento armazenado
- Incluir um procedimento armazenado de transformação de dados em um pipeline
- Criar um banco de dados Lake no Azure Synapse Analytics
- Entender os conceitos do banco de dados Lake
- Explorar modelos de banco de dados
- Criar um banco de dados Lake
- Usar um banco de dados Lake
- Analisar dados com o Apache Spark no Azure Synapse Analytics
- Conhecer o Apache Spark
- Usar o Spark no Azure Synapse Analytics
- Analisar dados com o Spark
- Visualizar os dados com o Spark
- Transformar dados com o Spark no Azure Synapse Analytics
- Modificar e salvar dataframes
- Particionar arquivos de dados
- Transformar dados com o SQL
- Usar o Delta Lake no Azure Synapse Analytics
- Compreender o Delta Lake
- Criar tabelas do Delta Lake
- Criar tabelas de catálogo
- Usar o Delta Lake com tipo de dados de streaming
- Usar o Delta Lake em um pool de SQL
- Analisar dados em um data warehouse relacional
- Criar um esquema de data warehouse
- Criar tabelas de data warehouse
- Carregar tabelas de data warehouse
- Consultar um data Warehouse
- Carregar dados em um data warehouse relacional
- Carregar tabelas de preparo
- Carregar tabelas de dimensões
- Carregar tabelas de dimensões temporais
- Carregar dimensões variáveis lentas
- Carregar tabelas de fatos
- Executar a otimização pós-carregamento
- Criar um pipeline de dados no Azure Synapse Analytics
- Entender os pipelines no Azure Synapse Analytics
- Criar um pipeline no Azure Synapse Studio
- Definir fluxos de dados
- Executar um pipeline
- Usar notebooks do Spark em um pipeline do Azure Synapse
- Noções básicas sobre notebooks e pipelines do Synapse
- Usar uma atividade de notebook do Azure Synapse em um pipeline
- Use parâmetros em um notebook
- Planejar o processamento transacional e analítico híbrido usando o Azure Synapse Analytics
- Entender os padrões do processamento transacional e analítico híbrido
- Descrever o Link do Azure Synapse
- Implementar o Link do Azure Synapse com o Azure Cosmos DB
- Habilitar a conta do Cosmos DB para usar o Link do Azure Synapse
- Criar um contêiner habilitado para repositório analítico
- Criar um serviço vinculado para Cosmos DB
- Consultar dados do Cosmos DB com o Spark
- Consultar o Cosmos DB com o SQL do Synapse
- Implementar Link do Azure Synapse para SQL
- O que é o Link do Azure Synapse para SQL?
- Configurar o Link do Azure Synapse para Banco de Dados SQL do Azure
- Configurar o Link do Azure Synapse para SQL Server 2022
- Introdução ao Azure Stream Analytics
- Reconhecer fluxos de dados
- Reconhecer o processamento de eventos
- Entender as funções de janela
- Ingerir dados de streaming usando o Azure Stream Analytics e o Azure Synapse Analytics
- Cenários de ingestão de fluxo
- Configurar entradas e saídas
- Definir uma consulta para selecionar, filtrar e agregar dados
- Executar um trabalho para ingerir dados
- Visualizar dados em tempo real com o Azure Stream Analytics e o Power BI
- Usar uma saída do Power BI no Azure Stream Analytics
- Criar uma consulta para a visualização em tempo real
- Criar visualizações de dados em tempo real no Power BI
- Introdução ao Microsoft Purview
- O que é o Microsoft Purview?
- Como o Microsoft Purview funciona
- Quando usar o Microsoft Purview
- Integrar o Microsoft Purview e o Azure Synapse Analytics
- Catalogar ativos de dados do Azure Synapse Analytics no Microsoft Purview
- Conectar o Microsoft Purview a um workspace do Azure Synapse Analytics
- Pesquisar um catálogo do Purview no Synapse Studio
- Acompanhar linhagem de dados nos pipelines
- Explorar o Azure Databricks
- Introdução ao Azure Databricks
- Identificar cargas de trabalho do Azure Databricks
- Entender os principais conceitos
- Usar Apache Spark no Azure Databricks
- Conhecer o Spark
- Criar um cluster Spark
- Usar o Spark em notebooks
- Usar o Spark para trabalhar com arquivos de dados
- Visualizar dados
- Executar os Notebooks do Azure Databricks com o Azure Data Factory
- Entenda os notebooks e pipelines do Azure Databricks
- Criar um serviço vinculado para o Azure Databricks
- Use uma atividade do Notebook em um pipeline
- Use parâmetros em um notebook
Requisitos
Ter participado dos cursos DP-900: Fundamentos de Dados no Azure e AZ-900: Microsoft Azure Fundamentals ou possuir conhecimentos equivalentes.
Mais Informações
MATERIAL DIDÁTICO EM INGLÊS
tem interesse, mas a data não é ideal para você?
entre em contato conosco!
+3.830
Turmas Realizadas
+54.000
Alunos Sisnema
+150
Cursos Diferentes