Cloudera

DOPS-242: Ingesta con DataFlow Cloudera y Apache NiFi

Una de las funciones más críticas de una empresa basada en datos es la capacidad de gestionar la ingesta y el flujo de datos en ecosistemas complejos. ¿Su equipo cuenta con las herramientas y las habilidades necesarias para lograrlo? Apache NiFi y este curso de cuatro días proporcionan los conceptos fundamentales y la experiencia necesarios para automatizar la entrada, el flujo, la transformación y la salida de datos mediante NiFi. El curso también abarca la optimización, la resolución de problemas y la monitorización del proceso de flujo de datos, así como la integración de un flujo de datos dentro del ecosistema híbrido CDP Cloudera y sistemas externos.

28 horas · Virtual
28 horas
Virtual

Durante este curso, aprenderá a: Definir, configurar, organizar y administrar flujos de datos; Transformar y rastrear datos a medida que fluyen hacia su destino; Realizar un seguimiento de los cambios en los flujos de datos con NiFi Registry; Utilizar el lenguaje de expresiones de NiFi para controlar los flujos de datos; Optimizar los flujos de datos para un mejor rendimiento y mantenimiento; Conectar flujos de datos con otros sistemas, como Apache Kafka, Apache Hive y HDFS; Utilizar el servicio de flujo de datos.

Introducción a la gestión de flujos de Cloudera Descripción general de los datos en movimiento de Cloudera Interfaz de usuario de NiFi Catálogo de flujos de datos Flujos listos Demostración dirigida por el instructor: Interfaz de usuario de NiFi Ejercicio práctico: Cree su primer flujo de datos Procesadores Descripción general de los procesadores Panel de superficie del procesador Configuración del procesador Ejercicio práctico: Comience a crear un flujo de datos utilizando procesadores Conexiones Descripción general de las conexiones Configuración de la conexión Menú contextual del conector Ejercicio práctico: Conecte procesadores en un flujo de datos Flujos de datos Comando y control de un flujo de datos Relaciones de procesadores Contrapresión Priorizadores Etiquetas Ejercicio práctico: Cree un flujo de datos más complejo Ejercicio práctico: Cree una bifurcación utilizando relaciones Ejercicio práctico: Establezca umbrales de contrapresión Grupos de procesos Anatomía del grupo de procesos Puertos de entrada y salida Ejercicio práctico: Simplifique los flujos de datos utilizando procesos GruposFlowFile Procedencia de datos Eventos de procedencia de datosFlowFile Linaje Reproducción de un FlowFile Ejercicio práctico: Uso de la procedencia de datos Parámetros Contextos de parámetros Referencia de parámetros Gestión de parámetros Migración desde variables Ejercicio práctico: Creación, uso y gestión de parámetros Definiciones y plantillas de flujo Descripción general de la definición de flujo Creación de una definición de flujo Importación e implementación de un flujo Uso (migración desde) plantillas Ejercicio práctico: Creación, uso y gestión de definiciones de flujo Apache NiFi Registry Descripción general del Apache NiFi Registry Uso del Registry Ejercicio práctico: Control de versiones de flujos mediante NiFi Registry Atributos de FlowFile Descripción general de los atributos de FlowFile Enrutamiento por atributos Ejercicio práctico: Trabajo con atributos de FlowFile Lenguaje de expresiones de NiFi Descripción general del lenguaje de expresiones de NiFi Sintaxis Editor del lenguaje de expresiones Establecimiento de valores condicionales Ejercicio práctico: Uso del lenguaje de expresiones de NiFi Servicios del controlador Controlador Descripción general de los serviciosServicios de controlador comunesEjercicio práctico: Agregar controlador Apache HiveComponentes basados en registrosDatos orientados a registrosProcesadores basados en registrosRegistro de esquema AvroFormato de esquemaLectura y escritura de datos de registroConsulta de datos de registroConsultaProcesador de registrosEscritura de datos de registroEjercicio práctico: TBD (¿Crear una función para leer y escribir datos?)Enriquecimiento de datos de registroOperaciones ETLProcesador de división y uniónProcesadores de actualización de registrosProcesadores de espera y notificaciónDescripción general de la arquitectura de NiFiDescripción general de la arquitectura de NiFiArquitectura pública CloudArquitectura privada CloudFunciones de flujo de datosDescripción generalFunciones sin servidorDemo: Implementar una definición de flujo como una funciónOptimización del flujo de datosOptimización del flujo de datosTasa de controlAdministración de cómputoEjercicio práctico: Construir un flujo de datos optimizadoSupervisión, informes y solución de problemasSupervisión desde NiFiInformesEjemplos de tareas comunes de informesEjercicio práctico: Supervisión y Informes | Seguridad de NiFi | Descripción general de la seguridad de NiFi | Protección del acceso a la interfaz de usuario de NiFi | Gestión de metadatos | Integración de NiFi | Arquitectura de integración de NiFi | ReadyFlows disponibles | Un vistazo más de cerca a NiFi y Apache Hive

Este curso está diseñado para desarrolladores, ingenieros de datos, administradores y otras personas interesadas en aprender el innovador enfoque gráfico y sin código de NiFi para la ingesta de datos. Si bien no se requiere experiencia en programación, se presupone experiencia básica con Linux y resulta útil tener conocimientos previos sobre conceptos y aplicaciones de Big Data.

Próximas Sesiones

Contáctanos para próximas fechas

Actualmente no hay sesiones programadas para este curso.

Solicitar Información