
DOPS-242: Ingesta con Cloudera DataFlow y Apache NiFi
Una de las funciones más importantes de una empresa basada en datos es la capacidad de gestionar la ingesta y el flujo de datos en ecosistemas complejos. ¿Cuenta su equipo con las herramientas y habilidades necesarias para lograrlo? Apache NiFi y este curso de cuatro días proporcionan los conceptos fundamentales y la experiencia necesarios para automatizar la entrada, el flujo, la transformación y la salida de datos mediante NiFi. El curso también abarca el ajuste, la resolución de problemas y la monitorización del proceso de flujo de datos, así como la integración de un flujo de datos en el ecosistema híbrido CDP Cloudera y los sistemas externos.
Durante este curso, aprenderá a: Definir, configurar, organizar y administrar flujos de datos Transformar y rastrear datos a medida que fluyen hacia su destino Realizar un seguimiento de los cambios en los flujos de datos con NiFi Registry Utilizar el lenguaje de expresión NiFi para controlar los flujos de datos Optimizar los flujos de datos para un mejor rendimiento y facilidad de mantenimiento Conectar flujos de datos con otros sistemas, como Apache Kafka, Apache Hive y HDFS Utilizar el servicio de flujo de datos
Introducción a la gestión de flujos Cloudera Descripción general de Cloudera Datos en movimiento Interfaz de usuario de NiFi Catálogo de DataFlow ReadyFlows Demostración guiada por el instructor: Interfaz de usuario de NiFi CEH Ejercicio práctico: Cree su primer flujo de datos Procesadores Descripción general de los procesadores Panel de superficie del procesador Configuración del procesador Ejercicio práctico: Comience a crear un flujo de datos con procesadores Conexiones Descripción general de las conexiones Configuración de la conexión Menú contextual del conector Ejercicio práctico: Conectar procesadores en un flujo de datos Flujos de datos Comando y control de un flujo de datos Relaciones de procesadores Contrapresión Priorizadores Etiquetas Ejercicio práctico: Cree un flujo de datos más complejo Ejercicio práctico: Crear una bifurcación mediante relaciones Ejercicio práctico: Establecer umbrales de contrapresión Grupos de procesos Anatomía del grupo de procesos Puertos de entrada y salida Ejercicio práctico: Simplifique los flujos de datos con procesos Grupos, Procedencia de FlowFile, Eventos de procedencia de datos, Linaje de FlowFile, Reproducción de un FlowFile, Ejercicio práctico: Uso de la procedencia de datos, Parámetros, Contextos de parámetros, Referencia de parámetros, Administración de parámetros, Migración desde variables, Ejercicio práctico: Creación, uso y administración de parámetros, Definiciones y plantillas de flujo, Resumen de la definición de flujo, Creación de una definición de flujo, Importación e implementación de un flujo, Uso (migración desde) de plantillas, Ejercicio práctico: Creación, uso y administración de definiciones de flujo, Registro de Apache NiFi, Resumen del Registro de Apache NiFi, Uso del Registro, Ejercicio práctico: Control de versiones de flujos mediante el Registro de NiFi, Atributos de FlowFile, Resumen de atributos de FlowFile, Enrutamiento por atributos, Ejercicio práctico: Trabajo con atributos de FlowFile, Lenguaje de expresiones NiFi, Resumen del lenguaje de expresiones NiFi, Sintaxis, Editor del lenguaje de expresiones, Configuración de valores condicionales, Ejercicio práctico: Uso del lenguaje de expresiones NiFi, Servicios del controlador, Controlador Descripción general de los servicios Servicios comunes del controlador Ejercicio práctico: Agregar controlador Apache Hive Componentes basados en registros Datos orientados a registros Procesadores basados en registros Registro de esquemas Avro Formato de esquema Lectura y escritura de datos de registros Consulta de datos de registros Consulta del procesador de registros Escritura de datos de registros Ejercicio práctico: TBD (¿Crear una función para leer y escribir datos?) Enriquecimiento de datos de registros Operaciones ETL Procesador de división y unión Actualizar procesadores de registros Procesadores de espera y notificación Descripción general de la arquitectura NiFi Descripción general de la arquitectura NiFi Arquitectura pública Cloud Arquitectura privada Cloud Funciones de flujo de datos Descripción general Funciones sin servidor Demostración: Implementar una definición de flujo como una función Optimización del flujo de datos Optimización del flujo de datos Tasa de control Administración de cómputo Ejercicio práctico: Crear un flujo de datos optimizado Monitoreo, informes y solución de problemas Monitoreo desde NiFi Informes Ejemplos de tareas comunes de informes Ejercicio práctico: Monitoreo y Informes de seguridad de NiFi. Resumen de seguridad de NiFi. Protección del acceso a la interfaz de usuario de NiFi. Gestión de metadatos. Integración de NiFi. Arquitectura de integración de NiFi. ReadyFlows disponibles. Un análisis más detallado de NiFi y Apache Hive.
Este curso está diseñado para desarrolladores, ingenieros de datos, administradores y otras personas interesadas en aprender el innovador enfoque gráfico y sin código de NiFi para la ingesta de datos. Si bien no se requiere experiencia en programación, se requiere experiencia básica con TP2TOKEN57 y es recomendable tener experiencia previa con los conceptos y aplicaciones de TP2TOKEN77.



