Cloudera

DOPS-244: Apache Kafka en Cloudera

Este curso impartido por un instructor comienza con la introducción de Apache Kafka, explicando sus conceptos clave y arquitectura, y analizando varios casos de uso comunes. Sobre esta base, aprenderá a planificar una implementación de Kafka y, posteriormente, adquirirá experiencia práctica instalando y configurando su propio clúster multinodo basado en Cloud que ejecuta Kafka en la Plataforma de Datos (CDP) Cloudera. Posteriormente, utilizará este clúster en más de 20 ejercicios prácticos que abarcan diversas habilidades esenciales, comenzando con la creación de temas, productores y consumidores de Kafka, y continuando con aspectos cada vez más complejos de las operaciones y el desarrollo de Kafka, como los relacionados con la escalabilidad, la fiabilidad y los problemas de rendimiento. A lo largo del curso, aprenderá y utilizará las herramientas recomendadas de Cloudera para trabajar con Kafka, incluido Cloudera Manager, Schema Registry, Streams Messaging Manager y Cruise Control.

28 horas · Virtual
28 horas
Virtual

Durante este curso, aprenderá a: Planificar, implementar y operar clústeres Kafka Crear y administrar temas Desarrollar productores y consumidores Usar la replicación para mejorar la tolerancia a fallas Usar particionamiento para mejorar la escalabilidad Solucionar problemas comunes y problemas de rendimiento

Descripción general de Kafka Arquitectura de alto nivel Casos de uso comunes Distribución de Apache de Cloudera Implementación de Apache Requisitos y dependencias del sistema Roles de servicio Planificación de la implementación Implementación de servicios de Kafka Ejercicio: Preparación del entorno del ejercicio Ejercicio: Instalación del servicio Kafka con el administrador de Cloudera Ejercicio (opcional): Crear paneles de métricas Ejercicio (opcional): Uso del CM API__ Conceptos básicos de la línea de comandos de TP2TOKEN46__ Crear y administrar temas Ejecución de productores y consumidores Uso del administrador de mensajes de Streams (SMM) Descripción general del administrador de mensajes de Streams Productores, temas y consumidores Explorador de datos Brokers Administración de temas Ejercicio: Administración de temas mediante el CLIEjercicio: Conexión de productores y consumidores desde la línea de comandosKafka Conceptos básicos de Java API Descripción general de los API de Kafka Administración de temas desde Java API Ejercicio (opcional): Administración de temas de Kafka mediante Java API Uso de productores y consumidores desde Java API Ejercicio: Desarrollo de productores y consumidores con Java API Mejora de la disponibilidad mediante replicación Replicación Ejercicio: Observación del tiempo de inactividad debido a un fallo del agente Consideraciones para el factor de replicación Ejercicio: Adición de réplicas para mejorar la disponibilidad Mejora de la escalabilidad de la aplicación Particionamiento Cómo se particionan los mensajes Ejercicio: Observación de cómo El particionamiento afecta el rendimiento. Grupos de consumidores. Ejercicio: Implementación de grupos de consumidores. Reequilibrio de consumidores. Ejercicio: Uso de una clave para controlar la asignación de particiones. Mejora de la fiabilidad de las aplicaciones. Semántica de entrega. Demostración (opcional): ISR vs. ACK. Entrega del productor. Ejercicio: Productor idempotente. Transacciones. Ejercicio: Productores y consumidores transaccionales. Gestión de fallos del consumidor. Gestión de desplazamientos. Ejercicio: Detección y supresión de mensajes duplicados. Ejercicio: Gestión de registros no válidos. Gestión de fallos del productor. Análisis de clústeres Kafka con SMME. Latencia de extremo a extremo. Notificadores. Políticas de alerta. Casos de uso. Monitoreo de Kafka. Resumen del monitoreo. Monitoreo con el administrador Cloudera. Gráficos e informes en CMS. Recomendaciones de monitoreo. Métricas para la solución de problemas. Diagnóstico de fallos del servicio. Ejercicio: Supervisión de KafkaAdministración de KafkaAdministración de KafkaAlmacenamiento de temasDemostración (opcional): Periodo de retención de mensajesLimpieza y recopilación de registrosReequilibrio de particionesControl de cruceroEjercicio: Instalación de Control de cruceroEjercicio: Solución de problemas de KafkaTemasElección de líder no limpiaEjercicio: Elección de líder no limpiaAdición y eliminación de intermediariosEjercicio: Adición y eliminación de intermediariosPrácticas recomendadasEstructura, formato y control de versiones de los mensajesEstructura del mensajeRegistro de esquemasDefinición de esquemasEvolución y control de versiones de los esquemasCliente del registro de esquemasEjercicio: Uso de un esquema AvroMejora del rendimiento de la aplicaciónTamaño del mensajeAgrupamiento por lotesCompresiónEjercicio: Observación de cómo la compresión afecta al rendimientoMejora del rendimiento del servicio KafkaEstrategias de ajuste del rendimiento para el administradorDimensionamiento del clústerEjercicio: Planificación de la capacidad necesaria para un caso de usoProtección del clúster KafkaCifradoAutenticaciónAutorizaciónAuditoría

Este curso está diseñado para administradores de sistemas, ingenieros de datos y desarrolladores. Se espera que todos los estudiantes tengan experiencia básica en Linux y se recomienda un dominio básico del lenguaje de programación Java. No se requiere experiencia previa con Apache Kafka.

Próximas Sesiones