
DOPS-244: Apache Kafka en Cloudera
Este curso impartido por un instructor comienza presentando Apache Kafka, explicando sus conceptos clave y arquitectura, y analizando varios casos de uso comunes. Partiendo de esta base, aprenderá a planificar una implementación de Kafka y, a continuación, adquirirá experiencia práctica instalando y configurando su propio clúster multinodo basado en Cloud que ejecuta Kafka en la plataforma de datos (CDP) Cloudera. Posteriormente, utilizará este clúster durante más de 20 ejercicios prácticos que abarcan una variedad de habilidades esenciales, comenzando con la creación de temas, productores y consumidores de Kafka, y continuando con aspectos progresivamente más complejos de las operaciones y el desarrollo de Kafka, como los relacionados con la escalabilidad, la fiabilidad y los problemas de rendimiento. A lo largo del curso, aprenderá y utilizará las herramientas recomendadas por Cloudera para trabajar con Kafka, incluidos Cloudera Manager, Schema Registry, Streams Messaging Manager y Cruise Control.
Durante este curso, aprenderá a: Planificar, implementar y operar clústeres Kafka; Crear y administrar temas; Desarrollar productores y consumidores; Utilizar la replicación para mejorar la tolerancia a fallos; Utilizar el particionamiento para mejorar la escalabilidad; Solucionar problemas comunes y problemas de rendimiento.
Descripción general de Kafka Arquitectura de alto nivel Casos de uso comunes Distribución de Apache Kafka Implementación de Apache Kafka Requisitos del sistema y dependencias Roles de servicio Planificación de la implementación Implementación de los servicios Kafka Ejercicio: Preparación del entorno del ejercicio Ejercicio: Instalación del servicio Kafka con Cloudera Manager Ejercicio (opcional): Creación de paneles de métricas Ejercicio (opcional): Uso de CM API__ Conceptos básicos de la línea de comandos de Kafka Creación y gestión de temas Ejecución de productores y consumidores Uso de Streams Messaging Manager (SMM) Descripción general de Streams Messaging Manager Productores, temas y consumidores Explorador de datos Agentes Gestión de temas Ejercicio: Gestión de temas mediante el CLIExercise: Conectar productores y consumidores desde la línea de comandosKafka Java API BasicsDescripción general de Kafka y APIsGestión de temas desde Java APIEjercicio (opcional): Gestionar temas de Kafka usando Java APIUso de productores y consumidores desde Java APIEjercicio: Desarrollar productores y consumidores con Java APIMejorar la disponibilidad mediante la replicaciónReplicationExercise: Observar el tiempo de inactividad debido a fallos del brokerConsideraciones para el factor de replicaciónExercise: Agregar réplicas para mejorar la disponibilidadMejorar la escalabilidad de la aplicaciónParticionamientoCómo se particionan los mensajesExercise: Observar cómo El particionamiento afecta el rendimientoGrupos de consumidoresEjercicio: Implementación de grupos de consumidoresReequilibrio de consumidoresEjercicio: Uso de una clave para controlar la asignación de particionesMejora de la confiabilidad de la aplicaciónSemántica de entregaDemostración (opcional): ISR frente a ACKEntrega del productorEjercicio: Productor idempotenteTransaccionesEjercicio: Productores y consumidores transaccionalesManejo de fallas del consumidorAdministración de offsetsEjercicio: Detección y supresión de mensajes duplicadosEjercicio: Manejo de registros no válidosManejo de fallas del productorAnálisis de clústeres Kafka con SMMElentidad de extremo a extremoNotificadoresPolíticas de alertaCasos de usoSupervisión de KafkaDescripción general de la supervisiónSupervisión mediante Cloudera ManagerGráficos e informes en CMRecomendaciones de supervisiónMétricas para la resolución de problemasDiagnóstico de fallas del servicioEjercicio: Monitoreo de KafkaAdministración de KafkaAdministración de Kafka Almacenamiento de temasDemostración (opcional): Período de retención de mensajesLimpieza y recopilación de registrosReequilibrio de particionesControl de cruceroEjercicio: Instalación de control de cruceroEjercicio: Solución de problemas de temas KafkaElección de líder no limpioEjercicio: Elección de líder no limpioAdición y eliminación de intermediariosEjercicio: Adición y eliminación de intermediariosMejores prácticasEstructura, formato y versionado de mensajesEstructura de mensajesRegistro de esquemasDefinición de esquemasEvolución y versionado de esquemasCliente de registro de esquemasEjercicio: Uso de un esquema AvroMejora del rendimiento de la aplicaciónTamaño del mensajeAgrupaciónCompresiónEjercicio: Observación de cómo la compresión afecta al rendimientoMejora del rendimiento del servicio KafkaEstrategias de ajuste del rendimiento para el administradorDimensionamiento del clústerEjercicio: Capacidad de planificación necesaria para un caso de uso: Asegurar el clúster Kafka, cifrado, autenticación, autorización, auditoría.
Este curso está diseñado para administradores de sistemas, ingenieros de datos y desarrolladores. Se espera que todos los estudiantes tengan experiencia básica con Linux y se recomienda un dominio básico del lenguaje de programación Java. No se requiere experiencia previa con Apache Kafka.



