Cloudera

DOPS-244: Apache Kafka en Cloudera

Este curso de cuatro días, dirigido por un instructor, comienza con una introducción a Apache Kafka, explicando sus conceptos clave y arquitectura, y analizando varios casos de uso comunes. Sobre esta base, aprenderá a planificar una implementación de Kafka y, posteriormente, adquirirá experiencia práctica instalando y configurando su propio clúster multinodo basado en Cloud, ejecutando Kafka en Cloudera. Posteriormente, utilizará este clúster en más de 20 ejercicios prácticos que abarcan diversas habilidades esenciales, comenzando con la creación de temas, productores y consumidores de Kafka, y continuando con aspectos cada vez más complejos de las operaciones y el desarrollo de Kafka, como los relacionados con la escalabilidad, la fiabilidad y los problemas de rendimiento. A lo largo del curso, aprenderá y utilizará las herramientas recomendadas de Cloudera para trabajar con Kafka, incluido Cloudera Manager, Schema Registry, Streams Messaging Manager y Cruise Control.

28 horas · Virtual
28 horas
Virtual

Durante este curso, aprenderá a: Planificar, implementar y operar clústeres Kafka Crear y administrar temas Desarrollar productores y consumidores Usar la replicación para mejorar la tolerancia a fallas Usar particionamiento para mejorar la escalabilidad Solucionar problemas comunes y problemas de rendimiento

Descripción general de afka Arquitectura de alto nivel Casos de uso comunes Distribución de Apache de Cloudera Kafka Implementación de Apache Kafka Requisitos y dependencias del sistema Roles de servicio Planificación de la implementación Implementación de servicios de Kafka Ejercicio: Preparación del entorno del ejercicio Ejercicio: Instalación del servicio Kafka con el administrador de Cloudera Ejercicio (opcional): Crear paneles de métricas Ejercicio (opcional): Uso del CM API__ Conceptos básicos de la línea de comandos de TP2TOKEN46__ Crear y administrar temas Ejecución de productores y consumidores Uso del administrador de mensajes de Streams (SMM) Descripción general del administrador de mensajes de Streams Productores, temas y consumidores Explorador de datos Brokers Administración de temas Ejercicio: Administración de temas mediante CLIEjercicio: Conexión de productores y consumidores desde la línea de comandosKafka Conceptos básicos de Java API Descripción general de los API de Kafka Administración de temas desde Java API Ejercicio (opcional): Administración de temas de Kafka mediante Java API Uso de productores y consumidores desde Java API Ejercicio: Desarrollo de productores y consumidores con Java API Mejora de la disponibilidad mediante replicación Replicación Ejercicio: Observación del tiempo de inactividad debido a un fallo del agente Consideraciones para el factor de replicación Ejercicio: Adición de réplicas para mejorar la disponibilidad Mejora de la escalabilidad de la aplicación Particionamiento Cómo se particionan los mensajes Ejercicio: Observación de cómo El particionamiento afecta el rendimiento. Grupos de consumidores. Ejercicio: Implementación de grupos de consumidores. Reequilibrio de consumidores. Ejercicio: Uso de una clave para controlar la asignación de particiones. Mejora de la fiabilidad de las aplicaciones. Semántica de entrega. Demostración (opcional): ISR frente a ACK. Entrega del productor. Ejercicio: Transacciones de productor idempotente. Ejercicio: Productores y consumidores transaccionales. Gestión de fallos del consumidor. Gestión de desplazamientos. Ejercicio: Detección y supresión de mensajes duplicados. Ejercicio: Gestión de registros no válidos. Gestión de fallos del productor. Análisis de clústeres Kafka con SMME. Latencia de extremo a extremo. Notificadores. Políticas de alerta. Casos de uso. Supervisión de Kafka. Descripción general de la supervisión. Supervisión con el administrador Cloudera. Gráficos e informes en CMS. Recomendaciones de supervisión. Métricas para Solución de problemas | Diagnóstico de fallos del servicio | Ejercicio: Supervisión de Kafka | Administración de Kafka | Almacenamiento de temas | Demostración (opcional): Periodo de retención de mensajes | Limpieza y recopilación de registros | Reequilibrio de particiones | Control de crucero | Ejercicio: Instalación de Control de crucero | Ejercicio: Solución de problemas de Kafka | Temas | Elección de líder no limpia | Ejercicio: Elección de líder no limpia | Adición y eliminación de intermediarios | Ejercicio: Adición y eliminación de intermediarios | Prácticas recomendadas | Estructura, formato y control de versiones de los mensajes | Estructura de los mensajes | Registro de esquemas | Definición de esquemas | Evolución y control de versiones de los esquemas | Cliente del Registro de esquemas | Ejercicio: Uso de un esquema Avro | Mejora del rendimiento de la aplicación | Tamaño del mensaje | Procesamiento por lotes | Compresión | Ejercicio: Observación de cómo la compresión afecta al rendimiento | Mejora del rendimiento del servicio Kafka | Ajuste del rendimiento Estrategias para el administradorDimensionamiento del clústerEjercicio: Planificación de la capacidad necesaria para un caso de usoAseguramiento del clúster KafkaCifradoAutenticaciónAutorizaciónAuditoría

Este curso está diseñado para administradores de sistemas, ingenieros de datos y desarrolladores. Se espera que todos los estudiantes tengan experiencia básica en Linux y se recomienda un dominio básico del lenguaje de programación Java. No se requiere experiencia previa con Apache Kafka.

Próximas Sesiones

Contáctanos para próximas fechas

Actualmente no hay sesiones programadas para este curso.

Solicitar Información