ARCH-492: Arquitectura de Cloudera Edge para IA
Arquitectura Cloudera del Edge a la IA es un evento de aprendizaje de 4 días que aborda temas avanzados de arquitectura Big Data para el desarrollo de aplicaciones del edge a la IA, abarcando la transmisión, el procesamiento de datos operativos, el análisis y Machine Learning. El taller reúne a colaboradores técnicos en un grupo para diseñar y diseñar soluciones a un problema empresarial complejo. El taller aborda problemas de arquitectura Big Data en general y luego los aplica al diseño de un sistema complejo.
28 horas
VirtualA lo largo de este taller altamente interactivo, los participantes aplican conceptos a ejemplos reales, lo que da lugar a debates sinérgicos y detallados. El taller permite a los participantes aprender técnicas para la arquitectura de sistemas Big Data, no solo a partir de la experiencia de Cloudera, sino también de la de otros participantes. Más específicamente, este taller aborda temas avanzados de arquitectura Big Data, incluyendo formatos de datos, transformación, transacciones, procesamiento en tiempo real, por lotes y Machine Learning, escalabilidad, tolerancia a fallos, seguridad y privacidad, minimizando el riesgo de una arquitectura y selección de tecnología inadecuadas.
IntroducciónActividad del equipo: Presentaciones del equipoRevisión de tecnologíaCentros de datosTendencias importantes de arquitecturaCiclo de vida de los datosFlujo de datos y transmisiónSpark Transmisión, Flink, Kafka Transmisiones/ConexiónComparación de soluciones de transmisiónIngeniería de datosSparkHDFS, OzoneYARN, Kubernetes, YunikornAlmacén de datosHive, Impala, DataVizArquitecturas de almacenamiento de datos en tiempo realComparación de bases de datos y motores de almacenamientoBase de datos operativaHbase, Phoenix, Kudu, SolrCloudera AIMachine LearningCloudera ObservabilidadAdministrador de replicaciónCasos de uso de aplicaciones de tallerOz MetropolitanPreguntas de arquitecturaActividad del equipo: Revisión de casos de uso y arquitectura lógica de Metroz. Definición de la sección vertical de la aplicación. Minimización del riesgo de una arquitectura deficiente. Selección de una sección vertical. Actividad de equipo: Sección vertical de Metroz. Procesamiento de aplicaciones. Procesamiento en tiempo real, casi en tiempo real. Procesamiento por lotes. Patrones de acceso a datos. Garantías de entrega y procesamiento. Consistencia de datos y transacciones ACID. Garantías de procesamiento de flujo. Canalizaciones de Machine Learning. Actividad de equipo: Procesamiento de Metroz. Datos de aplicación. Las tres V de Big Data. Ciclo de vida de los datos. Formatos de datos. Transformación de datos. Actividad de equipo: Requisitos de datos de Metroz. Aplicaciones escalables. Escalar verticalmente, escalar horizontalmente, escalar a X. Determinar si una aplicación escalará. Encuesta: diseños escalables de terminales de aeropuerto. Escalabilidad y procesamiento paralelo de Spark. Motores de almacenamiento escalables: HDFS, Ozone, Kafka y Kudu. Actividad de equipo: Escalado de Metroz. Sistemas distribuidos con tolerancia a fallos. Principios. Transparencia. Redundancia de hardware vs. software. Tolerancia. Desastres. Tolerancia a fallos funcionales sin estado. Tolerancia a fallos con estado. Replicación y consistencia de grupo. Tolerancia de aplicaciones a fallos. Actividad de equipo: Fallos en Metroz. Seguridad y privacidad. Principios. Arquitectura de seguridad. Arquitectura de seguridad Knox. Arquitectura de seguridad Ranger. Establecimiento de políticas de seguridad con Ranger. Análisis de amenazas. Actividad de equipo: Protección de Metroz. Implementación. Dimensionamiento y evolución de clústeres. Local vs. Cloud. Computación de borde. Cloudera en la arquitectura Cloud. Introducción a los contenedores y Kubernetes. Actividad de equipo: Implementación de Metroz. Arquitectura de software. Artefactos de arquitectura. Actividad de equipo: Arquitectura física de Metroz. Machine Learning e IA. Introducción al aprendizaje automático (ML) y la IA en aplicaciones Big Data. Rol del arquitecto en proyectos impulsados por ML e IA. Visión general de Machine Learning (ML) e inteligencia artificial. (IA)Big Data y ML/IA en Cloud público vs. Cloud privado Desafíos comunes en arquitecturas de ML/IA Mejores prácticas para la arquitectura de ML e IA en Big Data Tendencias emergentes Estudios de IA Conocer los Estudios de IA Explicar las características principales de RAG Studio Explicar las características principales de Agent Studio Crear e implementar chatbots contextuales Herramientas de agente de IA Posibles soluciones Cloudera Revisión de las plataformas Big Data de Uber y Lyft Revisión de las arquitecturas de soluciones CDP de Metroz Resumen
Los participantes deben ser principalmente arquitectos, líderes de equipos de desarrollo, desarrolladores de Big Data, ingenieros de datos, analistas sénior, administradores de operaciones de desarrollo y desarrolladores de Machine Learning que trabajen en Big Data o aplicaciones de streaming y que tengan interés en el diseño y desarrollo de dichas aplicaciones en Cloudera. Para aprovechar al máximo el taller, los participantes deben tener conocimientos prácticos de las tecnologías de Big Data y streaming más populares, como HDFS, Spark, Kafka, Hive/Impala, formatos de datos y sistemas de gestión de bases de datos relacionales. No se requieren conocimientos detallados de API, ya que no habrá actividades de programación y, en su lugar, el enfoque se centrará en el diseño de la arquitectura. El taller se dividirá en grupos pequeños para debatir los problemas, desarrollar soluciones y presentarlas.
