
ARCH-492: Arquitectura de Cloudera Edge a IA
El taller «Arquitectura de Cloudera desde el borde hasta la IA» es un evento de aprendizaje de 4 días que aborda temas avanzados de arquitectura de Big Data para la creación de aplicaciones de borde a IA, incluyendo streaming, procesamiento de datos operativos, análisis y Machine Learning. El taller reúne a colaboradores técnicos en un entorno grupal para diseñar y desarrollar soluciones a un problema empresarial complejo. El taller aborda problemas de arquitectura de Big Data en general y luego los aplica al diseño de un sistema complejo.
A lo largo de este taller altamente interactivo, los participantes aplican conceptos a ejemplos del mundo real, lo que da lugar a debates detallados y sinérgicos. El taller permite a los participantes aprender técnicas para diseñar sistemas Big Data, no solo a partir de la experiencia de Cloudera sino también de las experiencias de otros participantes. Más concretamente, este taller aborda temas avanzados de arquitectura Big Data, como formatos de datos, transformación, transacciones, procesamiento en tiempo real, por lotes y Machine Learning, escalabilidad, tolerancia a fallos, seguridad y privacidad, minimizando el riesgo de una arquitectura y selección de tecnología inadecuadas.
IntroducciónActividad del equipo: Presentaciones del equipoRevisión de tecnologíaCentros de datosTendencias importantes en arquitecturaCiclo de vida de los datosFlujo de datos y transmisiónSpark Transmisión, Flink, Kafka Streams/ConnectComparación de soluciones de transmisiónIngeniería de datosSparkHDFS, OzoneYARN, Kubernetes, YunikornAlmacén de datosHive, Impala, DataVizArquitecturas de almacenes de datos en tiempo realComparación de bases de datos y motores de almacenamientoBase de datos operativaHbase, Phoenix, Kudu, SolrCloudera IAMachine LearningCloudera ObservabilidadAdministrador de replicaciónCasos de uso de la aplicación del tallerOz MetropolitanPreguntas arquitectónicasActividad del equipo: Revisión de casos de uso y arquitectura lógica de Metroz Definición de segmento vertical de la aplicación Minimizar el riesgo de una arquitectura deficiente Seleccionar un segmento vertical Actividad del equipo: Segmento vertical de Metroz Procesamiento de aplicaciones Procesamiento en tiempo real, casi en tiempo real Procesamiento por lotes Patrones de acceso a datos Garantías de entrega y procesamiento Consistencia de datos y transacciones ACID Garantías de procesamiento de flujo Canalizaciones Machine Learning Actividad del equipo: Procesamiento de Metroz Datos de la aplicación Las tres V del ciclo de vida de los datos Formatos de datos Transformación de datos Actividad del equipo: Requisitos de datos de Metroz Aplicaciones escalables Escalar hacia arriba, escalar hacia afuera, escalar a X Determinar si una aplicación escalará Encuesta: diseños de terminales de aeropuerto escalables Escalabilidad Spark y procesamiento paralelo Motores de almacenamiento escalables: HDFS, Ozone, Kafka y Kudu Actividad del equipo: Escalado de Metroz Sistemas distribuidos tolerantes a fallos Principios Transparencia Redundancia de hardware frente a software Tolerancia desastresTolerancia a fallos funcionales sin estadoTolerancia a fallos con estadoReplicación y consistencia de grupoTolerancia de aplicaciones a fallosRESTactividad del equipo: Fallos en MetrozSeguridad y privacidadPrincipiosArquitectura de seguridadArquitectura de seguridad KnoxArquitectura de seguridad RangerEstablecimiento de políticas de seguridad con RangerAnálisis de amenazasActividad del equipo: Asegurar MetrozImplementaciónDimensionamiento y evolución del clústerEn las instalaciones frente a CloudComputación de bordeCloudera en CloudArquitecturaIntroducción a los contenedores y KubernetesActividad del equipo: Implementar MetrozArquitectura de softwareArtefactos de arquitecturaActividad del equipo: Arquitectura física de MetrozMachine Learning e IAIntroducción al ML y la IA en Big DataAplicacionesRol del arquitecto en proyectos impulsados por ML e IAVía de alto nivel de Machine Learning (ML) e inteligencia artificial (IA)Big Data y ML/IA en Cloud público vs. Cloud privado. Desafíos comunes en arquitecturas de ML/IA. Mejores prácticas para la arquitectura de ML e IA en Big Data. Tendencias emergentes. Estudios de IA. Aprenda sobre los estudios de IA. Explicación de las características principales de RAG Studio. Explicación de las características principales de Agent Studio. Creación e implementación de chatbots sensibles al contexto. Herramientas de agentes de IA. Posibles soluciones Cloudera. Revisión de las plataformas Big Data de Uber y Lyft. Revisión de las arquitecturas de soluciones CDP de Metroz. Resumen.
Los participantes deben ser principalmente arquitectos, líderes de equipos de desarrollo, desarrolladores Big Data, ingenieros de datos, analistas sénior, administradores de dev ops y desarrolladores Machine Learning que trabajan en Big Data o aplicaciones de streaming y tienen un interésREST en cómo diseñar y desarrollar dichas aplicaciones en Cloudera. Para obtener el máximo provecho del taller, los participantes deben tener conocimientos prácticos de tecnologías populares de Big Data y streaming como HDFS, Spark, Kafka, Hive/Impala, formatos de datos y sistemas de gestión de bases de datos relacionales. No se necesita un conocimiento detallado de nivel API, ya que no habrá actividades de programación y, en cambio, el enfoque estará en el diseño de la arquitectura. El taller se dividirá en pequeños grupos para discutir los problemas, desarrollar soluciones y presentar sus soluciones.



