Cursos de Spark Streaming with Python and Kafka

Apache Spark Streaming es un sistema de procesamiento de flujo de código abierto escalable que permite a los usuarios procesar datos en tiempo real de fuentes apoyadas. Spark Streaming permite el tratamiento de los flujos de datos con tolerancia de errores.

Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a ingenieros de datos, científicos de datos y programadores que desean utilizar Spark Streaming características en el procesamiento y análisis de datos en tiempo real.

Al final de este entrenamiento, los participantes podrán utilizar Spark Streaming para procesar los flujos de datos en vivo para su uso en bases de datos, sistemas de archivos y dashboards en vivo.

Formato del curso

Lecciones y discusiones interactivas.
Muchos ejercicios y prácticas.
Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

Thank you for sending your enquiry! One of our team members will contact you shortly.

Thank you for sending your booking! One of our team members will contact you shortly.

Programa del Curso

Introducción

Descripción general de Spark Streaming Características y arquitectura

Fuentes de datos admitidas
API principales

Preparación del entorno

Dependencias
Spark y contexto de streaming
Conexión con Kafka

Procesamiento de mensajes

Análisis de mensajes entrantes como JSON
Procesos ETL
Inicio del contexto de streaming

Realización de una ventana Stream Processing

Intervalo de deslizamiento
Configuración de entrega de puntos de control
Lanzamiento del entorno

Creación de prototipos del código de procesamiento

Conexión con un tema de Kafka
Recuperación de JSON de la fuente de datos mediante Paw
Variaciones y procesamiento adicional

Transmisión del código

Variables de control de trabajo
Definición de valores para que coincidan
Funciones y condiciones

Adquisición de salida de flujo

Contadores
Salida de Kafka (coincidente y no coincidente)

Solución de problemas

Resumen y conclusión

Requerimientos

Experiencia con Python y Apache Kafka
Familiaridad con las plataformas de procesamiento de flujos

Audiencia

Ingenieros de datos
Científicos de datos
Programadores

7 horas

Testimonios (5)

Ejemplos/ejercicios perfectamente adaptados a nuestro dominio

Luc - CS Group

Curso - Scaling Data Analysis with Python and Dask

Traducción Automática

El entrenador estaba muy disponible para responder a todo tipo de preguntas que hice

Caterina - Stamtech

Curso - Developing APIs with Python and FastAPI

Traducción Automática

Transmitir los conocimientos prácticos y la experiencia del formador.

Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA

Traducción Automática

It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course