Curs Online de Tecnologies de Stream Processing

Programa acadèmic

El curs online de Tecnologies de stream processing és de 6 crèdits ECTS, preveu una dedicació de l'estudiant de 150 hores (25 hores per crèdit) i té una durada aproximada de 4 mesos.

• Continguts

En aquest curs es presenten les tecnologies de processament per fluxos (stream processing), que responen a la necessitat de treballar amb dades massives en temps real. Amb la resolució d'un cas pràctic, es donen a conèixer aquestes tecnologies de manera teòrica i pràctica.

1. Mòdul 1. Introducció a l'streaming i captura de dades en flux

2. Mòdul 2. Arquitectures per als sistemes en streaming i la seva implementació

3. Mòdul 3. Tècniques de processament i algorismes per a sistemes en streaming

4. Mòdul 4. Aprenentatge automàtic (machine learning) amb dades en flux

• Resultats d'aprenentatge

En aquest curs adquiriràs els coneixements, les habilitats i les competències següents:

Knowledge [K] - Skill [S] - Competence [C]

1. [K] Identificar el sistema d'emmagatzematge de dades més adequat per a un determinat projecte o tipus d'informació.

2. [K] Comprendre els mecanismes d'extracció i transformació de dades, ja sigui a partir d'una única font de dades o fent ús de múltiples fonts de dades.

3. [K] Identificar els punts crítics en un projecte d'intel·ligència de negoci, big data o anàlisi de dades, així com les febleses principals que puguin dificultar la finalització reeixida del projecte.

4. [S] Conceptualitzar i dissenyar un flux de treball que permeti resoldre problemes específics entorn d'un projecte d'intel·ligència de negoci, big data o anàlisi de dades.

5. [S] Analitzar, conceptualitzar, dissenyar i desenvolupar aplicacions per a la resolució de problemes específics en el context d'un projecte d'intel·ligència de negoci, big data o anàlisi de dades.

6. [S] Treballar en un entorn virtual per a la realització d'aplicacions en el context d'un projecte d'intel·ligència de negoci, big data o anàlisi de dades.

7. [C] Desenvolupar el pensament crític i autocrític en l'anàlisi, la conceptualització i el disseny de projectes d'intel·ligència de negoci, big data o anàlisi de dades.

8. [C] Dissenyar, desenvolupar i gestionar projectes d'intel·ligència de negoci, big data o anàlisi de dades, adaptant-se a l'evolució de les tecnologies, els llenguatges de programació i les necessitats d'empreses, d'institucions i, en general, de la societat.

Pots consultar el pla docent del curs a través d'aquest enllaç.

Aquest curs correspon al nivell 7 del Marc europeu de qualificacions (EQF), equivalent a un nivell de màster.

Objectius

El curs de Tecnologies de stream processing té com a objectiu principal dotar els professionals dels coneixements necessaris per entendre de manera àmplia i pràctica aquest sistema de processament de dades. 

Objectius específics

• Comprendre els conceptes i les definicions formals associades a l'anàlisi de dades en flux en entorns big data.

• Identificar els elements tecnològics necessaris en qualsevol projecte basat en l'ús de dades en flux en entorns big data.

• Conèixer les metodologies més adequades per a la implementació de sistemes de big data per processar dades en flux.

• Conèixer les principals eines disponibles per a la captura i l'anàlisi de dades en flux, especialment dels ecosistemes d'Apache.

• Obtenir suficiència en la captura de dades mitjançant Apache Flume i Apache Kafka.

• Conèixer el funcionament bàsic de les eines i els entorns (frameworks) principals per al processament de dades en flux en entorns big data: Apache Spark, Spark Streaming, Apache Structured Streaming i Storm.

• Construir models que generin coneixement com a resultat de l'anàlisi de dades en flux.