Architetture multimediali
A.A. 2024/2025
Obiettivi formativi
L'insegnamento si propone di fornire le conoscenze fondamentali per la progettazione e sviluppo di modelli e sistemi digitali per il trattamento, la codifica, la memorizzazione, il recupero e la distribuzione di informazioni multimediali (testi, immagini, audio, video). Durante l'insegnamento verranno trattate problematiche relative all'analisi, progettazione e sincronizzazione di applicazioni multimediali complesse oltre ad attività di ricerca e sviluppo in tale ambito.
Risultati apprendimento attesi
Gli studenti acquisteranno le conoscenze necessarie per la gestione di informazioni multimediali e lo sviluppo di architetture di supporto per la memorizzazione e comunicazione di immagini, audio e video. Inoltre gli studenti svilupperanno competenze analitiche e operative ad alto livello per lo sviluppo di applicazioni multimediali complesse anche a carattere interdisciplinare.
Periodo: Secondo semestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento può essere seguito come corso singolo.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Secondo semestre
Programma
Introduzione: Multimedia e comunicazione digitale
Interaction design per la gestione di contenuti multimediali
Modellazione di dati multimediali: ORDBMs e ORDBMS in Oracle
Sistemi interattivi per la gestione di testi digitali.
Modello recupero dati di tipo booleano, vettoriale e probabilistico.
Text IR vs database systems --> Oracle Text
Text IR system --> Sorl
Design di Agenti conversazionali: Question Answering
Progettazione di Conversational Experience
Creazione di Conversational Experience con DialogFlow e con AI geneative (RAG)
Sistemi interattivi per la gestione di immagini digitali.
Percezione umana dei colori. Modelli colori. Standard per immagini digitali e codifica: GIF, PNG, TIFF, JPEG.
Image IR vs database --> Oracle Multimedia
Image Retrieval: dai pixels allo spazio semantico
Sistemi interattivi per la gestione di audio digitale.
Campionamento, quantizzazione, signal to noise ratio. Standard per codifica audio digitale: WAV, AIFF. Compressione audio. Elementi di psicoacustica, critical bands, mascheramento spaziale e temporale.
Sistemi interattivi per la gestione di video digitale. Modello video dei colori. Compressione video, predictive coding, motion vectors. Standard per video digitali e video encoding.
Audio-video IR vs database --> Oracle Multimedia
Sistemi informativi per la gestione standard di dati multimediali.
Descrittori di contenuti e linguaggi per metadata: MPEG-7.
Sistemi operativi e problematiche per l'erogazione e interazione di media in real-time o quasi in real-time.
Sincronizzazione di multimedia data.
Qualità del servizio sia tecnica che rispetto alla percezione utente.
Real-time scheduling. Protocolli per real-time network .
Interaction design per la gestione di contenuti multimediali
Modellazione di dati multimediali: ORDBMs e ORDBMS in Oracle
Sistemi interattivi per la gestione di testi digitali.
Modello recupero dati di tipo booleano, vettoriale e probabilistico.
Text IR vs database systems --> Oracle Text
Text IR system --> Sorl
Design di Agenti conversazionali: Question Answering
Progettazione di Conversational Experience
Creazione di Conversational Experience con DialogFlow e con AI geneative (RAG)
Sistemi interattivi per la gestione di immagini digitali.
Percezione umana dei colori. Modelli colori. Standard per immagini digitali e codifica: GIF, PNG, TIFF, JPEG.
Image IR vs database --> Oracle Multimedia
Image Retrieval: dai pixels allo spazio semantico
Sistemi interattivi per la gestione di audio digitale.
Campionamento, quantizzazione, signal to noise ratio. Standard per codifica audio digitale: WAV, AIFF. Compressione audio. Elementi di psicoacustica, critical bands, mascheramento spaziale e temporale.
Sistemi interattivi per la gestione di video digitale. Modello video dei colori. Compressione video, predictive coding, motion vectors. Standard per video digitali e video encoding.
Audio-video IR vs database --> Oracle Multimedia
Sistemi informativi per la gestione standard di dati multimediali.
Descrittori di contenuti e linguaggi per metadata: MPEG-7.
Sistemi operativi e problematiche per l'erogazione e interazione di media in real-time o quasi in real-time.
Sincronizzazione di multimedia data.
Qualità del servizio sia tecnica che rispetto alla percezione utente.
Real-time scheduling. Protocolli per real-time network .
Prerequisiti
Database
Metodi didattici
Lezioni frontali con discussioni e presentazioni di casi di studio
Materiale di riferimento
Lucidi dell'insegnamento: https://myariel.unimi.it/course/view.php?id=2023
Nelle diapositive sono indicati libri, articoli e siti web per studio ed approfondimenti.
Letture consigliate:
- Z. Li, M. Drew. Fundamentals of Multimedia, Pearson Educational, 2004
- Multimedia Applications. In B. Fuhrt (ed), Handbook of Internet Computing, CRC Press, 2000
Nelle diapositive sono indicati libri, articoli e siti web per studio ed approfondimenti.
Letture consigliate:
- Z. Li, M. Drew. Fundamentals of Multimedia, Pearson Educational, 2004
- Multimedia Applications. In B. Fuhrt (ed), Handbook of Internet Computing, CRC Press, 2000
Modalità di verifica dell’apprendimento e criteri di valutazione
Le modalità di verifica si suddividono in fasi diverse così articolate:
1. Prova scritta (voto massimo 30/30)
2. Prova orale, approfondimento o progetto (opzionale) che poterà a un incremento o decremento del voto dello scritto di + o - 3 punti
I criteri di valutazione della prova scritta riguardano:
- Grado di conoscenza della materia
- Aderenza della risposta alla traccia
- Capacità di fare collegamenti
- Pertinenza dei contenuti in relazione alla richiesta
I criteri di valutazione della prova orale/approfondimento/progetto riguardano:
- focalizzazione della tematica
- rigore logico e utilizzo di linguaggio tecnico
- correttezza e chiarezza di esposizione
- consapevolezza critica, capacità di interpretazione personale, ricchezza e pertinenza espositiva
1. Prova scritta (voto massimo 30/30)
2. Prova orale, approfondimento o progetto (opzionale) che poterà a un incremento o decremento del voto dello scritto di + o - 3 punti
I criteri di valutazione della prova scritta riguardano:
- Grado di conoscenza della materia
- Aderenza della risposta alla traccia
- Capacità di fare collegamenti
- Pertinenza dei contenuti in relazione alla richiesta
I criteri di valutazione della prova orale/approfondimento/progetto riguardano:
- focalizzazione della tematica
- rigore logico e utilizzo di linguaggio tecnico
- correttezza e chiarezza di esposizione
- consapevolezza critica, capacità di interpretazione personale, ricchezza e pertinenza espositiva
INF/01 - INFORMATICA - CFU: 6
Lezioni: 48 ore
Docente:
Valtolina Stefano
Turni:
Turno
Docente:
Valtolina StefanoDocente/i