Sound in interaction
A.A. 2021/2022
Obiettivi formativi
L'insegnamento si propone di fornire agli studenti conoscenze riguardo ai principi e alle tecnologie per il design, la sintesi e il rendering del suono in contesti interattivi. I principali ambiti applicativi comprendono realtà virtuale e aumentata multimodali, sonic interaction design, interfacce accessibili, strumenti musicali digitali.
Risultati apprendimento attesi
Al termine dell'insegnamento lo studente dovrà essere in grado di progettare modelli di sintesi e rendering del suono e di implementarli su piattaforme real-time. Dovrà essere inoltre in grado di comunicare efficacemente quanto appreso, usando le modalità della scrittura scientifica.
Periodo: Primo semestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento non può essere seguito come corso singolo. Puoi trovare gli insegnamenti disponibili consultando il catalogo corsi singoli.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Primo semestre
Didattica fase emergenziale
Metodi didattici
Le lezioni si terranno sulla piattaforma Zoom, potranno essere seguite in sincrono sulla base dell'orario ufficiale, e in asincrono perché saranno registrate e lasciate a disposizione degli studenti sul sito del corso.
Programma e materiale di riferimento
Il programma e il materiale di riferimento non subiranno variazioni.
Modalità di verifica dell'apprendimento e criteri di valutazione
L'esame orale si svolgerà utilizzando la piattaforma Zoom, senza altre variazioni.
Metodi didattici
Le lezioni si terranno sulla piattaforma Zoom, potranno essere seguite in sincrono sulla base dell'orario ufficiale, e in asincrono perché saranno registrate e lasciate a disposizione degli studenti sul sito del corso.
Programma e materiale di riferimento
Il programma e il materiale di riferimento non subiranno variazioni.
Modalità di verifica dell'apprendimento e criteri di valutazione
L'esame orale si svolgerà utilizzando la piattaforma Zoom, senza altre variazioni.
Programma
Il programma verte sui seguenti argomenti
1) Introduzione all'audio per realtà virtuale:
- Pipeline di rendering
- Approcci a sintesi e rendering audio
- Immersione e presenza
2) Modelli procedurali per la sintesi del suono
- Sintesi basate sul segnale
- Sintesi basate sulla sorgente e modelli fisici
- Latenza, aspetti percettivi e computazionali
3) Rendering 3D del suono
- Percezione spaziale del suono
- Riverberazione e acustica virtuale
- Rendering binaurale
Il principale strumento software utilizzato è Pure-Data:
- Introduzione all'ambiente pure-data
- Dataflow e controllo
- Gestione dell'audio in tempo reale
1) Introduzione all'audio per realtà virtuale:
- Pipeline di rendering
- Approcci a sintesi e rendering audio
- Immersione e presenza
2) Modelli procedurali per la sintesi del suono
- Sintesi basate sul segnale
- Sintesi basate sulla sorgente e modelli fisici
- Latenza, aspetti percettivi e computazionali
3) Rendering 3D del suono
- Percezione spaziale del suono
- Riverberazione e acustica virtuale
- Rendering binaurale
Il principale strumento software utilizzato è Pure-Data:
- Introduzione all'ambiente pure-data
- Dataflow e controllo
- Gestione dell'audio in tempo reale
Prerequisiti
Non vi sono prerequisiti specifici differenti da quelli richiesti per l'accesso al corso di laurea.
Metodi didattici
L'intero insegnamento viene svolto mediante lezioni frontali.
Materiale di riferimento
Sito web:
http://favanzinisi.ariel.ctu.unimi.it
Per la parte relativa a modelli procedurali per la sintesi del suono:
- Andy Farnell, "Designing Sound", MIT press (2010)
Per la parte relativa a rendering 3D del suono:
- Bosun Xie, "Head-related transfer function and virtual auditory display",
2nd edition, J. Ross Publishing (2013)
- Frank Zotter and Matthias Frank, "Ambisonics"
Springer Open (2019)
https://www.springer.com/gp/book/9783030172060
Durante le lezioni il docente segnala i riferimenti di numerosi articoli scientifici.
Ulteriore materiale integrativo preparato dal docente viene reso disponibile sul sito web dell'insegnamento.
http://favanzinisi.ariel.ctu.unimi.it
Per la parte relativa a modelli procedurali per la sintesi del suono:
- Andy Farnell, "Designing Sound", MIT press (2010)
Per la parte relativa a rendering 3D del suono:
- Bosun Xie, "Head-related transfer function and virtual auditory display",
2nd edition, J. Ross Publishing (2013)
- Frank Zotter and Matthias Frank, "Ambisonics"
Springer Open (2019)
https://www.springer.com/gp/book/9783030172060
Durante le lezioni il docente segnala i riferimenti di numerosi articoli scientifici.
Ulteriore materiale integrativo preparato dal docente viene reso disponibile sul sito web dell'insegnamento.
Modalità di verifica dell’apprendimento e criteri di valutazione
L'esame consiste nello sviluppo di un progetto, da documentare tramite una relazione scritta nella forma di un articolo scientifico, e da discutere criticamente in una prova orale. Il progetto può essere sviluppato individualmente o in gruppi di due studenti.
La valutazione è espressa in trentesimi e tiene conto dei seguenti parametri: grado di conoscenza degli argomenti, capacità di applicare le conoscenze alla risoluzione di problemi concreti, capacità di ragionamento logico e critico.
La valutazione è espressa in trentesimi e tiene conto dei seguenti parametri: grado di conoscenza degli argomenti, capacità di applicare le conoscenze alla risoluzione di problemi concreti, capacità di ragionamento logico e critico.
Docente/i