Natural interaction
A.A. 2024/2025
Obiettivi formativi
Scopo dell'insegnamento è fornire gli strumenti teorici e applicativi per progettare agenti artificiali in grado di:
- percepire i segnali comportamentali di un utente, mediante sensori contactless (e.g., Kinect,Leap motion, video camere eye-trackers, ecc.) ed analizzarne i principali indicatori
- inferire e predire, a partire dagli indicatori percepiti in un dato contesto, gli stati comportamentali dell'utente
- produrre un feedback appropriato all'utente.
A tal fine il corso si articola in due parti: introduzione rigorosa ai modelli neurobiologici e psicologici dell'interazione naturale basata su gesti, posture e sguardo; tecniche statistiche di apprendimento e inferenza per la modellazione computazionale dell'interazione
- percepire i segnali comportamentali di un utente, mediante sensori contactless (e.g., Kinect,Leap motion, video camere eye-trackers, ecc.) ed analizzarne i principali indicatori
- inferire e predire, a partire dagli indicatori percepiti in un dato contesto, gli stati comportamentali dell'utente
- produrre un feedback appropriato all'utente.
A tal fine il corso si articola in due parti: introduzione rigorosa ai modelli neurobiologici e psicologici dell'interazione naturale basata su gesti, posture e sguardo; tecniche statistiche di apprendimento e inferenza per la modellazione computazionale dell'interazione
Risultati apprendimento attesi
Al termine dell'insegnamento gli studenti saranno in grado di:
1. Individuare la corretta metodologia e le tecniche statistiche appropriate per la progettazione interazioni naturali in regime di incertezza
2. Rilevare ed analizzare i principali segnali comportamentali generati da un utente
3. Progettare e realizzare semplici sistemi basati su interazione naturale per applicazioni di ambienti intelligenti per la vita, biometria comportamentale, industria del divertimento, video-sorveglianza.
Questi obiettivi verranno misurati attraverso la combinazione di tre elementi: la realizzazione software del progetto, la relazione tecnica sul progetto e la discussione orale. Il voto finale è basato sulla valutazione del progetto implementato e della la relazione tecnica incrementato dalla valutazione della discussione orale.
1. Individuare la corretta metodologia e le tecniche statistiche appropriate per la progettazione interazioni naturali in regime di incertezza
2. Rilevare ed analizzare i principali segnali comportamentali generati da un utente
3. Progettare e realizzare semplici sistemi basati su interazione naturale per applicazioni di ambienti intelligenti per la vita, biometria comportamentale, industria del divertimento, video-sorveglianza.
Questi obiettivi verranno misurati attraverso la combinazione di tre elementi: la realizzazione software del progetto, la relazione tecnica sul progetto e la discussione orale. Il voto finale è basato sulla valutazione del progetto implementato e della la relazione tecnica incrementato dalla valutazione della discussione orale.
Periodo: Primo semestre
Modalità di valutazione: Esame
Giudizio di valutazione: voto verbalizzato in trentesimi
Corso singolo
Questo insegnamento può essere seguito come corso singolo.
Programma e organizzazione didattica
Edizione unica
Responsabile
Periodo
Primo semestre
Programma
L'insegnamento ha lo scopo di fornire adeguati strumenti metodologici per modellare la rilevazione e la decodifica di segnali comportamentali dell'utente mediante una varietà di sensori (videocamere, microfoni, Kinect, Leap motion, ecc.). Tale obiettivo richiede la comprensione sia delle basi psicologiche e neurobiologiche del comportamento non verbale sia delle tecniche dell'apprendimento statistico al fine di individuare e progettare modelli computazionali di elaborazione dei segnali comportamentali/sociali.
L'insegnamento si articola in due parti:
Parte 1 Modelli psicologici e neurobiologici di comportamento non verbale
- Interazione con lo sguardo
- Interazione con i gesti
- Interazione con le posture
Parte 2 Modelli di analisi e apprendimento statistico/Bayesiano del comportamento non verbale
- Modelli probabilistici: inferenza e apprendimento
- Modellazione supervisionata con tecniche classiche e tecniche di deep learning
- Modellazione non supervisionata con tecniche classiche e tecniche di deep learning
L'insegnamento si articola in due parti:
Parte 1 Modelli psicologici e neurobiologici di comportamento non verbale
- Interazione con lo sguardo
- Interazione con i gesti
- Interazione con le posture
Parte 2 Modelli di analisi e apprendimento statistico/Bayesiano del comportamento non verbale
- Modelli probabilistici: inferenza e apprendimento
- Modellazione supervisionata con tecniche classiche e tecniche di deep learning
- Modellazione non supervisionata con tecniche classiche e tecniche di deep learning
Prerequisiti
E' fortemente consigliato aver frequentato/sostenuto gli esami di Statistical methods for machine learning, Artificial Intelligence e di Visione Computazionale, o quantomeno di possedere salde nozioni delle tematiche trattate in tali insegnamenti. Capacità di programmazione in Python sono necessarie per lo svolgimento del progetto
Metodi didattici
Lezioni frontali sulle principali tematiche dell'interazione naturale e, durante lo svolgimento del progetto, attività sperimentali e pratiche nel PHUSE Lab
Materiale di riferimento
Il materiale di riferimento (appunti, lucidi delle lezioni, testi di riferimento, articoli, video, software) è aggiornato di volta in volta sul sito web dell'insegnamento su piattaforma Ariel (https://gboccignoneni.ariel.ctu.unimi.it/v5/Home/)
Modalità di verifica dell’apprendimento e criteri di valutazione
L'esame consiste nello svolgimento di un progetto e in una prova orale in cui si discute il progetto. Il progetto è concordato preventivamente con il docente e tipicamente viene individuato in relazione alle attività di ricerca di interazione naturale del laboratorio Perceptual computing and HUman SEnsing (PHUSE Lab).
Verrà affrontato un caso di studio specifico con lo scopo di fornire una soluzione in forma prototipale e la sua validazione sperimentale. A conclusione del progetto, lo studente è tenuto a consegnare una relazione sotto forma di articolo scientifico (in formato LaTeX) che illustra il problema affrontato e i risultati ottenuti corredato da adeguata bibliografia, il software sviluppato come dimostrativo dei risultati sperimentali ottenuti. La prova orale, oltre a discutere e verificare i dettagli del progetto, ha lo scopo di accertare la capacità dello studente di discutere in maniera sistematica e approfondita il lavoro svolto nel quadro degli argomenti trattati nell'insegnamento.
Verrà affrontato un caso di studio specifico con lo scopo di fornire una soluzione in forma prototipale e la sua validazione sperimentale. A conclusione del progetto, lo studente è tenuto a consegnare una relazione sotto forma di articolo scientifico (in formato LaTeX) che illustra il problema affrontato e i risultati ottenuti corredato da adeguata bibliografia, il software sviluppato come dimostrativo dei risultati sperimentali ottenuti. La prova orale, oltre a discutere e verificare i dettagli del progetto, ha lo scopo di accertare la capacità dello studente di discutere in maniera sistematica e approfondita il lavoro svolto nel quadro degli argomenti trattati nell'insegnamento.
INF/01 - INFORMATICA - CFU: 6
Lezioni: 48 ore
Docente:
Boccignone Giuseppe
Turni:
Turno
Docente:
Boccignone GiuseppeSiti didattici
Docente/i