Agire nell'ambiente comporta una complessa interazione tra informazioni visive e non visive derivanti da stati corporei e interni. Poiché le azioni, l'elaborazione multisensoriale e gli stati interni sono strettamente collegati, li ho studiati in un ciclo chiuso azione/percezione, concentrandomi sulla comprensione di come il rilevamento degli stati interni/esterni del corpo permetta agli esseri umani di aiutare l'interpretazione degli stimoli visivi per ottenere una rappresentazione stabile e coerente del mondo, che a sua volta influenza i giudizi motori e percettivi. Per migliorare le misure di percezione-azione, sviluppo e collaudo modelli computazionali e integro nuove tecnologie. Tutto questo è possibile nei miei laboratori (Active vision, Eye Movement and VR Lab), dove vengono utilizzati diversi metodi, tra cui l'analisi cinematica, la VR, i tempi di reazione, la psicofisica, con l'ausilio di un sofisticato sistema di rendering e di Eye and motion tracking. Le nostre attività sono organizzate in 3 linee di ricerca principali:

Visione attiva: Approfondimenti sulla percezione di un mondo stabile in VR

Uno dei veri misteri della percezione visiva risiede nella sensazione di stabilità visiva che gli oggetti 3D trasmettono quando vengono osservati durante i movimenti del corpo. Quando un osservatore si muove, le proiezioni retiniche degli oggetti 3D nel mondo cambiano di conseguenza, ma noi tendiamo a percepire il mondo esterno come quasi stabile. Questa ricerca mira a capire come il rilevamento dei movimenti del corpo permetta agli osservatori umani di aiutare l'interpretazione degli stimoli visivi per raggiungere la stabilità visiva, ridurre la sensibilità al movimento e migliorare il rilevamento delle caratteristiche ambientali.

Parte di questo programma utilizza il nostro Active Vision Apparatus, che per mezzo di un OPTOTRAK Certus consente la localizzazione precisa di marcatori a infrarossi fissati rigidamente alla testa dell'osservatore. Ciò consente di tracciare con precisione la posizione 3D della testa dell'osservatore. Queste informazioni vengono trasmesse in tempo reale al PC che genera le immagini degli oggetti 3D su un display ad alta risoluzione. La VR immersiva in modalità singola e condivisa è invece testata da un proiettore stereo pilotato da un PC standard dotato di CPU Core i7 6800K, 16 GB di RAM e scheda grafica nVidia GeForce GTX 1080 che, per scopi multiutente, può essere collegato in rete con altri PC. Ogni PC, attraverso i nostri moduli personalizzati, può essere interfacciato con diversi dispositivi hardware per consentire un'esperienza immersiva profonda, una presenza congiunta e l'interattività, come il display montato sulla testa Oculus Rift, i controller Oculus Touch, il sensore Leap Motion e i dispositivi 3Dconnexion.

Completamento visivo e informazioni non visive

I sistemi biologici recuperano la struttura del mondo (1) cogliendo invarianti proiettive che specificano le proprietà 3D di oggetti distali parzialmente specificati nell'immagine (Fantoni 2008) e (2) utilizzando processi di interpolazione/approssimazione per superare la frammentazione spaziale e temporale dovuta all'occlusione, sia a livello di contorni che di superfici (Fantoni, Gerbino et al., 2003; Fantoni, Gerbino et al., 2008). Sebbene la percezione di interi da frammenti visivi sia stata tradizionalmente considerata solo come il risultato dell'elaborazione di dati sensoriali, evidenze crescenti suggeriscono che potrebbe essere una componente del ciclo azione-percezione e che potrebbe dipendere dalle qualità espressive e dall'integrazione multisensoriale dei segnali corporei o di sensi non visivi come l'acustica. In questo progetto abbiamo misurato come il completamento visivo dipenda da queste forme di integrazione sensoriale.

Azione per la percezione: Approfondimenti su come le azioni dirette all'obiettivo influenzano la percezione e viceversa

La ricerca classica sui movimenti prensili si è concentrata sul ruolo della visione per il controllo di azioni motorie fondamentali che gli esseri umani eseguono con grande destrezza, come raggiungere e afferrare (Goodale, Milner, Jakobson, & Carey, 1991). D'altra parte, la visione 3D è stata tradizionalmente considerata come un processo di integrazione ottimale dei dati sensoriali che porta a una rappresentazione 3D quasi metrica dell'ambiente.

Alcuni recenti lavori del mio laboratorio stanno mettendo in discussione questi punti di vista, dimostrando che la propriocezione della mano indotta da un adattamento visuo-motorio congruente/incongruente potrebbe alterare le caratteristiche di base percepite degli oggetti, come la forma, la posizione e la dimensione, nonché la sensibilità tattile (Volcic et al., 2013). Inoltre, abbiamo recentemente scoperto che la qualità percepita della nostra esperienza globale dell'ambiente può essere modulata dalla valenza dell'azione. Questo risultato fornisce una prima prova che le qualità espressive dell'ambiente sociale possono essere alterate dai sentimenti soggettivi associati alle azioni motorie (Fantoni & Gerbino, 2014). Viceversa, abbiamo recentemente dimostrato che i fattori contestuali legati alle norme sociali influenzano sistematicamente il modo in cui le mani sono dirette verso gli oggetti (Fantoni et al., 2016).

Questo programma cerca quindi di ampliare entrambi i punti di vista principali sulla visione e sul controllo motorio, fornendo e testando prove che dimostrano che: (1) le azioni dirette all'obiettivo non sono solo guidate dalla vista, ma anche dalle emozioni e dalla società; (2) la percezione visiva non dipende solo dallo stimolo, ma anche dall'azione e dalle emozioni. Il modo in cui diversi tipi di alterazioni percettive (sia visive che emotive) sono indotte dal comfort/disagio sarà ulteriormente testato attraverso un paradigma ispirato alla nostra nuova Motor Action Mood Induction Procedure - MAMIP - (Fantoni & Gerbino, in press). Ciò è necessario per comprendere come le diverse fonti di alterazione dell'umore, come suoni, luci e vibrazioni, possano penetrare nella percezione (Lorenzino, Rigutti, Bovenzi, Fantoni, Bregant, in stampa).