[ad_1]
Benjamin Warf, un rinomato neurochirurgo del Boston Children’s Hospital, si trova nel MIT.nano Immersion Lab. A più di 3.000 miglia di distanza, il suo avatar virtuale si trova accanto a Matheus Vasconcelos in Brasile mentre il residente pratica un delicato intervento chirurgico su un modello simile a una bambola del cervello di un bambino.
Con un paio di occhiali per la realtà virtuale, Vasconcelos è in grado di guardare l’avatar di Warf dimostrare una procedura di chirurgia cerebrale prima di replicare lui stesso la tecnica e mentre fa domande al gemello digitale di Warf.
“È un’esperienza quasi fuori dal corpo”, dice Warf guardando il suo avatar interagire con i residenti. “Forse è come ci si sente ad avere un gemello identico?”
E questo è l’obiettivo: il gemello digitale di Warf ha colmato la distanza, permettendogli di essere funzionalmente in due posti contemporaneamente. “È stato il mio primo allenamento con questo modello e ha avuto prestazioni eccellenti”, afferma Vasconcelos, specializzando in neurochirurgia presso la Scuola di Scienze Mediche Santa Casa de São Paulo a San Paolo, in Brasile. “Come specializzando, ora mi sento più sicuro e a mio agio nell’applicare la tecnica in un paziente reale sotto la guida di un professore.”
L’avatar di Warf è arrivato tramite un nuovo progetto lanciato dalla società di simulatori medici e realtà aumentata (AR) EDUCSIM. L’azienda fa parte della coorte 2023 di START.nano, l’acceleratore deep-tech del MIT.nano che offre alle startup in fase iniziale l’accesso scontato ai laboratori del MIT.nano.
Nel marzo 2023, Giselle Coelho, direttrice scientifica di EDUCSIM e neurochirurgo pediatrico presso l’ospedale pediatrico Santa Casa de São Paulo e Sabará, ha iniziato a lavorare con il personale tecnico del MIT.nano Immersion Lab per creare l’avatar di Warf. A novembre, l’avatar stava formando futuri chirurghi come Vasconcelos.
“Ho avuto l’idea di creare l’avatar del Dr. Warf come prova di concetto e ho chiesto: ‘Quale sarebbe il posto nel mondo in cui stanno lavorando su tecnologie del genere?'” Afferma Coelho. “Poi ho trovato MIT.nano.”
Catturare un chirurgo
Come specializzanda in neurochirurgia, Coelho era così frustrata dalla mancanza di opzioni di formazione pratica per interventi chirurgici complessi che costruì il proprio modello di cervello infantile. Il modello fisico contiene tutte le strutture del cervello e può persino sanguinare, “simulando tutte le fasi di un intervento chirurgico, dall’incisione alla chiusura della pelle”, afferma.
Ben presto scoprì che i simulatori e le dimostrazioni di realtà virtuale (VR) riducevano la curva di apprendimento dei suoi stessi residenti. Coelho ha lanciato EDUCSIM nel 2017 per espandere la varietà e la portata della formazione per residenti ed esperti che desiderano apprendere nuove tecniche.
Tali tecniche includono una procedura per il trattamento dell’idrocefalo infantile ideata da Warf, direttore della neurochirurgia neonatale e congenita presso il Boston Children’s Hospital. Coelho aveva imparato la tecnica direttamente da Warf e pensava che il suo avatar potesse essere un modo per i chirurghi che non potevano recarsi a Boston di beneficiare della sua esperienza.
Per creare l’avatar, Coelho ha lavorato con Talis Reks, il tecnico IT AR/VR/giochi/big data dell’Immersion Lab.
“L’accesso a molte tecnologie e hardware può essere molto costoso per le startup quando iniziano il loro percorso aziendale”, spiega Reks. “START.nano è un modo per consentire loro di utilizzare e permettersi gli strumenti e le tecnologie di cui disponiamo presso l’Immersion Lab del MIT.nano.”
Coelho e i suoi colleghi avevano bisogno di una tecnologia di acquisizione del movimento ad alta fedeltà e alta risoluzione, di acquisizione video volumetrica e di una serie di altre tecnologie VR/AR per catturare gli abili movimenti delle dita e le espressioni facciali di Warf. Warf ha visitato il MIT.nano in diverse occasioni per essere “catturato” digitalmente, eseguendo anche un’operazione sul modello fisico del bambino mentre indossava guanti speciali e indumenti dotati di sensori.
“Queste tecnologie sono state utilizzate principalmente per l’intrattenimento o VFX [visual effects] o CGI [computer-generated imagery]”, afferma Reks, “Ma questo è un progetto unico, perché lo stiamo applicando ora per la pratica medica reale e il vero apprendimento.”
Una delle sfide più grandi, dice Reks, è stata aiutare a sviluppare quello che Coelho chiama “olotrasporto”, ovvero trasmettere l’acquisizione video volumetrica 3D di Warf in tempo reale su Internet in modo che il suo avatar possa apparire nella formazione medica transcontinentale.
L’avatar Warf ha modalità sincrona e asincrona. La formazione che Vasconcelos ha ricevuto è stata in modalità asincrona, dove i residenti possono osservare le dimostrazioni dell’avatar e porgli domande. Le risposte, fornite in una varietà di lingue, provengono da algoritmi di intelligenza artificiale che attingono da ricerche precedenti e da un’ampia banca di domande e risposte fornite da Warf.
Nella modalità sincrona, Warf gestisce il suo avatar a distanza in tempo reale, dice Coelho. “Poteva camminare per la stanza, poteva parlarmi, poteva orientarmi. È fantastico.”
Coelho, Warf, Reks e altri membri del team hanno dimostrato una combinazione delle modalità in una seconda sessione a fine dicembre. Questa demo consisteva in un’acquisizione video volumetrica dal vivo tra l’Immersion Lab e il Brasile, spazializzata e visibile in tempo reale tramite cuffie AR. Ha ampliato in modo significativo la demo precedente, che trasmetteva solo dati volumetrici in una direzione attraverso un display bidimensionale.
Impatti potenti
Warf ha una lunga storia nella formazione di neurochirurghi pediatrici disperatamente necessari in tutto il mondo, più recentemente attraverso la sua organizzazione no-profit Neurokids. La formazione remota e simulata ha costituito una parte sempre più importante della formazione dopo la pandemia, afferma, anche se non ritiene che sostituirà mai completamente l’istruzione pratica e la collaborazione personale.
“Ma se davvero un giorno potessimo avere avatar, come questo di Giselle, in luoghi remoti che mostrano alle persone come fare le cose e rispondono alle loro domande, senza il costo del viaggio, senza il costo del tempo e così via, penso che potrebbe essere davvero potente”, afferma Warf.
Il progetto avatar è particolarmente importante per i chirurghi che operano in aree remote e sottoservite come la regione amazzonica del Brasile, afferma Coelho. “Questo è un modo per dare loro lo stesso livello di istruzione che otterrebbero in altri posti e la stessa opportunità di entrare in contatto con il dottor Warf.”
Secondo Coelho, un bambino trattato per l’idrocefalo in una recente clinica amazzonica aveva viaggiato in barca 30 ore per l’intervento.
La formazione dei chirurghi con l’avatar, dice, “può cambiare la realtà di questo bambino e può cambiare il futuro”.
[ad_2]
Source link
