Con le persone al volante sempre più suscettibili a distrazioni, sonnolenza e disabilità, i sistemi di monitoraggio del conducente (DMS) sono considerati fondamentali nella prevenzione degli incidenti. Ma stiamo sovradimensionando i sensori al centro di questi sistemi? Le simulazioni che utilizzano un nuovo strumento di modellazione dei sensori e una rete neurale profonda (DNN) indicano che è plausibile che lo siamo, di molto. Ciò significa che l’industria dei sensori automobilistici ha l’opportunità di ridurre sostanzialmente la potenza e i costi del DMS senza sacrificare le prestazioni critiche.
Tempo è dell’essenza. A partire dal 2024, tutti i nuovi veicoli venduti all’interno dell’Unione Europea dovranno essere dotati di un DMS. Allo stesso tempo, altre funzioni, come il monitoraggio dell’occupazione e la videoconferenza, devono essere integrate nello stesso sistema di telecamere.
La progettazione DMS inizia a livello di sensore. L’attuale ritaglio del sensore è progettato con funzionalità complete, in modo che possano scattare “belle foto” in un’ampia gamma di condizioni operative e di illuminazione. Ma abbiamo bisogno di belle immagini? O stiamo facendo l’equivalente ingegneristico di spegnere un fiammifero con una manichetta antincendio?
Il DMS deve rilevare le caratteristiche facciali, come la bocca, il naso e gli occhi per determinare la vigilanza del conducente (Figura 1). Potremmo semplificare la progettazione dei sensori in modo che acquisiscano in modo pulito le informazioni pertinenti, anche in condizioni ambientali difficili, e ottimizzino il budget PPA (Power-Performance-Area) per tali funzionalità, mantenendo al contempo bassi i costi?
Figura 1 Il DMS deve rilevare le caratteristiche facciali come la bocca, il naso e gli occhi per determinare la vigilanza del conducente. Fonte: OmniVision
In OmniVision, abbiamo sviluppato uno strumento di simulazione per uso interno per cercare modi per ottimizzare il sensore PPA per altre applicazioni. Quindi, l’abbiamo condiviso con alcuni dei nostri clienti per vedere se poteva essere utilizzato anche per i sensori DMS. Test rudimentali hanno indicato che esiste un notevole potenziale di ottimizzazione.
Quando abbastanza buono è abbastanza
Vogliamo utilizzare il nostro strumento per aiutare a determinare le specifiche DMS più applicabili e trovare il sensore di immagine più semplificato che possiamo realizzare che funzioni ancora. Il sensore di immagine più semplificato? Si Certamente. Non vogliamo sovradimensionare, il che aumenta i costi e il consumo di energia. Vogliamo realizzare il prodotto giusto per DMS: ciò inizia con la conoscenza di ciò che è “abbastanza buono” e l’affinamento da lì.
I sistemi DMS illuminano sottilmente il volto del guidatore utilizzando l’illuminazione a infrarossi (IR) da 940 nm in brevi impulsi ad alta potenza. Ciò richiede imager con otturatore globale (GS) anziché le tapparelle che potresti trovare nel tuo telefono cellulare. Tuttavia, il modello per le specifiche DMS GS mira ancora in gran parte agli obiettivi di scattare “belle foto”.
Sebbene i sistemi DMS possano certamente funzionare con sensori sovradimensionati, poiché i pixel si riducono e i requisiti di prestazioni e costi si evolvono o è necessario aggiungere nuove funzioni, richiedono soluzioni più personalizzate e specifiche per l’applicazione.
Specifiche critiche o no?
Nei sensori per DMS, le specifiche critiche GS sono le prestazioni del rumore, l’efficienza dell’otturatore, la conversione analogico/digitale (ADC), l’elevata gamma dinamica e la corrente di buio. La nostra esperienza e il feedback degli utenti hanno suggerito che sebbene queste specifiche siano importanti, non sono le stesse per DMS come per le applicazioni di visione industriale da cui hanno avuto origine.
Ad esempio, la scarsa illuminazione non è un grosso problema per DMS. È più importante progettare per l’immunità alla luce solare in quanto può oscurare gli impulsi IR a 940 nm. Inoltre, la risoluzione ADC non è così critica per DMS come lo è per le applicazioni di visione industriale. La comprensione dei diversi requisiti DMS ci offre opportunità di ottimizzazione.
Perché il peggio?
Oggi il flusso per derivare le specifiche per l’ottimizzazione del sensore è quello di scattare foto e ottimizzare gli algoritmi, come mostrato nella riga superiore di figura 2. Una telecamera cattura le immagini di una scena e la scena viene elaborata. Successivamente, vengono calcolati gli indicatori chiave di prestazione (KPI) per l’accuratezza ottica adattiva (AO) della direzione dello sguardo e le informazioni vengono restituite allo sviluppo dell’algoritmo.
figura 2 Ecco una vista della derivazione delle specifiche del sensore implementate attraverso la simulazione a circuito chiuso. Fonte: OmniVision
Un modo per esplorare l’overdesign è costruire un sensore con prestazioni del sensore peggiori e vedere se è abbastanza buono. Ma ovviamente non è banale. Vorremmo invece evolvere in uno stato in cui possiamo introdurre nuove caratteristiche del sensore senza la necessità del silicio del sensore.
La nostra proposta è di aggiungere la simulazione in un circuito chiuso. Scatteremo ancora le stesse immagini con la stessa fotocamera. Ma ora, attraverso le simulazioni, testeremo i nostri sensori peggiorando quelle immagini.
Lo strumento di simulazione dei sensori di OmniVision, sebbene sviluppato per un uso più ampio, può servire a questo scopo. Lo strumento copre tutti gli aspetti, dalla generazione rudimentale della scena all’elaborazione delle immagini. Dopo la generazione della scena, viene creata un’immagine ottica sulla superficie del sensore, le prestazioni elettro-ottiche vengono modellate e l’elaborazione dell’immagine viene applicata alle immagini di output.
Il modello elettro-ottico può essere utilizzato anche per intercettare e postelaborare le immagini acquisite. Questo ci consente di degradare la qualità dell’immagine attraverso la simulazione. Emulando le prestazioni dell’array di filtri colorati (CFA) e dell’efficienza quantica (QE) e introducendo qualsiasi architettura e prestazioni di pixel, possiamo tradurre il segnale ottico in un segnale elettrico. Il segnale elettrico può quindi essere elaborato a qualsiasi guadagno appropriato introducendo al tempo stesso una non uniformità di risposta e livello di oscurità. Qui possiamo introdurre il rumore temporale, la corrente oscura e il rumore di sfarfallio, nonché il pixel crosstalk.
In senso lato, possiamo utilizzare lo strumento di simulazione durante lo sviluppo di nuovi concetti di pixel. Ci consente di eseguire analisi “what if” su qualsiasi tipo di architettura pixel o caratteristiche prestazionali e valutarne l’influenza sulle prestazioni del sistema.
Provandolo
Abbiamo messo alla prova il nostro strumento di simulazione dei sensori in un esperimento utilizzando una rete neurale di tracciamento oculare ispirata a un modello dell’occhio umano. L’obiettivo era accertare l’accuratezza del rilevamento per la direzione dello sguardo. Sebbene le condizioni siano state semplificate rispetto a un caso d’uso DMS effettivo, riteniamo che le conclusioni di alto livello siano ancora valide. Il modello proposto estrae caratteristiche tipiche come la pupilla da un’immagine di un occhio per creare una mappa di segmentazione, quindi l’input di ogni livello convoluzionale dipende solo dall’output dal livello precedente e dalla rimozione dei passaggi di concatenazione per ridurre i requisiti di memoria. Queste semplificazioni rendono la rete praticabile per un’implementazione a basso costo.
Come parte del lavoro presentato nella pubblicazione di riferimento, gli autori avevano già addestrato una rete neurale. Usando immagini stock di occhi umani (Figura 3, sopra), abbiamo utilizzato questa rete neurale addestrata per ottenere una “verità fondamentale” da utilizzare ulteriormente nella nostra analisi.
Figura 3 Abbiamo eseguito due casi con 7 e 10 DN su una scala a 8 bit, che è ben oltre ciò che qualsiasi sensore avrebbe realmente bisogno di fare, e abbiamo introdotto RN, Hnoise e VFPN e tutte le combinazioni. Fonte: OmniVision
Successivamente, abbiamo utilizzato il nostro strumento per aggiungere al set di dati il rumore del sensore casuale a diversi livelli di rumore (Figura 3, sotto). Queste immagini degradate sono state fatte scorrere, ancora una volta, attraverso la rete addestrata dall’autore e confrontandole con la nostra verità fondamentale, abbiamo potuto derivare l’errore che è stato introdotto a causa del rumore. La performance, ovviamente, non è stata buona (Figura 4). L’accuratezza del rilevamento dello sguardo era inferiore al 5% e spesso la segmentazione falliva completamente. Una segmentazione dell’occhio deforme produce errori e se non c’è alcuna pupilla nella segmentazione, il calcolo fallisce; l’errore in questi casi è stato ridotto al 20%.
Figura 4 La percentuale di errore della direzione dello sguardo è superiore al 5% e molti casi non riescono a rilevare la pupilla durante la segmentazione (errore del 20%). Fonte: OmniVision
Poiché l’aggiunta di rumore ha causato il fallimento della rete, abbiamo deciso di riqualificare la rete. Abbiamo nuovamente aggiunto rumore alle immagini, ma poi abbiamo riaddestrato la rete neurale sulle immagini rumorose create utilizzando il nostro strumento di simulazione dei sensori, essenzialmente insegnando alla rete come gestire le immagini rumorose.
Nella fase successiva, abbiamo nuovamente aggiunto rumore alle immagini e le abbiamo fatte passare attraverso la rete appena riqualificata. Questa volta l’errore era generalmente <2% e gli errori di segmentazione erano molto rari (Figura 5). Il riaddestramento con il rumore ha garantito una segmentazione robusta e ha dimostrato che abbiamo ottenuto una posizione accurata della pupilla. Da lì possiamo analizzare come sarebbe la performance per i vari tipi di rumore.
Figura 5 Quando ci si allena sul rumore, l’errore di rilevamento dello sguardo è notevolmente migliorato (<2%) e con pochissimi errori di segmentazione. Fonte: OmniVision
Il sistema dimostrato qui non è affatto un DMS professionale. Le immagini che abbiamo utilizzato non sono rappresentative delle sfide in un caso d’uso DMS. Tuttavia, questo esperimento con una rete neurale molto rudimentale ha mostrato che il rilevamento dello sguardo ha fondamentalmente una bassa sensibilità al rumore. Sebbene un DNN possa benissimo fallire su immagini rumorose, l’addestramento della rete per il rumore si occupa del rumore in modo abbastanza efficace.
Ci vuole un ecosistema
Il nostro semplice esempio suggerisce che è plausibile che i sensori odierni per DMS siano sovradimensionati. Tuttavia, abbiamo bisogno di collaborazione in tutto il settore automobilistico per costruire modelli di sistema affidabili utilizzando algoritmi di tracciamento oculare più avanzati e professionali e prendere in considerazione un’ampia varietà di condizioni ambientali che tipicamente degradano la precisione. Il nostro strumento di simulazione dei sensori può essere integrato nella formazione della rete neurale o nei flussi di sviluppo manuale dell’algoritmo da parte dei nostri partner di tutto il settore. Dai loro risultati, possiamo stabilire il “abbastanza buono”. Si tratta di una prestazione ottimizzata assolutamente necessaria per consentire al sistema di funzionare. Non di più, ma anche non di meno.
Lo strumento che abbiamo sviluppato supporta l’analisi dei requisiti a circuito chiuso per le reti neurali o lo sviluppo di algoritmi convenzionali e fornisce un framework per introdurre rumore fisicamente coerente e altre non idealità per simulare immagini della vita reale o sintetizzate. Queste immagini possono essere introdotte in un modello di sistema per valutare l’impatto del rumore del sensore, del QE e delle funzioni di trasferimento della modulazione.
Con questo tipo di dati, l’industria dei sensori può considerare scenari “what if” in progetti nuovi e più efficienti. Ciò offre l’opportunità di migliorare e ottimizzare le prestazioni del sistema e di creare soluzioni più robuste. Se addestriamo le nostre reti o sviluppiamo algoritmi per condizioni molto peggiori di quelle che si incontrano normalmente sul campo, saranno più robuste anche quando si tratta di condizioni migliori. Saranno anche di potenza inferiore e consentiranno costi ridotti.
Tuttavia, la complessità del problema richiede la partecipazione di attori lungo tutta la filiera del design: dalle case automobilistiche e dai produttori di primo livello fino ai fornitori di algoritmi e alle società di sensori. Condividendo i risultati e aprendo parti del nostro strumento di simulazione dei sensori alla catena di fornitura, speriamo di ispirare una collaborazione più ampia tra i diversi attori di questa catena di sviluppo.
Tomas Geurts è direttore senior dell’ufficio CTO di OmniVision.
Nota dell’editore: L’autore ha un riconoscimento speciale per Kevin Johnson e Steve Wang di OmniVision, che hanno contribuito a questo articolo.
Contenuto relativo
