IT202000006856A1

IT202000006856A1 - Sistema automatizzato per l’acquisizioni di immagini per il training automatizzato di algoritmi di intelligenza artificiale per il riconoscimento di oggetti

Info

Publication number: IT202000006856A1
Application number: IT102020000006856A
Authority: IT
Inventors: Daniele Bernardini
Original assignee: Daniele Bernardini
Priority date: 2020-04-01
Filing date: 2020-04-01
Publication date: 2021-10-01
Also published as: EP4128035A1; WO2021197667A1; US20230143670A1

Description

DESCRIZIONE DEL SISTEMA

Con la presente invenzione si intende rappresentare un sistema completamente automatizzato che sia in grado di:

1. Acquisire (in maniera completamente automatizzata) le immagini per il ?training? dell?algoritmo di riconoscimento automatico dell?oggetto nelle immagini.

2. La realizzazione (completamente automatizzata) del training stesso dell?algoritmo di riconoscimento dell?oggetto nelle immagini.

Una possibile realizzazione del sistema ? rappresentata in FIG.1. In questa realizzazione abbiamo almeno un sistema elettromeccanico 4 (ad esempio un robot industriale multiasse) in grado di posizionare almeno un sistema optoelettronico 1 per l?acquisizione delle immagini in pi? punti arbitrari dello spazio. In questo modo un arbitrario numero di immagini ad angoli arbitrari q e f e distanze arbitrarie R oggetto-sistema di acquisizione (si veda FIG.2) possono essere acquisite. Il sistema ? dotato di almeno uno schermo 3 o altro dispositivo in grado di generare immagini arbitrarie di background. L?oggetto in esame 2 ? posizionato e mantenuto sul sopracitato schermo 3 o altro dispositivo in grado di generare immagini. Immagini dell?oggetto 2 sopra ad arbitrarie immagini di background generate dallo schermo 3 possono essere acquisite. Il sistema ? dotato di almeno un sistema elettronico di controllo 100 e di almeno un software per il controllo del

movimento relativo del sistema di acquisizione delle immagini 1 rispetto all?oggetto in esame 2, del sistema ottico di acquisizione delle immagini 1, dello schermo 3, per l?elaborazione delle immagini e per tutti i processi di calcolo matematico e simulazioni numeriche necessarie alla produzione dell?algoritmo di intelligenza artificiale per il riconoscimento dell?oggetto in esame nelle immagini. Il sistema elettronico 100 pu? essere un unico sistema elettronico oppure possono esserci pi? sistemi elettronici separati per i diversi compiti. Allo stesso modo il sistema pu? essere dotato di un unico software che gestisce tutti i compiti sopracitati o software diversi ognuno dedicato ad uno degli specifici compiti descritti sopra.

Il primo passo del processo di acquisizione e ?training? automatizzato ? l?acquisizione di immagini con il sistema optoelettronico 1 (and esempio una camera digitale) in posizione verticale (con l?asse ottico 5 perpendicolare allo schermo per la generazione delle immagini di background 3, come indicato in FIG.3. L?oggetto (o gli oggetti) 2 sono posizionati sullo schermo 3 anch?essi nella loro posizione perpendicolare. Diverse immagini con ?background? cooperativi, come ad esempio ?background? omogenei di colore noto, vengono acquisite. La combinazione della geometria delle acquisizioni delle immagini e dei background cooperativi permette una semplice estrazione degli oggetti dalle immagini. Con metodi classici di ?image processing? il centro degli oggetti e l?angolo di orientazione attorno all?asse ottico 5 possono essere facilmente calcolati.

Il passo successivo della procedura ? l?acquisizione di immagini a vari angoli di proiezione e la determinazione della mappa di profondit?.

Ad ogni immagine viene anche misurata la posizione e orientamento dell?ottica di acquisizione ed, essendo nota la posizione iniziale degli oggetti, viene cosi calcolata la posizione e orientamento degli oggetti in coordinate tridimensionali.

Questo permette di determinare la mappa di profondit? tramite ?ray tracing? combinato con l?utilizzo di un modello matematico dell?oggetto 2 in esame. Dall?apertura del sistema di acquisizione vengono tracciati vari raggi 6 a vari angoli (si veda FIG.4). Ogni particolare raggio 6 avr? o non avr? un?intersezione con la superficie dell?oggetto in esame 2 (pi? precisamente con il suo modello matematico). Ai raggi che hanno intersezione viene assegnato un valore digitale ?uno? e a quelli che non hanno intersezione viene assegnato il valore ?zero ?(un?assegnazione negata con valori di ?zero? e ?uno? invertiti ? del tutto equivalente). La mappa di profondit? contiene l?informazione di quali angoli raccolgono segnale relativo all?oggetto 2 e quali angoli raccolgono segnale del ?background? e quindi di quali ?pixels? del sistema di acquisizione ricevono segnale dall?oggetto e quali dal ?background.? Utilizzando questa informazione ? immediata l?estrazione dell?oggetto dalle immagini acquisite a vari angoli.

Il passo successivo ? l?acquisizione di un numero arbitrario (sufficientemente elevato per un ?training? efficace della rete neurale) di immagini a vari angoli di proiezione con ?background? differenti. Per ogni immagine acquisita vengono prodotte delle ?label? indicanti quali pixel appartengano a quali oggetti o al background, e la posizione e orientamento di ogni oggetto rispetto all?ottica.

Le immagini cos? pre-elaborate vengono passate al sistema elettronico per il training.

Queste immagini vengono sottoposte ad un processo di modifica casuale che agisce simultaneamente sulle immagini e sulle ?label?, in modo da variare vari aspetti dei dati acquisiti. Una lista di esempi non esaustiva include: la dimensione e quindi la distanza dall?ottica, l?illuminazione, la rotazione rispetto all?asse dell?ottica.

Il training viene poi eseguito su un algoritmo di apprendimento automatico precedentemente addestrato a riconoscere oggetti di varia natura. Questo permette un pi? veloce apprendimento a fronte di una quantit? di dati inferiore a quella necessaria ad un training completo da parametri iniziali casuali.

In un?altra possibile realizzazione del sistema, il sistema meccanico di posizionamento 4 pu? essere costituito da un sistema di posizionamento elevazione ed azimut, come schematicamente riportato in FIG 5 a), b) e c). In questa realizzazione una guida di forma semicircolare 16, 22, 29 ? libera di ruotare attorno al proprio asse longitudinale 22, 28, 35 e l?angolo viene determinato da un attuatore elettromeccanico comandabile elettronicamente. Il sistema optoelettronico di acquisizione delle immagini 1 ? meccanicamente montato tramite un apposito supporto mobile 8 alla guida semicircolare 7 ed ? libero di scorrere lungo di essa. Anche in questo caso la posizione lungo la guida viene determinata da un attuatore elettromeccanico comandabile elettronicamente. In questo modo l?asse ottico 5 del sistema di acquisizione pu? essere posizionato ad una combinazione arbitraria di angoli q e f rispetto allo schermo 3. Il sistema meccanico pu? eventualmente essere dotato di una guida lineare motorizzata 11 per variare la distanza sistema ottico-schermo. Lo schermo 3 pu? essere montato su un supporto fisso 12 o alternativamente pu? essere montato su un supporto motorizzato 13 (ad esempio dotato di due guide lineari motorizzate 14,15 che consenta lo spostamento nel piano xy. In questo modo l?oggetto 2 (o ogni oggetto) sullo schermo 3 pu? essere posizionato ad una posizione arbitraria rispetto all?asse ottico 5 del sistema di acquisizione.

In un?ulteriore variante del sistema, il sistema meccanico di posizionamento 4 pu? essere realizzato utilizzando tre guide lineari motorizzate 17, 20, 21 e due sistemi motorizzati per la rotazione 18, 19. Un sistema optoelettronico per l?acquisizione delle immagini 2 ? assemblato su una guida lineare motorizzata 17 che a sua volta ? assemblata su un sistema motorizzato di rotazione 18, che consente la variazione dell?angolo di visione q. Il sistema di rotazione 18 ? a sua volta montato su un ulteriore sistema motorizzato di rotazione 19 che consente di selezionare un qualunque angolo di visione f di azimut (si veda FIG.8). Tutto il sistema meccanico descritto sopra 17, 18, 19, viene a sua volta assemblato a due guide lineari motorizzate 20, 21 montate perpendicolarmente che consentono lo spostamento del sistema optoelettronico di acquisizione delle immagini 1 nel piano xy. In questo modo possono essere selezionati vari angoli di osservazione q e f per il sistema di acquisizione 1. Anche la distanza R tra l?oggetto 2 ed il sistema di acquisizione 1 pu? essere variata. In questa realizzazione l?angolo di elevazione q ? praticamente limitato sotto un certo valore massimo. Questa limitazione tuttavia non rappresenta una limitazione pratica dell?implementazione, in quanto anche il sistema industriale che andr? ad utilizzare l?algoritmo di intelligenza artificiale prodotto dal sistema descritto nella presente invenzione supporter? angoli di elevazione q limitati.

In un?altra possibile realizzazione della presente invenzione, il sistema di acquisizione optoelettronico 1 ? costituito da almeno una camera ottica e da almeno un sensore 3D, come ad esempio un LIDAR, un proiettore di strutture di luce, un sistema a multicamera, un sistema ad ultrasuoni o altri sistemi multicanale di misura di distanza. Nel caso sia utilizzato un sistema multicamera per la misura tridimensionale dell?oggetto, questo pu? essere anche utilizzato per l?acquisizione delle immagini. Avendo la misura dell?estensione tridimensionale dell?oggetto, il profilo di un oggetto 2 pu? essere misurato e dalle misure pu? essere calcolata la mappa di profondit?. Ad ogni posizione q e f (ed eventualmente distanza R) del sistema di acquisizione oltre alle immagini bidimensionali viene acquisito anche un profilo dell?oggetto in esame. Dalla misura del profilo ? possibile dedurre mediante un semplice algoritmo di analisi delle distanze misurate quali angoli sono relativi all?oggetto e quali al ?background?. In maniera analoga al caso della mappa di profondit? generata mediante ?ray tracing? dalle immagini acquisite ad angoli arbitrari ? possibile estrarre l?oggetto dalle immagini acquisite ad angoli arbitrari in maniera completamente automatizzata.

BREVE DESCRIZIONE DEI DISEGNI

Le illustrazioni rappresentano alcune delle possibili realizzazioni della tecnologia proposta nella descrizione della presente invenzione. In particolare, i sistemi di posizionamento elettromeccanico, i sistemi elettromeccanici di acquisizione delle immagini, i sistemi di misura tridimensionali cosi come tutti gli altri sistemi rappresentati insieme alle relative geometrie, sono da intendersi come esempio non esaustivo.

FIG.1 Rappresentazione schematica di un apparato di acquisizione di immagini di uno o pi? oggetti a vari angoli di visione e con ?background? arbitrari. L?apparato schematicamente rappresentato elabora in maniera completamente automatizzata le immagini acquisite e genera un dell?algoritmo di intelligenza artificiale per il riconoscimento automatico dell?oggetto l?oggetto o gli oggetti per i quali sono state acquisite le immagini.

FIG.2 Rappresentazione schematica in dettaglio del posizionamento dell?apparato optoelettronico di acquisizione di immagine ad angoli di visione arbitrari q e f e distanza dall?oggetto sotto esame R.

FIG.3 Rappresentazione schematica in dettaglio del posizionamento iniziale del sistema optoelettronico per l?acquisizione delle immagini.

FIG.4 Rappresentazione schematica della procedura di ?ray tracing? per la determinazione della mappa di profondit? dell?oggetto (o degli oggetti) sotto esame.

FIG.5a, 5b, 5c Rappresentazione schematica in dettaglio di un sistema elettromeccanico per il posizionamento del sistema optoelettronico di acquisizione delle immagini, costituito da una guida semicircolare in grado di ruotare attorno al proprio asse longitudinale e da un supporto per il sistema optoelettronico di acquisizione delle immagini, in grado di scorrere lungo la guida semicircolare. In FIG.5c ? schematicamente rappresentata anche una guida lineare motorizzata per la variazione della distanza tra il sistema optoelettronico di acquisizione delle immagini e l?oggetto sotto esame.

FIG.6 Rappresentazione schematica in dettaglio di un sistema motorizzato per lo spostamento lineare dello schermo lungo l?asse x e y.

FIG.7 Rappresentazione schematica in dettaglio di un sistema motorizzato per lo spostamento lineare dello schermo lungo l?asse x e y e la rotazione attorno all?asse z.

FIG.8 Rappresentazione schematica in dettaglio di un sistema motorizzato per il posizionamento di un sistema optoelettronico di acquisizione di immagini ad angoli di visione arbitrari q e f di un oggetto, che sfrutta tre guide lineari motorizzate e due sistemi motorizzati di rotazione.

Claims

RIVENDICAZIONI 1. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di algoritmi di apprendimento automatico per il riconoscimento di oggetti e della loro posizione e orientamento comprendente: o Almeno un sistema optoelettronico per l?acquisizione di immagini (1) o Almeno un sistema elettromeccanico (4) per il posizionamento del sistema optoelettronico per l?acquisizione di immagini (1) a distanza R e angoli q e f rispetto all?oggetto (2) e allo schermo per la generazione delle immagini di ?background? (3) o Almeno uno schermo (3) o altro dispositivo in grado di generare immagini arbitrarie su di un piano sottostante all?oggetto in esame o Almeno un sistema elettronico (100) e almeno un software per il controllo del sistema elettromeccanico (4), per il controllo del sistema ottico di acquisizione delle immagini (1), per l?elaborazione delle immagini, per il training.
2. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di algoritmi di apprendimento automatico per il riconoscimento di oggetti secondo la rivendicazione 1, dove il sistema optoelettronico per l?acquisizione delle immagini (1) comprende almeno una camera dotata di un ?focal plane array? bidimensionale ed un obiettivo ottico.
3. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo una delle rivendicazioni precedenti, dove il sistema elettromeccanico (4) comprende almeno un robot industriale multi-asse.
4. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo la rivendicazion1 o 2, dove il sistema elettromeccanico (4) comprende almeno un robot industriale multi-asse ed almeno un meccanismo motorizzato per la rotazione (16) attorno all?asse z, almeno un meccanismo motorizzato per traslazione (14) lungo l?asse x e almeno un meccanismo motorizzato per la traslazione (15) lungo l?asse y dello schermo (3) per la generazione delle immagini di ?background? su cui sono posizionati gli oggetti (2).
5. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo la rivendicazione 1 o 2, dove il sistema elettromeccanico (4) comprende almeno una guida semicircolare (7) in grado di ruotare attorno al suo asse longitudinale (10) ed almeno un ?holder? (8) per il sistema optoelettronico di acquisizione delle immagini (1) fissato alla guida semicircolare (7) ed in grado si scorrere lungo di essa.
6. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo la rivendicazione 1 o 2, dove il sistema elettromeccanico (4) comprende almeno due sistemi motorizzati di rotazione (18, 19) ed almeno tre guide lineari motorizzate (17, 20, 21).
7. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo una delle rivendicazioni precedenti, dove il detto schermo (3) per la generazione delle immagini di ?background? comprenda almeno uno schermo LCD, o almeno uno schermo al plasma, o almeno uno schermo a tubi catodici, o almeno uno schermo a matrice di LEDs, o almeno uno schermo OLED, o almeno uno schermo QLED o uno schermo FED.
8. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo una delle rivendicazioni precedenti, dove il detto sistema optoelettronico per l?acquisizione delle immagini (1) comprenda almeno una camera dotata di un ?focal plane array? bidimensionale, almeno un obiettivo ottico e almeno un sistema multicanale di misura tridimensionale quale un LIDAR, un proiettore di strutture di luce, o un sistema ad ultrasuoni.
9. Apparato di acquisizione ed elaborazione di immagini completamente automatizzato per il training di reti neurali per il riconoscimento di oggetti secondo una delle rivendicazioni precedenti, dove il detto sistema optoelettronico per l?acquisizione delle immagini (1) comprenda almeno un sistema multicanale, dotato di almeno due camere.