ITRM20070526A1 - PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES - Google Patents
PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES Download PDFInfo
- Publication number
- ITRM20070526A1 ITRM20070526A1 IT000526A ITRM20070526A ITRM20070526A1 IT RM20070526 A1 ITRM20070526 A1 IT RM20070526A1 IT 000526 A IT000526 A IT 000526A IT RM20070526 A ITRM20070526 A IT RM20070526A IT RM20070526 A1 ITRM20070526 A1 IT RM20070526A1
- Authority
- IT
- Italy
- Prior art keywords
- image
- point
- eye
- observer
- cameras
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 20
- 230000000694 effects Effects 0.000 title claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 35
- 210000003128 head Anatomy 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 229920006395 saturated elastomer Polymers 0.000 claims description 3
- 229930091051 Arenine Natural products 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000001711 saccadic effect Effects 0.000 claims description 2
- 230000003449 preventive effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 238000000844 transformation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 150000001721 carbon Chemical class 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 230000036981 sensorimotor activity Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Ophthalmology & Optometry (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Description
DESCRIZIONE DESCRIPTION
dell’invenzione industriale dal titolo: “Apparato di acquisizione ed elaborazione delle informazioni relative ad attività oculari umane” of the industrial invention entitled: "Apparatus for acquiring and processing information relating to human eye activities"
Campo dell’invenzione Field of the invention
La presente invenzione si riferisce al campo degli apparati per il tracciamento delle attività attentive dell’uomo ai fini dell’addestramento di robot. The present invention refers to the field of equipment for tracking human attentional activities for the purpose of training robots.
Stato della tecnica State of the art
Si conoscono sistemi per lo studio dei comportamenti visivi in ambienti reali e per il tracciamento dello sguardo. Systems are known for the study of visual behaviors in real environments and for gaze tracking.
Alcuni si avvalgono di dati di profondità, altri degli angoli di rotazione della testa, altri si limitano a tracciare i movimenti oculari, solitamente per movimenti limitati e con soggetti seduti e/o posizionati davanti a schermi, per cui non è necessaria un’informazione di distanza. Some use depth data, others the angles of rotation of the head, others limit themselves to tracking eye movements, usually for limited movements and with subjects seated and / or positioned in front of screens, for which no specific information is required. distance.
La scena viene normalmente ripresa tramite una o più telecamere, solidali con il capo dell’osservatore. The scene is normally filmed through one or more cameras, in solidarity with the observer's head.
E’ necessario, sempre e comunque, includere i movimenti della testa per tenere conto dei meccanismi attentivi originati da fattori non inclusi nel campo di vista dell’osservatore e/o della eventuale telecamera, come eventuali stimoli acustici. It is always necessary to include head movements to take into account the attentional mechanisms originating from factors not included in the field of view of the observer and / or any camera, such as any acoustic stimuli.
Alcuni sistemi noti posizionano la telecamera il più vicino possibile all’occhio, cioè al suo campo di vista, per rendere il punto di ripresa coincidente con quello di vista dell’osservatore. Some known systems position the camera as close as possible to the eye, i.e. its field of view, to make the point of view coincide with that of the observer.
E’ noto apparato dotato di una telecamera che punta ad un solo occhio, illuminato da uno o più LED a infrarossi (IR), di un computer portatile per l’elaborazione dei dati immagine, e di un display esterno, fissato o meno al casco che sorregge i sensori. Manca, dunque, il tracciamento dei movimenti della testa e la presenza di una telecamera atta ad acquisire una visione della scena osservata e il tracciamento anche del secondo occhio. Tale apparato prevede una procedura di calibrazione basata su tecniche di “image processing” con le quali, estratta la regione della pupilla, ne viene calcolato il centro per poi riproiettarlo su un display posto davanti ad uno degli occhi dell’utente. Tale procedura di calibrazione, alla base del mapping tra le coordinate immagine dei frame dell’occhio e le coordinate sullo schermo, è basata sul calcolo dei coefficienti di due funzioni polinomiali del terzo ordine fissando N punti a locazioni fissate su uno schermo. Apparatus equipped with a camera that points to one eye only, illuminated by one or more infrared (IR) LEDs, a laptop for processing image data, and an external display, whether or not fixed to the helmet, is known. that holds the sensors. Therefore, the tracking of the movements of the head and the presence of a camera capable of acquiring a vision of the observed scene and the tracking of the second eye are missing. This device provides a calibration procedure based on "image processing" techniques with which, after extracting the pupil region, its center is calculated and then reprojected on a display placed in front of one of the user's eyes. This calibration procedure, at the basis of the mapping between the image coordinates of the eye frames and the coordinates on the screen, is based on the calculation of the coefficients of two third-order polynomial functions by fixing N points at fixed locations on a screen.
Un altro apparato noto è formato da due telecamere rivolte alla scena e quindi può determinare effettivamente il punto di fissazione. Questo è però ottenuto con un complesso sistema motorizzato formato da giunti cardanici (gimbal) che fanno girare le telecamere ai lati degli occhi in modo da renderle parallele all’asse ottico di ciascun occhio. La direzione dell’asse degli occhi, illuminati da LED IR, è riflessa su specchi dicroici ripresi da altre due telecamere, per l’asservimento delle telecamere sulla scena. La complessità di tale apparato si riflette negativamente sul peso dello stesso che lo rende ingombrante e scomodo per l’osservatore. Another known apparatus consists of two cameras aimed at the scene and therefore can actually determine the fixation point. However, this is achieved with a complex motorized system consisting of cardan joints (gimbals) that make the cameras turn on the sides of the eyes so as to make them parallel to the optical axis of each eye. The direction of the axis of the eyes, illuminated by IR LEDs, is reflected on dichroic mirrors filmed by two other cameras, for the enslavement of the cameras on the scene. The complexity of this apparatus negatively affects its weight which makes it bulky and uncomfortable for the observer.
Un altro apparato, ancora, si basa anch’esso su un sistema indossabile per il tracciamento dello sguardo. Esso comprende una microcamera CCD dedicata alla ripresa delle immagini dell’occhio mentre una è rivolta alla scena. Le coordinate del centro della pupilla vengono estratte tramite un programma di riconoscimento di immagini. Il metodo su cui si basa prevede una calibrazione su fissazione di punti predeterminati in numero compreso tra 25 e 100 e determina automaticamente la funzione di mapping tra le due camere come una funzione di correlazione adattata tramite regressione quadratica. Una forma di compressione e classificazione delle sequenze viene svolta categorizzando i punti di fissazione. Yet another device is also based on a wearable gaze tracking system. It includes a CCD micro camera dedicated to taking images of the eye while one is aimed at the scene. The coordinates of the pupil center are extracted by an image recognition program. The method on which it is based foresees a calibration on the fixation of predetermined points in number between 25 and 100 and automatically determines the mapping function between the two cameras as a correlation function adapted through quadratic regression. A form of compression and classification of sequences is done by categorizing the fixation points.
Dunque, risulta alquanto laboriosa la calibrazione e modesta la precisione nella determinazione del punto guardato anche se l’occhio non sta fissando, denominato anche “point of regard”. Therefore, the calibration is somewhat laborious and the accuracy in determining the point looked at is modest even if the eye is not staring, also called "point of regard".
Altri apparati ancora, rilevano i movimenti della testa a mezzo di trasponder magnetici fissi, oppure riprendendo con una telecamera l’osservatore, rendendo vincolante per lo stesso l’ambito di operatività. Still other devices detect the movements of the head by means of fixed magnetic transponders, or by filming the observer with a camera, making the scope of operation binding for the same.
Quindi, gli apparati forniti dalla tecnica nota non sono in grado di tracciare contemporaneamente i movimenti oculari e della testa dell’osservatore e utilizzano architetture, spesso, ingombranti e complesse. Therefore, the apparatuses provided by the known art are not able to simultaneously track the eye and head movements of the observer and use often bulky and complex architectures.
Sommario dell’invenzione Summary of the invention
Scopo della presente invenzione è di risolvere i problemi suesposti fornendo un apparato, denominato di seguito per brevità “gaze machine”, per lo studio della dinamica di puntamento dello sguardo, che automaticamente acquisisce, processa e memorizza dati relativi ai movimenti di occhi e testa di un osservatore, pur restando leggero, preciso e affidabile. The purpose of the present invention is to solve the aforementioned problems by providing an apparatus, hereinafter referred to as "gaze machine", for the study of the gaze pointing dynamics, which automatically acquires, processes and stores data relating to the movements of the eyes and head of an observer, while remaining light, precise and reliable.
La presente invenzione, pertanto, si propone di raggiungere gli scopi sopra discussi realizzando un apparato di acquisizione ed elaborazione delle informazioni relative ad attività oculari umane, conformemente alla rivendicazione 1, e comprendente: The present invention, therefore, aims to achieve the objects discussed above by realizing an apparatus for acquiring and processing information relating to human eye activities, in accordance with claim 1, and comprising:
- una o più telecamere atte a riprendere in stereoscopia la medesima scena osservata da un osservatore; - one or more cameras suitable for recording the same scene observed by an observer in stereoscopy;
- una o più microcamere atte a riprendere gli occhi dell’osservatore; - one or more micro-cameras designed to capture the observer's eyes;
- almeno un led IR illuminante ciascun occhio; - at least one IR LED illuminating each eye;
- una piattaforma inerziale; - an inertial platform;
- una imbracatura atta ad aggrapparsi stabilmente al capo dell’osservatore, su cui sono montate stabilmente detta una o più telecamere, detta una o più microcamere e detta piattaforma inerziale; - a harness designed to cling stably to the observer's head, on which one or more cameras, one or more micro-cameras and said inertial platform are stably mounted;
- mezzi di elaborazione di dati atti a realizzare strutture di dati contenenti le informazioni generate da detta una o più microcamere, da detta una o più telecamere e da detta piattaforma inerziale; - data processing means suitable for creating data structures containing the information generated by said one or more micro-cameras, by said one or more cameras and by said inertial platform;
- mezzi di rice-trasmissione di detti dati. - means for receiving-transmission of said data.
Secondo un altro aspetto dell’invenzione detto apparato trova applicazione quando i dati da esso ottenuti vengono utilizzati da una piattaforma robotica in modo da replicare l’attività di osservazione di un osservatore per imitazione. Vantaggiosamente, l’apparato oggetto del presente trovato, consente di rilevare sia la velocità dello sguardo nella scena, sia la profondità del punto di fissazione osservato, e tracciare i movimenti operati dagli occhi mentre l’osservatore svolge altre attività senso-motorie, ad esempio camminando, manipolando oggetti, e comunque in ambienti dinamici. According to another aspect of the invention, said apparatus finds application when the data obtained from it are used by a robotic platform in order to replicate the observation activity of an observer by imitation. Advantageously, the apparatus of the present invention allows to detect both the speed of the gaze in the scene and the depth of the observed fixation point, and to trace the movements operated by the eyes while the observer carries out other sensorimotor activities, for example walking, manipulating objects, and in any case in dynamic environments.
In particolare, il tracciamento dei movimenti della testa è svolta tramite sensoristica inerziale che, data la leggerezza, consente libertà di movimento e precisione dei dati, così da evitare di riprendere l’osservatore con una microcamera esterna o di disporre di un transponder magnetico fisso per stimare l’orientazione della testa. In particular, the tracking of the movements of the head is carried out through inertial sensors which, given the lightness, allows freedom of movement and precision of the data, so as to avoid filming the observer with an external micro-camera or having a fixed magnetic transponder for estimate the orientation of the head.
Le rivendicazioni dipendenti descrivono realizzazioni preferite dell’invenzione. Breve descrizione delle Figure The dependent claims describe preferred embodiments of the invention. Brief description of the Figures
Ulteriori caratteristiche e vantaggi dell’invenzione risulteranno maggiormente evidenti alla luce della descrizione dettagliata di una forma di realizzazione preferita, ma non esclusiva, di un apparato di acquisizione ed elaborazione delle attività oculari umane, illustrato a titolo esemplificativo e non limitativo, con l’ausilio delle unite tavole di disegno in cui: Further characteristics and advantages of the invention will become more evident in the light of the detailed description of a preferred but not exclusive embodiment of an apparatus for the acquisition and processing of human ocular activities, illustrated by way of non-limiting example, with the aid of the joined drawing tables in which:
la Fig.1 raffigura una vista laterale di una gaze machine secondo l’invenzione; la Fig.2 raffigura una vista frontale relativa alla precedente; Fig.1 depicts a side view of a gaze machine according to the invention; Fig.2 shows a front view relative to the previous one;
la Fig. 3 raffigura una pupilla illuminata con la proiezione di un’immagine di Purkinje; Fig. 3 depicts an illuminated pupil with the projection of an image of Purkinje;
la Fig.4a raffigura la rappresentazione semplificata dell’occhio di Le Grand e la Fig. 4b raffigura i possibili casi di riflessioni delle immagini di Purkinje; Fig.4a depicts the simplified representation of Le Grand's eye and Fig. 4b depicts the possible cases of reflections of the Purkinje images;
la Fig. 5 rappresenta la successione di elaborazioni compiute sull’immagine dell’occhio al fine di individuarne la pupilla; Fig. 5 represents the succession of processing carried out on the image of the eye in order to identify the pupil;
la Fig. 6 illustra il calcolo del centro della pupilla CPt, in una sequenza di due frame. Nella sequenza, la figura inferiore illustra l'immagine dell'occhio filtrata, e quella superiore indica l'immagine saturata. Nell'immagine superiore si apprezzano, oltre al centro della pupilla i vettori che corrispondono alla linea di vista e alla congiungente l'immagine Purkinje e la linea di vista; Fig. 6 illustrates the calculation of the pupil center CPt, in a sequence of two frames. In the sequence, the lower figure illustrates the filtered eye image, and the upper one indicates the saturated image. In the upper image, in addition to the center of the pupil, the vectors corresponding to the line of sight and to the line joining the Purkinje image and the line of sight are appreciated;
la Fig. 7 rappresenta un modello di calibrazione utile all’individuazione di una funzione di corrispondenza tra le coordinate dei centri delle pupille, così come viste in più frame da una microcamera che inquadra gli occhi, e quelle delle corrispondenti immagini-scena riprese da una coppia di telecamere; Fig. 7 represents a calibration model useful for identifying a function of correspondence between the coordinates of the centers of the pupils, as well as views in several frames from a micro camera that frames the eyes, and those of the corresponding scene-images taken from a pair of cameras;
la Fig.8 rappresenta le trasformazioni che devono essere effettuate per ottenere la proiezione di un punto della scena sull’occhio e sulla camera che lo inquadra; Fig.8 represents the transformations that must be carried out to obtain the projection of a point of the scene on the eye and on the camera that frames it;
la Fig. 9 illustra schematicamente, la visione di un punto da parte di un osservatore, condiviso da una piattaforma robotica; Fig. 9 schematically illustrates the vision of a point by an observer, shared by a robotic platform;
la Fig.10 rappresenta uno schema di una composizione vettoriale propedeutica alla predisposizione delle trasformazioni tra il sistema di riferimento dell’apparato e il sistema di riferimento di una piattaforma robotica istruenda; la Fig. 11 riporta un diagramma di flusso riferito ad un metodo di elaborazione delle informazioni acquisite dalla gaze machine; Fig. 10 represents a diagram of a vector composition preparatory to the preparation of the transformations between the reference system of the apparatus and the reference system of a robotic platform instruenda; Fig. 11 shows a flow diagram referring to a method of processing the information acquired by the gaze machine;
la Fig. 12 riporta una realizzazione preferita di dispositivo munito di una microcamera per ciascun occhio. Fig. 12 shows a preferred embodiment of a device equipped with a micro-camera for each eye.
Descrizione in dettaglio di una forma di realizzazione preferita dell’invenzione Una realizzazione preferita dell’apparato comprende una gaze machine ed una piattaforma robotica atta ad ricevere i dati trasmessi da detta gaze machine allo scopo di allinearsi sul medesimo punto di osservazione dell’osservatore a fini addestrativi della medesima piattaforma robotica. Detailed description of a preferred embodiment of the invention A preferred embodiment of the apparatus comprises a gaze machine and a robotic platform suitable for receiving the data transmitted by said gaze machine in order to align itself on the same observation point of the observer for purposes training of the same robotic platform.
In particolare una realizzazione preferita della gaze machine comprende un casco munito di piattaforma inerziale 9, due telecamere 8, almeno una microcamera 6, due led 7 ad infrarossi, uno per ciascun occhio, mezzi di elaborazione e di trasmissione dei dati. In particular, a preferred embodiment of the gaze machine comprises a helmet equipped with an inertial platform 9, two cameras 8, at least one micro-camera 6, two infrared LEDs 7, one for each eye, data processing and transmission means.
Inoltre, detto casco definente l’imbracatura del capo dell’osservatore è munito di mezzi di regolazione per meglio adattarsi ad esso. Furthermore, said helmet defining the harness of the observer's head is equipped with adjustment means to better adapt to it.
In particolare, tali mezzi comprendono una ghiera 4 e cuscinetti 5 posizionati in corrispondenza della nuca. In particular, these means comprise a ring nut 4 and bearings 5 positioned at the nape of the neck.
Al casco 1 è connesso un braccetto 2 orientabile a mezzo di snodi 3, atto a sorreggere la/le microcamere. Si preferisce tale braccetto in carbonio, per essere rigido e leggero al tempo stesso. Connected to the helmet 1 is an arm 2 which can be rotated by means of joints 3, suitable for supporting the micro camera (s). This carbon arm is preferred, to be rigid and light at the same time.
Detta almeno una microcamera 6 è in tecnologia CMOS e montata su un sostegno rigido 5. Said at least one micro-camera 6 is in CMOS technology and mounted on a rigid support 5.
Poiché la tecnologia CMOS è sensibile agli infrarossi sono presenti ai lati della microcamera, sorretti da altrettanti supporti 5, almeno una coppia di led ad infrarossi 7, atti ad illuminare gli occhi dell’osservatore. Since CMOS technology is sensitive to infrared, there are at least one pair of infrared LEDs 7 on the sides of the micro-camera, supported by as many supports 5, designed to illuminate the observer's eyes.
L’uso di detti led ad infrarossi 7 consente di aumentare il contrasto fra la pupilla, zona centrale dell’iride e la sclera. In particolare, l’asse ottico della microcamera e l’asse di emissione dei led ad infrarossi 7 sono volutamente non allineati in modo da favorire la manifestazione dell’effetto, denominato black-pupil, secondo cui la pupilla appare di un colore nero intenso, aumentando il contrasto rispetto alla regione circostante all’iride. The use of said infrared LEDs 7 allows to increase the contrast between the pupil, the central area of the iris and the sclera. In particular, the optical axis of the micro-camera and the emission axis of the infrared LEDs 7 are deliberately not aligned in order to favor the manifestation of the effect, called black-pupil, according to which the pupil appears of an intense black color, increasing the contrast with respect to the region surrounding the iris.
In una realizzazione preferita viene usata una microcamera 6 ed un led ad infrarossi 7 per ciascun occhio. In a preferred embodiment, a micro-camera 6 and an infrared LED 7 are used for each eye.
In un’altra realizzazione preferita, l’unica microcamera è posizionata centralmente in modo da riprendere entrambi gli occhi contemporaneamente. Questa soluzione, ad unica microcamera, consente di determinare con precisione la vergenza delle pupille, in un’unica immagine, e il punto esatto su cui converge lo sguardo. Questo perché il punto di osservazione delle telecamere sulla scena non può mai essere esattamente sovrapposto a quello dell’utente, quindi la proiezione di un solo occhio determina una linea di possibili punti di fissazione, come illustrato più dettagliatamente nel seguito. In another preferred embodiment, the single micro camera is centrally positioned so as to record both eyes at the same time. This solution, with a single micro camera, allows you to accurately determine the vergence of the pupils, in a single image, and the exact point on which the gaze converges. This is because the observation point of the cameras on the scene can never be exactly superimposed on that of the user, so the projection of a single eye determines a line of possible fixation points, as illustrated in more detail below.
La piattaforma inerziale 9 è un cosiddetto motion tracker, che permette di rilevare gli angoli assoluti di rotazione della testa su almeno 3 gradi di libertà. Detta piattaforma inerziale 9 è solidale con detto casco 1 a mezzo di un supporto 10. The inertial platform 9 is a so-called motion tracker, which makes it possible to detect the absolute angles of rotation of the head over at least 3 degrees of freedom. Said inertial platform 9 is integral with said helmet 1 by means of a support 10.
Si preferisce l’utilizzo di una coppia di telecamere 8 atte a realizzare una ripresa stereoscopica della medesima scena fissata dall’osservatore. We prefer to use a pair of cameras 8 designed to create a stereoscopic shot of the same scene fixed by the observer.
Il metodo di acquisizione ed elaborazione delle informazioni viene esplicitato con l’aiuto della figura 11, comprendente i seguenti passi: The method of acquiring and processing information is explained with the help of Figure 11, including the following steps:
- acquisizione dell’immagine della scena e dell’immagine degli occhi; - acquisition of the image of the scene and the image of the eyes;
- identificazione della pupilla ed identificazione del suo centro; - identification of the pupil and identification of its center;
- proiezione del punto di fissazione degli occhi sull’immagine della scena; - memorizzazione in un’unica struttura di dati delle immagini ricavate al passo precedente insieme alle informazioni riguardanti la posizione della testa; - trasmissione e ricezione di detti dati e trasformazione del punto osservato nelle coordinate di una piattaforma robot istruenda; - projection of the eye fixation point on the image of the scene; - storage in a single data structure of the images obtained in the previous step together with information regarding the position of the head; - transmission and reception of said data and transformation of the observed point into the coordinates of a robot platform;
- convergenza della testa definente detta piattaforma robotica sul punto di fissazione dell’osservatore. - convergence of the head defining said robotic platform on the observer's fixation point.
In particolare, le telecamere 8 della gaze machine, rivolte alla scena, consentono l’acquisizione di immagini RGB e range, tramite calcolo della disparità tra le due ottiche. Per ogni pixel di ogni frame sono pertanto disponibili i valori di intensità sui tre canali di colore e le coordinate mondo [X Y Z]<T>rispetto al punto di osservazione corrente. In particular, the cameras 8 of the gaze machine, aimed at the scene, allow the acquisition of RGB and range images, by calculating the disparity between the two optics. Therefore, for each pixel of each frame, the intensity values on the three color channels and the world coordinates [X Y Z] <T> with respect to the current observation point are available.
Al termine di ogni registrazione l’apparato, grazie a detti mezzi di elaborazione, genera vettori di strutture di dati, etichettate in relazione all’istante di acquisizione, comprendenti: At the end of each recording, the device, thanks to said processing means, generates vectors of data structures, labeled in relation to the time of acquisition, including:
- frame RGB relativi alla scena ripresa dalle telecamere; - RGB frames related to the scene shot by the cameras;
- la posizione del punto osservato proiettato sul frame espresso in coordinate di immagine (pixel); - the position of the observed point projected on the frame expressed in image coordinates (pixels);
- l’immagine di profondità corrispondente all’immagine a colori; - the depth image corresponding to the color image;
- l’orientamento della testa espresso in angoli di Eulero. - the orientation of the head expressed in Euler angles.
Quando la gaze machine viene adoperata da un osservatore fermo, per es., seduto, le posizioni dello sguardo lungo i frame della sequenza sono riferite ad un medesimo punto di vista, per cui possono essere ad composte in un unico sistema di riferimento globale, coincidente col sistema di riferimento solidale con la posizione dell’osservatore. In questo caso, è possibile determinare a mezzo di procedure note la direzione e velocità delle saccadi operate dall’osservatore rispetto alle coordinate globali riferite al sistema di riferimento con origine nella posizione dell’osservatore. When the gaze machine is used by a stationary observer, for example, seated, the positions of the gaze along the frames of the sequence refer to the same point of view, so they can be composed in a single, coincident global reference system. with the reference system integral with the observer's position. In this case, it is possible to determine by means of known procedures the direction and speed of the saccades operated by the observer with respect to the global coordinates referred to the reference system with origin in the observer's position.
I dati restituiti dalla gaze machine vengono trasmessi ad una piattaforma robotica, nota in sé, e da questa ulteriormente elaborati e utilizzati. The data returned by the gaze machine are transmitted to a robotic platform, known in itself, and further processed and used by it.
Una piattaforma robotica preferita è dotata di una camera stereoscopica ed equipaggiata con un’unità pan-tilt atta a replicare la postura della testa in termini di angoli di beccheggio e imbardata (pitch e yaw), acquisendo i dati forniti dalla gaze machine attraverso mezzi propri di rice-trasmissione di dati ed elaborandoli attraverso mezzi propri di elaborazione, atti ad operare trasformazioni rototraslazionali, dal sistema di riferimento dell’osservatore, definito globale, a quello proprio della piattaforma robotica, in modo che la piattaforma può replicare, in tempo reale, il processo di acquisizione operato dall’osservatore/tutor, condividendone il punto osservato. A preferred robotic platform is equipped with a stereoscopic camera and equipped with a pan-tilt unit designed to replicate the posture of the head in terms of pitch and yaw angles, acquiring the data provided by the gaze machine through its own means of receiving-transmission of data and processing them through its own processing means, able to operate rototranslational transformations, from the observer's reference system, defined as global, to that of the robotic platform, so that the platform can replicate, in real time, the acquisition process operated by the observer / tutor, sharing the point observed.
La trasmissione dei dati dall’apparato di acquisizione alla testa robotica è realizzata a mezzo di una connessione wireless, realizzata grazie a detti mezzi di comunicazione connessi con il computer, definente detti mezzi di elaborazione. I dati sono resi disponibili dalla gaze machine in tempo reale in modo che possono essere adoperati anche da più piattaforme robotiche e/o ulteriori sistemi di elaborazione. The transmission of data from the acquisition apparatus to the robotic head is carried out by means of a wireless connection, made thanks to said means of communication connected with the computer, defining said processing means. The data are made available by the gaze machine in real time so that they can also be used by multiple robotic platforms and / or further processing systems.
Di seguito viene illustrato un metodo, pure oggetto della presente invenzione, di identificazione della pupilla. A method, also object of the present invention, for identifying the pupil is illustrated below.
La pupilla, in ambienti dinamici, con condizioni di luce variabile, non presenta le classiche condizioni di distinzione dell’iride e della sclera come in ambienti interni in condizioni di luce stabile, come si vede dalla figura 3, in cui la pupilla è cancellata dal riflesso del cielo. The pupil, in dynamic environments, with variable light conditions, does not present the classic conditions of distinction of the iris and the sclera as in indoor environments in stable light conditions, as can be seen from figure 3, in which the pupil is canceled by the reflection of the sky.
Per risolvere il problema di identificazione della pupilla si ricorre al riflesso del led sull’occhio e alle immagini Purkinje che si generano per effetto di esso. Fra le quattro immagini Purkinje, come si vede dalla figura 4, soltanto la prima ha intensità massima quindi valori tra 245 e 255 in qualunque immagine, sia interna che esterna. To solve the problem of identifying the pupil, the reflection of the LED on the eye and the Purkinje images that are generated as a result of it are used. Among the four Purkinje images, as can be seen from figure 4, only the first has maximum intensity, therefore values between 245 and 255 in any image, both internal and external.
I led ad infrarossi sono posizionati a circa 15 cm dall’occhio nel sistema riferimento microcamera, posti lungo gli assi x e y, in modo da garantire che l’immagine Purkinje si posiziona entro il cerchio limbale dell’iride, anche per rotazioni dell’asse ottico fino a 30 gradi. The infrared LEDs are positioned about 15 cm from the eye in the micro-camera reference system, placed along the x and y axes, so as to ensure that the Purkinje image is positioned within the limbal circle of the iris, even for rotations of the optical axis up to 30 degrees.
Si denomina Lc il punto rappresentativo, sul piano immagine, della posizione di ciascun led ad infrarossi, cioè dove mantiene le caratteristiche di distinzione, come si vede nella figura 3. Lc is the representative point, on the image plane, of the position of each infrared LED, i.e. where it maintains the distinguishing characteristics, as seen in figure 3.
Per l’identificazione del centro della pupilla si identifica, quindi, principalmente l’immagine Purkinje I e quindi si calcolano le opportune trasformazioni come indicato in seguito. Non è necessaria la calibrazione del led, è solo necessario che nell’immagine dell’occhio, centrato rispetto alla microcamera, cioè che guarda nella direzione dell’obiettivo, l’immagine Purkinje I appare internamente alla pupilla, come si vede nel primo tipo di riflessione dell’immagine di Purkinje, vedi figura 4. For the identification of the center of the pupil, therefore, mainly the Purkinje I image is identified and then the appropriate transformations are calculated as indicated below. It is not necessary to calibrate the LED, it is only necessary that in the image of the eye, centered with respect to the micro-camera, that is, which looks in the direction of the lens, the Purkinje I image appears inside the pupil, as seen in the first type of reflection of the Purkinje image, see figure 4.
Il riflesso degli almeno 2 led tramite le immagini Purkinje dipende dalla posizione della microcamera CMOS rispetto agli occhi, che cambia ogni volta che si indossa la gaze machine, dalla curvatura della cornea e della fascia limbale tipica di ciascun individuo. The reflection of the at least 2 LEDs through the Purkinje images depends on the position of the CMOS microcamera with respect to the eyes, which changes every time the gaze machine is worn, on the curvature of the cornea and the limbal fascia typical of each individual.
Per individuare una funzione di corrispondenza tra le coordinate dei centri delle pupille, così come viste da una microcamera che inquadra gli occhi, e quelle dell’immagine-scena si fa ricorso ad una procedura di calibrazione che necessita di un certo numero di immagini di ciascun occhio in altrettante specifiche posizioni. To identify a function of correspondence between the coordinates of the centers of the pupils, as seen by a micro camera that frames the eyes, and those of the image-scene, a calibration procedure is used which requires a certain number of images of each eye in as many specific positions.
Al termine della procedura il metodo preferito di identificazione della pupilla comprende i seguenti passi: At the end of the procedure, the preferred method of pupil identification includes the following steps:
Macropasso 1: L’immagine dell’occhio inquadrata dalla microcamera, di dimensioni 130×220, viene tagliata ad un’immagine 130×130 pixel. L’immagine viene quindi saturata, si veda figura 5a, e filtrata, si veda figura 5b, con la derivata di un filtro Gaussiano di dimensioni 3 × 3 e varianza 0.28. Accade che se Ix rappresenta l’immagine trasformata, allora l’immagine Purkinje I é identificata dalla regione massimale di Ix che contiene punti minimali. Sia Pk la regione identificata. Macro-step 1: The image of the eye framed by the micro camera, with dimensions of 130 × 220, is cut to a 130 × 130 pixel image. The image is then saturated, see Figure 5a, and filtered, see Figure 5b, with the derivative of a Gaussian filter with dimensions 3 × 3 and variance 0.28. It happens that if Ix represents the transformed image, then the Purkinje image I is identified by the maximal region of Ix which contains minimal points. Let Pk be the identified region.
Macropasso 2: date M immagini dell’occhio che identificano rotazioni estremali lungo gli assi di rotazione come indicato in figura 5c, con M ≥ 8, si risolve il sistema Macro-step 2: given M images of the eye that identify extremal rotations along the rotation axes as indicated in Figure 5c, with M ≥ 8, the system is solved
x = [A<T>A]<−1>A<T>b x = [A <T> A] <−1> A <T> b
dove la matrice A è una matrice M×8 i cui elementi normalizzati sono: where matrix A is an M × 8 matrix whose normalized elements are:
- la posizione di Pktnell’immagine al frame t e la posizione Pkt+1nell’immagine al frame t 1, - the position of Pkt in the image at frame t and the position Pkt + 1 in the image at frame t 1,
- la posizione del centro della pupilla Cptnell’immagine al frame t; - the position of the center of the pupil Cpt in the image at frame t;
- la posizione del punto di intersezione fra la retta L1, che passa per Lc e Pkt; - la retta normale alla x dell’immagine e che passa per il centro della pupilla Cpt, denominato punto nodale N. - the position of the point of intersection between the straight line L1, which passes through Lc and Pkt; - the line normal to the x of the image and passing through the center of the pupil Cpt, called nodal point N.
Il vettore b, di dimensione M × 2, è costituito dai centri delle pupille Cpt+1nei frame t+1. Il vettore bidimensionale x, di dimensione 8 × 2, è il vettore dei coeffienti, l’mse (mean squared error) ottenuto dalla regressione stimata è inferiore a 20. The vector b, of dimension M × 2, is constituted by the centers of the pupils Cpt + 1 in the frame t + 1. The two-dimensional vector x, of size 8 × 2, is the vector of the coefficients, the mse (mean squared error) obtained from the estimated regression is less than 20.
Macropasso 3: dato il vettore dei coefficienti x, a ciascun passo di computazione si calcolano, per l’immagine corrente, i valori indicati in un’osservazione della matrice A, e si ottiene il vettore T i cui elementi sono appunto quelli di una osservazione della matrice A. Il prodotto interno [T] [x] restituisce una approssimazione del centro della pupilla, come si vede dalla figura 6 in cui la pupilla è in condizioni estremali e in fase saccadica. Macro-step 3: given the vector of the coefficients x, at each computation step, the values indicated in an observation of the matrix A are calculated for the current image, and the vector T is obtained, whose elements are precisely those of an observation of matrix A. The inner product [T] [x] gives an approximation of the center of the pupil, as seen from figure 6 in which the pupil is in extremal conditions and in the saccadic phase.
Le posizioni correnti Cpt+1, calcolate con Tx, e i valori Nt+1(punto nodale), e Pkt+1(immagine Purkinje del frame successivo), calcolati come indicato nel passo 2, vengono assegnate alle posizioni corrispondenti per il successivo passo di computazione. The current positions Cpt + 1, calculated with Tx, and the values Nt + 1 (nodal point), and Pkt + 1 (Purkinje image of the next frame), calculated as indicated in step 2, are assigned to the corresponding positions for the next step of computation.
Ad ogni ciclo, definito da detti tre passi di computazione, l’algoritmo fornisce, la posizione del centro della pupilla, la direzione e l’ampiezza dello spostamento rispetto all’immagine precedente. At each cycle, defined by these three computation steps, the algorithm provides the position of the center of the pupil, the direction and amplitude of the displacement with respect to the previous image.
Di seguito viene illustrata una procedura di calibrazione funzionale ad una procedura di identificazione della pupilla. A calibration procedure functional to a pupil identification procedure is illustrated below.
Il processo di calibrazione viene ripetuto ogni volta che un osservatore indossa la gaze machine in quanto la posizione relativa della gaze-machine rispetto agli occhi dell’osservatore influenza l’esito della procedura. The calibration process is repeated every time an observer wears the gaze machine as the relative position of the gaze-machine with respect to the observer's eyes influences the outcome of the procedure.
L’osservatore che indossa la gaze machine deve osservare una sequenza di punti distinguibili nello spazio, come quelli in figura 7. E’ necessario che ciascun punto sia visibile nella telecamera che inquadra la scena. A tal fine è necessario allestire un pattern di riferimento specifico per effettuare la calibrazione. Il pattern consiste in una griglia contenente un numero minimo di 7 riferimenti planari e non. Gli istanti che corrispondono a ciascuna fissazione sono selezionati direttamente dall’osservatore tramite un qualunque mezzo di interfaccia uomo/elaboratore, per es., a mezzo del tasto di una tastiera. The observer wearing the gaze machine must observe a sequence of points distinguishable in space, such as those in figure 7. Each point must be visible in the camera that frames the scene. For this purpose it is necessary to set up a specific reference pattern to perform the calibration. The pattern consists of a grid containing a minimum number of 7 planar and non-planar references. The instants that correspond to each fixation are selected directly by the observer through any human / computer interface means, for example, by means of a keyboard key.
Per ogni fissazione così eseguita, vengono salvate: For each fixation performed in this way, the following are saved:
a) le immagini dalle telecamere che inquadrano la scena; a) the images from the cameras framing the scene;
b) le immagine dei due occhi che stanno fissando il singolo riferimento. b) the images of the two eyes that are staring at the single reference.
Una volta collezionate le coppie riferimento/occhi, queste devono subire una serie le operazioni elencati di seguito, per effettuarsi la trasposizione del punto di osservazione sulla scena osservata: Once the reference / eye pairs have been collected, they must undergo a series of the operations listed below, to carry out the transposition of the observation point on the observed scene:
a) estrazione delle coordinate del centro della pupilla per ciascun occhio e coordinate del riferimento nell’immagine di scena corrispondente; a) extraction of the coordinates of the center of the pupil for each eye and coordinates of the reference in the corresponding scene image;
b) stima della funzione di mappatura del punto di fissazione tramite calcolo del tensore trifocale. b) estimation of the mapping function of the fixation point by calculating the trifocal tensor.
Dunque, riassumendo, la procedura di calibrazione preferita comprende i seguenti passi: So, in summary, the preferred calibration procedure includes the following steps:
- si allestisce un modello di riferimento con un numero n > 7 di riferimenti planari e non; - a reference model is prepared with a number n> 7 of planar and non-planar references;
- in un numero n di istanti l’osservatore fissa un riferimento e lo rileva a mezzo di una interfaccia; - in a number n of instants the observer sets a reference and detects it by means of an interface;
- si effettua l’estrazione delle coordinate del centro della pupilla per ciascun occhio e coordinate del riferimento nell’immagine di scena corrispondente; - the coordinates of the center of the pupil are extracted for each eye and the coordinates of the reference in the corresponding scene image;
- si stima la funzione di mappatura del punto di fissazione tramite calcolo di una matrice denominata tensore trifocale T. - the mapping function of the fixation point is estimated by calculating a matrix called trifocal tensor T.
Procedura di rototraslazione dal sistema di riferimento globale al sistema di riferimento della microcamera. Rototranslation procedure from the global reference system to the micro camera reference system.
Consideriamo due sistemi di riferimento: il sistema di riferimento dell’occhio, che si assume coincidente con il sistema di riferimento globale e il sistema di riferimento della microcamera che lo inquadra. Essi sono legati da una trasformazione rigida (R, t) in cui R è una matrice di rotazione 3x3 e t un vettore di traslazione (si veda la figura 8 per la calibrazione tra i due sistemi di riferimento). Le equazioni di proiezione di un punto P = (x, y, z) sull’occhio sono date da: Let's consider two reference systems: the eye reference system, which is assumed to coincide with the global reference system and the reference system of the micro camera that frames it. They are linked by a rigid transformation (R, t) in which R is a 3x3 rotation matrix and t a translation vector (see Figure 8 for the calibration between the two reference systems). The projection equations of a point P = (x, y, z) on the eye are given by:
dove viene fatta l’assunzione che il punto Pe, proiezione di P, si trova nella regione limbale dell’occhio, assunta planare, e coincide con il centro della pupilla. Le coordinate del punto Pc, proiezione di Pe sulla microcamera, sono determi nabili nel modo seguente: where the assumption is made that the point Pe, projection of P, is located in the limbal region of the eye, assumed to be planar, and coincides with the center of the pupil. The coordinates of the point Pc, projection of Pe on the micro camera, can be determined as follows:
Quindi esiste una matrice proiettiva che lega direttamente i punti della scena con i punti dell’immagine della microcamera che inquadra l’occhio. So there is a projective matrix that directly links the points of the scene with the points of the image of the micro camera that frames the eye.
Effettuando un’analoga procedura per il secondo occhio otteniamo tre piani immagine, quelli dei due occhi e quello della microcamera che inquadra la scena, le cui coordinate delle proiezioni di un punto della scena, sono tra loro legate da una matrice T, denominata tensore trifocale. Di seguito viene illustrato un metodo preferito di calcolo di detto tensore trifocale e, successivamente, come calcolare a partire da T e dalla proiezione di un punto su due immagini, la proiezione del punto sulla terza immagine. By carrying out a similar procedure for the second eye, we obtain three image planes, those of the two eyes and that of the micro camera that frames the scene, whose coordinates of the projections of a point of the scene, are linked together by a matrix T, called trifocal tensor . A preferred method of calculating said trifocal tensor is illustrated below and, subsequently, how to calculate, starting from T and the projection of a point on two images, the projection of the point on the third image.
Metodo di individuazione del tensore trifocale. Method of identification of the trifocal tensor.
Dati n > 7 punti in corrispondenza tra le tre immagini l’algoritmo di calcolo del tensore trifocale procede attraverso i seguenti passi: Given n> 7 points in correspondence between the three images, the algorithm for calculating the trifocal tensor proceeds through the following steps:
- si trovano tre matrici di trasformazione H, H’ e H’’ da applicare alle tre immagini; - there are three transformation matrices H, H 'and H' to be applied to the three images;
- ciascun punto x<i>dell’immagine i-esima viene trasformato nel punto - each point x <i> of the i-th image is transformed into the point
al fine di operare una normalizzazione; in order to carry out a normalization;
- si calcola T linearmente in termini dei punti trasformati risolvendo l’insieme di equazioni della forma At = 0, utilizzando la pseudoinversa e il metodo dei minimi quadrati. La matrice A è una matrice di 27 righe tali che per ciascuna equazione del tipo si hanno nove equazioni, una per ogni scelta di s e t. - T is calculated linearly in terms of the transformed points by solving the set of equations of the form At = 0, using the pseudo-inverse and the least squares method. The matrix A is a matrix of 27 rows such that for each equation of the type there are nine equations, one for each choice of s and t.
Nella predetta equazione εjqse εqrtsono i tensori definiti per r, s, t = 1, 2, 3 nel seguente modo: In the aforementioned equation εjqse εqrt are the tensors defined for r, s, t = 1, 2, 3 as follows:
e 0stè anch’esso un tensore. and it is also a tensor.
- Si calcola il tensore trifocale applicando la trasformazione inversa di denormalizzazione per ottenere il tensore originale: - The trifocal tensor is calculated by applying the inverse denormalization transformation to obtain the original tensor:
Procedura di trasferimento di corrispondenze da una coppia di viste ad una terza. Procedure for transferring matches from one pair of views to a third one.
La proiezione del punto di fissazione degli occhi sull’immagine della scena, al fine di rendere possibile la convergenza di detta testa robotica con il punto di osservazione dell’osservatore, viene realizzata a mezzo di una rototraslazione che dapprima converte il sistema di riferimento associato a detta microcamera 6 nel sistema di riferimento degli occhi e successivamente nel sistema di riferimento di detta telecamera 8 riprendente la scena osservata dal soggetto. The projection of the point of fixation of the eyes on the image of the scene, in order to make possible the convergence of said robotic head with the observer's point of observation, is carried out by means of a roto-translation which first converts the reference system associated to said micro-camera 6 in the reference system of the eyes and subsequently in the reference system of said camera 8 which records the scene observed by the subject.
Per cui, siano x -> x’ una corrispondenza esatta tra la prima e la seconda vista calcolate nel modo usuale. Sia F21la matrice fondamentale che lega le prime due viste, determinabile a partire dal tensore trifocale T. Per ottenere la corrispondenza nella terza vista è sufficiente seguire i seguenti passi: So, let x -> x ’an exact correspondence between the first and second view calculated in the usual way. Let F21 be the fundamental matrix that links the first two views, which can be determined starting from the trifocal tensor T. To obtain the correspondence in the third view, simply follow the following steps:
- si calcola la linea l ' che passa attraverso x’, perpendicolare ad - the line l 'passing through x' is calculated, perpendicular to
- si determinano le coordinate del punto trasferito - the coordinates of the transferred point are determined
Dunque, il presente apparato permette di realizzare un’interfaccia uomo-robot utilizzabile per diversi compiti di apprendimento automatico applicato alla visio ne artificiale, semplificando l’acquisizione di dati e di pattern di scansione. Questi possono essere utilizzati non solo nell’ambito della robotica cognitiva ma anche in sistemi di sorveglianza, per sistemi teleoperati per disabili o per applicazioni di informatica grafica e realtà virtuale. In altri ambiti è pensabile l’utilizzo per indagini di marketing, analisi di usabilità di sistemi ed interfacce, studi sull’attenzione umana di vario genere, scopi terapeutici per soggetti affetti da disfunzioni cognitive legate alla visione ed in generale qualunque applicazione in cui interessa conoscere cosa osserva un utente. Therefore, this apparatus allows for the creation of a human-robot interface that can be used for various automatic learning tasks applied to computer vision, simplifying the acquisition of data and scan patterns. These can be used not only in the field of cognitive robotics but also in surveillance systems, for teleoperated systems for the disabled or for computer graphics and virtual reality applications. In other areas it is conceivable to use it for marketing surveys, usability analysis of systems and interfaces, studies on human attention of various kinds, therapeutic purposes for subjects suffering from cognitive dysfunctions related to vision and in general any application in which it is interesting to know what a user observes.
I modi particolari di realizzazione qui descritti non limitano il contenuto di questa domanda che copre tutte le varianti dell’invenzione definite dalle rivendicazioni. The particular embodiments described here do not limit the content of this application which covers all the variants of the invention defined by the claims.
Claims (14)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000526A ITRM20070526A1 (en) | 2007-10-05 | 2007-10-05 | PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES |
| PCT/EP2008/063277 WO2009043927A1 (en) | 2007-10-05 | 2008-10-03 | Apparatus for acquiring and processing information relating to human eye movements |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000526A ITRM20070526A1 (en) | 2007-10-05 | 2007-10-05 | PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ITRM20070526A1 true ITRM20070526A1 (en) | 2009-04-06 |
Family
ID=40174804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT000526A ITRM20070526A1 (en) | 2007-10-05 | 2007-10-05 | PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES |
Country Status (2)
| Country | Link |
|---|---|
| IT (1) | ITRM20070526A1 (en) |
| WO (1) | WO2009043927A1 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201004346D0 (en) * | 2010-03-16 | 2010-04-28 | Qinetiq Ltd | Eye tracking apparatus |
| FR2958528B1 (en) | 2010-04-09 | 2015-12-18 | E Ye Brain | OPTICAL SYSTEM FOR MONITORING OCULAR MOVEMENTS AND ASSOCIATED SUPPORT DEVICE |
| US20130154913A1 (en) * | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US10453355B2 (en) | 2012-09-28 | 2019-10-22 | Nokia Technologies Oy | Method and apparatus for determining the attentional focus of individuals within a group |
| CN104055478B (en) * | 2014-07-08 | 2016-02-03 | 金纯� | Based on the medical endoscope control system that Eye-controlling focus controls |
| EP3241488A1 (en) * | 2016-05-06 | 2017-11-08 | Aura Innovative Robotics, S.L | Device for synchronized measurement of ocular and cephalic movement |
| JP6881755B2 (en) * | 2017-11-29 | 2021-06-02 | 国立研究開発法人産業技術総合研究所 | Line-of-sight detection calibration methods, systems, and computer programs |
| EP3750028B1 (en) | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| WO2019154510A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| WO2020147948A1 (en) | 2019-01-16 | 2020-07-23 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0655203B2 (en) * | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | Medical diagnostic device using line-of-sight detection |
| US6997556B2 (en) * | 2001-10-01 | 2006-02-14 | Ernst Pfleger | Method for detecting, evaluating, and analyzing look sequences |
| US6943754B2 (en) * | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
-
2007
- 2007-10-05 IT IT000526A patent/ITRM20070526A1/en unknown
-
2008
- 2008-10-03 WO PCT/EP2008/063277 patent/WO2009043927A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009043927A1 (en) | 2009-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ITRM20070526A1 (en) | PROCUREMENT AND PROCESSING OF INFORMATION RELATING TO HUMAN EYE ACTIVITIES | |
| US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
| JP6860488B2 (en) | Mixed reality system | |
| WO2020042345A1 (en) | Method and system for acquiring line-of-sight direction of human eyes by means of single camera | |
| EP3552077B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
| CN103443742B (en) | For staring the system and method with gesture interface | |
| JP2016173313A (en) | Visual line direction estimation system, visual line direction estimation method and visual line direction estimation program | |
| US20170357332A1 (en) | Six dof mixed reality input by fusing inertial handheld controller with hand tracking | |
| JP6852355B2 (en) | Program, head-mounted display device | |
| US20170285337A1 (en) | Gaze detection system, gaze point detection method, and gaze point detection program | |
| KR20180101496A (en) | Head-mounted display for virtual and mixed reality with inside-out location, user body and environment tracking | |
| CN110398830A (en) | Microscopic system and method for operating microscopic system | |
| JP2013219541A (en) | Photographing system and photographing method | |
| CN105809654A (en) | Target object tracking method and device, and stereo display equipment and method | |
| CN112416125A (en) | VR head-mounted all-in-one machine | |
| CN113808160A (en) | Sight direction tracking method and device | |
| Reale et al. | Viewing direction estimation based on 3D eyeball construction for HRI | |
| JP6701694B2 (en) | Head-mounted display and computer program | |
| US11656471B2 (en) | Eyewear including a push-pull lens set | |
| JP2017012264A (en) | Rehabilitation assist implement and rehabilitation apparatus | |
| JP2012513604A5 (en) | ||
| JP2017191546A (en) | Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display | |
| US10992928B1 (en) | Calibration system for concurrent calibration of device sensors | |
| US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
| CN105828021A (en) | Specialized robot image acquisition control method and system based on augmented reality technology |