IT202000030989A1 - METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) - Google Patents
METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) Download PDFInfo
- Publication number
- IT202000030989A1 IT202000030989A1 IT102020000030989A IT202000030989A IT202000030989A1 IT 202000030989 A1 IT202000030989 A1 IT 202000030989A1 IT 102020000030989 A IT102020000030989 A IT 102020000030989A IT 202000030989 A IT202000030989 A IT 202000030989A IT 202000030989 A1 IT202000030989 A1 IT 202000030989A1
- Authority
- IT
- Italy
- Prior art keywords
- vdt
- user
- video terminal
- monitor
- monitoring
- Prior art date
Links
- 230000000694 effects Effects 0.000 title claims description 88
- 238000012544 monitoring process Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 title claims description 56
- 230000002093 peripheral effect Effects 0.000 claims description 114
- 238000012545 processing Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 17
- 101100232265 Candida albicans (strain SC5314 / ATCC MYA-2876) HWP2 gene Proteins 0.000 claims description 6
- 101150057219 HWP1 gene Proteins 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 48
- 230000036961 partial effect Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 14
- 230000000276 sedentary effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013479 data entry Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 208000023178 Musculoskeletal disease Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 101000799969 Escherichia coli (strain K12) Alpha-2-macroglobulin Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000013521 Visual disease Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
- G06F11/3423—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time where the assessed time is active or idle time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
Domanda di brevetto per invenzione industriale dal titolo: Patent application for industrial invention entitled:
?METODI, TECNICHE E STRUMENTI HARDWARE E SOFTWARE PER IL MONITORAGGIO DELL'ATTIVIT? DI UTENTI AL VIDEOTERMINALE (VDT)? CAMPO DELL?INVENZIONE ?METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING THE ACTIVITY? OF USERS OF THE VIDEO TERMINAL (VDT)? FIELD OF THE INVENTION
La presente invenzione riguarda strumenti e metodi per il monitoraggio dell'attivit? di un utente al videoterminale (VDT). The present invention relates to instruments and methods for monitoring the activity of a user at the video display terminal (VDT).
In particolare, l?invenzione riguarda strumenti e metodi per il monitoraggio non invasivo dell'attivit? di un utente al videoterminale (VDT), in grado di determinare in maniera quantitativa e oggettiva, secondo parametri specifici e metriche appositamente sviluppate, il tempo di utilizzo attivo del VDT da parte dell'utente. TECNICA ANTERIORE NOTA In particular, the invention relates to instruments and methods for the non-invasive monitoring of the activity of a user at the video display terminal (VDT), capable of quantitatively and objectively determining, according to specific parameters and specially developed metrics, the time of active use of the VDT by the user. PRIOR ART NOTE
Tradizionalmente il tempo di utilizzo del VDT da parte dell?utente ? stimato attraverso questionari somministrati all'utente, oppure attraverso attivit? di sorveglianza e osservazione da parte di terzi. I risultati di queste forme di determinazione del tempo possono risultare inaccurati, poco ripetibili e scarsamente oggettivi, pertanto complessivamente insoddisfacenti, come illustrato nel documento Traditionally, the time of use of the VDT by the user? estimated through questionnaires administered to the user, or through activities? surveillance and observation by third parties. The results of these forms of time determination can be inaccurate, not very repeatable and not very objective, therefore overall unsatisfactory, as illustrated in the document
?Valutazione dei tempi di utilizzo del videoterminale?, Giornale Italiano di Medicina del Lavoro ed Ergonomia (2008), 30 (4), pp. 340-344 (in seguito citato come ). ?Evaluation of the time of use of the video terminal?, Italian Journal of Occupational Medicine and Ergonomics (2008), 30 (4), pp. 340-344 (later cited as ).
Le Linee Guida della Societ? Italiana di Medicina del Lavoro e Igiene Industriale (SIMLII) auspicano che ?la valutazione dei tempi di utilizzo dei VDT sia la pi? oggettiva possibile? e che sia effettuata mediante attrezzature con ?un razionale approccio oggettivo?, come descritto nel documento The guidelines of the company? Italian Institute of Occupational Medicine and Industrial Hygiene (SIMLII) hope that ? the evaluation of the times of use of VDTs is the most? objective possible? and that it is carried out using equipment with ?a rational objective approach?, as described in the document
Nell?arte nota sono conosciuti diversi strumenti predisposti allo scopo di monitorare lo svolgimento di attivit? al VDT da parte di utenti mediante differenti apparati hardware, software o ibridi, descritti in varie pubblicazioni e siti online, che verranno presentati in seguito. Tuttavia ognuno dei sistemi attualmente disponibili nell'ambito dell?arte nota considera una interazione solo parziale dell?utente con il VDT (tipicamente o utilizzo delle periferiche di input oppure osservazione del monitor) per determinare il tempo di utilizzo del VDT oppure del grado di affaticamento dell?utente. Tali sistemi noti inoltre non effettuano in maniera automatica una misurazione globale e oggettiva del tempo di utilizzo attivo del VDT da parte dell?utente. In alternativa, sono presenti apparati che, considerando il grado di sedentariet? della persona in vari modi determinato, correlano indirettamente tale sedentariet? all?utilizzo del VDT. In the known art, various tools are known which are set up for the purpose of monitoring the performance of activities? to VDT by users through different hardware, software or hybrid devices, described in various publications and online sites, which will be presented later. However, each of the systems currently available in the prior art considers only a partial interaction of the user with the VDT (typically use of the input peripherals or observation of the monitor) to determine the usage time of the VDT or the degree of fatigue of the user. Furthermore, these known systems do not automatically carry out a global and objective measurement of the time of active use of the VDT by the user. Alternatively, are there any devices which, considering the degree of sedentary lifestyle? of the person in various ways determined, indirectly correlate this sedentary lifestyle? to the use of VDT.
I sistemi conosciuti nell?arte nota per il monitoraggio dell?utilizzo del VDT presentano svantaggi e carenze funzionali. In primo luogo, essi possono essere invasivi e interferire con, o addirittura non permettere, il normale svolgimento dell?attivit? lavorativa al VDT. In secondo luogo, alcuni sistemi noti sono in genere con attivazione di tipo manuale; detti sistemi permettono il monitoraggio dell?utente solo a seguito di una specifica abilitazione da parte dell?utente stesso senza permettere il monitoraggio continuo e automatico dell?operatore al VDT. The systems known in the prior art for monitoring the use of the VDT have drawbacks and functional shortcomings. Firstly, they can be invasive and interfere with, or even prevent, the normal course of business? working at VDT. Secondly, some known systems generally have manual type activation; these systems allow user?s monitoring only following a specific enabling by the user himself without allowing continuous and automatic monitoring of the VDT operator.
Tra le soluzioni note, ? possibile rilevare l?attivit? svolta dall?utente e tracciare l?utilizzo delle diverse applicazioni installate sul VDT mediante strumenti software residenti sul VDT stesso da monitorare, come descritto nei siti https://www.refog.com/it/, https://whatpulse.org/, https://getklok.com/, Among the known solutions, ? is it possible to detect the? activity? carried out by the user and trace the use of the various applications installed on the VDT using software tools residing on the VDT itself to be monitored, as described on the websites https://www.refog.com/it/, https://whatpulse.org/ , https://getklok.com/,
e And
https://www.spyarsenal.com/familykeylogger/. https://www.spyarsenal.com/familykeylogger/.
Altre soluzioni prevedono l?impiego di apparati di monitoraggio hardware (sniffer), da interporre tra VDT e periferiche in grado di intercettare digitazioni alla tastiera e/o spostamenti del mouse come descritto ad esempio nei siti http://www.egisecurity.com/keylogger_hardware.html e http://www.keelog.com/it/usb-keylogger/. Other solutions include the use of hardware monitoring devices (sniffers), to be interposed between VDT and peripherals able to intercept keystrokes and/or mouse movements as described, for example, on the websites http://www.egisecurity.com/ keylogger_hardware.html and http://www.keelog.com/it/usb-keylogger/.
Tali strumenti, utili in contesti di misurazione della produttivit? lavorativa, possono risultare lesivi della privacy dell?utente. These tools, useful in contexts of productivity measurement? work, may be harmful to the privacy of the user.
La principale limitazione di tali strumenti software ? costituita dal fatto che essi consentono solamente di determinare l?avvio e la condizione di apertura di singoli applicativi (a titolo di esempio browser, programmi di videoscrittura, ?), ma non sono in grado di individuare l?effettiva presenza dell?utente con la relativa osservazione attenta del monitor e il coinvolgimento attivo in una sessione di lavoro. In letteratura sono stati proposti sistemi di monitoraggio, residenti sullo stesso VDT da monitorare, in grado di rilevare la presenza di un utente unicamente mediante il controllo delle periferiche di input (mouse, tastiera, ?). In particolare, nella pubblicazione The main limitation of such software tools ? constituted by the fact that they only allow to determine the start-up and the opening condition of individual applications (for example browsers, word processors, ?), but are not able to identify the effective presence of the user with the relative attentive observation of the monitor and active involvement in a work session. Monitoring systems have been proposed in the literature, residing on the same VDT to be monitored, capable of detecting the presence of a user only by controlling the input peripherals (mouse, keyboard,?). In particular, in the publication
?A monitoring tool of workers? activity at Video Display Terminals for investigating VDT-related risk of musculoskeletal disorder?, Computer Methods and Programs in Biomedicine, (2012), 107 (2), pp. 294-307 (in seguito citato come ) ? presentato uno studio comparativo della valutazione dei tempi di utilizzo di VDT effettuata dalla misura ottenuta mediante un apparato software appositamente realizzato confrontati coi risultati di questionari autosomministrati. L?applicativo software installato sul computer dell?utente di cui si intende misurare l?esposizione al VDT effettua il monitoraggio dell?utente e determina il tempo di utilizzo del VDT considerando unicamente l?utilizzo delle periferiche di ingresso (mouse e tastiera). In questi strumenti di misura non viene considerata l?interazione di tipo visivo dell?utente che avviene durante l?osservazione del monitor. ?A monitoring tool of workers? activity at Video Display Terminals for investigating VDT-related risk of musculoskeletal disorder?, Computer Methods and Programs in Biomedicine, (2012), 107 (2), pp. 294-307 (hereafter cited as ) ? presented a comparative study of the evaluation of the times of use of VDT carried out by the measurement obtained by means of a specially created software apparatus compared with the results of self-administered questionnaires. The software application installed on the computer of the user whose exposure to the VDT is to be measured monitors the user and determines the usage time of the VDT considering only the use of the input peripherals (mouse and keyboard). These measuring instruments do not consider the user?s visual interaction that occurs while observing the monitor.
A rappresentare un approccio differente alla soluzione del problema oggetto della presente invenzione, sono descritti in letteratura sistemi in grado di effettuare determinazioni quantitative dell?utilizzo del VDT mediante la misura di parametri fisici o biomedici (ad esempio registrazioni elettromiografiche (EMG), elettrogoniometri, sistemi di analisi del movimento) relative all?attivit? svolta dall'utente, come descritto in To represent a different approach to the solution of the problem which is the object of the present invention, systems are described in the literature capable of carrying out quantitative determinations of the use of the VDT by measuring physical or biomedical parameters (for example electromyographic recordings (EMG), electrogoniometers, systems analysis of the movement) related to? activity? carried out by the user, as described in
?Rischio neuromuscolare degli operatori a videoterminale: progetto e applicazione di uno strumento innovativo per il monitoraggio dell?attivit??, Rapporti ISTISAN 11/21, Istituto Superiore di Sanit? (in seguito citato come ) e nel documento ?Neuromuscular risk of VDU operators: design and application of an innovative tool for monitoring activity??, ISTISAN Reports 11/21, Istituto Superiore di Sanit? (hereinafter referred to as ) and in the document
wearable multi-modal human performance monitoring system for video display terminal users: Concept, development and clinical data validation?, 2016 IEEE International Conference on Real-time Computing and Robotics, RCAR, (2016), 7784019, pp. 163-168 (in seguito citato come ). Tali strumenti sono generalmente insoddisfacenti perch? risultano essere invasivi per l'utente e per lo pi? impediscono o limitano la piena e libera attivit? al VDT, apportando una inaccettabile perturbazione del fenomeno da quantificare. Inoltre, questa modalit? di determinazione del tempo di attivit? al VDT richiede un?analisi e un?interpretazione dei dati misurati da effettuare in un tempo differito rispetto a quello in cui sono state acquisite le informazioni di monitoraggio. Tali strumenti si prestano pi? per una analisi delle modalit? fisiche di utilizzo del VDT, degli aspetti ergonomici e delle eventuali ripercussioni sulla salute dell?operatore, piuttosto che rispondere alla necessit? di una quantificazione sintetica del tempo di utilizzo attento e attivo del VDT. wearable multi-modal human performance monitoring system for video display terminal users: Concept, development and clinical data validation?, 2016 IEEE International Conference on Real-time Computing and Robotics, RCAR, (2016), 7784019, pp. 163-168 (later cited as ). These tools are generally unsatisfactory because? turn out to be invasive for the user and mostly? prevent or limit the full and free activity? to the VDT, bringing an unacceptable perturbation of the phenomenon to be quantified. Furthermore, this mode of determination of the time of activity? to the VDT requires an analysis and interpretation of the measured data to be carried out at a later time than that in which the monitoring information was acquired. These tools lend themselves more? for an analysis of the modalities? physical use of the VDT, the ergonomic aspects and any repercussions on the health of the operator, rather than responding to the need? of a synthetic quantification of the careful and active use time of the VDT.
In particolare, nei documenti e ? presentato un sistema in grado di rilevare le azioni compiute dall?utente al VDT. Il sistema si compone di un apparato software installato sul VDT da monitorare destinato a rilevare le attivit? di interazione con tastiera e mouse e di una unit? basata su dispositivi indossabili che integrano accelerometri per monitorare l?attivit? motoria degli arti superiori dell'utente, come in , cos? da rilevare le azioni di interfacciamento con il VDT. Il sistema prevede di rilevare e registrare tutte le attivit? svolte con il mouse e la tastiera, compresi i caratteri inseriti, i movimenti e i click del mouse. A causa della presenza di dispositivi per il monitoraggio dell?attivit? motoria dell?utente, tale sistema pu? risultare invasivo e di ostacolo alle normali attivit? di utilizzo del VDT da parte dell?utente. Come ulteriore limitazione, il sistema descritto si focalizza sull?analisi dei movimenti effettuati dall?utente e sull?utilizzo delle periferiche di input, senza dare il giusto rilievo alla quantificazione del tempo nel quale l?utente osserva il monitor, potendosi peraltro cos? procurare in primo luogo affaticamento visivo. Tale sistema si presta pi? a un?analisi diagnostica legata all?utilizzo delle periferiche di input e alla postura degli arti superiori che alla quantificazione del tempo di lavoro al VDT. In numerosi ambiti applicativi, quale ad esempio l?ambito dei call center, dove l?attivit? al VDT ? particolarmente intensa e perdurante, pu? risultare di particolare utilit? un monitoraggio continuo e automatico della attivit? svolte dall?utente al VDT, come descritto nel documento In particular, in documents and ? presented a system capable of detecting the actions performed by the user on the VDT. The system consists of a software device installed on the VDT to be monitored intended to detect the activities? of interaction with keyboard and mouse and a unit? based on wearable devices that integrate accelerometers to monitor activity? movement of the user's upper limbs, as in , cos? to detect the interfacing actions with the VDT. Does the system expect to detect and record all activities? performed with the mouse and keyboard, including entered characters, mouse movements and clicks. Due to the presence of devices for monitoring the activity? motor of the user, this system pu? be invasive and an obstacle to normal activities? of use of the VDT by the user. As a further limitation, the system described focuses on the analysis of the movements made by the user and on the use of the input peripherals, without giving due importance to the quantification of the time in which the user observes the monitor, being able, however, to cause visual fatigue in the first place. This system lends itself more? to a diagnostic analysis linked to the use of input peripherals and to the posture of the upper limbs and to the quantification of work time at the VDT. In numerous application areas, such as for example the call center area, where the activity? to VDT? particularly intense and lasting, pu? be of particular use? a continuous and automatic monitoring of the activity? carried out by the user at the VDT, as described in the document
Nel documento Lou ? illustrato un sistema da laboratorio per valutare in tempo reale il grado di affaticamento degli utenti al VDT attraverso il monitoraggio di parametri fisiologici (EEG, ECG, EMG/EOG, BIA e PPG) rilevati mediante dispositivi indossabili. I risultati mostrano come il sistema possa monitorare il grado di affaticamento dell?utente al VDT e fornire feedback per prevenire le sindromi correlate all?affaticamento. Tale sistema risulta utile per quantificare il grado di affaticamento prodotto nell'utente, ma non si occupa di misurare il tempo di utilizzo attivo del VDT da parte dell?utente; pertanto non pu? essere utilizzato per determinare il tempo di lavoro al VDT e per la classificazione degli utenti sulla base di tale tempo. In the document Lou ? illustrated a laboratory system to evaluate in real time the degree of fatigue of VDT users through the monitoring of physiological parameters (EEG, ECG, EMG/EOG, BIA and PPG) detected by wearable devices. The results show how the system can monitor user fatigue at the VDT and provide feedback to prevent fatigue-related syndromes. This system is useful for quantifying the degree of fatigue produced in the user, but does not measure the time of active use of the VDT by the user; therefore can not be used to determine VDT work time and to classify users based on that time.
Nel documento In the document
?Wearable Sensor and Algorithm for Automated Measurement of Screen Time?, 2016 IEEE Wireless, WH, (2016); 7764564, pp. 109-116 (in seguito citato come Fletcher) ? proposto un metodo per la rilevazione automatica del tempo di osservazione del monitor che utilizza sensori ottici indossati dall?utente e analizza la lunghezza d?onda della luce emessa dai monitor e rilevata dal sensore. Inoltre, mediante un accelerometro indossato dall?utente, ? possibile monitorare i suoi movimenti e identificare l?attivit? da lui svolta. Oltre al fatto che all'utente sia richiesto di indossare specifici dispositivi, la principale limitazione del metodo ? che il principio basato sulla misurazione della lunghezza d?onda della luce emessa dei monitor permette solamente di determinare se l?utente ? in prossimit? del monitor stesso, ma non consente di discriminare se l?utente stia attivamente osservando il monitor con sufficiente grado di attenzione. ?Wearable Sensor and Algorithm for Automated Measurement of Screen Time?, 2016 IEEE Wireless, WH, (2016); 7764564, pp. 109-116 (later cited as Fletcher) ? proposed a method for automatic detection of monitor observation time that uses optical sensors worn by the user and analyzes the wavelength of light emitted by the monitors and detected by the sensor. Furthermore, by means of an accelerometer worn by the user, ? Is it possible to monitor its movements and identify the activity? performed by him. Besides the fact that the user is required to wear specific devices, the main limitation of the method? that the principle based on the measurement of the wavelength of the light emitted by the monitors only allows to determine if the user? in the vicinity? of the monitor itself, but it does not allow to discriminate if the user is actively observing the monitor with a sufficient degree of attention.
Nel documento EP 0 992 970 A1 ?Apparatus and method for monitoring VDT operation, for preventing physical problems of the operator? vengono descritti un apparato software e un metodo per il monitoraggio di operazioni effettuate al VDT. Mediante l?apparato software, l?utente deve attivare/interrompere l?operazione di monitoraggio delle sessioni di lavoro effettuate al VDT. Il sistema determina il tempo di funzionamento del VDT sulla base delle azioni di attivazione/interruzione svolte dall?utente e verifica se il tempo di utilizzo del VDT ? superiore ad una soglia impostata. In tale caso l?utente ? invitato a sospendere il lavoro per riposarsi. In questo sistema, ? previsto un meccanismo di determinazione del tempo di lavoro al VDT unicamente basato sull?utilizzo di applicazioni di tipo timer software senza considerare informazioni provenienti dall?utilizzo di interfacce di input e, tantomeno, l?osservazione del monitor da parte dell?utente. Il sistema agisce come un contatore di tempo attivato dall?utente che permette quindi di ricavare la durata complessiva del lavoro svolto e le pause da effettuare. In the document EP 0 992 970 A1 ?Apparatus and method for monitoring VDT operation, for preventing physical problems of the operator? a software apparatus and a method for monitoring operations carried out at the VDT are described. Using the software device, the user must activate/interrupt the monitoring operation of the work sessions carried out at the VDT. The system determines the operating time of the VDT on the basis of the activation/interruption actions performed by the user and checks whether the usage time of the VDT ? above a set threshold. In this case the? user ? invited to suspend work to rest. In this system, ? a mechanism for determining the working time at the VDT is provided solely based on the use of applications of the software timer type without considering information coming from the use of input interfaces and, even less, the observation of the monitor by the user. The system acts as a time counter activated by the user which therefore makes it possible to obtain the total duration of the work performed and the breaks to be taken.
Nel documento JP2003070768, ?System for detecting posture of VDT worker? viene presentato un sistema in grado di rilevare la corretta postura di un operatore al VDT (distanza occhi operatore ? monitor) e la sua azione di osservazione del monitor. Il sistema si compone di un sensore ottico (videocamera) posto sul monitor e di una unit? di elaborazione delle immagini in grado di rilevare la direzione dello sguardo dell?utente. Se viene rilevata continuativamente la corretta postura dell?utente viene incrementato un contatore di tempo e se questo intervallo supera una soglia prestabilita viene attivata una segnalazione. Questo dispositivo ? volto unicamente a segnale la corretta postura dell?utente e non ha come obiettivo il calcolo dei tempi di utilizzo attivo del VDT. In document JP2003070768, ?System for detecting posture of VDT worker? a system is presented which is able to detect the correct posture of an operator at the VDT (operator eyes distance ? monitor) and his observation action on the monitor. The system consists of an optical sensor (video camera) placed on the monitor and a unit? image processing capable of detecting the direction of the user?s gaze. If the user?s correct posture is continuously detected, a time counter is increased and if this interval exceeds a pre-established threshold, a signal is activated. This device ? aimed solely at signaling the correct posture of the user and does not have the objective of calculating the times of active use of the VDT.
Nel documento US 2008/0136650 A1 ?System and method for ergonomic tracking for individual physical exertion? sono proposti un sistema e un metodo per identificare la postura mantenuta nel tempo di un utente che utilizza un VDT, al fine di prevenire possibili traumi invalidanti che si verificano a causa di una postura errata dal punto di vista ergonomico. Il sistema e il metodo includono un modulo ambientale, in una possibile realizzazione costituito da un sensore di immagini e una unit? di elaborazione delle immagini per identificare l?ambiente fisico in cui opera l?utente, un modulo biomeccanico per determinare la postura dell?utente e un modulo di output per indicare all?utente la correttezza della postura assunta. In document US 2008/0136650 A1 ?System and method for ergonomic tracking for individual physical exertion? a system and a method are proposed to identify the posture maintained over time by a user using a VDT, in order to prevent possible disabling traumas that occur due to incorrect posture from an ergonomic point of view. The system and method include an environmental module, in one possible embodiment consisting of an image sensor and an environmental unit. image processing to identify the physical environment in which the user operates, a biomechanical module to determine the user?s posture and an output module to indicate to the user the correctness of the assumed posture.
Il documento JP2001290632A, ?Method, device and system for monitoring VDT work and readable recording medium recording VDT work monitor program? propone un sistema per il monitoraggio del lavoro al VDT costituito da un apparato centralizzato connesso con una pluralit? di computer e dispositivi portatili. Il sistema permette di raggruppare in grafici e immagini riassuntive le informazioni legata all?utilizzo dei vari dispositivi. Il metodo e il sistema proposti appaiono pi? orientati alla rilevazione del mero utilizzo del VDT piuttosto che alla effettiva quantificazione della durata delle sessioni di lavoro. The document JP2001290632A, ?Method, device and system for monitoring VDT work and readable recording medium recording VDT work monitor program? proposes a system for monitoring work at VDT consisting of a centralized apparatus connected with a plurality? of computers and portable devices. The system allows the information linked to the use of the various devices to be grouped into graphs and summary images. The proposed method and system appear more? oriented towards detecting the mere use of the VDT rather than the effective quantification of the duration of the work sessions.
Il documento JP2005267491A, ?VDT work environment control device? ? relativo a una stazione di lavoro ergonomica per migliorare le condizioni di attivit? al VDT per l'utente attraverso il monitoraggio delle sue condizioni fisiche e del carico di lavoro cui egli ? sottoposto. Allo scopo viene usata una pluralit? di sensori, tra i quali un sensore elettromiografico collegato al mouse, un sensore di pressione della sedia per rilevare postura dell?utente e sensori per misurare la velocit? di digitazione sulla tastiera. In particolare, mediante i sensori elettromiografici, ? possibile determinare l?affaticamento dell?utente e, grazie ai sensori di immagini, rilevare la presenza e la postura dell?utente ed effettuare valutazioni sull?affaticamento basandosi sull'analisi del ritmo di battito delle ciglia. Questo apparato ? orientato all?analisi dello stato di affaticamento dell?utente piuttosto che alla determinazione del tempo di utilizzo del VDT. Document JP2005267491A, ?VDT work environment control device? ? on an ergonomic workstation to improve working conditions? to the VDT for the user through the monitoring of his physical conditions and the workload to which he? subjected. Is a plurality used for this purpose? of sensors, among which an electromyographic sensor connected to the mouse, a pressure sensor of the chair to detect the user's posture and sensors to measure the speed? typing on the keyboard. In particular, through the electromyographic sensors, ? It is possible to determine the user?s fatigue and, thanks to the image sensors, detect the user?s presence and posture and carry out fatigue assessments based on the analysis of the blink rhythm. This apparatus? oriented towards the analysis of the user's state of fatigue rather than determining the usage time of the VDT.
Nel documento JPH05101243A, ?VDC using time controller? ? descritto un apparato per la gestione di utilizzo di un VDT in fasce orarie mediante identificazione dello specifico utente tramite password. All?utente viene concesso o meno l?utilizzo del VDT in determinate fasce orarie a seconda dell?autorizzazione all?utilizzo associata. L?invenzione ? pi? orientata alla gestione di una postazione multi-utente e a una autorizzazione di utilizzo piuttosto che alla misurazione del tempo di utilizzo attivo e attento del VDT da parte dell?utente. In document JPH05101243A, ?VDC using time controller? ? described an apparatus for managing the use of a VDT in time slots by identifying the specific user by means of a password. The user is allowed or not to use the VDT in certain time slots depending on the associated use authorisation. The invention? more oriented towards the management of a multi-user workstation and authorization of use rather than measuring the time of active and careful use of the VDT by the user.
In US 2007/0250622 A1, ?Alerts for monitoring user status? ? proposto un metodo per il monitoraggio di un utente di un VDT, connesso a una rete di comunicazione, da parte di un altro utente. Tale metodo prevede che l'utente monitorato fornisca un segnale di abilitazione in modo che l'utente monitorante possa effettuare le operazioni di monitoraggio. Il sistema, una volta che il secondo utente ha abilitato il monitoraggio, prevede operazioni automatiche di monitoraggio e la notifica delle attivit? svolte dal primo utente. L?implementazione prevede un?analisi delle attivit? svolte dall?utente monitorato attraverso un opportuno software. Eventuali estensioni dell?invenzione prevedono dispositivi hardware di input, come webcam e microfoni che possono agire come eventi per il monitoraggio dell?utente, indicando l?inizio di specifiche attivit? svolte al VDT. L?invenzione in questione non permette un monitoraggio continuo e automatico dell?utente in assenza di una sua abilitazione. In US 2007/0250622 A1, ?Alerts for monitoring user status? ? proposed a method for monitoring a user of a VDT, connected to a communication network, by another user. This method provides that the monitored user supplies an enabling signal so that the monitoring user can carry out the monitoring operations. Once the second user has enabled monitoring, the system provides for automatic monitoring operations and notification of the activities? performed by the first user. Does the implementation include an analysis of the activities? carried out by the user monitored through appropriate software. Possible extensions of the invention include hardware input devices, such as webcams and microphones that can act as events for monitoring the user, indicating the start of specific activities. carried out at the VDT. The invention in question does not allow continuous and automatic monitoring of the user in the absence of his authorization.
Inoltre, non viene considerata e rilevata l?osservazione attenta del monitor da parte dell?utente. Furthermore, careful observation of the monitor by the user is not considered and recorded.
Nel documento US 7,421,413 B2 ?Delicate metering of computer usage? ? presentato un apparato software per la gestione di computer e VDT condivisi tra pi? utenti. L?apparato permette di misurare l?utilizzo di un computer in condivisione con altri utenti da parte di un singolo fruitore e prevede l?abilitazione dell?utilizzo del computer per l?utente che disponga di diritti di utilizzo. In particolare, il sistema si occupa di aggiornare la quota di tempo/risorse utilizzati dall?utente e, se l?utente ha acquistato una quota di utilizzo del PC maggiore del tempo di utilizzo di cui ha gi? usufruito, ne permette l?utilizzo all?utente. Le attivit? svolte al VDT possono essere rilevate monitorando differenti periferiche del computer, quali ad esempio mouse, tastiere, stampanti, in modo da determinare l?utilizzo del terminale e delle periferiche associate e confrontare la quota di utilizzo di tali periferiche con le autorizzazioni all?utilizzo disponibili. Tale invenzione non si prefigura l?obiettivo di determinare il tempo di utilizzo attento e attivo del VDT, ma solamente la mera e non meglio qualificata attivit? in un contesto di uso condiviso degli apparati informatici secondo permessi di utilizzo accordati ai vari utenti. In document US 7,421,413 B2 ?Delicate metering of computer usage? ? presented a software device for the management of computers and VDTs shared between pi? users. The device makes it possible to measure the use of a computer shared with other users by a single user and provides for enabling the use of the computer for the user who has rights to use it. In particular, the system takes care of updating the quota of time/resources used by the user and, if the user has purchased a PC usage quota greater than the usage time he already has, used, allows the user to use it. The activities carried out at the VDT can be detected by monitoring different computer peripherals, such as mice, keyboards, printers, in order to determine the use of the terminal and associated peripherals and compare the share of use of these peripherals with the available authorizations for use . This invention does not prefigure the objective of determining the time of careful and active use of the VDT, but only the mere and not better qualified activity? in a context of shared use of IT equipment according to usage permits granted to the various users.
In US 2009/0006613 A1 ?System and a method for updating a user presence status on a terminal by aggregating multisource information? ? invece descritto un metodo software per rilevare la presenza fisica di un utente che utilizza un terminale connesso a una rete di telecomunicazioni, sulla base di informazioni sullo stato di presenza fornite da almeno una periferica del terminale. Il metodo prevede di monitorare lo stato delle periferiche, quali webcam, mouse e tastiera. Il brevetto prevede anche la possibilit? di rilevare la presenza fisica di un utente mediante sensori abitualmente utilizzati nell?ambito della domotica, quali sensori volumetrici di presenza, sensori a infrarossi, webcam o una telecamera di sorveglianza. Tali sensori determinano unicamente la presenza fisica di un utente, e non l?osservazione attenta del monitor. L?invenzione si focalizza sulla rilevazione della presenza dell?utente al terminale utilizzando il sistema operativo del computer e mira a ottenere informazioni relative al livello di attivit? dell?utente determinato da eventi dovuti a utilizzo tastiera, movimento del mouse o movimenti fisici rilevati da una unit? inerziale incorporata nel terminale. Il brevetto mira unicamente a rilevare la presenza fisica ed eventuali movimenti dell?utente del VDT senza distinguere tra la mera presenza fisica e la presenza attenta e attiva, ossia l?interazione dell?utente con le periferiche quali mouse e tastiera, oltre alla osservazione attenta del monitor. Il documento US 2012/0311447 A1 ?Collecting, aggregating and presenting activity data? propone un sistema in grado di raccogliere e catalogare informazioni relative alla durata e alla tipologia di attivit? generate dall?utilizzo di uno o pi? dispositivi informatici. Il sistema permette di visualizzare su interfacce utente i dati in differenti forme e aggregarli per tipologia di attivit? e/o utente. L?innovazione ? rivolta a monitorare la produttivit? dei vari utenti e a catalogare le attivit? svolte dagli stessi. Il sistema ? in grado di riconoscere l?inizio dell?attivit? al terminale mediante l?analisi dello stato delle periferiche oppure attraverso dispositivi in grado di riconoscere l?utilizzo della voce tramite microfoni, oppure di movimenti gestuali eseguiti dall?utente e rilevati medianti telecamere, sensori di distanza, sensori infrarossi e altri dispositivi, senza valutare l?interazione attiva e attenta dell?utente con il VDT. Nel documento US 2014/0085077 A1 ?Sedentary activity management method and apparatus using data from a data-capable band for managing health and wellness?. In US 2009/0006613 A1 ?System and a method for updating a user presence status on a terminal by aggregating multisource information? ? on the other hand, a software method is described for detecting the physical presence of a user who uses a terminal connected to a telecommunications network, on the basis of information on the presence status provided by at least one peripheral of the terminal. The method involves monitoring the status of peripherals, such as a webcam, mouse and keyboard. The patent also provides for the possibility to detect the physical presence of a user using sensors usually used in home automation, such as volumetric presence sensors, infrared sensors, webcams or a surveillance camera. These sensors determine only the physical presence of a user, and not the careful observation of the monitor. The invention focuses on detecting the presence of the user at the terminal using the computer operating system and aims to obtain information relating to the level of activity? of the user determined by events due to keyboard use, mouse movement or physical movements detected by a unit? inertial built into the terminal. The patent aims solely to detect the physical presence and possible movements of the VDT user without distinguishing between mere physical presence and attentive and active presence, i.e. user interaction with peripherals such as the mouse and keyboard, in addition to careful observation of the monitor. The document US 2012/0311447 A1 ?Collecting, aggregating and presenting activity data? proposes a system capable of collecting and cataloging information relating to the duration and type of activity? generated by the use of one or more? computer devices. The system allows you to view data on user interfaces in different forms and aggregate them by type of activity? and/or user. The innovation ? aimed at monitoring productivity? of the various users and to catalog the activities? carried out by them. The system ? able to recognize the beginning of the activity? to the terminal by analyzing the state of the peripherals or through devices capable of recognizing the use of the voice via microphones, or of gestural movements performed by the user and detected by cameras, distance sensors, infrared sensors and other devices, without evaluating the active and attentive interaction of the user with the VDT. In document US 2014/0085077 A1 ?Sedentary activity management method and apparatus using data from a data-capable band for managing health and wellness?.
? descritto un apparato costituito da un terminale portatile e dispositivi indossabili, quali bracciali smart, in grado di rilevare le attivit? sedentarie o non sedentarie di un individuo in modo da promuovere corretti stili di vita e di movimento. L?innovazione presentata si colloca nell?ambito dei dispositivi portatili per monitorare l?attivit? fisica, sportiva e ricreativa e di conseguenza fornire stimoli all?individuo per dedicare congruo tempo ad attivit? non sedentarie. ? described an apparatus consisting of a portable terminal and wearable devices, such as smart bracelets, capable of detecting the activities sedentary or non-sedentary behavior of an individual in order to promote correct lifestyles and movement. The innovation presented is placed in the field of portable devices for monitoring the activity of physical, sporting and recreational activities and consequently provide stimuli to the individual to devote adequate time to activities? not sedentary.
In US 2016/0210839 A1 ?Multimodal monitoring systems for physical activity? ? descritto un sistema costituito da un VDT, da un dispositivo telefonico portatile e da un aggregatore di dati in grado di monitorare l?attivit? fisica di un utente. Il metodo presentato ? volto a calcolare il tempo in cui l?utente svolge attivit? sedentarie. Il sistema prevede l?utilizzo di una webcam unicamente per determinare la postura sedentaria dell?utente. L'aggregatore di dati previsto dal sistema pu? risiedere sul VDT, sul dispositivo telefonico portatile, su un server, oppure sulla rete di comunicazione. Tale aggregatore determina le sequenze di attivit? svolte dall?utente e la loro durata e correla i dati relativi all?attivit? fisica svolta dall?utente fornendo informazioni utili circa il grado di benessere legato all?attivit? fisica per promuovere corretti stili di vita, senza determinare il tempo di utilizzo attento e attivo del VDT. Infine, in US 9,713,444 B2 ?Human-digital media interaction tracking? ? descritto un sistema software per il tracciamento dell'interazione tra un essere umano e dispositivi digitali, che opera memorizzando le informazioni relative alla cronologia delle attivit? di un utente. L?apparato software si occupa di fornire informazioni relative al comportamento dell?utente e alle attivit? cognitive svolte. In particolare, il sistema traccia l?interazione tra l?utente e il dispositivo digitale rilevandone velocit? e durata. L?apparato include un database che memorizza le informazioni relative alla cronologia delle attivit? di un utente e un dispositivo informatico che riceve informazioni sul comportamento dell'utente che indicano l'utilizzo da parte di un utente di un programma software interattivo inerenti a specifiche attivit? cognitive. Nessun riferimento ? presente alla rilevazione dell'utilizzo attento e attivo di un VDT. In US 2016/0210839 A1 ?Multimodal monitoring systems for physical activity? ? described a system consisting of a VDT, a portable telephone device and a data aggregator capable of monitoring the activity? physique of a user. The method presented ? aimed at calculating the time in which the user carries out activities? sedentary. The system provides for the use of a webcam only to determine the sedentary posture of the user. The data aggregator provided by the system pu? reside on the VDT, mobile phone device, server, or communications network. This aggregator determines the sequences of activities? carried out by the user and their duration and correlates the data relating to the activity? performed by the user providing useful information about the degree of well-being linked to the activity? physical to promote correct lifestyles, without determining the time of careful and active use of the VDT. Finally, in US 9,713,444 B2 ?Human-digital media interaction tracking? ? described a software system for tracking the interaction between a human being and digital devices, which operates by storing information relating to the history of activities of a user. The software apparatus is responsible for providing information relating to the behavior of the user and the activities cognitive performed. In particular, the system traces the interaction between the user and the digital device, detecting its speed? lasted. Does the device include a database that stores activity history information? of a user is a computing device that receives user behavior information that indicates a user's use of an interactive software program related to specific user activities. cognitive. No reference ? present when detecting the careful and active use of a VDT.
SOMMARIO DELL?INVENZIONE SUMMARY OF THE INVENTION
La presente invenzione riguarda soluzioni per il monitoraggio non invasivo dell'attivit? di un utente al videoterminale (VDT), in grado di determinare in maniera quantitativa e oggettiva, secondo parametri specifici e metriche appositamente sviluppate, il tempo di utilizzo attivo del VDT da parte dell'utente. The present invention relates to solutions for the non-invasive monitoring of the activity of a user at the video display terminal (VDT), capable of quantitatively and objectively determining, according to specific parameters and specially developed metrics, the time of active use of the VDT by the user.
Il tempo di utilizzo del VDT ? determinato mediante l?analisi combinata dell?attenta osservazione del monitor da parte dell?utente, rilevata mediante sensori di immagine, e dell?interazione attiva dell?utente con il VDT attraverso le periferiche di input (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?), vale a dire considerando il complesso delle interazioni che l?utente effettua con il VDT. The usage time of the VDT ? determined through the combined analysis of the careful observation of the monitor by the user, detected by image sensors, and the active interaction of the user with the VDT through the input devices (keyboard, mouse, touchpad, joystick, tablet graphics, ?), i.e. considering the complex of interactions that the user carries out with the VDT.
La soluzione qui proposta riguarda un sistema per il monitoraggio dell'attivit? di utenti al videoterminale, per determinare il tempo di utilizzo effettivo e attivo del videoterminale da parte di ogni specifico utente e per registrare le sessioni di lavoro dell?utente con le relative durate, in cui il tempo di utilizzo effettivo e attivo del videoterminale da parte di un utente ? determinato dall?analisi combinata dell?attenta osservazione del monitor da parte dell?utente e dell?interazione attiva dell?utente con il videoterminale mediante le periferiche di input. Il sistema comprende almeno un sensore ottico configurato per identificare l?utente che sta utilizzando il videoterminale e per rilevarne l?attenta osservazione del monitor, almeno un?unit? di interfaccia configurata per rilevare le azioni di utilizzo delle periferiche di input, senza registrare alcuna informazione immessa dall?utente, almeno una unit? hardware di elaborazione configurata per elaborare le informazioni e i dati relativi all?utilizzo attivo delle periferiche e all'osservazione attenta del monitor, e configurata per fornire il tempo indipendente di attenta osservazione del monitor e di utilizzo di ogni singola periferica e per combinare tra loro le informazioni per calcolare il tempo di utilizzo del videoterminale. Il sistema comprende inoltre un insieme di strumenti software configurati per rilevare e identificare l?utente al videoterminale mediante tecniche di elaborazione delle immagini, intercettare l?attenta osservazione del monitor da parte dell?utente, determinare l?utilizzo delle periferiche di input, identificare il tempo di utilizzo del videoterminale da parte di ciascun utente, riconoscere e classificare l?utente, e determinare e memorizzare le sessioni di utilizzo del videoterminale. In varie forme di attuazione il sensore ottico e gli strumenti software sono configurati per implementare il riconoscimento facciale per distinguere differenti utenti che possono condividere lo stesso videoterminale in tempi diversi, in modo da determinare per ciascun utente il corrispondente specifico tempo di utilizzo del videoterminale, e il sistema comprende un database di immagini multiple del viso dei vari utenti acquisite in fase inziale e aggiornate nel corso del tempo, al fine di correlare l?utente che sta utilizzando il videoterminale in un determinato istante con le immagini presenti nel database e riconoscere l?identit? dell'utente. The solution proposed here concerns a system for monitoring the activity? of users to the video terminal, to determine the time of effective and active use of the video terminal by each specific user and to record the user?s work sessions with the relative durations, in which the time of effective and active use of the video terminal by of a user? determined by the combined analysis of the careful observation of the monitor by the user and the active interaction of the user with the video terminal using the input peripherals. The system includes at least one optical sensor configured to identify the user who is using the video terminal and to detect careful observation of the monitor, at least one unit of interface configured to detect the actions of use of the input devices, without recording any information entered by the user, at least one unit? computing hardware configured to process information and data relating to peripheral active use and monitor observance, and configured to provide independent monitor observance and usage time for each individual peripheral, and to combine the information to calculate the usage time of the VDU. The system also includes a set of software tools configured to detect and identify the user at the video terminal using image processing techniques, intercept the careful observation of the monitor by the user, determine the use of the input peripherals, identify the time of use of the video terminal by each user, recognize and classify the user, and determine and memorize the sessions of use of the video terminal. In various embodiments, the optical sensor and software tools are configured to implement facial recognition to distinguish different users who may share the same VDT at different times, so as to determine for each user the corresponding specific VDT usage time, and the system includes a database of multiple images of the faces of the various users acquired in the initial phase and updated over time, in order to correlate the user who is using the video terminal at a given instant with the images present in the database and to recognize the? identity of the user.
Preferibilmente l?unit? di interfaccia ? interposta tra le periferiche di input e il videoterminale. Preferably the unit? of interface ? placed between the input peripherals and the video terminal.
Ogni periferica di input ? dotata di unit? di interfaccia hardware oppure software mediante le quali vengono generati rispettivamente eventi hardware oppure software legati all?utilizzo della periferica e l?unit? di elaborazione ? configurata per determinare il tempo di utilizzo del videoterminale sulla base degli eventi hardware e software che vengono generati dalle unit? di interfaccia quando l?utente utilizza le periferiche di input oppure osserva attentamente il monitor. L?unit? di elaborazione ? configurata per determinare il tempo di utilizzo di una singola periferica oppure il tempo di utilizzo combinato del videoterminale. Each input device ? equipped with unit? of hardware or software interface through which hardware or software events related to the use of the peripheral and the unit? of processing ? configured to determine the time of use of the video terminal on the basis of hardware and software events that are generated by the unit? interface when the user operates the input devices or looks closely at the monitor. The unit of processing ? configured to determine the usage time of a single peripheral or the combined usage time of the video terminal.
Le unit? di interfaccia software collegate alle periferiche sono configurate per generare eventi software, e le periferiche sono sensori di movimento, sensori di distanza ottici o a ultrasuoni, scanner 3D, triangolatori ottici, telecamere nel visibile e telecamere a infrarossi. The units? of software interfaces connected to the peripherals are configured to generate software events, and the peripherals are motion sensors, optical or ultrasonic distance sensors, 3D scanners, optical triangulators, visible light cameras and infrared cameras.
In alcune forme di attuazione il sistema ? autonomo e indipendente dal videoterminale. In some embodiments the system ? autonomous and independent from the video terminal.
In forme di attuazione alternative il sistema ? parzialmente o completamente integrato con il videoterminale. In alternative embodiments the system ? partially or fully integrated with the VDU.
L?invenzione riguarda anche un corrispondente procedimento. The invention also relates to a corresponding process.
BREVE DESCRIZIONE DELLE FIGURE BRIEF DESCRIPTION OF THE FIGURES
Ulteriori caratteristiche e vantaggi dell?invenzione risulteranno evidenti dalla lettura della descrizione seguente fornita a titolo esemplificativo e non limitativo, con l?ausilio delle figure illustrate nelle tavole allegate, in cui: Further characteristics and advantages of the invention will become apparent from reading the following description provided by way of non-limiting example, with the aid of the figures illustrated in the attached tables, in which:
- La Figura 1 mostra un utente durante l?utilizzo di un videoterminale VDT, - Figure 1 shows a user using a VDT video terminal,
- La Figura 2 mostra la modalit? di determinazione del tempo T di utilizzo del VDT, - Figure 2 shows the mode? for determining the time T of use of the VDT,
- Le Figure 3a e 3b mostrano un esempio di sistema di monitoraggio del VDT, - Figures 3a and 3b show an example of a VDT monitoring system,
- La Figura 4 mostra un esempio di rilevazione di viso, occhi e pupille di un utente al VDT che attestano l?attenta osservazione del monitor, - Figure 4 shows an example of VDT detection of a user's face, eyes and pupils which attest to careful observation of the monitor,
- La Figura 5 mostra un esempio di registrazione eventi di osservazione attenta del monitor e di utilizzo delle periferiche di input (mouse e tastiera), - Figure 5 shows an example of event logging of careful observation of the monitor and use of input devices (mouse and keyboard),
- La Figura 6 mostra un esempio di schema modalit? generale di determinazione del tempo di utilizzo del VDT, - Figure 6 shows an example of a mode scheme? general determination of the time of use of the VDT,
- La Figura 7 mostra un esempio di schema a blocchi per la determinazione del tempo di utilizzo del VDT, - Figure 7 shows an example of a block diagram for determining the VDT usage time,
- La Figura 8 mostra un esempio di flow-chart dell?algoritmo per la determinazione dell?attenta osservazione del monitor da parte dell?utente (unit? software di interfaccia), - Figure 8 shows an example of flow-chart of the algorithm for determining the attentive observation of the monitor by the user (interface software unit),
- La Figura 9 mostra un esempio di occorrenza di eventi nel tempo e dei parametri utilizzati nell?algoritmo di determinazione del tempo di utilizzo relativamente ad una singola periferica del VDT, - Figure 9 shows an example of the occurrence of events over time and of the parameters used in the algorithm for determining the time of use in relation to a single VDT peripheral,
- La Figura 10 mostra un esempio di flow-chart relativo all?algoritmo per la determinazione del tempo di utilizzo del VDT per ogni singola tipologia di eventi, - La Figura 11 mostra un esempio di grafico riassuntivo utilizzo VDT ? prova 1 - con Tsoglia = 0.5 s, - Figure 10 shows an example of a flow-chart relating to the algorithm for determining the time of use of the VDT for each single type of event, - Figure 11 shows an example of a summary graph of VDT use? test 1 - with Tthreshold = 0.5 s,
- La Figura 12 mostra un esempio di grafico riassuntivo utilizzo VDT ? prova 1 - con Tsoglia = 1 s, - Figure 12 shows an example of a VDT usage summary graph ? test 1 - with Tthreshold = 1 s,
- La Figura 13 mostra un esempio di grafico riassuntivo utilizzo VDT ? prova 1 - con Tsoglia = 2 s, - Figure 13 shows an example of a VDT usage summary graph ? test 1 - with Tthreshold = 2 s,
- La Figura 14 mostra un esempio di grafico riassuntivo utilizzo VDT ? prova 1 - con Tsoglia = 5 s, - Figure 14 shows an example of a VDT usage summary graph ? test 1 - with Tthreshold = 5 s,
- La Figura 15 mostra un esempio di grafico riassuntivo utilizzo VDT ? prova 1 - con Tsoglia = 10 s, - Figure 15 shows an example of a VDT usage summary graph ? test 1 - with Tthreshold = 10 s,
- La Figura 16 mostra un esempio di flow-chart relativo all?algoritmo per la determinazione del tempo di utilizzo combinato del VDT, - Figure 16 shows an example of flow-chart relating to the algorithm for determining the combined usage time of the VDT,
- La Figura 17 mostra un esempio di grafico dei dati non elaborati con Tsoglia = 1 s, - Figure 17 shows an example of raw data graph with Tthreshold = 1 s,
- La Figura 18 mostra un esempio di grafico dei tempi di osservazione del monitor (cam) e di utilizzo delle singole periferiche (mouse e tastiera) con Tsoglia = 1 s, - Figure 18 shows an example of a graph of monitor observation times (cam) and use of individual peripherals (mouse and keyboard) with Tthreshold = 1 s,
- La Figura 19 mostra un esempio di grafico dei tempi di utilizzo VDT con Tsoglia = 1 s, - Figure 19 shows an example of a VDT usage time graph with Tthreshold = 1 s,
- La Figura 20 mostra un esempio di grafico dei tempi di utilizzo del VDT per le differenti registrazioni RegN con Tsoglia = 1 s e considerando le singole periferiche, - Figure 20 shows an example of a VDT usage time graph for the different RegN recordings with Tthreshold = 1 s and considering the individual peripherals,
- La Figura 21 mostra un esempio di grafico della percentuale di osservazione monitor, utilizzo mouse e tastiera per le differenti registrazioni con Tsoglia = 1 s considerando le singole periferiche, e - Figure 21 shows an example of a graph of the percentage of monitor observation, mouse and keyboard use for the different recordings with Tthreshold = 1 s considering the single peripherals, and
- La Figura 22 mostra un esempio di grafico dei tempi di utilizzo del VDT per le differenti registrazioni con Tsoglia = 1 s e considerando le singole periferiche. Le parti secondo la presente descrizione sono state rappresentate nei disegni, ove opportuno, con simboli convenzionali, mostrando solo quei dettagli specifici che sono pertinenti alla comprensione delle forme di realizzazione della presente invenzione, in modo da non evidenziare dettagli che saranno immediatamente evidenti, ai tecnici esperti dell'arte, in riferimento alla descrizione qui riportata. - Figure 22 shows an example of a VDT usage time graph for the different recordings with Tthreshold = 1 s and considering the individual peripherals. The parts according to the present description have been represented in the drawings, where appropriate, with conventional symbols, showing only those specific details which are pertinent to the understanding of the embodiments of the present invention, so as not to highlight details which will be immediately apparent, to those skilled in the art. skilled in the art, with reference to the description reported herein.
DESCRIZIONE DETTAGLIATA DELL?INVENZIONE DETAILED DESCRIPTION OF THE INVENTION
La presente invenzione si riferisce a strumenti e metodi per il monitoraggio dell'attivit? di un utente U (U ? solitamente riferito al singolo utente di un gruppo U1? Un) al videoterminale VDT, atti a determinare in maniera oggettiva e quantitativa il tempo di utilizzo effettivo e attivo del VDT da parte di ogni specifico utente Ui (Ui indica uno specifico utente di quel gruppo) e di registrare le sessioni di lavoro dell?utente Ui con le relative durate. Nello specifico, il tempo di utilizzo effettivo e attivo del VDT da parte di un utente U ? determinato dall?analisi combinata dell?attenta osservazione del monitor 10 e dell?interazione attiva dell?utente con il VDT mediante le periferiche di input 20 (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?) da parte di ogni singolo utente U, vale a dire considerando il complesso delle interazioni che l?utente U effettua con il VDT, come illustrato in Figura 1. Tale analisi combinata comprende diverse combinazioni (AND, OR, SOMMA etc) dei diversi monitoraggi tra loro. The present invention relates to instruments and methods for monitoring the activity of a user U (U ? usually referred to the single user of a group U1? Un) to the VDT video terminal, suitable for determining in an objective and quantitative way the actual and active use time of the VDT by each specific user Ui (Ui indicates a specific user of that group) and to record the work sessions of the user Ui with the relative durations. Specifically, the effective and active time of use of the VDT by a user U ? determined by the combined analysis of the careful observation of the monitor 10 and the active interaction of the user with the VDT through the input peripherals 20 (keyboard, mouse, touchpad, joystick, graphic tablet, ?) by each single user U , ie considering the complex of interactions that the user U carries out with the VDT, as illustrated in Figure 1. This combined analysis includes different combinations (AND, OR, SUM, etc) of the various monitorings.
I principi normativi (come il Decreto Legislativo n.81 del 9 aprile 2008 - Attuazione dell?articolo 1 della legge 3 agosto 2007, n. 123, in materia di tutela della salute e della sicurezza nei luoghi di lavoro, Gazzetta Ufficiale - Supplemento Ordinario n. Regulatory principles (such as Legislative Decree No. 81 of April 9, 2008 - Implementation of Article 1 of Law No. 123 of August 3, 2007, regarding the protection of health and safety in the workplace, Official Gazette - Ordinary Supplement no.
101 del 30 aprile 2008) sono finalizzati a garantire la salute e la sicurezza su luoghi di lavoro dotati di videoterminali e regolano l?uso dei VDT da parte del singolo utente U in base all?esposizione, cio? considerando il tempo complessivo di utilizzo del VDT tipicamente su base settimanale. 101 of 30 April 2008) are aimed at guaranteeing health and safety in workplaces equipped with video terminals and regulate the use of VDTs by the individual user U based on exposure, ie? considering the total time of use of the VDT typically on a weekly basis.
L?uso di VDT si caratterizza tipicamente per l?osservazione di un monitor 10 da parte dell'utente U e per una serie di azioni che egli compie sui sistemi di comando e di puntamento, costituite essenzialmente da digitazioni e pressioni, esercitate manualmente su tastiera, touchpad, trackpoint, trackball e mouse, ossia mediante l?interfacciamento dell?utente U con il VDT mediante le periferiche di input 20, come evidenziato in SIMLII, ?Linee guida per la sorveglianza sanitaria degli addetti ad attivit? lavorativa con videoterminali?, 2013. The use of VDT is typically characterized by the observation of a monitor 10 by the user U and by a series of actions that he performs on the command and pointing systems, essentially consisting of keystrokes and pressures, exerted manually on the keyboard , touchpad, trackpoint, trackball and mouse, i.e. by interfacing the user U with the VDT by means of the input peripherals 20, as highlighted in SIMLII, working with video terminals?, 2013.
I principali rischi legati all?utilizzo prolungato del VDT sono rappresentati dai disturbi visivi e dalle patologie neuro-muscolo-scheletriche. The main risks related to the prolonged use of VDT are represented by visual disturbances and neuro-musculoskeletal pathologies.
L?invenzione proposta trova applicazione, quale campo esemplificativo ma non esclusivo, negli ambiti della Medicina del Lavoro e della Sicurezza e Prevenzione nei luoghi di lavoro, ove soddisfa un'esigenza diffusa e irrisolta dal momento che rende disponibile uno strumento in grado di fornire una determinazione quantitativa e oggettiva del tempo di lavoro effettivamente svolto al VDT da un utente U. Questo aspetto costituisce elemento essenziale per poter classificare correttamente e oggettivamente singoli lavoratori come addetti al VDT o meno in base alla normativa vigente. L?invenzione proposta permette inoltre di disporre di una serie di dati misurati relativi al tempo e alle modalit? di utilizzo delle singole periferiche, permettendo di identificare differenti condotte e stili di utilizzo del VDT da parte di categorie differenti di utenti (per esempio disegnatori, addetti a videoscrittura, correttori documenti, addetti a inserimento dati ?). The proposed invention finds application, as an exemplifying but not exclusive field, in the fields of Occupational Medicine and Safety and Prevention in the workplace, where it satisfies a widespread and unresolved need since it makes available an instrument capable of providing a quantitative and objective determination of the working time actually performed on the VDT by a user U. This aspect is an essential element in order to be able to correctly and objectively classify individual workers as employed on the VDT or not on the basis of current legislation. The proposed invention also makes it possible to have a series of measured data relating to the time and methods? of use of the individual peripherals, making it possible to identify different behaviors and styles of use of the VDT by different categories of users (for example designers, word processors, document proofreaders, data entry operators?).
Le informazioni generate dal sistema di rilevazione e monitoraggio proposto possono fornire indicazioni utili circa eventuali utilizzi scorretti delle periferiche (ad esempio intensa e prolungata osservazione del monitor, bruschi spostamenti del mouse, inappropriato utilizzo delle periferiche di input, ?) che possono comportare danni o effetti negativi sulla salute dell?utente, quali disturbi oculo-visivi e muscoloscheletrici. The information generated by the proposed detection and monitoring system can provide useful indications about any incorrect use of the peripherals (for example intense and prolonged observation of the monitor, abrupt movements of the mouse, inappropriate use of the input peripherals, ?) which can lead to damage or adverse effects on the health of the user, such as eye-visual and musculoskeletal disorders.
Il sistema proposto consente, in aggiunta, di identificare con oggettiva accuratezza prolungate sessioni di lavoro attivo al VDT rivelando se esse siano intervallate da opportune pause. In addition, the proposed system allows to identify with objective accuracy prolonged active work sessions at the VDT, revealing whether they are interspersed with appropriate breaks.
Lo scopo della presente invenzione ? la definizione e lo sviluppo di metodi e strumenti per il monitoraggio dell'attivit? di differenti utenti U1, U2, ?, Un al VDT, atti a determinare in maniera oggettiva e quantitativa il tempo effettivo di utilizzo attento e attivo di un VDT da parte di ogni singolo utente U, di analizzare le attivit? svolte, di individuare la condotta, lo stile e la tipologia di utilizzo del VDT e la durata delle varie frazioni di tempo in cui l?utente U opera al VDT. Tale scopo ? ottenuto tramite un sistema di monitoraggio costituito da un assieme di dispositivi hardware e di apparati software che interagiscono opportunamente. Il tempo T effettivo di utilizzo attento e attivo del VDT da parte di un utente U ? determinato dall?analisi combinata della presenza dell?utente U, della attenta osservazione del monitor 10 e dell?interazione attiva con il VDT mediante una o pi? periferiche di input 20 (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?) da parte di ogni singolo utente U, ovvero considerando il complesso delle interazioni sensoriali che l?utente U effettua con il VDT, come mostrato in Figura 2. The purpose of the present invention ? the definition and development of methods and tools for monitoring the activity? of different users U1, U2, ?, Un to the VDT, capable of determining in an objective and quantitative way the effective time of careful and active use of a VDT by each individual user U, to analyze the activities? carried out, to identify the conduct, style and type of use of the VDT and the duration of the various fractions of time in which the user U operates at the VDT. That purpose? obtained through a monitoring system consisting of a set of hardware devices and software devices that interact appropriately. The effective time T of attentive and active use of the VDT by a user U ? determined by the combined analysis of the presence of the user U, the careful observation of the monitor 10 and the active interaction with the VDT through one or more? input peripherals 20 (keyboard, mouse, touchpad, joystick, graphic tablet, ?) by each individual user U, i.e. considering the complex of sensory interactions that user U carries out with the VDT, as shown in Figure 2.
In particolare, il tempo T di utilizzo ? determinato da opportune combinazioni del tempo 100 di attenta osservazione del monitor 10, del tempo 102 di utilizzo del mouse, del tempo 104 di utilizzo della tastiera, e del tempo 106 di utilizzo di qualsiasi altra periferica di input. In particular, the time T of use ? determined by suitable combinations of the time 100 of careful observation of the monitor 10, of the time 102 of using the mouse, of the time 104 of using the keyboard, and of the time 106 of using any other input device.
In una forma di attuazione il sistema S di monitoraggio pu? essere parzialmente o completamente integrato con il VDT da monitorare e condividere unit? hardware/software con il VDT stesso, come illustrato in Figura 3a. In one embodiment, the monitoring system S can? be partially or fully integrated with the VDT to monitor and share unit? hardware/software with the VDT itself, as shown in Figure 3a.
In un?altra forma di attuazione il sistema di monitoraggio S ? autonomo, in abbinamento al VDT e indipendente dal VDT, ossia esso risiede in una unit? di elaborazione esterna dotata di opportuni apparati software che ? connessa al VDT su cui opera l'utente U, ma separata e svincolata da questo, come mostrato in Figura 3b. In another embodiment the monitoring system S ? autonomous, in conjunction with the VDT and independent from the VDT, i.e. it resides in a unit? external processing equipped with appropriate software equipment that ? connected to the VDT on which user U operates, but separate and independent from it, as shown in Figure 3b.
In tale seconda forma di forma di attuazione, vantaggiosamente non ? necessario interferire in alcun modo col VDT, in particolare non ? necessario installare su questo alcun software. Il VDT pertanto non richiede interventi di modifica n? per quando riguarda il software installato n? per il sistema operativo n? per la necessit? di driver aggiuntivi. In this second embodiment, advantageously it is not necessary to interfere in any way with the VDT, in particular not ? You need to install any software on this. The VDT therefore does not require modifications n? as regards the installed software n? for the operating system n? for the need? of additional drivers.
Il sistema S, nella versione autonoma in abbinamento al VDT, si compone dei seguenti elementi: The S system, in the autonomous version combined with the VDT, consists of the following elements:
- almeno un sensore ottico (videocamera) 50 per identificare l?utente U che sta utilizzando il VDT e per rilevarne l?attenta osservazione del monitor; - at least one optical sensor (video camera) 50 to identify the user U who is using the VDT and to detect his careful observation of the monitor;
- almeno un?unit? hardware di interfaccia 60 in grado di rilevare le azioni di utilizzo delle periferiche di input (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?), senza registrare alcuna informazione immessa dall?utente U, al fine di preservare la privacy dell?utente U; - at least one? unit? interface hardware 60 capable of detecting the actions of use of the input peripherals (keyboard, mouse, touchpad, joystick, graphic tablet, ?), without recording any information entered by the user U, in order to preserve the user's privacy U;
- almeno una unit? hardware di elaborazione 70 costituita da una scheda elettronica a microprocessore dotata di adeguate capacit? computazionali, oppure da un PC o sistema equivalente, in grado di elaborare tramite opportuni algoritmi le informazioni e i dati relativi all'osservazione attenta del monitor 10 e all?utilizzo attivo delle periferiche 20 da parte di ogni singolo utente U, fornire il tempo di utilizzo indipendente di ogni singola periferica e combinare tra loro dette informazioni in modo da fornire parametri sintetici e metriche complessive che quantifichino l?utilizzo del VDT, permettendo di riflesso l?identificazione e la discriminazione di differenti condotte e stili di operare al VDT di ogni singolo utente U; - at least one unit? processing hardware 70 constituted by a microprocessor electronic card equipped with adequate capacity? computational data, or by a PC or equivalent system capable of processing, by means of suitable algorithms, the information and data relating to the careful observation of the monitor 10 and the active use of the peripherals 20 by each individual user U, supply the time of use of each individual peripheral and combine said information together in order to provide synthetic parameters and overall metrics that quantify the use of the VDT, thus allowing the identification and discrimination of different behaviors and styles of operating on the VDT of each individual user U;
- un insieme di tool, procedure, algoritmi, apparati e strumenti software 80, residenti nell'unit? hardware di elaborazione 70, in grado di rilevare e identificare, riconoscere e classificare l?utente al VDT mediante tecniche di elaborazione delle immagini, di intercettare l?attenta osservazione del monitor 10 e determinare l?utilizzo delle periferiche di input 20 da parte di ogni singolo utente U; identificare il tempo di utilizzo del VDT per ciascun singolo utente U; identificare, riconoscere e classificare l?utente U, determinare e memorizzare le sessioni di utilizzo (marca temporale e durata) del VDT da parte di ogni singolo utente U; - a set of tools, procedures, algorithms, apparatuses and software instruments 80, residing in the unit? processing hardware 70, capable of detecting and identifying, recognizing and classifying the VDT user by means of image processing techniques, of intercepting the careful observation of the monitor 10 and determining the use of the input peripherals 20 by each single user U; identify the VDT usage time for each single user U; identify, recognize and classify the user U, determine and memorize the usage sessions (timestamp and duration) of the VDT by each individual user U;
- cavi di collegamento 25 tra le periferiche di input 20 del VDT e il sistema di monitoraggio S per connettere tastiera e mouse o altre periferiche al sistema di monitoraggio; - connection cables 25 between the input peripherals 20 of the VDT and the monitoring system S for connecting the keyboard and mouse or other peripherals to the monitoring system;
- cavi di collegamento 35 tra il sistema di monitoraggio S e il VDT per connettere il sistema di monitoraggio S al VDT; - connecting cables 35 between the monitoring system S and the VDT for connecting the monitoring system S to the VDT;
- cavi di collegamento, alimentazione e periferiche di input/output del sistema di monitoraggio S per garantirne il corretto funzionamento e la gestione. Introducendo una funzionalit? distintiva e qualificante, la presente invenzione, attraverso un sensore ottico 50 (ad esempio una videocamera come una webcam) e opportuni algoritmi di riconoscimento facciale (face detection), rende possibile identificare la presenza di un utente U e determinarne la posizione del viso, degli occhi e delle pupille e di conseguenza ricavare la direzione verso la quale ? diretto lo sguardo dell?utente U. Rilevando la direzione verso la quale l'utente U sta guardando ? possibile determinare se egli sta osservando attentamente il monitor 10 o sta invece rivolgendo la propria attenzione verso altri oggetti e, analizzando i movimenti degli occhi, ? possibile determinare il grado di attenzione dell?utente U al VDT. - connection cables, power supply and input/output peripherals of the monitoring system S to guarantee its correct functioning and management. By introducing a feature? distinctive and qualifying, the present invention, through an optical sensor 50 (for example a video camera such as a webcam) and suitable facial recognition algorithms (face detection), makes it possible to identify the presence of a user U and determine the position of his face, eyes and pupils and consequently derive the direction in which ? direct the gaze of the user U. Noting the direction in which the user U is looking? possible to determine whether he is carefully observing the monitor 10 or is instead directing his attention towards other objects and, analyzing the movements of the eyes, ? possible to determine the degree of attention of the user U to the VDT.
In Figura 4 ? illustrato un esempio di rilevazione del viso V di un utente U. A seguito dell?acquisizione di un fotogramma e della rilevazione del viso V dell?utente U, il sistema di monitoraggio ricava la posizione del viso V, degli occhi O e delle pupille P ricavando la direzione verso la quale ? diretto lo sguardo dell?utente U. Nel caso lo sguardo sia rivolto al monitor 10, il sistema S genera un evento di attenta osservazione del monitor 10 da parte dell?utente U. Viceversa, non viene generato nessun evento. L?algoritmo di elaborazione delle immagini procede quindi reiterando il ciclo di acquisizione e elaborazione precedentemente descritto al fine di generare un evento ogni qualvolta venga riconosciuta l?attenta osservazione del monitor 10 da parte dell?utente U. In Figure 4 ? An example of the detection of face V of a user U is illustrated. Following the acquisition of a frame and the detection of face V of the user U, the monitoring system obtains the position of the face V, of the eyes O and of the pupils P deriving the direction towards which ? the gaze of the user U is directed. If the gaze is turned to the monitor 10, the system S generates an event of careful observation of the monitor 10 by the user U. Conversely, no event is generated. The image processing algorithm then proceeds by reiterating the previously described acquisition and processing cycle in order to generate an event whenever the careful observation of the monitor 10 by the user U is recognised.
La presente invenzione prevede inoltre algoritmi di riconoscimento e classificazione degli utenti U (face recognition) per distinguere differenti utenti U1, U2, ?Un che possono condividere lo stesso VDT in tempi diversi, in modo da determinare per ciascun utente U1, U2, ?, Un il corrispondente specifico tempo di utilizzo T1, T2, ?, Tn del VDT. Per distinguere i vari utenti U1, U2, ?, Un, l?invenzione prevede la presenza di un database DB di immagini multiple del viso V1, V2, ?, Vn dei vari utenti U1, U2, ?, Un, acquisite in fase iniziale e aggiornate nel corso del tempo, al fine di correlare l?utente Ui che sta utilizzando il VDT in un determinato istante con le n immagini presenti nel database DB e riconoscere l?identit? dell'utente Ui. The present invention also provides user recognition and classification algorithms U (face recognition) to distinguish different users U1, U2, ?Un who can share the same VDT at different times, so as to determine for each user U1, U2, ?, Un the corresponding specific usage time T1, T2, ?, Tn of the VDT. To distinguish the various users U1, U2, ?, Un, the invention provides for the presence of a DB database of multiple images of the face V1, V2, ?, Vn of the various users U1, U2, ?, Un, acquired in the initial phase and updated over time, in order to correlate the Ui user who is using the VDT in a given instant with the n images present in the DB database and to recognize the identity? of user Ui.
Per rilevare l?utilizzo delle periferiche di input 20, nella implementazione autonoma in abbinamento al VDT, l?invenzione prevede opportune unit? hardware di interfaccia 60 da interporre tra le periferiche di input 20 e il VDT, tali unit? sono collegate al sistema di monitoraggio S e ne sono parte integrante. To detect the use of the input peripherals 20, in the autonomous implementation in combination with the VDT, the invention provides suitable units interface hardware 60 to be interposed between the input peripherals 20 and the VDT, these units? are connected to the monitoring system S and are an integral part of it.
Le unit? hardware di interfaccia 60 e i relativi apparati software rilevano l?utilizzo delle periferiche di input 20 e ne danno comunicazione al sistema di monitoraggio S abbinando una marca temporale MT all'evento di utilizzo. I flussi di dati provenienti dalle periferiche di input 20 rimangono diretti unicamente al VDT e non vengono intercettati dalle unit? hardware di interfaccia 60 che operano in modalit? trasparente e non invasiva. In questo modo, il sistema di monitoraggio S riceve unicamente informazioni relative al mero utilizzo delle periferiche di input 20, senza ricevere informazioni relative al contenuto del flusso di dati di input, al fine di salvaguardare la privacy dell?utente U. The units? interface hardware 60 and the relative software devices detect the use of the input peripherals 20 and notify the monitoring system S thereof by associating a timestamp MT with the use event. The data streams coming from the input peripherals 20 remain directed solely to the VDT and are not intercepted by the units? interface hardware 60 operating in mode? transparent and non-invasive. In this way, the monitoring system S only receives information relating to the mere use of the input peripherals 20, without receiving information relating to the content of the input data flow, in order to safeguard the privacy of the user U.
Le unit? hardware di interfaccia 60, separate dal VDT, non richiedono l?istallazione di nessun driver sul VDT stesso. The units? interface hardware 60, separate from the VDT, do not require the installation of any driver on the VDT itself.
In una realizzazione particolare, ogni periferica di input 20i richiede almeno un?unit? hardware di interfaccia 60i per rilevarne l?utilizzo; in un?altra realizzazione alternativa, illustrata in Figura 3b, una singola unit? di interfaccia 60 pu? rilevare l?utilizzo di una o pi? periferiche di input 20i. In a particular embodiment, each 20i input device requires at least one drive? 60i interface hardware to detect usage; in another alternative embodiment, illustrated in Figure 3b, a single unit? interface 60 pu? detect the use of one or more? 20i input devices.
Il sistema S, nella sua versione integrata con il VDT, si compone dei seguenti elementi: The S system, in its version integrated with the VDT, consists of the following elements:
- almeno un sensore ottico 50 (videocamera) integrato o esterno al VDT; - at least one optical sensor 50 (video camera) integrated or external to the VDT;
- almeno un?unit? software di interfaccia 60a in grado di rilevare le azioni di utilizzo delle periferiche di input 20; - at least one? unit? interface software 60a capable of detecting the usage actions of the input peripherals 20;
- l?unit? hardware di elaborazione 70a che ? costituita dal VDT stesso; - un insieme di tool procedure, algoritmi, apparati e strumenti software 80a residenti sul VDT stesso. - the unit? processing hardware 70a what ? constituted by the VDT itself; - a set of tool procedures, algorithms, apparatuses and software tools 80a residing on the VDT itself.
Gli elementi che compongono il sistema S operano in maniera analoga a quanto descritto nella versione autonoma in abbinamento al VDT. The elements that make up the S system operate in a similar way to what is described in the autonomous version in combination with the VDT.
Il sistema di monitoraggio S ? in grado di ricavare le informazioni relative all?identificazione 200 dell'utente Ui tra gli n catalogati nel data base DB, alla sua attenta osservazione 210 del monitor 10 e all?utilizzo attivo 220 delle periferiche di input 20 effettuato da ogni singolo utente U1, U2, ?, Un, registrando gli eventi e il tempo T nel quale essi si sono verificati su supporti informatici, come rappresentato in Figura 5. The monitoring system S ? capable of obtaining the information relating to the identification 200 of the user Ui among the n cataloged in the database DB, to his careful observation 210 of the monitor 10 and to the active use 220 of the input peripherals 20 made by each single user U1, U2, ?, Un, recording the events and the time T in which they occurred on computer media, as represented in Figure 5.
La Figura 6 mostra uno schema che descrive la modalit? generale di determinazione del tempo T di utilizzo del VDT. Figure 6 shows a schematic describing the mode? general purpose for determining the time T of use of the VDT.
L?unit? di interfaccia 60 riceve i dati di rilevamento dalla videocamera 50, dalla tastiera 20a, dal mouse 20b, e da altri dispositivi di input 22. The unit interface 60 receives sensing data from video camera 50, keyboard 20a, mouse 20b, and other input devices 22.
Il tempo T di utilizzo del VDT per singolo utente U viene calcolato dai dati relativi al riconoscimento 200 dell?utente U, dalla rilevazione dell?osservazione 210 del monitor 10 e dalla rilevazione dell?utilizzo 220 delle periferiche 20. The time T of use of the VDT for a single user U is calculated from the data relating to the recognition 200 of the user U, from the detection of the observation 210 of the monitor 10 and from the detection of the use 220 of the peripherals 20.
Al fine di poter determinare la durata effettiva T di utilizzo attento e attivo del VDT, la presente invenzione prevede parametri specifici e metriche appositamente sviluppate. In order to be able to determine the effective duration T of careful and active use of the VDT, the present invention provides specific parameters and specifically developed metrics.
Per determinare l?utilizzo del VDT, ogni periferica di input 20, indicata con P1, P2, ?, PN, e PN+1,? PM ? dotata di unit? hardware di interfaccia HWP1, HWP2,?, HWPN, o software di interfaccia SWPN+1,? SWPM come indicato dallo schema a blocchi di Figura 7 mediante le quali vengono generati rispettivamente eventi hardware EP1, EP2, ?, EPN, o software EPN+1, ?, EPM legati all?utilizzo della periferica stessa. La numerazione [1 ... N] indica le periferiche dotate di unit? hardware di interfaccia, ed in particolare P1 potrebbe essere il mouse 20b, P2 potrebbe essere la tastiera 20a, mentre la numerazione [N+1... M] indica i dispositivi dotati di unit? software di interfaccia, ed in particolare PN+1 potrebbe essere la webcam 50. Nello schema di Figura 7, l?unit? di elaborazione 70 si occupa di determinare il tempo di utilizzo del VDT sulla base degli eventi hardware EP1, EP2, ? EPN, e software EPN+1, ?, EPM che vengono generati dalle unit? hardware di interfaccia HWP1, HWP2, ?, HWPN, e unit? software di interfaccia SWPN+1, ?, SWPM quando l?utente U utilizza le periferiche di input P1, P2, ?, PN, e/o PN+1, ? PM, e/o osserva attentamente il monitor 10, permettendo di calcolare il tempo di utilizzo di una singola periferica oppure il tempo T di utilizzo combinato delle varie periferiche. To determine the use of the VDT, each input device 20, indicated by P1, P2, ?, PN, and PN+1,? PM ? equipped with unit? interface hardware HWP1, HWP2,?, HWPN, or interface software SWPN+1,? SWPM as indicated by the block diagram of Figure 7 through which hardware events EP1, EP2, ?, EPN, or software EPN+1, ?, EPM related to the use of the peripheral itself are generated respectively. The numbering [1 ... N] indicates the peripherals equipped with unit? interface hardware, and in particular P1 could be the mouse 20b, P2 could be the keyboard 20a, while the numbering [N+1... M] indicates the devices provided with unit? interface software, and in particular PN+1 could be the webcam 50. In the diagram of Figure 7, the unit? of processing 70 is responsible for determining the time of use of the VDT on the basis of the hardware events EP1, EP2, ? EPN, and software EPN+1, ?, EPM that are generated by the units? interface hardware HWP1, HWP2, ?, HWPN, and unit? interface software SWPN+1, ?, SWPM when user U uses input devices P1, P2, ?, PN, and/or PN+1, ? PM, and/or carefully observes the monitor 10, allowing to calculate the usage time of a single peripheral or the combined usage time T of the various peripherals.
Nel caso di una periferica di input facente parte dell?insieme [1... N], per la quale ? prevista una azione deliberata dell?utente U verso il VDT, quale, a titolo di esempio, digitazioni e pressioni esercitate manualmente su tastiera 20a oppure movimenti del mouse 20b, ? possibile determinare l?effettivo utilizzo della periferica analizzando direttamente i segnali elettrici relativi alla comunicazione tra il VDT e la periferica considerata. Mediante l?unit? hardware di interfaccia [1 ? N] ? pertanto possibile analizzare tali segnali elettrici e generare un evento hardware [EP1 ? EPN] a cui viene associata una specifica marca temporale ogni qualvolta la periferica EP1, EP2, ? EPN sia stata effettivamente utilizzata dall?utente U. In the case of an input device belonging to the set [1... N], for which ? Is a deliberate action of the user U towards the VDT foreseen, such as, by way of example, keystrokes and pressures exerted manually on the keyboard 20a or movements of the mouse 20b? It is possible to determine the actual use of the peripheral by directly analyzing the electrical signals relating to the communication between the VDT and the peripheral in question. By means of the unit? interface hardware [1 ? N] ? therefore it is possible to analyze these electrical signals and generate a hardware event [EP1 ? EPN] to which a specific timestamp is associated whenever the peripheral EP1, EP2, ? EPN was actually used by user U.
A titolo esemplificativo, nel caso di periferiche con protocollo di comunicazione USB, si possono verificare due condizioni operative: in assenza di utilizzo dei dispostivi di input 20 sono presenti unicamente segnali periodici di sincronizzazione SS tra periferica EP1, EP2, ? EPN e VDT, viceversa, in caso di utilizzo attivo, si assiste alla presenza di segnali legati allo specifico utilizzo SU della periferica in aggiunta ai segnali di sincronizzazione. Analizzando opportunamente i segnali elettrici ? quindi possibile distinguere ed eliminare mediante opportuni filtraggi i segnali di sincronizzazione SS e mantenere i segnali di specifico utilizzo SU e cos? generare eventi hardware EP1, EP2, ? EPN nel caso di utilizzo attivo della periferica mediante, a titolo puramente esemplificativo ma non esaustivo, circuiti monostabili. Pertanto, sfruttando questa modalit?, ? possibile analizzare l?utilizzo attivo della periferica P1, P2, ? PN senza rilevare le eventuali informazioni sensibili immesse dall?utente U attraverso la periferica, preservandone quindi la privacy. By way of example, in the case of peripherals with USB communication protocol, two operating conditions can occur: in the absence of use of the input devices 20, there are only periodic synchronization signals SS between peripheral EP1, EP2, ? EPN and VDT, conversely, in case of active use, there is the presence of signals linked to the specific SU use of the peripheral in addition to the synchronization signals. Analyzing the electrical signals appropriately ? therefore it is possible to distinguish and eliminate by suitable filtering the synchronization signals SS and to keep the signals of specific use SU and so? generate hardware events EP1, EP2, ? EPN in the case of active use of the peripheral through, purely by way of example but not limited to, monostable circuits. Therefore, taking advantage of this mode?, ? Is it possible to analyze the active use of the peripheral P1, P2, ? PN without detecting any sensitive information entered by the user U through the device, thus preserving their privacy.
Nel caso di una periferica facente parte dell?insieme [N+1... M], quali, ad esempio, videocamere 50, sensori di movimento o di distanza ottici o a ultrasuoni, non ? sufficiente considerare i segnali elettrici relativi alla comunicazione tra il VDT e la periferica, ma risulta necessario analizzare le informazioni fornite dalla periferica PN+1,?, PM per determinare se vi siano state interazioni tra l?utente U e il VDT. Pertanto, sono necessarie unit? software di interfaccia [N+1 ? M] al fine di determinare la tipologia di attivit? riguardanti la specifica periferica PN+1,? PM considerata e di generare gli eventi software [SWPN+1 ? SWPM], come indicato in Figura 7. In the case of a peripheral belonging to the set [N+1... M], such as, for example, video cameras 50, optical or ultrasonic motion or distance sensors, it is not? it is sufficient to consider the electrical signals relating to the communication between the VDT and the peripheral, but it is necessary to analyze the information supplied by the peripheral PN+1,?, PM to determine whether there have been any interactions between the user U and the VDT. Therefore, are units needed? interface software [N+1 ? M] in order to determine the type of activity? concerning the specific PN+1 device,? PM considered and to generate the software events [SWPN+1 ? SWPM], as indicated in Figure 7.
Per determinare la presenza dell?utente U davanti al monitor ? possibile utilizzare differenti dispositivi e tecniche di elaborazione, quali, a titolo puramente esemplificativo ma non esaustivo, sensori di movimento e di distanza ottici o a ultrasuoni, scanner 3D, triangolatori ottici, telecamere nel visibile e a infrarossi. Una particolare implementazione del sistema di monitoraggio S consiste nell?utilizzo di una videocamera 50 (webcam). In questo caso, per determinare l?attenta visualizzazione del monitor 10 da parte dell?utente U, ? necessario determinare in primo luogo la presenza di un utente U davanti al monitor 10 tramite riconoscimento all?interno dell?immagine acquisita dalla videocamera 50 di una forma assimilabile ad un viso V, e in secondo luogo determinare se l?utente U stia visualizzando attentamente il VDT mediante l?analisi di una sequenza di fotogrammi in modo da determinare i movimenti degli occhi O. To determine the presence of the user U in front of the monitor ? It is possible to use different devices and processing techniques, such as, by way of example but not limited to, optical or ultrasound motion and distance sensors, 3D scanners, optical triangulators, visible and infrared cameras. A particular implementation of the monitoring system S consists in the use of a video camera 50 (webcam). In this case, to determine the attentive viewing of the monitor 10 by the user U, ? firstly, it is necessary to determine the presence of a user U in front of the monitor 10 by recognizing a shape similar to a face V within the image acquired by the video camera 50, and secondly to determine whether the user U is carefully viewing the VDT by analyzing a sequence of frames to determine eye movements O.
In particolare, il flow-chart dell?algoritmo per determinare l'attenta osservazione del monitor 10 da parte dell?utente U mediante una videocamera 10 ? mostrato in Figura 8. In particular, the flow-chart of the algorithm for determining the careful observation of the monitor 10 by the user U by means of a video camera 10 ? shown in Figure 8.
Il procedimento prevede un passo 1000 di inizio. In un passo 1002 la videocamera 50, opportunamente collocata in modo da poter inquadrare il viso V dell?utente U che sta operando al VDT, si occupa di acquisire una sequenza di singoli fotogrammi. In un passo 1004 si ha il riconoscimento del viso, ed in un passo decisionale 1006 se nessun viso V viene rilevato il controllo ritorna al passo 1002. Nel caso in cui un viso V venga rilevato, il successivo passo 1008 effettua il riconoscimento degli occhi O. Nel passo decisionale 1010 se gli occhi O non vengono rilevati il controllo ritorna al passo 1002. Nel caso in cui gli occhi O vengano rilevati, in un passo 1012 viene determinata la posizione (x,y,t) degli occhi. Il successivo passo 1014 esegue il riconoscimento del viso V. Nel seguente passo decisionale 1016 si controlla se le coordinate (x,y) della posizione degli occhi O sono compatibili con la posizione del monitor 10. In caso negativo il controllo ritorna al passo 1002. In caso positivo nel passo 1018 viene calcolata la variazione di tempo nel passo 1020 viene calcolata la variazione nella coordinata x della posizione degli occhi O, e nel passo 1022 viene calcolata la variazione The method provides for a start step 1000. In a step 1002 the video camera 50, suitably positioned so as to be able to frame the face V of the user U who is operating on the VDT, takes care of acquiring a sequence of single frames. In a step 1004 the face is recognized, and in a decision step 1006 if no face V is detected the control returns to step 1002. If a face V is detected, the following step 1008 carries out the recognition of the eyes O In the decision step 1010 if the eyes 0 are not detected the control returns to step 1002. In the case in which the eyes 0 are detected, in a step 1012 the position (x,y,t) of the eyes is determined. The next step 1014 carries out the recognition of the face V. In the following decision step 1016 it is checked whether the coordinates (x,y) of the position of the eyes O are compatible with the position of the monitor 10. If not, the check returns to step 1002. If so, in step 1018 the time variation is calculated in step 1020 the variation in the x coordinate of the position of the eyes O is calculated, and in step 1022 the variation is calculated
nella coordinata y della posizione degli occhi O. Nel in the y coordinate of the position of the eyes O. Nel
passo decisionale 1024 si controlla se la velocit? di spostamento della posizione degli occhi O nella coordinata x ? compresa tra due soglie minima e massima, ovvero In caso negativo il controllo ritorna al passo 1002. In caso positivo nel passo decisionale 1026 si controlla se la velocit? di spostamento della posizione degli occhi O nella coordinata y ? compresa tra due soglie minima e massima, ovvero ? . In caso negativo il controllo ritorna al passo 1002. Nel caso positivo nel passo 1028 viene riconosciuta la presenza attiva di un utente U, e nel passo 1030 viene generato un evento webcam ECAM. decision step 1024 you check if the speed? of displacement of the position of the eyes O in the coordinate x ? between two minimum and maximum thresholds, or In the negative case the control returns to the step 1002. In the positive case in the decisional step 1026 it is checked whether the speed? of displacement of the position of the eyes O in the y coordinate? between two minimum and maximum thresholds, or ? . If not, control returns to step 1002. In the positive case, the active presence of a user U is recognized in step 1028, and a webcam ECAM event is generated in step 1030.
Ogni singolo fotogramma acquisito dalla videocamera 50 viene analizzato mediante tecniche di face detection al fine di rilevare la presenza di un viso V umano e di face recognition per identificare quindi l?utente U. Per effettuare il riconoscimento della presenza del viso V, l?algoritmo cerca di identificare l?eventuale presenza di una forma correlata a quella dal viso V e, in caso di effettivo riconoscimento di presenza, prosegue con la ricerca degli occhi O e delle pupille P tramite forme a loro correlate. L?algoritmo fornisce quindi la posizione e le dimensioni degli stessi. Una volta riconosciuta la presenza di un viso V umano, viene eseguita l?operazione di face recognition, ovvero si confronta l?immagine acquisita dalla videocamera 50 con un set di immagini relative a identit? di riferimento precedentemente acquisite e presenti in un database DB, al fine di attribuire l?identit? dell?utente U al VDT rispetto alle identit? precedentemente censite. Successivamente, utilizzando le coordinate della posizione delle pupille, l?unit? software di interfaccia verifica se lo sguardo dell?utente U sia indirizzato verso un?area compatibile con la dimensione del monitor 10 e con la collocazione dello stesso rispetto alla videocamera 50. Le informazioni relative alla dimensione e alla collocazione del monitor 10 rispetto alla videocamera 50 vengono preventivamente immesse in fase di configurazione e di inizializzazione del sistema di monitoraggio S, utilizzando una modalit? manuale oppure attraverso tool o procedure semi-automatici. Tali tool o procedure chiedono all?utente U, a titolo d?esempio, di puntare lo sguardo in particolari zone del monitor 10 oppure di seguire con lo sguardo determinati percorsi o marcatori mostrati opportunamente sul monitor 10. L?algoritmo, mediante elaborazioni di una sequenza di fotogrammi, valuta inoltre se vi ? un?attenta e attiva visualizzazione del monitor 10, al fine anche di evitare false rilevazioni dovute alla presenza di immagini statiche, come ad esempio nel caso di inquadratura di una fotografia. L?algoritmo valuta quindi le variazioni delle posizioni degli occhi ?x e ?y avvenute nel tempo ?t mediante analisi di sequenze di fotogrammi, in modo da valutare la presenza attiva dell?utente U: se la velocit? di spostamento ?x/?t e ?y/?t degli occhi sul monitor nelle due coordinate x e y ? compresa tra opportune soglie impostabili in fase di configurazione, viene ritenuto che l?utente U abbia variato la zona di osservazione del monitor 10 e pertanto stia attivamente interfacciandosi con il VDT. Nel caso in cui vi siano pi? persone inquadrate dalla videocamera 50, l?unit? software di interfaccia tenta di riconoscere i vari utenti U mediante tecniche di face detection e face recognition e genera gli eventi software relativi all?utente U effettivamente monitorato. Each single frame acquired by the video camera 50 is analyzed by means of face detection techniques in order to detect the presence of a human face V and by face recognition to therefore identify the user U. To carry out the recognition of the presence of face V, the algorithm tries to identify the possible presence of a shape correlated to that of the face V and, in case of effective recognition of the presence, continues with the search for the eyes O and the pupils P through shapes correlated to them. The algorithm then provides their position and size. Once the presence of a human face V has been recognised, the face recognition operation is performed, i.e. the image acquired by the video camera 50 is compared with a set of images relating to human identities. of reference previously acquired and present in a DB database, in order to attribute the? identity? of? user U to the VDT compared to the identities? previously surveyed. Subsequently, using the coordinates of the position of the pupils, the unit? interface software checks whether the gaze of the user U is directed towards an area compatible with the size of the monitor 10 and with the placement of the same with respect to the video camera 50. The information relating to the size and placement of the monitor 10 with respect to the video camera 50 are previously entered during the configuration and initialization phase of the monitoring system S, using a mode? manual or through semi-automatic tools or procedures. These tools or procedures ask the user U, by way of example, to focus his gaze on particular areas of the monitor 10 or to follow with his gaze certain paths or markers suitably shown on the monitor 10. The algorithm, by processing a sequence of frames, also evaluates if there ? a careful and active display of the monitor 10, also for the purpose of avoiding false detections due to the presence of static images, such as for example in the case of framing a photograph. The algorithm then evaluates the variations in the positions of the eyes ?x and ?y which occurred in time ?t by analyzing sequences of frames, in order to evaluate the active presence of the user U: if the speed? of movement ?x/?t and ?y/?t of the eyes on the monitor in the two coordinates x and y ? between suitable thresholds which can be set during the configuration phase, it is considered that the user U has changed the observation zone of the monitor 10 and is therefore actively interfacing with the VDT. In case there are more people framed by the video camera 50, the unit? interface software tries to recognize the various users U through face detection and face recognition techniques and generates the software events relating to the user U effectively monitored.
L?attivit? al VDT ? caratterizzata da un insieme di azioni discontinue nel tempo che generano eventi rilevati dal sistema di monitoraggio. Tali eventi sono caratterizzati da una durata cos? esigua da poterla considerare trascurabile al fine del calcolo del tempo di utilizzo effettivo del VDT. Essendo la durata di tali eventi trascurabile, il tempo di utilizzo effettivo del VDT non pu? essere determinato dalla somma delle durate dei singoli eventi. Inoltre una sessione di lavoro al VDT ? caratterizzata da un insieme di interazioni multiple tra l?utente U e il VDT distribuite nel tempo senza stretta regolarit? e di conseguenza da un insieme di eventi senza una predefinita periodicit?. Risulta pertanto necessario definire le modalit? di analisi per determinare il tempo di utilizzo effettivo del VDT sulla base della presenza di eventi e della loro densit? di ricorrenza. The activity to VDT? characterized by a set of discontinuous actions over time that generate events detected by the monitoring system. These events are characterized by a duration so? small enough to be considered negligible for the purpose of calculating the actual usage time of the VDT. Since the duration of these events is negligible, the effective usage time of the VDT cannot? be determined by the sum of the durations of the individual events. Also a work session at the VDT ? characterized by a set of multiple interactions between the user U and the VDT distributed over time without strict regularity? and consequently from a set of events without a predefined periodicity. It is therefore necessary to define the modalities? of analysis to determine the time of actual use of the VDT on the basis of the presence of events and their density? of recurrence.
Primariamente vengono determinate le marche temporali MT degli eventi 100 di attenta osservazione del monitor 10 e i tempi di utilizzo 102,104,106 di ogni singola periferica di input 20 a partire dalle indicazioni fornite dalle unit? hardware e software di interfaccia 60 mediante gli algoritmi dedicati precedentemente descritti. Tra le alternative possibili, viene determinata l?attivit? al VDT mediante l?analisi della presenza di eventi ripetuti nel tempo, assunti di durata nulla. Primarily the timestamps MT of the events 100 of careful observation of the monitor 10 and the times of use 102,104,106 of each single input peripheral 20 are determined starting from the indications supplied by the units interface hardware and software 60 by means of the dedicated algorithms previously described. Among the possible alternatives, is the activity determined? to the VDT by analyzing the presence of events repeated over time, assumed to have zero duration.
Per ogni tipologia di evento rilevato (attenta osservazione 100 del monitor 10 oppure utilizzo 102,104,106 della singola periferica di input 20) viene considerata la marca temporale MT associata al singolo evento e determinato l?intervallo di tempo?Ti che intercorre tra due eventi distinti successivi, secondo la formula: For each type of event detected (careful observation 100 of the monitor 10 or use 102,104,106 of the single input peripheral 20) the timestamp MT associated with the single event is considered and the time interval?Ti that elapses between two successive distinct events is determined, according to the formula:
dove ti rappresenta il tempo nel quale si verifica l?evento i-esimo e ti+1 il tempo nel quale si verifica l?evento immediatamente successivo. Se il tempo?Ti ? inferiore a una determinata soglia impostabile Tsoglia si assume che l?osservazione del monitor 10 oppure l'utilizzo della periferica di input 20 sia stato effettuato senza interruzione per una durata di tempo uguale a In tal caso il tempo di utilizzo parziale Tparziale del monitor o della singola periferica del VDT interessata viene incrementato sommando l?intervallo di tempo In caso contrario, cio? nel caso in cui l?intervallo di tempo sia maggiore della soglia Tsoglia, si considera che in tale intervallo di tempo l?attivit? sia stata interrotta e di conseguenza il tempo di utilizzo parziale Tparziale non viene incrementato. where ti represents the time in which the i-th event occurs and ti+1 the time in which the immediately following event occurs. If the time?Ti ? lower than a specific settable threshold Tthreshold it is assumed that the observation of the monitor 10 or the use of the input peripheral 20 has been carried out without interruption for a duration of time equal to In this case the partial use time Tpartial of the monitor or of the single peripheral of the VDT involved is increased by adding up the time interval. Otherwise, the cio? in the event that the time interval is greater than the Tthreshold, it is considered that in this time interval the activity? has been interrupted and consequently the partial use time Tpartial is not increased.
Pertanto il tempo di utilizzo parziale Tparziale per il monitor e per ciascuna periferica ? determinato dalla formula: Therefore the partial usage time Tpartial for the monitor and for each peripheral ? determined by the formula:
considerando solamente gli intervalli di tempo ?Ti < Tsoglia. considering only the time intervals ?Ti < Tthreshold.
Un esempio di come opera l?algoritmo di determinazione del tempo di utilizzo parziale Tparziale per il monitor o ciascuna periferica ? illustrato nell?esempio di Figura 9. An example of how the algorithm for determining partial usage time Tpartial works for the monitor or each peripheral ? illustrated in the example of Figure 9.
Considerando gli eventi E1, E2, E3, E4 e E5, avvenuti rispettivamente al tempo t1, t2, t3, t4 e t5, vengono calcolati i tempi tra eventi successivi e confrontati con la soglia Tsoglia. Nella rappresentazione mostrata in Figura 9, i tempi Considering the events E1, E2, E3, E4 and E5, which occurred respectively at time t1, t2, t3, t4 and t5, the times between successive events are calculated and compared with the threshold Tthreshold. In the representation shown in Figure 9, the times
risultano minori della soglia Tsoglia, mentre risulta maggiore, ossia are lower than the threshold Tthreshold, while it is greater, i.e
si ritiene che tra l?evento E3 e il successivo evento E4 vi sia stata una interruzione dell?attivit? al VDT. Conseguentemente, nel caso illustrato, il tempo di utilizzo parziale risulta: Tparziale = is it believed that between the event E3 and the subsequent event E4 there was an interruption of the activity? to the VDT. Consequently, in the case illustrated, the partial use time is: Tpartial =
La procedura sopra illustrata per la determinazione del tempo parziale Tparziale ? formalizzata nell'algoritmo descritto dal flow-chart di Figura 10. The above procedure for determining part-time Tpartial ? formalized in the algorithm described by the flow-chart in Figure 10.
Il procedimento prevede un passo 1032 di inizio, ed un successivo passo 1034 di lettura degli eventi. The method provides for an initiation step 1032, and a subsequent event reading step 1034.
In un passo 1036 viene calcolato il tempo tra eventi successivi ?Ti = ti+1 ? ti e in un passo decisionale 1038 si controlla se tale tempo ? inferiore alla soglia Tsoglia e in caso negativo il controllo torna al passo 1034. In caso positivo in un passo 1040 il tempo parziale viene incrementato del valore ?Ti. In un passo decisionale 1042 si controlla se la sessione ? terminata, in caso negativo il controllo torna al passo 1034, in caso positivo in un passo 1044 viene salvato il valore Tparziale. In a step 1036 the time between successive events is calculated ?Ti = ti+1 ? ti and in a decisional step 1038 we check if this time ? lower than the threshold Tthreshold and if not the control goes back to step 1034. If so, in a step 1040 the partial time is increased by the value ?Ti. In a decision step 1042 we check if the session ? finished, in the negative case the control returns to step 1034, in the positive case the partial T value is saved in a step 1044.
Nei grafici riportati nelle Figure 11-15 sono mostrati i risultati sperimentali del processo di determinazione dei tempi parziali di osservazione monitor 100 e utilizzo singole periferiche 102 e 104 ricavati per differenti valori del tempo di soglia Tsoglia durante una sessione di utilizzo di un VDT costituito da un PC avente come periferiche di input mouse 20b e tastiera 20a. Per ogni set di dati viene utilizzato il valore logico ?1? se viene rilevata la presenza di attivit? di input per la specifica periferica, mentre viene riportato il valore logico ?0? se non vi ? stata alcuna attivit?. Come ? chiaramente visibile dai grafici, all?aumentare della durata del tempo di soglia Tsoglia diminuiscono le interruzioni di attivit? considerate. The graphs shown in Figures 11-15 show the experimental results of the process of determining the partial times of monitor observation 100 and use of individual peripherals 102 and 104 obtained for different values of the threshold time Tthreshold during a session of use of a VDT consisting of a PC having mouse 20b and keyboard 20a as input devices. The logical value ?1? is used for each data record. if the presence of activity is detected? of input for the specific device, while the logical value ?0? if not there ? there was no activity. How ? clearly visible from the graphs, as the duration of the threshold time increases, the activity interruptions decrease. consider.
Indipendentemente dal valore di Tsoglia utilizzato, si osserva una interruzione completa dall?utilizzo del VDT dal secondo 6805 al secondo 8100 circa, ove non sono riscontrate n? attivit? di utilizzo di mouse 102 e tastiera 104 n? osservazione del monitor 100 corrispondenti ad un intervallo di tempo di inattivit? completa che risulta coerente con l?effettiva interruzione documentata dell?utilizzo del VDT. Regardless of the Tthreshold value used, a complete interruption from the use of the VDT is observed from approximately the second 6805 to the second 8100, where n? activity? of use of mouse 102 and keyboard 104 n? observation of the monitor 100 corresponding to an interval of time of inactivity? complete which is consistent with the effective documented interruption of the use of the VDT.
In Tabella 1 sono riportati i tempi di osservazione del monitor 100 e di utilizzo di mouse 102 e tastiera 104 che risultano per la stessa prova sperimentale con differenti impostazioni dei valori del tempo di soglia Tsoglia. Si osserva che, all?aumentare del valore impostato del tempo di soglia Tsoglia, aumentano i tempi complessivi stimati di osservazione del monitor e utilizzo mouse e tastiera, dal momento che brevi interruzioni che durano meno del tempo Tsoglia non sono considerate come tali. Table 1 shows the times for observing the monitor 100 and for using the mouse 102 and keyboard 104 which result from the same experimental test with different settings of the values of the threshold time Tthreshold. It is observed that, as the value set for the threshold time Tthreshold increases, the estimated total times of observing the monitor and using the mouse and keyboard increase, since short interruptions lasting less than the time Tthreshold are not considered as such.
Tabella 1: Stima dei tempi di utilizzo del VDT al variare del tempo di soglia Tsoglia Table 1: Estimate of usage times of the VDT as the threshold time Tthreshold varies
L?invenzione comprende anche indici sintetici opportunamente predisposti per determinare il tempo di lavoro attento e attivo al VDT a partire dai tempi parziali di osservazione attenta del monitor 100 e di utilizzo delle singole periferiche 102 e 104. Una vera interazione tra utente U e VDT richiede di effettuare operazioni combinate di osservazione del monitor 100 e azioni di input da mouse 20b e/o tastiera 20a. Risulta pertanto significativo considerare non solo i tempi parziali di lavoro al VDT determinati singolarmente dalla osservazione del monitor rilevata mediante videocamera 50 e dalle azioni di input attraverso utilizzo tastiera 20a e mouse 20b, ma prendere in esame il complesso di tali tempi per descrivere e quantificare le situazioni di utilizzo combinato. In particolare, sono stati considerati i tre seguenti differenti casi di riferimento (vedere Figura 19): The invention also comprises synthetic indexes suitably arranged to determine the attentive and active work time at the VDT starting from the partial times of attentive observation of the monitor 100 and of use of the individual peripherals 102 and 104. A real interaction between user U and VDT requires to carry out combined operations of observation of the monitor 100 and input actions from the mouse 20b and/or keyboard 20a. It is therefore significant to consider not only the partial working times at the VDT determined individually by observing the monitor detected by the video camera 50 and by the input actions using the keyboard 20a and mouse 20b, but to examine the whole of these times to describe and quantify the situations of combined use. In particular, the following three different reference cases were considered (see Figure 19):
- Utilizzo combinato A: utilizzo di almeno una delle periferiche di input 20 o osservazione del monitor 10 (OR logico). - Combined use A: use of at least one of the 20 input devices or observation of the 10 monitor (logical OR).
- Utilizzo combinato B: uso contemporaneo di tutte le periferiche di input 20 e contemporanea osservazione del monitor 10 (AND logico). - Combined use B: simultaneous use of all the input peripherals 20 and simultaneous observation of the monitor 10 (logical AND).
- Utilizzo combinato C: uso di almeno una periferica di input 20 e contemporanea osservazione del monitor 10 (AND logico parziale su una periferica). - Combined use C: use of at least one input peripheral 20 and simultaneous observation of monitor 10 (partial logical AND on one peripheral).
L?algoritmo per la determinazione del tempo di utilizzo combinato del VDT ? descritto nel flow-chart di Figura 16. The algorithm for determining the combined usage time of the VDT? described in the flowchart in Figure 16.
Il procedimento prevede un passo 1046 di inizio, ed un successivo passo 1048 di calcolo del tempo parziale di utilizzo della periferica 1, un passo 1050 di calcolo del tempo parziale di utilizzo della periferica 2 e successivi passi di calcolo dei tempi parziali delle periferiche fino al passo 1052 di calcolo del tempo parziale di utilizzo della singola periferica. In un passo 1054 viene determinato il tempo di utilizzo combinato (AND, OR, etc?) e nel passo successivo 1056 viene calcolato il tempo di utilizzo combinato che viene memorizzato in un passo 1058. In un passo 1060 il procedimento termina. The method provides for a start step 1046, and a subsequent step 1048 for calculating the partial use time of the peripheral 1, a step 1050 for calculating the partial use time of the peripheral 2 and subsequent steps for calculating the partial times of the peripherals up to step 1052 for calculating the partial usage time of the single peripheral. In a step 1054 the combined usage time is determined (AND, OR, etc?) and in the following step 1056 the combined usage time is calculated which is stored in a step 1058. In a step 1060 the procedure ends.
L?unit? di elaborazione 70 o 70a, rappresentata dallo schema a blocchi di Figura 7, determina separatamente i tempi di utilizzo parziale delle singole periferiche a partire dagli eventi hardware EP1, EP2, ?, EPN, e software EPN+1, ?, EPM relativi all?utilizzo di ogni singola periferica. Successivamente l?unit? di elaborazione 70 o 70a, considerando per le singole periferiche gli eventi hardware EP1, EP2, ?, EPN, e software EPN+1, ?, EPM, determina il tempo di utilizzo combinato del VDT tenendo in considerazione la presenza contemporanea di pi? azioni di input da parte dell?utente U e/o di visualizzazione attenta del monitor 10. The unit processing unit 70 or 70a, represented by the block diagram of Figure 7, separately determines the partial use times of the individual peripherals starting from the hardware events EP1, EP2, ?, EPN, and software EPN+1, ?, EPM relating to the? use of each individual device. Subsequently the unit? of processing 70 or 70a, considering for the individual peripherals the hardware events EP1, EP2, ?, EPN, and software EPN+1, ?, EPM, determines the combined usage time of the VDT taking into consideration the simultaneous presence of more? input actions by the user U and/or careful viewing of the monitor 10.
A titolo d?esempio, nelle Figure 17-19 sono mostrati in forma grafica i risultati sperimentali del processo di monitoraggio di un VDT costituito da un PC avente come periferiche di input mouse 20b e tastiera 20a, in particolare utilizzando tre grafici specifici: By way of example, Figures 17-19 show in graphical form the experimental results of the monitoring process of a VDT consisting of a PC having mouse 20b and keyboard 20a as input peripherals, in particular using three specific graphs:
Figura 17: ?Dati non elaborati?: il grafico riporta con marker quadrati i dati forniti dal sistema di monitoraggio VDT suddivisi per tipologia. L?asse delle ascisse riporta il numero di secondi trascorsi rispetto al primo evento che viene registrato (Tsoglia = 1 s). Figure 17: ?Raw data?: the graph shows the data provided by the VDT monitoring system divided by type with square markers. The abscissa axis shows the number of seconds elapsed with respect to the first event that is recorded (Tthreshold = 1 s).
Figura 18: ?Utilizzo singola periferica?: sono riportate tre tracce che indicano rispettivamente il tempo di utilizzo di mouse 102, tastiera 104 e la presenza/assenza di osservazione attenta del monitor 100 (Tsoglia = 1 s). Per ogni set di dati viene utilizzato il valore logico ?1? se viene rilevata la presenza di attivit? di input per la specifica periferica, mentre viene riportato il valore logico ?0? se non vi ? stata alcuna attivit?. L?asse delle ascisse riporta ora e/o data degli eventi registrati. Figure 18: ?Use of a single device?: three traces are shown which respectively indicate the time of use of the mouse 102, keyboard 104 and the presence/absence of careful observation of the monitor 100 (Tthreshold = 1 s). The logical value ?1? is used for each data record. if the presence of activity is detected? of input for the specific device, while the logical value ?0? if not there ? there was no activity. The x-axis shows the time and/or date of the recorded events.
Figura 19: ?Utilizzo combinato periferiche?. Sono indicate tre tracce A, B, C indicanti rispettivamente per le condizioni di utilizzo combinato (mouse O tastiera O cam), (mouse E tastiera E cam) e ((mouse E cam) O (tastiera E cam)). Come nei casi precedenti, Tsoglia = 1 s. Per ogni set di dati viene utilizzato il valore logico ?1? se viene rilevata la presenza di attivit? di input per la specifica periferica, mentre viene riportato il valore logico ?0? se non vi ? stata alcuna attivit?. L?asse delle ascisse riporta ora e/o data degli eventi registrati. Figure 19: ?Combined use of peripherals?. Three traces A, B, C are indicated respectively for the conditions of combined use (mouse OR keyboard OR cam), (mouse AND keyboard AND cam) and ((mouse AND cam) OR (keyboard AND cam)). As in the previous cases, Tthreshold = 1 s. The logical value ?1? is used for each data record. if the presence of activity is detected? of input for the specific device, while the logical value ?0? if not there ? there was no activity. The x-axis shows the time and/or date of the recorded events.
Prendendo in esame l?utilizzo combinato delle periferiche ? stato possibile determinare i tempi di utilizzo del VDT per i vari casi. In Tabella 2 sono riportati i tempi di utilizzo del VDT considerando separatamente l'osservazione del monitor, l?utilizzo del mouse, l?utilizzo della tastiera e considerando anche le modalit? di utilizzo combinato delle periferiche secondo i casi di riferimento A, B e C precedentemente descritti. Tutti i valori dei tempi di utilizzo sono stati determinati considerando l?intervallo di tempo Tsoglia = 1 s. Taking into consideration the combined use of peripherals ? it was possible to determine the times of use of the VDT for the various cases. Table 2 shows the times of use of the VDT considering separately the observation of the monitor, the use of the mouse, the use of the keyboard and also considering the methods of combined use of the peripherals according to the reference cases A, B and C previously described. All values of the times of use were determined considering the time interval Tthreshold = 1 s.
Tabella 2: Tempi di utilizzo del VDT con tempo di soglia Tsoglia = 1 s Table 2: Time of use of the VDT with threshold time Tsoglia = 1 s
In Figura 20 sono mostrati in forma grafica i tempi parziali relativi all?interazione dell?utente U con il VDT mediante singole attivit? (osservazione del monitor 100 oppure utilizzo mouse 102 oppure utilizzo tastiera 104) sperimentalmente rilevati per differenti sessioni di monitoraggio chiamate registrazioni RegN. Figure 20 shows in graphical form the partial times relating to the interaction of the user U with the VDT through single activities? (observation of the monitor 100 or use of the mouse 102 or use of the keyboard 104) experimentally detected for different monitoring sessions called RegN recordings.
In Figura 21 ? riportata, per ogni singola registrazione RegN, la percentuale di osservazione del monitor 100 e di utilizzo di mouse 102 e tastiera 104 rispetto al tempo complessivo di utilizzo del VDT. Come si pu? notare, eccetto il caso della registrazione Reg04, si verifica una predominanza dei tempi di osservazione del monitor 10 rispetto ai tempi nei quali l?utente U effettua operazioni di input 20 mediante mouse 20b e/o tastiera 20a e una prevalenza dell?uso del mouse rispetto all?utilizzo della tastiera. In Figure 21 ? reported, for each single RegN recording, the percentage of observation of the monitor 100 and use of the mouse 102 and keyboard 104 with respect to the overall time of use of the VDT. How can you? note, except for the case of the Reg04 recording, there is a predominance of the observation times of the monitor 10 with respect to the times in which the user U carries out input operations 20 using the mouse 20b and/or keyboard 20a and a prevalence of the use of the mouse compared to using the keyboard.
I tempi relativi all?utilizzo del VDT, considerando le modalit? di utilizzo combinato delle periferiche, sono mostrati in forma grafica in Figura 22. The times relating to the use of the VDT, considering the modalities? of combined use of the peripherals, are shown in graphic form in Figure 22.
Il caso di utilizzo combinato A (mouse O tastiera O cam) permette di considerare il tempo complessivo in cui l?utente U interagisce attivamente al VDT con almeno una periferica di input 20 o con lo sguardo attentamente rivolto al monitor 10. Con questa modalit? di analisi anche la sola osservazione del monitor 100 (ad esempio la visione di un video o la lettura di un documento senza attivit? di input) viene conteggiata come attivit? di lavoro al VDT. The combined use case A (mouse OR keyboard OR cam) makes it possible to consider the total time in which the user U actively interacts on the VDT with at least one input peripheral 20 or with his gaze carefully turned to the monitor 10. With this modality? of analysis also the mere observation of the monitor 100 (for example the vision of a video or the reading of a document without activity of input) is counted as activity? working at VDT.
Se si intende considerare come attivit? di lavoro al VDT non solamente l?osservazione del monitor 10, ma anche il contemporaneo utilizzo di almeno una periferica tra mouse 20b e tastiera 20a, appare utile considerare il caso di utilizzo combinato C ((mouse E cam) O (tastiera E cam)). If you intend to consider as an activity? working at the VDT not only the observation of the monitor 10, but also the simultaneous use of at least one peripheral between mouse 20b and keyboard 20a, it seems useful to consider the case of combined use C ((mouse E cam) O (keyboard E cam) ).
Il caso di utilizzo combinato B (mouse E tastiera E cam) conteggia come effettivo tempo di lavoro esclusivamente quello in cui l?utente U utilizza contemporaneamente tutte le periferiche di input 20 e manifesta attenta osservazione del monitor 10. Tale situazione difficilmente si verifica, in particolare per utenti esperti. Ad esempio nella scrittura di un testo tipicamente l?utente U osserva il monitor 10 e interagisce con il VDT mediante tastiera 20a e raramente utilizza il mouse 20b, mentre nel caso di lettura di un testo tipicamente l?utente U osserva il testo e scorre tale documento o mediante tastiera 20a oppure mediante l?utilizzo del mouse 20b. Pertanto, la modalit? B pu? risultare nella tendenza a sottostimare il tempo globale di utilizzo del VDT. The case of combined use B (mouse AND keyboard AND cam) only counts as actual work time in which the user U uses all the input peripherals 20 at the same time and carefully observes the monitor 10. This situation hardly occurs, in especially for expert users. For example, when writing a text, the user U typically observes the monitor 10 and interacts with the VDT via the keyboard 20a and rarely uses the mouse 20b, while when reading a text, the user U typically observes the text and scrolls through it document either by keyboard 20a or by using the mouse 20b. Therefore, the mode B pu? result in a tendency to underestimate the overall usage time of the VDT.
L?invenzione permette di determinare il tempo globale di utilizzo del VDT considerando differenti fattori (a titolo di esempio utilizzo delle singole periferiche, utilizzi combinati, ...) con pesi differenti che possono essere preselezionati da apposite opzioni di configurazione, oppure impostati liberamente a seconda di casi particolari di utenti. The invention makes it possible to determine the overall time of use of the VDT considering different factors (for example, use of individual peripherals, combined uses, ...) with different weights that can be pre-selected from specific configuration options, or freely set to depending on particular cases of users.
Partendo dalla misurazione dei tempi parziali relativi all?utilizzo delle singole periferiche, dell?attenta osservazione del monitor e della modalit?/sequenza di azioni con il quale l?utente interagisce col VDT, la presente invenzione ? in grado di fornire metriche oggettive per determinare la tipologia di attivit? svolta dall?utente (a titolo di esempio realizzazione di disegni al CAD, inserimento dati, videoscrittura, lettura documenti, correzione documenti, ?) e identificare le differenti modalit?/condotte di interazione degli utenti con il VDT: ogni utente tende infatti a utilizzare il VDT con un particolare e personale stile correlabile a finalit? e tipologia di utilizzo e grado di esperienza e familiarit? con lo strumento informatico. Starting from the measurement of the partial times relating to the use of the individual peripherals, the careful observation of the monitor and the mode/sequence of actions with which the user interacts with the VDT, the present invention ? able to provide objective metrics to determine the type of activity? carried out by the user (for example, creation of CAD drawings, data entry, word processing, document reading, document correction, ?) and identify the different modes/conducts of user interaction with the VDT: in fact, each user tends to use the VDT with a particular and personal style correlated to finalit? and type of use and degree of experience and familiarity? with the computer tool.
Pertanto, la presente invenzione consente di essere applicata per un fine addizionale rappresentato dalla determinazione quantitativa e la classificazione degli stili di utilizzo dei VDT associabili, per esempio, a percorsi di formazione e addestramento all'uso di strumenti informatici o al riconoscimento di condotte inadeguate o poco efficaci. Therefore, the present invention allows it to be applied for an additional purpose represented by the quantitative determination and classification of the styles of use of VDTs that can be associated, for example, with training courses in the use of IT tools or in the recognition of inadequate or not very effective.
Una ulteriore funzionalit? consentita dall'invenzione riguarda la possibilit? di distinguere tra utenti diversi, chiamati a svolgere al VDT lo stesso compito preso come riferimento, sulla base delle impercettibili differenze di condotta e stile di azione riflesse nei tempi parziali di utilizzo delle varie periferiche e in opportune metriche da questi derivati. Si prevede cos? la possibilit? di effettuare l'equivalente di un'analisi calligrafica nel dominio dell'interazione digitale, sfruttando opportune "signature" specifiche dell'utente che non sono grafiche, come avviene nelle analisi tradizionali, ma sono biometriche/sensoriali. An additional feature? permitted by the invention concerns the possibility? to distinguish between different users, called to perform the same task taken as a reference on the VDT, on the basis of the imperceptible differences in conduct and style of action reflected in the partial times of use of the various peripherals and in appropriate metrics derived from these. What is expected? the possibility? to carry out the equivalent of a handwriting analysis in the domain of digital interaction, using appropriate user-specific "signatures" which are not graphics, as occurs in traditional analyses, but are biometric/sensorial.
Una ulteriore funzionalit? consentita dall'invenzione consiste nella verifica e nel monitoraggio automatico, oggettivo e in tempo reale del grado di attenzione di un utente impegnato in un'attivit? di interazione con un VDT, anche eventualmente collegato in remoto, per esempio durante teleconferenze, sessioni di lavoro o formazione a distanza. An additional feature? allowed by the invention consists in the verification and automatic, objective and real-time monitoring of the degree of attention of a user engaged in an activity? of interaction with a VDT, also possibly connected remotely, for example during teleconferences, work sessions or remote training.
La soluzione qui descritta si basa su strumenti e metodi per il monitoraggio dell'attivit? di un utente al VDT. La soluzione impiega un sistema integrato informatico e elettronico. Is the solution described here based on tools and methods for monitoring the activity? of a user to the VDT. The solution uses an integrated computer and electronic system.
In una sua implementazione il sistema di monitoraggio ? autonomo, in abbinamento al VDT e indipendente dal VDT, ossia esso risiede in una unit? esterna svincolata dal VDT stesso e dotata di opportuni apparati software. In one of its implementations the monitoring system ? autonomous, in conjunction with the VDT and independent from the VDT, i.e. it resides in a unit? independent from the VDT itself and equipped with suitable software devices.
In un?altra implementazione, il sistema di monitoraggio ? integrato con il VDT oggetto di attivit? di monitoraggio. In another implementation, the monitoring system ? integrated with the VDT object of activity? monitoring.
Il sistema di monitoraggio non ? invasivo per l'utente, senza perturbare la normale attivit? al VDT. The monitoring system does not ? invasive for the user, without disturbing the normal activity? to the VDT.
La soluzione qui proposta prevede la presenza di almeno una videocamera per identificare l?utente U che sta utilizzando il VDT e per rilevare l?attenta osservazione del monitor da parte dell?utente e l?interazione con il VDT. The solution proposed here provides for the presence of at least one video camera to identify the user U who is using the VDT and to detect the careful observation of the monitor by the user and the interaction with the VDT.
In varie forme di attuazione si impiega la rilevazione e identificazione/riconoscimento dell?utente al VDT mediante tecniche di elaborazione delle immagini (quali a titolo di esempio algoritmi di face detection e face recognition). In various embodiments, the detection and identification/recognition of the VDT user is used by means of image processing techniques (such as, for example, face detection and face recognition algorithms).
Nelle forme di attuazione la rilevazione dell?effettivo utilizzo delle periferiche di input (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?), avviene senza registrare alcuna informazione immessa dall?utente, al fine di preservarne la privacy. In the embodiments, the detection of the actual use of the input peripherals (keyboard, mouse, touchpad, joystick, graphic tablet, ?), takes place without recording any information entered by the user, in order to preserve their privacy.
La soluzione qui descritta permette una determinazione oggettiva e quantitativa del tempo di utilizzo effettivo, attento e attivo del VDT da parte dell?utente, una determinazione del tempo parziale di utilizzo delle singole periferiche di input, e una determinazione di metriche per la valutazione globale del tempo di utilizzo di un VDT combinando le informazioni relative ai tempi parziali di utilizzo delle singole periferiche. The solution described here allows an objective and quantitative determination of the effective, careful and active use time of the VDT by the user, a determination of the partial use time of the individual input peripherals, and a determination of metrics for the global evaluation of the usage time of a VDT by combining the information relating to the partial usage times of the individual peripherals.
Con la soluzione qui descritta ? possibile una identificazione del tempo di utilizzo del VDT da parte di ciascun utente e una determinazione e memorizzazione delle sessioni di utilizzo (marca temporale e durata) del VDT. With the solution described here ? It is possible to identify the usage time of the VDT by each user and to determine and memorize the usage sessions (timestamp and duration) of the VDT.
Le varie forme di attuazione della soluzione permettono una determinazione quantitativa e oggettiva, secondo parametri specifici e metriche appositamente sviluppate, del tempo di utilizzo del VDT da parte di un utente mediante l?analisi combinata dell?attenta osservazione del monitor da parte dell?utente e dell?interazione attiva dell?utente con il VDT mediante le periferiche di input (tastiera, mouse, touchpad, joystick, tavoletta grafica, ?), vale a dire considerando il complesso delle interazioni che l?utente effettua con il VDT. The various embodiments of the solution allow a quantitative and objective determination, according to specific parameters and specially developed metrics, of the time of use of the VDT by a user through the combined analysis of the careful observation of the monitor by the user and of the user?s active interaction with the VDT using the input peripherals (keyboard, mouse, touchpad, joystick, graphics tablet, ?), i.e. considering all the interactions that the user carries out with the VDT.
Le diverse forme di attuazione mettono a disposizione modalit? innovative di combinazione e rappresentazione delle attivit? parziali svolte dall?utente per determinare in forma oggettiva e robusta ci? che ? definibile come tempo complessivo di utilizzo attivo e attento del VDT. The different forms of implementation make available modalities? innovative combination and representation of the activities? partial carried out by the user to determine in an objective and robust form what? that ? definable as total time of active and attentive use of the VDT.
La soluzione qui descritta permette l?identificazione di metriche di quantificazione del lavoro svolto al VDT e la classificazione della tipologia di utente a seconda del tipo di attivit? svolta (per esempio lavoratore al CAD oppure addetto a data entry, videoscrittura, ?). The solution described here allows the identification of metrics for quantifying the work performed at the VDT and the classification of the type of user according to the type of activity? carried out (for example CAD worker or data entry, word processor, ?).
Claims (14)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102020000030989A IT202000030989A1 (en) | 2020-12-16 | 2020-12-16 | METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) |
| EP21840132.1A EP4264402A1 (en) | 2020-12-16 | 2021-12-15 | Methods, techniques and hardware and software tools for monitoring the activity of users at a video display terminal (vdt) |
| PCT/IB2021/061762 WO2022130236A1 (en) | 2020-12-16 | 2021-12-15 | Methods, techniques and hardware and software tools for monitoring the activity of users at a video display terminal (vdt) |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102020000030989A IT202000030989A1 (en) | 2020-12-16 | 2020-12-16 | METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT202000030989A1 true IT202000030989A1 (en) | 2022-06-16 |
Family
ID=74875035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102020000030989A IT202000030989A1 (en) | 2020-12-16 | 2020-12-16 | METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4264402A1 (en) |
| IT (1) | IT202000030989A1 (en) |
| WO (1) | WO2022130236A1 (en) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05101243A (en) | 1991-10-05 | 1993-04-23 | Mitsubishi Electric Corp | Vdt using time controller |
| US5481732A (en) * | 1993-12-14 | 1996-01-02 | Shahbazi; Horyeh D. | CRT monitor power control unit |
| EP0992970A1 (en) | 1998-10-07 | 2000-04-12 | Sony Chemicals Corporation | Apparatus and method for monitoring VDT operation, for preventing physical problems of the operator |
| JP2001290632A (en) | 2000-04-05 | 2001-10-19 | Tms:Kk | Method, device and system for monitoring vdt work and readable recording medium recording vdt work monitor program |
| JP2003070768A (en) | 2001-08-31 | 2003-03-11 | Itoki Crebio Corp | System for detecting posture of vdt worker |
| JP2005267491A (en) | 2004-03-22 | 2005-09-29 | Fuji Xerox Co Ltd | Vdt work environment control device |
| US20070250622A1 (en) | 2006-04-24 | 2007-10-25 | Aol Llc | Alerts for Monitoring User Status |
| US20080136650A1 (en) | 2004-06-03 | 2008-06-12 | Stephanie Littell | System and method for ergonomic tracking for individual physical exertion |
| US7421413B2 (en) | 2004-11-15 | 2008-09-02 | Microsoft Corporation | Delicate metering of computer usage |
| US20090006613A1 (en) | 2007-05-24 | 2009-01-01 | France Telecom | System and a method for updating a user presence status on a terminal by aggregating multisource information |
| US20100076274A1 (en) * | 2008-09-23 | 2010-03-25 | Joan Severson | Human-Digital Media Interaction Tracking |
| US20120311447A1 (en) | 2011-06-03 | 2012-12-06 | Microsoft Corporation | Collecting, aggregating, and presenting activity data |
| US20140085077A1 (en) | 2012-09-26 | 2014-03-27 | Aliphcom | Sedentary activity management method and apparatus using data from a data-capable band for managing health and wellness |
| WO2016001257A1 (en) * | 2014-07-03 | 2016-01-07 | Realeyes Oü | Method of collecting and processing computer user data during interaction with web-based content |
| US20160210839A1 (en) | 2015-01-15 | 2016-07-21 | Xerox Corporation | Multimodal monitoring systems for physical activity |
| EP3671464A1 (en) * | 2018-12-17 | 2020-06-24 | Citrix Systems, Inc. | Distraction factor used in a/b testing of a web application |
-
2020
- 2020-12-16 IT IT102020000030989A patent/IT202000030989A1/en unknown
-
2021
- 2021-12-15 EP EP21840132.1A patent/EP4264402A1/en active Pending
- 2021-12-15 WO PCT/IB2021/061762 patent/WO2022130236A1/en unknown
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05101243A (en) | 1991-10-05 | 1993-04-23 | Mitsubishi Electric Corp | Vdt using time controller |
| US5481732A (en) * | 1993-12-14 | 1996-01-02 | Shahbazi; Horyeh D. | CRT monitor power control unit |
| EP0992970A1 (en) | 1998-10-07 | 2000-04-12 | Sony Chemicals Corporation | Apparatus and method for monitoring VDT operation, for preventing physical problems of the operator |
| JP2001290632A (en) | 2000-04-05 | 2001-10-19 | Tms:Kk | Method, device and system for monitoring vdt work and readable recording medium recording vdt work monitor program |
| JP2003070768A (en) | 2001-08-31 | 2003-03-11 | Itoki Crebio Corp | System for detecting posture of vdt worker |
| JP2005267491A (en) | 2004-03-22 | 2005-09-29 | Fuji Xerox Co Ltd | Vdt work environment control device |
| US20080136650A1 (en) | 2004-06-03 | 2008-06-12 | Stephanie Littell | System and method for ergonomic tracking for individual physical exertion |
| US7421413B2 (en) | 2004-11-15 | 2008-09-02 | Microsoft Corporation | Delicate metering of computer usage |
| US20070250622A1 (en) | 2006-04-24 | 2007-10-25 | Aol Llc | Alerts for Monitoring User Status |
| US20090006613A1 (en) | 2007-05-24 | 2009-01-01 | France Telecom | System and a method for updating a user presence status on a terminal by aggregating multisource information |
| US20100076274A1 (en) * | 2008-09-23 | 2010-03-25 | Joan Severson | Human-Digital Media Interaction Tracking |
| US9713444B2 (en) | 2008-09-23 | 2017-07-25 | Digital Artefacts, Llc | Human-digital media interaction tracking |
| US20120311447A1 (en) | 2011-06-03 | 2012-12-06 | Microsoft Corporation | Collecting, aggregating, and presenting activity data |
| US20140085077A1 (en) | 2012-09-26 | 2014-03-27 | Aliphcom | Sedentary activity management method and apparatus using data from a data-capable band for managing health and wellness |
| WO2016001257A1 (en) * | 2014-07-03 | 2016-01-07 | Realeyes Oü | Method of collecting and processing computer user data during interaction with web-based content |
| US20160210839A1 (en) | 2015-01-15 | 2016-07-21 | Xerox Corporation | Multimodal monitoring systems for physical activity |
| EP3671464A1 (en) * | 2018-12-17 | 2020-06-24 | Citrix Systems, Inc. | Distraction factor used in a/b testing of a web application |
Non-Patent Citations (4)
| Title |
|---|
| A. CRISTOFOLINIW. VERSINIM. TOMMASINIS. STRONGL. BAROZZIR. MUTINELLI: "Evaluation of the times of use of the VDT", ITALIAN JOURNAL OF MEDICINE OF WORK AND ERGONOMICS, vol. 30, no. 4, 2008, pages 340 - 344 |
| R. A. FLETCHERD. CHAMBERLAIND. RICHMANN. ORESKOVICE. TAVERAS: "Wearable Sensor and algorithm for Automated Measurement of screen time", 2016 IEEE WIRELESS, WH, vol. 7764564, 2016, pages 109 - 116 |
| S. MORELLI, M.GRISONS, M. FERRARINA. GROVEM. BROCCOG. MACTIONID. GIANSANTI: "A monitoring tool of workers' activity at Video Display terminals for investigating VDT-related risk of musculosdeleted disorder", COMPUTER METHODS AND PROGRAMS IN BIOMEDICIN, vol. 107, no. 2, 2012, pages 294 - 307 |
| Y. LUON. ZHAOY. SHEN: "A durable multi-modal human performance monitoring system for video display terminai users: Concept, development and clinical data validation", 2016 IEEE INTERNATIONAL CONFERENCE ON REAL-TIME COMPUTING AND ROBOTICS, RCAR, vol. 7784019, 2016, pages 163 - 168 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022130236A1 (en) | 2022-06-23 |
| EP4264402A1 (en) | 2023-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peruzzini et al. | Benchmarking of tools for user experience analysis in industry 4.0 | |
| US20190239795A1 (en) | Emotion estimation apparatus, method, and program | |
| EP2698112B1 (en) | Real-time stress determination of an individual | |
| US20210287155A1 (en) | Production management apparatus, method, and program | |
| ElKomy et al. | ABBAS: an adaptive bio-sensors based assistive system | |
| US20190175090A1 (en) | Methods and systems for determining mental load | |
| US9104234B2 (en) | Method and system for quantitative determination of software ease of use | |
| US20210236023A1 (en) | TECHNOLOGY ADAPTED TO ENABLE IMPROVED COLLECTION OF INVOLUNTARY EYELlD MOVEMENT PARAMETERS, INCLUDING COLLECTION OF EYELlD MOVEMENT PARAMETERS TO SUPPORT ANALYSIS OF NEUROLOGICAL FACTORS | |
| Kraft et al. | CareCam: Concept of a new tool for Corporate Health Management | |
| Fugini et al. | WorkingAge: providing occupational safety through pervasive sensing and data driven behavior modeling | |
| US11844613B2 (en) | Fatigue state determination device and fatigue state determination method | |
| Chen et al. | Revealing the" Invisible Gorilla" in Construction: Assessing Mental Workload through Time-frequency Analysis | |
| Belk et al. | A Computer Mouse for Stress Identification of Older Adults at Work. | |
| IT202000030989A1 (en) | METHODS, TECHNIQUES AND HARDWARE AND SOFTWARE TOOLS FOR MONITORING USER ACTIVITY AT THE VIDEO TERMINAL (VDT) | |
| Singh et al. | Mauka-mauka: measuring and predicting opportunities for webcam-based heart rate sensing in workplace environment | |
| WO2018158704A1 (en) | Work management apparatus, method, and program | |
| Mijović et al. | Towards creation of implicit HCI model for prediction and prevention of operators’ error | |
| Padma et al. | Stress Detection Using Machine Learning and Image Processing | |
| WO2018158702A1 (en) | Production management apparatus, method, and program | |
| Mehmood et al. | Non-invasive detection of mental fatigue in construction equipment operators through geometric measurements of facial features | |
| Alt et al. | Human-centered Behavioral and Physiological Security | |
| Peruzzini et al. | A Multi-disciplinary Assessments Tool for Human-Machine Interaction | |
| KR102411593B1 (en) | Healthcare service providing system using ring mouse | |
| KONNI et al. | UTILIZING MACHINE LEARNING AND IMAGE PROCESSING TO DETECT SIGNS OF STRESS IN INDIVIDUALS | |
| Matsuno et al. | Analysis of trends in the occurrence of eyeblinks for an eyeblink input interface |