WO2021262024A1 - Device for displaying images and recording a reaction to an image - Google Patents

Device for displaying images and recording a reaction to an image Download PDF

Info

Publication number
WO2021262024A1
WO2021262024A1 PCT/RU2020/000317 RU2020000317W WO2021262024A1 WO 2021262024 A1 WO2021262024 A1 WO 2021262024A1 RU 2020000317 W RU2020000317 W RU 2020000317W WO 2021262024 A1 WO2021262024 A1 WO 2021262024A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coordinates
controller
line
sight
Prior art date
Application number
PCT/RU2020/000317
Other languages
French (fr)
Russian (ru)
Inventor
Григор Леонович ГРИГОРЯН
Левон Арнольдович ГРИГОРЯН
Original Assignee
Общество С Ограниченной Ответственностью "Тотал Вижен"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Тотал Вижен" filed Critical Общество С Ограниченной Ответственностью "Тотал Вижен"
Publication of WO2021262024A1 publication Critical patent/WO2021262024A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Definitions

  • the invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image.
  • the invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image and can be used in all cases when, for example, but not only, it is required to use a person's peripheral vision to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only, for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical
  • the gaze tracking system is a head-mounted gaze tracking device and a software server.
  • the device placed on the head is configured to communicate with the server.
  • the server receives images of scenes from a gaze tracker that captures external scenes viewed by an observer wearing a head-mounted device.
  • the server also receives gaze direction information from a head-mounted gaze tracker.
  • the gaze direction information indicates where in the outer scenes the observer was looking when viewing the outer scenes.
  • An image recognition algorithm is performed on images of a scene to identify elements within external scenes as viewed by an observer.
  • An observation log is created that tracks the identified items viewed by the observer.
  • a gaze point detection device is known from the prior art (US9262680B2, publ. 16.02.2016).
  • the viewpoint detection device detects the viewpoint of an object to its surroundings.
  • the device includes: an eyeball imaging means configured to acquire an eyeball imaging of a subject; reflection point judging means configured to evaluate a first reflection point at which incoming light is reflected in the direction of the optical axis of the subject's eyeball from the eyeball image; corrected reflection point calculating means, configured to calculate the corrected reflection point as the corrected first reflection point by correcting the first reflection point based on a personal parameter indicating the difference between the gaze direction of the subject and the optical axis direction of the eyeball.
  • Both solutions are devices whose purpose is to determine and track the direction of the gaze directed to external scenes.
  • these devices do not allow you to correct the image seen by the observer (since these are external scenes) and, therefore, to influence the angle between the image and the line of sight, and, therefore, to provide the demonstration of images in a certain range of space, located at a given angle from the line of sight of the observer.
  • these devices do not allow the formation of the images required for solving the assigned tasks.
  • these devices lack feedback systems to record the observer's reactions to the image.
  • Demonstration of images including visual stimuli in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixation reactions to this image are required in all cases when, for example, but not only, it is necessary to use a person's peripheral vision to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only, for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical procedures; in sports, education and training of psychomotor skills; in
  • the oculomotor apparatus begins to make rapid involuntary eye movements
  • the task of fixing the observer's reaction to the image is complicated by the fact that, for further use of this data, the user needs to know, with sufficient accuracy and in a single timeline, the image timecode (in order to determine which particular image presented caused the observer's reaction), the reaction time observer, the coordinates of the line of sight and the coordinates of the image presented at the moment of reaction.
  • the problem solved by the claimed technical solution is to create a device for displaying images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and the fixation of the reaction to this image by the observer.
  • the claimed technical solution makes it possible to demonstrate an image in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the direction of the observer's gaze, and to record the observer's reaction to this image with high accuracy.
  • the technical result of the claimed invention is to provide the possibility of displaying the image, including the demonstration of visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time), as well as in improving the accuracy of fixing the observer's response to the image, including visual stimuli demonstrated at a certain angle to the line of sight.
  • the device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle and fixing the reaction to this image contains left and right optical blocks containing the device line of sight tracking, controller - an analyzer of the line of sight coordinates made with the ability to receive and process information from the line of sight tracking device, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the image display, the controller for controlling the visual information output device, the visual information output device, the unit control and output of information to the user, an image generator, a feedback device and a controller for processing the data received from the feedback device, while the controller for calculating the correction of the image coordinates is configured to receive data from the controller-analyzer of the coordinates of the line of sight, the controller for controlling the coordinates of the display of the image and the block control and output of information to the user with the ability to process this data, compare them with the coordinates received from the control unit and output information to the user
  • the visual information output device and the gaze line tracking device are built-in or otherwise fixed on a device placed on the head.
  • the device placed on the head is made in the form of a virtual reality helmet or augmented or mixed reality glasses.
  • control and information output unit is at the disposal of the user.
  • the feedback device is made in the form of a button providing a "yes / no" response, or in the form of a joystick providing a response in the form of movement in space, or in the form of a neurointerface providing a change in signals in the channels of visual analyzers, or in the form of a device for analyzing visual reactions.
  • the feedback device is located in the hands of the observer or another part of the observer's body or on the observer's head.
  • the controller for processing the data received from the feedback device is made in a single unit with the feedback device.
  • the controller for processing the data obtained from the feedback device is made separately from the feedback device, while the communication between the feedback controller and the feedback device is performed via wired communication and / or using wireless information transmission technology.
  • the image generator, the controller for controlling the coordinates of the display of the image, the controller-analyzer of the coordinates of the line of sight are installed on the device, placed on the head together with a visual information output device and a line of sight tracking device.
  • the image generator, the controller for controlling the coordinates of the display of the image, the controller - analyzer of the coordinates of the line of sight are placed in a separate unit, while the connection between this unit and the device placed on the head is made through wired communication and / or through the use of wireless technology transmission of information.
  • the controller-analyzer of the coordinates of the line of sight, the controller for calculating the correction of the coordinates of the image, the controller for controlling the coordinates of the display of the image, the controller for controlling the device for outputting visual information and the image generator are placed together with the block for controlling and outputting information to the user.
  • the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the display of the image, the controller for controlling the visual information output device and the image generator are located in a separate unit, while the connection between this unit and the control unit and information output to the user is performed through wired communication and / or through the use of wireless information transmission technology.
  • the wireless technology of information transmission is implemented via Wi-Fi, Bluetooth, IoT.
  • the observer and the user can be one and the same person.
  • controller for calculating the correction of the coordinates of the image
  • controller for controlling the coordinates of the image demonstration.
  • the use of an eye tracker and a controller-analyzer of the coordinates of the line of sight allows you to determine the coordinates of the line of sight in real time.
  • controller for calculating the correction of the coordinates of the image allows you to calculate the angle of correction of the coordinates of the image so that the angle between the image and the line of sight remains unchanged and equal to that specified in the control and information output unit to the user.
  • controller for controlling the coordinates of the display of the image on the display device of visual information allows you to change the coordinates of the displayed image on the display device in real time.
  • controller for processing the data received from the feedback device and the controller for controlling the coordinates of the display of the image on the visual information output device makes it possible to obtain data on the observer's reaction, synchronized with the image timecode, image coordinates and gaze direction coordinates, in real time.
  • FIG. 1 is a general diagram of the device
  • FIG. 2 change in the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle
  • FIG. 3 keeping the angle between the image and the line of sight of the observer unchanged in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
  • FIG. 4 demonstration of the model of changing the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
  • FIG. 5 demonstration of the model of maintaining a constant angle between the image and the line of sight of the observer in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
  • FIG. 6 structure of an optical unit with an optical system consisting of one lens
  • FIG. 7 structure of an optical unit with an optical system consisting of two inc.
  • FIG. 8 optical block assembly
  • FIG. 9 is a diagram of a gaze line tracking device and a gaze coordinate analyzer based on a monocrystal video system (SOC);
  • FIG. 10 external view of the gaze line tracking device and controller - gaze coordinate analyzer based on a monocrystal video system (SOC);
  • SOC monocrystal video system
  • FIG. 11 is an external view of a product consisting of a device placed on the head - HMD (2), an external system unit (23), a feedback device (12) and connecting cables (24, 25).
  • a device placed on the head for example, a virtual reality helmet or glasses of augmented or mixed reality (Head-Mounted Device - HMD);
  • VIOD Visual Information Output Device
  • Tracking device Eye tracker
  • FIG. 1 A diagram of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, is shown in Fig. 1.
  • a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, consists of a device placed on the observer's head; controller - analyzer of coordinates of the line of sight (5); image coordinate correction calculation controller (6); a controller for controlling the coordinates of the image display (7); visual information output devices (9); control unit and information output to the user (10); image generator (11); feedback devices (12); controller for processing data received from the feedback device (13).
  • the device (2) placed on the observer's head, contains a controller for controlling the visual information output device (8) and two, left and right, optical blocks (3).
  • Optical blocks (3) for the right and left eyes have an identical design. Diagrams of optical units with one and two lenses are shown in FIG. 6 and FIG. 7, the appearance of the assembled optical units is shown in FIG. eight.
  • the optical unit (3) consists of infrared radiation sources (16), an optical system consisting of one or more lenses (17), a mirror with spectral division of channels (18), a visual information output device (VIOD) (9) and a tracking device eye tracker (4).
  • Sources of infrared radiation (16) are located around the optical system, in the plane perpendicular to the optical axis of the unit (3).
  • the optical system (17) is located between the eye of the observer and the mirror with spectral division of the channels (18).
  • a mirror with spectral division of channels (18) is located between the optical system (17) and the visual information output device (VIOD) (9) at an angle to the optical axis of the unit.
  • the gaze line tracking device (4) is made on the basis of a single-crystal video system (SOC) and is located at an angle to the mirror with spectral division of the channels (18).
  • SOC single-crystal video system
  • the line-of-sight tracking device (4) based on a single-crystal video system is a photo-video system on a chip (SOC) designed to detect and identify rapidly changing (moving and / or changing brightness) small-sized targets (light spots) under conditions of non-uniform, changing time background.
  • SOC photo-video system on a chip
  • the image processing algorithm provides the determination of the X-, Y- coordinates of the center of gravity, area, shape feature, as well as the brightness of several targets simultaneously.
  • the line of sight tracking device (4) is a photo or video camera located in such a way as to track the direction of gaze and its changes as accurately as possible with minimal distortion. To achieve maximum accuracy and minimize distortion, the optical axes of the gaze and the camera must match.
  • a mirror with spectral division of channels is used, which is located between the optical system (17) and the device for outputting visual information at an angle to the line of sight.
  • a mirror (18) with spectral division of channels reflects light in the infrared range and projects the image of the eye onto the gaze tracker (4) without geometric distortion, as if it were directly on the line of sight. At the same time, for the visible color range, the mirror is transparent and allows the eye to see the image on the visual information output device (9).
  • a visual information output device is a matrix, projector screen, or other device (Visual Information Output Device - VIOD) embedded in a device placed on the head, for example, but not limited to, a virtual reality helmet or augmented or mixed reality glasses (Head-Mounted Device - HMD).
  • Visual Information Output Device - VIOD Visual Information Output Device - VIOD
  • Head-Mounted Device - HMD augmented or mixed reality glasses
  • the gaze tracking device (4) and the visual information output device (9) can be built-in or otherwise attached to a device placed on the head, for example, but not only a virtual reality helmet or augmented or mixed reality glasses.
  • the task of the gaze line tracking device is to transmit in real time information about the direction of the gaze line to the controller - the gaze coordinate analyzer.
  • the controller - the analyzer of the coordinates of the line of sight (5), the controller for calculating the correction of the coordinates of the image (6), the controller for controlling the coordinates of the display of the image (7), the controller for controlling the visual information output device (8) and the image generator (11) can either be placed together with the unit control and output of information to the user (10), or be placed in a separate unit, in the latter case, communication between this unit and the control unit and output of information to the user (10) can be carried out both by wire and using wireless technology for transmitting information (for example, but not only, Wi-Fi, Bluetooth, IoT).
  • FIG. 11 shows the connection to an external system unit (23) of controllers (6, 7, 8) using a cable (24) and a feedback device (12) using a cable (25).
  • the controller - analyzer of the coordinates of the line of sight (5) is a software and hardware complex, the task of which is to analyze the image coming from the device for tracking the line of sight (4) in real time and, based on the analysis, calculate the actual coordinates of the direction of the line of sight.
  • the controller - line of sight coordinates analyzer (5) can be made in the form of an independent unit (processor and software), in the form of a special program executed on a computer connected to the device or an external system unit, or in the form of a monocrystal video system that combines a gaze line tracking device (4) and a controller - line coordinates analyzer gaze (5) in one crystal (System-on-a-Chip - SOC).
  • FIG. 9 shows a diagram of a monocrystal video system that combines a gaze line tracking device (4) and a gaze coordinate analyzer controller (5) in one crystal (SOC), and FIG. 10 is a photograph of this device.
  • the controller for calculating the correction of image coordinates (6) is a hardware and software complex, the task of which is to calculate the necessary correction angles of the coordinates of the display of the image on the visual information output device (9) based on the data received from the controller - analyzer of the coordinates of the line of sight (5), the control controller coordinates of displaying the image (7) and the control unit and information output to the user (10).
  • the controller for calculating the correction of image coordinates (6) can be made in the form of an independent unit (processor and software) or in the form of a special program executed on a computer connected to the device or an external system unit.
  • FIG. 11 shows the connection to an external system unit (23) using a cable (24).
  • controller for calculating the correction of the coordinates of the image (6) must implement the following expression:
  • D is the vector of the angle of correction of the coordinates of the image, calculated by the controller for calculating the correction of the coordinates of the image (6);
  • a is the vector of the angle of deviation of the image from the line of sight of the observer, specified in the control unit and information output to the user (10);
  • bop is the vector of the angle of deviation of the image from the line of sight of the observer received from the controller for controlling the coordinates of the display of the image (7) on the visual information output device;
  • IER hab - the actual vector of the angle of the direction of gaze, received from the controller - the analyzer of the coordinates of the line of gaze (5).
  • the image display coordinates control controller (7) is a software and hardware complex, the task of which, based on the data received from the image coordinate correction calculation controller (6) and the image generator (11), to form a corrected image, shifted relative to the actual image, by the image correction angle obtained from the controller for calculating the correction of the coordinates of the image (6).
  • the control of the coordinates of the image display (7) can be performed as an independent unit (processor and software) or as a special program executed on a computer connected to the device or an external system unit.
  • FIG. 11 shows the connection to an external system unit (23) using a cable (24).
  • the controller for controlling the visual information output device (8) is a software and hardware complex, the task of which, based on the image received from the controller for controlling the coordinates of the image display (7), to control the visual information output device (9), so that the image displayed by the device output of visual information (9) corresponded to the image generated by the controller for controlling the coordinates of the display of the image (7).
  • the controller-analyzer of the coordinates of the line of sight (5) can be made in the form of an independent unit (processor and software) or in the form of a special program executed on a computer connected to the device or an external system unit.
  • FIG. 11 shows the connection to an external system unit (23) using a cable (24).
  • the task of the feedback device (12) is to register the observer's reactions to the image displayed by the visual information output device (9), and transmit them to the data processing controller (13) received from the feedback device.
  • a button (“yes / no” type reaction
  • a joystick (a reaction in the form of movement in space) can be used as a feedback device, a neurointerface (characteristic changes in signals in the channels of visual analyzers), a device that analyzes visual reactions in particular (but not only), the reaction of the pupil, or an involuntary (setting) change in the direction of gaze (optical oculography or electrooculography).
  • the feedback device can be located in the hands of the observer (button, joystick) or another part of the observer's body (joystick) or on the observer's head (neurointerface, a device that analyzes visual reactions).
  • FIG. 11 shows the connection to an external system unit (23), in which the controller for processing data (13) received from the feedback device is located using a cable (25).
  • the task of the controller for processing data received from the feedback device (13) is the formation, in real time, of information about the observer's response, synchronized with the image timecode, image coordinates and gaze direction coordinates obtained from the image display coordinates control controller (7) , and transferring this information to the control unit and information output (10).
  • the controller for processing the data received from the feedback device (13) can be located both in a single unit with the feedback device (12), and separately, in the latter case, the connection between the feedback controller (13) and the device feedback (12) can be carried out both via cable and using wireless technology for transmitting information (for example, but not only, Wi-Fi, Bluetooth, IoT).
  • FIG. 11 shows the connection of the feedback device (12) using the cable (25) to the external system unit (23), which houses the data processing controller (13).
  • FIG. 2 and FIG. 3 shows what happens when the direction of the line of sight is shifted in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle (Fig. 2) and if available (Fig. 3).
  • FIG. 2 shows that in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, a shift in the direction of the line of sight leads to a change in the angle between the line of sight and the displayed image.
  • FIG. 2 shows that in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, a shift in the direction of the line of sight leads to a change in the angle between the line of sight and the displayed image.
  • FIG. 3 shows that in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the shift in the direction of the line of sight does not lead to a change in the angle between the line of sight and the displayed image, the angle remains unchanged.
  • FIG. 4 shows a model of changing the angle between the line of sight and the displayed image in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle.
  • the eye rotates through the angle D and, accordingly, the direction of the line of sight (15) also changes by the angle D and becomes equal to b.
  • Ha fig. 5 shows a model of maintaining a constant value of the angle between the line of sight and the displayed image in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle.
  • the angle between the line of sight (14) and the displayed image (15) is equal to a.
  • the eye rotates through the angle D and, accordingly, the direction of the line of sight (15) also changes by the angle D.
  • the user sets the necessary data, namely, the image that should be presented to the observer and the coordinates of the display of the image relative to the direction of the line of sight. If the coordinates of the display of the image relative to the direction of the line of sight should change in time, the user sets (selects or enters) an algorithm for changing the coordinates in accordance with the task.
  • the information required for image formation is supplied from the control and information output unit (10) to the image generator (11).
  • the image generator (11) generates an image to be presented to the observer.
  • the generated image is fed to the controller for controlling the coordinates of the image demonstration (7).
  • Information about the coordinates of the display of the image relative to the direction of the line of sight is transmitted from the control unit and information output (10) to the controller for calculating the correction of the coordinates of the image (6).
  • the controller for calculating the correction of image coordinates (6) compares the user-specified coordinates of the image with the coordinates of the line of sight of the observer, obtained from the controller - analyzer of coordinates of the line of sight (5) and the coordinates of the image from the controller for controlling the coordinates of the display of the image (7), calculates the required changes in the coordinates of the image and transmits updated image coordinates to the image display coordinates control controller (7).
  • the controller for controlling the coordinates of the image demonstration (7) receives the generated image from the image generator (11) and the updated image coordinates from the controller for calculating the correction of the image coordinates (6).
  • the resulting updated image is transmitted from the controller for controlling the coordinates of the image display (7) to the controller for controlling the visual information output device (8), which generates an image directly on the visual information output device (9).
  • the system operates in a dynamic mode, comparing the coordinates with the refresh rate of the screen of the visual information output device (9) and, accordingly, correcting the coordinates of the display of the image on the visual information output device (9).
  • the system for displaying images in a certain range of space, located at a given angle from the line of sight of the observer, can operate in several modes:
  • the controller for controlling the coordinates of the image demonstration (7) adds to the image the so-called "fixation point" with the coordinates formed in accordance with the conditions specified by the user in the control and information output unit (10) and, if necessary, with data obtained from the controller for calculating the correction of the coordinates of the image (6) and the controller for processing the data received from the feedback device (13).
  • the user's reaction to the displayed image is recorded by the feedback device (12).
  • Information from the feedback device (12) goes to the controller for processing the data received from the feedback device (13).
  • the results of data processing are transmitted to the control and information output unit (10) for further use by the user, as well as, if necessary, to the controller for controlling the coordinates of the image display (7) to calculate the actual coordinates of the observer's gaze fixation point.
  • a button a "yes / no” reaction
  • a joystick a reaction in the form of movement in space
  • a neurointerface characteristic changes in signals in the channels of visual analyzers
  • a device that analyzes visual reactions in particular but not only
  • the reaction of the pupil or an involuntary setting) change in the direction of gaze
  • the data processing controller 7 receives different types of data in different formats. Accordingly, the algorithm of operation of the controller for processing data received from the feedback device (13) must be adapted to the used feedback device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The invention relates to the field of computer technology for processing images. A controller for calculating a correction of image coordinates is designed so as to be capable of receiving data from a controller of a line of gaze coordinate analyzer. A controller for controlling the display coordinates of an image is designed so as to be capable of receiving an image from an image generator and also receiving and processing data from the controller for calculating a correction of image coordinates and forming correction coordinates of an image. Furthermore, the image generator is designed so as to be capable of receiving data and commands from a control and information output unit; a controller for processing data is designed so as to be capable of receiving and processing data from a feedback device and from the controller for controlling the display coordinates of an image, and processing said data in order to obtain data about the reaction of an observer, said data being synchronized with a time code of the image, the coordinates of the image and the coordinates of the gaze direction, making it possible to increase the accuracy of image display in a specific spatial range that is offset from the observer's line of gaze by a specified angle.

Description

УСТРОЙСТВО ДЛЯ ДЕМОНСТРАЦИИ ИЗОБРАЖЕНИЙ И ФИКСАЦИИ РЕАКЦИИ НА ИЗОБРАЖЕНИЕ DEVICE FOR DEMONSTRATION OF IMAGES AND FIXING OF REACTION TO THE IMAGE
Область техники Technology area
Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение. The invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image.
Уровень техники State of the art
Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение и может быть использовано во всех случаях, когда для получения корректного результата требуется например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода- вывода данных для взаимодействия человека с компьютером во всех областях. Из уровня техники известна система отслеживания взгляда (US8510166B2, опубл. 13.08.2013). Система отслеживания взгляда представляет собой устройство отслеживания взгляда, размещенное на голове и сервер с программным обеспечением. Устройство, размещенное на голове выполнено с возможностью связи с сервером. Сервер получает изображения сцен от устройства слежения за взглядом, которое захватывает внешние сцены, просматриваемые наблюдателем, носящим устройство, установленное на голове. Сервер также получает информацию о направлении взгляда от устройства отслеживания взгляда, смонтированного на голове. Информация о направлении взгляда указывает, куда во внешних сценах смотрел наблюдатель при просмотре внешних сцен. Алгоритм распознавания изображений выполняется на изображениях сцены, чтобы идентифицировать элементы в пределах внешних сцен, просматриваемых наблюдателем. Создается журнал наблюдения, отслеживающий идентифицированные предметы, просматриваемые наблюдателем. The invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image and can be used in all cases when, for example, but not only, it is required to use a person's peripheral vision to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only, for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical procedures; in sports, education and training of psychomotor skills; in marketing, education and the gaming industry for the implementation of new opportunities, various video content and work with video simulators; in devices for modeling, diagnostics, repair, tuning and control of complex systems and other areas; in systems for creating virtual, augmented and mixed reality for the implementation of technologies related, in particular, but not only with the use of peripheral vision, as well as as input-output devices for human-computer interaction in all areas. An eye tracking system is known from the prior art (US8510166B2, publ. 08.13.2013). The gaze tracking system is a head-mounted gaze tracking device and a software server. The device placed on the head is configured to communicate with the server. The server receives images of scenes from a gaze tracker that captures external scenes viewed by an observer wearing a head-mounted device. The server also receives gaze direction information from a head-mounted gaze tracker. The gaze direction information indicates where in the outer scenes the observer was looking when viewing the outer scenes. An image recognition algorithm is performed on images of a scene to identify elements within external scenes as viewed by an observer. An observation log is created that tracks the identified items viewed by the observer.
Из уровня техники известно устройство обнаружения точки взора (US9262680B2, опубл.16.02.2016). Устройство обнаружения точки обзора обнаруживает точку обзора объекта на окружающую среду. Устройство включает в себя: средство получения изображения глазного яблока, выполненное с возможностью получения изображения глазного яблока субъекта; средство оценки точки отражения, выполненное с возможностью оценки первой точки отражения, в которой отражается входящий свет в направлении оптической оси глазного яблока субъекта от изображения глазного яблока; средство вычисления скорректированной точки отражения, сконфигурированное для вычисления скорректированной точки отражения в качестве скорректированной первой точки отражения путем коррекции первой точки отражения на основе личного параметра, указывающего разницу между направлением взгляда субъекта и направлением оптической оси глазное яблоко. A gaze point detection device is known from the prior art (US9262680B2, publ. 16.02.2016). The viewpoint detection device detects the viewpoint of an object to its surroundings. The device includes: an eyeball imaging means configured to acquire an eyeball imaging of a subject; reflection point judging means configured to evaluate a first reflection point at which incoming light is reflected in the direction of the optical axis of the subject's eyeball from the eyeball image; corrected reflection point calculating means, configured to calculate the corrected reflection point as the corrected first reflection point by correcting the first reflection point based on a personal parameter indicating the difference between the gaze direction of the subject and the optical axis direction of the eyeball.
Недостатки данных решений. Оба решения представляют собой устройства цель которых определять и отслеживать направление взора, направленного на внешние сцены. В связи с этим данные устройства не позволяют корректировать видимое наблюдателем изображение (поскольку это внешние сцены) и, следовательно, влиять на угол между изображением и линией взора, а следовательно, обеспечивать демонстрацию изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Кроме того, данные устройства не позволяют формировать требуемые для решения поставленных задач изображения. Кроме того, в данных устройствах отсутствуют системы обратной связи, позволяющие фиксировать реакции наблюдателя на изображение. Демонстрация изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение, требуется во всех случаях, когда для получения корректного результата необходимо например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода- вывода данных для взаимодействия человека с компьютером во всех областях. Disadvantages of these solutions. Both solutions are devices whose purpose is to determine and track the direction of the gaze directed to external scenes. In this regard, these devices do not allow you to correct the image seen by the observer (since these are external scenes) and, therefore, to influence the angle between the image and the line of sight, and, therefore, to provide the demonstration of images in a certain range of space, located at a given angle from the line of sight of the observer. ... In addition, these devices do not allow the formation of the images required for solving the assigned tasks. In addition, these devices lack feedback systems to record the observer's reactions to the image. Demonstration of images, including visual stimuli in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixation reactions to this image are required in all cases when, for example, but not only, it is necessary to use a person's peripheral vision to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only, for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical procedures; in sports, education and training of psychomotor skills; in marketing, education and the gaming industry for the implementation of new opportunities, various video content and work with video simulators; in devices for modeling, diagnostics, repair, tuning and control of complex systems and other areas; in systems for creating virtual, augmented and mixed reality for the implementation of technologies related, in particular, but not only with the use of peripheral vision, as well as as input-output devices for human-computer interaction in all areas.
Задача демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, усложняется тем, что в силу физиологических причин линия взора наблюдателя часто не может фиксироваться на протяжении необходимого отрезка времени. Направление взора никогда не остается постоянным. Даже при относительно неподвижном положении глаза происходят микродвижения (тремор, дрейф, микросаккады и функциональный нистагм и т.д.). Кроме того, глаз совершает макродвижения (прослеживающие и вергентные движения, нистагм, торзионные движения и т.д.). В следствии сказанного линия взора смещается и угол между линией взора и изображением становится отличным от заданного. Причин нестабильности линии взора может быть много, ниже приводятся наиболее характерные: The task of demonstrating images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, is complicated by the fact that, due to physiological reasons, the observer's line of sight often cannot be fixed for the required period of time. The direction of the gaze never remains constant. Even with a relatively stationary position of the eye, micromovements occur (tremor, drift, microsaccades and functional nystagmus, etc.). In addition, the eye performs macro movements (tracking and vergent movements, nystagmus, torsional movements, etc.). As a result of the foregoing, the line of sight shifts and the angle between the line of sight and the image becomes different from the given one. There can be many reasons for line-of-sight instability, below are the most typical ones:
• наблюдатель рефлекторно смещает взор в сторону демонстрируемого изображения; • the observer reflexively shifts his gaze towards the displayed image;
• при напряженной фиксации взора наблюдателя на неподвижной точке (точке фиксации), довольно быстро происходит утрата ее зрительного восприятия. Для компенсации этого, глазодвигательный аппарат начинает совершать быстрые непроизвольные движения глаз; • with intense fixation of the observer's gaze at a fixed point (fixation point), the loss of its visual perception occurs rather quickly. To compensate for this, the oculomotor apparatus begins to make rapid involuntary eye movements;
• в случаях, когда у наблюдателя отсутствует центральное зрение и/или острота зрения является недостаточной для удерживания взора на точке фиксации, происходит постоянное блуждание взора; • in cases when the observer lacks central vision and / or visual acuity is insufficient to keep the gaze at the fixation point, there is a constant wandering of the gaze;
• при наличии у наблюдателя нистагма, фактически отсутствует возможность удерживания взора на точке фиксации из-за постоянной подвижности глазного яблока. • if the observer has nystagmus, there is virtually no possibility of keeping the gaze at the fixation point due to the constant mobility of the eyeball.
В результате смещения линии взора при неизменном положении изображения, изменяется угол между линией взора и изображением, что ведет к накапливанию ошибок и, в свою очередь, не позволяет решить поставленные задачи. As a result of displacement of the line of sight while the image position remains unchanged, the angle between the line of sight and the image changes, which leads to the accumulation of errors and, in turn, does not allow solving the assigned tasks.
Задача фиксации реакции наблюдателя на изображение усложняется тем, что, для дальнейшего использования этих данных пользователю необходимо знать в достаточной точностью и в единой временной шкале, тайм-код изображения (для того, чтобы определить, какое конкретно предъявленное изображение вызвало реакцию наблюдателя), время реакции наблюдателя, координаты линии взора и координаты предъявленного в момент реакции изображения. The task of fixing the observer's reaction to the image is complicated by the fact that, for further use of this data, the user needs to know, with sufficient accuracy and in a single timeline, the image timecode (in order to determine which particular image presented caused the observer's reaction), the reaction time observer, the coordinates of the line of sight and the coordinates of the image presented at the moment of reaction.
Причин, вызывающих возникновение и накапливание ошибок фиксации реакции наблюдателя несколько. Основные - отсутствие жесткой синхронизации между системами и недостаточно точное определение координат линии взора в режиме реального времени. There are several reasons for the appearance and accumulation of errors in fixing the observer's reaction. The main ones are the lack of rigid synchronization between the systems and the insufficiently accurate determination of the coordinates of the line of sight in real time.
Отсутствие жесткой синхронизации между системами: Lack of tight synchronization between systems:
• фиксирующей время реакции; • fixing the reaction time;
• отслеживающей тайм-код изображения; • tracking the timecode of the image;
• определяющей координаты изображения; • defining the coordinates of the image;
• определяющей координаты линии взора. В результате асинхронной работы этих систем, возникают и накапливаются ошибки фиксации реакции пациента на изображение, демонстрируемое под определенным углом к линии взора. • defining coordinates of the line of sight. As a result of the asynchronous operation of these systems, errors in fixing the patient's response to the image displayed at a certain angle to the line of sight arise and accumulate.
Недостаточно точное определение координат линии взора в режиме реального времени: Insufficiently accurate determination of the coordinates of the line of sight in real time:
• погрешности, в частности геометрические, вносимые системой отслеживания координат линии взора; • errors, in particular geometric ones, introduced by the system of tracking the coordinates of the line of sight;
• задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); • delays in processing visual information received from the eye tracker;
• анатомические особенности каждого человека, в частности разное межзрачковое расстояние. • anatomical features of each person, in particular, a different interpupillary distance.
Раскрытие изобретения Disclosure of invention
Задачей, решаемой заявленным техническим решением, является создание устройства для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксация реакции на это изображение наблюдателем. Заявленное техническое решение позволяет демонстрировать изображение в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от направления взора наблюдателя и с высокой точностью фиксировать реакцию наблюдателя на это изображение. The problem solved by the claimed technical solution is to create a device for displaying images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and the fixation of the reaction to this image by the observer. The claimed technical solution makes it possible to demonstrate an image in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the direction of the observer's gaze, and to record the observer's reaction to this image with high accuracy.
Технический результат заявленного изобретения заключается в обеспечении возможности демонстрации изображения в том числе в демонстрации визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем), а также в повышении точности фиксации реакции наблюдателя на изображение в том числе визуальные стимулы, демонстрируемые под определенным углом к линии взора. The technical result of the claimed invention is to provide the possibility of displaying the image, including the demonstration of visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics ( when the coordinates of the line of sight change over time), as well as in improving the accuracy of fixing the observer's response to the image, including visual stimuli demonstrated at a certain angle to the line of sight.
Технический результат заявленного изобретения достигается за счет того, что устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол и фиксации реакции на это изображение содержит левый и правый оптические блоки, содержащие устройство слежения за линей взора, контроллер - анализатор координат линии взора выполненный с возможностью получения и обработки информации с устройства слежения за линией взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи, при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера - анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения, причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации, а контроллер обработки данных, полученных с устройства обратной связи выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллером управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю. The technical result of the claimed invention is achieved due to the fact that the device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle and fixing the reaction to this image contains left and right optical blocks containing the device line of sight tracking, controller - an analyzer of the line of sight coordinates made with the ability to receive and process information from the line of sight tracking device, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the image display, the controller for controlling the visual information output device, the visual information output device, the unit control and output of information to the user, an image generator, a feedback device and a controller for processing the data received from the feedback device, while the controller for calculating the correction of the image coordinates is configured to receive data from the controller-analyzer of the coordinates of the line of sight, the controller for controlling the coordinates of the display of the image and the block control and output of information to the user with the ability to process this data, compare them with the coordinates received from the control unit and output information to the user and generate the coordinates of the correction image, and the controller for controlling the coordinates of the display of the image is configured to obtain an image from the image generator, as well as to receive and process data from the controller for calculating the correction of the coordinates of the image and generate coordinates for correcting the image obtained from the image generator and transmitting it to the controller for controlling the visual information output device for fulfillment of the conditions for displaying the image in the range of space spaced from the line of sight of the observer at an angle specified in the control unit, while the image generator is configured to receive data and commands from the control unit and output information, and the controller for processing data received from the feedback device is configured with the ability to receive and process data from the feedback device and the controller for controlling the coordinates of the display of the image on the visual information output device with the possibility of processing them in order to obtain data about the re actions of the observer, synchronized with the time code of the image, the coordinates of the image and the coordinates of the direction of the gaze, in real time and transmission of this data to the control unit and output of information to the user.
В частном случае реализации заявленного технического решения каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройство слежения за линией взора, причем вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов. In the particular case of the implementation of the claimed technical solution, each optical unit consists of an optical system consisting of at least one lens, a mirror with spectral division of channels, a visual information output device and a line of sight tracking device, and around the optical system, in a plane perpendicular to the optical axis the block contains sources of infrared radiation, and the optical system is located between the eye and mirror with spectral division of channels, and mirror with spectral division of channels is located between the optical system and the device for outputting visual information at an angle to the optical axis of the unit, while the tracking device is located at an angle to the mirror with spectral division of channels.
В частном случае реализации заявленного технического решения устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове. In the particular case of the implementation of the claimed technical solution, the visual information output device and the gaze line tracking device are built-in or otherwise fixed on a device placed on the head.
В частном случае реализации заявленного технического решения что приспособление, размещенное на голове выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности. In the particular case of the implementation of the claimed technical solution, the device placed on the head is made in the form of a virtual reality helmet or augmented or mixed reality glasses.
В частном случае реализации заявленного технического решения блок управления и вывода информации находится в распоряжении пользователя. In the particular case of the implementation of the claimed technical solution, the control and information output unit is at the disposal of the user.
В частном случае реализации заявленного технического решения устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства анализирующего зрительные реакции. In the particular case of the implementation of the claimed technical solution, the feedback device is made in the form of a button providing a "yes / no" response, or in the form of a joystick providing a response in the form of movement in space, or in the form of a neurointerface providing a change in signals in the channels of visual analyzers, or in the form of a device for analyzing visual reactions.
В частном случае реализации заявленного технического решения устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя. In the particular case of the implementation of the claimed technical solution, the feedback device is located in the hands of the observer or another part of the observer's body or on the observer's head.
В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи. In the particular case of the implementation of the claimed technical solution, the controller for processing the data received from the feedback device is made in a single unit with the feedback device.
В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. In the particular case of the implementation of the claimed technical solution, the controller for processing the data obtained from the feedback device is made separately from the feedback device, while the communication between the feedback controller and the feedback device is performed via wired communication and / or using wireless information transmission technology.
В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора. In the particular case of the implementation of the claimed technical solution, the image generator, the controller for controlling the coordinates of the display of the image, the controller-analyzer of the coordinates of the line of sight are installed on the device, placed on the head together with a visual information output device and a line of sight tracking device.
В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. In the particular case of the implementation of the claimed technical solution, the image generator, the controller for controlling the coordinates of the display of the image, the controller - analyzer of the coordinates of the line of sight are placed in a separate unit, while the connection between this unit and the device placed on the head is made through wired communication and / or through the use of wireless technology transmission of information.
В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю. In the particular case of the implementation of the claimed technical solution, the controller-analyzer of the coordinates of the line of sight, the controller for calculating the correction of the coordinates of the image, the controller for controlling the coordinates of the display of the image, the controller for controlling the device for outputting visual information and the image generator are placed together with the block for controlling and outputting information to the user.
В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. In the particular case of the implementation of the claimed technical solution, the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the display of the image, the controller for controlling the visual information output device and the image generator are located in a separate unit, while the connection between this unit and the control unit and information output to the user is performed through wired communication and / or through the use of wireless information transmission technology.
В частном случае реализации заявленного технического решения беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT. In the particular case of the implementation of the claimed technical solution, the wireless technology of information transmission is implemented via Wi-Fi, Bluetooth, IoT.
В частном случае реализации заявленного технического решения наблюдатель и пользователь могут быть одним и тем же лицом. In the particular case of the implementation of the claimed technical solution, the observer and the user can be one and the same person.
Для устранения указанных выше причин появления ошибок в следствии изменения угла между линией взора ни изображением, использованы следующие технические решения: To eliminate the above reasons for the appearance of errors as a result of changing the angle between the line of sight and the image, the following technical solutions were used:
• устройство слежения за направлением взора; • gaze direction tracking device;
• контроллер - анализатор координат линии взора; • controller - analyzer of the coordinates of the line of sight;
• контроллер вычисления коррекции координат изображения; • controller for calculating the correction of the coordinates of the image;
• контроллер управления координатами демонстрации изображения. Использование устройства слежения за линией взора (eye tracker) и контроллера - анализатора координат линии взора позволяет определять координаты линии взора в реальном времени. • controller for controlling the coordinates of the image demonstration. The use of an eye tracker and a controller-analyzer of the coordinates of the line of sight allows you to determine the coordinates of the line of sight in real time.
Использование контроллера вычисления коррекции координат изображения позволяет вычислить угол коррекции координат изображения для того, чтобы угол между изображением и линией взора оставался неизменным и равным заданному в блоке управления и вывода информации пользователю. The use of the controller for calculating the correction of the coordinates of the image allows you to calculate the angle of correction of the coordinates of the image so that the angle between the image and the line of sight remains unchanged and equal to that specified in the control and information output unit to the user.
Использование контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации позволяет изменять координаты демонстрируемого изображения на устройстве вывода изображения в режиме реального времени. The use of the controller for controlling the coordinates of the display of the image on the display device of visual information allows you to change the coordinates of the displayed image on the display device in real time.
Совместное использование этих технических решений позволяет в режиме реального времени демонстрировать изображения в том числе визуальные стимулы в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем). The combined use of these technical solutions allows real-time display of images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics ( when the coordinates of the line of sight change over time).
Использование контроллера обработки данных, полученных с устройства обратной связи и контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации, позволяет получать данные о реакции наблюдателя, синхронизированные с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени. The use of the controller for processing the data received from the feedback device and the controller for controlling the coordinates of the display of the image on the visual information output device makes it possible to obtain data on the observer's reaction, synchronized with the image timecode, image coordinates and gaze direction coordinates, in real time.
Краткое описание чертежей Brief Description of Drawings
Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано: Details, features, and advantages of the present invention follow from the following description of embodiments of the claimed technical solution using the drawings, which show:
Фиг. 1 - общая схема устройства; FIG. 1 is a general diagram of the device;
Фиг. 2 - изменение угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол; Фиг. 3 - сохранение неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол; FIG. 2 - change in the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle; FIG. 3 - keeping the angle between the image and the line of sight of the observer unchanged in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
Фиг. 4 - демонстрация модели изменения угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол; FIG. 4 - demonstration of the model of changing the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
Фиг. 5 - демонстрация модели сохранения неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол; FIG. 5 - demonstration of the model of maintaining a constant angle between the image and the line of sight of the observer in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;
Фиг. 6 - структура оптического блока с оптической системой, состоящей из одной линзы; FIG. 6 - structure of an optical unit with an optical system consisting of one lens;
Фиг. 7 - структура оптического блока с оптической системой, состоящей из двух инз. FIG. 7 - structure of an optical unit with an optical system consisting of two inc.
Фиг. 8 - оптический блок в сборе; FIG. 8 - optical block assembly;
Фиг. 9 - схема устройства слежения за линией взора и контроллера - анализатора координат линии взора на базе монокристальной видеосистемы (SOC); FIG. 9 is a diagram of a gaze line tracking device and a gaze coordinate analyzer based on a monocrystal video system (SOC);
Фиг. 10 - внешний вид устройства слежения за линией взора и контроллера - анализатор координат линии взора на базе монокристальной видеосистемы (SOC); FIG. 10 - external view of the gaze line tracking device and controller - gaze coordinate analyzer based on a monocrystal video system (SOC);
Фиг. 11 - внешний вид изделия, состоящего из приспособления, размещенного на голове - HMD (2), внешнего системного блока (23), устройства обратной связи (12) и соединительных кабелей (24, 25). FIG. 11 is an external view of a product consisting of a device placed on the head - HMD (2), an external system unit (23), a feedback device (12) and connecting cables (24, 25).
На фигурах цифрами обозначены следующие позиции: In the figures, the following positions are indicated by numbers:
1 - глаз наблюдателя; 2 - приспособление, размещенное на голове (Head- Mounted Device - HMD); 3 - оптический блок; 4 - устройство слежения за линией взора (eye tracker); 5 - контроллер - анализатор координат линии взора; 6 - контроллер вычисления коррекции координат изображения; 7 - контроллер управления координатами демонстрации изображения на устройстве вывода визуальной информации; 8 - контроллер управления устройством вывода визуальной информации; 9 - устройство вывода визуальной информации (VIOD); 10 - блок управления и вывода информации пользователю; 11 - генератор изображения; 12 - устройство обратной связи; 13 - контроллер обработки данных, полученных с устройства обратной связи; 141 - the eye of the observer; 2 - a device placed on the head (Head-Mounted Device - HMD); 3 - optical block; 4 - eye tracker; 5 - controller - analyzer of the coordinates of the line of sight; 6 - controller for calculating the correction of the coordinates of the image; 7 - controller for controlling the coordinates of the display of the image on the output device of visual information; 8 - controller for controlling the visual information output device; 9 - visual information output device (VIOD); 10 - block of control and information output to the user; 11 - image generator; 12 - reverse device communication; 13 - controller for processing data received from the feedback device; 14
- линия взора наблюдателя; 15 - место расположения изображения; 16 - источники инфракрасного излучения; 17 - оптическая система, состоящая из одной или более линз; 18 - зеркало со спектральным делением каналов; 19 - сенсор; 20 - блок приема данных от сенсора;; 21 - блок управления сенсором; 22 - плата на которой монтируется монокристальная видеосистема, объединяющая устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC); 23- line of sight of the observer; 15 - location of the image; 16 - sources of infrared radiation; 17 - optical system, consisting of one or more lenses; 18 - mirror with spectral division of channels; 19 - sensor; 20 - block for receiving data from the sensor ;; 21 - sensor control unit; 22 - a board on which a monocrystal video system is mounted, which combines a gaze line tracking device (4) and a gaze coordinate analyzer controller (5) in one crystal (SOC); 23
- внешний системный блок; 24 - кабель, соединяющий приспособление, размещенное на голове - HMD) (2) и внешний системный блок (23); 25 - кабель, соединяющий устройство обратной связи (12) и внешний системный блок (23). - external system unit; 24 - cable connecting the device placed on the head - HMD) (2) and the external system unit (23); 25 - cable connecting the feedback device (12) and the external system unit (23).
Сокращения и термины Abbreviations and terms
• Линия взора - пространственная ориентация сетчатки глаза (зрительная ось); • Line of sight - spatial orientation of the retina (visual axis);
• Приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной, или смешанной реальности (Head-Mounted Device - HMD); • A device placed on the head, for example, a virtual reality helmet or glasses of augmented or mixed reality (Head-Mounted Device - HMD);
• Устройства вывода визуальной информации (Visual Information Output Device - VIOD) - матрица, экран проектора или иное устройство, предназначенное для вывода визуальной информации; • Visual Information Output Device (VIOD) - matrix, projector screen or other device designed to display visual information;
• Отслеживающее устройство (eye tracker); • Tracking device (eye tracker);
• Монокристальная видеосистема (System-on-a-Chip) - SOC; • Monocrystal video system (System-on-a-Chip) - SOC;
• Наблюдатель - человек или машина, ведущий наблюдение за изображением, формируемым устройством вывода визуальной информации; • Observer - a person or a machine observing the image formed by the visual information output device;
• Пользователь - лицо, которое использует устройство для выполнения конкретных функций. • User - a person who uses the device to perform specific functions.
Осуществление изобретения Implementation of the invention
Схема устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, изображена на фиг.1. A diagram of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, is shown in Fig. 1.
Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол состоит из приспособления, размещенного на голове наблюдателя; контроллера - анализатора координат линии взора (5); контроллера вычисления коррекции координат изображения (6); контроллера управления координатами демонстрации изображения (7); устройства вывода визуальной информации (9); блока управления и вывода информации пользователю (10); генератора изображения (11); устройства обратной связи (12); контроллера обработки данных, полученных с устройства обратной связи (13). A device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, consists of a device placed on the observer's head; controller - analyzer of coordinates of the line of sight (5); image coordinate correction calculation controller (6); a controller for controlling the coordinates of the image display (7); visual information output devices (9); control unit and information output to the user (10); image generator (11); feedback devices (12); controller for processing data received from the feedback device (13).
При этом приспособление (2), размещенное на голове наблюдателя, содержит контроллер управления устройством вывода визуальной информации (8) и два, левый и правый, оптических блока (3). In this case, the device (2), placed on the observer's head, contains a controller for controlling the visual information output device (8) and two, left and right, optical blocks (3).
Оптические блоки (3) для правого и левого глаза имеют идентичную конструкцию. Схемы оптических блоков с одной и двумя линзами изображены на фиг. 6 и фиг. 7, внешний вид оптических блоков в сборе показан на фиг. 8. Optical blocks (3) for the right and left eyes have an identical design. Diagrams of optical units with one and two lenses are shown in FIG. 6 and FIG. 7, the appearance of the assembled optical units is shown in FIG. eight.
Оптический блок (3) состоит из источников инфракрасного излучения (16), оптической системы, состоящей из одной или более линз (17), зеркала со спектральным делением каналов (18), устройства вывода визуальной информации (VIOD) (9) и устройство слежения за линией взора (eye tracker) (4). The optical unit (3) consists of infrared radiation sources (16), an optical system consisting of one or more lenses (17), a mirror with spectral division of channels (18), a visual information output device (VIOD) (9) and a tracking device eye tracker (4).
Источники инфракрасного излучения (16) расположены вокруг оптической системы, в плоскости перпендикулярной оптической оси блока (3). Оптическая система (17) расположена между глазом наблюдателя и зеркалом со спектральным делением каналов (18). Зеркало со спектральным делением каналов (18) расположено между оптической системой (17) и устройством вывода визуальной информации (VIOD) (9) под углом к оптической оси блока. Устройство слежения за линей взора (4) выполнено на базе монокристальной видеосистемы (SOC) и расположено под углом к зеркалу со спектральным делением каналов (18). Sources of infrared radiation (16) are located around the optical system, in the plane perpendicular to the optical axis of the unit (3). The optical system (17) is located between the eye of the observer and the mirror with spectral division of the channels (18). A mirror with spectral division of channels (18) is located between the optical system (17) and the visual information output device (VIOD) (9) at an angle to the optical axis of the unit. The gaze line tracking device (4) is made on the basis of a single-crystal video system (SOC) and is located at an angle to the mirror with spectral division of the channels (18).
Устройство (4) слежения за линией взора на базе монокристальной видеосистемы представляет собой фото-видеосистему на кристалле (SOC), предназначенную для обнаружения и идентификации быстро меняющихся (перемещающихся и/или меняющих яркость) малоразмерных целей (световых пятен) в условиях неоднородного, изменяющегося во времени фона. Алгоритм обработки изображения обеспечивает определение X-, Y- координат центра тяжести, площади, признака формы, а также яркости одновременно нескольких целей. The line-of-sight tracking device (4) based on a single-crystal video system is a photo-video system on a chip (SOC) designed to detect and identify rapidly changing (moving and / or changing brightness) small-sized targets (light spots) under conditions of non-uniform, changing time background. The image processing algorithm provides the determination of the X-, Y- coordinates of the center of gravity, area, shape feature, as well as the brightness of several targets simultaneously.
Устройство слежения за линией взора (4) представляет собой фото или видеокамеру, расположенную таким образом, чтобы максимально точно с минимальными искажениями отслеживать направление взора и его изменения. Для достижения максимальной точности и минимизации искажений, оптические оси взора и камеры должны совпадать. Для этого используется зеркало со спектральным делением каналов, которое располагается между оптической системой (17) и устройством вывода визуальной информации под углом к линии взора. Зеркало (18) со спектральным делением каналов отражает свет в инфракрасном диапазоне и проецирует изображение глаза на устройство слежения за линией взора (4) без геометрических искажений, как, если бы оно находилось непосредственно на линии взора. При этом для видимого цветового диапазона зеркало является прозрачным и позволяет глазу видеть изображение на устройстве вывода визуальной информации (9). The line of sight tracking device (4) is a photo or video camera located in such a way as to track the direction of gaze and its changes as accurately as possible with minimal distortion. To achieve maximum accuracy and minimize distortion, the optical axes of the gaze and the camera must match. For this, a mirror with spectral division of channels is used, which is located between the optical system (17) and the device for outputting visual information at an angle to the line of sight. A mirror (18) with spectral division of channels reflects light in the infrared range and projects the image of the eye onto the gaze tracker (4) without geometric distortion, as if it were directly on the line of sight. At the same time, for the visible color range, the mirror is transparent and allows the eye to see the image on the visual information output device (9).
Устройство вывода визуальной информации представляет собой матрицу, экран проектора или иное устройство (Visual Information Output Device - VIOD), встроенное в приспособление, размещенное на голове, например (но не ограничиваясь), шлем виртуальной реальности или очки дополненной или смешанной реальности (Head- Mounted Device - HMD). A visual information output device is a matrix, projector screen, or other device (Visual Information Output Device - VIOD) embedded in a device placed on the head, for example, but not limited to, a virtual reality helmet or augmented or mixed reality glasses (Head-Mounted Device - HMD).
Устройство слежения за линией взора (4) и устройство вывода визуальной информации (9) могут быть встроены или иным образом закреплены на приспособлении, размещенном на голове, например, но не только -шлеме виртуальной реальности или очках дополненной или смешанной реальности. Задача устройства слежения за линией взора передавать в режиме реального времени информацию о направлении линии взора на контроллер - анализатор координат линии взора. The gaze tracking device (4) and the visual information output device (9) can be built-in or otherwise attached to a device placed on the head, for example, but not only a virtual reality helmet or augmented or mixed reality glasses. The task of the gaze line tracking device is to transmit in real time information about the direction of the gaze line to the controller - the gaze coordinate analyzer.
Контроллер - анализатор координат линии взора (5), контроллер вычисления коррекции координат изображения (6), контроллер управления координатами демонстрации изображения (7), контроллер управления устройством вывода визуальной информации (8) и генератор изображения (11) могут быть либо размещены вместе с блоком управления и вывода информации пользователю (10), либо размещаться в отдельном блоке, в последнем случае связь между этим блоком и блоком управления и вывода информации пользователю (10) может осуществляться как по проводам, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение к внешнему системному блоку (23) контроллеров (6, 7, 8) с помощью кабеля (24) и устройства обратной связи (12) с помощью кабеля (25). The controller - the analyzer of the coordinates of the line of sight (5), the controller for calculating the correction of the coordinates of the image (6), the controller for controlling the coordinates of the display of the image (7), the controller for controlling the visual information output device (8) and the image generator (11) can either be placed together with the unit control and output of information to the user (10), or be placed in a separate unit, in the latter case, communication between this unit and the control unit and output of information to the user (10) can be carried out both by wire and using wireless technology for transmitting information (for example, but not only, Wi-Fi, Bluetooth, IoT). FIG. 11 shows the connection to an external system unit (23) of controllers (6, 7, 8) using a cable (24) and a feedback device (12) using a cable (25).
Контроллер - анализатор координат линии взора (5) представляет собой программно-аппаратный комплекс, задача которого провести в режиме реального времени анализ изображения, поступающего с устройства слежения за линией взора (4) и, на основе проведенного анализа вычислить актуальные координаты направления линии взора. Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение), в виде специальной программы, исполняемой на подключенном к устройству компьютере или внешнем системном блоке, либо в виде монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (System-on-a-Chip - SOC). Реализация в виде монокристальной видеосистемы (SOC) позволяет исключить процессы передачи изображения и обработки видеоизображения с помощью специальных компьютерных программ, что решает сразу две задачи: первая - значительно сокращает время обработки информации, поскольку все процессы анализа и обработки визуальной информации происходят в едином кристалле и в качестве результата видеосистема SOC выдает координаты зрачка на матрице видеосистемы; и вторая - уменьшает требования в вычислительной мощности процессоров и устраняет необходимость использования сложных программ обработки изображения, что совместно позволяет использовать более экономичные вычислительные системы (экономия времени и денег). На фиг. 9 изображена схема монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC), а на фиг. 10 приведена фотография этого устройства. The controller - analyzer of the coordinates of the line of sight (5) is a software and hardware complex, the task of which is to analyze the image coming from the device for tracking the line of sight (4) in real time and, based on the analysis, calculate the actual coordinates of the direction of the line of sight. Structurally, the controller - line of sight coordinates analyzer (5) can be made in the form of an independent unit (processor and software), in the form of a special program executed on a computer connected to the device or an external system unit, or in the form of a monocrystal video system that combines a gaze line tracking device (4) and a controller - line coordinates analyzer gaze (5) in one crystal (System-on-a-Chip - SOC). Implementation in the form of a single-crystal video system (SOC) eliminates the processes of image transmission and video processing using special computer programs, which solves two problems at once: the first one significantly reduces the information processing time, since all processes of analysis and processing of visual information occur in a single crystal and in as a result, the video system SOC outputs the coordinates of the pupil on the matrix of the video system; and the second, reduces the processing power requirements of processors and eliminates the need for complex image processing programs, which together allows the use of more economical computing systems (saving time and money). FIG. 9 shows a diagram of a monocrystal video system that combines a gaze line tracking device (4) and a gaze coordinate analyzer controller (5) in one crystal (SOC), and FIG. 10 is a photograph of this device.
Контроллер вычисления коррекции координат изображения (6) представляет собой программно-аппаратный комплекс, задача которого вычислить необходимые углы коррекции координат демонстрации изображения на устройстве вывода визуальной информации (9) на основании данных, полученных из контроллера - анализатора координат линии взора (5), контроллера управления координатами демонстрации изображения (7) и блоком управления и вывода информации пользователю (10). Конструктивно Контроллер вычисления коррекции координат изображения (6) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24). The controller for calculating the correction of image coordinates (6) is a hardware and software complex, the task of which is to calculate the necessary correction angles of the coordinates of the display of the image on the visual information output device (9) based on the data received from the controller - analyzer of the coordinates of the line of sight (5), the control controller coordinates of displaying the image (7) and the control unit and information output to the user (10). Structurally, the controller for calculating the correction of image coordinates (6) can be made in the form of an independent unit (processor and software) or in the form of a special program executed on a computer connected to the device or an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).
В общем случае, контроллер вычисления коррекции координат изображения (6) должен реализовывать следующее выражение: In general, the controller for calculating the correction of the coordinates of the image (6) must implement the following expression:
D = a - (bPB - bop), где D = a - (b PB - bop), where
D - вектор угла коррекции координат изображения, вычисленный контроллером вычисления коррекции координат изображения (6); a - вектор угла отклонения изображения от линии взора наблюдателя, заданный в блоке управления и вывода информации пользователю (10); bop - вектор угла отклонения изображения от линии взора наблюдателя полученный от контроллера управления координатами демонстрации изображения (7) на устройстве вывода визуальной информации; лв - актуальный вектор угла направления взора, полученный от контроллера - анализатор координат линии взора (5). D is the vector of the angle of correction of the coordinates of the image, calculated by the controller for calculating the correction of the coordinates of the image (6); a is the vector of the angle of deviation of the image from the line of sight of the observer, specified in the control unit and information output to the user (10); bop is the vector of the angle of deviation of the image from the line of sight of the observer received from the controller for controlling the coordinates of the display of the image (7) on the visual information output device; лв - the actual vector of the angle of the direction of gaze, received from the controller - the analyzer of the coordinates of the line of gaze (5).
Контроллер управления координатами демонстрации изображения (7) представляет собой программно-аппаратный комплекс, задача которого на основании данных, полученных из контроллера вычисления коррекции координат изображения (6) и генератора изображения (11) сформировать откорректированное изображение, сдвинутое относительно актуального изображения, на угол коррекции изображения, полученный из контроллера вычисления коррекции координат изображения (6). Конструктивно управления координатами демонстрации изображения (7) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24). The image display coordinates control controller (7) is a software and hardware complex, the task of which, based on the data received from the image coordinate correction calculation controller (6) and the image generator (11), to form a corrected image, shifted relative to the actual image, by the image correction angle obtained from the controller for calculating the correction of the coordinates of the image (6). Structurally, the control of the coordinates of the image display (7) can be performed as an independent unit (processor and software) or as a special program executed on a computer connected to the device or an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).
Контроллер управления устройством вывода визуальной информации (8) представляет собой программно-аппаратный комплекс, задача которого на основании изображения, полученного из контроллера управления координатами демонстрации изображения (7) управлять устройством вывода визуальной информации (9), таким образом, чтобы на изображение, демонстрируемое устройством вывода визуальной информации (9) соответствовало изображению, сформированному контроллером управления координатами демонстрации изображения (7). Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24). The controller for controlling the visual information output device (8) is a software and hardware complex, the task of which, based on the image received from the controller for controlling the coordinates of the image display (7), to control the visual information output device (9), so that the image displayed by the device output of visual information (9) corresponded to the image generated by the controller for controlling the coordinates of the display of the image (7). Structurally, the controller-analyzer of the coordinates of the line of sight (5) can be made in the form of an independent unit (processor and software) or in the form of a special program executed on a computer connected to the device or an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).
Задача устройства обратной связи (12) регистрировать реакции наблюдателя на изображение, демонстрируемое устройством вывода визуальной информации (9), и передавать их на контроллер обработки данных (13), полученных с устройства обратной связи. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от необходимого функционала, устройство обратной связи может располагаться в руках наблюдателя (кнопка, джойстик) или иной части тела наблюдателя (джойстик) или на голове наблюдателя (нейроинтерфейс, устройство, анализирующее зрительные реакции). На фиг. 11 показано подключение к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13), полученных с устройства обратной связи, с помощью кабеля (25). The task of the feedback device (12) is to register the observer's reactions to the image displayed by the visual information output device (9), and transmit them to the data processing controller (13) received from the feedback device. A button ("yes / no" type reaction), a joystick (a reaction in the form of movement in space) can be used as a feedback device, a neurointerface (characteristic changes in signals in the channels of visual analyzers), a device that analyzes visual reactions in particular (but not only), the reaction of the pupil, or an involuntary (setting) change in the direction of gaze (optical oculography or electrooculography). Depending on the required functionality, the feedback device can be located in the hands of the observer (button, joystick) or another part of the observer's body (joystick) or on the observer's head (neurointerface, a device that analyzes visual reactions). FIG. 11 shows the connection to an external system unit (23), in which the controller for processing data (13) received from the feedback device is located using a cable (25).
Задача контроллера обработки данных, полученных с устройства обратной связи (13), формирование, в режиме реального времени, информации о реакции наблюдателя, синхронизированной с тайм-кодом изображения, координатами изображения и координатами направления взора, полученными с контроллера управления координатами демонстрации изображения (7), и передачи этой информации в блок управления и вывода информации (10). В зависимости от конструкторского решения, контроллер обработки данных, полученных с устройства обратной связи (13) может располагаться, как в едином блоке с устройством обратной связи (12), так и отдельно, в последнем случае связь между контроллером обратной связи (13) и устройством обратной связи (12) может осуществляться как по кабелю, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение устройства обратной связи (12) с помощью кабеля (25) к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13). The task of the controller for processing data received from the feedback device (13) is the formation, in real time, of information about the observer's response, synchronized with the image timecode, image coordinates and gaze direction coordinates obtained from the image display coordinates control controller (7) , and transferring this information to the control unit and information output (10). Depending on the design solution, the controller for processing the data received from the feedback device (13) can be located both in a single unit with the feedback device (12), and separately, in the latter case, the connection between the feedback controller (13) and the device feedback (12) can be carried out both via cable and using wireless technology for transmitting information (for example, but not only, Wi-Fi, Bluetooth, IoT). FIG. 11 shows the connection of the feedback device (12) using the cable (25) to the external system unit (23), which houses the data processing controller (13).
На фиг. 2 и фиг. 3 изображено, что происходит при смещении направления линии взора при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол (фиг. 2) и при его наличии (фиг. 3). На фиг. 2 показано, что при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора приводит к изменению угла между линией взора и демонстрируемом изображением. На фиг. 3 показано, что при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора не приводит к изменению угла между линией взора и демонстрируемом изображением, угол остается неизменным. На фиг. 4 показана модель изменения угла между линией взора и демонстрируемом изображением при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен а. В последующий момент времени глаз поворачивается на угол D и, соответственно, направление линии взора (15) также изменяется на угол D и становится равным b. В случае отсутствия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения останутся неизменными и угол между изображением и линией взора изменится b = а + D и, следовательно, при D 0, a Ф b. FIG. 2 and FIG. 3 shows what happens when the direction of the line of sight is shifted in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle (Fig. 2) and if available (Fig. 3). FIG. 2 shows that in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, a shift in the direction of the line of sight leads to a change in the angle between the line of sight and the displayed image. FIG. 3 shows that in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the shift in the direction of the line of sight does not lead to a change in the angle between the line of sight and the displayed image, the angle remains unchanged. FIG. 4 shows a model of changing the angle between the line of sight and the displayed image in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle. Suppose that at a certain moment in time the angle between the line of sight (14) and the displayed image (15) is equal to a. At the next moment in time, the eye rotates through the angle D and, accordingly, the direction of the line of sight (15) also changes by the angle D and becomes equal to b. In the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the coordinates of the image will remain unchanged and the angle between the image and the line of sight will change b = a + D and, therefore, at D 0, a Ф b.
Ha фиг. 5 показана модель сохранения неизменной величины угла между линией взора и демонстрируемом изображением при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен а. В последующий момент времени глаз поворачивается на угол D и, соответственно, направление линии взора (15) также изменяется на угол D. В случае наличия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения также изменяются на угол D и угол между изображением и линией взора остается неизменным b + D = a + D p, следовательно, a = b. Ha fig. 5 shows a model of maintaining a constant value of the angle between the line of sight and the displayed image in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle. Suppose that at a certain moment in time the angle between the line of sight (14) and the displayed image (15) is equal to a. At the next moment in time, the eye rotates through the angle D and, accordingly, the direction of the line of sight (15) also changes by the angle D. the angle D and the angle between the image and the line of sight remains unchanged b + D = a + D p, therefore, a = b.
Общие принципы работы устройства. General principles of device operation.
С помощью блока управления и вывода информации (10) пользователь задает необходимые данные, а именно, изображение, которое должно быть представлено наблюдателю и координаты демонстрации изображения относительно направления линии взора. В случае, если координаты демонстрации изображения относительно направления линии взора должны изменяться во времени, пользователь задает (выбирает или вводит) алгоритм изменения координат в соответствии с поставленной задачей. Информация, необходимая для формирования изображения подается с блока управления и вывода информации (10) на генератор изображения (11). With the help of the control and information output unit (10), the user sets the necessary data, namely, the image that should be presented to the observer and the coordinates of the display of the image relative to the direction of the line of sight. If the coordinates of the display of the image relative to the direction of the line of sight should change in time, the user sets (selects or enters) an algorithm for changing the coordinates in accordance with the task. The information required for image formation is supplied from the control and information output unit (10) to the image generator (11).
Генератор изображения (11) формирует изображение, которое должно быть представлено наблюдателю. Сформированное изображение подается на контроллер управления координатами демонстрации изображения (7). Информация о координатах демонстрации изображения относительно направления линии взора передается с блока управления и вывода информации (10) на контроллер вычисления коррекции координат изображения (6). The image generator (11) generates an image to be presented to the observer. The generated image is fed to the controller for controlling the coordinates of the image demonstration (7). Information about the coordinates of the display of the image relative to the direction of the line of sight is transmitted from the control unit and information output (10) to the controller for calculating the correction of the coordinates of the image (6).
Контроллер вычисления коррекции координат изображения (6) сравнивает заданные пользователем координаты изображения с координатами линии взора наблюдателя, полученными с контроллера - анализатора координат линии взора (5) и координатами изображения с контроллера управления координатами демонстрации изображения (7), вычисляет требуемые изменения координат изображения и передает актуализированные координаты изображения на контроллер управления координатами демонстрации изображения (7). The controller for calculating the correction of image coordinates (6) compares the user-specified coordinates of the image with the coordinates of the line of sight of the observer, obtained from the controller - analyzer of coordinates of the line of sight (5) and the coordinates of the image from the controller for controlling the coordinates of the display of the image (7), calculates the required changes in the coordinates of the image and transmits updated image coordinates to the image display coordinates control controller (7).
Контроллер управления координатами демонстрации изображения (7) получает сформированное изображение с генератора изображений (11) и актуализированные координаты изображения с контроллера вычисления коррекции координат изображения (6). Полученное актуализированное изображение передается с контроллера управления координатами демонстрации изображения (7) на контроллер управления устройством вывода визуальной информации (8), который формирует изображение непосредственно на устройстве вывода визуальной информации (9). The controller for controlling the coordinates of the image demonstration (7) receives the generated image from the image generator (11) and the updated image coordinates from the controller for calculating the correction of the image coordinates (6). The resulting updated image is transmitted from the controller for controlling the coordinates of the image display (7) to the controller for controlling the visual information output device (8), which generates an image directly on the visual information output device (9).
Система работает в динамическом режиме, производя сравнение координат с частотой обновления экрана устройства вывода визуальной информации (9) и, соответственно, корректируя координаты демонстрации изображения на устройстве вывода визуальной информации (9). The system operates in a dynamic mode, comparing the coordinates with the refresh rate of the screen of the visual information output device (9) and, accordingly, correcting the coordinates of the display of the image on the visual information output device (9).
Система демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол может работать в нескольких режимах: The system for displaying images in a certain range of space, located at a given angle from the line of sight of the observer, can operate in several modes:
1. свободного блуждания взора наблюдателя; 1. free wandering of the gaze of the observer;
2. фиксирования взора наблюдателя на заданную статическую точку фиксации; 2. fixing the observer's gaze at a given static fixation point;
3. фиксирование взора наблюдателя на статическую точку фиксации, координаты которой изменяются во времени дискретно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12); 3. fixing the observer's gaze to a static fixation point, the coordinates of which change in time discretely - randomly or in accordance with a given algorithm, including correlated with the observer's response to the image, recorded by the feedback device (12);
4. фиксирование взора наблюдателя на динамическую точку фиксации, координаты которой изменяются во времени непрерывно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12); Во 2, 3, 4 режимах контроллер управления координатами демонстрации изображения (7) добавляет в изображение так называемую «точку фиксации» с координатами, сформированными в соответствии с условиями заданными пользователем в блоке управления и вывода информации (10) и, в случае необходимости, с данными, полученными с контроллера вычисления коррекции координат изображения (6) и контроллера обработки данных, полученных с устройства обратной связи (13). 4. fixing the observer's gaze to a dynamic fixation point, the coordinates of which change in time continuously - randomly or in accordance with a given algorithm, including correlated with the observer's reaction to the image, recorded by the feedback device (12); In 2, 3, 4 modes, the controller for controlling the coordinates of the image demonstration (7) adds to the image the so-called "fixation point" with the coordinates formed in accordance with the conditions specified by the user in the control and information output unit (10) and, if necessary, with data obtained from the controller for calculating the correction of the coordinates of the image (6) and the controller for processing the data received from the feedback device (13).
Фиксация реакции на демонстрируемое изображение. Fixing the reaction to the displayed image.
Реакция пользователя на демонстрируемое изображение регистрируется устройством обратной связи (12). Информация с устройства обратной связи (12) поступает на контроллер обработки данных, полученных с устройства обратной связи (13). Результаты обработки данных передаются на блок управления и вывода информации (10) для дальнейшего использования пользователем, а также в случае необходимости на контроллер управления координатами демонстрации изображения (7) для вычисления актуальных координат точки фиксации взора наблюдателя. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от типа используемого устройства обратной связи, на контроллер обработки данных 7 поступают разные типы данных в разных форматах. Соответственно алгоритм работы контроллер обработки данных, полученных с устройства обратной связи (13) должен быть адаптирован под используемое устройство обратной связи. The user's reaction to the displayed image is recorded by the feedback device (12). Information from the feedback device (12) goes to the controller for processing the data received from the feedback device (13). The results of data processing are transmitted to the control and information output unit (10) for further use by the user, as well as, if necessary, to the controller for controlling the coordinates of the image display (7) to calculate the actual coordinates of the observer's gaze fixation point. As a feedback device, a button (a "yes / no" reaction), a joystick (a reaction in the form of movement in space), a neurointerface (characteristic changes in signals in the channels of visual analyzers), a device that analyzes visual reactions in particular (but not only) , the reaction of the pupil or an involuntary (setting) change in the direction of gaze (optical oculography or electrooculography). Depending on the type of feedback device used, the data processing controller 7 receives different types of data in different formats. Accordingly, the algorithm of operation of the controller for processing data received from the feedback device (13) must be adapted to the used feedback device.

Claims

Формула изобретения Claim
1. Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол и фиксации реакции на это изображение, содержащее левый и правый оптические блоки, содержащие устройство слежения за линей взора; контроллер - анализатор координат линии взора, выполненный с возможностью получения и обработки информации с устройства слежения за линией взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи, при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера - анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения, причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации, а контроллер обработки данных, полученных с устройства обратной связи выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллером управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю. 1. A device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle and fixing the reaction to this image, containing the left and right optical blocks containing a device for tracking the line of sight; controller - an analyzer of gaze coordinates, configured to receive and process information from a gaze tracking device, an image coordinate correction calculation controller, an image display coordinates control controller, a visual information output device control controller, a visual information output device, a control and information output unit the user, an image generator, a feedback device and a controller for processing data received from the feedback device, while the controller for calculating the correction of the image coordinates is configured to receive data from the controller-analyzer of the coordinates of the line of sight, the controller for controlling the coordinates of the display of the image and the control and information output unit to the user with the possibility of processing this data, comparing them with the coordinates obtained from the control unit and displaying information to the user and generating the coordinates of the image correction, moreover, The roller for controlling the coordinates of the image demonstration is configured to receive an image from the image generator, as well as to receive and process data from the controller for calculating the correction of the image coordinates and generate the coordinates of the correction of the image obtained from the image generator and transmit it to the controller for the control of the visual information output device to fulfill the demonstration conditions images in the range of space, spaced from the line of sight of the observer at the angle specified in the control unit, while the image generator is configured to receive data and commands from the control unit and information output, and the controller for processing data received from the feedback device is configured to receive and processing data from the feedback device and the controller for controlling the coordinates of the display of the image on the output device of visual information with the possibility of processing them in order to obtain data on the observer's reaction, synchronized with the image timecode, image coordinates and gaze direction coordinates, in real time and transferring this data to the control unit and outputting information to the user.
2. Устройство по п.1, отличающееся тем, что каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройство слежения за линией взора, причем вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов. 2. The device according to claim 1, characterized in that each optical unit consists of an optical system consisting of at least one lens, a mirror with spectral division of channels, a visual information output device and a line of sight tracking device, and around the optical system, sources of infrared radiation are located in the plane perpendicular to the optical axis of the block, and the optical system is located between the eye and the mirror with spectral division of channels, and the mirror with spectral division of channels is located between the optical system and the device for outputting visual information at an angle to the optical axis of the block, while the tracking device behind the line of sight, it is located at an angle to the mirror with spectral division of the channels.
3. Устройство по п.1 , отличающееся тем, что устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове. 3. The device according to claim 1, characterized in that the visual information output device and the gaze line tracking device are built-in or otherwise fixed on a device placed on the head.
4. Устройство по п.З, отличающееся тем, что приспособление, размещенное на голове выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности. 4. The device according to claim 3, characterized in that the device placed on the head is made in the form of a virtual reality helmet or augmented or mixed reality glasses.
5. Устройство по п.1, отличающееся тем, что блок управления и вывода информации находится в распоряжении пользователя. 5. The device according to claim 1, characterized in that the control and information output unit is at the disposal of the user.
6. Устройство по п.1, отличающееся тем, что устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства анализирующего зрительные реакции. 6. The device according to claim 1, characterized in that the feedback device is made in the form of a button providing a "yes / no" response, or in the form of a joystick providing a response in the form of movement in space, or in the form of a neurointerface providing a change in signals in the channels of visual analyzers, or in the form of a device that analyzes visual reactions.
7. Устройство по п.1, отличающееся тем, что устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя. 7. The device according to claim 1, characterized in that the feedback device is located in the hands of the observer or another part of the observer's body or on the observer's head.
8. Устройство по п.1 , отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи. 8. The device according to claim 1, characterized in that the controller for processing the data received from the feedback device is made in a single unit with the feedback device.
9. Устройство по п.1 , отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. 9. The device according to claim 1, characterized in that the controller for processing the data received from the feedback device is made separately from the feedback device, while the communication between the feedback controller and the feedback device communication is performed through wired communication and / or through the use of wireless information transmission technology.
10. Устройство по п.1 , отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора. 10. The device according to claim 1, characterized in that the image generator, the controller for controlling the coordinates of the display of the image, the controller-analyzer of the coordinates of the line of sight are installed on a device placed on the head together with a device for outputting visual information and a device for tracking the line of sight.
11. Устройство по п.1 , отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. 11. The device according to claim 1, characterized in that the image generator, the controller for controlling the coordinates of the display of the image, the controller - the analyzer of the coordinates of the line of sight are placed in a separate unit, while the connection between this unit and the device placed on the head is made by means of a wired connection and / or through the use of wireless communication technology.
12. Устройство по п.1 , отличающееся тем, что контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю. 12. The device according to claim 1, characterized in that the controller-analyzer of the coordinates of the line of sight, the controller for calculating the correction of the coordinates of the image, the controller for controlling the coordinates of the display of the image, the controller for controlling the device for outputting visual information and the image generator are placed together with the block for controlling and outputting information to the user.
13. Устройство по п.1, отличающееся тем, что контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации. 13. The device according to claim 1, characterized in that the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the display of the image, the controller for controlling the visual information output device and the image generator are placed in a separate unit, and the connection between this the block and the block for control and output of information to the user is carried out through wired communication and / or through the use of wireless technology for transmitting information.
14. Устройство по п.9, 11 , 13, отличающееся тем, что беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT. 14. The device according to claim 9, 11, 13, characterized in that the wireless information transfer technology is implemented via Wi-Fi, Bluetooth, IoT.
15. Устройство по п.1, отличающееся тем, что наблюдатель и пользователь могут быть одним и тем же лицом. 15. A device according to claim 1, wherein the observer and the user may be the same person.
PCT/RU2020/000317 2020-06-26 2020-06-29 Device for displaying images and recording a reaction to an image WO2021262024A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020121375 2020-06-26
RU2020121375A RU2739519C1 (en) 2020-06-26 2020-06-26 Device for displaying images in certain range of space, spaced from observer's sight line by given angle, and fixing response to that image

Publications (1)

Publication Number Publication Date
WO2021262024A1 true WO2021262024A1 (en) 2021-12-30

Family

ID=74063001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2020/000317 WO2021262024A1 (en) 2020-06-26 2020-06-29 Device for displaying images and recording a reaction to an image

Country Status (2)

Country Link
RU (1) RU2739519C1 (en)
WO (1) WO2021262024A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038629A1 (en) * 2008-11-13 2012-02-16 Queen's University At Kingston System and Method for Integrating Gaze Tracking with Virtual Reality or Augmented Reality
US20120051597A1 (en) * 2009-03-03 2012-03-01 The Ohio State University Gaze tracking measurement and training system and method
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
RU2012144651A (en) * 2010-03-22 2014-04-27 Конинклейке Филипс Электроникс Н.В. SYSTEM AND METHOD FOR MONITORING THE POINT OF VIEWING THE OBSERVER
US20150154758A1 (en) * 2012-07-31 2015-06-04 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038629A1 (en) * 2008-11-13 2012-02-16 Queen's University At Kingston System and Method for Integrating Gaze Tracking with Virtual Reality or Augmented Reality
US20120051597A1 (en) * 2009-03-03 2012-03-01 The Ohio State University Gaze tracking measurement and training system and method
RU2012144651A (en) * 2010-03-22 2014-04-27 Конинклейке Филипс Электроникс Н.В. SYSTEM AND METHOD FOR MONITORING THE POINT OF VIEWING THE OBSERVER
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
US20150154758A1 (en) * 2012-07-31 2015-06-04 Japan Science And Technology Agency Point-of-gaze detection device, point-of-gaze detecting method, personal parameter calculating device, personal parameter calculating method, program, and computer-readable storage medium

Also Published As

Publication number Publication date
RU2739519C1 (en) 2020-12-25

Similar Documents

Publication Publication Date Title
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
Shih et al. A novel approach to 3-D gaze tracking using stereo cameras
CN109645955B (en) Multifunctional visual function detection device and method based on VR and eye movement tracking
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
JP6340503B2 (en) Eye tracking system and method for detecting dominant eye
US9439592B2 (en) Eye tracking headset and system for neuropsychological testing including the detection of brain damage
US20190235624A1 (en) Systems and methods for predictive visual rendering
US8371693B2 (en) Autism diagnosis support apparatus
CN104603673B (en) Head-mounted system and the method for being calculated using head-mounted system and rendering digital image stream
CN111603134B (en) Eyeball movement testing device and method
CN113208884B (en) Visual detection and visual training equipment
US20150223683A1 (en) System For Synchronously Sampled Binocular Video-Oculography Using A Single Head-Mounted Camera
US20220071484A1 (en) Virtual reality-based portable nystagmography device and diagnostic test method using same
Hua Integration of eye tracking capability into optical see-through head-mounted displays
Lamb et al. Eye-tracking beyond peripersonal space in virtual reality: validation and best practices
Cutolo et al. The role of camera convergence in stereoscopic video see-through augmented reality displays
CN113138664A (en) Eyeball tracking system and method based on light field perception
RU2739519C1 (en) Device for displaying images in certain range of space, spaced from observer's sight line by given angle, and fixing response to that image
JP3759187B2 (en) Binocular vision training device
US20220354414A1 (en) Imaging Device, Ocular Movement Data Processing System, and Control Method
CN113729609B (en) Co-vision machine
US11779214B2 (en) Systems and methods for measuring and classifying ocular misalignment
Thomson Eye tracking and its clinical application in optometry
CN114052649A (en) Alternate covering strabismus diagnosis method based on virtual reality and eye movement tracking technology
RU2738070C1 (en) Device for determining coordinates of observer line in real time

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942222

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942222

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.06.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20942222

Country of ref document: EP

Kind code of ref document: A1