RU2739519C1 - Device for displaying images in certain range of space, spaced from observer's sight line by given angle, and fixing response to that image - Google Patents

Abstract

FIELD: computer engineering.SUBSTANCE: invention relates to computer engineering for image processing. Image coordinate correction computing controller is configured to receive data from the gaze line coordinates analyser controller; controller for controlling image display coordinates is configured to obtain an image from an image generator, as well as obtaining and processing data from controller for calculating correction of coordinates of image and generating coordinates of image correction, wherein the image generator is configured to obtain data and commands from the information control and output unit; data processing controller is configured to receive and process data from a feedback device and image display coordinates controller with possibility of their processing in order to obtain data on observer reaction, synchronized with image time code, image coordinates and gaze direction coordinates.EFFECT: technical result is higher accuracy of displaying an image in a defined range of space, spaced from the gaze line of the observer at a given angle.15 cl, 11 dwg

Description

Область техникиTechnology area

Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение.The invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image.

Уровень техники State of the art

Изобретение относится к области физики, в частности для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение и может быть использовано во всех случаях, когда для получения корректного результата требуется например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях. The invention relates to the field of physics, in particular for the demonstration of images, including visual stimuli in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixing the reaction to this image and can be used in all cases when, for example, but not only, it is required to use the peripheral vision of a person to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical procedures; in sports, education and training of psychomotor skills; in marketing, education and the gaming industry to implement new opportunities, various video content and work with video simulators; in devices for modeling, diagnosing, repairing, tuning and managing complex systems and other areas; in systems for creating virtual, augmented and mixed reality for the implementation of technologies related, in particular, but not only with the use of peripheral vision, as well as data input-output devices for human-computer interaction in all areas.

Из уровня техники известна система отслеживания взгляда (US8510166B2, опубл. 13.08.2013). Система отслеживания взгляда представляет собой устройство отслеживания взгляда, размещенное на голове и сервер с программным обеспечением. Устройство, размещенное на голове выполнено с возможностью связи с сервером. Сервер получает изображения сцен от устройства слежения за взглядом, которое захватывает внешние сцены, просматриваемые наблюдателем, носящим устройство, установленное на голове. Сервер также получает информацию о направлении взгляда от устройства отслеживания взгляда, смонтированного на голове. Информация о направлении взгляда указывает, куда во внешних сценах смотрел наблюдатель при просмотре внешних сцен. Алгоритм распознавания изображений выполняется на изображениях сцены, чтобы идентифицировать элементы в пределах внешних сцен, просматриваемых наблюдателем. Создается журнал наблюдения, отслеживающий идентифицированные предметы, просматриваемые наблюдателем.An eye tracking system is known from the prior art (US8510166B2, publ. 08.13.2013). The gaze tracking system is a head-mounted gaze tracking device and a software server. The device placed on the head is configured to communicate with the server. The server receives images of scenes from a gaze tracker that captures external scenes viewed by an observer wearing a head-mounted device. The server also receives gaze direction information from a head-mounted gaze tracker. The gaze direction information indicates where in the outer scenes the observer was looking when viewing the outer scenes. An image recognition algorithm is performed on images of a scene to identify elements within external scenes as viewed by an observer. An observation log is created that tracks the identified items viewed by the observer.

Из уровня техники известно устройство обнаружения точки взора (US9262680B2, опубл.16.02.2016). Устройство обнаружения точки обзора обнаруживает точку обзора объекта на окружающую среду. Устройство включает в себя: средство получения изображения глазного яблока, выполненное с возможностью получения изображения глазного яблока субъекта; средство оценки точки отражения, выполненное с возможностью оценки первой точки отражения, в которой отражается входящий свет в направлении оптической оси глазного яблока субъекта от изображения глазного яблока; средство вычисления скорректированной точки отражения, сконфигурированное для вычисления скорректированной точки отражения в качестве скорректированной первой точки отражения путем коррекции первой точки отражения на основе личного параметра, указывающего разницу между направлением взгляда субъекта и направлением оптической оси глазное яблоко.A gaze point detection device is known from the prior art (US9262680B2, publ. 16.02.2016). The viewpoint detection device detects the viewpoint of an object to its surroundings. The device includes: an eyeball imaging means configured to acquire an eyeball imaging of a subject; reflection point estimation means, configured to evaluate a first reflection point at which incoming light is reflected in the direction of the optical axis of the subject's eyeball from the eyeball image; corrected reflection point calculating means, configured to calculate the corrected reflection point as the corrected first reflection point by correcting the first reflection point based on a personal parameter indicating the difference between the subject's gaze direction and the optical axis direction of the eyeball.

Недостатки данных решений. Оба решения представляют собой устройства цель которых определять и отслеживать направление взора, направленного на внешние сцены. В связи с этим данные устройства не позволяют корректировать видимое наблюдателем изображение (поскольку это внешние сцены) и, следовательно, влиять на угол между изображением и линией взора, а следовательно, обеспечивать демонстрацию изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Кроме того, данные устройства не позволяют формировать требуемые для решения поставленных задач изображения. Кроме того, в данных устройствах отсутствуют системы обратной связи, позволяющие фиксировать реакции наблюдателя на изображение.Disadvantages of these solutions. Both solutions are devices whose purpose is to determine and track the direction of the gaze directed to external scenes. In this regard, these devices do not allow you to correct the image seen by the observer (since these are external scenes) and, therefore, to influence the angle between the image and the line of sight, and, therefore, to provide the demonstration of images in a certain range of space, spaced from the line of sight of the observer at a given angle ... In addition, these devices do not allow the formation of the images required for solving the assigned tasks. In addition, these devices lack feedback systems to record the observer's reactions to the image.

Демонстрация изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксации реакции на это изображение, требуется во всех случаях, когда для получения корректного результата необходимо например, но не только, задействовать периферийное зрение человека, в частности - для создания измерительных устройств для измерения физиологических, психомоторных и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), для реализации методик, связанных с исследованием, тренировкой и лечением зрительных функций (например, но не только, для периметрии); в психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических, психомоторных и зрительных функций или проведении лечебных процедур; в спорте, обучении и тренировках психомоторных навыков; в маркетинге, образовании и игровой индустрии для реализации новых возможностей, различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для реализации технологий, связанных в частности, но не только с использованием периферийного зрения, а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях. Demonstration of images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixation reactions to this image are required in all cases when, for example, but not only, it is necessary to use a person's peripheral vision to obtain a correct result, in particular, to create measuring devices for measuring physiological, psychomotor and visual functions of the body; for the implementation of techniques using videonystagmography; in medicine (ophthalmology, neurology, psychiatry, surgery, psychology, rehabilitation, etc.), for the implementation of techniques related to the study, training and treatment of visual functions (for example, but not only for perimetry); in psycholinguistics and other fields to obtain an objective picture and reliable results in the study of physiological, psychomotor and visual functions or in carrying out medical procedures; in sports, education and training of psychomotor skills; in marketing, education and the gaming industry to implement new opportunities, various video content and work with video simulators; in devices for modeling, diagnosing, repairing, tuning and managing complex systems and other areas; in systems for creating virtual, augmented and mixed reality for the implementation of technologies related, in particular, but not only with the use of peripheral vision, as well as data input-output devices for human-computer interaction in all areas.

Задача демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, усложняется тем, что в силу физиологических причин линия взора наблюдателя часто не может фиксироваться на протяжении необходимого отрезка времени. Направление взора никогда не остается постоянным. Даже при относительно неподвижном положении глаза происходят микродвижения (тремор, дрейф, микросаккады и функциональный̆ нистагм и т.д.). Кроме того, глаз совершает макродвижения (прослеживающие и вергентные движения, нистагм, торзионные движения и т.д.). В следствии сказанного линия взора смещается и угол между линией взора и изображением становится отличным от заданного.The task of demonstrating images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, is complicated by the fact that, due to physiological reasons, the observer's line of sight often cannot be fixed for the required period of time. The direction of the gaze never remains constant. Even with a relatively stationary position of the eye, micromotions occur (tremor, drift, microsaccades and functional nystagmus, etc.). In addition, the eye makes macro movements (tracking and vergent movements, nystagmus, torsion movements, etc.). As a result of the foregoing, the line of sight shifts and the angle between the line of sight and the image becomes different from the given one.

Причин нестабильности линии взора может быть много, ниже приводятся наиболее характерные:There can be many reasons for line-of-sight instability, the most typical ones are given below:

наблюдатель рефлекторно смещает взор в сторону демонстрируемого изображения;the observer reflexively shifts his gaze towards the displayed image;

при напряженной фиксации взора наблюдателя на неподвижной точке (точке фиксации), довольно быстро происходит утрата ее зрительного восприятия. Для компенсации этого, глазодвигательный аппарат начинает совершать быстрые непроизвольные движения глаз;with intense fixation of the observer's gaze at a fixed point (fixation point), the loss of its visual perception occurs rather quickly. To compensate for this, the oculomotor apparatus begins to make rapid involuntary eye movements;

в случаях, когда у наблюдателя отсутствует центральное зрение и/или острота зрения является недостаточной для удерживания взора на точке фиксации, происходит постоянное блуждание взора;in cases where the observer lacks central vision and / or visual acuity is insufficient to keep the gaze at the fixation point, there is a constant gaze wandering;

при наличии у наблюдателя нистагма, фактически отсутствует возможность удерживания взора на точке фиксации из-за постоянной подвижности глазного яблока.if the observer has nystagmus, there is virtually no possibility of keeping the gaze at the fixation point due to the constant mobility of the eyeball.

В результате смещения линии взора при неизменном положении изображения, изменяется угол между линией взора и изображением, что ведет к накапливанию ошибок и, в свою очередь, не позволяет решить поставленные задачи.As a result of displacement of the line of sight while the image position remains unchanged, the angle between the line of sight and the image changes, which leads to the accumulation of errors and, in turn, does not allow solving the assigned tasks.

Задача фиксации реакции наблюдателя на изображение усложняется тем, что, для дальнейшего использования этих данных пользователю необходимо знать в достаточной точностью и в единой временной шкале, тайм-код изображения (для того, чтобы определить, какое конкретно предъявленное изображение вызвало реакцию наблюдателя), время реакции наблюдателя, координаты линии взора и координаты предъявленного в момент реакции изображения.The task of fixing the observer's reaction to the image is complicated by the fact that, for further use of this data, the user needs to know, with sufficient accuracy and in a single timeline, the image timecode (in order to determine which particular image presented caused the observer's reaction), the reaction time observer, the coordinates of the line of sight and the coordinates of the image presented at the moment of reaction.

Причин, вызывающих возникновение и накапливание ошибок фиксации реакции наблюдателя несколько. Основные - отсутствие жесткой синхронизации между системами и недостаточно точное определение координат линии взора в режиме реального времени.There are several reasons for the appearance and accumulation of errors in fixing the observer's reaction. The main ones are the lack of rigid synchronization between the systems and the insufficiently accurate determination of the coordinates of the line of sight in real time.

Отсутствие жесткой синхронизации между системами:Lack of tight synchronization between systems:

фиксирующей время реакции;fixing the reaction time;

отслеживающей тайм-код изображения;tracking the timecode of the image;

определяющей координаты изображения;defining the coordinates of the image;

определяющей координаты линии взора.determining the coordinates of the line of sight.

В результате асинхронной работы этих систем, возникают и накапливаются ошибки фиксации реакции пациента на изображение, демонстрируемое под определенным углом к линии взора.As a result of the asynchronous operation of these systems, errors in fixing the patient's response to the image displayed at a certain angle to the line of sight arise and accumulate.

Недостаточно точное определение координат линии взора в режиме реального времени:Insufficiently accurate determination of the coordinates of the line of sight in real time:

погрешности, в частности геометрические, вносимые системой отслеживания координат линии взора; errors, in particular geometric ones, introduced by the system of tracking the coordinates of the line of sight;

задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); delays in the processing of visual information received from the eye tracker;

анатомические особенности каждого человека, в частности разное межзрачковое расстояние.anatomical features of each person, in particular, a different interpupillary distance.

Раскрытие изобретенияDisclosure of invention

Задачей, решаемой заявленным техническим решением, является создание устройства для демонстрации изображений в том числе визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем) и фиксация реакции на это изображение наблюдателем. Заявленное техническое решение позволяет демонстрировать изображение в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от направления взора наблюдателя и с высокой точностью фиксировать реакцию наблюдателя на это изображение.The problem solved by the claimed technical solution is to create a device for displaying images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics (when the coordinates of the line of sight change over time) and fixation of the reaction to this image by the observer. The claimed technical solution makes it possible to demonstrate an image in a certain range of space, spaced from the line of sight of the observer at a given angle, regardless of the direction of the observer's gaze, and to record with high accuracy the observer's reaction to this image.

Технический результат заявленного изобретения заключается в обеспечении возможности демонстрации изображения в том числе в демонстрации визуальных стимулов в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем), а также в повышении точности фиксации реакции наблюдателя на изображение в том числе визуальные стимулы, демонстрируемые под определенным углом к линии взора.The technical result of the claimed invention is to provide the possibility of displaying the image, including the demonstration of visual stimuli in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics ( when the coordinates of the line of sight change over time), as well as in improving the accuracy of fixing the observer's reaction to the image, including visual stimuli, demonstrated at a certain angle to the line of sight.

Технический результат заявленного изобретения достигается за счет того, что устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол и фиксации реакции на это изображение содержит левый и правый оптические блоки, содержащие устройство слежения за линей взора, контроллер - анализатор координат линии взора выполненный с возможностью получения и обработки информации с устройства слежения за линией взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи, при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера - анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения, причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации, а контроллер обработки данных, полученных с устройства обратной связи выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллером управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю.The technical result of the claimed invention is achieved due to the fact that the device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle and fixing the reaction to this image contains left and right optical blocks containing a device for tracking the line of sight, controller - analyzer coordinates of the gaze line, configured to receive and process information from the gaze tracking device, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the image display, the controller for controlling the visual information output device, the visual information output device, the unit for controlling and outputting information to the user, the image generator , a feedback device and a controller for processing the data received from the feedback device, while the controller for calculating the correction of image coordinates is configured to receive data from the controller - analysis torus coordinates of the line of sight, the controller for controlling the coordinates of the image demonstration and the control unit and outputting information to the user with the possibility of processing this data, comparing them with the coordinates obtained from the control unit and outputting information to the user and generating the coordinates of the image correction, and the controller for controlling the coordinates of the image display is made the possibility of obtaining an image from the image generator, as well as receiving and processing data from the controller for calculating the correction of the image coordinates and forming the coordinates of the correction of the image obtained from the image generator and transmitting it to the controller for the control of the visual information output device to fulfill the conditions for displaying the image in the range of space distant from the observer's line of sight to the angle set in the control unit, while the image generator is configured to receive data and commands from the control unit and output information, and The ntroller for processing data received from the feedback device is configured to receive and process data from the feedback device and the controller for controlling the coordinates of the image display on the visual information output device with the possibility of processing them in order to obtain data on the observer's response, synchronized with the image timecode, coordinates of the image and coordinates of the direction of gaze, in real time and transfer of this data to the control unit and output of information to the user.

В частном случае реализации заявленного технического решения каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройство слежения за линией взора, причем вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов.In the particular case of the implementation of the claimed technical solution, each optical unit consists of an optical system consisting of at least one lens, a mirror with spectral division of channels, a visual information output device and a line of sight tracking device, and around the optical system, in a plane perpendicular to the optical axis the block contains sources of infrared radiation, and the optical system is located between the eye and the mirror with spectral division of channels, and the mirror with spectral division of channels is located between the optical system and the device for outputting visual information at an angle to the optical axis of the block, while the tracking device for the line of sight is located under angle to the mirror with spectral channel division.

В частном случае реализации заявленного технического решения устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове.In a particular case of the implementation of the claimed technical solution, the visual information output device and the gaze line tracking device are built-in or otherwise fixed on a device placed on the head.

В частном случае реализации заявленного технического решения что приспособление, размещенное на голове выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности.In the particular case of the implementation of the claimed technical solution, the device placed on the head is made in the form of a virtual reality helmet or augmented or mixed reality glasses.

В частном случае реализации заявленного технического решения блок управления и вывода информации находится в распоряжении пользователя.In the particular case of the implementation of the claimed technical solution, the control and information output unit is at the disposal of the user.

В частном случае реализации заявленного технического решения устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства анализирующего зрительные реакции.In a particular case of the implementation of the claimed technical solution, the feedback device is made in the form of a button providing a "yes / no" response, or in the form of a joystick providing a response in the form of movement in space, or in the form of a neurointerface providing a change in signals in the channels of visual analyzers, or in the form of a device for analyzing visual reactions.

В частном случае реализации заявленного технического решения устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя.In the particular case of the implementation of the claimed technical solution, the feedback device is located in the hands of the observer or another part of the observer's body or on the observer's head.

В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи.In the particular case of the implementation of the claimed technical solution, the controller for processing the data received from the feedback device is made in a single unit with the feedback device.

В частном случае реализации заявленного технического решения контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.In the particular case of the implementation of the claimed technical solution, the controller for processing data received from the feedback device is made separately from the feedback device, while the communication between the feedback controller and the feedback device is performed via wired communication and / or using wireless information transmission technology.

В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора.In the particular case of the implementation of the claimed technical solution, the image generator, the controller for controlling the coordinates of the display of the image, the controller-analyzer of the coordinates of the line of sight are installed on a device placed on the head together with a device for outputting visual information and a device for tracking the line of sight.

В частном случае реализации заявленного технического решения генератор изображения, контроллер управления координатами демонстрации изображения, контроллер - анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.In the particular case of the implementation of the claimed technical solution, the image generator, the controller for controlling the coordinates of the display of the image, the controller-analyzer of the coordinates of the line of sight are placed in a separate unit, while the connection between this unit and the device placed on the head is made through wired communication and / or using wireless technology transmission of information.

В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю. In the particular case of the implementation of the claimed technical solution, the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the display of the image, the controller for controlling the visual information output device and the image generator are placed together with the block for controlling and outputting information to the user.

В частном случае реализации заявленного технического решения контроллер - анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.In the particular case of the implementation of the claimed technical solution, the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the display of the image, the controller for controlling the visual information output device and the image generator are located in a separate unit, while the connection between this unit and the control unit and information output to the user is performed through wired communication and / or through the use of wireless information transmission technology.

В частном случае реализации заявленного технического решения беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT.In the particular case of the implementation of the claimed technical solution, the wireless technology of information transmission is implemented via Wi-Fi, Bluetooth, IoT.

В частном случае реализации заявленного технического решения наблюдатель и пользователь могут быть одним и тем же лицом.In the particular case of the implementation of the claimed technical solution, the observer and the user can be one and the same person.

Для устранения указанных выше причин появления ошибок в следствии изменения угла между линией взора ни изображением, использованы следующие технические решения:To eliminate the above reasons for the appearance of errors as a result of changing the angle between the line of sight and the image, the following technical solutions were used:

устройство слежения за направлением взора;gaze direction tracking device;

контроллер - анализатор координат линии взора;controller - analyzer of coordinates of the line of sight;

контроллер вычисления коррекции координат изображения;an image coordinate correction calculation controller;

контроллер управления координатами демонстрации изображения.image display coordinates control controller.

Использование устройства слежения за линией взора (eye tracker) и контроллера - анализатора координат линии взора позволяет определять координаты линии взора в реальном времени. The use of an eye tracker and a controller-analyzer of the coordinates of the line of sight allows you to determine the coordinates of the line of sight in real time.

Использование контроллера вычисления коррекции координат изображения позволяет вычислить угол коррекции координат изображения для того, чтобы угол между изображением и линией взора оставался неизменным и равным заданному в блоке управления и вывода информации пользователю.The use of the controller for calculating the correction of the coordinates of the image allows you to calculate the angle of correction of the coordinates of the image so that the angle between the image and the line of sight remains unchanged and equal to that specified in the control and information output unit to the user.

Использование контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации позволяет изменять координаты демонстрируемого изображения на устройстве вывода изображения в режиме реального времени.The use of the controller for controlling the coordinates of the display of the image on the display device of visual information allows you to change the coordinates of the displayed image on the display device in real time.

Совместное использование этих технических решений позволяет в режиме реального времени демонстрировать изображения в том числе визуальные стимулы в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, независимо от координат линии взора, в статике (когда координаты линии взора неизменны) и в динамике (когда координаты линии взора меняются со временем).The joint use of these technical solutions allows real-time display of images, including visual stimuli, in a certain range of space, spaced from the observer's line of sight at a given angle, regardless of the coordinates of the line of sight, in statics (when the coordinates of the line of sight are unchanged) and in dynamics ( when the coordinates of the line of sight change over time).

Использование контроллера обработки данных, полученных с устройства обратной связи и контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации, позволяет получать данные о реакции наблюдателя, синхронизированные с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени.The use of the controller for processing the data received from the feedback device and the controller for controlling the coordinates of the display of the image on the visual information output device makes it possible to obtain data on the observer's reaction, synchronized with the image timecode, image coordinates and gaze direction coordinates, in real time.

Краткое описание чертежейBrief Description of Drawings

Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:Details, features, and advantages of the present invention follow from the following description of embodiments of the claimed technical solution using the drawings, which show:

Фиг. 1 - общая схема устройства; FIG. 1 is a general diagram of the device;

Фиг. 2 - изменение угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;FIG. 2 - change in the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;

Фиг. 3 - сохранение неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;FIG. 3 - keeping the angle between the image and the line of sight of the observer unchanged in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;

Фиг. 4 - демонстрация модели изменения угла между изображением и линией взора наблюдателя при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;FIG. 4 - demonstration of the model of changing the angle between the image and the line of sight of the observer in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;

Фиг. 5 - демонстрация модели сохранения неизменным угла между изображением и линией взора наблюдателя при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол;FIG. 5 - demonstration of the model of maintaining a constant angle between the image and the line of sight of the observer in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle;

Фиг. 6 - структура оптического блока с оптической системой, состоящей из одной линзы;FIG. 6 - structure of an optical unit with an optical system consisting of one lens;

Фиг. 7 - структура оптического блока с оптической системой, состоящей из двух линз.FIG. 7 - structure of an optical block with an optical system consisting of two lenses.

Фиг. 8 - оптический блок в сборе;FIG. 8 - optical block assembly;

Фиг. 9 - схема устройства слежения за линией взора и контроллера - анализатора координат линии взора на базе монокристальной видеосистемы (SOC);FIG. 9 is a diagram of a gaze line tracking device and a gaze coordinate analyzer based on a single crystal video system (SOC);

Фиг. 10 - внешний вид устройства слежения за линией взора и контроллера - анализатор координат линии взора на базе монокристальной видеосистемы (SOC);FIG. 10 - external view of the gaze line tracking device and controller - gaze coordinate analyzer based on a single-crystal video system (SOC);

Фиг. 11 - внешний вид изделия, состоящего из приспособления, размещенного на голове - HMD (2), внешнего системного блока (23), устройства обратной связи (12) и соединительных кабелей (24, 25).FIG. 11 - external view of the product, consisting of a device placed on the head - HMD (2), an external system unit (23), a feedback device (12) and connecting cables (24, 25).

На фигурах цифрами обозначены следующие позиции:In the figures, the following positions are indicated by numbers:

1 - глаз наблюдателя; 2 - приспособление, размещенное на голове (Head-Mounted Device - HMD); 3 - оптический блок; 4 - устройство слежения за линией взора (eye tracker); 5 - контроллер - анализатор координат линии взора; 6 - контроллер вычисления коррекции координат изображения; 7 - контроллер управления координатами демонстрации изображения на устройстве вывода визуальной информации; 8 - контроллер управления устройством вывода визуальной информации; 9 - устройство вывода визуальной информации (VIOD); 10 - блок управления и вывода информации пользователю; 11 - генератор изображения; 12 - устройство обратной связи; 13 - контроллер обработки данных, полученных с устройства обратной связи; 14 - линия взора наблюдателя; 15 - место расположения изображения; 16 - источники инфракрасного излучения; 17 - оптическая система, состоящая из одной или более линз; 18 - зеркало со спектральным делением каналов; 19 - сенсор; 20 - блок приема данных от сенсора;; 21 - блок управления сенсором; 22 - плата на которой монтируется монокристальная видеосистема, объединяющая устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC); 23 - внешний системный блок; 24 - кабель, соединяющий приспособление, размещенное на голове - HMD) (2) и внешний системный блок (23); 25 - кабель, соединяющий устройство обратной связи (12) и внешний системный блок (23).1 - the eye of the observer; 2 - head-mounted device (HMD); 3 - optical block; 4 - device for tracking the line of sight (eye tracker); 5 - controller - analyzer of the coordinates of the line of sight; 6 - controller for calculating the correction of the coordinates of the image; 7 - controller for controlling the coordinates of the display of the image on the output device of visual information; 8 - controller for controlling the visual information output device; 9 - visual information output device (VIOD); 10 - block of control and information output to the user; 11 - image generator; 12 - feedback device; 13 - controller for processing data received from the feedback device; 14 - line of sight of the observer; 15 - location of the image; 16 - sources of infrared radiation; 17 - optical system, consisting of one or more lenses; 18 - mirror with spectral division of channels; 19 - sensor; 20 - block for receiving data from the sensor ;; 21 - sensor control unit; 22 - a board on which a monocrystal video system is mounted, which combines a gaze line tracking device (4) and a gaze coordinate analyzer controller (5) in one crystal (SOC); 23 - external system unit; 24 - cable connecting the device located on the head - HMD) (2) and the external system unit (23); 25 - cable connecting the feedback device (12) and the external system unit (23).

Сокращения и терминыAbbreviations and terms

Линия взора - пространственная ориентация сетчатки глаза (зрительная ось);Line of sight - spatial orientation of the retina (visual axis);

Приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной, или смешанной реальности (Head-Mounted Device - HMD);A device placed on the head, such as a virtual reality helmet or augmented or mixed reality glasses (Head-Mounted Device - HMD);

Устройства вывода визуальной информации (Visual Information Output Device - VIOD) - матрица, экран проектора или иное устройство, предназначенное для вывода визуальной информации;Visual Information Output Device (VIOD) - matrix, projector screen or other device designed to display visual information;

Отслеживающее устройство (eye tracker);Tracking device (eye tracker);

Монокристальная видеосистема (System-on-a-Chip) - SOC;Monocrystal video system (System-on-a-Chip) - SOC;

Наблюдатель - человек или машина, ведущий наблюдение за изображением, формируемым устройством вывода визуальной информации;Observer - a person or machine observing the image generated by the visual information output device;

Пользователь - лицо, которое использует устройство для выполнения конкретных функций.User - a person who uses a device to perform specific functions.

Осуществление изобретенияImplementation of the invention

Схема устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, изображена на фиг.1. A diagram of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, is shown in Fig. 1.

Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол состоит из приспособления, размещенного на голове наблюдателя; контроллера - анализатора координат линии взора (5); контроллера вычисления коррекции координат изображения (6); контроллера управления координатами демонстрации изображения (7); устройства вывода визуальной информации (9); блока управления и вывода информации пользователю (10); генератора изображения (11); устройства обратной связи (12); контроллера обработки данных, полученных с устройства обратной связи (13). A device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, consists of a device placed on the observer's head; controller - analyzer of coordinates of the line of sight (5); controller for calculating the correction of the coordinates of the image (6); a controller for controlling the coordinates of the image display (7); visual information output devices (9); control unit and information output to the user (10); image generator (11); feedback devices (12); controller for processing data received from the feedback device (13).

При этом приспособление (2), размещенное на голове наблюдателя, содержит контроллер управления устройством вывода визуальной информации (8) и два, левый и правый, оптических блока (3).In this case, the device (2), placed on the observer's head, contains a controller for controlling the visual information output device (8) and two, left and right, optical blocks (3).

Оптические блоки (3) для правого и левого глаза имеют идентичную конструкцию. Схемы оптических блоков с одной и двумя линзами изображены на фиг. 6 и фиг. 7, внешний вид оптических блоков в сборе показан на фиг. 8.Optical blocks (3) for the right and left eyes have an identical design. Diagrams of optical units with one and two lenses are shown in FIG. 6 and FIG. 7, the appearance of the assembled optical units is shown in FIG. 8.

Оптический блок (3) состоит из источников инфракрасного излучения (16), оптической системы, состоящей из одной или более линз (17), зеркала со спектральным делением каналов (18), устройства вывода визуальной информации (VIOD) (9) и устройство слежения за линией взора (eye tracker) (4).The optical unit (3) consists of infrared radiation sources (16), an optical system consisting of one or more lenses (17), a mirror with spectral division of channels (18), a visual information output device (VIOD) (9) and a tracking device line of sight (eye tracker) (4).

Источники инфракрасного излучения (16) расположены вокруг оптической системы, в плоскости перпендикулярной оптической оси блока (3). Оптическая система (17) расположена между глазом наблюдателя и зеркалом со спектральным делением каналов (18). Зеркало со спектральным делением каналов (18) расположено между оптической системой (17) и устройством вывода визуальной информации (VIOD) (9) под углом к оптической оси блока. Устройство слежения за линей взора (4) выполнено на базе монокристальной видеосистемы (SOC) и расположено под углом к зеркалу со спектральным делением каналов (18).Sources of infrared radiation (16) are located around the optical system, in the plane perpendicular to the optical axis of the unit (3). The optical system (17) is located between the observer's eye and the mirror with spectral division of channels (18). A mirror with spectral division of channels (18) is located between the optical system (17) and the visual information output device (VIOD) (9) at an angle to the optical axis of the unit. The gaze line tracking device (4) is based on a single-crystal video system (SOC) and is located at an angle to the mirror with spectral division of the channels (18).

Устройство (4) слежения за линией взора на базе монокристальной видеосистемы представляет собой фото-видеосистему на кристалле (SOC), предназначенную для обнаружения и идентификации быстро меняющихся (перемещающихся и/или меняющих яркость) малоразмерных целей (световых пятен) в условиях неоднородного, изменяющегося во времени фона. Алгоритм обработки изображения обеспечивает определение X-, Y- координат центра тяжести, площади, признака формы, а также яркости одновременно нескольких целей. The line-of-sight tracking device (4) based on a single-crystal video system is a photo-video system on a chip (SOC) designed to detect and identify rapidly changing (moving and / or changing brightness) small-sized targets (light spots) under conditions of non-uniform, changing time background. The image processing algorithm provides the determination of the X-, Y- coordinates of the center of gravity, area, shape feature, as well as the brightness of several targets simultaneously.

Устройство слежения за линией взора (4) представляет собой фото или видеокамеру, расположенную таким образом, чтобы максимально точно с минимальными искажениями отслеживать направление взора и его изменения. Для достижения максимальной точности и минимизации искажений, оптические оси взора и камеры должны совпадать. The line of sight tracking device (4) is a photo or video camera located in such a way as to track the direction of gaze and its changes as accurately as possible with minimal distortion. To achieve maximum accuracy and minimize distortion, the optical axes of the gaze and the camera must match.

Для этого используется зеркало со спектральным делением каналов, которое располагается между оптической системой (17) и устройством вывода визуальной информации под углом к линии взора. Зеркало (18) со спектральным делением каналов отражает свет в инфракрасном диапазоне и проецирует изображение глаза на устройство слежения за линией взора (4) без геометрических искажений, как, если бы оно находилось непосредственно на линии взора. При этом для видимого цветового диапазона зеркало является прозрачным и позволяет глазу видеть изображение на устройстве вывода визуальной информации (9).For this, a mirror with spectral division of channels is used, which is located between the optical system (17) and the device for outputting visual information at an angle to the line of sight. A mirror (18) with spectral division of channels reflects light in the infrared range and projects the image of the eye onto the gaze tracker (4) without geometric distortion, as if it were directly on the line of sight. Moreover, for the visible color range, the mirror is transparent and allows the eye to see the image on the visual information output device (9).

Устройство вывода визуальной информации представляет собой матрицу, экран проектора или иное устройство (Visual Information Output Device - VIOD), встроенное в приспособление, размещенное на голове, например (но не ограничиваясь), шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device - HMD).A visual information output device is a matrix, projector screen, or other device (Visual Information Output Device - VIOD) embedded in a device placed on the head, for example, but not limited to, a virtual reality helmet, or augmented or mixed reality glasses (Head-Mounted Device - HMD).

Устройство слежения за линией взора (4) и устройство вывода визуальной информации (9) могут быть встроены или иным образом закреплены на приспособлении, размещенном на голове, например, но не только - шлеме виртуальной реальности или очках дополненной или смешанной реальности. Задача устройства слежения за линией взора передавать в режиме реального времени информацию о направлении линии взора на контроллер - анализатор координат линии взора.The gaze tracking device (4) and the visual information output device (9) can be built-in or otherwise fixed on a device placed on the head, for example, but not only, a virtual reality helmet or augmented or mixed reality glasses. The task of the gaze line tracking device is to transmit in real time information about the direction of the gaze line to the controller - the gaze coordinate analyzer.

Контроллер - анализатор координат линии взора (5), контроллер вычисления коррекции координат изображения (6), контроллер управления координатами демонстрации изображения (7), контроллер управления устройством вывода визуальной информации (8) и генератор изображения (11) могут быть либо размещены вместе с блоком управления и вывода информации пользователю (10), либо размещаться в отдельном блоке, в последнем случае связь между этим блоком и блоком управления и вывода информации пользователю (10) может осуществляться как по проводам, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение к внешнему системному блоку (23) контроллеров (6, 7, 8) с помощью кабеля (24) и устройства обратной связи (12) с помощью кабеля (25).Controller - an analyzer of the coordinates of the line of sight (5), a controller for calculating the correction of image coordinates (6), a controller for controlling the coordinates of an image display (7), a controller for controlling a visual information output device (8) and an image generator (11) can either be placed together with the unit control and output of information to the user (10), or placed in a separate unit, in the latter case, communication between this unit and the control unit and output of information to the user (10) can be carried out both by wire and using wireless technology for transmitting information (for example, but not only, Wi-Fi, Bluetooth, IoT). FIG. 11 shows the connection to an external system unit (23) of controllers (6, 7, 8) using a cable (24) and a feedback device (12) using a cable (25).

Контроллер - анализатор координат линии взора (5) представляет собой программно-аппаратный комплекс, задача которого провести в режиме реального времени анализ изображения, поступающего с устройства слежения за линией взора (4) и, на основе проведенного анализа вычислить актуальные координаты направления линии взора. Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение), в виде специальной программы, исполняемой на подключенном к устройству компьютере или внешнем системном блоке, либо в виде монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (System-on-a-Chip - SOC). Реализация в виде монокристальной видеосистемы (SOC) позволяет исключить процессы передачи изображения и обработки видеоизображения с помощью специальных компьютерных программ, что решает сразу две задачи: первая - значительно сокращает время обработки информации, поскольку все процессы анализа и обработки визуальной информации происходят в едином кристалле и в качестве результата видеосистема SOC выдает координаты зрачка на матрице видеосистемы; и вторая - уменьшает требования в вычислительной мощности процессоров и устраняет необходимость использования сложных программ обработки изображения, что совместно позволяет использовать более экономичные вычислительные системы (экономия времени и денег). На фиг. 9 - изображена схема монокристальной видеосистемы, объединяющей устройство слежения за линией взора (4) и контроллер - анализатор координат линии взора (5) в одном кристалле (SOC), а на фиг. 10 приведена фотография этого устройства.The controller - analyzer of the coordinates of the line of sight (5) is a software and hardware complex, the task of which is to analyze in real time the image received from the line of sight tracking device (4) and, based on the analysis, calculate the actual coordinates of the direction of the line of sight. Structurally, the controller-analyzer of the line of sight coordinates (5) can be made as an independent unit (processor and software), in the form of a special program executed on a computer or external system unit connected to the device, or in the form of a monocrystal video system that combines a tracking device line of sight (4) and controller - analyzer of coordinates of the line of sight (5) in one crystal (System-on-a-Chip - SOC). Implementation in the form of a single-crystal video system (SOC) eliminates the processes of image transmission and video processing using special computer programs, which solves two problems at once: the first one significantly reduces information processing time, since all processes of analysis and processing of visual information occur in a single crystal and in as a result, the video system SOC outputs the coordinates of the pupil on the matrix of the video system; and second, it reduces the processing power requirements of the processors and eliminates the need for complex image processing programs, which allows the use of more economical computing systems (saving time and money). FIG. 9 shows a diagram of a single-crystal video system that combines a gaze line tracking device (4) and a gaze coordinate analyzer controller (5) in one crystal (SOC), and FIG. 10 is a photo of this device.

Контроллер вычисления коррекции координат изображения (6) представляет собой программно-аппаратный комплекс, задача которого вычислить необходимые углы коррекции координат демонстрации изображения на устройстве вывода визуальной информации (9) на основании данных, полученных из контроллера - анализатора координат линии взора (5), контроллера управления координатами демонстрации изображения (7) и блоком управления и вывода информации пользователю (10). Конструктивно Контроллер вычисления коррекции координат изображения (6) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).The controller for calculating the correction of image coordinates (6) is a software and hardware complex, the task of which is to calculate the necessary correction angles of the coordinates of the display of the image on the visual information output device (9) based on the data received from the controller - analyzer of the coordinates of the line of sight (5), the control controller coordinates of displaying the image (7) and the control unit and information output to the user (10). Structurally, the controller for calculating the correction of image coordinates (6) can be made in the form of an independent unit (processor and software) or in the form of a special program executed on a computer connected to the device or an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).

В общем случае, контроллер вычисления коррекции координат изображения (6) должен реализовывать следующее выражение:In general, the controller for calculating the correction of the coordinates of the image (6) must implement the following expression:

Δ = α– (β_лв – β_ои), гдеΔ = α– (β _лв - β _ои ), where

Δ- вектор угла коррекции координат изображения, вычисленный контроллером вычисления коррекции координат изображения (6);Δ- vector of the angle of correction of the coordinates of the image, calculated by the controller for calculating the correction of the coordinates of the image (6);

α- вектор угла отклонения изображения от линии взора наблюдателя, заданный в блоке управления и вывода информации пользователю (10);α is the vector of the angle of deviation of the image from the line of sight of the observer, set in the control unit and information output to the user (10);

β_ои - вектор угла отклонения изображения от линии взора наблюдателя полученный от контроллера управления координатами демонстрации изображения (7) на устройстве вывода визуальной информации; β _oi - the vector of the angle of deviation of the image from the line of sight of the observer received from the controller for controlling the coordinates of the display of the image (7) on the visual information output device;

β_лв - актуальный вектор угла направления взора, полученный от контроллера - анализатор координат линии взора (5).β _лв - the actual vector of the angle of the direction of gaze, received from the controller - the analyzer of the coordinates of the line of gaze (5).

Контроллер управления координатами демонстрации изображения (7) представляет собой программно-аппаратный комплекс, задача которого на основании данных, полученных из контроллера вычисления коррекции координат изображения (6) и генератора изображения (11) сформировать откорректированное изображение, сдвинутое относительно актуального изображения, на угол коррекции изображения, полученный из контроллера вычисления коррекции координат изображения (6). Конструктивно управления координатами демонстрации изображения (7) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).The image display coordinates control controller (7) is a software and hardware complex, the task of which, based on the data obtained from the image coordinate correction calculation controller (6) and the image generator (11), to form a corrected image, shifted relative to the actual image, by the image correction angle obtained from the controller for calculating the correction of the coordinates of the image (6). Structurally, the control of the coordinates of the image demonstration (7) can be performed as an independent unit (processor and software) or as a special program executed on a computer connected to the device or an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).

Контроллер управления устройством вывода визуальной информации (8) представляет собой программно-аппаратный комплекс, задача которого на основании изображения, полученного из контроллера управления координатами демонстрации изображения (7) управлять устройством вывода визуальной информации (9), таким образом, чтобы на изображение, демонстрируемое устройством вывода визуальной информации (9) соответствовало изображению, сформированному контроллером управления координатами демонстрации изображения (7). Конструктивно контроллер - анализатор координат линии взора (5) может быть выполнен в виде самостоятельного блока (процессор и программное обеспечение) или в виде специальной программы, исполняемой на подключенном к устройству компьютере либо внешнем системном блоке. На фиг. 11 показано подключение к внешнему системному блоку (23) с помощью кабеля (24).The controller for controlling the visual information output device (8) is a software and hardware complex, the task of which, based on the image received from the image display coordinates control controller (7), to control the visual information output device (9), so that the image displayed by the device the output of visual information (9) corresponded to the image generated by the controller for controlling the coordinates of the image display (7). Structurally, the controller-analyzer of the line of sight coordinates (5) can be made as an independent unit (processor and software) or as a special program executed on a computer connected to the device or on an external system unit. FIG. 11 shows the connection to an external system unit (23) using a cable (24).

Задача устройства обратной связи (12) регистрировать реакции наблюдателя на изображение, демонстрируемое устройством вывода визуальной информации (9), и передавать их на контроллер обработки данных (13), полученных с устройства обратной связи. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от необходимого функционала, устройство обратной связи может располагаться в руках наблюдателя (кнопка, джойстик) или иной части тела наблюдателя (джойстик) или на голове наблюдателя (нейроинтерфейс, устройство, анализирующее зрительные реакции). На фиг. 11 показано подключение к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13), полученных с устройства обратной связи, с помощью кабеля (25).The task of the feedback device (12) is to register the observer's reactions to the image displayed by the visual information output device (9), and to transmit them to the data processing controller (13) received from the feedback device. A button (a "yes / no" reaction), a joystick (a reaction in the form of movement in space), a neurointerface (characteristic changes in signals in the channels of visual analyzers), a device that analyzes visual reactions in particular (but not only) , the reaction of the pupil or an involuntary (installation) change in the direction of gaze (optical oculography or electrooculography). Depending on the required functionality, the feedback device can be located in the hands of the observer (button, joystick) or in another part of the observer's body (joystick) or on the observer's head (neurointerface, a device that analyzes visual reactions). FIG. 11 shows the connection to an external system unit (23), which houses the controller for processing data (13) received from the feedback device using a cable (25).

Задача контроллера обработки данных, полученных с устройства обратной связи (13), формирование, в режиме реального времени, информации о реакции наблюдателя, синхронизированной с тайм-кодом изображения, координатами изображения и координатами направления взора, полученными с контроллера управления координатами демонстрации изображения (7), и передачи этой информации в блок управления и вывода информации (10). В зависимости от конструкторского решения, контроллер обработки данных, полученных с устройства обратной связи (13) может располагаться, как в едином блоке с устройством обратной связи (12), так и отдельно, в последнем случае связь между контроллером обратной связи (13) и устройством обратной связи (12) может осуществляться как по кабелю, так и с использованием беспроводной технологии передачи информации (например, но не только, Wi-Fi, Bluetooth, IoT). На фиг. 11 показано подключение устройства обратной связи (12) с помощью кабеля (25) к внешнему системному блоку (23), в котором располагается контроллер обработки данных (13).The task of the controller for processing data received from the feedback device (13) is the formation, in real time, of information about the observer's response, synchronized with the image timecode, image coordinates and gaze direction coordinates obtained from the image display coordinates control controller (7) , and transferring this information to the control unit and information output (10). Depending on the design solution, the controller for processing the data received from the feedback device (13) can be located both in a single unit with the feedback device (12), or separately, in the latter case, the connection between the feedback controller (13) and the device feedback (12) can be carried out both via cable and using wireless information transmission technology (for example, but not only, Wi-Fi, Bluetooth, IoT). FIG. 11 shows the connection of the feedback device (12) using the cable (25) to the external system unit (23), which houses the data processing controller (13).

На фиг. 2 и фиг. 3 изображено, что происходит при смещении направления линии взора при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол (фиг. 2) и при его наличии (фиг. 3). На фиг. 2 показано, что при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора приводит к изменению угла между линией взора и демонстрируемом изображением. На фиг. 3 показано, что при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, смещение направления линии взора не приводит к изменению угла между линией взора и демонстрируемом изображением, угол остается неизменным.FIG. 2 and FIG. 3 shows what happens when the direction of the line of sight is shifted in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle (Fig. 2) and if available (Fig. 3). FIG. 2 shows that in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the shift in the direction of the line of sight leads to a change in the angle between the line of sight and the displayed image. FIG. 3 shows that if there is a device for displaying images in a certain range of space, spaced from the observer's line of sight at a given angle, the shift in the direction of the line of sight does not lead to a change in the angle between the line of sight and the displayed image, the angle remains unchanged.

На фиг. 4 показана модель изменения угла между линией взора и демонстрируемом изображением при отсутствии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен α. В последующий момент времени глаз поворачивается на угол Δ и, соответственно, направление линии взора (15) также изменяется на угол Δи становится равным β. В случае отсутствия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения останутся неизменными и угол между изображением и линией взора изменится β = α + Δи, следовательно, при Δ≠ 0, α≠ β.FIG. 4 shows a model of changing the angle between the line of sight and the displayed image in the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle. Suppose that at a certain moment in time the angle between the line of sight (14) and the displayed image (15) is equal to α. At a subsequent moment in time, the eye rotates through an angle Δ and, accordingly, the direction of the line of sight (15) also changes by an angle Δ and becomes equal to β. In the absence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the coordinates of the image will remain unchanged and the angle between the image and the line of sight will change β = α + Δ and, therefore, when Δ ≠ 0, α ≠ β.

На фиг. 5 показана модель сохранения неизменной величины угла между линией взора и демонстрируемом изображением при наличии устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол. Предположим, что в некий момент времени угол между линией взора (14) и демонстрируемом изображением (15) равен α. В последующий момент времени глаз поворачивается на угол Δи, соответственно, направление линии взора (15) также изменяется на угол ΔВ случае наличия устройства для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, координаты изображения также изменяются на угол Δи угол между изображением и линией взора остается неизменным β+ Δ= α+ Δи, следовательно, α= β. FIG. 5 shows a model of maintaining a constant value of the angle between the line of sight and the displayed image in the presence of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle. Suppose that at a certain moment in time the angle between the line of sight (14) and the displayed image (15) is equal to α. At the next moment in time, the eye rotates through the angle Δi, respectively, the direction of the line of sight (15) also changes by the angle ΔIn the case of a device for displaying images in a certain range of space, spaced from the line of sight of the observer at a given angle, the coordinates of the image also change by the angle Δi the angle between the image and the line of sight remains unchanged β + Δ = α + Δ and, therefore, α = β.

Общие принципы работы устройства.General principles of the device.

С помощью блока управления и вывода информации (10) пользователь задает необходимые данные, а именно, изображение, которое должно быть представлено наблюдателю и координаты демонстрации изображения относительно направления линии взора. В случае, если координаты демонстрации изображения относительно направления линии взора должны изменяться во времени, пользователь задает (выбирает или вводит) алгоритм изменения координат в соответствии с поставленной задачей. Информация, необходимая для формирования изображения подается с блока управления и вывода информации (10) на генератор изображения (11). With the help of the control and information output unit (10), the user sets the necessary data, namely, the image that should be presented to the observer and the coordinates of the display of the image relative to the direction of the line of sight. If the coordinates of the display of the image relative to the direction of the line of sight should change in time, the user sets (selects or enters) an algorithm for changing the coordinates in accordance with the task. The information necessary for image formation is supplied from the control and information output unit (10) to the image generator (11).

Генератор изображения (11) формирует изображение, которое должно быть представлено наблюдателю. Сформированное изображение подается на контроллер управления координатами демонстрации изображения (7). The image generator (11) generates an image to be presented to the observer. The generated image is fed to the controller for controlling the coordinates of the image demonstration (7).

Информация о координатах демонстрации изображения относительно направления линии взора передается с блока управления и вывода информации (10) на контроллер вычисления коррекции координат изображения (6).Information about the coordinates of the display of the image relative to the direction of the line of sight is transmitted from the control and information output unit (10) to the controller for calculating the correction of the coordinates of the image (6).

Контроллер вычисления коррекции координат изображения (6) сравнивает заданные пользователем координаты изображения с координатами линии взора наблюдателя, полученными с контроллера - анализатора координат линии взора (5) и координатами изображения с контроллера управления координатами демонстрации изображения (7), вычисляет требуемые изменения координат изображения и передает актуализированные координаты изображения на контроллер управления координатами демонстрации изображения (7).The controller for calculating the correction of image coordinates (6) compares the user-specified coordinates of the image with the coordinates of the observer's line of sight, obtained from the controller - analyzer of the coordinates of the line of sight (5) and the coordinates of the image from the controller for controlling the coordinates of the image display (7), calculates the required changes in the coordinates of the image and transmits updated image coordinates to the image display coordinates control controller (7).

Контроллер управления координатами демонстрации изображения (7) получает сформированное изображение с генератора изображений (11) и актуализированные координаты изображения с контроллера вычисления коррекции координат изображения (6). Полученное актуализированное изображение передается с контроллера управления координатами демонстрации изображения (7) на контроллер управления устройством вывода визуальной информации (8), который формирует изображение непосредственно на устройстве вывода визуальной информации (9).The image display coordinates control controller (7) receives the generated image from the image generator (11) and the updated image coordinates from the image coordinate correction calculation controller (6). The resulting updated image is transmitted from the controller for controlling the coordinates of the image display (7) to the controller for controlling the visual information output device (8), which generates an image directly on the visual information output device (9).

Система работает в динамическом режиме, производя сравнение координат с частотой обновления экрана устройства вывода визуальной информации (9) и, соответственно, корректируя координаты демонстрации изображения на устройстве вывода визуальной информации (9).The system operates in a dynamic mode, comparing the coordinates with the refresh rate of the screen of the visual information output device (9) and, accordingly, correcting the coordinates of the image display on the visual information output device (9).

Система демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, может работать в нескольких режимах:The system for displaying images in a certain range of space, located at a given angle from the line of sight of the observer, can operate in several modes:

свободного блуждания взора наблюдателя;free wandering of the observer's gaze;

фиксирования взора наблюдателя на заданную статическую точку фиксации;fixing the observer's gaze to a given static fixation point;

фиксирование взора наблюдателя на статическую точку фиксации, координаты которой изменяются во времени дискретно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12);fixing the observer's gaze to a static fixation point, the coordinates of which change in time discretely - randomly or in accordance with a given algorithm, including correlated with the observer's reaction to the image recorded by the feedback device (12);

фиксирование взора наблюдателя на динамическую точку фиксации, координаты которой изменяются во времени непрерывно - случайно или в соответствии с заданным алгоритмом, в том числе коррелированным с реакцией наблюдателя на изображение, зарегистрированным устройством обратной связи (12);fixing the observer's gaze to a dynamic fixation point, the coordinates of which change in time continuously - randomly or in accordance with a given algorithm, including correlated with the observer's reaction to the image recorded by the feedback device (12);

Во 2, 3, 4 режимах контроллер управления координатами демонстрации изображения (7) добавляет в изображение так называемую «точку фиксации» с координатами, сформированными в соответствии с условиями заданными пользователем в блоке управления и вывода информации (10) и, в случае необходимости, с данными, полученными с контроллера вычисления коррекции координат изображения (6) и контроллера обработки данных, полученных с устройства обратной связи (13).In 2, 3, 4 modes, the controller for controlling the coordinates of the image demonstration (7) adds to the image the so-called "fixation point" with the coordinates formed in accordance with the conditions specified by the user in the control and information output unit (10) and, if necessary, with data obtained from the controller for calculating the correction of the coordinates of the image (6) and the controller for processing data received from the feedback device (13).

Фиксация реакции на демонстрируемое изображение.Fixing the reaction to the displayed image.

Реакция пользователя на демонстрируемое изображение регистрируется устройством обратной связи (12). Информация с устройства обратной связи (12) поступает на контроллер обработки данных, полученных с устройства обратной связи (13). Результаты обработки данных передаются на блок управления и вывода информации (10) для дальнейшего использования пользователем, а также в случае необходимости на контроллер управления координатами демонстрации изображения (7) для вычисления актуальных координат точки фиксации взора наблюдателя. В качестве устройства обратной связи может использоваться кнопка (реакция типа «да/нет»), джойстик (реакция в виде перемещения в пространстве), нейроинтерфейс (характерные изменение сигналов в каналах зрительных анализаторов), устройство анализирующее зрительные реакции в частности (но не только), реакцию зрачка либо непроизвольное (установочное) изменение направление взора (оптическая окулография или электроокулография). В зависимости от типа используемого устройства обратной связи, на контроллер обработки данных 7 поступают разные типы данных в разных форматах. Соответственно алгоритм работы контроллер обработки данных, полученных с устройства обратной связи (13) должен быть адаптирован под используемое устройство обратной связи.The user's reaction to the displayed image is recorded by the feedback device (12). Information from the feedback device (12) goes to the controller for processing the data received from the feedback device (13). The results of data processing are transmitted to the control and information output unit (10) for further use by the user, as well as, if necessary, to the controller for controlling the coordinates of the image display (7) to calculate the actual coordinates of the observer's gaze fixation point. A button (a "yes / no" reaction), a joystick (a reaction in the form of movement in space), a neurointerface (characteristic changes in signals in the channels of visual analyzers), a device that analyzes visual reactions in particular (but not only) , the reaction of the pupil or an involuntary (installation) change in the direction of gaze (optical oculography or electrooculography). Depending on the type of feedback device used, the data processing controller 7 receives different types of data in different formats. Accordingly, the operation algorithm of the controller for processing data received from the feedback device (13) must be adapted to the used feedback device.

Claims (22)

1. Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение, содержащее 1. A device for demonstrating images in a certain range of space, spaced from the line of sight of the observer at a given angle, and fixing the reaction to this image containing левый и правый оптические блоки, содержащие устройство слежения за линей взора;left and right optical blocks containing a line of sight tracking device; контроллер – анализатор координат линии взора, выполненный с возможностью получения и обработки информации с устройства слежения за линией взора,controller - an analyzer of the coordinates of the line of sight, made with the possibility of receiving and processing information from the device for tracking the line of sight, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации, устройство вывода визуальной информации, блок управления и вывода информации пользователю, генератор изображения, устройство обратной связи и контроллер обработки данных, полученных с устройства обратной связи, an image coordinate correction computation controller, an image display coordinate control controller, a visual information output device control controller, a visual information output device, a user control and information output unit, an image generator, a feedback device and a controller for processing data received from the feedback device, при этом контроллер вычисления коррекции координат изображения выполнен с возможностью получения данных от контроллера – анализатора координат линии взора, контроллера управления координатами демонстрации изображения и блока управления и вывода информации пользователю с возможностью обработки этих данных, сравнения их с координатами, полученными с блока управления и вывода информации пользователю и формирования координат корректировки изображения,in this case, the controller for calculating the correction of the image coordinates is configured to receive data from the controller-analyzer of the coordinates of the line of sight, the controller for controlling the coordinates of the image display and the control unit and outputting information to the user with the ability to process this data, compare them with the coordinates obtained from the control unit and output information the user and the formation of coordinates of the image correction, причем контроллер управления координатами демонстрации изображения выполнен с возможностью получения изображения с генератора изображения, а также получения и обработки данных с контроллера вычисления коррекции координат изображения и формирования координат корректировки изображения, полученного с генератора изображения и передачи его на контроллер управления устройством вывода визуальной информации для выполнения условий демонстрации изображения в диапазоне пространства, отстоящем от линии взора наблюдателя на заданный в блоке управления угол,moreover, the controller for controlling the coordinates of the image demonstration is configured to obtain an image from the image generator, as well as to receive and process data from the controller for calculating the correction of the coordinates of the image and to generate the coordinates of the correction of the image obtained from the image generator and transmit it to the controller for the control of the visual information output device to fulfill the conditions demonstration of the image in the range of space, located from the line of sight of the observer at the angle set in the control unit, при этом генератор изображения выполнен с возможностью получения данных и команд с блока управления и вывода информации, wherein the image generator is configured to receive data and commands from the control unit and output information, а контроллер обработки данных, полученных с устройства обратной связи, выполнен с возможностью получения и обработки данных с устройства обратной связи и контроллера управления координатами демонстрации изображения на устройстве вывода визуальной информации с возможностью их обработки с целью получения данных о реакции наблюдателя, синхронизированных с тайм-кодом изображения, координатами изображения и координатами направления взора, в режиме реального времени и передачи этих данных в блок управления и вывода информации пользователю.and the controller for processing the data obtained from the feedback device is configured to receive and process data from the feedback device and the controller for controlling the coordinates of the display of the image on the visual information output device with the possibility of processing them in order to obtain data on the observer's reaction, synchronized with the time code image, image coordinates and gaze direction coordinates, in real time and transfer of this data to the control unit and output of information to the user. 2. Устройство по п.1, отличающееся тем, что каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и устройства слежения за линией взора, причем вокруг оптической системы в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом устройство слежения за линией взора расположено под углом к зеркалу со спектральным делением каналов.2. The device according to claim 1, characterized in that each optical unit consists of an optical system consisting of at least one lens, a mirror with spectral division of channels, a device for outputting visual information and a device for tracking the line of sight, and around the optical system in the plane perpendicular to the optical axis of the unit, the sources of infrared radiation are located, and the optical system is located between the eye and the mirror with spectral division of channels, and the mirror with spectral division of channels is located between the optical system and the device for outputting visual information at an angle to the optical axis of the block, while the device line of sight tracking is located at an angle to the mirror with spectral division of the channels. 3. Устройство по п.1, отличающееся тем, что устройство вывода визуальной информации и устройство слежения за линией взора встроены или иным образом закреплены на приспособлении, размещенном на голове.3. The device according to claim 1, characterized in that the visual information output device and the gaze line tracking device are built-in or otherwise fixed on a device placed on the head. 4. Устройство по п.3, отличающееся тем, что приспособление, размещенное на голове, выполнено в виде шлема виртуальной реальности или очков дополненной или смешанной реальности.4. The device according to claim 3, characterized in that the device placed on the head is made in the form of a virtual reality helmet or augmented or mixed reality glasses. 5. Устройство по п.1, отличающееся тем, что блок управления и вывода информации находится в распоряжении пользователя.5. The device according to claim 1, characterized in that the control and information output unit is at the user's disposal. 6. Устройство по п.1, отличающееся тем, что устройство обратной связи выполнено в виде кнопки, обеспечивающей реакцию типа «да/нет», или в виде джойстика, обеспечивающего реакцию в виде перемещения в пространстве, или в виде нейроинтерфейса, обеспечивающего изменение сигналов в каналах зрительных анализаторов, или в виде устройства, анализирующего зрительные реакции.6. The device according to claim 1, characterized in that the feedback device is made in the form of a button providing a "yes / no" response, or in the form of a joystick, providing a response in the form of movement in space, or in the form of a neurointerface providing a change in signals in the channels of visual analyzers, or in the form of a device that analyzes visual reactions. 7. Устройство по п.1, отличающееся тем, что устройство обратной связи расположено в руках наблюдателя или иной части тела наблюдателя или на голове наблюдателя.7. The device according to claim 1, characterized in that the feedback device is located in the hands of the observer or another part of the observer's body or on the observer's head. 8. Устройство по п.1, отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен в едином блоке с устройством обратной связи.8. The device according to claim 1, characterized in that the controller for processing the data obtained from the feedback device is made in a single unit with the feedback device. 9. Устройство по п.1, отличающееся тем, что контроллер обработки данных, полученных с устройства обратной связи, выполнен отдельно от устройства обратной связи, при этом связь между контроллером обратной связи и устройством обратной связи выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.9. The device according to claim 1, characterized in that the controller for processing the data received from the feedback device is made separately from the feedback device, and the communication between the feedback controller and the feedback device is performed through wired communication and / or by using wireless information transfer technologies. 10. Устройство по п.1, отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер – анализатор координат линии взора установлены на приспособлении, размещенном на голове вместе с устройством вывода визуальной информации и устройством слежения за линией взора.10. The device according to claim 1, characterized in that the image generator, the controller for controlling the coordinates of the display of the image, the controller - the analyzer of the coordinates of the line of sight are installed on a device placed on the head together with a device for outputting visual information and a device for tracking the line of sight. 11. Устройство по п.1, отличающееся тем, что генератор изображения, контроллер управления координатами демонстрации изображения, контроллер – анализатор координат линии взора размещены в отдельном блоке, при этом связь между этим блоком и приспособлением, размещенным на голове, выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.11. The device according to claim 1, characterized in that the image generator, the controller for controlling the coordinates of the display of the image, the controller - the analyzer of the coordinates of the line of sight are placed in a separate unit, and the connection between this unit and the device placed on the head is made by means of a wired connection and / or by using wireless information transmission technology. 12. Устройство по п.1, отличающееся тем, что контроллер – анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены вместе с блоком управления и вывода информации пользователю. 12. The device according to claim 1, characterized in that the controller-analyzer of the coordinates of the line of sight, the controller for calculating the correction of the coordinates of the image, the controller for controlling the coordinates of the display of the image, the controller for controlling the device for outputting visual information and the image generator are placed together with the unit for controlling and outputting information to the user. 13. Устройство по п.1, отличающееся тем, что контроллер – анализатор координат линии взора, контроллер вычисления коррекции координат изображения, контроллер управления координатами демонстрации изображения, контроллер управления устройством вывода визуальной информации и генератор изображения размещены в отдельном блоке, при этом связь между этим блоком и блоком управления и вывода информации пользователю выполнена посредством проводной связи и/или посредством использования беспроводной технологии передачи информации.13. The device according to claim 1, characterized in that the controller - the line of sight coordinates analyzer, the controller for calculating the correction of the image coordinates, the controller for controlling the coordinates of the image display, the controller for controlling the visual information output device and the image generator are located in a separate unit, and the connection between this the block and the block for control and output of information to the user is performed by means of wired communication and / or by using wireless technology for transmitting information. 14. Устройство по пп.9, 11, 13, отличающееся тем, что беспроводная технология передачи информации реализована посредством Wi-Fi, Bluetooth, IoT.14. The device according to claims 9, 11, 13, characterized in that the wireless technology for transmitting information is implemented via Wi-Fi, Bluetooth, IoT. 15. Устройство по п.1, отличающееся тем, что наблюдатель и пользователь могут быть одним и тем же лицом.15. A device according to claim 1, wherein the observer and the user may be the same person.

Images