RU2352244C2 - Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation - Google Patents
Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation Download PDFInfo
- Publication number
- RU2352244C2 RU2352244C2 RU2007117996/14A RU2007117996A RU2352244C2 RU 2352244 C2 RU2352244 C2 RU 2352244C2 RU 2007117996/14 A RU2007117996/14 A RU 2007117996/14A RU 2007117996 A RU2007117996 A RU 2007117996A RU 2352244 C2 RU2352244 C2 RU 2352244C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- pupil
- eye
- group
- controller
- Prior art date
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
Изобретение относится к офтальмогигиене, а именно к инструментальному неинвазивному исследованию зрения, и может быть использовано для быстрого и точного определения параметров саккадических движений, отклонений бинокулярного зрения, степени косоглазия у взрослых и детей.The invention relates to ophthalmic hygiene, namely to instrumental non-invasive research of vision, and can be used to quickly and accurately determine the parameters of saccadic movements, deviations of binocular vision, the degree of strabismus in adults and children.
Известен способ диагностики косоглазия [Урмахер Л.С. Справочник по офтальмологической оптике и приборам. М.: Медицина, 1971. - 179 с., - С.121], основанный на разделении полей зрения, заключающийся в показе половины одного и того же рисунка каждому глазу при помощи двух раздельных оптических систем, подборе угла между оптическими осями оптических систем, при котором рисунки сливаются в единое изображение, и определении степени косоглазия по углу между оптическими осями. Известно устройство для реализации рассмотренного способа - синоптофор, состоящий из основания, на котором укреплены две оптические системы, механического устройства для перемещения и поворота оптических систем, тестовых объектов, изображения которых проецируются в глаза человека при помощи оптических систем и осветителя тестовых объектов.A known method for the diagnosis of strabismus [Urmacher L.S. Handbook of ophthalmic optics and devices. M .: Medicine, 1971. - 179 p., - P.121], based on the separation of the fields of view, consisting in showing half of the same pattern to each eye using two separate optical systems, selecting the angle between the optical axes of the optical systems, in which the drawings merge into a single image, and determining the degree of strabismus by the angle between the optical axes. A device for implementing the method is known - a synoptophor, consisting of a base on which two optical systems are mounted, a mechanical device for moving and rotating optical systems, test objects, images of which are projected into the human eye using optical systems and illuminator of test objects.
Недостатками способа и устройства являются сложность и длительность определения степени косоглазия, обусловленные необходимостью подбора параметров положения оптических систем, при которых достигается слияние изображений. Из-за субъективности определения совмещения изображения уменьшается точность измерения косоглазия, а также осложняется диагностика заболевания у детей младшего возраста.The disadvantages of the method and device are the complexity and duration of determining the degree of strabismus, due to the need to select the position parameters of the optical systems at which image fusion is achieved. Due to the subjectivity of determining image alignment, the accuracy of strabismus measurement is reduced, and the diagnosis of the disease in young children is complicated.
Известно устройство для исследования бинокулярного зрения [патент РФ №2292836], содержащее два полосчатых светофильтра разных цветов, полосы которых расположены под прямым углом друг к другу, установленных в очковой оправе. Принцип диагностики основан на предъявлении пациенту тестовых изображений различного цвета, определении принадлежности каждому из глаз тестового изображения. Недостатками принципа диагностики и, как следствие, самого устройства, являются: длительность процесса диагностики, вызванная необходимостью предъявления тестовых шаблонов и выяснения у пациента оценки видимости шаблонов; низкая точность (устройство позволяет определять тип зрения, ведущий глаз, определить факт наличия косоглазия, но никак не точно измерять степень косоглазия), вследствие примерной оценки характера видимых изображений.A device for researching binocular vision [RF patent No. 2292836], containing two banded filters of different colors, the stripes of which are located at right angles to each other, are installed in a spectacle frame. The principle of diagnosis is based on presenting the patient with test images of various colors, determining the belonging of the test image to each eye. The disadvantages of the diagnostic principle and, as a consequence, the device itself are: the duration of the diagnostic process, caused by the need to present test patterns and ascertain from the patient an assessment of the visibility of the patterns; low accuracy (the device allows you to determine the type of vision, the leading eye, determine the fact of the presence of strabismus, but does not accurately measure the degree of strabismus), due to the approximate assessment of the nature of visible images.
Известен способ [патент РФ №2082311], заключающийся в том, что испытуемому надевают очки с цветофильтрами и с расстояния 5 м предъявляют цветовые анаглифы, исходя из ответов обследуемого, делают заключение о характере зрения. Способ позволяет количественно дифференцировать степень бинокулярного сотрудничества. Недостатки способа аналогичны недостаткам рассмотренного выше устройства [патент РФ №2292836].The known method [RF patent No. 2082311], which consists in the fact that the subject is put on glasses with color filters and color anaglyphs are presented from a distance of 5 m, based on the answers of the subject, a conclusion is made on the nature of vision. The method allows to quantitatively differentiate the degree of binocular cooperation. The disadvantages of the method are similar to the disadvantages of the above device [RF patent No. 2292836].
Известны способ и устройство обнаружения фазы быстрых движений глаз при сне [патент США 4863259, опубл. 5.09.1989]. Способ основан на освещении глаза инфракрасным светом и обнаружении быстрых движений глаз по периодическому отклонению зрачка. Устройство содержит датчик движения зрачка и средства для подсчета количества движений зрачка в единицу времени. Недостатком способа и реализующего его устройства является невозможность определения параметров движения зрачка и измерения степени косоглазия, так как датчик движения зрачка позволяет определять только наличие или отсутствие такового движения.A known method and device for detecting the phase of rapid eye movements during sleep [US patent 4863259, publ. 09/05/1989]. The method is based on illuminating the eye with infrared light and detecting rapid eye movements by periodically deviating the pupil. The device comprises a pupil motion sensor and means for counting the number of pupil movements per unit time. The disadvantage of the method and the device that implements it is the inability to determine the parameters of the movement of the pupil and measure the degree of strabismus, since the motion sensor of the pupil allows you to determine only the presence or absence of such movement.
Известны способ регистрации зрачка глаза и устройство для его осуществления [патент РФ 2208377]. Способ регистрации зрачка заключается в создании плоскости действительного изображения зрачка глаза и последующей локализации этой плоскости. Плоскость действительного изображения зрачка оптически сопряжена с регистратором, а энергетическую картину в плоскости действительного изображения зрачка регистрируют, используя дополнительно два вида излучения: рассеянное глазными средами и зеркально отраженное от поверхности роговицы. Регистрируют и используют моргание. Изображение зрачка локализуют в пространстве, используя лучистый поток, зеркально отраженный передней поверхностью оптической системы, создающей действительное изображение зрачка. Устройство содержит осветительный канал, источник излучения в виде лазера. Зеркало установлено на внутренней грани призмы-куба, расположенной на оптической оси осветительного и передающего каналов. В передающем канале предусмотрен объектив. Регистратор установлен в плоскости изображения объектива, оптически сопряженной с плоскостью локализации действительного изображения зрачка.A known method of registering the pupil of the eye and a device for its implementation [RF patent 2208377]. The method of registering the pupil is to create a plane of a real image of the pupil of the eye and the subsequent localization of this plane. The plane of the actual image of the pupil is optically coupled to the registrar, and the energy picture in the plane of the actual image of the pupil is recorded using two additional types of radiation: scattered by the ocular media and specularly reflected from the surface of the cornea. Register and use blinking. The image of the pupil is localized in space using a radiant flux, which is mirrored by the front surface of the optical system that creates a real image of the pupil. The device contains a lighting channel, a radiation source in the form of a laser. The mirror is mounted on the inner edge of the prism-cube, located on the optical axis of the lighting and transmitting channels. A lens is provided in the transmission channel. The registrar is installed in the image plane of the lens, optically conjugated with the localization plane of the actual image of the pupil.
Недостатком способа является необходимость применения лазерного излучения, которое может отрицательно влиять как на зрение пациента, так и на зрение врача. Недостатком устройства является сложность его практической реализации, обусловленная необходимостью калибровки положения оптических элементов устройства, для точной диагностики отклонений зрения.The disadvantage of this method is the need to use laser radiation, which can adversely affect both the patient’s vision and the doctor’s eyesight. The disadvantage of this device is the difficulty of its practical implementation, due to the need to calibrate the position of the optical elements of the device for accurate diagnosis of visual impairment.
Наиболее близкими к предлагаемым являются способ исследования движения глаз по бинокулярному изображению и устройство для его реализации [патент РФ №2221475], применяемые для диагностики нистагма и других заболеваний глазодвигательного аппарата. Способ включает освещение глаз источником света и получение одного под другим с минимальным расстоянием видеоизображения глаз на экране компьютера с последующим анализом параметров их движения. На видеоизображении каждого глаза выбирают область, в пределах которой движется зрачок глаза. В этой области находят фигуру с размером и формой, соответствующими размерам и форме зрачка глаза. Анализ параметров осуществляют путем анализа движения центра этой фигуры, для чего записывают траекторию его движения, измеряют амплитуду и частоту спектральных составляющих движения. Устройство содержит источник света для освещения глаз, рассеиватель света, видеокамеру для ввода видеоизображения движущихся зрачков через аналого-цифровой преобразователь в компьютер. Для формирования изображений глаз одного под другим на экране компьютера устройство имеет две пары зеркал.Closest to the proposed are a method for studying eye movement in a binocular image and a device for its implementation [RF patent No. 2221475], used to diagnose nystagmus and other diseases of the oculomotor apparatus. The method includes lighting the eyes with a light source and obtaining one below the other with a minimum distance of the video image of the eyes on a computer screen, followed by analysis of the parameters of their movement. In the video image of each eye, the region within which the pupil of the eye moves is selected. In this area, a figure with a size and shape corresponding to the size and shape of the pupil of the eye is found. The analysis of the parameters is carried out by analyzing the movement of the center of this figure, for which they record the trajectory of its movement, measure the amplitude and frequency of the spectral components of the movement. The device comprises a light source for illuminating the eyes, a light diffuser, a video camera for inputting video images of moving pupils through an analog-to-digital converter into a computer. To form images of the eyes of one under the other on a computer screen, the device has two pairs of mirrors.
Недостатком способа является сложность калибровки положения зеркал, входящих в устройство, для обеспечения получения одного под другим изображений двух глаз и последующего ввода его в компьютер при помощи единственной видеокамеры. Недостатками устройства являются: невозможность применения устройства для анализа быстрых движений глаз в реальном масштабе времени вследствие ограниченного быстродействия неспециализированного (обычного) персонального компьютера и применения ресурсоемкого с вычислительной точки зрения преобразования Фурье, а также разделением во времени операций ввода изображения в компьютер и его анализа (сначала файл с изображением глаза получают и только после его получения анализируют); отсутствие возможности передачи полученной информации на дальнейший анализ (вышестоящее средство обработки) в реальном времени, что сужает область применения устройства и снижает его практическую ценность.The disadvantage of this method is the difficulty of calibrating the position of the mirrors included in the device, to ensure that one under the other images of two eyes and then enter it into the computer using a single video camera. The disadvantages of the device are: the inability to use the device for the analysis of fast eye movements in real time due to the limited speed of a non-specialized (ordinary) personal computer and the use of computationally intensive Fourier transforms, as well as the separation in time of image input operations into the computer and its analysis (first the eye image file is received and only after its receipt is analyzed); the inability to transmit the received information for further analysis (superior processing tool) in real time, which narrows the scope of the device and reduces its practical value.
Другим недостатком способа является необходимость освещения глаз пациента светом видимого диапазона длин волн, что является мешающим фактором при позиционировании глаз пациента в заданную врачом точку и «ослепляет» пациента, а также снижает точность диагностики вследствие возможного присутствия бликов на изображении от ламп освещения, окна.Another disadvantage of this method is the need to illuminate the patient’s eyes with light of the visible wavelength range, which is a nuisance when positioning the patient’s eyes at a point set by the doctor and “blinds” the patient, and also reduces the accuracy of diagnosis due to the possible presence of glare in the image from the lighting lamps, windows.
Технической задачей изобретения является повышение скорости и точности диагностики отклонений зрения, обеспечение возможности применения диагностирующего устройства в любых условиях освещения за счет исключения зависимости получаемого изображения от внешнего освещения, обеспечение автоматического режима диагностики, устранение мешающего фактора для сна человека (в случае, если исследование проводится в процессе сна) - видимого освещения, упрощение практического применения устройства, возможность диагностики заболеваний глаз у детей, возможность диагностики при незначительных поворотах и смещениях головы, возможность использования устройства в составе диагностирующей системы более высокого уровня и получение результатов измерений движений глаз (в том числе саккадических и «быстрых») в реальном масштабе времени.An object of the invention is to increase the speed and accuracy of diagnosis of visual deviations, to ensure the possibility of using a diagnostic device in any lighting conditions by eliminating the dependence of the received image on external lighting, providing an automatic diagnostic mode, eliminating an interfering factor for a person’s sleep (if the study is carried out in sleep process) - visible lighting, simplifying the practical use of the device, the ability to diagnose eye diseases in It is possible to diagnose with slight turns and displacements of the head, the ability to use the device as part of a higher-level diagnostic system and to obtain real-time results of measurements of eye movements (including saccadic and “fast”).
Задача решается тем, что в способ исследования движения глаз по бинокулярному изображению [патент РФ №2221475], включающий получение изображения глаз, анализ параметров движения глаз, выбор области, в пределах которой движется зрачок глаза, нахождение фигуры с размером и формой, соответствующими размерам и форме зрачка глаза, анализ движения центра этой фигуры, введены освещение глаз инфракрасным источником света, управление мощностью источника освещения для получения наиболее контрастного изображения глаз, непрерывное получение изображений обоих глаз при помощи двух видеокамер, установленных напротив лица человека, калибровка взаимного положения видеокамер, формирование эталона зрачка для его последующего быстрого распознавания и локализации на изображении, формирование и передача результатов анализа.The problem is solved in that in a method for studying eye movement in a binocular image [RF patent No. 2221475], including obtaining an image of the eyes, analyzing the parameters of eye movement, selecting the area within which the pupil moves, finding a figure with a size and shape corresponding to the size and pupil shape of the eye, analysis of the movement of the center of this figure, introduced eye lighting with an infrared light source, control the power of the light source to obtain the most contrasting image of the eyes, continuous image acquisition Nij both eyes using two cameras mounted in front of a person's face, the relative position of calibration camera, the formation of the pupil reference for its subsequent rapid detection and localization in the image formation and transfer of the analysis results.
Техническая задача решается тем, что в устройство для исследования движения глаз [патент РФ №2221475], содержащее первую видеокамеру, введены вторая видеокамера, бинокулярная оптико-электронная система, контроллер, первый и второй блоки ввода изображения, ОЗУ, первый и второй вычислители, инфракрасный осветитель, причем выход первой видеокамеры подключен к входу первого блока ввода изображения, выход второй видеокамеры подключен к входу второго блока ввода изображения, групповые выходы первого и второго блоков ввода изображения соединены соответственно с первым и вторым групповыми входами контроллера, первый и второй групповые входы-выходы контроллера подключены соответственно к групповым входам-выходам первого и второго вычислителей, третий групповой вход-выход контроллера подключен к групповому входу-выходу ОЗУ, первый групповой выход контроллера соединен с групповым входом инфракрасного осветителя, второй групповой выход контроллера используется для формирования выходных данных и выдачи их на внешнее устройство для отображения или дальнейшего анализа.The technical problem is solved by the fact that in the device for studying eye movement [RF patent No. 2221475], containing the first video camera, a second video camera, a binocular optoelectronic system, a controller, the first and second image input units, RAM, the first and second calculators, infrared are introduced illuminator, the output of the first video camera being connected to the input of the first image input unit, the output of the second video camera being connected to the input of the second image input unit, the group outputs of the first and second image input units are connected respectively, with the first and second group inputs of the controller, the first and second group inputs-outputs of the controller are connected respectively to the group inputs and outputs of the first and second computers, the third group input-output of the controller is connected to the group input-output of RAM, the first group output of the controller is connected to the group the input of an infrared illuminator, the second group output of the controller is used to generate output data and output it to an external device for display or further analysis.
Изобретение может быть использовано для исследования зрения человека в медицине и соответствует критерию «промышленная применимость».The invention can be used to study human vision in medicine and meets the criterion of "industrial applicability".
Сущность изобретения поясняется чертежами, где на фиг.1 показана структурная схема устройства, на фиг.2 - алгоритм реализации способа, на фиг.3 - взаимное положение первой и второй видеокамер бинокулярной оптико-электронной системы, на фиг.4 - схематическое изображение взаимного положения первой и второй видеокамер и глаз, на фиг.5 - изображение глаза в инфракрасном и видимом свете.The invention is illustrated by drawings, where Fig. 1 shows a block diagram of a device, Fig. 2 shows an algorithm for implementing the method, Fig. 3 shows the relative position of the first and second video cameras of a binocular optoelectronic system, and Fig. 4 shows a schematic diagram of the relative position the first and second cameras and eyes, figure 5 is an image of the eye in infrared and visible light.
Устройство состоит из первой видеокамеры 1, второй видеокамеры 2, составляющих бинокулярную оптико-электронную систему (ОЭС) 12, первого блока ввода изображения 3 и второго блока ввода изображения 4, контроллера 5, ОЗУ 6, первого вычислителя 7 и второго вычислителя 8, инфракрасного осветителя 9, причем групповой выход первой видеокамеры 1 подключен к групповому входу первого блока ввода изображения 3, групповой выход второй видеокамеры 2 подключен к групповому входу второго блока ввода изображения 4, групповые выходы первого 3 и второго 4 блоков ввода изображения соединены соответственно с первым и вторым групповыми входами контроллера 5, первый и второй групповые входы-выходы контроллера 5 подключены соответственно к групповым входам-выходам первого 7 и второго 8 вычислителей, третий групповой вход-выход контроллера 5 подключен к групповому входу-выходу ОЗУ 6, первый групповой выход контроллера 5 соединен с групповым входом инфракрасного осветителя 9, второй групповой выход контроллера 5 используется для формирования выходных данных и передачи их на внешнее устройство для отображения или дальнейшего анализа.The device consists of a
Предлагаемый способ заключается вThe proposed method is to
- калибровке бинокулярной оптико-электронной системы 12 посредством приведения взаимного положения к требуемому первой 1 и второй 2 видеокамер, ее составляющих, для обеспечения бинокулярного пространственного зрения,- calibration of the binocular
- установке бинокулярной оптико-электронной системы 12 напротив лица человека, так, чтобы первая 1 и вторая 2 видеокамеры находились примерно напротив глаз человека, и освещении глаз инфракрасным источником света, управлении мощностью инфракрасного освещения для получения наиболее контрастного изображения глаз,- installing a binocular
- непрерывном получении изображений глаз, формировании контуров изображения,- continuous acquisition of eye images, the formation of image contours,
- формировании эталона зрачка (для его последующего быстрого распознавания и локализации на изображении) путем распознавании глаза и зрачка глаза на основе анализа контуров изображения,- the formation of the standard pupil (for its subsequent quick recognition and localization in the image) by recognizing the eye and pupil of the eye based on the analysis of the contours of the image,
- определении границ области, в пределах которой движется зрачок глаза,- determining the boundaries of the area within which the pupil of the eye moves,
- быстром распознавании и локализации на изображении зрачков каждого глаза на основе вычитания изображения сформированного ранее эталона из текущего изображения,- quick recognition and localization in the image of the pupils of each eye based on subtracting the image of the previously generated standard from the current image,
- анализе движения центра зрачка, формировании и передаче результатов анализа.- analysis of the movement of the center of the pupil, the formation and transfer of analysis results.
Последовательность указанных действий представлена в алгоритме на фигуре 2.The sequence of these actions is presented in the algorithm in figure 2.
Калибровка (блок 1, фиг.2) оптико-электронной системы 12 предназначена для повышения точности трехмерного восприятия и предварительной настройки первой 1 и второй 2 видеокамер до начала работы устройства. Калибровка выполняется в соответствии со способом калибровки, представленным в патенте РФ № 2286598, и заключается в приведении угловых отклонений αi, βi, γi, i=1, 2, (фиг.3), характеризующих отклонения взаимного положения главных оптических осей оптических систем первой 1 и второй 2 видеокамер к нулевому значению, линейных параметров взаимного положения первой 1 и второй 2 видеокамер - разности глубин D установки видеокамер, разность высот Н установки видеокамер (фиг.3) к нулевым значениям, величины базы L между видеокамерами к значению (6±0,5) см. Калибровка выполняется однократно при настройке оптико-электронной системы, после чего положение первой 1 и второй 2 видеокамер жестко фиксируют и ОЭС не требует последующей калибровки.Calibration (
Предварительно откалиброванную (блок 1, фиг.2) ОЭС устанавливают напротив лица человека (блок 2, фиг.2), так чтобы каждая из первой 1 и второй 2 видеокамер находились примерно напротив каждого из глаз и при этом изображения обоих глаз попадали в поле зрения каждой из указанных видеокамер (см. схему на фиг.4).A pre-calibrated (
Инфракрасный осветитель 9 располагают напротив лица человека, примерно на равном расстоянии от обоих глаз для их равномерного освещения выше или ниже ОЭС 12. Расстояние от головы до инфракрасного осветителя 9 определяется его мощностью и составляет от 20 до 50 см.The
Выбор невидимого для человека освещения обусловлен двумя причинами: отсутствия мешающего для человека фактора, получения более четкого изображения за счет управления яркостью инфракрасного осветителя 9 и устранения влияния бликов и других искажений от источников освещения видимого диапазона естественного и искусственного происхождений.The choice of lighting invisible to humans is due to two reasons: the absence of a factor that interferes with humans, obtaining a clearer image by controlling the brightness of the
В блоке 4 алгоритма (фиг.2) производят получение изображений. В процессе получения изображение с группового выхода первой видеокамеры 1 и группового выхода второй видеокамеры 2 поступает на групповые входы первого блока ввода изображения 3 и второго блока ввода изображения 4 соответственно. Первый 3 и второй 4 блоки ввода изображения производят преобразование форматов данных, описывающих изображения, в удобный для передачи изображений в контроллер 5 вид. С групповых выходов первого 3 и второго 4 блоков ввода изображения поступают на первый и второй групповые входы контролера 5. Контроллер 5 производит запись поступающих изображений в ОЗУ 6, для чего поступающие данные и адреса, по которым производится запись, определяемые контроллером 5, с третьего группового входа-выхода контроллера 5 поступают на групповой вход-выход контроллера 6.In block 4 of the algorithm (figure 2) produce images. In the process of obtaining an image from the group output of the
В блоке 6 производят выделение контуров. Под контуром Kl понимается совокупность отличных от фона изображения точек, таких, что для каждой точки (хi, yi) найдется не менее одной соседней точки (хi, yi), расположенной на расстоянии 1 пиксел:In block 6, the selection of contours. The contour K l means a set of points different from the background of the image, such that for each point (x i , y i ) there is at least one neighboring point (x i , y i ) located at a distance of 1 pixel:
Каждый контур описывается множеством из Nkl пар координат точек (хi, yi):Each contour is described by a set of N kl pairs of coordinate points (x i , y i ):
Кl={(xi,yi),(х2,y2),…,(хi,yi),…,(хNkl,yNkl)},K l = {(x i , y i ), (x 2 , y 2 ), ..., (x i , y i ), ..., (x Nkl , y Nkl )},
где Nkl - количество пар координат точек, составляющих контур.where N kl is the number of coordinate pairs of points making up the contour.
Выделение контуров изображений производит контроллер 5 по формулеThe selection of image contours produces the
G(x,y)=|I(x+1,y)+I(x-1,y)+I(x,y+1)+I(x,y-1)-4·I(x,y)|,G (x, y) = | I (x + 1, y) + I (x-1, y) + I (x, y + 1) + I (x, y-1) -4 · I (x, y) |,
где В - контурное изображение, определяемое множеством значений яркостей в точках с координатами (х, y), Lp - пороговое значение изменения яркости, по которому определяется принадлежность точки изображения фону или контуру.where B is a contour image defined by a set of brightness values at points with coordinates (x, y), L p is a threshold value for changing brightness, which determines whether the image point belongs to the background or contour.
Порог Lp контроллер 5 рассчитывают по формулеThe threshold L p controller 5 is calculated by the formula
где Gmin - параметр, определяющий минимальное изменение яркости.where G min is a parameter that determines the minimum change in brightness.
В результате выделения контуров контроллер 5 формирует контурное описание изображения, которое через третий групповой вход-выход контроллер 5 подает на групповой вход-выход ОЗУ 6 и сохраняет его в ОЗУ 6.As a result of the allocation of loops, the
Сформированное контурное описание изображения контроллер 5 использует в процессе распознавания глаза и зрачка для формирования эталона зрачка текущего анализируемого пациента (блок 7, фиг.2). Для этого на основе априорной информации об изображении зрачка и глаза (зрачок овальный, на его изображении выделяются две области - радужная оболочка и непосредственно сам зрачок, зрачок имеет цвет, отличный от кожи и глазного яблока, сверху и снизу глаза расположены границы нижнего и верхнего века, уголки глаз имеют острый угол и т.д.) производится распознавание зрачка. Используемый для формирования эталона метод распознавания зрачка позволяет его достоверно выделять на изображении. Метод основан на использовании нормированного скалярного произведения контуров для оценки степени идентичности сравниваемых объектов в процессе распознавания [Введение в контурный анализ и его приложение к обработке изображений и сигналов / Под ред. Я.А.Фурмана. М.: Физматлит, 2002. - 592 с.].The
Полученный в результате распознавания эталон зрачка текущего анализируемого пациента контроллер 5 записывает в ОЗУ 6 путем передачи соответствующей информации через свой третий групповой вход-выход на групповой вход-выход ОЗУ 6. Эталон зрачка представляет собой множество точек изображений, характеризуемых яркостью по каждому из трех основных цветов и координатами. Сформированный эталон зрачка в блоке 7 алгоритма в дальнейшем используется для быстрого распознавания и локализации зрачка в блоке 11 алгоритма.The
В блоках 9, 10 алгоритма производится анализ контраста зрачка на изображении. Контраст Kt оценивают по сумме значений двух параметров: отношению KI максимальной Im и минимальной Imin яркостей пикселей глаза и четкости Kg контура зрачка, обратно пропорциональной количеству разрывов Ndif контурной линии зрачка и прямо пропорциональной значению первой производной Gk изображения контура зрачка по вертикальному и горизонтальному направлениюIn blocks 9, 10 of the algorithm, the contrast of the pupil in the image is analyzed. The contrast K t is estimated by the sum of the values of two parameters: the ratio K I of the maximum I m and the minimum I min of the pixel brightness of the eye and the sharpness K g of the pupil contour, inversely proportional to the number of tears N dif of the pupil contour line and directly proportional to the value of the first derivative G k of the pupil contour image in vertical and horizontal direction
Kt=klKl+kgKg,K t = k l K l + k g K g ,
где kl, kg - весовые коэффициенты.where k l , k g - weighting factors.
Для обеспечения получения изображения с максимальным контрастом и, как следствие, наибольшей точности локализации зрачка производят плавное изменение мощности инфракрасного освещения в заданном диапазоне значений и выбор такой мощности, при которой контраст максимальный (блоки 9, 10 алгоритма). В процессе выбора оптимальной мощности инфракрасного осветителя 9 контроллер 5 на своем первом групповом выходе формирует в двоичном параллельном коде число «0» и подает его на групповой вход инфракрасного осветителя 9, в результате инфракрасный осветитель 9 не излучает света. Затем контроллер 5 плавно увеличивает числовое значение на своем первом групповом выходе до максимального. Изображение глаз, получаемое первой 1 и второй 2 видеокамерами, формируется на их групповых выходах и поступает на соответствующие групповые входы первого 3 и второго 4 блоков ввода изображения, которые преобразуют формат данных изображения и со своих групповых выходов подают изображения на первый и второй групповые входы контроллера 5 соответственно. Контроллер 5 определяет контраст изображения и запоминает контраст и соответствующее ему значение на своем первом групповом выходе, задающее мощность инфракрасного осветителя 9. После последовательного изменения мощности инфракрасного осветителя 9 контроллер 5 находит максимальное значение контрастности и соответствующее ему значение мощности инфракрасного осветителя 9 и выставляет это значение на своем первом групповом выходе, поступающее на групповой вход инфракрасного осветителя 9. В результате инфракрасный осветитель 9 освещает с мощностью, при которой обеспечивается получение изображения с максимальным контрастом, что облегчает процесс дальнейшего распознавания и локализации зрачка.To ensure obtaining an image with maximum contrast and, as a result, the greatest accuracy of pupil localization, a smooth change in the infrared illumination power is made in a given range of values and a power is selected at which the maximum contrast (blocks 9, 10 of the algorithm). In the process of selecting the optimal power of the
Следующей операцией алгоритма является определение границ области движения зрачка (блок 8). Определение границ области движения зрачка необходимо для сокращения объема вычислений при локализации зрачка и определении его координат, с целью повышения быстродействия устройства и обеспечения возможности его функционирования в реальном масштабе времени для определения параметров (направления и амплитуды) быстрых и саккадических движений глаз. Определение границ области движения зрачка заключается в обнаружении границ глаза путем его распознавания на основе нормированного скалярного произведения контуров. После определения границ глаза размеры полученной области (в которой в блоке 11 будет производиться поиск зрачка) увеличиваются в 1,5 раза для обеспечения возможности распознавания зрачка в случае незначительных поворотов головы. Обнаружение границ глаза выполняет контроллер 5 аналогично процессу формирования эталона зрачка. Параметры области движения зрачка контроллер 5 путем передачи соответствующей информации со своего третьего группового входа-выхода на групповой вход-выход ОЗУ 6 записывает в ОЗУ 6.The next operation of the algorithm is to determine the boundaries of the area of motion of the pupil (block 8). The determination of the boundaries of the area of movement of the pupil is necessary to reduce the amount of computation when the pupil is localized and its coordinates are determined, in order to increase the speed of the device and to enable its functioning in real time to determine the parameters (direction and amplitude) of fast and saccadic eye movements. The definition of the boundaries of the area of motion of the pupil consists in detecting the boundaries of the eye by recognizing it based on the normalized scalar product of the contours. After determining the boundaries of the eye, the size of the obtained area (in which the pupil will be searched in block 11) is increased by 1.5 times to allow recognition of the pupil in case of slight turns of the head. The detection of the boundaries of the eye is performed by the
Операция быстрого распознавания и локализации зрачка (блок 11) предназначена для определения координат зрачка по его изображению за достаточно малое время, обеспечивающее возможность отслеживания быстрых и саккадических движений глаз. Распознавание зрачка производится путем сравнения изображения в области движения зрачка (области, ограничивающей возможные движения зрачка, определенной в блоке 8) с эталоном, сформированным в блоке 7. Сравнение производят на основе метода, основной операцией которого является поэлементное вычитание изображения эталона из распознаваемого изображения (в данном случае из участков изображения области глаза). В процессе вычитания последовательно анализируют области глаза размером, незначительно превышающим эталон зрачка, и находят ту область, которая в наибольшей степени идентична эталону зрачка.The operation of quick recognition and localization of the pupil (block 11) is intended to determine the coordinates of the pupil from its image in a fairly short time, providing the ability to track fast and saccadic eye movements. Pupil recognition is performed by comparing the image in the area of the pupil’s movement (the area restricting the possible movements of the pupil defined in block 8) with the standard formed in
В общем случае применяемый в блоке 11 метод распознавания характеризуется низкой вычислительной сложностью, но и низким качеством распознавания. В нашем случае предварительное формирование эталона зрачка (в блоке 7) именно текущего обследуемого пациента позволяет существенно повысить достоверность распознавания таким методом и использовать его для быстрого распознавания и локализации зрачка. Низкая вычислительная сложность позволяет аппаратно реализовать метод на комбинационной логике и выполнять необходимые вычисления (в основном вычитание и сравнение) параллельно без использования микропроцессора, выполняющего операции последовательно. В результате обеспечивается высокая скорость распознавания, достаточная для отслеживания быстрых и саккадических движений, и высокая достоверность распознавания.In general, the recognition method used in
Распознавание и локализацию зрачка выполняют первый 7 и второй 8 вычислители, реализованные на программируемой логической интегральной схеме (ПЛИС). В процессе распознавания контролер 5 считывает из ОЗУ 6 изображения областей возможных движений каждого зрачка и передает их на первый 7 и второй 8 вычислители, при этом необходимые данные поступают с группового входа-выхода ОЗУ 6 на третий групповой вход-выход контроллера 5 и далее с первого и второго групповых входов-выходов контроллера 6 на групповые входы-выходы первого 7 и второго 8 вычислителей соответственно. Первый 7 и второй 8 вычислители распознают и определяют положение зрачков каждого глаза (каждый из первого 7 и второго 8 вычислителей распознает зрачок по изображению только одного из глаз, например первый вычислитель 7 - правого глаза, а второй вычислитель 8 - левого) и формируют на своих групповых входах-выходах координаты зрачков или признак отсутствия зрачка на изображении, поступающие на второй и третий групповые входы-выходы контроллера 5. Контроллер 5 в случае обнаружения обоих зрачков записывает их координаты и время, в которое зрачки занимали указываемое (записываемое в ОЗУ 6) положение, в ОЗУ 6 путем передачи соответствующих данных со своего третьего группового входа-выхода на групповой вход-выход ОЗУ 6. Таким образом, распознавание выполняют первый 7 и второй 8 вычислители, а контроллер 5 осуществляет только передачу данных.Recognition and localization of the pupil is performed by the first 7 and second 8 calculators implemented on a programmable logic integrated circuit (FPGA). In the process of recognition, the
В блоке 13 алгоритма производится проверка распознавания зрачка «быстрым» методом в блоке 11. Если при помощи быстрого распознавания (блок 11) зрачок не найден на изображении, что может быть вследствие изменения внешних условий освещения или резком непроизвольном повороте головы, повторно выполняются блоки 6-10 для возможности распознавания зрачка и определении его положения в блоке 11. В случае наличия на своих первом и втором групповых входах-выходах признака нераспознавания хотя бы одного из зрачков, контроллер 5 возвращается к выполнению блока 6 алгоритма (фиг.2).In
Применение двух различных методов распознавания для обнаружения зрачка позволило достоверно автоматически обнаруживать зрачок любого человека за счет использования общего описания эталона зрачка и глаза (в блоке 7), а затем, по сформированному эталону зрачка конкретного человека, зрение которого анализируют, на основе метода, характеризующегося низкой вычислительной сложностью, достоверно обнаруживать его зрачки (в блоке 11) в реальном масштабе времени.The use of two different recognition methods for detecting a pupil made it possible to reliably automatically detect the pupil of any person by using the general description of the pupil and eye standard (in block 7), and then, using the generated pupil standard of a particular person whose vision is analyzed, based on a method characterized by low computational complexity, reliably detect its pupils (in block 11) in real time.
На достоверность и скорость распознавания зрачка в блоке 11 также влияет использование его изображения в инфракрасном диапазоне, при котором темным является только зрачок, а радужная оболочка и остальная часть глаза - светлыми (фиг.4).The reliability and speed of recognition of the pupil in
Определение изменения положения головы (блок 12) производят по обнаружению зрачка за пределами границ ранее определенной (в блоке 8) его области движения. Вследствие инерционности поворота или смещения головы зрачок не успевает значительно выйти за ранее определенную область его движения, что и позволяет обнаруживать и зрачок, и изменение положения головы по его координатам, и затем повторным выполнением блоков 6, 7, 8 скорректировать границы допустимой области движения и изображение эталона зрачка. При обнаружении изменения положения головы в блоке 12 контроллер 5 возвращается к выполнению блока 8 алгоритма.The determination of the change in the position of the head (block 12) is performed by detecting the pupil outside the boundaries of its previously defined (in block 8) area of motion. Due to the inertia of rotation or displacement of the head, the pupil does not have time to significantly go beyond the previously defined area of its movement, which allows one to detect both the pupil and the change in the position of the head according to its coordinates, and then, by repeated execution of
В блоке 14 производится определение координат зрачка в пикселах на изображении в локальных двумерных декартовых системах координат первой 1 и второй 2 видеокамер, расчет пространственных (трехмерных) координат зрачков на основе анализа изображений с первой 1 и второй 2 видеокамер в мировой системе координат, определение угла между направлениями взгляда каждого глаза, определение величины косоглазия. Рассчитанные параметры контроллер 5 записывает в ОЗУ 6 путем их передачи со своего третьего группового входа-выхода на групповой вход-выход ОЗУ 6.In
В блоке 15 параметры положений зрачков и глаз контроллер 5 формирует на своем втором групповом выходе и передает для дальнейшего использования - для обработки системой верхнего уровня или вывода на дисплей. Рассчитанные параметры, характеризующие направления взгляда каждого глаза и положение зрачков относительно головы, позволяют диагностировать различные отклонения бинокулярного зрения и проводить дальнейшую обработку с целью анализа психофизической активности пациента или для других целей.In
В качестве первой 1 и второй 2 видеокамер могут быть использованы видеодатчики МТ9М413 фирмы Микрон, изготовленные по технологии «Активный пиксель» (Active pixel sensor), характеризующиеся частотой формирования кадров 500 Гц при разрешающей способности 1280*1024 пикселей и количестве градации яркости 210 по каждому из трех основных цветов (красному, зеленому, синему), (видеодатчики не имеют объективы и должны быть снабжены объективами с углом зрения 40-60° с установленными между видеодатчиками и объективами инфракрасными светофильтрами). Стандартные телевизионные видеокамеры могут быть также использованы, но в этом случае устройство будет обеспечивать измерение относительно медленных движений глаз, и позволит измерять только степень косоглазия.Micron MT9M413 video sensors manufactured using the Active pixel technology, characterized by a frame rate of 500 Hz with a resolution of 1280 * 1024 pixels and a number of brightness gradations of 2 10 for each, can be used as the first 1 and second 2 cameras. of the three primary colors (red, green, blue), (video sensors do not have lenses and must be equipped with lenses with an angle of view of 40-60 ° with infrared filters installed between the video sensors and lenses). Standard television video cameras can also be used, but in this case, the device will provide a measurement of relatively slow eye movements, and will only measure the degree of strabismus.
В качестве контроллера 5 может быть использован микропроцессор с соответствующими вспомогательными элементами, микроЭВМ или цифровой сигнальный процессор. Наиболее предпочтителен вариант использования цифрового сигнального процессора, специально ориентированного на выполнение задач, аналогичных описанным.As the
Инфракрасный осветитель 9 представляет собой множество инфракрасных светодиодов (от 6 до 20), яркостью которых управляют с группового входа инфракрасного осветителя 9 при помощи цифроаналогового преобразователя, входящего с состав инфракрасного осветителя 9. Также могут быть использованы серийно выпускаемые инфракрасные осветители.
Первый 3 и второй 4 блоки ввода изображения выполняют преобразование формата изображения из формата изображения первой 1 и второй 2 видеокамер в формат, пригодный для ввода изображения в контроллер, и представляют собой ПЛИС-устройства малой степени интеграции. Структура первого 3 и второго 4 блоков ввода изображения определяется типом видеокамер и форматом входных данных контроллера 5.The first 3 and second 4 image input units convert the image format from the image format of the first 1 and second 2 cameras to a format suitable for image input to the controller, and are FPGA devices with a small degree of integration. The structure of the first 3 and second 4 blocks of image input is determined by the type of cameras and the format of the input data of the
В качестве ОЗУ 6 целесообразно использовать быстродействующие статические ОЗУ емкостью несколько мегабайт, применяемые для использования совместно с ПЛИС (например, выпускаемые фирмой Xilinx). Также могут быть использованы динамические ОЗУ (например, используемые в персональных компьютерах), но их использование потребует введения специализированной схемы управления и регенерации данных, что усложнит устройство.As RAM 6, it is advisable to use high-speed static RAM with a capacity of several megabytes, used for use with FPGAs (for example, manufactured by Xilinx). Dynamic RAM can also be used (for example, used in personal computers), but their use will require the introduction of a specialized control circuit and data recovery, which will complicate the device.
В качестве ПЛИС для реализации первого 3 и второго 4 блоков ввода изображения и первого 7 и второго 8 вычислителей могут быть использованы ПЛИС фирмы Xilinx серий Vertex, Vertex2, Vertex4, Spartan емкостью от 1 до 2*106 вентилей. Все указанные блоки устройства могут быть реализованы в одной ПЛИС.As FPGAs for the implementation of the first 3 and second 4 blocks of image input and the first 7 and second 8 computers, FPGAs from Xilinx Vertex, Vertex2, Vertex4, Spartan series with a capacity of 1 to 2 * 10 6 gates can be used. All these units of the device can be implemented in one FPGA.
Представленные способ и реализующее его устройство обеспечивают повышение скорости и точности диагностики заболеваний, возможность применения диагностирующего устройства в любых условиях освещения, обеспечение автоматического режима диагностики, устранение мешающего фактора для сна человека (в случае, если исследование проводится в процессе сна) - видимого освещения, простоту практического применения устройства, возможность диагностики заболеваний глаз у детей, диагностику при незначительных поворотах и смещениях головы, возможность использования устройства в составе диагностирующей системы более высокого уровня и получение результатов измерений движений глаз (в том числе саккадических и «быстрых») в реальном масштабе времени. Устройство может быть использовано не только в офтальмологии, но и при решении других практических задач, связанных с анализом движения зрачков глаз.The presented method and its implementing device provide an increase in the speed and accuracy of diagnosing diseases, the possibility of using a diagnostic device in any lighting conditions, providing an automatic diagnostic mode, eliminating an interfering factor for a person’s sleep (if the study is carried out during sleep) - visible lighting, simplicity practical use of the device, the ability to diagnose eye diseases in children, diagnosis with minor turns and displacements of the head, possibly the use of the device as part of a higher-level diagnostic system and obtaining the results of measurements of eye movements (including saccadic and “fast”) in real time. The device can be used not only in ophthalmology, but also in solving other practical problems associated with the analysis of the movement of the pupils of the eyes.
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007117996/14A RU2352244C2 (en) | 2007-05-14 | 2007-05-14 | Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2007117996/14A RU2352244C2 (en) | 2007-05-14 | 2007-05-14 | Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2007117996A RU2007117996A (en) | 2008-11-20 |
| RU2352244C2 true RU2352244C2 (en) | 2009-04-20 |
Family
ID=40241043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007117996/14A RU2352244C2 (en) | 2007-05-14 | 2007-05-14 | Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2352244C2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2444275C1 (en) * | 2010-09-30 | 2012-03-10 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | Method and apparatus for determining spatial position of eyes for calculating line of sight |
| RU2565482C2 (en) * | 2010-03-22 | 2015-10-20 | Конинклейке Филипс Электроникс Н.В. | System and method for tracing point of observer's look |
| RU2589623C2 (en) * | 2014-10-08 | 2016-07-10 | Александр Иванович Миланич | Method of monitoring eye movements and device for its implementation |
| RU2600855C2 (en) * | 2011-10-22 | 2016-10-27 | Алькон Фармасьютикалз Лтд. | Apparatus for monitoring one or more parameters of the eye |
-
2007
- 2007-05-14 RU RU2007117996/14A patent/RU2352244C2/en not_active IP Right Cessation
Non-Patent Citations (1)
| Title |
|---|
| ШАМШИНОВА A.M. и др. Функциональные методы исследования в офтальмологии. - М.: 2004. Нистагмограф VF5, http://www.marmik.mylivepage.ru, индексировано для Yandex 27.04.2007. Система регистрации саккадических движений глаз, найдено в Интернет, http://www.astek-npo.ru/hard/projects/saccade/saccade.htm, индексировано для Yandex 04.09.2006. МАТВЕЕВ И., Аутентификация по радужной оболочке, найдено в Интернет, http://www.dancom.ru/rus/AIA/Archive/RI_CCAS_IRIS_Iris-thesis_R.pdf, индексировано для Yandex 21.05.2006. Цветная / инфракрасная видеокамера TK-N1100E на двух 1/3-дюймовых матрицах ПЗС, http://www.hls.ru/catalog/jvc/tk-n1100e.shtml, индексировано для Yandex 12.11.2006. * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2565482C2 (en) * | 2010-03-22 | 2015-10-20 | Конинклейке Филипс Электроникс Н.В. | System and method for tracing point of observer's look |
| RU2444275C1 (en) * | 2010-09-30 | 2012-03-10 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | Method and apparatus for determining spatial position of eyes for calculating line of sight |
| RU2600855C2 (en) * | 2011-10-22 | 2016-10-27 | Алькон Фармасьютикалз Лтд. | Apparatus for monitoring one or more parameters of the eye |
| RU2589623C2 (en) * | 2014-10-08 | 2016-07-10 | Александр Иванович Миланич | Method of monitoring eye movements and device for its implementation |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2007117996A (en) | 2008-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ebisawa | Improved video-based eye-gaze detection method | |
| US7309128B2 (en) | Automated stereocampimeter and related method for improved measurement of the visual field | |
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| EP1786314B1 (en) | Reflection microscope for examination of the corneal endothelium and method of operating same | |
| JP4783018B2 (en) | Method and apparatus for detecting and tracking the eye and its gaze direction | |
| US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
| US20040252277A1 (en) | Apparatus to detect and measure saccade and pupilary changes | |
| CN111603134B (en) | Eyeball movement testing device and method | |
| FI125445B (en) | Blick Control Device | |
| JPH07249197A (en) | Detecting device for state of person | |
| CN109310314A (en) | Mobile device application for eye position deflection measurement | |
| CN105433899A (en) | Pupil detection device | |
| JPH08278134A (en) | Devcie for measuring position of fixed point of eye on target,method for lighting eye and application for displaying image that is changing in correspondence with movement of eye | |
| IL152395A (en) | Method for determining distances in the anterior ocular segment | |
| JPH02134130A (en) | Non-contact sight line detector | |
| KR20110038568A (en) | Apparatus and mehtod for tracking eye | |
| CN109964230B (en) | Method and apparatus for eye metric acquisition | |
| US10628942B2 (en) | System and method for use in diagnostics of eye condition | |
| KR20150036395A (en) | Strabismus Detection | |
| RU2352244C2 (en) | Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation | |
| US20030063258A1 (en) | Apparatus for examining an anterior-segment of an eye | |
| JP3726122B2 (en) | Gaze detection system | |
| US10188291B2 (en) | Device for screening convergence insufficiency and related methods | |
| CN116172507A (en) | Eye motion capturing and tear film detecting system and equipment | |
| CN118078205A (en) | Image processing method, storage medium, and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20090515 |