RU219079U1 - Устройство определения направления взгляда - Google Patents

Abstract

Полезная модель относится к устройствам определения направления взгляда и может быть использована в различных областях техники, в том числе робототехнике. Устройство содержит корпус, камеру левого глаза и камеру правого глаза для получения изображения глаз, камеру сцены для получения изображения окружающей сцены, множество источников света левого глаза и правого глаза для формирования бликов на глазах, вычислительный модуль для определения вектора направления взгляда, осуществления калибровочных процедур и передачи информации вектора направления взгляда на внешнее устройство, модуль управления и при этом устройство выполнено с возможностью соединения компонентов, размещенных на корпусе устройства, с блоком питания посредством кабеля. Технический результат - повышение точности определения направления взгляда.

Description

Настоящая полезная модель относится к устройствам определения направления взгляда и может быть использована в различных областях техники, в том числе робототехнике.

Патент РФ RU 2696042 описывает изобретение, относящееся к технологиям, используемым для определения областей фиксаций взгляда при движении глаз, и может быть использовано для объективной оценки процессов зрительного внимания, управления интерфейсами компьютера посредством направления взгляда, в операторской деятельности, маркетинге и пр. Система определения областей фиксации взгляда во время движения глаза включает инфракрасный излучатель, покрывающий область глаза респондента, отражающий фильтр, пропускающий видимый свет и отражающий инфракрасное излучение, установленный на уровне глаз респондента, блок представления стимулирующего изображения, расположенный за отражающим фильтром, блок для записи инфракрасного излучения, отраженного от зрачка, в виде изображения зрачка глаза, видеокамеру, и блок обработки изображения с видеокамеры.

Недостатком данного технического решения является то, что фиксацию взгляда при движении глаз осуществляют при фиксированном положении головы респондента относительно предъявляемого изображения. Кроме того, точность определения направления взгляда является недостаточно высокой, что особенно важно при необходимости определения направления на конкретный объект, находящийся среди множества других объектов.

Патент США US 10234940 описывает устройство отслеживания взгляда, а также способ отслеживания взгляда, включающий следующие этапы: запись видеоизображений глаза человека таким образом, что записываются зрачок глаза и блик на глазном яблоке, вызванный источником света; обработку видеоизображений для вычисления смещения между положением заранее определенного пространственного элемента и заранее заданным положением относительно блика; и посредством источника света, такого как дисплей, испускание света от светового рисунка в местоположении, выбранном из множества предварительно сконфигурированных местоположений световых рисунков, к глазу человека. Местоположение контролируют сигналом обратной связи; управляют местоположением светового рисунка среди предварительно определенных местоположений световых рисунков в ответ на смещение, так что предварительно определенное положение относительно блика, вызванного источником света, отслеживает пространственную особенность человеческих глаз. При этом вышеописанные этапы повторяют для установления контура управления с расположением светового рисунка, управляемого с помощью сигнала обратной связи. Трекер взгляда сконфигурирован для фильтрации видеоизображений, чтобы идентифицировать один или несколько бликов, которые могут возникать из светового шаблона, причем предварительно определенное положение относительно блика вычисляется относительно идентифицированного одного или нескольких пунктов.

Данное устройство позволяет повысить точность распознавания положения взгляда и формирования полученного изображения, однако предъявляет повышенные требования к аппаратной части.

Патент США US9830512 описывает способ и устройство для отслеживания взгляда. Способ содержит следующие этапы: определение положения центральной точки роговицы с использованием по меньшей мере двух точек отражения света, обнаруженных в области глазного яблока первого изображения лица пользователя; вычисление первого вектора относительно по меньшей мере двух фиксированных характерных точек, обнаруженных по первому изображению лица и положению центральной точки роговицы; вычисление положения центральной точки роговицы относительно области глазного яблока второго изображения лица с использованием положения характерной точки, обнаруженной по второму изображению лица, и первого вектора, когда по меньшей мере две точки отражения света не обнаружены от глазного яблока области второго изображения лица пользователя; вычисление второго вектора с использованием вычисленного положения центральной точки роговицы и положения центральной точки зрачка, обнаруженного по области глазного яблока второго изображения лица; и отслеживание взгляда пользователя с использованием второго вектора.

Данные известные способ и система для отслеживания взгляда позволяют повысить точность распознавания положения взгляда и формирования полученного изображения, но являются достаточно сложными и требовательными к вычислительным ресурсам.

В качестве ближайшего аналога настоящей полезной модели может быть выбрана система для слежения за взглядом на основе адаптивного томографического сопоставления согласно патенту США US9684827. Система содержит по меньшей мере четыре источника света для генерирования отражений роговицы в виде бликов от глаза субъекта; камеру для захвата текущего изображения, содержащего блики; детектор взгляда для приема текущего изображения, содержащего блики, и оценки взгляда глаза субъекта. Также система содержит корректор смещения положения головы для исправления смещения путем сопоставления признаков, соответствующих бликам, и данных, относящихся к зрачку субъекта, для получения скорректированной информации взгляда, причем корректор смещения взгляда использует одну или несколько переменных, представляющих положения головы относительно позиции калибровки.

Данная известная система для слежения за взглядом на основе адаптивного томографического сопоставления также позволяет повысить точность распознавания положения взгляда и формирования полученного изображения, но является достаточно сложной и требовательной к вычислительным ресурсам, а кроме того, требует дополнительных действий от пользователя.

Таким образом, существует задача по созданию такого устройства определения направления взгляда, для использования которого достаточно разовой калибровки для одного пользователя, что упрощает многократное использование устройства, которое повышает точность определения направления взгляда даже при небольших изменениях положения системы на пользователе.

Техническим результатом заявленного устройства являются повышение точности определения направления взгляда.

Поставленная задача решается, а технический результат достигается в заявленном устройстве определения направления взгляда пользователя, которое содержит корпус, камеру левого глаза и камеру правого глаза, камеру сцены, множество источников света левого глаза и источников света правого глаза, вычислительный модуль, модуль управления, при этом устройство выполнено с возможностью соединения компонентов, размещенных на корпусе устройства, с блоком питания посредством кабеля.

Корпус по существу выполнен в форме очков и имеет левый ободок и правый ободок, носовик и две боковые прижимные планки. Камеры левого глаза и камеры правого глаза установлены в нижних частях соответствующих ободков ниже соответствующего глаза и предназначены для получения изображений левого глаза и правого глаза, т.е. в отличие от аналогов в заявленном устройстве получают изображения с обоих глаз, а не одного. Камера сцены установлена на носовике и предназначена для получения изображения окружающей сцены. Множество источников света установлены на левом ободке и правом ободке для формирования бликов на глазах. Вычислительный модуль выполнен с возможностью определения вектора взгляда в системе координат камер левого и правого глаза (далее для также краткости называемых локальными координатами); преобразования вектора направления взгляда в локальных координатах в вектор направления взгляда в системе координат камеры сцены (далее для краткости также называемые глобальными координатами); осуществления калибровочных процедур и передачи информации о координатах вектора направления взгляда в системе координат камеры сцены на внешнее устройство, например, роботизированный манипулятор, которым можно управлять посредством заявленного устройства определения направления взгляда. Модуль управления обеспечивает управление заявленным устройством и взаимодействие между компонентами устройства. Блок питания обеспечивает питанием компоненты устройства.

Заявленная конструкция устройства определения направления взгляда является достаточно простой и легкой, чтобы ее можно было постоянно использовать, и при этом обеспечивает высокую точность определения направления вектора направления взгляда пользователя в глобальных координатах (в системе координат камеры сцены), по сути являющейся системой координат размещения в пространстве объекта наблюдения.

Согласно полезной модели, в устройстве используются шесть источников света левого глаза и шесть источников света правого глаза. При этом предпочтительно, чтобы источники для каждого глаза были установлены по существу так, чтобы обеспечивалась равномерность подсветки глаза, а значит, повышенная точность определения направления взгляда и возможность его определения при больших углах поворота глазного яблока.

В предпочтительном варианте исполнения заявленного устройства для определения локальных координат вектора направления взгляда вычислительный модуль выполняют с возможностью определения локальных координат бликов и центра зрачка. Кроме того, или в дополнение к этому, для преобразования локальных координат вектора направления взгляда в глобальные координаты вектора направления взгляда вычислительный модуль может быть выполнен с возможностью сопоставления локальных координат вектора взгляда и окружающей сцены, полученной камерой сцены.

Модуль управления может управлять яркостью источников света левого глаза и источников света правого глаза для обеспечения оптимальной яркости в зависимости от окружающих условий, следовательно, требуемой точности определения вектора направления взгляда.

Устройство может дополнительно содержать блок хранения информации, в частности, для хранения результатов калибровочных процедур для конкретного пользователя, необходимых, в частности, для преобразования локальных координат вектора направления взгляда в глобальные координаты вектора направления взгляда.

Далее устройство, а также некоторые возможные варианты его осуществления подробно поясняются со ссылкой на фигуры, на которых показано:

на фиг. 1 приведен общий вид заявленного устройства;

на фиг. 2 схематично показан вид спереди на заявленное устройство;

на фиг. 3 схематично показан вид сзади на заявленное устройство;

на фиг. 4 схематично показано взаимное расположение левого или правого глаза, камеры левого или правого глаза и одного источника света левого или правого глаза, а также схема хода лучей.

На фигурах ссылочными позициями отмечены:

1 - устройство определения направления взгляда;

2 - корпус;

3.1 - левый ободок;

3.2 - правый ободок;

4 - носовик;

5.1, 5.2 - боковые прижимные планки;

6.1 - камера левого глаза;

6.2 - камера правого глаза;

7 - камера сцены;

8 - источник света;

8i - i-ый источник 8 света;

9 - вычислительный модуль;

10 - модуль управления;

11 - глаз;

12 - радужка глаза;

С - нодальная точка глаза;

Р - центр зрачка;

R - точка преломления;

Qi - точка отражения i-го источника 8 света;

О - нодальная точка камеры;

V - изображение центра зрачка;

Ui - изображение блика i-го источника 8 света.

Устройство 1 определения направления взгляда пользователя содержит корпус 2, который по существу выполнен в форме очков, имеющих левый ободок 3.1 и правый ободок 3.2, носовик 4 и две боковые прижимные планки 5.1, 5.2.

Корпус 2 выполняется предпочтительно из прочного и легкого материала, пригодного для постоянного или длительного ношения устройства 1 с учетом антропометрических данных головы пользователя. Для большего удобства пользователя и обеспечения возможности корректировки положения устройства 1 с целью правильной работы всех систем могут использоваться сменные носовики 4, регулирующие положение корпуса 2 по высоте и подбираемые под переносицу для предотвращения ее зажатости. Правильность подбора расстояния от глаза до ободков 3.1, 3.2 способствует правильности работы системы распознавания изображений глаза.

В нижних частях ободков 3.1, 3.2, предпочтительно в областях световых проемов в плоскостях, проходящих через вертикальные оси световых проемов, установлены соответственно камера 6.1 левого глаза и камера 6.2 правого глаза, далее для краткости также называемые камерами 6.1, 6.2 глаза.

Камеры 6.1, 6.2 глаза предназначены для регистрации и записи видеопоследовательности, отображающей процесс движения глаз, и получения изображений соответствующего глаза. Одновременно регистрируется движение как левого, так и правого глаза пользователя, что является необходимым для точного определения направления взгляда и исключения ложных срабатываний. Камеры 6.1,6.2 глаза содержат светочувствительные матрицы и соответствующие оптические системы (объективы) для формирования увеличенного сфокусированного изображения глаз на светочувствительных матрицах.

Для корректного определения направления взгляда осуществляется регистрация изображений зрачка и бликов и последующее определение координат центра зрачка и каждого из бликов в системе координат камер 6.1, 6.2 глаза (локальных координат).

При работе в реальных условиях из-за препятствий, создаваемых веками и ресницами, корректная регистрация изображения зрачка при любых направлениях взгляда возможна только при размещении составных компонентов камер 6.1, 6.2 глаза - светочувствительной матрицы и объектива - в плоскости, параллельной главным плоскостям оптической системы глаза, то есть непосредственно перед глазом. Однако такое расположение закрывает пользователю обзор и создает дискомфорт при использовании изделия. Для улучшения эргономических характеристик изделия светочувствительная матрица камер 6.1, 6.2 глаза располагается в плоскости, находящейся под углом к главным плоскостям оптической системы глаза 11, как схематично показано на фиг. 4. Такое расположение не будет создавать препятствий и закрывать пользователю обзор.

Для определения направления взгляда при любых положениях зрачка используется одна камера 6.1, 6.2 глаза для регистрации изображения каждого глаза 11 с одного ракурса - снизу (фиг. 4). Выбранный ракурс обуславливается тем, что нижние ресницы существенно короче, чем верхние, и не создают препятствий для регистрации изображений. Угол между оптической осью объектива и осью направления взгляда выбирается исходя из соображений компромисса между наилучшим углом регистрации изображения (соответствует углу 0°) и углом, при котором камера гарантированно не попадает в поле зрения пользователя (соответствует углу 90°). Наиболее предпочтительным является значение указанного угла от 45° до 60°.

Преимуществом использования двух камер 6.1, 6.2 глаза является повышение надежности устройства 1 за счет возможности сохранения его работоспособности при выходе из строя одного из регистрирующих каналов, включающих, в том числе, камеры 6.1, 6.2 глаза. В этом случае определение направления взгляда будет определяться по данным с камеры 6.1, 6.2 глаза, относящейся к рабочему регистрирующему каналу. В таком режиме устройство 1 будет оставаться работоспособным при приемлемой потере качества функционирования по ряду показателей.

В качестве светочувствительных матриц предпочтительно использовать матрицу, выполненную на основе КМОП-технологии. Выбор КМОП-матрицы обусловлен тем, что данный тип матриц отличается небольшим размером пикселя, низким энергопотреблением, возможностью реализации ряда функций обработки на чипе, малым смазыванием и расплыванием изображения, а также возможностью считывать информацию как со всей матрицы, так и с отдельного участка. Применение данной матрицы, позволяет гарантированно выделить детектируемые объекты за счет их ахроматических цветов (зрачок - резко черный, блики - ярко белые) на этапе обработки изображений глаза. Данный подход упрощает алгоритм распознавания детектируемых объектов за счет исключения дополнительных процедур фильтрации частиц, которые приводят к потерям важных деталей изображения. При отработке макетного образца экспериментальным путем было определено оптимальное расстояние от передней фокальной плоскости объектива камер 6.1, 6.2 глаза до соответствующего глаза 11, соответствующее примерно 20±1 мм.

Формат светочувствительной матрицы выбирают исходя из требований к светочувствительности. Так, больший размер матрицы при одинаковом количестве пикселей имеет большую чувствительность из-за большей площади пикселей, тем самым внося меньший уровень шумов, обеспечивая лучшее качество изображения, упрощая и ускоряя обработку полученных изображений глаза. Кроме этого, больший размер матрицы обеспечивает максимальный угол обзора камер 6.1, 6.2 глаза при малых фокусных расстояниях объектива. Оптимальным решением является выбор светочувствительной матрицы 1/3" с размером сторон 4,8x3,6 мм, что позволяет обеспечить достаточную светочувствительность. Такой матрицей может быть, например, OmniVision OV4688.

Оптическая система камер 6.1, 6.2 глаза (на фигурах не показана) предназначена для формирования изображения в плоскости светочувствительной матрицы. Оптическая система содержит несколько линз и светофильтр. Расстояние от входного зрачка объектива до глаза изменяется не значительно и расстояние, определенное на текущем кадре, используется в качестве начального приближения при вычислениях на следующем кадре. Для формирования неискаженного изображения в плоскости матрицы может быть использована оптическая схема компактного четырехкомпонентного объектива с выходной асферической линзой для компенсации дисторсии. Особых требований к глубине резкости изображения не предъявляется. Для обеспечения работы модуля камер 6.1, 6.2 глаза в том числе в ближнем инфракрасном (ИК) диапазоне, перед матрицей может потребоваться установка светофильтра для выделения спектрального интервала, соответствующего ближнему инфракрасному излучению 750-1400 нм.

На носовике 4 установлена камера 7 сцены (фиг. 2), которая используется для получения изображения окружающей сцены. Камера 7 сцены представляет собой фронтальную цифровую видеокамеру высокого разрешения для обеспечения фиксации окружающей обстановки, к которой в дальнейшем выполняется привязка вектора направления взгляда. Камера 7 сцены содержит светочувствительную матрицу и расположена предпочтительно на верхней части корпуса 2 очков. Так как к камере 7 сцены не предъявляется особых требований, можно использовать любую стандартную компактную камеру на базе цветного КМОП-сенсора и без автофокусировки.

На каждом из ободков 3.1, 3.2 вокруг световых проемов установлены источники 8 света, формирующие блики на соответствующем глазу (фиг. 3). Источники 8 света предназначены для создания минимально необходимого уровня освещения и формирования точечных бликов за счет отражений от роговицы глаза.

В качестве источника 8 света может быть использован источник ИК-излучения, в частности ИК-светодиод.

Внеосевое ИК-освещение глаза создает эффект темного зрачка и формирует изображения источников 8 света за счет отражения излучения от роговицы глаза. Изображения источников 8 света, формируемые при отражении от роговицы, называются первыми изображениями Пуркинье, или бликами. Темный зрачок и блики затем визуализируются оптической систему камер 6.1, 6.2 глаза и захватываются светочувствительными матрицами, обладающими достаточной чувствительностью в ближней области ИК-спектра. Изображения зрачка и бликов движутся пропорционально вращению глазного яблока, но по отличающимся траекториям. Разностный вектор между этими двумя особенностями используется для определения вектора направления взгляда.

Центральная длина волны излучения источников 8 света выбирается предпочтительно из диапазона длин волн от 860 до 990 нм, что в наилучшем варианте исполнения заявленного устройства 1 соответствует рабочему диапазону камер 6.1, 6.2 глаза (ближний инфракрасный диапазон). Выбор ближнего ИК-излучения для источников 8 света обусловлен несколькими причинами, в частности:

- ближнее ИК-излучение невидимо для глаза человека, не отвлекает внимание пользователя и не вызывает расширение зрачка;

- ближнее ИК-излучение не вызывает деградации и разрушения рецепторного аппарата глаза человека;

- ближнее ИК-излучение регистрируется теми же средствами, что и видимое излучение;

- при использовании ИК-излучения изображение зрачка отличается высоким контрастом за счет отражения от сетчатки (схема освещения с темным зрачком);

- применение ИК-излучения позволяет отделить полезную информацию от внешних засветок, приходящихся на видимую часть спектра.

Количество источников 8 света определяет количество бликов на роговице, относительно которых будет измеряться расстояние до центра зрачка. Для повышения точности определения направления взгляда обычно используют два и более бликов. В заявленном устройстве 1 определения направления взгляда использован метод измерения по шести бликам на каждый глаз. Такой подход позволяет повысить не только точность, но и надежность устройства. Так, при исчезновении изображения одного или нескольких бликов в связи с выходом из строя одного или нескольких источников 8 света, возникновении препятствия на пути падающего (отраженного) от роговицы луча, а также при отсутствии информации о координатах в связи со сбоем в работе устройства сохраняется возможность определения направления взгляда по координатам трех или двух бликов при приемлемой потере точности определения вектора направления взгляда. Кроме этого, применение шести бликов позволяет увеличить рабочий диапазон углов устройства 1 за счет надежного восстановления информации о направлении вектора взгляда при больших углах поворота глазного яблока. При таких углах часть бликов приходится на склеру глаза и не детектируется камерами 6.1, 6.2 глаза, но за счет применения шести бликов не менее четырех из них приходятся на зрачок или радужку 12 (фиг. 4), и их координаты определяются с достаточно высокой надежностью.

Источники 8 света устанавливаются в ободках 3.1, 3.2 в области левого и правого световых проемов и располагаются относительно светового проема таким образом, чтобы шесть бликов на роговице каждого глаза формировали контрольный рисунок в виде шестиугольника. Источники 8 света могут быть установлены на площадки, расположенные в специальных пазах на ободках 3.1, 3.2. Углы площадок рассчитываются так, чтобы обеспечить равномерную засветку области глаза. Глубина установки пазов в ободках 3.1, 3.2 выбирается таким образом, чтобы обеспечить беспрепятственное прохождение излучения.

Предпочтительно облучение производится неколлимированными расходящимися пучками для равномерного освещения всей анализируемой области. Так как выбрана внеосевая (относительно оптической оси объективов камер 6.1, 6.2 глаза) схема освещения, угол между оптической осью объектива камер 6.1, 6.2 глаза и нормалью к светоизлучающей площадке источников 8 света лежит в диапазоне от 0 до 90° и много больше нуля (см. фиг. 4). Такая схема позволяет использовать шесть раздельных источников 8 света на каждый световой проем и упрощает процесс компоновки устройства 1. При этом является предпочтительным размещение источников 8 света симметрично относительно горизонтальной и вертикальной осей светового проема, на равных расстояниях от оптических осей объективов камер 6.1, 6.2 глаза.

Кроме того, также предпочтительно, если источники 8 света работают в режиме модуляции по периодическому закону для увеличения эффективности процесса выделения полезной информации на фоне внешних засветок, продления срока службы, уменьшения энергопотребления и снижения облучения роговицы и сетчатки глаза человека. Управление интенсивностью свечения источников 8 света осуществляется путем модуляции тока питания.

В качестве источника 8 света может быть использован одиночный ИК-светодиод с соответствующей штатной линзой, в частности, SFH-4053.

Устройство 1 также содержит вычислительный модуль 9, модуль 10 управления и блок питания (на фигурах не показан). Размещение вычислительного модуля 9 и модуля 10 управления может быть любым, например, на прижимных планках 5.1, 5.2, как показано на фиг. 1,3.

Вычислительный модуль 9 предназначен для реализации алгоритма определения направления взгляда и выполняет следующие функции:

- определение координат вектора направления взгляда в системе координат камер 6.1, 6.2 глаза;

- преобразование координат вектора направления взгляда из системы координат камер 6.1, 6.2 глаза в систему координат камеры 7 сцены,

- осуществление калибровки направления взгляда;

- при необходимости - передача информации о глобальных координатах вектора направления взгляда на внешнее устройство.

Для выполнения своих функций вычислительный модуль 9 содержит детектор положения и размера зрачка (на фигурах не показан; далее также ДПРЗ) или связан с ним как с внешним устройством. ДПРЗ предназначен для обработки изображения глаза высокого разрешения в режиме реального времени с частотой кадров не менее 50 Гц с целью построения эллипса, совпадающего с контуром зрачка, и последующего определения координат его центра. Также ДПРЗ вычисляет положения бликов. Малые размеры, вес и низкая потребляемая мощность блока ДПРЗ должны обеспечить возможность размещения вычислительного модуля 9 на корпусе 2, в частности, на прижимной планке 5.1 или 5.2 (как для примера показано на фиг. 2).

ДПРЗ реализован в виде программируемой пользователем вентильной матрицы (ППВМ), что позволяет не только снизить энергопотребление, но также снизить общий вес устройства и дает возможность задавать форму вычислительного модуля 9 под размеры и форму корпуса 2 вместо того, чтобы создавать более тяжелую и громоздкую, и менее удобную форму вокруг корпуса 2, форм-фактор которого часто не может быть изменен.

Модуль 10 управления (на фигурах не показан) обеспечивает выполнение двух функций:

- согласование интерфейса камер 6.1, 6.2 глаза с интерфейсом вычислительного модуля 9;

- управление яркостью источников 8 света, как было указано выше, например, с использованием широтно-импульсного регулирования.

Данные от камер 6.1, 6.2 глаза поступают через модуль 10 управления в ДПРЗ.

Обмен данными между ДПРЗ и вычислительным модулем 9 выполняется по любому подходящему для этих целей интерфейсу, например, USB 3.2 Gen 2. Параметры эллипса и бликов, определенные ДПРЗ по изображению зрачка, передаются в вычислительный модуль 9, где используются для расчета направления взгляда.

В качестве блока питания может использоваться любой подходящий источник питания, перезаряжаемый (аккумуляторная батарея) или не перезаряжаемый.

Предпочтительно, если блок питания является выносным, соединенным с компонентами устройства 1, размещенными на корпусе 2, посредством кабеля.

Кроме того, устройство 1 может дополнительно содержать блок хранения информации (на фигурах не показан), в частности для хранения результатов калибровки направления взгляда, о чем сказано ниже.

Устройство 1 непрерывно отслеживает направление взгляда пользователя и передает координаты пересечения вектора направления взгляда с плоскостью изображения, получаемого с камеры 7 сцены при условии нахождении вектора направления взгляда в поле зрения камеры 7 сцены. Фиксация точки (области) внимания может осуществляться волевым морганием, удержанием внимания на этой точке (области) в течение фиксированного времени или другим методом.

Для определения направления взгляда, или вектора направления взгляда, посредством заявленного устройства 1 может быть использован метод цифровой инфракрасной видеоокулографии с последующей привязкой найденного вектора направления взгляда к изображению окружающей обстановки. В данном методе глаз освещается светом, в частности инфракрасным светом, который отражается от роговицы и хрусталика глаза 11, а затем регистрируется при помощи камер 6.1, 6.2 глаза. Положение зрачка вычисляется как центр области с резким контрастом внутри радужной оболочки глаза, которая наблюдается при подсветке источниками 8 света. Блик на роговице глаза, вызываемый роговичным отражением, используется как опорная точка для измерения направления взгляда. Вектор разности координат центра зрачка и бликов изменяется при изменении направления взгляда и связан геометрическими соотношениями с вектором направления взгляда. Привязка вектора направления взгляда к окружающей обстановке осуществляется наложением найденных координат вектора на изображение окружающей сцены, которая может быть получена с помощью камеры 7 сцены. Повышение точности определения вектора направления взгляда достигается, в том числе, за счет калибровки устройства, которая может выполняться как в процессе осуществления способа, так и заранее, единожды для данного пользователя.

Обработка изображений выполняется в режиме реального времени.

Устройство 1 может работать в двух режимах: режиме калибровки и рабочем режиме.

Пример варианта проведения калибровки включает следующие действия:

- формируют калибровочную метку, например, выводя ее на экране монитора компьютера;

- получают изображения с камеры 7 сцены, тем самым также определяя систему координат камеры 7 сцены (далее также - глобальная система координат);

- определяют координаты центра калибровочной метки в системе координат камеры 7 сцены;

- определяют вектор направления взгляда в системе координат камер 6.1, 6.2 глаза (далее также - локальная система координат);

- рассчитывают коэффициенты перевода из локальной системы координат в глобальную систему координат.

Достаточно однократно провести калибровочную процедуру для конкретного пользователя.

После калибровочной процедуры можно использовать устройство 1 в рабочем режиме, при котором посредством камер 6.1, 6.2 глаза определяют вектор направления взгляда в локальной системе координат (т.е. в системе координат камер 6.1, 6.2 глаза), производят пересчет локальных координат вектора направления взгляда в глобальные координаты вектора направления взгляда (т.е. в систему координат камеры 7 сцены) и получают соответствующую точку фиксации взгляда на изображении сцены.

Далее описан вариант основных этапов определения положения зрачка глаза посредством заявленного устройства 1.

Первый этап. Получение изображений левого и правого глаза с камер 6.1, 6.2 глаза. Изображение глаза поступает с камер 6.1, 6.2 глаза с частотой не менее 50 Гц. Поле зрения камер 6.1, 6.2 глаза выбрано так, чтобы глаз всегда оставался в кадре независимо от вариаций положения устройства 1 на голове пользователя. Положение глаза в кадре изображения глаза может меняться, он не всегда расположен по центру кадра.

Второй этап. Предварительный поиск зрачка. Зрачок является наибольшей по размеру связной темной областью в изображении глаза. Посредством вычислительного модуля 9 определяют предварительное положение центра зрачка, а также количество пикселей в области зрачка, предварительно характеризующее его размер. Ввиду не совсем равномерного освещения темной области зрачка часть зрачка может оказаться не включенной в область зрачка, так что центр и размер зрачка определяются не вполне точно на данном этапе.

Третий этап. С помощью анализа гистограммы значений яркости пикселей в области, выделенной на втором этапе, посредством вычислительного модуля 9 находят порог бинаризации для точного построения эллипса зрачка. Далее используют бинаризацию для определения границы зрачка, и на основании границы зрачка выполняют построение предварительного эллипса зрачка.

Четвертый этап. Точное построение эллипса зрачка. Точное построение эллипса зрачка производят по узловым точкам границы зрачка, определенной на третьем этапе, отфильтрованным таким образом, чтобы узловые точки образовывали выпуклую фигуру. Построение эллипса значка осуществляют методом наименьших квадратов посредством вычислительного модуля 9.

Проведенное авторами моделирование этих методов согласно третьему и четвертому этапам показывает высокую вероятность визуального совпадения точно построенного эллипса зрачка с границей зрачка, видимой на изображениях глаза, полученных с камер 6.1, 6.2 глаза на первом этапе.

Пятый этап. Определение положения бликов и нумерация бликов посредством вычислительного модуля 9.

Блики нумеруют для определения вектора направления взгляда в глобальной системе координат, определяемой посредством камеры 7 сцены, например, в следующем порядке: от одного из верхней пары, ближайшего к переносице, по кругу, в сторону от переносицы (по часовой для правого глаза и против часовой для левого).

Шестой этап. Определение направления оптической оси глаза, которое выполняют посредством вычислительного модуля 9.

Седьмой этап. Определение направления взгляда, которое также выполняют посредством вычислительного модуля 9. Сначала определяют углы направления вектора направления взгляда в локальной системе координат (определяемой камерами 6.1, 6.2 глаза). Далее пересчитывают их в глобальную систему координат, определяемую камерой 7 сцены. При этом учитывают индивидуальные особенности пользователя (углы отклонения области наилучшего зрения от вектора направления глаза) и конструктивные особенности устройства определения направления взгляда пользователя (в частности, взаимное расположение камер 6.1, 6.2 и камеры 7 сцены), которые определяются на этапе калибровки.

Этап калибровки. Калибровка направления взгляда пользователя состоит из двух шагов. На первом шаге производят собственно калибровку, на втором шаге осуществляют проверку калибровки. Калибровку проводят с помощью, например, экрана монитора или планшета, по которому движется метка ArUco. В ходе разработки процедуры калибровки было установлено, что движущаяся метка дает примерно в три раза более точные результаты по сравнению со стационарной меткой, а также лучше удерживает внимание пользователя.

Таким образом, настоящее устройство позволяет достичь высокую точность определения направления взгляда даже при небольших изменениях положения системы на пользователе, при этом оставаясь компактным и потребляющим малую мощность.

Claims (4)

1. Устройство определения направления взгляда пользователя, содержащее корпус, выполненный по существу в форме очков и имеющий левый ободок и правый ободок, носовик и две боковые прижимные планки, камеру левого глаза и камеру правого глаза, установленные в нижней части соответственно левого ободка и правого ободка ниже соответствующего глаза, выполненные с возможностью получения изображения соответственно левого глаза и правого глаза в системе координат камер глаза, камеру сцены для получения изображения окружающей сцены в системе координат камеры сцены, установленную на носовике, шесть источников света левого глаза и шесть источников света правого глаза, установленные соответственно на левом ободке и правом ободке для формирования бликов соответственно на левом глазу и правом глазу, таким образом, чтобы обеспечивалась равномерность подсветки, вычислительный модуль с возможностью определения координат вектора направления взгляда в системе координат камер глаза посредством определения координат бликов и центра зрачка в системе координат камер глаза, преобразования координат вектора направления взгляда из системы координат камер глаза в систему координат камеры сцены, осуществления калибровки направления взгляда и передачи информации о координатах вектора направления взгляда в системе координат камеры сцены на внешнее устройство, модуль управления, при этом устройство выполнено с возможностью соединения компонентов, размещенных на корпусе устройства, с блоком питания посредством кабеля.

2. Устройство по п. 1, в котором для преобразования координат вектора направления взгляда вычислительный модуль выполнен с возможностью сопоставления координат вектора направления взгляда в системе координат камер глаза и окружающей сцены, полученной камерой сцены, в системе координат камеры сцены.

3. Устройство по п. 1, в котором модуль управления выполнен с возможностью управления яркостью источников света левого глаза и источников света правого глаза.

4. Устройство по п. 1, дополнительно содержащее блок хранения информации.

Images