RU2678478C2 - Обращение с бликами в среде отслеживания движения глаз - Google Patents
Обращение с бликами в среде отслеживания движения глаз Download PDFInfo
- Publication number
- RU2678478C2 RU2678478C2 RU2016142286A RU2016142286A RU2678478C2 RU 2678478 C2 RU2678478 C2 RU 2678478C2 RU 2016142286 A RU2016142286 A RU 2016142286A RU 2016142286 A RU2016142286 A RU 2016142286A RU 2678478 C2 RU2678478 C2 RU 2678478C2
- Authority
- RU
- Russia
- Prior art keywords
- light sources
- light
- eye
- image
- glare
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000004424 eye movement Effects 0.000 claims abstract description 43
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 230000005855 radiation Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 230000004313 glare Effects 0.000 claims description 61
- 229920006395 saturated elastomer Polymers 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 239000011521 glass Substances 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
- F21Y2115/00—Light-generating elements of semiconductor light sources
- F21Y2115/10—Light-emitting diodes [LED]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Position Input By Displaying (AREA)
Abstract
Изобретение относится к системам отслеживания движения глаз. Технический результат заключается в повышении точности отслеживания движения глаз. Система содержит множество световых источников, камеру, выполненную с возможностью захвата изображения светового излучения от источников света, отраженного от глаза, логическое устройство, устройство хранения данных, в котором хранятся инструкции, выполняемые логическим устройством для итерационного проецирования света от различных комбинаций световых источников из множества световых источников и захвата изображения глаза в процессе проецирования каждой комбинации и выбора отобранной комбинации световых источников для отслеживания движения глаз на основе определения загораживания, обнаруженного на изображении, обусловленного прозрачной или полупрозрачной оптической структурой, расположенной между глазом и камерой, и проецирования света посредством отобранной комбинации световых источников для отслеживания движения глаз. 2 н. и 8 з.п. ф-лы, 9 ил.
Description
[0001] Пользователи могут взаимодействовать с вычислительными системами, используя множество механизмов ввода. Например, может использоваться отслеживание взгляда для взаимодействия с графическим интерфейсом пользователя, при этом найденное местоположение, в котором взгляд пользователя пересекает графический интерфейс пользователя, может использоваться в качестве позиционного сигнала для взаимодействий с пользовательским интерфейсом. В технологиях отслеживания взгляда могут применяться один или более световых источников для проецирования света на глаз, а также одна или более камер для захвата изображений отблесков спроецированного света, отраженного от глаза. Местоположения отблесков и/или зрачка на изображениях могут использоваться для определения положения зрачка, указывающего направление взгляда.
В документе US6714665 описана система обнаружения, которая получает и анализирует изображения, по меньшей мере, одного объекта в визуализируемом пространстве, содержащая устройство формирования изображения с широким полем зрения (WFOV), используемое для захвата изображения визуализируемого пространства и для определения положения объекта, а также устройство формирования изображения с узким полем зрения (NFOV), реагирующее на информацию о положении, предоставленную WFOV- устройством формирования изображения, и используемое для захвата изображения объекта.
В документе US 2007189606 описана технология детектирования больших и малых дефектов изображения, не связанных с эффектом «красных глаз». Способ содержит выбор пикселей изображения, обладающих яркостью, превышающей пороговое значение, и присвоение соседним отобранным пикселям меток «яркой области».
В документе US6152563 раскрыта система для определения движения глаз, в которой используется инфракрасный светодиод, установленный коаксиально относительно оптической оси перед линзой, формирующей изображение, принадлежащей камере, чувствительной к инфракрасному излучению, для удаленной регистрации изображений глаза оператора компьютера.
В документе US2012229681 раскрыты система и способ автоматического устранения бликов на изображениях. Изображения получают, по меньшей мере, из двух разных точек, возможно одновременно, а также с одной или более камер и при необходимости оцифровывают. Идентифицируется паттерн бликов, что обычно осуществляется путем обнаружения полностью открытой области или известных тестовых паттернов бликов. Изображения подвергаются обработке для устранения паттерна бликов путем вычитания паттерна бликов, по меньшей мере, из одного изображения и подстановки соответствующих данных из родственного изображения, не претерпевшего идентичного воздействия.
В документе US2012105486 раскрыты системы и способы отслеживания движения глаз, в состав которых входят такие типовые элементы как устройство отображения, по меньшей мере, одно устройство захвата изображения, а также устройство обработки информации. Устройство отображения отображает пользователю пользовательский интерфейс, содержащий один или более элементов интерфейса. По меньшей мере, одно устройство захвата изображения детектирует положение взгляда пользователя относительно устройства отображения. Устройство обработки информации электронным образом анализирует местоположение пользовательских элементов в пределах пользовательского интерфейса относительно положения взгляда пользователя и в динамическом режиме определяет, следует ли инициировать отображение окна увеличения изображения.
В документе US2013285901 раскрыты система и способ отслеживания движения глаз на расстоянии. Удаленная система отслеживания движения глаз может включать в себя блок инфракрасного излучения, в состав которого входят множество световых источников для излучения инфракрасного света в направлении пользователя, модуль отслеживания движения глаз, предназначенный для отслеживания положения лица пользователя, а также, используя отслеженное положение лица, получения изображения глаз, содержащего, по меньшей мере, один отраженный свет среди множества световых излучений, обусловленных роговицей, и светового излучения, отраженного линзами, при этом световое излучение, обусловленное роговицей, отражается от роговицы благодаря испущенному инфракрасному световому излучению, а световое излучение, отраженное линзами, является следствием отражения от линзы очков, а также процессор для сравнения величины светового излучения, отраженного линзами, с пороговым значением в полученном изображении глаз, и когда величина светового излучения, отраженного линзами, меньше или равна пороговому значению, детектирования координат центра каждого из множества отраженных световых пучков, обусловленных роговицей, и расчета положения взгляда.
В документе EP 1655687 раскрыты система и способ активного освещения и мониторинга субъекта, например водителя транспортного средства. В состав системы входит видеокамера формирования изображения, выполненная с возможностью генерирования изображений глаза/глаз субъекта. Система также включает в себя первый и второй световые источники, смещенные относительно друг друга и способные освещать субъект. Система дополнительно включает в себя контроллер для управления освещением первым и вторым световыми источниками, так что когда камера формирования изображения детектирует достаточно яркий блик, контроллер управляет первым и вторым световыми источниками для минимизации блика. Это достигается путем выключения источника освещения, вызывающего этот блик.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0002] Раскрыты варианты осуществления, связанные с выполнением отслеживания взгляда в условиях наличия источников бликов, например стекол очков, расположенных между камерой для отслеживания движения глаз, и глазом, движение которого отслеживается. Например, в одном варианте осуществления приведенная в качестве примера система отслеживания движения глаз содержит множество световых источников, а также камеру, выполненную с возможностью захвата изображения светового излучения от источников света, отраженного от глаза. Система отслеживания движения глаз дополнительно содержит логическое устройство, а также устройство хранения данных, в котором хранятся инструкции, выполняемые логическим устройством для сбора групп данных по отслеживанию движения глаз путем итерационного проецирования света от различных комбинаций световых источников из множества световых источников и захвата изображения глаза в процессе проецирования каждой комбинации. Инструкции могут дополнительно выполняться для выбора отобранной комбинации световых источников для отслеживания движения глаз на основе определения загораживания, обнаруженного на изображении, обусловленного прозрачной или полупрозрачной оптической структурой, расположенной между глазом и камерой, и проецирования света посредством отобранной комбинации световых источников для отслеживания движения глаз.
[0003] Данный раздел «Сущности изобретения» предложен для представления выбора концепций в упрощенной форме, которые будут дополнительно рассмотрены ниже в разделе «Подробное описание». В «Сущности изобретения» не преследуется цель указать ключевые признаки или существенные признаки заявленного объекта изобретения, а также не предполагается ограничить объем заявленного изобретения. Кроме того, заявленный объект изобретения не ограничивается вариантами реализации, устраняющими некоторые или все недостатки, отмеченные в любой части настоящего раскрытия.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0004] На ФИГ. 1 показан вариант осуществления примера среды отслеживания движения глаз.
[0005] На ФИГ. 2 показана блок-схема, изображающая вариант осуществления способа установления последовательности задействования световых источников в системе отслеживания движения глаз.
[0006] На ФИГ. 3 показана блок-схема, изображающая вариант осуществления способа классификации отражений в изображении, полученном системой отслеживания движения глаз.
[0007] На ФИГ. 4 показан пример изображения, захваченного системой отслеживания движения глаз согласно одному варианту осуществления настоящего раскрытия.
[0008] На ФИГ. 5 показан пример изображения, захваченного системой отслеживания движения глаз, прошедшего обработку для идентификации насыщенных областей изображения согласно одному варианту осуществления настоящего раскрытия.
[0009] На ФИГ. 6A и 6B показаны два вида примера схемы расположения световых источников для системы отслеживания движения глаз согласно одному варианту осуществления настоящего раскрытия.
[0010] На ФИГ. 7 показана блок-схема одного варианта осуществления вычислительной системы.
[0011] На ФИГ. 8 показан пример последовательности задействования светового источника согласно одному варианту осуществления настоящего раскрытия.
ПОДРОБНОЕ ОПИСАНИЕ
[0012] В системе отслеживания движения глаз камера/камеры и/или световой источник/световые источники могут располагаться в месте, находящемся на некотором расстоянии от глаза и/или головы пользователя. Таким образом, между камерой/камерами/световым источником/световыми источниками и глазом могут находиться объекты, например очки, которые могут создавать дополнительные отражения света, спроецированного световыми источниками. Эти отражения могут появляться в виде бликов в изображении и могут загораживать один или более отблесков и/или зрачок. Следовательно, такие блики могут мешать отслеживанию движения глаз.
[0013] Поскольку загораживание отблесков при отслеживании движения глаз такими бликами и другими «ложными» отражениями может изменяться с изменением положения и/или ориентации пользователя относительно отблесков, светового источника/световых источников и камеры/камер, различные конфигурации световых источников и различные типы и/или толщины очков могут создавать различные местоположения бликов. В связи с этим раскрыты варианты осуществления, связанные с проецированием различных конфигураций световых источников, чтобы помочь идентифицировать конфигурацию световых источников, обеспечивающую возможность отслеживания движения глаз, которое требуется выполнить, без неприемлемого загораживания отблесков глаз бликами, вызванными очками и т.п.
[0014] На ФИГ. 1 показан пример среды 100 отслеживания движения глаз, в которой пользователь 102 смотрит на компьютерное устройство 104, надев очки 106. Компьютерное устройство 104 изображено в виде планшета, однако следует понимать, что в любом другом пригодном компьютерном устройстве может применяться отслеживание движения глаз. В число примеров, в частности, входят смартфоны, портативные компьютеры, персональные компьютеры, телевизионная аппаратура, носимые компьютерные устройства, такие как устанавливаемые на голове дисплейные устройства.
[0015] Компьютерное устройство 104 включает в себя систему отслеживания движения глаз, содержащую множество световых источников 108 и камеру 110. Световые источники 108 могут содержать, например, множество светоизлучающих диодов (LED) и/или других пригодных светоизлучающих устройств. В некоторых вариантах осуществления световые источники 108 могут излучать инфракрасный свет, видимый свет либо комбинации видимого и инфракрасного света (например, одно подмножество световых источников 108 может проецировать инфракрасный свет, а другое подмножество световых источников 108 может проецировать видимый свет). Камера 110 может содержать любое пригодное устройство формирования изображения, в том числе, но не ограничиваясь перечисленным, камеру глубины, RGB камеру (формирования сигналов цветного изображения), камеру формирования изображения в оттенках серого, стереоскопическую камеру и/или любую другую пригодную камеру либо комбинацию камер. Следует понимать, что один или более световых источников, камера/камеры и/или любой другой элемент системы отслеживания движения глаз могут быть встроены в единое компьютерное устройство, находиться отдельно от компьютерного устройства или располагаться в любом сочетании таких вариантов.
[0016] Как показано пунктирными линиями на ФИГ. 1, каждый световой источник 108 может излучать свет в направлении глаза пользователя 102. Камера 110 может захватывать изображения глаза пользователя 102, которые включают в себя отражения от глаза света, спроецированного от световых источников 108. На основе местоположения отражений спроецированного света на изображении от камеры 110 в сравнении со зрачком (или радужной оболочкой, или другой пригодной структурой) глаза пользователя можно определить направление взгляда. Это может позволить спроецировать взгляд от глаза, так что можно определить местоположение, в котором спроецированный взгляд пересекает пользовательский интерфейс или реальный объект. Это может позволить пользователю взаимодействовать с компьютерным устройством посредством взгляда. Кроме того, изменения местоположения взгляда с течением времени могут использоваться в качестве жестового ввода для компьютерного устройства.
[0017] На ФИГ. 2 показана блок-схема, изображающая вариант осуществления способа 200 отслеживания движений глаз, который может помочь в достижении надежного выполнения отслеживания движения глаз в условиях наличия очков или иной подобной конструкции между световым источником/световыми источниками/камерой/камерами и глазом пользователя. Способ 200 может выполняться системой отслеживания движения глаз в компьютерном устройстве, таком как компьютерное устройство 104 на ФИГ. 1.
[0018] На этапе 202 способ 200 включает в себя сбор данных по отслеживанию движения глаз. Как описано выше, отслеживание движения глаз может выполняться путем излучения света (например, инфракрасного света) в направлении глаза пользователя и захвата изображений света, отраженного от глаза пользователя. Однако, поскольку свет может также отражаться от стекол очков или других прозрачных или полупрозрачных оптических структур, находящихся между световыми источниками и глазом пользователя, могут возникать блики, загораживающие отражения света от глаза пользователя.
[0019] Таким образом, как указано на этапе 204, способ 200 может включать в себя итерационное проецирование света от различных комбинаций световых источников, а на этапе 206 - захват изображения глаза в течение проецирования каждой иной комбинации световых источников, как указано на этапе 206. Данные операции могут включать в себя, например, проецирование света от разного числа световых источников в различных комбинациях и/или проецирование света от световых источников, занимающих различные положения/ориентации. В качестве более конкретного примера на ФИГ. 8 схематично изображена система отслеживания движения глаз, которая включает в себя четыре световых источника 802a-802d, при этом светящиеся световые источники показаны диагональными линиями в клетке, представляющей световой источник. Итерационное проецирование света от различных комбинаций световых источников может включать в себя проецирование света от всех световых источников (как показано в момент времени T1); затем от различных комбинаций трех световых источников (как показано в моменты времени T2, T3, T4 и T5); а затем от различных комбинаций двух световых источников (как показано в моменты времени T6 и T7) или только одного светового источника (на Фигуре не показано). Следует понимать, что такой цикл проекций световых источников может выполняться в любом пригодном порядке. Например, комбинации с более высоким числом светящихся световых источников могут быть опробованы перед теми, в которых число световых источников меньше, когда требуется наиболее точно определить направление взгляда, в то время как те, в которых их число меньше, могут быть опробованы перед теми, в которых их число больше, когда требуется сэкономить энергию или когда поверхности очков проявляют тенденцию к созданию большего количества бликов.
[0020] Кроме того, в некоторых вариантах осуществления порядок задействования комбинаций световых источников для проецирования в качестве опции может выбираться на основе положения головы/HMD (шлема-дисплея) и/или ориентации/положения световых источников, как указано на этапе 208. Например, может быть известно, что определенное число и/или определенные паттерны световых источников могут создавать меньшее число «загораживаний», когда голова расположена под заданным углом. Выбирая следующую комбинацию на основе вышеописанной информации, различные комбинации световых источников могут итерационно циклически повторяться по осмысленной схеме, чтобы увеличить вероятность применения пригодной комбинация световых источников на ранних итерациях, тем самым уменьшая количество времени, затраченного на циклическое повторение различных комбинаций световых источников. Таким образом, система отслеживания движения глаз может оценивать, какая комбинация световых источников создаст наименьшую величниу загораживания, и итерационно проецировать свет от различных комбинаций световых источников в порядке, основанном на этой оценке. Следует понимать, что в других вариантах осуществления комбинация световых источников может выбираться на основе степени загораживания в изображении, как описано ниже.
[0021] На этапе 210 способ 200 включает в себя определение, существует ли на изображении неприемлемое загораживание для каждой протестированной комбинации световых источников, а на этапе 212 - выбор комбинации световых источников для выполнения отслеживания движения глаз. Как указано на этапе 214, комбинация световых источников может выбираться на основе степени загораживания, обнаруженного на изображении. В некоторых вариантах осуществления итеративное тестирование каждой комбинации может прекращаться при идентификации и выборе пригодной комбинации, в то время как в других вариантах осуществления может тестироваться полный набор комбинаций, перед тем как выбрать одну. В качестве составной части тестирования каждой комбинации для заданной конфигурации световых источников, либо блики могут приводиться в соответствие с отблесками, либо между бликами и зрачком или отблесками могут быть получены метрики загораживания. В случае высокой степени загораживания (например, загораживания выше некоторого порога) из последовательности может быть выбрана следующая конфигурация световых источников. Данный процесс может затем повторяться до тех пор, пока не будут получены с высокой степенью уверенности незагороженные или частично загороженные зрачок-отблески. Данная конфигурация может затем использоваться в будущих кадрах, пока не будет обнаружено следующее загораживание, когда конфигурации снова циклически повторяются до тех пор, пока снова не будет найдена пригодная конфигурация световых источников.
[0022] Способ 200 дополнительно включает в себя на этапе 216 проецирование света посредством отобранной комбинации световых источников, а на этапе 218 - отслеживание местоположения взгляда одного или более глаз путем детектирования светового излучения от световых источников, отраженного от глаза/глаз. Кроме того на этапе 220 способ 200 включает в себя выполнение действия в ответ на отслеживание движения глаз. Отслеживание движения глаз может использоваться для выполнения любого пригодного действия. Например, отслеживание движения глаз может использоваться для детектирования жестов глаз, чтобы обнаружить позиционные сигналы для графического интерфейса пользователя и т.д.
[0023] Определение неприемлемой степени загораживания отблеска глаз бликами может определяться любым пригодным способом. На ФИГ. 3 показан блок-схема, изображающая пример варианта осуществления способа 300 для классификации отражений и/или блика, либо другой помехи на изображениях, захваченных камерой системы отслеживания движения глаз. Следует понимать, что способ 300 может осуществляться компьютерным устройством, таким как компьютерное устройство 104, представленное на ФИГ. 1, выполненным с возможностью обработки изображений в системе отслеживания движения глаз.
[0024] На этапе 302 способ 300 включает в себя прием данных изображения от камеры. Камера может быть встроена в компьютерное устройство или расположена снаружи/удаленно относительно компьютерного устройства. Способ 300 дополнительно включает в себя на этапе 304 обнаружение насыщенных областей в принятом изображении. Например, изображение может быть проанализировано для определения пикселей на изображении, уровень насыщения которых превышает пороговый.
[0025] Поскольку блики могут быть результатом отражения света от очков или других гладких структур, блики могут иметь высоко насыщенные сердцевины, схожие с распределением интенсивности самих световых источников. Таким образом, блики, образованные светом, спроецированным от световых источников, используемых в системе отслеживания движения глаз, могут иметь паттерн с высокой интенсивностью в центре, которая резко снижается при перемещении от центра, иногда приводя к появлению формы раструба. Вследствие таких свойств блики, образованные отражениями проекций световых источников, можно отличить от отражений света от глаз пользователя и от других диффузных отражений, вызванных наличием других IR источников в окружающей среде.
[0026] На ФИГ. 4 показан пример воспроизведения изображения 400, захваченного камерой системы отслеживания движения глаз, а также показан вид пользователя 402, носящего очки 404. Свет от световых источников системы отслеживания движения глаз (также как и от световых источников окружающей среды) может отражаться очками 404, а также зрачком глаза 406 пользователя 402. Такие отражения от очков 404 могут приводить к появлению бликов 408, в то время как отражения от глаза могут приводить к появлению отблесков 410, проиллюстрированных в виде четырех равномерно разнесенных точек в области зрачка глаза 406. В то время как отблески 410 выглядят как малые, по существу круглые точки, блики 408 могут иметь расширенную звездообразную форму.
[0027] Возвращаясь к ФИГ. 3, способ 300 может включать в себя идентификацию и выбор насыщенных пикселей изображения, а также выполнение преобразования расстояний для объектов переднего плана (foreground distance transform) в отношении насыщенных пикселей изображения, как указано на этапе 306, так что интенсивность пикселя после преобразования расстояний для объектов переднего плана является функцией расстояния от границы отражения. Это может помочь создать индикатор контуров «кандидатов на блики» на основе размера насыщенной области и/или контуров насыщенной области. Например, насыщенная область, превышающая пороговый размер, может рассматриваться как кандидат на блик, в то время как насыщенные области, размер которых меньше порогового размера, могут не рассматриваться в качестве кандидатов на блик.
[0028] На этапе 308 способ 300 включает в себя устранение шума на изображении, например, путем удаления контуров, значение расстояния которых меньше порогового расстояния. Таким образом, контуры бликов/кандидатов на блик, имеющие форму раструбов, могут быть сглажены. Кроме того на этапе 310 способ 300 включает в себя определение граничной рамки для каждой оставшейся насыщенной области (например, сердцевин бликов/кандидатов на блик, найденных на этапе 308). Размер граничной рамки может выбираться так, чтобы его значение позволило рамке содержать некоторый процент насыщенных пикселей с пороговым насыщением, как указано на этапе 312. Например, граничная рамка может быть образована вокруг сердцевины блика/кандидата на блик, при этом размер граничной рамки может увеличиваться до тех пор, пока процент насыщенных пикселей в граничной рамке не превысит некоторый порог. Такое изменение размера может помочь обеспечить расположение рамки вокруг каждой насыщенной области. В случае блика рамка содержит насыщенный центр, в то время как в случае ложноположительных объектов (например, не являющихся бликами), насыщенные пиксели распределены случайным образом по всей рамке. На ФИГ. 5 показана обработанная версия изображения 400, представленного на ФИГ. 4, на которой насыщенные области 502 (например, кандидаты на блики) окружены граничными рамками 504.
[0029] Возвращаясь к ФИГ. 3, способ 300 включает в себя на этапе 314 приспособление статистического распределения для первой насыщенной области. Например, гауссова модель либо другая модель статистического распределения может быть использована для обнаруженных центров бликов для формирования нормированного распределения насыщенных пикселей в области расположения кандидатов на блики. Параметр приспособленного статистического распределения для каждой насыщенной области/каждого кандидата на блик затем может сравниваться с пороговым условием. Например, может быть определена погрешность гауссова моделирования для гауссовой модели, соответствующей данной насыщенной области, после чего на этапе 316 может быть проведено сравнение этой погрешности с пороговой погрешностью. Если этот параметр соответствует пороговому значению (например, если погрешность моделирования ниже пороговой), на этапе 318 может определяться, что данная область представляет собой блик, после чего способ может переходить к этапу 320, на котором определяется, проанализированы ли все насыщенные области. Например, кандидаты 506a, 506b, 506c, 506d и 506e на блики на ФИГ. 5 могут классифицироваться в качестве бликов в силу распределения насыщенных пикселей в пределах соответствующих рамок с проявлением признаков бликов, таких как концентрация насыщенных пикселей в центральной области и наличие «раструбов», выступающих на регулярно разнесенных периферийных областях. Если на этапе 316 определяется, что этот параметр не удовлетворяет пороговому значению, способ может переходить к этапу 320, не классифицируя насыщенную область как блик (например, кандидаты 506f, 506g, 506h, 506i, 506j и 506k на блики могут не классифицироваться в качестве бликов по причине отсутствия насыщенной сердцевины и/или отсутствия других признаков бликов).
[0030] На этапе 320, если определяется, что не все насыщенные области проанализированы (например, "NO" на этапе 320), тогда способ 300 содержит итерационно выполняемые операции этапов 316, 318 и 320, пока все насыщенные области не будут подвергнуты анализу. Если проанализированы все насыщенные области (например, "YES" на этапе 320), тогда способ 300 на этапе 324 содержит операцию по определению степени загораживания на основе числа и/или местоположений насыщенных областей, классифицированных в качестве бликов. Например, степень загораживания может основываться на размере бликов, числе бликов и/или том, насколько близко блики располагаются к зрачку глаза/отблескам, отраженным от зрачка глаза.
[0031] Различные пороговые значения, описанные выше в отношении способа 300 (например, пороговое расстояние на этапе 308, пороговый процент на этапе 312 и пороговое условие на этапе 316) могут быть заданы и/или выбраны на основе статистических данных. В дополнительных или альтернативных вариантах осуществления одно или более пороговых значений может определяться посредством алгоритма обучения (например, с использованием классификатора). Например, определение пороговых значений посредством алгоритма обучения может включать в себя динамическое изменение пороговых значений с течением времени на основе измеренных/зарегистрированных данных для конкретного пользователя, среды, схемы освещения и/или другого соответствующего условия. После определения пороговых значений с использованием классификатора можно добавить ряд других признаков (например, квадратичную погрешность аппроксимации, положение относительно уголков глаз, градиент диссипации и т.д.) для оптимизации проведения различий между бликами и не бликами в проанализированном изображении.
[0032] На ФИГ. 6A и 6B показаны различные виды одного примера схемы 600 расположения световых источников в системе отслеживания движения глаз. На виде спереди, приведенном на ФИГ. 6A, показаны отдельные световые источники 602, расположенные по кругу размещающей конструкции 604. В некоторых вариантах осуществления размещающая конструкция 604 может включать в себя камеру системы отслеживания движения глаз, быть интегрирована с ней и/или установлена на ней. В других вариантах осуществления размещающая конструкция 604 может быть выполнена с возможностью установки на других элементах. Как показано, каждый световой источник 602 может располагаться в месте, отличном от мест других световых источников. Таким образом, свет, проецируемый от каждого светового источника 602, может быть направлен в разные места и/или поступать в конкретное место под иным углом, чем свет, спроецированный от других световых источников в схеме 600 расположения световых источников. Это может позволить использовать различные комбинации световых источников для образования отражений от глаза, чтобы избежать загораживаний бликами, как описано выше.
[0033] Кроме того, как показано в косой проекции схемы 600 расположения световых источников, изображенной на ФИГ. 6B, один или более световых источников 602 могут быть ориентированы иначе, чем другие световые источники в этой схеме. Пунктирные стрелки указывают направление света, излучаемого от каждого из световых источников 602. Таким образом, свет, спроецированный от каждого светового источника 602, может быть направлен в иное место и/или поступать в конкретное место под иным углом, чем свет, спроецированный от других световых источников в схеме 600 расположения световых источников.
[0034] Загораживание отблесков зрачка на изображениях по отслеживанию движения глаз может основываться на классификации отражений на оптической структуре на основе их признаков, таких как местоположение, размер, распределение интенсивности и увязка со световыми источникам. Создав схему расположения световых источников, в состав которой входят световые источники, направляющие свет из разных местоположений/под разными углами, световые источники можно итерационно включать/отключать для генерирования различных комбинаций проекций световых источников в системе отслеживания движения глаз. Анализируя изображения, захваченные в течение проецирования света от каждой комбинации световых источников, можно идентифицировать блики (например, определять местоположение бликов относительно глаза) и/или приводить в соответствие блики с конкретными световыми источниками/комбинациями световых источников. Таким образом, для выполнения отслеживания движения глаз может выбираться комбинация световых источников, которая создает незагороженные отблески зрачка, получаемые с высокой степенью доверия, наименьшую величину загораживания глаза/отблесков, отраженных от глаза, и/или как-то иначе создает подходящее изображение для отслеживания движения глаз. Выбор конкретной комбинации световых источников для данного пользователя/данной среды может позволить системе работать в более широком диапазоне условий, в том числе в условиях, в которых между камерой для отслеживания движения глаз/световыми источниками и глазом, движение которого отслеживается, присутствуют оптические структуры, например очки.
[0035] В некоторых вариантах осуществления способы и операции, представленные в настоящем описании, могут быть привязаны к вычислительной системе одного или более компьютерных устройств. В частности, такие способы и операции могут реализовываться в виде прикладной компьютерной программы или службы приложений, интерфейса прикладных программ (API), библиотеки и/или другого компьютерного программного продукта.
[0036] На ФИГ. 7 схематично показан один неограничивающий вариант осуществления вычислительной системы 700, способной задействовать один или более способов и технологических процессов, описанных выше. Вычислительная система 700 показана в упрощенном виде. Вычислительная система 700 может принимать форму одного или более персональных компьютеров, служебных вычислительных машин, планшетных компьютеров, компьютеров для домашних развлечений, сетевых компьютерных устройств, игровых устройств, мобильных вычислительных устройств, мобильных коммуникационных устройств (например, смартфона), носимых вычислительных устройств и/или других компьютерных устройств. Например, вычислительная система 700 может представлять собой пример компьютерного устройства 104, представленного на ФИГ. 1, и/или может выполнять способы, описанные на ФИГ. 2 и 3.
[0037] Вычислительная система 700 включает в себя логическое устройство 702 и устройство 704 хранения данных. Вычислительная система 700 в качестве опции может включать в себя подсистему 706 отображения, подсистему 708 ввода данных, подсистему 710 связи и/или другие компоненты, не показанные на ФИГ.7.
[0038] Логическое устройство 702 включает в себя одно или более физических устройств, приспособленных для выполнения инструкций. Например, логическое устройство может быть приспособлено для выполнения инструкций, составляющих часть одного или более приложений, сервисов, программ, стандартных программ, библиотек, объектов, компонентов, структур данных или других логических структур. Такие инструкции могут реализовываться для выполнения задания, реализации типа данных, преобразования состояния одного или более компонентов, достижения технического эффекта или иного получения желаемого результата.
[0039] Логическое устройство 702 может включать в себя один или более процессоров, приспособленных для выполнения инструкций программного обеспечения. Дополнительно или в качестве альтернативы логическое устройство может включать в себя одно или более логических устройств аппаратного обеспечения или аппаратно-программного обеспечения, приспособленных для выполнения инструкций аппаратного обеспечения или аппаратно-программного обеспечения. Процессоры логического устройства могут быть одноядерными или многоядерными, при этом выполняемые ими инструкции могут быть приспособлены для последовательной, параллельной и/или распределенной обработки данных. Индивидуальные компоненты логического устройства в качестве опции могут быть распределены между двумя или более отдельными устройствами, которые могут располагаться удаленно, и/или выполнены с возможностью координированной обработки данных. Объекты логического устройства могут быть виртуализированы и выполняться сетевыми компьютерными устройствами с удаленным доступом, обладающими облачной конфигурацией.
[0040] Устройство 704 хранения данных включает в себя одно или более физических устройств, выполненных с возможностью хранения инструкций, выполняемых логическим устройством для реализации способов и операций, представленных в настоящем описании. При реализации таких способов и операций состояние устройства 704 хранения данных может трансформироваться, например, для хранения различных данных.
[0041] Устройство 704 хранения данных может включать в себя съемные и/или встроенные устройства. Устройство 704 хранения данных, среди прочего, может включать в себя оптическое запоминающее устройство (например, CD, DVD, HD-DVD, диск Blu-Ray и т.д.), полупроводниковое запоминающее устройство (например, RAM, EPROM, EEPROM и т.д.) и/или магнитное запоминающее устройство (например, накопитель на жестких дисках, накопитель на гибких дисках, накопитель на магнитной ленте, MRAM и т.д.). Устройство 704 хранения данных может включать в себя энергозависимые, энергонезависимые, динамические, статические устройства, устройства считывания/записи, только для считывания, с произвольной выборкой, с последовательной выборкой, с адресацией по местоположению, c адресацией файла и/или c адресацией по содержимому.
[0042] Следует понимать, что устройство 704 хранения данных включает в себя одно или более физических устройств. Однако объекты инструкций, представленных в настоящем описании, в качестве альтернативы могут распространяться с помощью среды передачи данных (например, электромагнитного сигнала, оптического сигнала и т.д.), не удерживаемой физическим устройством на протяжении конечного промежутка времени.
[0043] Объекты логического устройства 702 и устройства 704 хранения данных могут быть объединены в один или более аппаратно-логических компонентов. Такие аппаратно-логические компоненты могут включать в себя, например, вентильные матрицы, программируемые в условиях эксплуатации (FPGA), программно-зависимые интегральные схемы и интегральные схемы прикладной ориентации (PASIC/ASIC), стандартные части программно-зависимых и специализированных интегральных схем (PSSP/ASSP), систему на кристалле (SOC), а также сложные программируемые логические устройства (CPLDs).
[0044] Термины "модуль", "программа" и "машина" могут использоваться для описания объекта вычислительной системы 700, приспособленного для выполнения конкретной функции. В некоторых случаях модуль, программа или машина могут быть реализованы посредством логического устройства 702, выполняющего инструкции, хранимые в устройстве 704 хранения данных. Следует понимать, что различные модули, программы и/или машины могут быть реализованы из одного и того же приложения, сервиса, кодового блока, объекта, одной и той же библиотеки, стандартной программы, API, функции и т.д. Аналогичным образом одни и те же модуль, программа и/или машина могут быть реализованы различными приложениями, сервисами, кодовыми блоками, объектами, стандартными программами, API, функциями и т.д. Термины "модуль", "программа" и "машина" могут охватывать отдельные исполняемые файлы, файлы данных, библиотеки, программы управления, скрипты, записи в базе данных и т.д. или группы таковых.
[0045] Следует понимать, что понятие "сервис" в контексте настоящего описания относится к прикладной программе, исполняемой в течение множества пользовательских сеансов. Сервис может быть доступен одному или нескольким компонентам системы, программам и/или другим сервисам. В некоторых вариантах реализации сервис может работать на одном или более служебных вычислительных устройствах.
[0046] Если таковая присутствует, подсистема 706 отображения может использоваться для визуального представления информации, хранимой в устройстве 704 хранения данных. Данное визуально представление может принимать вид графического интерфейса пользователя (GUI). Поскольку представленные в настоящем описании способы и операции изменяют данные, хранимые в устройстве хранения данных, и тем самым преобразуют состояние устройства хранения данных, состояние подсистемы 706 отображения может аналогичным образом трансформироваться, чтобы визуально представлять изменения в базовых данных. Подсистема 706 отображения может включать в себя одно или более дисплейных устройств, виртуально использующих любой тип технологии. Такие дисплейные устройства могут объединяться с логическим устройством 702 и/или устройством 704 хранения данных в совместно используемом корпусе, либо такие дисплейные устройства могут представлять собой периферийные дисплейные устройства.
[0047] Подсистема 708 ввода данных может содержать или быть сопряженной с одним или несколькими устройствами пользовательского ввода, такими как система отслеживания движения глаз (например, система отслеживания движения глаз компьютерного устройства 104, представленного на ФИГ. 1), клавиатура, манипулятор типа "мышь", сенсорный экран, указательное устройство рукописного ввода или игровой контроллер. В некоторых вариантах осуществления подсистема ввода данных может содержать или быть сопряженной с выбранными компонентами естественного пользовательского ввода (NUI). Такие компоненты могут быть интегрированными или периферийными, при этом передача и/или обработка информации входных воздействий может осуществляться «на плате» или «вне платы». В число примеров NUI-компонентов могут входить микрофон для обнаружения речи и/или голоса; инфракрасная, цветная, стереоскопическая камера и/или камера глубины для машинного зрения и/или обнаружения жестов; устройство отслеживания положения головы, устройство отслеживания движения глаз, акселерометр и/или гироскоп для детектирования движения и/или обнаружения намерений; а также компоненты для измерения электрических полей, предназначенные для оценки активности головного мозга. Например, подсистема ввода данных может содержать систему отслеживания движения глаз и/или часть системы отслеживания движения глаз, выполненные с возможностью осуществления способов 200 и/или 300, представленных на ФИГ. 2 и 3.
[0048] Если таковая присутствует, подсистема 710 связи может быть выполнена с возможностью соединения вычислительной системы 700 с одним или несколькими другими компьютерными устройствами с возможностью обмена информацией между ними. Подсистема 710 связи может включать в себя проводные и/или беспроводные коммуникационные устройства, способные работать с одним или несколькими различными протоколами обмена данными. В качестве нескольких неограничивающих примеров подсистема связи может быть выполнена с возможностью обмена данными посредством беспроводной телефонной сети либо проводной или беспроводной локальной или широкомасштабной сети передачи данных. В некоторых вариантах осуществления подсистема связи может позволять вычислительной системе 700 отправлять сообщения на другие устройства и/или получать сообщения от других устройство по сети, такой как Интернет.
[0049] Следует понимать, что конфигурации и/или подходы, представленные в настоящем описании, приведены лишь в качестве примеров, и что эти конкретные варианты осуществления или примеры не должны рассматриваться как ограничивающие, поскольку возможно множество вариантов. Конкретные стандартные программы или способы, представленные в настоящем описании, могут представлять один или более из неограниченного множества подходов по обработке данных. Таким образом, различные действия, которые были проиллюстрированы и/или описаны, могут выполняться в проиллюстрированной и/или описанной последовательности, в других последовательностях, параллельно либо могут отсутствовать. Точно так же порядок вышеописанных операций может быть изменен.
[0050] Объект изобретения по настоящему раскрытию включает в себя все новые и неочевидные комбинации и подкомбинации различных операций, систем и конфигураций, а также другие признаки, функции, действия и/или свойства, раскрытые в настоящем описании, и все их эквиваленты.
Claims (31)
1. Система отслеживания движения глаз, содержащая:
множество световых источников (108);
камеру (119), выполненную с возможностью захвата изображения светового излучения от источников света, отраженного от глаза;
логическое устройство (702); а также
устройство (707) хранения данных, в котором хранятся инструкции, выполняемые логическим устройством (702) для
сбора (202) групп данных по отслеживанию движения глаз путем итерационного проецирования (204) света от различных комбинаций световых источников (108) из множества световых источников (108) и захвата (206) изображения глаза в процессе проецирования каждой комбинации;
обнаружения (304) насыщенных областей на изображении;
определения (310) граничной рамки для каждой сердцевины насыщенной области;
приспособления (314) статистического распределения для каждой насыщенной области в пределах каждой граничной рамки;
классификации (318) насыщенной области в пределах граничной рамки в качестве блика, если параметр статистического распределения, приспособленного для насыщенной области, удовлетворяет пороговому условию приспособленного статистического распределения;
определения степени загораживания на основе числа и/или местоположений бликов;
выбора (212) отобранной комбинации световых источников (108) для отслеживания движения глаз на основе определения загораживания, обнаруженного на изображении, обусловленного прозрачной или полупрозрачной оптической структурой, расположенной между глазом и камерой (119); а также
проецирования (216) света посредством отобранной комбинации световых источников (108) для отслеживания движения глаз.
2. Система отслеживания движения глаз по п.1, при этом итерационное проецирование света от различных комбинаций световых источников (108) включает в себя итерационное проецирование света от различных комбинаций световых источников (108) в порядке, основанном на спрогнозированном загораживании для каждой одной или более комбинаций.
3. Система отслеживания движения глаз по п.2, дополнительно содержащая обнаружение положения головы и определение (208) оценки того, какая комбинация световых источников (108) создаст наименьшую величину загораживания на основе положения головы.
4. Система отслеживания движения глаз по п.1, дополнительно содержащая обозначение насыщенной точки в изображении в качестве блика и сопоставление этого блика с выбранным световым источником (108) в первой комбинации световых источников (108) на основе определения того, присутствует ли этот блик в следующем изображении, захваченном в течение проецирования второй, отличной комбинации световых источников (108), которая не включает в себя выбранный световой источник (108).
5. Система отслеживания движения глаз по п.1, при этом итерационное проецирование света от различных комбинаций световых источников (108) содержит проецирование света от всего множества световых источников (108) в течение первой итерации, а также проецирование света от одного или более подмножеств из множества световых источников (108) в течение одной или более других итераций.
6. Система отслеживания движения глаз по п.1, при этом один или более из множества световых источников (108) ориентированы отлично друг от друга, при этом итерационное проецирование света от различных комбинаций световых источников (108) содержит итерационное проецирование света от различных комбинаций световых источников (108), имеющих различные комбинации ориентаций.
7. Способ отслеживания движения глаз, содержащий:
итеративное проецирование (204) света от различных комбинаций световых источников (108) из множества световых источников (108);
захват (206) изображения глаза в процессе проецирования каждой комбинации;
обнаружение (304) насыщенных областей на изображении;
определение (310) граничной рамки для каждой сердцевины насыщенной области;
приспособление (314) статистического распределения для каждой насыщенной области в пределах каждой граничной рамки; а также
классификацию (318) насыщенной области в пределах граничной рамки в качестве блика, если параметр статистического распределения, приспособленного для насыщенной области, удовлетворяет пороговому условию приспособленного статистического распределения;
определение степени загораживания на основе числа и/или местоположений бликов;
выбор (212) отобранной комбинации световых источников для отслеживания движения глаз на основе определения загораживания, обнаруженного на изображении, обусловленного прозрачной или полупрозрачной оптической структурой, расположенной между глазом и камерой (119); а также
проецирование (216) света посредством отобранной комбинации световых источников (108) для отслеживания движения глаз.
8. Способ по п.7, при этом определение (310) граничной рамки для каждой насыщенной области включает в себя увеличение (312) размера граничной рамки, пока процент насыщенных пикселей в граничной рамке не будет удовлетворять пороговому условию для граничной рамки.
9. Способ по п.8, дополнительно содержащий выполнение (306) преобразования расстояний для объектов переднего плана в отношении изображения и устранение (308) контуров на изображении, значение расстояния которых меньше порогового расстояния, чтобы обнаружить сердцевины насыщенных областей.
10. Способ по п.9, при этом одно или более из порогового расстояния, порогового условия для граничной рамки, порогового условия приспособленного статистического распределения определяется посредством алгоритма обучения.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/264,952 US9454699B2 (en) | 2014-04-29 | 2014-04-29 | Handling glare in eye tracking |
US14/264,952 | 2014-04-29 | ||
PCT/US2015/027185 WO2015167906A1 (en) | 2014-04-29 | 2015-04-23 | Handling glare in eye tracking |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2016142286A RU2016142286A (ru) | 2018-04-27 |
RU2016142286A3 RU2016142286A3 (ru) | 2018-11-19 |
RU2678478C2 true RU2678478C2 (ru) | 2019-01-29 |
Family
ID=53059471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016142286A RU2678478C2 (ru) | 2014-04-29 | 2015-04-23 | Обращение с бликами в среде отслеживания движения глаз |
Country Status (18)
Country | Link |
---|---|
US (2) | US9454699B2 (ru) |
EP (1) | EP3137973B1 (ru) |
JP (2) | JP6592000B2 (ru) |
KR (1) | KR102358936B1 (ru) |
CN (2) | CN106462236B (ru) |
AU (1) | AU2015253554B2 (ru) |
BR (1) | BR112016024889B1 (ru) |
CA (1) | CA2943426C (ru) |
CL (1) | CL2016002668A1 (ru) |
IL (1) | IL247738B (ru) |
MX (1) | MX366780B (ru) |
MY (1) | MY184112A (ru) |
NZ (1) | NZ724321A (ru) |
PH (1) | PH12016501886B1 (ru) |
RU (1) | RU2678478C2 (ru) |
SG (1) | SG11201608289YA (ru) |
TW (1) | TW201541284A (ru) |
WO (1) | WO2015167906A1 (ru) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021125992A1 (ru) * | 2019-12-16 | 2021-06-24 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
WO2021125993A1 (ru) * | 2019-12-16 | 2021-06-24 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" | Способ определения направления взгляда |
RU219079U1 (ru) * | 2019-12-16 | 2023-06-28 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
US9946339B2 (en) * | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
EP3479293A4 (en) * | 2016-06-29 | 2020-03-04 | Seeing Machines Limited | SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING |
WO2018009568A1 (en) * | 2016-07-05 | 2018-01-11 | Wu Yecheng | Spoofing attack detection during live image capture |
US10496163B2 (en) | 2016-09-22 | 2019-12-03 | Apple Inc. | Eye and head tracking |
US10120442B2 (en) * | 2016-12-21 | 2018-11-06 | Oculus Vr, Llc | Eye tracking using a light field camera on a head-mounted display |
CN106874895B (zh) | 2017-03-31 | 2019-02-05 | 北京七鑫易维信息技术有限公司 | 一种视线追踪装置及头戴式显示设备 |
US10657401B2 (en) * | 2017-06-06 | 2020-05-19 | Microsoft Technology Licensing, Llc | Biometric object spoof detection based on image intensity variations |
CN108605081B (zh) * | 2017-07-18 | 2020-09-01 | 杭州他若信息科技有限公司 | 智能目标追踪 |
US10474231B2 (en) | 2017-08-16 | 2019-11-12 | Industrial Technology Research Institute | Eye tracking apparatus and method thereof |
US11567318B1 (en) * | 2017-09-25 | 2023-01-31 | Meta Platforms Technologies, Llc | Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight |
KR102410834B1 (ko) * | 2017-10-27 | 2022-06-20 | 삼성전자주식회사 | 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치 |
JP7138168B2 (ja) | 2017-10-31 | 2022-09-15 | シーイング マシーンズ リミテッド | 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法 |
US20190129174A1 (en) * | 2017-10-31 | 2019-05-02 | Google Llc | Multi-perspective eye-tracking for vr/ar systems |
KR102476757B1 (ko) | 2017-12-21 | 2022-12-09 | 삼성전자주식회사 | 반사를 검출하는 장치 및 방법 |
TWI647472B (zh) * | 2018-01-22 | 2019-01-11 | 國立臺灣大學 | 雙模式視線追蹤方法與系統 |
CN108510542B (zh) * | 2018-02-12 | 2020-09-11 | 北京七鑫易维信息技术有限公司 | 匹配光源与光斑的方法和装置 |
US10863812B2 (en) * | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
WO2020047140A1 (en) * | 2018-08-29 | 2020-03-05 | Intuitive Surgical Operations, Inc. | Dynamic illumination for eye-tracking |
AU2019345058A1 (en) * | 2018-09-19 | 2021-04-15 | Avedro, Inc. | Systems and methods for eye tracking during eye treatment |
DE102018010099B4 (de) * | 2018-12-21 | 2021-12-02 | Diehl Aerospace Gmbh | Vermeiden der Blendung von Personen durch eine Lichtquelle |
SE543240C2 (en) * | 2018-12-21 | 2020-10-27 | Tobii Ab | Classification of glints using an eye tracking system |
US10877268B2 (en) * | 2019-04-16 | 2020-12-29 | Facebook Technologies, Llc | Active control of in-field light sources of a head mounted display |
US10948729B2 (en) | 2019-04-16 | 2021-03-16 | Facebook Technologies, Llc | Keep-out zone for in-field light sources of a head mounted display |
US11516374B2 (en) | 2019-06-05 | 2022-11-29 | Synaptics Incorporated | Under-display image sensor |
IT201900011403A1 (it) * | 2019-07-10 | 2021-01-10 | Ambarella Int Lp | Detecting illegal use of phone to prevent the driver from getting a fine |
EP3779561A1 (en) * | 2019-08-13 | 2021-02-17 | HTC Corporation | Head-mounted display |
US11153513B2 (en) | 2019-08-19 | 2021-10-19 | Synaptics Incorporated | Light source for camera |
CN112578556B (zh) * | 2019-09-27 | 2023-02-21 | 托比股份公司 | 用于减少来自光学装置的不合需的反射的眼睛跟踪*** |
US11076080B2 (en) | 2019-12-05 | 2021-07-27 | Synaptics Incorporated | Under-display image sensor for eye tracking |
US11340701B2 (en) * | 2019-12-16 | 2022-05-24 | Nvidia Corporation | Gaze determination using glare as input |
CN111772575A (zh) * | 2020-06-02 | 2020-10-16 | 岭南师范学院 | 基于led光学无损特殊儿童检测仪及检测方法 |
CN112198965B (zh) * | 2020-12-04 | 2021-03-09 | 宁波圻亿科技有限公司 | 一种ar眼镜护目自动控制方法及装置 |
JP6956985B1 (ja) * | 2020-12-22 | 2021-11-02 | 株式会社スワローインキュベート | 目検出方法、目検出装置及び目検出プログラム |
US11972042B2 (en) * | 2021-06-15 | 2024-04-30 | Microsoft Technology Licensing, Llc | Variable intensity distributions for gaze detection assembly |
JP2023041097A (ja) * | 2021-09-13 | 2023-03-24 | 矢崎総業株式会社 | 検出システム |
GB2618078A (en) * | 2022-04-25 | 2023-11-01 | Continental Automotive Tech Gmbh | An image processing method for removal of glare spots and system for the same |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060087582A1 (en) * | 2004-10-27 | 2006-04-27 | Scharenbroch Gregory K | Illumination and imaging system and method |
RU93553U1 (ru) * | 2009-11-19 | 2010-04-27 | Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" | Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера |
US20120105486A1 (en) * | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20120229681A1 (en) * | 2011-03-07 | 2012-09-13 | Sony Corporation | System and method for automatic flash removal from images |
US20130285901A1 (en) * | 2012-04-27 | 2013-10-31 | Dongguk University Industry-Academic Cooperation Foundation | System and method for tracking gaze at distance |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
JP4250506B2 (ja) * | 2003-10-31 | 2009-04-08 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像システム |
JP2006318374A (ja) * | 2005-05-16 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 眼鏡判別装置および認証装置ならびに眼鏡判別方法 |
EP1977374A4 (en) * | 2005-11-30 | 2012-09-05 | Seeing Machines Pty Ltd | VISUAL TRACKING OF GLASSES IN VISUAL HEAD AND EYE TRACKING SYSTEMS |
US7630002B2 (en) | 2007-01-05 | 2009-12-08 | Microsoft Corporation | Specular reflection reduction using multiple cameras |
CN101336089A (zh) * | 2006-01-26 | 2008-12-31 | 诺基亚公司 | 眼睛***设备 |
CN101008982A (zh) * | 2006-01-27 | 2007-08-01 | 侯雨石 | 消除眼镜干扰的虹膜采集方法和装置 |
CN101499127B (zh) * | 2008-02-03 | 2012-07-18 | 上海银晨智能识别科技有限公司 | 防止眼镜镜片反光干扰而导致无法识别人脸的方法 |
US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
US8324602B2 (en) | 2009-04-14 | 2012-12-04 | Intersil Americas Inc. | Optical sensors that reduce specular reflections |
CN101545588A (zh) * | 2009-04-30 | 2009-09-30 | 清华大学 | 一种防止眼镜反光的机器视觉照明*** |
US8333475B2 (en) * | 2009-11-12 | 2012-12-18 | Panasonic Corporation | Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium |
EP2339534A1 (en) | 2009-11-18 | 2011-06-29 | Panasonic Corporation | Specular reflection compensation |
US20110170060A1 (en) | 2010-01-08 | 2011-07-14 | Gordon Gary B | Gaze Tracking Using Polarized Light |
CN102939557B (zh) | 2010-05-29 | 2014-07-30 | 蒋文宇 | 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的***、方法和设备 |
EP2486441B1 (en) | 2010-10-07 | 2018-02-21 | Sony Interactive Entertainment Inc. | 3-d glasses with camera based head tracking |
EP2724292A4 (en) | 2011-06-18 | 2015-05-06 | Identix Inc | SYSTEMS AND METHOD FOR RECOGNIZING A MIRROR REFLECTION MODEL FOR BIOMETRIC ANALYZES |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8878749B1 (en) * | 2012-01-06 | 2014-11-04 | Google Inc. | Systems and methods for position estimation |
US9192305B2 (en) * | 2012-09-28 | 2015-11-24 | Align Technology, Inc. | Estimating a surface texture of a tooth |
US9829971B2 (en) * | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
CN106132284B (zh) * | 2013-11-09 | 2019-03-22 | 深圳市汇顶科技股份有限公司 | 光学眼动追踪 |
US9454699B2 (en) * | 2014-04-29 | 2016-09-27 | Microsoft Technology Licensing, Llc | Handling glare in eye tracking |
-
2014
- 2014-04-29 US US14/264,952 patent/US9454699B2/en active Active
-
2015
- 2015-03-19 TW TW104108831A patent/TW201541284A/zh unknown
- 2015-04-23 CA CA2943426A patent/CA2943426C/en active Active
- 2015-04-23 NZ NZ724321A patent/NZ724321A/en unknown
- 2015-04-23 CN CN201580023544.2A patent/CN106462236B/zh active Active
- 2015-04-23 MY MYPI2016703663A patent/MY184112A/en unknown
- 2015-04-23 KR KR1020167032098A patent/KR102358936B1/ko active IP Right Grant
- 2015-04-23 JP JP2016559253A patent/JP6592000B2/ja active Active
- 2015-04-23 WO PCT/US2015/027185 patent/WO2015167906A1/en active Application Filing
- 2015-04-23 EP EP15721447.9A patent/EP3137973B1/en active Active
- 2015-04-23 MX MX2016014094A patent/MX366780B/es active IP Right Grant
- 2015-04-23 AU AU2015253554A patent/AU2015253554B2/en active Active
- 2015-04-23 RU RU2016142286A patent/RU2678478C2/ru active
- 2015-04-23 CN CN201910413521.2A patent/CN110266916B/zh active Active
- 2015-04-23 BR BR112016024889-9A patent/BR112016024889B1/pt active IP Right Grant
- 2015-04-23 SG SG11201608289YA patent/SG11201608289YA/en unknown
-
2016
- 2016-08-22 US US15/243,544 patent/US9916502B2/en active Active
- 2016-09-11 IL IL247738A patent/IL247738B/en active IP Right Grant
- 2016-09-23 PH PH12016501886A patent/PH12016501886B1/en unknown
- 2016-10-20 CL CL2016002668A patent/CL2016002668A1/es unknown
-
2019
- 2019-09-19 JP JP2019170087A patent/JP6845295B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060087582A1 (en) * | 2004-10-27 | 2006-04-27 | Scharenbroch Gregory K | Illumination and imaging system and method |
US20120105486A1 (en) * | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
RU93553U1 (ru) * | 2009-11-19 | 2010-04-27 | Общество с ограниченной ответственностью "Системы позиционирования - оптические технологии" | Компьютерный манипулятор, использующий углы поворота глаз и направление взгляда человека для позиционирования курсора на экране компьютера |
US20120229681A1 (en) * | 2011-03-07 | 2012-09-13 | Sony Corporation | System and method for automatic flash removal from images |
US20130285901A1 (en) * | 2012-04-27 | 2013-10-31 | Dongguk University Industry-Academic Cooperation Foundation | System and method for tracking gaze at distance |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021125992A1 (ru) * | 2019-12-16 | 2021-06-24 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
WO2021125993A1 (ru) * | 2019-12-16 | 2021-06-24 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" | Способ определения направления взгляда |
RU219079U1 (ru) * | 2019-12-16 | 2023-06-28 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
RU2815470C1 (ru) * | 2019-12-16 | 2024-03-18 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Способ определения направления взгляда |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2678478C2 (ru) | Обращение с бликами в среде отслеживания движения глаз | |
KR102456046B1 (ko) | 동공 검출 | |
CN107466411B (zh) | 二维红外深度感测 | |
JP6560748B2 (ja) | アイウェアを通じた視線追跡 | |
KR20190062171A (ko) | 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정 | |
US20170004363A1 (en) | Gaze tracking device and a head mounted device embedding said gaze tracking device | |
US20110234481A1 (en) | Enhancing presentations using depth sensing cameras | |
CN104769644A (zh) | 利用可变场照明设备的对象检测和跟踪 | |
US9922245B2 (en) | Method and system for recognizing an object | |
KR20160106653A (ko) | 조정된 스피치 및 제스처 입력 | |
US9389702B2 (en) | Input association | |
CN106406684B (zh) | 投影处理方法、装置及投影仪 | |
US9778796B2 (en) | Apparatus and method for sensing object, and method of identifying calibration pattern in object sensing apparatus | |
CN112906610A (zh) | 用于活体检测的方法、电子电路、电子设备和介质 | |
JP2017204757A (ja) | 被写体追跡装置及びそのプログラム | |
Alhamazani et al. | [Retracted] Using Depth Cameras for Recognition and Segmentation of Hand Gestures | |
US9927523B2 (en) | Event filtering device and motion recognition device thereof |