CN105528577A - 基于智能眼镜的识别方法 - Google Patents
基于智能眼镜的识别方法 Download PDFInfo
- Publication number
- CN105528577A CN105528577A CN201510878498.6A CN201510878498A CN105528577A CN 105528577 A CN105528577 A CN 105528577A CN 201510878498 A CN201510878498 A CN 201510878498A CN 105528577 A CN105528577 A CN 105528577A
- Authority
- CN
- China
- Prior art keywords
- state
- eyeball
- coordinate
- reading
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 210000005252 bulbus oculi Anatomy 0.000 claims description 44
- 210000003128 head Anatomy 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 19
- 206010057315 Daydreaming Diseases 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 230000006998 cognitive state Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000019771 cognition Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012776 electronic material Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及智能识别领域,其公开了一种基于智能眼镜的识别方法,包括如下步骤:(S1)获取眼镜上的惯性传感器实时传输数据并判断头部的位置;(S2)获取阅读状态和阅读内容;(S3)阅读提醒。本发明的有益效果是:监测与识别用户的学习认知状态,并给用户提供相应的认知辅助措施,进一步提高了阅读效率。
Description
技术领域
本发明涉及智能识别领域,尤其涉及一种基于智能眼镜的识别方法。
背景技术
如今,随着教育的不断普及,人们的阅读需求不断提高,但是随着阅读内容越来越丰富的时候,我们遇到的阅读问题越来越多(比如在阅读英文文章的时候我们会有很多不懂得单词和句子,在阅读专业书籍的时候我们会用很多不懂的专业名词,在阅读文献的时候我们会有很多不懂专业知识等等),遇到这些问题时就需要去查询相关资料,而查询相关资料是一件很麻烦而且费时的事情,从而会大大降低人们的阅读效率。
为了解决人们的阅读问题和提高人们的阅读效率,目前的商用产品比如步步高点读机等产品中多采用点读技术,这种技术是将书本放在特等的位置,然后用笔去点击书本,从而感知书本的某一个位置,然后将相应的提示内容显示出来。这种技术有很大的局限性,因为这种技术需要先将书本的内容记录下来,然后做成一个软件包才能使用,市场上普通的书本并不能用使用这种点读机;其次我们每次阅读我们都需要带着这样一个体积庞大的点读机,非常不方便;而在人看书的过程成中容易走神,这种点读机不能提示人走神,让人回到阅读中来。在这种情况下,一种能够帮助人在阅读中解决困难,在人走神的时候给出声音提醒的***无疑有很强的实用价值。
发明内容
为了解决现有技术中的问题,本发明提供了一种基于智能眼镜的识别方法,解决现有技术中无法帮助人在阅读中解决困难,在人走神的时候给出提醒的问题。
本发明是通过以下技术方案实现的:设计、制造了一种基于智能眼镜的识别方法,包括如下步骤:(S1)获取眼镜上的惯性传感器实时传输数据并判断头部的位置;(S2)获取阅读状态和阅读内容;(S3)阅读提醒。
作为本发明的进一步改进:所述步骤(S1)进一步包括:(S11)从眼镜上的惯性传感器中读取数据;(S12)通过判断不同的头部位置来确定人的阅读状态;当头部的位置符合阅读时头部位置范围时且人为静止时,视为阅读状态;当头部位置不符合阅读时头部位置范围或者人在运动时,视为不在阅读状态。
作为本发明的进一步改进:所述步骤(S2)中,通过将眼镜上的眼部摄像头传来图像转化为灰度值,然后设置阈值从而取得眼球的坐标,通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态;通过对眼镜上的情景摄像头得到的图像设立坐标,并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来,进而获得使用者现在所看的内容。
作为本发明的进一步改进:所述步骤(S3)中,根据阅读状态对读者给予不同的阅读帮助。
作为本发明的进一步改进:所述步骤(S2)中,为获取不同的阅读状态,进一步包括如下步骤:(S21)开启红外发射器使其照向眼睛,开启眼部摄像头捕捉眼球的位置图像,开启情景摄像头捕捉眼睛所看到的图像;(S22)通过将眼部摄像头获得的图像转化为灰度值,并且取反,然后设立灰度值的阈值从而得到瞳孔的位置,并为瞳孔中心的位置设立坐标;(S23)通过眼球的运动来判断人阅读的状态。
作为本发明的进一步改进:所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态;所述正常阅读状态为眼球的移动速度在一定的范围内;所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值;所述扫视状态为当眼球移动速度超过某一个阈值;所述回看状态为眼球移动方向为反方向时;所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
作为本发明的进一步改进:所述步骤(S3)中,将场景摄像头获得图像分为九宫格并且设立坐标,并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来;通过获取阅读状态来进行阅读指导。
作为本发明的进一步改进:通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
作为本发明的进一步改进:当阅读状态为思考状态时,自动搜索使用者阅读的内容然后将搜索的结果进行显示;当使用者处于走神状态时,自动发出声音进行提醒。
本发明的有益效果是:监测与识别用户的学习认知状态,并给用户提供相应的认知辅助措施,进一步提高了阅读效率。
【附图说明】
图1是本发明一种基于智能眼镜的识别方法的步骤示意图。
图2是本发明一实施例示意图。
【具体实施方式】
下面结合附图说明及具体实施方式对本发明进一步说明。
如图1,一种基于智能眼镜的识别方法,包括如下步骤:(S1)获取眼镜上的惯性传感器实时传输数据并判断头部的位置;(S2)获取阅读状态和阅读内容;(S3)阅读提醒。
所述步骤(S1)进一步包括:(S11)从眼镜上的惯性传感器(包括加速度计和陀螺仪)中读取数据;(S12)通过判断不同的头部位置来确定人的阅读状态;当头部的位置符合阅读时头部位置范围时且人为静止时,视为阅读状态;当头部位置不符合阅读时头部位置范围或者人在运动时,视为不在阅读状态。
所述步骤(S2)中,通过将眼镜上的眼部摄像头传来图像转化为灰度值,然后设置阈值从而取得眼球的坐标,通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态;通过对眼镜上的情景摄像头得到的图像设立坐标,并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来,进而获得使用者现在所看的内容。
所述步骤(S3)中,根据阅读状态对读者给予不同的阅读帮助。
所述步骤(S2)中,为获取不同的阅读状态,进一步包括如下步骤:(S21)开启红外发射器使其照向眼睛,开启眼部摄像头捕捉眼球的位置图像,开启情景摄像头捕捉眼睛所看到的图像;(S22)通过将眼部摄像头获得的图像转化为灰度值,并且取反,然后设立灰度值的阈值从而得到瞳孔的位置,并为瞳孔中心的位置设立坐标(利用眼睛对红外线的特性,即当红外线与光轴是异轴的时候,瞳孔会显得很暗,虹膜会显得相对较亮);(S23)通过眼球的运动来判断人阅读的状态。
所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态;所述正常阅读状态为眼球的移动速度在一定的范围内;所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值;所述扫视状态为当眼球移动速度超过某一个阈值;所述回看状态为眼球移动方向为反方向时;所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
所述步骤(S3)中,将场景摄像头获得图像分为九宫格并且设立坐标,并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来;通过获取阅读状态来进行阅读指导。
通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
当阅读状态为思考状态时,自动搜索使用者阅读的内容然后将搜索的结果进行显示;当使用者处于走神状态时,自动发出声音进行提醒。
在一实施例中,如图2,提出了一种基于智能眼镜结合眼球追踪、图像坐标匹配、文本识别和机器学习技术,进而监测与识别用户的学习认知状态,并给用户提供相应的认知辅助措施的智慧***。该方法通过利用置于眼镜上的摄像头、红外发射器、惯性测量单元3(加速度传感器,陀螺仪),并辅之以智能手机APP从而实现以上所述功能。所述方法主要包括:通过内置的惯性测量单元监测获取用户头部运动的数据;通过对惯性单元数据进行分析从而确定用户行为状态;当判定用户的状态为阅读时,红外发射器、眼球摄像头1和情景摄像头2会同步开启,一方面通过红外传感器和眼摄像头获取用户阅读过程中的眼球运动的图片,另一方面通过场景摄像头获取用户当前阅读内容的图片;通过对眼球运动图片的处理,提取眼球运动的特征,结合惯性单元的数据,判定用户阅读过程中的学习与认知状态,诸如正常阅读、思考、回看、扫视、走神;通过校准的方式将眼球的坐标和场景的坐标一一对应,并将场景摄像头的图片中内容进行识别,结合用户学习认知状态的判定,分析用户的学习兴趣、认知特点与行为习惯,麦克风4可以进行语音输出。基于这些核心模块,我们可以开发出各种辅助用户学习与认知的应用,比如:当***判定出用户在特定内容上凝视较长时间时,相应APP会识别出的内容进行自动搜索,以辅助用户理解相应的内容。
在一实施例中,S1、眼镜上的惯性传感器实时传输数据到电脑中,通过判断加速度计的数值和陀螺仪的数值来判断头部的位置(头部偏转角度,包括前后左右);S2、通过头部的位置来判决人们状态,这个状态分为阅读和不在阅读,阅读的内容可以是纸质材料、电子材料等等。当人们的状态为阅读时,眼镜上的红外发射器、眼部摄像头和情景摄像头会自动打开并且收集数据。收集到的数据可以通过服务器、个人电脑、手机、平板、等设备进行处理。通过将眼部摄像头传来图像转化为灰度值,然后设置阈值从而取得眼球的坐标。通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态,比如正常阅读、思考、扫视、回看、走神等等。通过对情景摄像头得到的图像设立坐标,并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来,从而能够获得使用者现在所看的内容;S3、结合S2得到的各种阅读状态来给读者给予阅读帮助。比如当读者处于思考状态或者多次回看上面的内容时,手机APP会自动搜索读者所看的内容,给读者提供帮助,从而解决读者的阅读问题;当读者处于走神状态时,手机APP会发出声音提醒人们重新回到阅读,从而提高人们的阅读效率等。
根据阅读状态提供不同的阅读帮助,进一步为:将场景摄像头获得图像分为九宫格并且设立坐标,并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来。其对应的方式可用矩阵相乘的方式获得的。即眼球坐标矩阵乘以通过校准计算而来的矩阵可以计算出场景图像的坐标。结合步骤S2中所得到的状态来提供不同的帮助。当阅读状态为思考的时候,手机APP会自动搜索使用者阅读的内容然后将搜索的结果显示在手机APP上,帮助读者解决阅读中遇到的问题;结合步骤S2中所得到的状态来帮助读者提高阅读效率,当使用者处于走神状态时,手机APP会自动发出声音提醒读者要专心读书,不要走神,从而提高读者的效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于智能眼镜的识别方法,其特征在于:包括如下步骤:(S1)获取眼镜上的惯性传感器实时传输数据并判断头部的位置;(S2)获取阅读状态和阅读内容;(S3)阅读提醒。
2.根据权利要求1所述的基于智能眼镜的识别方法,其特征在于:所述步骤(S1)进一步包括:(S11)从眼镜上的惯性传感器中读取数据;(S12)通过判断不同的头部位置来确定人的阅读状态;当头部的位置符合阅读时头部位置范围时且人为静止时,视为阅读状态;当头部位置不符合阅读时头部位置范围或者人在运动时,视为不在阅读状态。
3.根据权利要求1所述的基于智能眼镜的识别方法,其特征在于:所述步骤(S2)中,通过将眼镜上的眼部摄像头传来图像转化为灰度值,然后设置阈值从而取得眼球的坐标,通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态;通过对眼镜上的情景摄像头得到的图像设立坐标,并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来,进而获得使用者现在所看的内容。
4.根据权利要求1所述的基于智能眼镜的识别方法,其特征在于:所述步骤(S3)中,根据阅读状态对读者给予不同的阅读帮助。
5.根据权利要求3所述的基于智能眼镜的识别方法,其特征在于:所述步骤(S2)中,为获取不同的阅读状态,进一步包括如下步骤:(S21)开启红外发射器使其照向眼睛,开启眼部摄像头捕捉眼球的位置图像,开启情景摄像头捕捉眼睛所看到的图像;(S22)通过将眼部摄像头获得的图像转化为灰度值,并且取反,然后设立灰度值的阈值从而得到瞳孔的位置,并为瞳孔中心的位置设立坐标;(S23)通过眼球的运动来判断人阅读的状态。
6.根据权利要求1所述的基于智能眼镜的识别方法,其特征在于:所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态;所述正常阅读状态为眼球的移动速度在一定的范围内;所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值;所述扫视状态为当眼球移动速度超过某一个阈值;所述回看状态为眼球移动方向为反方向时;所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
7.根据权利要求1所述的基于智能眼镜的识别方法,其特征在于:所述步骤(S3)中,将场景摄像头获得图像分为九宫格并且设立坐标,并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来;通过获取阅读状态来进行阅读指导。
8.根据权利要求7所述的基于智能眼镜的识别方法,其特征在于:通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
9.根据权利要求6所述的基于智能眼镜的识别方法,其特征在于:当阅读状态为思考状态时,自动搜索使用者阅读的内容然后将搜索的结果进行显示;当使用者处于走神状态时,自动发出声音进行提醒。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510878498.6A CN105528577B (zh) | 2015-12-04 | 2015-12-04 | 基于智能眼镜的识别方法 |
US15/212,196 US20170156589A1 (en) | 2015-12-04 | 2016-07-16 | Method of identification based on smart glasses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510878498.6A CN105528577B (zh) | 2015-12-04 | 2015-12-04 | 基于智能眼镜的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105528577A true CN105528577A (zh) | 2016-04-27 |
CN105528577B CN105528577B (zh) | 2019-02-12 |
Family
ID=55770791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510878498.6A Active CN105528577B (zh) | 2015-12-04 | 2015-12-04 | 基于智能眼镜的识别方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170156589A1 (zh) |
CN (1) | CN105528577B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096912A (zh) * | 2016-06-03 | 2016-11-09 | 广州视源电子科技股份有限公司 | 智能眼镜的人脸识别方法及智能眼镜 |
CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN108665689A (zh) * | 2017-03-29 | 2018-10-16 | 安子轩 | 可穿戴式智能设备及防走神提醒方法 |
CN110073273A (zh) * | 2016-12-12 | 2019-07-30 | 富士胶片株式会社 | 投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序 |
CN111967327A (zh) * | 2020-07-16 | 2020-11-20 | 深圳市沃特沃德股份有限公司 | 阅读状态识别方法、装置、计算机设备和可读存储介质 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138301B1 (en) * | 2017-11-20 | 2021-10-05 | Snap Inc. | Eye scanner for user identification and security in an eyewear device |
US11449205B2 (en) * | 2019-04-01 | 2022-09-20 | Microsoft Technology Licensing, Llc | Status-based reading and authoring assistance |
CN110377764B (zh) * | 2019-07-19 | 2022-10-11 | 芋头科技(杭州)有限公司 | 信息显示方法 |
CN112419808B (zh) * | 2020-11-10 | 2021-11-02 | 浙江大学 | 一种便携式多模态学习分析智能眼镜 |
CN113221630A (zh) * | 2021-03-22 | 2021-08-06 | 刘鸿 | 一种人眼注视镜头的估算方法及其在智能唤醒中的应用 |
US11816221B2 (en) | 2021-04-22 | 2023-11-14 | Bank Of America Corporation | Source code vulnerability scanning and detection smart glasses |
US11797708B2 (en) | 2021-05-06 | 2023-10-24 | Bank Of America Corporation | Anomaly detection in documents leveraging smart glasses |
US11650798B2 (en) | 2021-05-28 | 2023-05-16 | Bank Of America Corporation | Developing source code leveraging smart glasses |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500331A (zh) * | 2013-08-30 | 2014-01-08 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
CN104182046A (zh) * | 2014-08-22 | 2014-12-03 | 京东方科技集团股份有限公司 | 眼控提醒方法、眼控图像显示方法及显示*** |
US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4838681A (en) * | 1986-01-28 | 1989-06-13 | George Pavlidis | Method and means for detecting dyslexia |
US5912721A (en) * | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
GB0119859D0 (en) * | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
US6943754B2 (en) * | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
SE524003C2 (sv) * | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
US8292433B2 (en) * | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
PT1607840E (pt) * | 2004-06-18 | 2015-05-20 | Tobii Ab | Controlo ocular de um computador |
US7736000B2 (en) * | 2008-08-27 | 2010-06-15 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
US8531394B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglasses transceiver |
EP2587342A1 (en) * | 2011-10-28 | 2013-05-01 | Tobii Technology AB | Method and system for user initiated query searches based on gaze data |
US9182815B2 (en) * | 2011-12-07 | 2015-11-10 | Microsoft Technology Licensing, Llc | Making static printed content dynamic with virtual data |
US8942434B1 (en) * | 2011-12-20 | 2015-01-27 | Amazon Technologies, Inc. | Conflict resolution for pupil detection |
US8863042B2 (en) * | 2012-01-24 | 2014-10-14 | Charles J. Kulas | Handheld device with touch controls that reconfigure in response to the way a user operates the device |
WO2013126812A1 (en) * | 2012-02-23 | 2013-08-29 | Worcester Polytechnic Institute | An instructional system with eye-tracking-based adaptive scaffolding |
US9823742B2 (en) * | 2012-05-18 | 2017-11-21 | Microsoft Technology Licensing, Llc | Interaction and management of devices using gaze detection |
US9047784B2 (en) * | 2012-08-02 | 2015-06-02 | International Business Machines Corporation | Automatic eBook reader augmentation |
KR101319666B1 (ko) * | 2013-02-27 | 2013-10-17 | 주식회사 위두커뮤니케이션즈 | 전자서적과 연동되는 게임의 제공 장치 |
US9454220B2 (en) * | 2014-01-23 | 2016-09-27 | Derek A. Devries | Method and system of augmented-reality simulations |
US9213403B1 (en) * | 2013-03-27 | 2015-12-15 | Google Inc. | Methods to pan, zoom, crop, and proportionally move on a head mountable display |
CN103530623B (zh) * | 2013-09-16 | 2017-08-01 | 北京智谷睿拓技术服务有限公司 | 信息观察方法及信息观察装置 |
IN2014DE02666A (zh) * | 2013-09-18 | 2015-06-26 | Booktrack Holdings Ltd | |
TWI550438B (zh) * | 2013-10-04 | 2016-09-21 | 由田新技股份有限公司 | 記錄閱讀行爲的方法及裝置 |
CN103630116B (zh) * | 2013-10-10 | 2016-03-23 | 北京智谷睿拓技术服务有限公司 | 图像采集定位方法及图像采集定位装置 |
TWI533224B (zh) * | 2013-11-14 | 2016-05-11 | 原相科技股份有限公司 | 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法 |
KR102173699B1 (ko) * | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
JP6486640B2 (ja) * | 2014-10-09 | 2019-03-20 | 株式会社日立製作所 | 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法 |
US9568603B2 (en) * | 2014-11-14 | 2017-02-14 | Microsoft Technology Licensing, Llc | Eyewear-mountable eye tracking device |
US20160187976A1 (en) * | 2014-12-29 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptic effects based on eye tracking |
US10192258B2 (en) * | 2016-08-23 | 2019-01-29 | Derek A Devries | Method and system of augmented-reality simulations |
-
2015
- 2015-12-04 CN CN201510878498.6A patent/CN105528577B/zh active Active
-
2016
- 2016-07-16 US US15/212,196 patent/US20170156589A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
CN103500331A (zh) * | 2013-08-30 | 2014-01-08 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
CN104182046A (zh) * | 2014-08-22 | 2014-12-03 | 京东方科技集团股份有限公司 | 眼控提醒方法、眼控图像显示方法及显示*** |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096912A (zh) * | 2016-06-03 | 2016-11-09 | 广州视源电子科技股份有限公司 | 智能眼镜的人脸识别方法及智能眼镜 |
CN110073273A (zh) * | 2016-12-12 | 2019-07-30 | 富士胶片株式会社 | 投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序 |
CN108665689A (zh) * | 2017-03-29 | 2018-10-16 | 安子轩 | 可穿戴式智能设备及防走神提醒方法 |
CN107273895A (zh) * | 2017-06-15 | 2017-10-20 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN107273895B (zh) * | 2017-06-15 | 2020-07-14 | 幻视互动(北京)科技有限公司 | 用于头戴式智能设备的视频流实时文本识别及翻译的方法 |
CN111967327A (zh) * | 2020-07-16 | 2020-11-20 | 深圳市沃特沃德股份有限公司 | 阅读状态识别方法、装置、计算机设备和可读存储介质 |
CN111967327B (zh) * | 2020-07-16 | 2024-06-14 | 深圳市沃特沃德信息有限公司 | 阅读状态识别方法、装置、计算机设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20170156589A1 (en) | 2017-06-08 |
CN105528577B (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105528577A (zh) | 基于智能眼镜的识别方法 | |
US11164213B2 (en) | Systems and methods for remembering held items and finding lost items using wearable camera systems | |
US10311746B2 (en) | Wearable apparatus and method for monitoring posture | |
US20170112431A1 (en) | System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications | |
US8996510B2 (en) | Identifying digital content using bioresponse data | |
US10019625B2 (en) | Wearable camera for reporting the time based on wrist-related trigger | |
CN108617533A (zh) | 基于耳标的畜牧监测方法、装置及耳标监测*** | |
CN105748057A (zh) | 信息显示方法和支持该信息显示方法的电子设备 | |
CN106095089A (zh) | 一种获取感兴趣目标信息的方法 | |
CN104919396B (zh) | 在头戴式显示器中利用身体握手 | |
CN103645804A (zh) | 识别人体手势的方法、装置以及使用其的手表 | |
CN104049742A (zh) | 三维指尖追踪 | |
CN103595858A (zh) | 移动手持机设备及其方法 | |
CN205649501U (zh) | 学生智能体检一体机 | |
CN109756626B (zh) | 一种提醒方法和移动终端 | |
KR102466438B1 (ko) | 인지 기능 평가 시스템 및 인지 기능 평가 방법 | |
US20160062472A1 (en) | Recognition device, intelligent device and information providing method | |
CN109063545A (zh) | 一种疲劳驾驶检测方法及装置 | |
CN111026967B (zh) | 一种获得用户兴趣标签的方法、装置、设备和介质 | |
KR20140046652A (ko) | 학습 모니터링 장치 및 학습 모니터링 방법 | |
CN104535059A (zh) | 针对全盲人群的室内定位*** | |
CN112101124A (zh) | 一种坐姿检测方法及装置 | |
CN104820658A (zh) | 多功能电子产品集成器、终端及附加功能 | |
KR20140023199A (ko) | 이동 전화기 및 이동전화기에서 재생되는 미디어 컨텐츠의 효율성 분석 방법 | |
KR101612782B1 (ko) | 사용자 독서 관리 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |