CN106249866B - 视觉辅助眼镜及其图像识别方法 - Google Patents

视觉辅助眼镜及其图像识别方法 Download PDF

Info

Publication number
CN106249866B
CN106249866B CN201610312871.6A CN201610312871A CN106249866B CN 106249866 B CN106249866 B CN 106249866B CN 201610312871 A CN201610312871 A CN 201610312871A CN 106249866 B CN106249866 B CN 106249866B
Authority
CN
China
Prior art keywords
wearer
image
finger
human
computer interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610312871.6A
Other languages
English (en)
Other versions
CN106249866A (zh
Inventor
黄其祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenghuabo Electrical Applicance Co Ltd
Original Assignee
Wenzhou Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Polytechnic filed Critical Wenzhou Polytechnic
Priority to CN201610312871.6A priority Critical patent/CN106249866B/zh
Publication of CN106249866A publication Critical patent/CN106249866A/zh
Application granted granted Critical
Publication of CN106249866B publication Critical patent/CN106249866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明首先公开了一种视觉辅助眼镜,包括眼镜架,所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备;所述摄像头和人机交互设备均与所述图像处理器电连接,且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。本发明还公开了一种视觉辅助眼镜的图像识别方法。本发明的视觉辅助眼镜及其图像识别方法,能够实时采集佩戴者手指所指位置处的现实场景,并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者,达到辅助视觉的目的,适用于视力衰弱,减退;色盲,色弱,远近视,老花等视力受损者而非全盲者。

Description

视觉辅助眼镜及其图像识别方法
技术领域
本发明属于可使眼科病人用别种感觉代替直接视觉的仪器或方法技术领域,具体的为一种视觉辅助眼镜及其图像识别方法。
背景技术
系视觉障碍指由于先天或后天原因,导致视觉器官(眼球视觉神经、大脑视觉中心)的构造或机能发生部分或全部障碍,经治疗仍对外界事物无法(或甚难)作视觉辨识。依据相关规定,视觉未达0.3,或视野在20°以内者即为视觉障碍。根据障碍程度不同,视觉障碍可以分为两类:两眼视力测定值在0.03以上未达0.3或其视野在20°以内为弱视;两眼视力测定值未达0.03为全盲。弱视人群通常可以利用视觉进行日常生活,但是在视物方面有一定障碍,一般需要借助光学辅助设备或特殊放大设备来观察事物。但是弱视本身也有极大不同:既有缺乏立体感的,对光线敏感的,无法辨识色彩的,也有视野过于狭窄的。
视觉性辅具是指可以通过视觉途径帮助视障者提高视觉能力的设备或装置,又分为光学、非光学、电子助视器三类。光学助视器比较常见,有手持、立式放大镜,眼镜式、单筒、双筒望远镜等。光学助视器具有容易使用、携带方便、价格低等特点,也是低视力患者使用的主要助视器具;但它也存在一些使用上的局限性,如放大倍数低,阅读范围小,长期使用会引起姿势不良,会受到光源的影响等。非光学助视器,指通过改善周围的环境来提高视觉效果。如:放大的印刷品以改变阅读物的大小,高强度的照射器以增加对比度,高对比度的物件以利于局部物品的区分等。电子助视器是一种电子视讯装置,能将阅读的文件、图片、观察的物品等通过摄影镜头,将影像传送到屏幕上供使用者浏览。
综上可知,现有的电子助视器一般采用放大影像的方式来使视觉障碍者看清外界事物,虽然在一定程度上能够满足使用要求,但是这样的电子助视器一方面存在结构复杂(需要内置或外置显示屏)的缺点,另一方面,对于一些视觉障碍者而言,放大的影像仍不足以使其看清外界事物。
发明内容
有鉴于此,本发明的目的在于提供一种视觉辅助眼镜及其图像识别方法,能够实时采集佩戴者手指所指位置处的现实场景,并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者,达到辅助视觉的目的。
为达到上述目的,本发明提供如下技术方案:
本发明首先提出了一种视觉辅助眼镜,包括眼镜架,所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备;所述摄像头和人机交互设备均与所述图像处理器电连接,且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机。
进一步,所述人机交互设备还包括设置在所述眼镜架上的微振动器。
本发明还提出了一种如上所述视觉辅助眼镜的图像识别方法,包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法;
所述佩戴者手指识别方法包括如下步骤:
1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处,所述摄像头对佩戴者手部及其所指区域进行摄像,并将拍摄的图像传输至所述图像处理器;
2)所述图像处理器识别出佩戴者整个手部的手势图像轮廓;
3)在所述手势图像轮廓上取若干点并垂直做射线,每一个点上的射线为两条,且位于所述手势图像轮廓内的一条射线与所述手势图像轮廓相交形成一段线段;采集线段的长度数据,且当线段的长度增长或缩短的速率大于设定的阀值时,所述图像处理器则将该手势图像轮廓区域认定为佩戴者手指所在位置区域;
4)按照预设要求放大或缩小所述佩戴者手指所在位置区域,并将其与预存在所述图像处理器内的佩戴者手指图像轮廓模型进行对比;
5)若对比识别成功,则对比失败次数清零,并找出所述手势图像轮廓中的指尖所在位置,并将对比成功的信息通过人机交互设备反馈给佩戴者;若对比失败,则对比失败次数加1,若对比失败次数小于设定次数,则重复步骤3)和步骤4),若对比失败次数等于设定次数,将对比失败的信息通过人机交互设备反馈给佩戴者,并根据佩戴者指令结束图像识别或重复步骤1)至步骤4);
所述佩戴者手指所指区域图像识别方法识别所述手指指尖所指位置区域的图像信息,并将该图像信息通过所述人机交互设备反馈至佩戴者。
进一步,所述步骤2)中,采用基于深度的识别算法或基于灰度的识别算法识别出佩戴者整个手部的手势图像轮廓。
本发明的有益效果在于:
本发明的视觉辅助眼镜,通过摄像头对佩戴者手部及周边区域进行摄像,而后通过佩戴者手指识别方法识别佩戴者伸出手指的指尖位置,利用现有的图像识别技术对指尖所指区域的图像进行处理分析,并将分析处理后的结果通过耳机或骨传导耳机反馈给佩戴者,使佩戴者能够正确识别器指尖所指物品,避免了如现有的电子助视器仍采用图像反馈而导致使用者看不清的缺陷,即本发明的视觉辅助眼镜能够实时采集佩戴者手指所指位置处的现实场景,并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者,达到辅助视觉的目的,适用于视力衰弱,减退;色盲,色弱,远近视,老花等视力受损者而非全盲者。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明视觉辅助眼镜实施例的结构示意图;
图2为手势图像轮廓的结构示意图;
图3为在手势图像轮廓上取点并做射线的结构示意图(仅标注了位于手势图像轮廓内的射线);
图4为射线与手势图像轮廓相交形成线段时的结构示意图;
图5为手指所在区域的线段长度变化的结构示意图;
图6为将佩戴者手指所在位置区域与预存的佩戴者手指图像轮廓模型进行对比的原理图;
图7为采用本实施例的视觉辅助眼镜识别红绿灯或站牌信息时的使用状态参考图;
图8为采用本实施例的视觉辅助眼镜识别汽车时的使用状态参考图;
图9为采用本实施例的视觉辅助眼镜识别书本或报纸上的文字时的使用状态参考图;
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
如图1所示,为本发明视觉辅助眼镜实施例的结构示意图。本实施例的视觉辅助眼镜,包括眼镜架1,眼镜架1上安装设有用于对佩戴者所指位置进行拍照的摄像头2、用于对摄像头2拍摄的图像进行图像处理的图像处理器3和用于将图像处理结果反馈给佩戴者的人机交互设备4。摄像头2和人机交互设备4均与图像处理器3电连接,且人机交互设备4包括佩戴在佩戴者耳部的耳机或骨传导耳机,当佩戴者听力正常时,则采用耳机即可满足使用要求;若佩戴者有听力障碍时,则需佩戴骨传导耳机。
进一步,人机交互设备4还包括设置在眼镜架上的微振动器,可通过微振动器的不同震动模式来将手指识别成功或失败的信息反馈给佩戴者。
下面对采用本实施例的视觉辅助眼镜进行图像识别的方法进行详细说明。
本实施例视觉辅助眼镜的图像识别方法,包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法;
其中,佩戴者手指识别方法包括如下步骤:
1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处,摄像头2对佩戴者手部及其所指区域进行摄像,并将拍摄的图像传输至图像处理器3;
2)图像处理器3识别出佩戴者整个手部的手势图像轮廓,如图2所示,现有的可识别佩戴者整个手部的手势图像轮廓的方法有多种,如可采用基于深度的识别算法或基于灰度的识别算法识别出佩戴者整个手部的手势图像轮廓,本实施例采用基于深度的识别算法识别出佩戴者整个手部的手势图像轮廓;
3)在手势图像轮廓上取若干点并垂直做射线,每一个点上的射线为两条,且位于手势图像轮廓内的一条射线与手势图像轮廓相交形成一段线段,如图3和图4所示;采集线段的长度数据,且当线段的长度增长或缩短的速率大于设定的阀值时,图像处理器则将该手势图像轮廓区域认定为佩戴者手指所在位置区域,如图5所示;
4)按照预设要求放大或缩小佩戴者手指所在位置区域,并将其与预存在图像处理器内的佩戴者手指图像轮廓模型进行对比,如图6所示;
5)若对比识别成功,则对比失败次数清零,并找出手势图像轮廓中的指尖所在位置,并将对比成功的信息通过人机交互设备4反馈给佩戴者;若对比失败,则对比失败次数加1,若对比失败次数小于设定次数,则重复步骤3)和步骤4),若对比失败次数等于设定次数,将对比失败的信息通过人机交互设备反馈给佩戴者,并根据佩戴者指令结束图像识别或重复步骤1)至步骤4);
本实施例的设定次数取值为5,在使用过程中,在其他未伸出的手指处可能会存在凸起,在该凸起处,线段的长度变化速率会大于设定的阀值,此时图像处理器3会将手势图像轮廓在该凸起的位置区域与预存在图像处理器内的佩戴者手指图像轮廓模型进行对比,对比则会失败;通过限定失败次数为5次,一方面可避免进入循环对比的死循环,另一方面可充分考虑到5根手指均可进行充分对比,进而实现对手势图像轮廓的全方位对比,当然,该设定次数还可设定为6次及6次以上,其原理相当,不再累述。
佩戴者手指所指区域图像识别方法识别手指指尖所指位置区域的图像信息,并将该图像信息通过人机交互设备4反馈至佩戴者,其中佩戴者手指所指区域图像识别方法可采用现有的多种图像识别方法实现,这些识别方法均能够正确识别手指所指物品的信息,不再累述。
本实施例的视觉辅助眼镜,通过摄像头对佩戴者手部及周边区域进行摄像,而后通过佩戴者手指识别方法识别佩戴者伸出手指的指尖位置,利用现有的图像识别技术对指尖所指区域的图像进行处理分析,并将分析处理后的结果通过耳机或骨传导耳机反馈给佩戴者,使佩戴者能够正确识别器指尖所指物品,避免了如现有的电子助视器仍采用图像反馈而导致使用者看不清的缺陷,即本实施例的视觉辅助眼镜能够实时采集佩戴者手指所指位置处的现实场景,并通过图像处理将现实场景内的信息通过语音等方式反馈给佩戴者,达到辅助视觉的目的,适用于视力衰弱,减退;色盲,色弱,远近视,老花等视力受损者而非全盲者。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (3)

1.一种视觉辅助眼镜的图像识别方法,其特征在于:所述视觉辅助眼镜包括眼镜架,所述眼镜架上安装设有用于对佩戴者所指位置进行拍照的摄像头、用于对所述摄像头拍摄的图像进行图像处理的图像处理器和用于将图像处理结果反馈给佩戴者的人机交互设备;所述摄像头和人机交互设备均与所述图像处理器电连接,且所述人机交互设备包括佩戴在佩戴者耳部的耳机或骨传导耳机;
包括佩戴者手指识别方法和佩戴者手指所指区域图像识别方法;
所述佩戴者手指识别方法包括如下步骤:
1)佩戴者的其中一根手指伸出并指向需要识别的区域位置处,所述摄像头对佩戴者手部及其所指区域进行摄像,并将拍摄的图像传输至所述图像处理器;
2)所述图像处理器识别出佩戴者整个手部的手势图像轮廓;
3)在所述手势图像轮廓上取若干点并垂直做射线,每一个点上的射线为两条,且位于所述手势图像轮廓内的一条射线与所述手势图像轮廓相交形成一段线段;采集线段的长度数据,且当线段的长度增长或缩短的速率大于设定的阀值时,所述图像处理器则将该手势图像轮廓区域认定为佩戴者手指所在位置区域;
4)按照预设要求放大或缩小所述佩戴者手指所在位置区域,并将其与预存在所述图像处理器内的佩戴者手指图像轮廓模型进行对比;
5)若对比识别成功,则对比失败次数清零,并找出所述手势图像轮廓中的指尖所在位置,并将对比成功的信息通过人机交互设备反馈给佩戴者;若对比失败,则对比失败次数加1,若对比失败次数小于设定次数,则重复步骤3)和步骤4),若对比失败次数等于设定次数,将对比失败的信息通过人机交互设备反馈给佩戴者,并根据佩戴者指令结束图像识别或重复步骤1)至步骤4);
所述佩戴者手指所指区域图像识别方法识别所述手指指尖所指位置区域的图像信息,并将该图像信息通过所述人机交互设备反馈至佩戴者。
2.根据权利要求1所述的视觉辅助眼镜的图像识别方法,其特征在于:所述步骤2)中,采用基于深度的识别算法或基于灰度的识别算法识别出佩戴者整个手部的手势图像轮廓。
3.根据权利要求1所述的视觉辅助眼镜的图像识别方法,其特征在于:所述人机交互设备还包括设置在所述眼镜架上的微振动器。
CN201610312871.6A 2016-05-12 2016-05-12 视觉辅助眼镜及其图像识别方法 Active CN106249866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610312871.6A CN106249866B (zh) 2016-05-12 2016-05-12 视觉辅助眼镜及其图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610312871.6A CN106249866B (zh) 2016-05-12 2016-05-12 视觉辅助眼镜及其图像识别方法

Publications (2)

Publication Number Publication Date
CN106249866A CN106249866A (zh) 2016-12-21
CN106249866B true CN106249866B (zh) 2018-11-13

Family

ID=57626984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610312871.6A Active CN106249866B (zh) 2016-05-12 2016-05-12 视觉辅助眼镜及其图像识别方法

Country Status (1)

Country Link
CN (1) CN106249866B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007437A (zh) * 2017-03-31 2017-08-04 北京邮电大学 交互式盲人辅助方法及设备
CN109542231B (zh) * 2018-11-29 2022-04-08 达闼科技(北京)有限公司 一种反馈信息的方法、装置、电子设备和存储介质
CN109559536B (zh) * 2018-12-10 2021-06-08 百度在线网络技术(北京)有限公司 交通灯、交通灯识别方法、装置、设备及存储介质
CN114302129A (zh) * 2021-12-27 2022-04-08 杭州瑞杰珑科技有限公司 一种基于ar的视力辅助方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008003455U1 (de) * 2008-03-11 2008-07-03 Chen, Lu, Dr. Tragbares Gerät als Orientierungshilfe für Blinde
CN103720576A (zh) * 2013-11-27 2014-04-16 山东科技大学 一种盲人导航眼镜
CN104143084A (zh) * 2014-07-17 2014-11-12 武汉理工大学 一种针对视力障碍人群的辅助阅读眼镜
KR20150012173A (ko) * 2013-07-24 2015-02-03 김도영 시각장애인을 위한 독서용 안경
CN104473717A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜***
TW201603791A (zh) * 2014-07-31 2016-02-01 Richplay Information Co Ltd 導盲行動裝置定位系統及其運作方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202008003455U1 (de) * 2008-03-11 2008-07-03 Chen, Lu, Dr. Tragbares Gerät als Orientierungshilfe für Blinde
KR20150012173A (ko) * 2013-07-24 2015-02-03 김도영 시각장애인을 위한 독서용 안경
CN103720576A (zh) * 2013-11-27 2014-04-16 山东科技大学 一种盲人导航眼镜
CN104143084A (zh) * 2014-07-17 2014-11-12 武汉理工大学 一种针对视力障碍人群的辅助阅读眼镜
TW201603791A (zh) * 2014-07-31 2016-02-01 Richplay Information Co Ltd 導盲行動裝置定位系統及其運作方法
CN104473717A (zh) * 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜***

Also Published As

Publication number Publication date
CN106249866A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
US10867449B2 (en) Apparatus and method for augmenting sight
CN105164576B (zh) 对适配于佩戴者的头戴式电光设备进行控制的方法
CN106249866B (zh) 视觉辅助眼镜及其图像识别方法
CN104306102B (zh) 针对视觉障碍患者的头戴式视觉辅助***
US8902303B2 (en) Apparatus connectable to glasses
WO2021004138A1 (zh) 一种屏幕显示方法、终端设备及存储介质
CN104570347B (zh) 头戴式显示装置及其成像方法
CN105867605A (zh) 虚拟现实头盔的功能菜单翻页方法、装置及头盔
CN109725423B (zh) 单眼ar眼镜亮度自动调节的方法、存储介质
CN110619303A (zh) 注视点追踪方法、装置、终端及计算机可读存储介质
CN106448088A (zh) 一种智能化可穿戴式视力保护装置及方法
CN107028738B (zh) 基于眼动的视觉训练***、智能终端及头戴设备
JP6036291B2 (ja) 表示装置、表示システム、および、表示装置の制御方法
CN104535059A (zh) 针对全盲人群的室内定位***
CN107307981A (zh) 基于眼动的视觉训练方法
CN104483754A (zh) 针对视觉障碍患者的头戴式多媒体终端辅助观看***
CN206292723U (zh) 具有虹膜识别功能的虚拟现实眼镜
CN107065198A (zh) 头戴显示设备的视觉优化方法
CN105380590A (zh) 一种具有眼位检测功能的设备及其实现方法
CN206193792U (zh) 支持头戴模式人机交互与身份认证的虚拟现实设备
US6709101B1 (en) Apparatus and method for avoiding ocular muscular fatigue
CN206865559U (zh) 一种基于智能终端的验光***
Younis et al. Augmented and virtual reality approaches to help with peripheral vision loss
CN207586547U (zh) 一种基于感应模组的增强现实显示装置
CN218413524U (zh) 眼部追踪装置及智能眼镜

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 325006 Zhejiang, Ouhai, South East Road, No. 38, Wenzhou National University Science Park Incubator

Applicant after: Wenzhou Vocational & Technical College

Address before: 325035 Zhejiang province Chashan Wenzhou Higher Education Park of Wenzhou Vocational and Technical College

Applicant before: Wenzhou Vocational & Technical College

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200107

Address after: 325204 International Automobile & Motorcycle Industrial Park, Wenzhou, Zhejiang, Ruian

Patentee after: Zhejiang Shenghuabo Electrical Applicance Co., Ltd.

Address before: 325006 Zhejiang, Ouhai, South East Road, No. 38, Wenzhou National University Science Park Incubator

Patentee before: Wenzhou Vocational & Technical College