CN110471532B - 整合眼球追踪与手势操控之车载装置 - Google Patents

整合眼球追踪与手势操控之车载装置 Download PDF

Info

Publication number
CN110471532B
CN110471532B CN201910764242.0A CN201910764242A CN110471532B CN 110471532 B CN110471532 B CN 110471532B CN 201910764242 A CN201910764242 A CN 201910764242A CN 110471532 B CN110471532 B CN 110471532B
Authority
CN
China
Prior art keywords
display
control
vehicle
eyeball
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910764242.0A
Other languages
English (en)
Other versions
CN110471532A (zh
Inventor
林柏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201910764242.0A priority Critical patent/CN110471532B/zh
Priority to TW108130086A priority patent/TW202109130A/zh
Publication of CN110471532A publication Critical patent/CN110471532A/zh
Application granted granted Critical
Publication of CN110471532B publication Critical patent/CN110471532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Instrument Panels (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种整合眼球追踪与手势操控之车载装置，包括：一抬头显示器及一3D深度感测模组；其中，该3D深度感测模组设于该汽车中控平台上，与该抬头显示器连接，其可发射红外线绕射散斑，投射至驾驶员之眼球位置，并接收自眼球反射之红外线散斑，利用落于眼球中的不重复散斑与瞳孔所形成的反射向量，定义眼球位置，并依据此一位置之瞳孔移动造成的反射向量的变化进行视线落点的追踪修正，再藉由一视线映射函数进行补偿计算，而推算出视线落点位置，当视线落点位置在该汽车前档玻璃时，即进行控制该抬头显示器的回馈显示，当视线落点位置在一控制界面时，即启动手势辨识演算，进行手势控制车内***。

Description

整合眼球追踪与手势操控之车载装置
技术领域
本发明系一种整合眼球追踪与手势操控之车载设计，尤指一种藉由追踪眼球注视位置，进行抬头显示器的回馈显示，同时在不使用抬头显示器时，亦能以手势辨识来反馈车内之控制。
背景技术
按，随着汽车的智能的科技发展，车载***愈来愈复杂，传统的人机互动界面(例如：旋钮、触控屏幕...等)已无法满足使用者的体验。
但是目前新兴的车载人机互动方案，比如手势辨识、抬头显示，仍存在一些缺点：其1，手势辨识只能支持单一操作指令、若过于复杂容易造成驾驶员分心；其2，单纯通过摄影机(camera)捕捉手势，较难体现深度的控制指令，识别错误与操作延迟问题；其3，抬头显示器，沿用原屏幕显示的逻辑，过少信息导致体验不足，过多的信息导致驾驶分心。
而且，请参阅图1A、图1B所示，目前眼球追踪技术在非侵入式的架构下，以主动式投射红外线光束11到虹膜12提取特征具有较佳的精准度。但容易受限光源13位置固定问题，导致侦测范围局限的问题。
由此可见，上述习用物品仍有诸多缺失，实非一良善之设计者，而亟待加以改良。
发明内容
有鉴于此，本案发明人本于多年从事相关产品之制造开发与设计经验，针对上述之目标，详加设计与审慎评估后，终得一确具实用性之本发明。
本发明之目的，在提供一种整合眼球追踪与手势操控之车载装置，系藉由追踪眼球注视位置，进行抬头显示器的回馈显示，同时在不使用抬头显示器时，亦能以手势辨识来反馈车内之控制。
根据上述之目的，本发明之整合眼球追踪与手势操控之车载装置，其主要系包括有：一抬头显示器及一3D深度感测模组；其中，该抬头显示器设于一汽车前档玻璃上；该3D深度感测模组设于该汽车中控平台上，与该抬头显示器电性连接，其可发射红外线绕射散斑，投射至驾驶员之眼球位置，并接收自眼球反射之红外线散斑，利用落于眼球中的不重复散斑与瞳孔所形成的反射向量，定义眼球位置，并依据此一位置之瞳孔移动造成的反射向量的变化进行视线落点的追踪修正，再藉由一视线映射函数进行补偿计算，而推算出视线落点位置，当视线落点位置在该汽车前档玻璃时，即进行控制该抬头显示器的回馈显示，当视线落点位置在该3D深度感测模组之一控制界面时，即启动手势辨识演算，进行手势控制车内***；藉此，通过追踪眼球注视位置，当视线落点位置在该汽车前档玻璃时，进行抬头显示器的回馈显示，当视线落点位置在该控制界面时即启动手势辨识演算，进行手势控制车内***，如此，即能于驾驶车辆时，利用视线落点操控抬头显示器的回馈显示，同时在不使用抬头显示器时，亦能以手势辨识来反馈车内之控制。
为方便对本发明之目的、形状、构造装置特征及其功效，做更进一步之认识与了解，兹举实施例配合图式，详细说明如下：
附图说明
图1A、图1B为习用主动式投射红外线光束到虹膜提取特征示意图。
图2A、图2B、图2C为本发明整合眼球追踪与手势操控之车载设计之取得眼球移动坐标位置之示意图。
图3为本发明整合眼球追踪与手势操控之车载设计之硬件架构示意图。
图4为本发明整合眼球追踪与手势操控之车载设计之流程图。
标记说明：
抬头显示器20
汽车前档玻璃21
驾驶员22
眼球221
瞳孔222
3D深度感测模组30
汽车中控平台31
散斑32
控制界面33
手势34
步骤101
步骤102
步骤103
步骤104
步骤105
步骤106
步骤107
步骤108
步骤109
步骤110
步骤111
具体实施方式
本发明乃有关一种「整合眼球追踪与手势操控之车载装置」，请参阅图2A、图2B、图2C、图3所示，本发明之整合眼球追踪与手势操控之车载设计，其主要系包括有：一抬头显示器20及一3D深度感测模组30。
其中，该抬头显示器20设于一汽车前档玻璃21上，该抬头显示器20可为一投射式抬头显示器，但不限定只为投射式，本发明实施例中亦可为一放置于汽车前档玻璃21上之透明显示器或一放置于汽车前档玻璃21上之微型LED显示器(Micro LED)…等。
该3D深度感测模组30设于一汽车中控平台31上，与该抬头显示器20电性连接，其可发射红外线绕射散斑32，投射至驾驶员22之眼球221位置，并接收自眼球221反射之红外线散斑32，利用落于眼球221中的不重复散斑32与瞳孔222所形成的反射向量，定义眼球221位置，并依据此一位置之瞳孔222移动造成的反射向量的变化进行视线落点的追踪修正，再藉由一视线映射函数进行补偿计算，而推算出视线落点位置，当视线落点位置在该汽车前档玻璃21时，即进行控制该抬头显示器20的回馈显示，当视线落点位置在该3D深度感测模组30之一控制界面33时，即启动手势辨识演算，进行手势34控制车内***。
藉上述构件之组成，通过追踪眼球221注视位置，当视线落点位置在该汽车前档玻璃21时，进行抬头显示器20的回馈显示，当视线落点位置在该控制界面33时即启动手势辨识演算，进行手势34控制车内***，避免行车过程过多干扰影响安全。
如此一来，即能于驾驶车辆时，利用视线落点操控抬头显示器20的回馈显示，同时在不使用抬头显示器20时，亦能以手势34辨识来反馈车内之控制。
请参阅图4所示，撷取散斑32运算流程，系依下列步骤进行处理：
步骤101：接收自眼球221反射之红外线散斑32。
步骤102：脸部方位定义。
步骤103：利用落于眼球221中的不重复散斑32与瞳孔222所形成的反射向量，定义眼球221位置。
步骤104：依据此一位置之瞳孔222移动造成的反射向量的变化进行视线落点的追踪修正。
步骤105：藉由一视线映射函数进行补偿计算，而推算出视线落点位置。
步骤106：当视线落点位置在该汽车前档玻璃21时。
步骤107：即进行控制该抬头显示器20的回馈显示，该回馈显示系搭配车外辨识***，或整合GPS***，可以反馈外界信息，例如：车速、引擎温度、引擎转速、路标指引、天气信息、限速、前车距离、旅游饮食、来电显示、视讯…等。
步骤108：当视线落点位置在该控制界面33时。
步骤109：即启动手势辨识演算，进行手势34控制车内***。
步骤110：如此即可利用不同之手势34操控车内***，例如路标指引操控、外界显示信息控制、控制车内冷气、控制车内音响、控制车内灯光、控制车内椅座等。
步骤111：使车内***回馈该手势34操控之动作。
复请参阅图2A、图2B、图2C、图3所示，该3D深度感测模组30系利用在人眼面积界定下不重复之散斑结构光进行多区位置、大范围的眼球221追踪，在工作区内，以眼球221面积做为基础进行圈划，在圈划的区域内均不会有重复的散斑32。定义瞳孔222中心位置后，与坐落在眼球221区域内的散斑32中心位置，进行反射向量的定义。在同一位置上，若瞳孔222移动，则瞳孔222与散斑32所形成之反射向量就会产生差异，依据各反射向量即可进行眼球221瞳孔222的追踪。
复请参阅图2A、图2B、图2C、图3所示，由于在人眼面积界定下不重复之散斑结构光进行多区位置、大范围的眼球221追踪，若头部位置移动，或者操作者不同，因为在工作区内不会有重复相对位置的散斑32，故可快速获得人眼位置并与邻近散斑32进行反射向量定义(如图2所示)，提高工作范围之外，不同人使用可不经过校正仍保持侦测精度。
复请参阅图2A、图2B、图2C、图3所示，本发明系为一整合眼球追踪、手势操控与抬头显示***，建立自然的人机互动方式，藉由眼球221追踪优化抬头显示器20的显示逻辑，并能维持简易的手势辨识，达到多类的操作需求，提升使用者的体验。即藉由眼球追踪行为，链接视线落点进行抬头显示器20的回馈显示或手势34辨识反馈车内控制。
以上所述，仅为本发明最佳具体实施例，惟本发明之构造特征并不局限于此，任何熟悉该项技艺者在本发明领域内，可轻易思及之变化或修饰，皆可涵盖在以下本案之专利范围。

Claims (3)

1.一种整合眼球追踪与手势操控的车载装置，其特征在于，包括：
一抬头显示器，该抬头显示器设于一汽车前档玻璃上；及
一3D深度感测模组，该3D深度感测模组设于一汽车中控平台上，与该抬头显示器电性连接，其可发射红外线绕射散斑，投射至驾驶员之眼球位置，并接收自眼球反射之红外线散斑，利用落于眼球中的不重复散斑与瞳孔所形成的反射向量，定义眼球位置，并依据此一位置之瞳孔移动造成的反射向量的变化进行视线落点的追踪修正，再藉由一视线映射函数进行补偿计算，而推算出视线落点位置，当视线落点位置在该汽车前档玻璃时，即进行控制该抬头显示器的回馈显示，当视线落点位置在该3D深度感测模组之一控制界面时，即启动手势辨识演算，进行手势控制车内***。
2.如权利要求1所述的整合眼球追踪与手势操控的车载装置，其中该抬头显示器的回馈显示系搭配车外辨识***，或整合GPS***，可以反馈外界信息，包括车速、路标指引、天气信息、限速、前车距离、引擎温度、引擎转速、旅游饮食、来电显示、视讯。
3.如权利要求1所述的整合眼球追踪与手势操控的车载装置，其中该手势控制车内***包括路标指引操控、外界显示信息控制、控制车内冷气、控制车内音响、控制车内灯光。
CN201910764242.0A 2019-08-19 2019-08-19 整合眼球追踪与手势操控之车载装置 Active CN110471532B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910764242.0A CN110471532B (zh) 2019-08-19 2019-08-19 整合眼球追踪与手势操控之车载装置
TW108130086A TW202109130A (zh) 2019-08-19 2019-08-22 整合眼球追蹤與手勢操控之車載裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910764242.0A CN110471532B (zh) 2019-08-19 2019-08-19 整合眼球追踪与手势操控之车载装置

Publications (2)

Publication Number Publication Date
CN110471532A CN110471532A (zh) 2019-11-19
CN110471532B true CN110471532B (zh) 2023-04-18

Family

ID=68511070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910764242.0A Active CN110471532B (zh) 2019-08-19 2019-08-19 整合眼球追踪与手势操控之车载装置

Country Status (2)

Country Link
CN (1) CN110471532B (zh)
TW (1) TW202109130A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222597A (zh) * 2018-11-26 2020-06-02 我查查信息技术(上海)有限公司 防伪物的印刷方法
CN111045521A (zh) * 2019-12-27 2020-04-21 上海昶枫科技有限公司 汽车电子装置控制***及控制方法
CN111025999A (zh) * 2019-12-27 2020-04-17 上海昶枫科技有限公司 汽车电子控制器节能控制工艺
CN110962797A (zh) * 2019-12-27 2020-04-07 上海昶枫科技有限公司 汽车电子转向柱锁控制***及方法
CN111196281A (zh) * 2020-01-03 2020-05-26 恒大新能源汽车科技(广东)有限公司 一种车机显示界面的页面布局控制方法及装置
CN111439503B (zh) * 2020-04-26 2021-08-06 东风汽车集团有限公司 一种车内垃圾自动分类***及方法
CN114326119A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 抬头显示装置和抬头显示方法
CN112947761B (zh) * 2021-03-26 2023-07-28 芜湖汽车前瞻技术研究院有限公司 Ar-hud***的虚像位置调整方法、装置及存储介质
CN113504648A (zh) * 2021-07-07 2021-10-15 合肥视涯显示科技有限公司 一种可穿戴显示装置及其驱动方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855585A (zh) * 2007-11-09 2010-10-06 纳卢克斯株式会社 成像光学***以及距离测定装置
CN102525406A (zh) * 2012-02-14 2012-07-04 苏州微清医疗器械有限公司 一种视网膜三维成像装置
CN106716223A (zh) * 2014-09-24 2017-05-24 微软技术许可有限责任公司 采用可切换衍射光栅的波导眼睛跟踪

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649319B2 (ja) * 2005-11-21 2011-03-09 日本電信電話株式会社 視線検出装置、視線検出方法、および視線検出プログラム
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
EP2979128B1 (en) * 2013-03-25 2017-10-25 Intel Corporation Method for displaying an image projected from a head-worn display with multiple exit pupils
CN105094300B (zh) * 2014-05-16 2017-12-12 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪***及方法
KR102555925B1 (ko) * 2016-11-10 2023-07-13 매직 립, 인코포레이티드 스페클 패턴들을 사용하는 눈 추적을 위한 방법 및 시스템
CN109828655A (zh) * 2017-11-23 2019-05-31 英属开曼群岛商麦迪创科技股份有限公司 车辆多荧幕控制***及车辆多荧幕控制方法
CN108615159A (zh) * 2018-05-03 2018-10-02 百度在线网络技术（北京）有限公司 基于注视点检测的访问控制方法和装置
CN109326085B (zh) * 2018-11-08 2020-07-31 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855585A (zh) * 2007-11-09 2010-10-06 纳卢克斯株式会社 成像光学***以及距离测定装置
CN102525406A (zh) * 2012-02-14 2012-07-04 苏州微清医疗器械有限公司 一种视网膜三维成像装置
CN106716223A (zh) * 2014-09-24 2017-05-24 微软技术许可有限责任公司 采用可切换衍射光栅的波导眼睛跟踪

Also Published As

Publication number Publication date
TW202109130A (zh) 2021-03-01
CN110471532A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110471532B (zh) 整合眼球追踪与手势操控之车载装置
US11079594B2 (en) Head-up display device
US9855890B2 (en) Autonomous vehicle interaction with external environment
US9517776B2 (en) Systems, methods, and apparatus for controlling devices based on a detected gaze
US20170028995A1 (en) Vehicle control apparatus
JP2016506572A (ja) インフォテイメントシステム
KR101519290B1 (ko) 차량용 헤드 업 디스플레이 제어방법
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
JP5866545B1 (ja) 表示制御装置および表示制御プログラム
US20150261350A1 (en) Terminal, vehicle having the same and method for the controlling the same
US10994612B2 (en) Agent system, agent control method, and storage medium
CN106740114A (zh) 基于增强现实技术的智能汽车人机交互***
US11850941B2 (en) Display control apparatus, display apparatus, display system, moving body, program, and image generation method
CN109507799A (zh) 车载hud显示方法和***
US10723348B2 (en) Vehicle with driver warning system and method of control
JP2015180561A (ja) 表示制御装置、表示装置および表示制御プログラム
US12005832B2 (en) Vehicle display system, vehicle system, and vehicle
US20190339535A1 (en) Automatic eye box adjustment
US20220242430A1 (en) Vehicle information display system, vehicle information display device, and vehicle control system
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作***及存储介质
CN111727132B (zh) 电子设备及其文本提供方法
US20220036598A1 (en) Vehicle user interface device and operating method of vehicle user interface device
JP6727400B2 (ja) 表示制御装置及び表示制御方法
US20240190338A1 (en) Data processing device and data processing method
US20240227664A1 (en) Vehicle display system, vehicle system, and vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant