CN107380064B - 一种基于增强现实技术的车载视线追踪装置 - Google Patents

一种基于增强现实技术的车载视线追踪装置 Download PDF

Info

Publication number
CN107380064B
CN107380064B CN201710539990.XA CN201710539990A CN107380064B CN 107380064 B CN107380064 B CN 107380064B CN 201710539990 A CN201710539990 A CN 201710539990A CN 107380064 B CN107380064 B CN 107380064B
Authority
CN
China
Prior art keywords
vehicle
sight
automobile
data
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710539990.XA
Other languages
English (en)
Other versions
CN107380064A (zh
Inventor
杜煜
傅之成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qingyan Technology Co ltd
Original Assignee
Shanghai Qingyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qingyan Technology Co ltd filed Critical Shanghai Qingyan Technology Co ltd
Priority to CN201710539990.XA priority Critical patent/CN107380064B/zh
Publication of CN107380064A publication Critical patent/CN107380064A/zh
Application granted granted Critical
Publication of CN107380064B publication Critical patent/CN107380064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于增强现实技术的车载视线追踪装置，包括图像采集装置、人车交互显示装置、视线追踪模块和控制模块，控制模块包括控制器、数据处理器和数据存储器，视线追踪模块包括光源组件和图像传感器，视线追踪模块追踪汽车使用者视线注视目标，捕捉视线特征，控制器根据视线特征生成对应的控制指令，图像采集装置根据控制指令采集汽车外部图像并提取图像特征，图像特征经由数据处理器处理后形成数据信息，数据信息与数据存储器中的存储数据进行匹配，控制器将匹配成功的存储数据所对应的可视化程序显示于人车交互显示装置。上述基于增强现实技术的车载视线追踪装置，可以帮助汽车使用者实时了解视野范围内兴趣目标的信息数据。

Description

一种基于增强现实技术的车载视线追踪装置
技术领域
本发明属于汽车配件领域，尤其涉及一种增强现实技术的车载视线追踪装置。
背景技术
随着汽车的普及与发展，人们对于汽车提出了更高的要求，智能化已经成为当今汽车发展的方向，增强现实技术的普及也为汽车智能化发展提供了新的路径。
增强现实技术可以通过视频和互联网技术，获得周边目标的信息，并将其显示在特定的显示界面上，使用者通过显示界面与周边现实目标进行互动。
将增强现实技术应用于汽车领域可以让汽车使用者能够与汽车周围环境实现更好的互动，给汽车使用者带来全新的驾乘体验。
发明内容
本发明的技术方案可以帮助汽车使用者实时了解视野范围内兴趣目标的信息数据。
本发明的具体技术方案为：一种基于增强现实技术的车载视线追踪装置，包括用于拍摄汽车外部图像的图像采集装置、设置于汽车使用者前方的人车交互显示装置、设置于汽车内部的视线追踪模块和控制模块，控制模块包括控制器、数据处理器和数据存储器，视线追踪模块包括光源组件和图像传感器。视线追踪模块追踪汽车使用者视线，根据汽车使用者视线与车外目标空间位置的对应关系确定汽车使用者注视目标；视线追踪模块捕捉视线特征，控制器根据视线特征生成对应的控制指令，图像采集装置根据控制指令采集汽车外部图像并提取图像特征，图像特征经由数据处理器处理后形成数据信息，数据信息与数据存储器中的存储数据进行匹配，控制器将匹配成功的存储数据所对应的可视化程序显示于人车交互显示装置。
作为本发明的进一步优化，汽车使用者的视线特征是使用者视线注视位置在设定的时间周期内驻留在同一空间范围。
作为本发明的进一步优化，汽车使用者的视线特征是使用者视线注视位置在2秒内驻留在同一空间范围。当设定的时间周期小于2秒时，装置识别的噪音过多，增加装置误判率；当设定的时间周期大于2秒时，由于汽车处于行驶状态，物体脱离视野的情况增多，进而造成识别失败，而且，这种设定会让汽车使用者感觉装置反应过慢，容易造成视觉疲劳。通过大量的实验数据总结得出，时间周期设定为2秒可以获得良好的体验。
作为本发明的进一步优化，数据存储器中的存储数据为街景数据，汽车使用者可以通过车载视线追踪装置了解其所在街区的各种信息，信息包括街道交通状况信息、建筑物内商户信息以及建筑物的历史信息等。这种技术方案可以使汽车使用者不用走下汽车即可以实时了解身边各种信息。
作为本发明的进一步优化，基于增强现实技术的车载视线追踪装置安装在自动驾驶汽车上。由于自动驾驶汽车无需汽车使用者观看路况及路面信息，汽车使用者可以集中注意力欣赏兴趣目标，因此能够获得更佳的体验。
作为本发明的进一步优化，视线追踪模块设置在连接于汽车操控平台的眼镜上，眼镜与汽车操控平台的连接方式是有线或无线连接。此种方案可以实现视线追踪模块的量身定制，提高装置的识别准确率。
作为本发明的进一步优化，图像采集装置设置在汽车的前部，可以实现对汽车行驶方向的目标物体进行更好的图像采集。
作为本发明的进一步优化，视线追踪模块追踪汽车使用者视线注视位置，视线特征为汽车使用者在1秒内连续眨眼两次以上，控制指令为在人车交互显示装置上出现控制光标，汽车使用者通过视线实现对控制光标的操控，进而实现对人车交互显示装置上的可视化程序的操控。
作为本发明的进一步优化，视线追踪模块追踪汽车使用者视线注视位置，视线特征为汽车使用者在1秒内连续眨眼两次以上，控制指令为在人车交互显示装置上出现控制光标，汽车使用者通过视线实现对控制光标的操控，进而实现对人车交互显示装置上的可视化程序的操控，当存储数据为地图数据时，汽车使用者可以通过车载视线追踪装置选择行驶方向或行驶目的地。
本发明披露的基于增强现实技术的车载视线追踪装置，可以帮助汽车使用者实时了解视野范围内兴趣目标的信息数据。
附图说明
图1为本发明基于增强现实技术的车载视线追踪装置的结构框图；
图2为本发明基于增强现实技术的车载视线追踪装置在汽车中的布局示意图；
图3为本发明基于增强现实技术的车载视线追踪装置的运行流程框图。
具体实施方式
为详细说明本发明的技术方案，现结合附图说明本发明优选的实施例。
一种基于增强现实技术的车载视线追踪装置的优选实施例，如图1和图2所示，包括用于拍摄汽车外部图像的图像采集装置300，图像采集装置300设置于汽车的前部；人车交互显示装置400设置于汽车使用者前方，视线追踪模块100和控制模块200设置于汽车内部，控制模块200包括控制器、数据处理器和数据存储器，视线追踪模块100包括光源组件和图像传感器。
如图3所示，汽车使用者注视汽车外某一物体时，视线追踪模块100追踪汽车使用者视线，根据汽车使用者视线与车外目标空间位置的对应关系确定汽车使用者注视目标，具体为，视线追踪模块100的光源组件发射的光线在汽车使用者的眼睛外角膜上反射后形成普尔钦斑，图像传感器捕捉普尔钦斑并根据普尔钦斑及瞳孔中心的位置确定汽车使用者视线注视的方向，进而确定汽车使用者注视的目标物体，当汽车使用者的视线停留在目标物体超过2秒时，控制器发出采集该目标物体图像的控制指令。
如图3所示，图像采集装置300根据所述控制指令采集汽车外部图像并提取图像特征，图像特征经由数据处理器处理后形成数据信息，数据信息与数据存储器中的存储数据进行匹配，控制器将匹配成功的存储数据所对应的可视化程序显示于人车交互显示装置400。例如，本实施例中的存储数据为街景数据，汽车使用者可以通过人车交互显示装置400了解其所在街区的各种信息，信息包括街道交通状况信息、建筑物内商户信息以及建筑物的历史信息等。
在本发明的另一个优选实施例中，如图1和图2所示，一种基于增强现实技术的车载视线追踪装置包括用于拍摄汽车外部图像的图像采集装置300，图像采集装置300设置于汽车的前部；人车交互显示装置400设置于汽车使用者前方，视线追踪模块100和控制模块200设置于汽车内部，控制模块200包括控制器、数据处理器和数据存储器，视线追踪模块100包括光源组件和图像传感器。
如图3所示，汽车使用者注视汽车外某一物体时，视线追踪模块100追踪汽车使用者视线注视位置，具体为，视线追踪模块100的光源组件发射的光线在汽车使用者的眼睛外角膜上反射后形成普尔钦斑，图像传感器捕捉普尔钦斑并根据普尔钦斑及瞳孔中心的位置确定汽车使用者视线注视的方向，进而确定汽车使用者注视的目标物体，当汽车使用者的视线停留在目标物体超过2秒时，控制器发出采集该目标物体图像的控制指令。图像采集装置300根据所述控制指令采集汽车外部图像并提取图像特征，图像特征经由数据处理器处理后形成数据信息，数据信息与数据存储器中的存储数据进行匹配，控制器将匹配成功的存储数据所对应的可视化程序显示于人车交互显示装置400。视线追踪模块100追踪汽车使用者视线注视位置，当汽车使用者在1秒内连续眨眼两次以上时，人车交互显示装置400上出现控制光标，汽车使用者通过视线实现对控制光标的操控，进而实现对人车交互显示装置400上的可视化程序的控制。例如，本实施例中存储数据为地图数据，可视化程序中有行驶方向和行驶目的地的可视化选项，汽车使用者可以通过控制人车交互显示装置400上的控制光标选择行驶方向或行驶目的地。
在本发明的另一个优选实施例中，基于增强现实技术的车载视线追踪装置安装在自动驾驶汽车上。
在本发明的另一个优选实施例中，视线追踪模块设置在连接于汽车操控平台的眼镜上，眼镜与汽车操控平台的连接方式是有线连接。
在本发明的另一个优选实施例中，视线追踪模块设置在连接于汽车操控平台的眼镜上，眼镜与汽车操控平台的连接方式是无线连接。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于增强现实技术的车载视线追踪装置，包括：
用于拍摄汽车外部图像的图像采集装置；
设置于汽车使用者前方的人车交互显示装置；
设置于汽车内部的视线追踪模块和控制模块，控制模块包括控制器、数据处理器和数据存储器，视线追踪模块包括光源组件和图像传感器；
其特征在于，所述视线追踪模块追踪汽车使用者视线, 根据汽车使用者视线与车外目标空间位置的对应关系确定汽车使用者注视目标；
所述视线追踪模块追踪汽车使用者视线注视位置，捕捉视线特征，视线特征为汽车使用者在1秒内连续眨眼两次以上，所述控制器根据视线特征生成对应的控制指令，控制指令为在人车交互显示装置上出现控制光标，图像采集装置根据所述控制指令采集汽车使用者注视目标的图像并提取图像特征，图像特征经由数据处理器处理后形成数据信息，数据信息与数据存储器中的存储数据进行匹配，控制器将匹配成功的存储数据所对应的可视化程序显示于人车交互显示装置，汽车使用者通过视线实现对控制光标的操控，进而实现对人车交互显示装置上的可视化程序的操控，其中，存储数据为街景数据，汽车使用者通过车载视线追踪装置了解其所在街区的各种信息，所述信息包括街道交通状况信息、建筑物内商户信息以及建筑物的历史信息。
2.根据权利要求1所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述视线特征是使用者视线注视位置在设定的时间周期内驻留在同一空间范围。
3.根据权利要求2所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述设定的 时间周期为2秒。
4.根据权利要求1所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述基于增强现实技术的车载视线追踪装置安装在自动驾驶汽车上。
5.根据权利要求1所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述视线追踪模块设置在连接于汽车操控平台的眼镜上，所述眼镜与汽车操控平台的连接方式是有线或无线连接。
6.根据权利要求1所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述图像采集装置设置在汽车的前部。
7.根据权利要求1所述的基于增强现实技术的车载视线追踪装置，其特征在于，所述存储数据为地图数据，汽车使用者可以选择行驶方向或行驶目的地。
CN201710539990.XA 2017-07-04 2017-07-04 一种基于增强现实技术的车载视线追踪装置 Active CN107380064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710539990.XA CN107380064B (zh) 2017-07-04 2017-07-04 一种基于增强现实技术的车载视线追踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710539990.XA CN107380064B (zh) 2017-07-04 2017-07-04 一种基于增强现实技术的车载视线追踪装置

Publications (2)

Publication Number Publication Date
CN107380064A CN107380064A (zh) 2017-11-24
CN107380064B true CN107380064B (zh) 2022-08-19

Family

ID=60335071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710539990.XA Active CN107380064B (zh) 2017-07-04 2017-07-04 一种基于增强现实技术的车载视线追踪装置

Country Status (1)

Country Link
CN (1) CN107380064B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191587B (zh) * 2018-08-23 2019-12-31 百度在线网络技术（北京）有限公司 颜色识别方法、装置、电子设备及存储介质
CN109739352A (zh) * 2018-12-27 2019-05-10 斑马网络技术有限公司 景观图像的展示方法及设备
CN111951454B (zh) * 2020-10-16 2021-01-05 兰和科技（深圳）有限公司 智能门禁的指纹生物识别开锁装置及其判断方法
CN112455327A (zh) * 2020-12-03 2021-03-09 上海汽车集团股份有限公司 一种车灯控制方法、装置及计算机可读存储介质
CN113492756A (zh) * 2021-07-01 2021-10-12 中汽创智科技有限公司 一种车外信息展示方法、装置、设备及存储介质
CN117355440A (zh) * 2022-04-30 2024-01-05 华为技术有限公司 一种交互方法和电子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0914174D0 (en) * 2009-08-13 2009-09-16 Light Blue Optics Ltd Head up displays
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控***
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN205049814U (zh) * 2015-10-10 2016-02-24 青岛歌尔声学科技有限公司 一种车载抬头显示终端
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位***
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载***人眼控制方法及装置
CN105829938A (zh) * 2013-12-05 2016-08-03 罗伯特·博世有限公司 用于制作场景图像的设备
CN106155290A (zh) * 2014-11-06 2016-11-23 现代自动车株式会社 利用视线追踪的菜单选择设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164281B2 (en) * 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0914174D0 (en) * 2009-08-13 2009-09-16 Light Blue Optics Ltd Head up displays
CN105829938A (zh) * 2013-12-05 2016-08-03 罗伯特·博世有限公司 用于制作场景图像的设备
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控***
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN106155290A (zh) * 2014-11-06 2016-11-23 现代自动车株式会社 利用视线追踪的菜单选择设备
CN205049814U (zh) * 2015-10-10 2016-02-24 青岛歌尔声学科技有限公司 一种车载抬头显示终端
CN105425967A (zh) * 2015-12-16 2016-03-23 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位***
CN105739705A (zh) * 2016-02-04 2016-07-06 重庆邮电大学 一种车载***人眼控制方法及装置

Also Published As

Publication number Publication date
CN107380064A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107380064B (zh) 一种基于增强现实技术的车载视线追踪装置
US10882398B2 (en) System and method for correlating user attention direction and outside view
US10037699B1 (en) Systems and methods for motivating a driver according to behaviors of nearby vehicles
US11194154B2 (en) Onboard display control apparatus
CN106218506B (zh) 车辆显示装置和包括该车辆显示装置的车辆
CN102510480B (zh) 驾驶员视线自动校准和跟踪***
US9771083B2 (en) Cognitive displays
WO2019017215A1 (en) DEVICE AND METHOD FOR CONTROLLING VEHICLE
KR20190029488A (ko) 자동차용 증강 현실 디스플레이 장치의 디스플레이를 제어하기 위한 방법, 장치 및 명령어들을 갖는 컴퓨터 판독 가능 저장 매체
US20180229654A1 (en) Sensing application use while driving
CN109849788B (zh) 信息提供方法、装置及***
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
US20230249618A1 (en) Display system and display method
CN111886155A (zh) 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质
CN109212753B (zh) 可变显示距离的抬头显示***、抬头显示方法、驾驶设备
EP3654143A1 (en) Method, apparatus and system for determining line of sight, and wearable eye movement device
US20170108925A1 (en) Method for transmitting information to a driver of a motor vehicle, and adaptive driver assistance system
CN110249253A (zh) 用于机动车的平视显示器装置、用于控制平视显示器装置的显示内容的方法、装置和带有指令的计算机可读的存储介质
JP2019091255A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
JP2005228139A (ja) 車両用表示装置
CN112954486B (zh) 基于视线注意力的车载视频留痕处理方法
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
CN107472140B (zh) 一种眼控车载hud***
CN111263133B (zh) 信息处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant