CN105739705A - 一种车载***人眼控制方法及装置 - Google Patents

一种车载***人眼控制方法及装置 Download PDF

Info

Publication number
CN105739705A
CN105739705A CN201610079868.4A CN201610079868A CN105739705A CN 105739705 A CN105739705 A CN 105739705A CN 201610079868 A CN201610079868 A CN 201610079868A CN 105739705 A CN105739705 A CN 105739705A
Authority
CN
China
Prior art keywords
image
eye
onboard system
pupil
transparent display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610079868.4A
Other languages
English (en)
Inventor
程克非
鲁云飞
台正
李琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201610079868.4A priority Critical patent/CN105739705A/zh
Publication of CN105739705A publication Critical patent/CN105739705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种车载***人眼控制装置，装置包括摄像头、车载***、透明显示器，其中车载***包括视频采集模块、图像处理模块、眼控***模块。摄像头用于扫描驾驶区域，采集1秒以内的图像，车载***处理采集的图像并根据眼部运动信息判断车载***控制指令，由透明显示器反馈车载***信息，以便驾驶员控制。从开启透明显示器到关闭，全程通过眼部动作对车载***进行控制。

Description

一种车载***人眼控制方法及装置
技术领域
本发明涉及车载***技术领域，特别是涉及一种通过识别眼睛动作实现车载***控制的人机交互技术。
背景技术
随着汽车的广泛普及，人们对车载***的功能实用性和操作便捷性提出了更高的要求，例如日常使用的车载多媒体、导航***、GPS等车载***既能监控车速，又能实时定位、指引方向、以及提供最短路径等。由于车辆行驶过程中，驾驶员对目的地、行驶路径的改变；或者驾驶员需要对车载***的功能进行切换，进而需要对车载***进行手动操作，由此对安全驾驶产生了隐患。
CN102609305A公开了一种基于眼动和头部检测的新型人机交互装置，其通过检测眼动和头动信号实现对计算机***设备的实时控制，该***代替了传统的鼠标、键盘等外接设备进行人机交互，利用头动来进行信号检测，模拟鼠标左右键。CN201220002430公开了一种基于云计算的车载语音交互***，主要利用语音进行人机交互。CN103336581A公开了一种基于人体眼动特征设计的人机交互方法及***，主要针对计算机进行交互，在实现方案上，其主要模拟鼠标来控制。GB1418891A中提出了将对平视***应用在汽车上的改进，根据对汽车挡风玻璃的弧度、驾驶员视线角度等参数的调整，提供将平视***应用在汽车上的具体技术方案，实现计算机对人的动作应答，但对人有意识的复杂操作并未提及，如打开多媒体或导航***等。
另外，各汽车公司还研究在HUD上实现不同的功能，例如,日产汽车公司的JPH07257228A专利中提出在HUD上实现路径导航的功能，并根据视线追踪判断驾驶员所需要的信息进行显示，进行人机交互是利用手或声音。本田汽车公司的JPH1096776A专利中提出通过在HUD显示的不同颜色标识与前车的距离，提醒驾驶员注意车距，针对的对象是车外环境与计算机的交互来显示给人看。
发明内容
本发明的目的是提供一种车载***人眼控制方法及装置，通过识别眼部动作来模拟对透明显示器的控制，实现人眼控制车载***。
解决本发明的技术问题所采用的方案是：
一种车载***人眼控制装置，装置包括摄像头、车载***、透明显示器，车载***包括视频采集模块、图像处理模块、眼控***模块。
摄像头用于扫描驾驶区域，采集1秒以内的图像，车载***处理采集的图像并根据眼部运动信息判断车载***控制指令，由透明显示器反馈车载***信息，以便驾驶员控制，从开启透明显示器到关闭，全程通过眼部动作对车载***进行控制。
视频采集模块：采集图像并以矩阵或数组形式将图像传递给图像处理模块。
图像处理模块：对图像中的眼部特征进行识别与保存，该特征主要包括瞳孔位置、光斑、眼球等。完成包括头部位置识别、眼位识别、瞳孔位置识别、滤除眨眼和视线落点信息定位的图像信息处理，并将处理信息传递给眼控***模块。首先，通过对头部轮廓和人的肤色匹配判断来识别出人的头部位置。其次，通过人脸形态学提取包含眼睛的局部区域，进行眼位识别，同时对眼位进行标定并判断出平衡位置。然后，在定位瞳孔前，利用二维Gabor滤波算法先识别虹膜，根据识别到的虹膜进行瞳孔定位。瞳孔定位步骤为：首先，通过高斯滤波器对虹膜图像进行预处理；基于Canny算子的边缘检测算法进行图像处理，制定每个边缘点的梯度方向；最后，根据梯度方向信息，确定瞳孔中心点位置，瞳孔中心是先由霍夫变换得到一系列离散的瞳孔半径，再根据瞳孔比周围的眼白的灰度值低的灰度特性精确得到瞳孔中心点位置坐标。再然后，根据人的自然眨眼一次时间在0.2-0.6秒之间，人有意识眨眼和因强光照射而产生的条件反射眨眼一般在1秒左右的生理特性，进行去噪、滤波等处理，去除人眼自然眨眼对图像的影响，判断有意识眨眼或凝视进而识别眼部控制车载***的具体操作指令。最后，根据瞳孔中心——角膜反射法，使用瞳孔中心到一个或两个角膜反射点的矢量通过映射函数来估计注视落，确定视线落点信息。
眼控***模块：通过人眼来控制在车上的透明显示器，由摄像头扫描到的图像，识别出有视线向上移动动作，开启透明显示器。通过人眼瞳孔移动来跟踪视线来控制显示器鼠标移动。根据滤除眨眼特性的图像，判断有意识眨眼或凝视进而识别眼部控制车载***的具体操作指令。将视线落点位置的坐标翻译成鼠标位置，将眼部动作翻译成相对应的鼠标操作指令，并在透明显示器上显示，实现眼部运动对车载***的操控。操作完成后可以用***内软件关闭显示器，或长时间没有视线落在显示屏幕位置则自动进入休眠。
解决本发明的技术问题所采用的方法包括以下步骤：
(a)开启车载***后，车载***采集人眼标定图像，即驾驶员注视屏幕上的固定点，摄像头采集此时的图像作为标定图像。
(b)摄像头主动对驾驶区域进行定时图像采集，用函数回调对驾驶区域进行每秒25-30帧的图像采集并保存。然后，对保存的图像进行眼位识别和视线倾斜角度分析，实时判断是否已开启透明显示器；若已开启透明显示器，车载***执行步骤(d)；若还未开启透明显示器显示器，执行步骤(c)。
(c)摄像头继续扫描驾驶区域，判断是否满足抬头条件，控制透明显示器开关。其中，抬头条件是根据1秒内眼球位置是否由平衡位置向上移动并超过阈值进行判断，阈值根据人上下眼皮的距离及瞳孔位置确定，阈值定为离上眼皮距离占上下眼皮的30％为准，大于等于该值视为超过阈值且视线位置在显示屏幕内，满足抬头条件。若开启透明显示器，车载***执行步骤(d)；若不开启透明显示器，车载***跳转回步骤(b)；
(d)定位视线投影到透明显示器位置：通过对比分析步骤(b)存储的图像和步骤(a)人眼的标定图像，完成视线跟踪和瞳孔位置识别；
瞳孔位置识别，具体操作过程如下：
(1)确定滤波窗口函数，进行线性滤波；
(2)利用大津算法(Otsu)进行区域分割，实现二值化；
(3)从图像的中心点开始进行边界跟踪，获得瞳孔范围；
(4)采用重心法计算瞳孔中心点的坐标。
在瞳孔中心点位置确定过程中，Otsu算法如下：
设图象包含L个灰度级(0,1…,L-1)，灰度值等于i的象素点数表示为Ni，图象总的象素点数为N＝N0+N1+...+N(L-1)。灰度值等于i的点的概率为：P(i)＝N(i)/N，门限t将整幅图象分为暗区c1和亮区c2两类，则类间方差σ是t的函数：σ＝a1*a2(u1-u2)2。式中，aj为类cj的面积与图象总面积之比， a 1 = Σ i = 0 t p ( i ) a 2 = 1 - a 1 ; u j 为类cj的均值， u 1 = Σ i = 0 t i * p ( i ) / a 1 , 式中j表示分区标号，j取1或2；该法选择最佳门限t使类间方差最大，即：令Δu＝u1-u2，σb＝max{a1(t)*a2(t)Δu2}。
再对注视的区域进行加权处理，通过瞳孔中心——角膜反射法，使用瞳孔中心到一个或两个角膜反射点的矢量通过映射函数来估计注视落点，找出质心位置作为视线落点信息；最后，将人的视线落点在透明显示器位置定位。
(e)眼部运动信息模拟透明显示器操作：通过判断眼部运动实现对车载***鼠标指令的控制，达到人眼控制车载***的目的。
本发明的增益效果是：
1.人眼控制车载***：通过对眼部动作进行扫描和识别，进而完成对车载***的控制，替代了手动操作，同时用透明显示器，保证了驾驶员视线在不离开前方的情况下控制***，减少了驾驶时的安全隐患。
2.自适应环境去噪处理：在车载***上，因汽车行驶的环境为户外***，所以会产生各种强弱、明暗光线对***识别瞳孔及特征提取时产生影响，所以自适应环境去噪处理可以加强人机交互，使***更智能化。
3.视线精确定位：精确定位是眼控车载***的基础，防止驾驶员操作车载***的错误控制，精确定位对将来运用在车载***上的软件也有很大帮助，如安全提醒软件，当视线离开前方，而前方有危险即可提醒。
附图说明
图1为本发明的方法主要流程示意图；
图2为本发明车载扫视特定区域启动显示器、模拟透明显示器控制具体流程示意图；
图3为本发明的图像处理架构示意图；
图4为本发明的设备结构示意图；
图5为本发明的***结构示意图。
具体实施方式
本发明提供一种车载***人眼控制方法及装置。其***结构如图5所示包括：驾驶员、摄像头、车载***、透明显示器构成。车载***模块如图4所示，包括：视频采集模块、图像处理模块、眼控***模块。
本发明的方法主要流程如图1所示，其步骤主要包括：
步骤11：开启***；
手动开启车载***的电源，***会自动启动。
步骤12：进行视频采集；
视频采集主要包括***参数初始化和定时图像采集。***参数初始化：车载***开启后采集标定图像，即驾驶员注视屏幕上的固定点，摄像头采集此时的图像作为标定图像。定时图像采集：用函数回调对驾驶区域进行一秒25-30帧频率的采集图像，采集后图像信息存储下来。
步骤13：通过传来的图像进行眼位识别和视线倾斜角度判断；
眼位识别和视线倾斜角度判断主要是对传来的图像信息进行特征提取。先通过对头部轮廓和肤色进行头部和脸部的识别。然后，利用人脸形态学提取包含眼睛的局部区域，进行眼位识别，同时对眼位进行标定，判断出平衡位置。再进行瞳孔位置识别，将识别出来瞳孔位置信息存储。根据人的自然眨眼一次时间在0.2-0.6秒之间，人有意识眨眼一般在1秒左右的生理特征，还有因强光照射而产生的条件反射眨眼通过去噪或滤波等方式进行处理，去除自然眨眼的图像。视线倾斜角度分析是根据开始时的人眼标定图像，找出瞳孔平衡位置。瞳孔平衡位置定义为视线落点处于屏幕中心位置时，瞳孔和眼球的相对位置。通过对比人眼标定图像和实时图像中，两个瞳孔位置和两个屏幕落点位置得到2个视线倾斜角度矢量，通过视线倾斜角度矢量确定视线倾斜角度。
步骤14：判断透明显示器是否开启
该步骤主要是节省运行时，加快速度，如果开启则直接跳到步骤16。如果没有开启则进入步骤15。
步骤15：通过扫描特定区域，判断抬头状态并控制透明显示器开关
与步骤12存储的图像信息进行比较，判断是否具有抬头状态，即判断1秒内眼球位置是否由平衡位置向上移动并超过阈值。阈值根据人上下眼皮的距离及瞳孔位置确定，阈值定为离上眼皮距离占上下眼皮的30％为准。大于等于该值视为超过阈值且视线位置在显示屏幕内，则开启透明显示器；判断条件不满足的情况下，则回退到步骤12继续采集视频。
步骤16：定位视线投影到透明显示器位置；
通过对比分析步骤13存储的图像和步骤12人眼的标定图像，完成跟踪视线和瞳孔坐标定位，再对注视的区域进行加权处理，找出质心位置作为视线落点信息。最后，将人的视线落点在透明显示器位置定位。
步骤17：眼部运动信息模拟对透明显示器的控制；
根据步骤16处理的信息，通过眼部运动实现对车载***鼠标的移动和其他操作指令，达到人眼控制车载***的目的。视线的移动确定鼠标的移动；通过眨眼模拟对透明显示器操作：连续两次非自然眨眼为点击进入；凝视为选中；视线移动来控制鼠标轨迹，并在透明显示器上显示。
下面结合附图2对本发明的实施例二进行具体、详细的说明：
步骤21：驾驶员进入车后，手动开启车载***电源。
步骤22：***开启后，一切准备就绪就开始向摄像头发送视频采集命令，摄像头扫描驾驶座位，根据不同身高的人扫描座位的具体上下位置有不同。将扫描的图像进行图像处理，先将彩色图像二值化，再进行人的头部轮廓匹配和肤色匹配识别出人头部的位置，识别后提取出眼部位置，同时也会利用人眼内角、对称等信息进行轮廓匹配来判断是不是人眼，并识别瞳孔位置，然后处理自然眨眼的影响，将处理后的图像信息存储，只存储一秒以内图像。
步骤23：开启透明显示器：在发送命令给透明显示器之前，要对存储的图像进行比较，比较一秒以内图像中瞳孔位置移动方向。瞳孔有移动且向上移动超过阈值则视为满足抬头动作，则***向透明显示器发出开启命令，开启透明显示器。无论是否已打开显示器，摄像头始终持续采集图像。如果已打开透明显示器，则实时图像不需要进行判断是否抬头动作；如果没打开透明显示器则返回到步骤22。
步骤24：将视线屏幕落点位置的坐标翻译成鼠标位置，将眼部动作翻译成相对应的鼠标操作指令，通过判断眼部运动，连续两次非自然眨眼为点击进入，凝视为选中，视线移动为鼠标移动，并在透明显示器上显示，实现眼部运动对车载***的操控。
图3为本发明的图像处理架构示意图，包括步骤31头部位置识别；步骤32定位眼睛矩形框；步骤33瞳孔位置识别，步骤34视线屏幕落点定位。
下面结合附图3对本发明的图像处理架构进行说明：
步骤31：先通过对头部轮廓和肤色进行头部和脸部的识别.
步骤32：利用人脸形态学提取包含眼睛的局部区域，进行眼位识别，同时对眼位进行标定，判断出平衡位置。
步骤33：将识别出来瞳孔位置信息存储。根据人的自然眨眼一次时间在0.2-0.6秒之间，人有意识眨眼一般在1秒左右的生理特征，还有因强光照射而产生的条件反射眨眼通过去噪或滤波等方式进行处理，去除自然眨眼的图像。视线倾斜角度分析是根据开始时的人眼标定图像，找出瞳孔平衡位置。瞳孔平衡位置定义为视线落点处于屏幕中心位置时，瞳孔和眼球的相对位置。
步骤34：通过对比人眼标定图像和实时图像中，两个瞳孔位置和两个屏幕落点位置得到2个视线倾斜角度矢量，通过视线倾斜角度矢量确定视线倾斜角度。
以上对本发明所提供的一种车载***人眼控制方法及装置，进行了详细的介绍，对本发明的原理及具体个例实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变指出。综上所述，本说明书内容不应理解为对本发明的限制。
本领域普通技术人员将会理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。车载***人眼控制方法可以是车载***中的使用方法，利用眼睛来控制车载***。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照签署实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对签署各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车载***人眼控制装置，装置包括摄像头、车载***、透明显示器，所述车载***包括视频采集模块、图像处理模块、眼控***模块；其特征在于：
所述摄像头用于扫描驾驶区域，采集1秒以内的图像，车载***处理采集的图像并根据眼部运动信息判断车载***控制指令，由透明显示器反馈车载***信息，以便驾驶员控制，从开启透明显示器到关闭，全程通过眼部动作对车载***进行控制；
所述视频采集模块，采集图像并以矩阵或数组形式将图像传递给图像处理模块；
所述图像处理模块，完成包括头部位置识别、眼位识别、瞳孔位置识别、滤除眨眼和视线屏幕落点定位的图像信息处理，并将处理信息传递给眼控***模块；
所述眼控***模块，将视线屏幕落点位置的坐标翻译成鼠标位置，将眼部动作翻译成相对应的鼠标操作指令，控制鼠标移动，并在透明显示器上显示，实现眼部运动对车载***的操控。
2.根据权利要求1所述的车载***人眼控制装置，其特征在于：所述头部位置识别是通过头部轮廓和人的肤色匹配判断来识别出人的头部位置；
所述眼位识别是通过人脸形态学提取包含眼睛的局部区域，进行眼位识别，同时对眼位进行标定并判断出平衡位置。
3.根据权利要求1所述的车载***人眼控制装置，其特征在于：所述瞳孔位置识别是在定位瞳孔前，利用二维Gabor滤波算法先识别虹膜，根据识别到的虹膜进行瞳孔定位，首先，用高斯滤波器对虹膜图像进行预处理；然后，基于Canny算子的边缘检测算法进行图像处理，制定每个边缘点的梯度方向；最后，根据梯度方向信息，确定瞳孔中心点位置；瞳孔中心是先由霍夫变换得到一系列离散的瞳孔半径，再根据瞳孔比周围的眼白的灰度值低的灰度特性精确得到瞳孔中心点位置坐标。
4.根据权利要求1所述的车载***人眼控制装置，其特征在于：所述视线屏幕落点定位是根据瞳孔中心——角膜反射法估计视线屏幕落点，其依据为瞳孔中心到一个或两个角膜反射点的矢量与函数的映射关系。
5.利用权利要求1-4所述装置进行车载***人眼控制方法，其特征在于包括下述步骤：
(a)开启车载***后，车载***采集人眼标定图像，对参数初始化；
(b)摄像头主动对驾驶区域进行定时图像采集并保存，对保存的图像进行眼位识别和视线倾斜角度分析，实时判断是否已开启透明显示器；若已开启透明显示器，车载***执行步骤(d)；若还未开启透明显示器显示器，执行步骤(c)；
(c)摄像头继续扫描驾驶区域，判断是否满足抬头条件并控制透明显示器开关，若开启透明显示器，车载***执行步骤(d)；若不开启透明显示器，车载***跳转回步骤(b)；
(d)定位视线投影到透明显示器位置：通过对比分析步骤(b)存储的图像和步骤(a)人眼的标定图像，完成视线跟踪和瞳孔位置识别；再对注视的区域进行加权处理，找出质心位置作为视线屏幕落点；最后，将人的视线屏幕落点在透明显示器位置定位；
(e)眼部运动信息模拟透明显示器操作：将视线屏幕落点位置的坐标翻译成鼠标位置，将眼部动作翻译成相对应的鼠标操作指令，通过判断眼部运动，连续两次非自然眨眼为点击进入，凝视为选中，视线移动为鼠标移动，并在透明显示器上显示，实现眼部运动对车载***的操控。
6.根据权利要求5车载***人眼控制方法，其特征在于：所述的***参数初始化是车载***开启后采集人眼标定图像，即驾驶员注视屏幕上的固定点，摄像头采集此时的图像作为标定图像。
7.根据权利要求5车载***人眼控制方法，其特征在于：所述定时图像采集是用函数回调对驾驶区域进行每秒25-30帧的图像采集并保存。
8.根据权利要求5车载***人眼控制方法，其特征在于：所述视线倾斜角度分析是根据开始时的人眼标定图像，找出瞳孔平衡位置，瞳孔平衡位置定义为视线落点处于屏幕中心位置时，瞳孔和眼球的相对位置；通过对比人眼标定图像和实时图像中，两个瞳孔位置和两个屏幕落点位置得到2个视线倾斜角度矢量，通过视线倾斜角度矢量确定视线倾斜角度。
9.根据权利要求5车载***人眼控制方法，其特征在于：所述抬头条件是根据1秒内眼球位置是否由平衡位置向上移动并超过阈值进行判断，阈值根据人上下眼皮的距离及瞳孔位置确定，阈值定为离上眼皮距离占上下眼皮的30％为准，大于等于该值视为超过阈值且视线位置在显示屏幕内，满足抬头条件。
10.根据权利要求5车载***人眼控制方法，其特征在于：所述瞳孔位置识别具体操作过程如下：
(1)确定滤波窗口函数，进行线性滤波；
(2)利用大津算法(Otsu)进行区域分割，实现二值化；
(3)从图像的中心点开始进行边界跟踪，获得瞳孔范围；
(4)采用重心法计算瞳孔中心点的坐标；
在瞳孔中心点位置确定过程中，Otsu算法如下：
设图像包含L个灰度级(0,1…,L-1)，灰度值等于i的象素点数表示为Ni，图象总的象素点数为N＝N0+N1+...+N(L-1)。灰度值等于i的点的概率为：P(i)＝N(i)/N，门限t将整幅图象分为暗区c1和亮区c2两类，则类间方差σ是t的函数：σ＝a1*a2(u1-u2)2。式中，aj为类cj的面积与图象总面积之比，a2＝1-a1；uj为类cj的均值， 式中j表示分区标号，j取1或2；该法选择最佳门限t使类间方差最大，即：令Δu＝u1-u2，σb＝max{a1(t)*a2(t)Δu2}。
CN201610079868.4A 2016-02-04 2016-02-04 一种车载***人眼控制方法及装置 Pending CN105739705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610079868.4A CN105739705A (zh) 2016-02-04 2016-02-04 一种车载***人眼控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079868.4A CN105739705A (zh) 2016-02-04 2016-02-04 一种车载***人眼控制方法及装置

Publications (1)

Publication Number Publication Date
CN105739705A true CN105739705A (zh) 2016-07-06

Family

ID=56245006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079868.4A Pending CN105739705A (zh) 2016-02-04 2016-02-04 一种车载***人眼控制方法及装置

Country Status (1)

Country Link
CN (1) CN105739705A (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226911A (zh) * 2016-09-09 2016-12-14 深圳市世尊科技有限公司 一种通过视线进行人机交互的智能眼镜以及交互方法
CN106502423A (zh) * 2016-11-21 2017-03-15 武汉理工大学 基于人眼视觉定位的自动化微操作方法
CN107380064A (zh) * 2017-07-04 2017-11-24 上海青研科技有限公司 一种基于增强现实技术的车载视线追踪装置
CN107472140A (zh) * 2017-08-08 2017-12-15 上海青研科技有限公司 一种眼控车载hud***
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN107608523A (zh) * 2017-09-30 2018-01-19 广东欧珀移动通信有限公司 移动终端的控制方法、装置及存储介质和移动终端
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及***
WO2018137595A1 (zh) * 2017-01-25 2018-08-02 丁贤根 一种面部识别方法
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及***
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN109968979A (zh) * 2019-03-14 2019-07-05 百度在线网络技术（北京）有限公司 车载投射处理方法、装置、车载设备及存储介质
CN109965843A (zh) * 2019-03-14 2019-07-05 华南师范大学 一种基于滤波传像的眼动***
CN110017520A (zh) * 2019-04-15 2019-07-16 宁波奥克斯厨电制造有限公司 一种抽油烟机眼球追踪控制方法、装置及抽油烟机
CN110126740A (zh) * 2019-05-29 2019-08-16 辽宁科大物联科技有限公司 一种汽车电子后视镜的控制方法及装置
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技（深圳）有限公司 交互控制方法和装置、存储介质及电子装置
WO2020042666A1 (zh) * 2018-08-31 2020-03-05 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质
CN111824043A (zh) * 2019-04-16 2020-10-27 上汽通用汽车有限公司 汽车显示屏控制***和方法以及包括该***的车辆
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质
CN112241663A (zh) * 2019-07-18 2021-01-19 上汽通用汽车有限公司 一种对多个车载资源进行调配的装置以及***
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN113341692A (zh) * 2021-05-21 2021-09-03 浙江大学 一种基于摇杆隐喻开发的眼控交互***
CN114253439A (zh) * 2021-10-30 2022-03-29 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法
CN114356482A (zh) * 2021-12-30 2022-04-15 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法
CN114528039A (zh) * 2021-01-08 2022-05-24 蒋耕银 一种基于大数据的后台应用清理***
CN115120436A (zh) * 2022-06-27 2022-09-30 广东技术师范大学 一种眼睛控制的智慧医疗床及其控制方法
CN115953813A (zh) * 2022-12-19 2023-04-11 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质
CN116185190A (zh) * 2023-02-09 2023-05-30 江苏泽景汽车电子股份有限公司 一种信息显示控制方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***
CN103310202A (zh) * 2013-06-27 2013-09-18 西安电子科技大学 一种保障驾驶安全的***及其方法
CN103440481A (zh) * 2013-08-30 2013-12-11 山东师范大学 一种针对非理想虹膜图像的边界定位方法
CN103985334A (zh) * 2014-05-04 2014-08-13 京东方科技集团股份有限公司 透明显示***以及设置有该透明显示***的设备
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
CN105128862A (zh) * 2015-08-18 2015-12-09 上海擎感智能科技有限公司 一种车载终端眼球识别控制方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***
CN103310202A (zh) * 2013-06-27 2013-09-18 西安电子科技大学 一种保障驾驶安全的***及其方法
CN103440481A (zh) * 2013-08-30 2013-12-11 山东师范大学 一种针对非理想虹膜图像的边界定位方法
CN103985334A (zh) * 2014-05-04 2014-08-13 京东方科技集团股份有限公司 透明显示***以及设置有该透明显示***的设备
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
CN105128862A (zh) * 2015-08-18 2015-12-09 上海擎感智能科技有限公司 一种车载终端眼球识别控制方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘晓敏: "《基于虹膜识别的商务会馆管理***的实现》", 31 August 2015, 湖南师范大学出版社 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106226911A (zh) * 2016-09-09 2016-12-14 深圳市世尊科技有限公司 一种通过视线进行人机交互的智能眼镜以及交互方法
CN106502423A (zh) * 2016-11-21 2017-03-15 武汉理工大学 基于人眼视觉定位的自动化微操作方法
CN106502423B (zh) * 2016-11-21 2019-04-30 武汉理工大学 基于人眼视觉定位的自动化微操作方法
WO2018137595A1 (zh) * 2017-01-25 2018-08-02 丁贤根 一种面部识别方法
CN107380064A (zh) * 2017-07-04 2017-11-24 上海青研科技有限公司 一种基于增强现实技术的车载视线追踪装置
CN107380064B (zh) * 2017-07-04 2022-08-19 上海青研科技有限公司 一种基于增强现实技术的车载视线追踪装置
CN107472140B (zh) * 2017-08-08 2023-04-07 上海青研科技有限公司 一种眼控车载hud***
CN107472140A (zh) * 2017-08-08 2017-12-15 上海青研科技有限公司 一种眼控车载hud***
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN107506751B (zh) * 2017-09-13 2019-10-08 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN107608523A (zh) * 2017-09-30 2018-01-19 广东欧珀移动通信有限公司 移动终端的控制方法、装置及存储介质和移动终端
CN108189787A (zh) * 2017-12-12 2018-06-22 北京汽车集团有限公司 控制车辆座椅的方法和装置、存储介质和车辆
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及***
WO2020042666A1 (zh) * 2018-08-31 2020-03-05 北京七鑫易维信息技术有限公司 车辆启动方法、装置、设备及存储介质
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及***
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN109968979A (zh) * 2019-03-14 2019-07-05 百度在线网络技术（北京）有限公司 车载投射处理方法、装置、车载设备及存储介质
CN109965843A (zh) * 2019-03-14 2019-07-05 华南师范大学 一种基于滤波传像的眼动***
CN109965843B (zh) * 2019-03-14 2022-05-24 华南师范大学 一种基于滤波传像的眼动***
CN109968979B (zh) * 2019-03-14 2021-12-07 阿波罗智联(北京)科技有限公司 车载投射处理方法、装置、车载设备及存储介质
CN110017520B (zh) * 2019-04-15 2020-04-10 宁波奥克斯厨电制造有限公司 一种抽油烟机眼球追踪控制方法、装置及抽油烟机
CN110017520A (zh) * 2019-04-15 2019-07-16 宁波奥克斯厨电制造有限公司 一种抽油烟机眼球追踪控制方法、装置及抽油烟机
CN111824043A (zh) * 2019-04-16 2020-10-27 上汽通用汽车有限公司 汽车显示屏控制***和方法以及包括该***的车辆
CN110126740A (zh) * 2019-05-29 2019-08-16 辽宁科大物联科技有限公司 一种汽车电子后视镜的控制方法及装置
CN112241663A (zh) * 2019-07-18 2021-01-19 上汽通用汽车有限公司 一种对多个车载资源进行调配的装置以及***
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技（深圳）有限公司 交互控制方法和装置、存储介质及电子装置
CN112114671A (zh) * 2020-09-22 2020-12-22 上海汽车集团股份有限公司 一种基于人眼视线的人车交互方法、装置和存储介质
CN112667084A (zh) * 2020-12-31 2021-04-16 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN114528039A (zh) * 2021-01-08 2022-05-24 蒋耕银 一种基于大数据的后台应用清理***
CN113341692A (zh) * 2021-05-21 2021-09-03 浙江大学 一种基于摇杆隐喻开发的眼控交互***
CN114253439A (zh) * 2021-10-30 2022-03-29 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法
CN114253439B (zh) * 2021-10-30 2024-06-04 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法
CN114356482B (zh) * 2021-12-30 2023-12-12 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法
CN114356482A (zh) * 2021-12-30 2022-04-15 业成科技（成都）有限公司 利用视线落点与人机界面互动的方法
CN115120436A (zh) * 2022-06-27 2022-09-30 广东技术师范大学 一种眼睛控制的智慧医疗床及其控制方法
CN115953813B (zh) * 2022-12-19 2024-01-30 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质
CN115953813A (zh) * 2022-12-19 2023-04-11 北京字跳网络技术有限公司 一种表情驱动方法、装置、设备及存储介质
CN116185190A (zh) * 2023-02-09 2023-05-30 江苏泽景汽车电子股份有限公司 一种信息显示控制方法、装置及电子设备
CN116185190B (zh) * 2023-02-09 2024-05-10 江苏泽景汽车电子股份有限公司 一种信息显示控制方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN105739705A (zh) 一种车载***人眼控制方法及装置
Bergasa et al. Real-time system for monitoring driver vigilance
CN111931579B (zh) 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法
WO2020078465A1 (zh) 驾驶状态分析方法和装置、驾驶员监控***、车辆
EP2975997B1 (en) System and method for on-axis eye gaze tracking
KR20200132945A (ko) 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량
US10318831B2 (en) Method and system for monitoring the status of the driver of a vehicle
CN101466305B (zh) 用于确定和分析视觉兴趣位置的方法
TW202036465A (zh) 駕駛員注意力監測方法和裝置及電子設備
US10521683B2 (en) Glare reduction
US20200005060A1 (en) Machine learning based driver assistance
US10298911B2 (en) Visualization of spatial and other relationships
US9773179B2 (en) Vehicle operator monitoring system and method
CN106965675B (zh) 一种货车集群智能安全作业***
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和***
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN110703904A (zh) 一种基于视线跟踪的增强虚拟现实投影方法及***
CN110239441A (zh) 一种后视镜的视野自动调整方法和装置
EP1868138A2 (en) Method of tracking a human eye in a video image
CN111062292B (zh) 一种疲劳驾驶检测装置与方法
CN108447303A (zh) 基于人眼视觉与机器视觉耦合的外周视野危险识别方法
EP3457321A1 (en) Control device for vehicle headlight
CN111619324A (zh) 一种视线追踪汽车智能防炫目方法及***
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和***
CN113963416B (zh) 一种基于激光视觉反馈的眼动交互方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706

RJ01 Rejection of invention patent application after publication