CN108985245A - 眼部位置的确定方法、装置、计算机设备和存储介质 - Google Patents

眼部位置的确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108985245A
CN108985245A CN201810826192.XA CN201810826192A CN108985245A CN 108985245 A CN108985245 A CN 108985245A CN 201810826192 A CN201810826192 A CN 201810826192A CN 108985245 A CN108985245 A CN 108985245A
Authority
CN
China
Prior art keywords
driver
location information
eye
bianry image
ocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810826192.XA
Other languages
English (en)
Inventor
秦胜息
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FIRS TECHNOLOGY Co Ltd
Original Assignee
FIRS TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FIRS TECHNOLOGY Co Ltd filed Critical FIRS TECHNOLOGY Co Ltd
Priority to CN201810826192.XA priority Critical patent/CN108985245A/zh
Publication of CN108985245A publication Critical patent/CN108985245A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种眼部位置的确定方法、装置、计算机设备和存储介质。该方法包括：在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。本发明实施例通过采用上述技术方案，采用目标对象区域的位置对眼部区域的位置进行修正，可以提高眼部位置确定结果的准确性，减少监控设备出现误识别的概率。

Description

眼部位置的确定方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种眼部位置的确定方法、装置、计算机设备和存储介质。
背景技术
近年来，长交路、单司机值乘的工作模式已逐渐成为我国铁路运输(包括地铁运输)广泛实行的工作模式。
长交路、单司机值乘工作模式的使用，有效的减少了驾驶人员的配备数量，但是，由于该工作模式下机车司机(即机车驾驶员)的操纵区段通常长，因此，机车司机在工作中发生疲劳的几率也随之增大，近年来，机车司机的疲劳驾驶已成为列车运行安全中的重要风险因素。目前，针对机车运行中可能出现的司乘人员工作状态不佳、疲劳、甚至瞌睡等安全隐患，相对于传统采取的管理人员跟车检测指导的方法进行工作检查或者设置无人警惕按钮的手段对司乘人员进行管理的管制方式，通过监测***对机车司机进行监测以确定机车司机是否处于疲劳状态的管制方式以其高效的监控效率得到了人们越来越多的关注。监测***在对机车司机进行监测时，通常需要首先确定机车司机在所采集图片中的位置，然后基于图片在该位置处的纹理信息确定机车司机的眼部状态，进而确定机车司机是否处于疲劳状态。
但是，发明人在实现本发明的过程中发现，现有技术在确定机车司机眼部位置时往往存在准确率较低的问题，导致机车司机疲劳状态确定结果的准确率较低，无法有效的提高列车运行过程中的安全性。
发明内容
有鉴于此，本发明实施例提供一种眼部位置的确定方法、装置、计算机设备和存储介质，以解决现有技术中机车司机眼部位置确定结果的准确率较低的技术问题。
第一方面，本发明实施例提供了一种眼部位置的确定方法，包括：
在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
第二方面，本发明实施例提供了一种眼部位置的确定装置，包括：
信息获取模块，用于在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
第一位置确定模块，用于基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
第三方面，本发明实施例提供了一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例所述的眼部位置的确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的眼部位置的确定方法。
在上述确定眼部位置的技术方案中，在机车处于行驶状态时，获取驾驶员人脸的二值图像，并确定驾驶员眼部区域在该二值图像中的第一位置信息和驾驶员目标对象区域在二值图像中的第二位置信息，根据目标对象区域与眼部区域的相对位置关系，采用该第二位置信息对该第一位置信息进行修正，得到驾驶员眼部区域在二值图像中的识别位置。上述确定眼部位置的技术方案，采用目标对象区域的位置对眼部区域的位置进行修正，可以提高眼部位置确定结果的准确性，减少监控设备出现误识别的概率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种眼部位置的确定方法的流程示意图；
图2为本发明实施例二提供的一种眼部位置的确定方法的流程示意图；
图3为本发明实施例三提供的一种眼部位置的确定装置的结构框图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
本发明实施例一提供一种眼部位置的确定方法。该方法可以由眼部位置的确定装置执行，其中，该装置可以由软件和/或硬件实现，一般可集成在具有疲劳提醒功能的计算机设备中。图1是本发明实施例一提供的一种眼部位置的确定方法的流程示意图，如图1所示，该方法包括：
S110、在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息。
其中，目标对象区域可以理解为驾驶员人脸的二值图像中除眼部区域外的其他能够表征脸部特征的像素块，如额头区域、眉毛区域、鼻子区域、下颚区域、颧骨区域或脸颊区域等等，具体可以根据需要进行设置，本实施例并不对此进行限制。考虑到目标对象区域的第二位置信息可能存在的误差，所述目标区域优选可以包括眉毛区域、鼻子区域、下颚区域、颧骨区域和脸颊区域中的至少两种，以进一步提高后续所确定眼部区域的识别位置的准确性。
本实施例中，可以基于机车的当前速度确定机车是否处于行驶状态，即如果机车的当前速度为0，则判定机车未处于行驶状态，如果机车的当前速度不为0，则可以判定机车处于行驶状态。在此，机车当前速度的确定方法可以根据需要设置，如可以通过角速度传感器检测机车车轮的角速度或者通过线速度传感器检测机车的速度；或者，通过加速度传感器检测机车的加速度，此时，如果机车的加速度不为0，则可以判定机车处于行驶状态，如果机车的加速度为0，则可以进一步基于机车由原始的静止状态(或由上一时刻的运行速度)变为当前状态时加速度的变化计算机车的当前速度，进而确定机车是否处于行驶状态；也可以由驾驶员或乘务员在机车开始行驶时点击机车内配置的开始行驶按钮并在机车停止后点击机车内配置的机车停止按钮，此时，相应的，如果检测到司乘人员已点击开始运行按钮但尚未点击机车停止按钮，则可以判定机车处于行驶状态；或者，从与机车建立连接的机车车载安全防护***(如TAX机或6A***等)获取机车的行驶状态信息，等等，此处不作限制。
本实施例中，在确定机车处于行驶状态后，可以获取驾驶员的二值图像，并确定驾驶员眼部区域在该二值图像中的第一位置信息以及驾驶员的目标对象区域在二值图像中的第二位置信息，从而后续可以基于该第一位置信息和该第二位置信息确定驾驶员眼部的准确位置。在此，二值图像可以通过驾驶员人脸的彩色图像或红外图像进行处理获得。
考虑到外界因素(如光线等)对所采集图像清晰度的影响，优选的，可以基于驾驶员人脸的红外图像确定其二值图像。具体的，在确定机车处于行驶状态后，可以控制目标摄像机采集红外图像，并去除所述红外图像中的背景信息，以得到驾驶员人脸的灰度图；采用动态边缘分析法对所述灰度图进行处理，得到驾驶员人脸的二值图像。其中，目标摄像机可以理解为位于乘务室内的用于采集驾驶员人脸图像的红外摄像机。
需要说明的是，如果机车只在车头位置处配置有乘务室，即机车只能够沿机车车尾至车头的方向行驶，则可以在确定机车处于行驶状态时，直接控制机车车头内的目标摄像机采集驾驶员人脸的红外图像；如果机车的车头和车尾处均配置有乘务室，则该目标摄像机优选为位于该行驶方向下机车车头乘务室内的摄像机，此时，在所述控制目标摄像机按照设定周期采集红外图像之前，优选还可以包括：获取机车的行驶方向，并将所述行驶方向下机车车头乘务室内的摄像机确定为目标摄像机。
示例性的，在确定眼部区域和目标对象区域在二值图像中的位置信息时，可以首先获取驾驶员眼部的纹理信息以及目标对象的纹理信息，然后根据所获取的纹理信息在二值图像中识别驾驶员的眼部区域和目标对象区域，从而确定驾驶员眼部区域和目标对象区域在二值图像中的位置信息。其中，驾驶员各位置的纹理信息可以预先采集，并存储在机车内配置的计算机设备本地或存储在与该设备相连的服务器或其他***、设备中。
S120、基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
示例性的，可以首先获取目标对象区域与眼部区域的相对位置关系，根据该相对位置关系以及目标对象区域的第二位置信息预测二值图像中驾驶员眼部区域的第三位置信息，采用该第三位置信息对所获取的驾驶员眼部的第一位置信息进行修正，以确定驾驶员眼部区域在二值图像中的位置，即识别位置。在此，修正方式可以根据需要设置，如可以将第一位置信息和第三位置信息的平均值或加权平均值确定为眼部区域在二值图像中的识别位置。其中，计算加权平均值时第一位置信息和第三位置信息的权重值可以根据需要设置，如可以将第一位置信息的权重值设置为0.6、将第三位置信息的权重值设置为0.4等等；目标对象区域与眼部区域的相对位置关系可以预先通过采集多个样本并对所采集的样本进行训练获得，其可以为具有一定普适性、能够用于确定不同人眼部位置的相对位置关系，也可以为仅能适用于该驾驶员本人的相对位置关系，此处不作限制。
本发明实施例一提供的眼部位置的确定方法，在机车处于行驶状态时，获取驾驶员人脸的二值图像，并确定驾驶员眼部区域在该二值图像中的第一位置信息和驾驶员目标对象区域在二值图像中的第二位置信息，根据目标对象区域与眼部区域的相对位置关系，采用该第二位置信息对该第一位置信息进行修正，得到驾驶员眼部区域在二值图像中的识别位置。本实施例通过采用上述技术方案，采用目标对象区域的位置对眼部区域的位置进行修正，可以提高眼部位置确定结果的准确性，减少监控设备出现误识别的概率。
实施例二
图2为本发明实施例二提供的一种眼部位置的确定方法的流程示意图。本实施例在上述实施例的基础上进行优化，进一步地，在所述得到所述眼部区域在所述二值图像中的识别位置之后，还包括：根据所述识别位置获取二值图像中所述眼部区域的子图像，并基于所述子图像确定驾驶员的眼部状态信息，所述眼部状态信息为闭合状态或非闭合状态；根据所述眼部状态信息以及驾驶员的原始疲劳指数确定驾驶员的当前疲劳指数，所述原始疲劳指数为基于上一张二值图像确定的疲劳指数；如果所述当前疲劳指数达到设定的指数阈值，则对驾驶员进行疲劳提醒。
进一步地，在所述对驾驶员进行疲劳提醒之后，还包括：将所述疲劳提醒的疲劳提醒信息、机车信息和驾驶员信息上报给调度中心。
相应的，如图2所示，本实施例提供的眼部位置的确定方法包括：
S210、在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息。
S220、基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
S230、根据所述识别位置获取二值图像中所述眼部区域的子图像，并基于所述子图像确定驾驶员的眼部状态信息，所述眼部状态信息为闭合状态或非闭合状态。
本实施例中，识别位置可以为眼部区域的中心位置，也可以为眼部区域轮廓的位置。相应的，如果该识别位置为眼部区域的中心位置，则可以基于眼部区域与人脸图像的相对大小确定眼部区域的尺寸，并以所确定识别位置为中心，按照该尺寸在二值图像中截取眼部区域的子图像；如果该识别位置为眼部的轮廓位置，则可以直接基于该识别位置截取眼部区域的子图像，或者，将该识别位置扩大设定像素点得到截取位置，并基于该截取位置截取眼部区域子图像，以确保可以得到完整的眼部图像。其中，所截取子图像的形状可以根据需要设置，如可以设置为矩形、椭圆形或眼部轮廓的形状等。
本步骤中，在获取到眼部区域的子图像后，可以根据子图像中眼球位置处的颜色(或纹理)确定驾驶员的眼部状态信息。示例性的，可以首先确定子图像中眼球的位置信息，如可以将子图像的中心区域确定为眼球区域；然后识别该位置处的颜色(或纹理)是否符合眼睛睁开时的标准颜色(或纹理)信息，若是，则可以将驾驶员的眼部状态确定为非闭合状态，即确定驾驶员眼睛处于睁开状态，若否，则可以将驾驶员的眼部状态确定为闭合状态。
S240、根据所述眼部状态信息以及驾驶员的原始疲劳指数确定驾驶员的当前疲劳指数，所述原始疲劳指数为基于上一张二值图像确定的疲劳指数。
具体的，在确定驾驶员的眼部状态信息后，可以根据该眼部状态信息和驾驶员的原始疲劳指数，采用预先设置的疲劳指数计算规则计算驾驶员的当前疲劳指数。其中，疲劳指数的计算规则可以根据需要灵活设置，如其可以考虑或不考虑所采集的上一张二值图像中驾驶员的眼部状态信息(即上一眼部状态信息)、考虑或不考虑驾驶员当前眼部状态信息的持续时间(即驾驶员眼部连续处于闭合或非闭合状态的时间长度)，和/或，考虑或不考虑驾驶员眼部的开启程度(或闭合程度)等。
对于疲劳指数计算规则不考虑上一眼部状态信息、持续时间和眼部开启程度的情况，示例性的，可以预先设置眼部处于闭合状态和非闭合状态所对应的分数值，并在确定驾驶员的眼部状态后在原始疲劳指数的基础上增加相应的分数值以得到驾驶员的当前疲劳指数。其中，眼部处于闭合状态所对应的第一分数值优选为正数，眼部处于非闭合状态所对应的第二分数值优选为负数。举例而言，假设原始疲劳指数为60，第一分数值为7，第二分数值为-8，则如果驾驶员的眼部状态信息为闭合状态，则其当前疲劳指数为60+7＝67；如果驾驶员的眼部状态信息为非闭合状态，则其当前疲劳指数为60-8＝52。
对于疲劳指数规则考虑上一眼部状态信息的情况，示例性的，可以预先设置上一眼部状态信息为闭合状态时，当前眼部处于闭合状态的第一分数值和当前眼部处于非闭合状态的第二分数值，以及，上一眼部状态信息为非闭合状态时，当前眼部处于闭合状态的第三分数值和当前眼部处于非闭合状态的第四分数值，并在确定驾驶员的眼部状态后在原始疲劳指数的基础上增加相应的分数值以得到驾驶员的当前疲劳指数。其中，第一分数值和第四分数值优选为正数，第二分数值和第四分数值优选为负数，第一分数值优选大于第二分数值，第二分数值优选大于第四分数值。举例而言，假设原始疲劳指数为60，第一分数值为10，第二分数值为-2，第三分数值为5，第四分数值为-14，则如果上一眼部状态信息为闭合状态，当前眼部信息为闭合状态，则驾驶员的疲劳指数为60+10＝70；如果上一眼部状态信息为闭合状态，当前眼部信息为非闭合状态，则驾驶员的疲劳指数为60-2＝58；如果上一眼部状态信息为非闭合状态，当前眼部信息为闭合状态，则驾驶员的疲劳指数为60+5＝65；如果上一眼部状态信息为非闭合状态，当前眼部信息为非闭合状态，则驾驶员的疲劳指数为60-14＝46。
S250、如果所述当前疲劳指数达到设定的指数阈值，则对驾驶员进行疲劳提醒。
本实施例中，指数阈值可以根据需要设置，如可以设置为62、70、76或其他数值。以指数阈值为70为例，此时，相应的，如果驾驶员的当前疲劳指数大于或等于70，则可以对驾驶员进行疲劳提醒。其中，疲劳提醒的方式可以根据需要设置，如可以进行振动提醒和/或声音提醒等，本实施并不对此进行限制。
S260、将所述疲劳提醒的疲劳提醒信息、机车信息和驾驶员信息上报给调度中心。
本实施例中，在触发疲劳提醒后，可以将本次疲劳提醒的疲劳提醒信息、机车信息和驾驶员信息上报给机车调度中心，以便调度中心工作人员及时的采取措施以确保机车的安全。在此，疲劳提醒信息可以通过记录本次的疲劳提醒过程获得，驾驶员所驾驶机车的机车信息和驾驶员的相关信息(即驾驶员信息)可以预先存储在本地并在上报给调度中心时从本地获取即可，也可以预先存储在机车车载安全防护***中，相应的，在本次触发疲劳提醒后，可以从机车车载安全防护***中获取本次疲劳提醒所对应的机车信息和驾驶员信息。其中，疲劳提醒信息可以理解为本次疲劳提醒的相关信息，如本次疲劳提醒的开始时间、提醒时间长度、本次疲劳提醒的疲劳指数、该疲劳指数的生成过程(如驾驶员在本次疲劳提醒前一段时间内的眼部状态信息确定结果)和/或本次疲劳提醒前后的驾驶员的视频录像等等；机车信息可以包括机车的身份ID、机车的车速以及机车的机务段等信息；驾驶员信息可以包括驾驶员的司机号。
本发明实施例二提供的眼部位置的确定方法，在机车处于行驶状态时，获取驾驶员人脸的二值图像，并确定驾驶员眼部区域在该二值图像中的第一位置信息和驾驶员目标对象区域在二值图像中的第二位置信息，根据目标对象区域与眼部区域的相对位置关系，采用该第二位置信息对该第一位置信息进行修正，得到驾驶员眼部区域在二值图像中的识别位置，根据该识别位置获取驾驶员眼部区域的子图像，基于该子图像确定驾驶员的眼部状态信息，根据该眼部状态确定驾驶员的当前疲劳指数，在当前疲劳指数达到设定的指数阈值时，对驾驶员进行疲劳提醒并上报调度中心。本实施例通过采用上述技术方案，不但可以提高眼部位置确定结果的准确性，减少监控设备出现误识别的概率，还可以提高疲劳提醒的准确性以及机车在行驶过程中的安全性。
在上述实施例的基础上，在所述基于所述目标对象区域与眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正之前，还可以包括：确定所述第一位置信息和所述第二位置信息均获取成功。本实施例中，可以仅在眼部区域的第一位置信息和目标区域的第二位置信息获取成功时，采用该第二位置信息对眼部区域的第一位置信息进行修正，以避免当第一位置信息或第二位置信息存在较大误差的情况对所确定眼部区域的识别位置的准确率造成影响。此时，相应的，如果所述第一位置信息获取失败且所述第二位置信息获取成功，则基于所述第二位置信息和所述目标对象区域与眼部区域的相对位置关系预测眼部区域在所述二值图像中的识别位置；如果所述第一位置信息获取成功且所述第二位置信息获取失败，则基于所述第一位置信息确定眼部区域在所述二值图像中的识别位置；如果所述第一位置信息和所述第二位置信息均获取失败，则进行报警。在此，位置信息获取成功或失败的判定方法可以灵活试着，如可以在无法获取到某一位置信息(第一位置信息或第二位置信息)和/或某一区域的纹理清晰度低于设定清晰度阈值时，判定该位置信息(和/或该区域对应的位置信息)获取失败；报警方式可以根据需要设置，如可以设置为声音报警和/或震动报警。
实施例三
本发明实施例三提供一种眼部位置的确定装置。该装置可以由软件和/或硬件实现，一般可集成在具有疲劳提醒功能的计算机设备中，可以通过执行眼部位置的确定方法确定驾驶员眼部的位置。图3为本发明实施例三提供的一种眼部位置的确定装置的结构框图，如图3所示，该装置包括：
信息获取模块301，用于在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
第一位置确定模块302，用于基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
本发明实施例三提供的眼部位置的确定装置，通过信息获取模块在机车处于行驶状态时，获取驾驶员人脸的二值图像，以及驾驶员眼部区域在该二值图像中的第一位置信息和驾驶员目标对象区域在二值图像中的第二位置信息，通过第一位置确定模块根据目标对象区域与眼部区域的相对位置关系，采用该第二位置信息对该第一位置信息进行修正，得到驾驶员眼部区域在二值图像中的识别位置。上述确定眼部位置的技术方案，采用目标对象区域的位置对眼部区域的位置进行修正，可以提高眼部位置确定结果的准确性，减少监控设备出现误识别的概率。
进一步地，本实施例提供的眼部位置的确定装置还可以包括：眼部信息确定模块，用于在所述得到所述眼部区域在所述二值图像中的识别位置之后，根据所述识别位置获取二值图像中所述眼部区域的子图像，并基于所述子图像确定驾驶员的眼部状态信息，所述眼部状态信息为闭合状态或非闭合状态；疲劳指数确定模块，用于根据所述眼部状态信息以及驾驶员的原始疲劳指数确定驾驶员的当前疲劳指数，所述原始疲劳指数为基于上一张二值图像确定的疲劳指数；疲劳提醒模块，用于响应于所述当前疲劳指数达到设定的指数阈值的事件，对驾驶员进行疲劳提醒。
进一步地，本实施例提供的眼部位置的确定装置还可以包括：信息上报模块，用于在所述对驾驶员进行疲劳提醒之后，将所述疲劳提醒的疲劳提醒信息、机车信息和驾驶员信息上报给调度中心。
进一步地，本实施例提供的眼部位置的确定装置还可以包括：信息确定模块，用于在所述基于所述目标对象区域与眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正之前，确定所述第一位置信息和所述第二位置信息均获取成功。
进一步地，本实施例提供的眼部位置的确定装置还可以包括：第二位置确定模块，用于响应于所述第一位置信息获取失败且所述第二位置信息获取成功的事件，基于所述第二位置信息和所述目标对象区域与眼部区域的相对位置关系预测眼部区域在所述二值图像中的识别位置；报警模块，用于响应于所述第一位置信息和所述第二位置信息均获取失败的事件，进行报警。
在上述方案中，所述信息获取模块301可以包括：灰度图生成模块，用于在机车处于行驶状态时，控制目标摄像机采集红外图像，并去除所述红外图像中的背景信息，以得到驾驶员人脸的灰度图；二值图像生成模块，用于采用动态边缘分析法对所述灰度图进行处理，得到驾驶员人脸的二值图像；位置信息获取单元，用于获取驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息。
在上述方案中，所述信息获取模块301还可以包括：摄像机确定单元，用于在所述控制目标摄像机按照设定周期采集红外图像之前，获取机车的行驶方向，并将所述行驶方向下机车车头乘务室内的摄像机确定为目标摄像机。
本发明实施例三提供的眼部位置的确定装置可执行本发明任意实施例提供的眼部位置的确定方法，具备执行眼部位置的确定方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的眼部位置的确定方法。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器40和存储器41；计算机设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；计算机设备中的处理器40和存储器41可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的眼部位置的确定方法对应的程序指令/模块(例如，眼部位置的确定装置中的信息获取模块301和第一位置确定模块302。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的眼部位置的确定方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种眼部位置的确定方法，该方法包括：
在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的眼部位置的确定方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述眼部位置的确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种眼部位置的确定方法，其特征在于，包括：
在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
2.根据权利要求1所述的方法，其特征在于，在所述得到所述眼部区域在所述二值图像中的识别位置之后，还包括：
根据所述识别位置获取二值图像中所述眼部区域的子图像，并基于所述子图像确定驾驶员的眼部状态信息，所述眼部状态信息为闭合状态或非闭合状态；
根据所述眼部状态信息以及驾驶员的原始疲劳指数确定驾驶员的当前疲劳指数，所述原始疲劳指数为基于上一张二值图像确定的疲劳指数；
如果所述当前疲劳指数达到设定的指数阈值，则对驾驶员进行疲劳提醒。
3.根据权利要求2所述的方法，其特征在于，在所述对驾驶员进行疲劳提醒之后，还包括：
将所述疲劳提醒的疲劳提醒信息、机车信息和驾驶员信息上报给调度中心。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述目标对象区域与眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正之前，还包括：
确定所述第一位置信息和所述第二位置信息均获取成功。
5.根据权利要求4所述的方法，其特征在于，还包括：
如果所述第一位置信息获取失败且所述第二位置信息获取成功，则基于所述第二位置信息和所述目标对象区域与眼部区域的相对位置关系预测眼部区域在所述二值图像中的识别位置；
如果所述第一位置信息和所述第二位置信息均获取失败，则进行报警。
6.根据权利要求1所述的方法，其特征在于，所述获取驾驶员人脸的二值图像，包括：
控制目标摄像机采集红外图像，并去除所述红外图像中的背景信息，以得到驾驶员人脸的灰度图；
采用动态边缘分析法对所述灰度图进行处理，得到驾驶员人脸的二值图像。
7.根据权利要求6所述的方法，其特征在于，在所述控制目标摄像机按照设定周期采集红外图像之前，还包括：
获取机车的行驶方向，并将所述行驶方向下机车车头乘务室内的摄像机确定为目标摄像机。
8.一种眼部位置的确定装置，其特征在于，包括：
信息获取模块，用于在机车处于行驶状态时，获取驾驶员人脸的二值图像、驾驶员眼部区域在所述二值图像中的第一位置信息和驾驶员目标对象区域在所述二值图像中的第二位置信息；
第一位置确定模块，用于基于所述目标对象区域与所述眼部区域的相对位置关系，采用所述第二位置信息对所述第一位置信息进行修正，得到所述眼部区域在所述二值图像中的识别位置。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的眼部位置的确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的眼部位置的确定方法。
CN201810826192.XA 2018-07-25 2018-07-25 眼部位置的确定方法、装置、计算机设备和存储介质 Pending CN108985245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810826192.XA CN108985245A (zh) 2018-07-25 2018-07-25 眼部位置的确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810826192.XA CN108985245A (zh) 2018-07-25 2018-07-25 眼部位置的确定方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN108985245A true CN108985245A (zh) 2018-12-11

Family

ID=64550617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810826192.XA Pending CN108985245A (zh) 2018-07-25 2018-07-25 眼部位置的确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108985245A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
CN101472067A (zh) * 2007-12-28 2009-07-01 华晶科技股份有限公司 修正红眼方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及***
CN102314589A (zh) * 2010-06-29 2012-01-11 比亚迪股份有限公司 一种快速人眼定位方法及装置
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频***
CN104616438A (zh) * 2015-03-02 2015-05-13 重庆市科学技术研究院 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN107481222A (zh) * 2017-07-21 2017-12-15 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇视频定位方法和***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169907A1 (en) * 2000-07-24 2003-09-11 Timothy Edwards Facial image processing system
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测***及方法
CN101472067A (zh) * 2007-12-28 2009-07-01 华晶科技股份有限公司 修正红眼方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及***
CN102314589A (zh) * 2010-06-29 2012-01-11 比亚迪股份有限公司 一种快速人眼定位方法及装置
CN104574321A (zh) * 2015-01-29 2015-04-29 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频***
CN104616438A (zh) * 2015-03-02 2015-05-13 重庆市科学技术研究院 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN107481222A (zh) * 2017-07-21 2017-12-15 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇视频定位方法和***

Similar Documents

Publication Publication Date Title
Kashevnik et al. Methodology and mobile application for driver behavior analysis and accident prevention
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Zhang et al. SOVCAN: Safety-oriented vehicular controller area network
US10559196B2 (en) Method and system for vehicular-related communications
CN111989729B (zh) 信息处理装置、移动装置、信息处理***、方法和程序
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019097944A1 (ja) 情報処理装置および情報処理方法
KR20210134634A (ko) 자율 주행 차량 시스템
EP3564086B1 (en) Managing drive modes of a vehicle
CN104408878B (zh) 一种车队疲劳驾驶预警监控***及方法
US7792328B2 (en) Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
CN107657236A (zh) 汽车安全驾驶预警方法及车载预警***
JP2019021229A (ja) 車両制御装置および車両制御方法
CN104730949A (zh) 自主车辆中的情感型用户界面
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
EP4030326A1 (en) Information processing device, mobile device, information processing system, method, and program
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法
CN103700220A (zh) 一种疲劳驾驶监控装置
CN106448063A (zh) 交通***方法、装置以及***
CN107585026A (zh) 一种防疲劳驾驶***
CN109606376A (zh) 一种基于车载智能终端的安全驾驶行为识别***
CN109471439A (zh) 车辆控制方法、装置、设备、存储介质及汽车
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
CN113312958B (zh) 一种基于司机状态的派单优先度调整方法及装置
CN106985818A (zh) 一种基于云计算的机动车智能驾驶辅助***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221018