CN110235178B - 驾驶员状态推定装置以及驾驶员状态推定方法 - Google Patents

驾驶员状态推定装置以及驾驶员状态推定方法 Download PDF

Info

Publication number
CN110235178B
CN110235178B CN201780083998.8A CN201780083998A CN110235178B CN 110235178 B CN110235178 B CN 110235178B CN 201780083998 A CN201780083998 A CN 201780083998A CN 110235178 B CN110235178 B CN 110235178B
Authority
CN
China
Prior art keywords
driver
face
unit
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780083998.8A
Other languages
English (en)
Other versions
CN110235178A (zh
Inventor
日向匡史
诹访正树
木下航一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110235178A publication Critical patent/CN110235178A/zh
Application granted granted Critical
Publication of CN110235178B publication Critical patent/CN110235178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明的目的在于提供一种不需检测图像中的驾驶员的脸部区域中心位置，就能够推定到驾驶员的头部位置的距离的驾驶员状态推定装置，具备相机11、照明部11c、图像储存部15以及CPU12，其中CPU12具备：使从照明部11c照射光时拍摄的第1图像和从照明部11c不照射光时拍摄的第2图像储存在图像储存部15a的储存指示部21、从图像储存部15a读出第1图像和第2图像的读出指示部22、根据从图像储存部15a读出的第1图像和第2图像检测驾驶员脸部的脸部检测部23、计算第1图像中的驾驶员的脸部与第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算部24以及利用计算的脸部明亮度比，推定从驾驶员的头部到相机11的距离的距离推定部25。

Description

驾驶员状态推定装置以及驾驶员状态推定方法
技术领域
本发明涉及驾驶员状态推定装置以及驾驶员状态推定方法，更具体地，涉及能够利用拍摄的图像推定驾驶员状态的驾驶员状态推定装置以及驾驶员状态推定方法。
背景技术
以往以来就开发出根据车厢内的相机所拍摄的驾驶员的图像检测驾驶员的动作、视线等的状态，进行驾驶员所必要的信息提示、警告等的技术。
另外，近几年在开发得以发展的自动驾驶***的自动驾驶中为了从自动驾驶向手动驾驶顺利交接、需要推定驾驶员是否处于可以进行驾驶操作的状态的技术，通过解析车厢内相机所拍摄的图像，推定驾驶员状态的技术的开发在不断发展。
为了推定驾驶员的状态，需要检测驾驶员头部位置的技术。比如在专利文件1中公开了检测车厢内相机所拍摄的图像中的驾驶员的脸部区域，基于检测出的脸部区域，推定驾驶员的头部位置的技术。
上述推定驾驶员头部位置的具体方法是首先检测头部位置相对于车厢内相机的角度。所述头部位置的角度的检测方法是检测图像上的脸部区域的中心位置，将该检测出的脸部区域的中心位置作为头部位置，求出通过该脸部区域中心位置的头部位置直线，确定该头部位置直线的角度(头部位置相对于车厢内相机的角度)。
接着，检测头部位置直线上的头部位置。该头部位置直线上的头部位置的检测方法是将存在于从车厢内相机起指定距离的情形下的脸部区域的标准大小予以保存，将该标准大小与实际检测出的脸部区域的大小相比较，求出从车厢内相机到头部位置的距离。然后将头部位置直线上的、从车厢内相机起离开求出的距离的位置推定为头部位置。
发明要解决的技术问题
专利文件1所述的头部位置的推定方法，是以图像上的脸部区域的中心位置为基准、检测出头部位置，但脸部区域的中心位置随脸部朝向而改变。因此即使头部位置在同一位置，却因脸部朝向不同使得在图像上检测出的脸部区域的中心位置各自在不同位置被检测出。因此图像上的头部位置在与实际上的头部位置不同的位置被检测出，从而具有不能精度高地推定实际上到头部位置的距离的课题。
专利文献
专利文件1特开2014-218140号公报
发明内容
本发明是鉴于上述课题完成的，目的在于提供一种不需要检测图像中驾驶员的脸部区域的中心位置，就能够推定到驾驶员的头部的距离、能够利用该推定的距离判定所述驾驶员的状态的驾驶员状态推定装置以及驾驶员状态推定方法。
为了实现上述目的，本发明涉及的驾驶员状态推定装置(1)，是利用拍摄的图像推定驾驶员状态的驾驶员状态推定装置，其特征在于，
所述驾驶员状态推定装置具备：
拍摄坐在驾驶席的驾驶员的拍摄部；
对所述驾驶员的脸部照射光的照明部；
至少一台硬件处理器，
所述至少一台硬件处理器具备：
根据从所述照明部照射光时所述拍摄部拍摄的第1图像和从所述照明部不照射光时所述拍摄部拍摄的第2图像，检测驾驶员的脸部的脸部检测部；
计算由所述脸部检测部检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算部；
利用所述脸部明亮度比计算部计算出的所述脸部的明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定部。
根据上述驾驶员状态推定装置(1)，从所述第1图像和所述第2图像检测驾驶员的脸部，计算该检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比，利用该计算出的所述脸部的明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离。因此不需要求出所述图像中的脸部区域的中心位置，就能够根据所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比推定所述距离。利用该推定的距离，能够推定坐在所述驾驶席的驾驶员的位置姿势等的状态。
另外本发明涉及的驾驶员状态推定装置(2)，其特征在于，在上述驾驶员状态推定装置(1)中，具备对显示所述脸部的明亮度比与从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的相关关系的一个以上的距离推定用表格进行储存的表格信息储存部，
所述至少一个硬件处理器具备从在所述表格信息储存部中储存的所述一个以上的距离推定用表格中选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格的表格选择部，
所述距离推定部将所述脸部明亮度比计算部计算出的所述脸部的明亮度比与所述表格选择部所选择的所述距离推定用表格相对照，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离。
根据上述驾驶员状态推定装置(2)，在所述表格信息储存部中储存显示所述脸部的明亮度比与从所述驾驶员的头部到所述拍摄部的距离的相关关系的一个以上的距离推定用表格，将所述脸部的明亮度比计算部计算出的所述脸部的明亮度与所述表格选择部所选择的所述距离推定用表格相对照，推定从坐在驾驶席的驾驶员的头部到所述拍摄部的距离。
从所述照明部照射的光的反射强度因所述驾驶员的脸部的明亮度而不同，通过选择并利用显示与所述驾驶员的脸部的明亮度相适应的反射强度关系的所述距离推定用表格，能够提高从所述驾驶员的头部到所述拍摄部的距离的推定精度。而且通过利用所述距离推定用表格，能够不增加所述距离推定处理的负荷而高速地进行处理。
另外，本发明涉及的驾驶员状态推定装置(3)，其特征在于，在上述驾驶员状态推定装置(2)中，所述至少一个硬件处理器具备从所述脸部检测部所检测出的所述驾驶员的脸部图像、判定所述驾驶员的属性的属性判定部，
所述一个以上的距离推定用表格中包括与所述驾驶员的属性相对应的距离推定用表格，
所述表格选择部从所述一个以上的距离推定用表格中选择与所述属性判定部判定的所述驾驶员的属性相对应的距离推定用表格。
根据上述驾驶员状态推定装置(3)，由所述脸部检测部检测出的所述驾驶员的脸部图像判定所述驾驶员的属性，从所述一个以上的距离推定部用表格中选择与所述属性判定部判定的所述驾驶员的属性相对应的距离推定用表格。因此不但利用所述第2图像中的驾驶员的脸部的明亮度，还可以选择并利用与所述驾驶员的属性相对应的距离推定用表格，从而能够更进一步提高由所述距离推定部推定的所述距离的精度。
另外本发明涉及的驾驶员状态推定装置(4)，其特征在于，在上述驾驶员状态推定装置(3)中，所述驾驶员的属性包括人种、性别、有无化妆以及年龄中的至少一项。
根据上述驾驶员状态推定装置(4)，所述驾驶员的属性中包括人种、性别、有无化妆以及年龄中的至少一项，所以通过准备与所述驾驶员的多样的属性相对应的所述距离推定用表格，并可以进行选择，能够更进一步提高通过所述距离推定部推定所述距离的精度。
另外本发明涉及的驾驶员状态推定装置(5)，其特征在于，在上述驾驶员状态推定装置(2)中，所述至少一台硬件处理器具备从检测车外的光照度的光照度检测部取得光照度数据的光照度数据取得部，
所述表格选择部考虑从所述光照度数据取得部取得的光照度数据，选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格。
在车载环境下，根据太阳光的照射方向、隧道的出入口等的道路状况，驾驶员的脸部的明亮度与周围的明亮度可能发生极端不同的状况。在这种情形下，所述第2图像中的驾驶员的脸部的明亮度受到影响。
根据上述驾驶员状态推定装置(5)，考虑所述光照度数据取得部取得的光照度数据，选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格。因此能够选择考虑了拍摄所述第2图像时的车外的光照度的、适当的距离推定用表格，能够抑制由所述距离推定部推定所述距离的精度的偏差。
另外本发明涉及的驾驶员状态推定装置(6)，其特征在于，在上述驾驶员状态推定装置(1)～(5)的任一项中，所述至少一台硬件处理器具备利用所述距离推定部推定的所述距离、判定坐在所述驾驶席的驾驶员是否是处在可以进行驾驶操作的状态的驾驶操作可否判定部。
根据上述驾驶员状态推定装置(6)，利用所述距离推定部推定的所述距离，能够判定坐在所述驾驶席的驾驶员是否是处在可以进行驾驶操作的状态，能够适当地进行所述驾驶员的监视。
另外本发明涉及的驾驶员状态推定方法，是利用具备拍摄坐在驾驶席的驾驶员的拍摄部、对所述驾驶员的脸部照射光的照明部、至少一个硬件处理器的装置，推定坐在所述驾驶席的驾驶员的状态的驾驶员状态推定方法，其特征在于，
所述至少一个硬件处理器实行：
根据所述照明部对所述驾驶员的脸部照射光时、所述拍摄部拍摄的第1图像与所述照明部不对所述驾驶员的脸部照射光时、所述拍摄部拍摄的第2图像，检测驾驶员的脸部的脸部检测步骤；
计算由所述脸部检测步骤所检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮部比计算步骤；
利用所述明亮度计算步骤计算出的所述脸部明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定步骤。
根据上述驾驶员状态推定方法，由所述第1图像与所述第2图像检测出驾驶员的脸部，求出所述检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比，利用该脸部的明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离。因此不需要求出所述图像中的脸部区域的中心位置，由所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比，就可以推定所述距离。利用该推定的距离，能够推定坐在所述驾驶席的驾驶员的位置姿势等状态。
附图说明
图1是概略地显示了包括本发明的实施方式(1)涉及的驾驶员状态推定装置的自动驾驶***的主要部件的方框图。
图2是显示实施方式(1)涉及的驾驶员状态推定装置的构成的方框图。
图3(a)是显示单目相机的设置实例的车厢内平面图；(b)是显示单目相机拍摄的图像实例的图解图；(c)是显示单目相机的拍摄时点与照明部的开·关的转换时点的一个实例的时间图。
图4(a)是显示在表格信息储存部中储存的距离推定用表格的一个实例的图；(b)是用来说明距离推定用表格的种类的坐标图。
图5是显示实施方式(1)涉及的驾驶员状态推定装置的CPU所进行的处理动作的流程图。
图6是显示实施方式(2)涉及的驾驶员状态推定装置的构成的方框图。
图7是用来说明属性判定部判定的驾驶员的属性与在表格信息储存部中储存的距离推定用表格的图。
图8是显示实施方式(2)涉及的驾驶员状态推定装置的CPU所进行的处理动作的流程图。
图9是显示实施方式(3)涉及的驾驶员状态推定装置的构成的方框图。
具体实施方式
以下基于附图说明本发明涉及的驾驶员状态推定装置以及驾驶员状态推定方法的实施方式。另外以下所述实施方式是本发明的优选的具体实例，在技术方面进行了各种限定，但在以下的说明中只要没有记载特别的对本发明进行限制的意思，本发明的范围就不受这些实施方式的限制。
图1是概略地显示了包括实施方式(1)涉及的驾驶员状态推定装置的自动驾驶***的主要部件的方框图。图2是显示实施方式(1)涉及的驾驶员状态推定装置的构成的方框图。
自动驾驶***1是使车辆沿道路自动行驶的***，包括驾驶员状态推定装置10、人机接口HMI(Human Machine Interface)40以及自动驾驶控制装置50而构成。这些各装置藉由通信总线60连接。另外，通信总线60上还连接有通过自动驾驶或者驾驶员手动驾驶进行控制所必要的各种传感器、控制装置(未图示)。
驾驶员状态推定装置10计算从照明部11c照射光时拍摄的第1图像(以下称为照明开的图像)与从照明部11c不照射光时拍摄的第2图像(以下称为照明关的图像)上所拍到的驾驶员的脸部的明亮度的比，利用计算出的脸部的明亮度比，进行推定从单目相机11到驾驶员的头部的距离的处理、基于距离的推定结果判定驾驶员是否是可以进行驾驶操作的状态、并将该判定结果输出的处理等。
驾驶员状态推定装置10包括单目相机11、中央处理器(CPU12)、只读存储器(ROM13)、随机存储器(RAM14)、储存部15以及输入输出接口(I/F)16而构成，这些各部分藉由通信总线17连接。另外，还可以是单目相机11作为与装置本体分别构成的相机单元而构成。
单目相机11是可以定期地(比如1秒内30～60次)拍摄坐在驾驶席的驾驶员的包括头部的图像的相机，包括构成拍摄部的一个以上的镜头构成的镜头组11a、生成被拍摄体的拍摄数据的电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)等的拍摄元件11b、将拍摄数据转换为电子数据的AD变换器(未图示)以及由朝向驾驶员的脸部照射光、比如照射近红外光的一个以上的近红外发光元件等而构成的照明部11c而构成。单目相机11上还可以设置有去掉可视光的滤光器、只能使近红外域通过的带通滤波器等。
另外，拍摄元件11b还可以使用在可视光区域和红外区域的双方具有脸部拍摄所必要的感光度的元件。这样可以通过可视光和红外光双方拍摄脸部图像。另外，作为照明部11c的光源，可以不但使用红外光光源还可以使用可视光光源。
CPU12是硬件处理器，读出ROM13中保存的程序，基于该程序进行单目相机11拍摄的图像数据的各种处理等。CPU12还可以按照每个图像处理、控制信号输出处理等的处理用途，装备多个。
ROM13中储存有用以在CPU12实行图2所示的储存指示部21、读出指示部22、脸部检测部23、脸部的明亮度比计算部24、距离推定部25、表格选择部26以及驾驶操作可否判定部27的处理的程序等。另外，还可以是CPU12所实行的所述程序的全部或者一部分保存在与ROM13不同的另外的储存部15或者其他储存介质(未图示)。
在RAM14中临时储存CPU12实行各种处理所必要的数据、从ROM13读出的程序等。
储存部15包括图像储存部15a和表格信息储存部15b。在图像储存部15a中储存有单目相机11拍摄的图像(照明开的图像以及照明关的图像)数据。表格信息储存部15b中储存有显示照明开的图像中的驾驶员的脸部与照明关的图像中的驾驶员的脸部的明亮度比(脸部的明亮度比)与从坐在驾驶席的驾驶员的头部到单目相机11的距离的相关关系的一个以上的距离推定用表格。
另外，储存部15中还储存有包括单目相机11的焦点距离、光圈(F值)、图像角度、像素(横x纵)等的参数信息。另外还可以储存单目相机11的安装位置信息。单目相机11的安装位置信息比如在HMI40读出单目相机11的设定菜单而构成，在安装时，只要从所述设定菜单输入设定即可。储存部15比如可以由带电可擦可编程只读存储器(EEPROM)、闪存盘等一个以上的不挥发性半导体储存器构成。输出输入接口(I/F)16是用以藉由通信总线60与各种外部装置之间进行数据交换的。
HMI40根据驾驶员状态推定装置10发送来的信号，进行向驾驶员通知驾驶姿势等状态的处理、向驾驶员通知自动驾驶***1的动作状况、自动驾驶的解除信息等的处理、将自动驾驶控制相关联的操作信号输出到自动驾驶控制装置50的处理等。除了在驾驶员容易目视确认的位置设置的显示部41、声音输出部42以外，HMI40还可以包括未图示的操作部、声音输入部等而构成。
自动驾驶控制装置50还与未图示的动力源控制装置、操舵控制装置、制动控制装置、周边监视传感器、导航***、与外部进行通信的通信装置等连接，基于从这些各部件所取得的信息，将用以进行自动驾驶的控制信号输出到各控制装置，进行车辆的自动行驶控制(自动操舵控制、自动速度调整控制等)。
在说明图2所示的驾驶员状态推定装置10的各部分之前，利用图3、图4就驾驶员状态推定装置10所进行的推定到驾驶员的头部的距离的方法进行说明。
图3(a)是显示单目相机11的设置例的车厢内平面图，(b)是显示单目相机11所拍摄的图像实例的解说图，(c)是显示单目相机11的拍摄时点与照明部11c的开·关的切换时点的一个实例的时间图表。
另外图4(a)是显示在表格信息储存部15b中储存的距离推定用表格的一个实例的图，(b)是用来说明距离推定用表格的种类的坐标图。
如图3(a)所示，假定驾驶员30坐在驾驶席31。在驾驶席31的正面前方设置有方向盘32。驾驶席31可以在前后方向调整位置，座面的可动范围设定为S。单目相机11设置在方向盘32的里侧(未图示的操纵杆或者控制板、仪表盘的前面)，设置在能够拍摄驾驶员30A的包括头部(脸部)的图像11d的位置。另外单目相机11的设置位置姿势不限定于该形态。
在图3(a)中，以A表示从单目相机11到实际上的驾驶员30的距离，以B表示从方向盘32到驾驶员30的距离，以C表示从方向盘32到单目相机11的距离，以α表示单目相机11的拍摄角度，以I表示拍摄面的中心。图3(b)显示将驾驶席31设置在座面的可动范围S的近似中间时拍摄的驾驶员30A的图像的实例。
图3(c)是显示对单目相机11的拍摄元件11b的拍摄(曝光)的时点和照明部11c的开·关切换时点的一个实例的时间图表。在图3(c)所示的实例中，照明部11c对照明开与关，是按照每个拍摄时点(帧)进行切换的，交互拍摄照明开的图像与照明关的图像，但照明开·关的切换时点不限定于该形态。
图4(a)是显示在表格信息储存部15b中储存的距离推定用表格的一个实例的图，(b)是用以说明距离推定用表格的种类的坐标图。
图4(a)所示的距离推定用表格显示了照明开的图像中的驾驶员的脸部和照明关的图像中的驾驶员的脸部的明亮度比(灰度比)与从坐在驾驶席31的驾驶员30的头部到单目相机11的距离的相关关系。
从照明部11c照射的光的反射特性根据驾驶员的脸部反射率而变化。在表格信息储存部15b中包括与照明关的图像中的驾驶员的脸部的明亮度程度的不同所对应的一个以上的距离推定用表格。
一般地反射光的强度具有与距离的2乘方成反比例的特性(I＝k/D2、I：反射光的强度、k：物体的反射系数、D：与物体的距离)。如果利用该特性，则通过利用由反射光构成的反射光图像，能够推定到驾驶员的距离。但是反射光的强度除了到驾驶员的距离以外，还受驾驶员的脸部颜色(反射系数)的不同、驾驶员的肌肤特性(反射特性)的不同等的影响。因此只参照反射光图像的反射光强度，难以正确地推定与驾驶员的距离。
于是在本实施方式中，是事先利用实测数据进行学习处理等，制作与人脸部的明亮度的不同相对应的一个以上的距离推定用表格，将该制作的一个以上的距离推定用表格储存在表格信息储存部15b，用于距离推定处理的构成。通过利用与因驾驶员不同而不同的脸部颜色(反射系数)、肌肤特性(反射特性)相对应的距离推定用表格，能够提高到驾驶员的距离的推定精度。
在距离推定用表格的制作中，考虑人的脸部(肌肤)的反射率的多样性，将脸部(肌肤)反射率不同的人选定为采样模型。然后在与车辆的驾驶席同样的环境下，将从单目相机11到头部的距离设定为如20、40、60、80、100cm，取得各距离的照明开·关时所拍摄的图像。分别检测取得的照明开的图像与照明关的图像中的脸部(脸部区域)的明亮度(灰度)后，计算灰度比。利用这些数据，分别按照照明关时拍摄的图像中的脸部的明亮度，制作距离推定用表格。
图4(b)中，以点划线表示的图线显示照明关的图像中脸部的光亮程度高的情形下的相关关系的一个实例，以虚线表示的图线显示照明关的图像中的脸部光亮程度低的情形下的相关关系的一个实例。
照明关的图像中的脸部明亮程度高，则照明关时从脸部反射的光的反射率就高；另一方面，照明关的图像中的脸部明亮程度低，则照明开时从脸部反射的光的反射率就低。选择并利用与照明关的图像中的驾驶员的脸部的明亮度(换言之，从驾驶员的脸部反射的光的反射率)相对应的距离推定用表格，能够提高从单目相机11到驾驶员30的头部的距离A的推定精度。
接着基于图2所示的方框图，就实施方式(1)涉及的驾驶员状态推定装置10的具体构成进行说明。
驾驶员状态推定装置10将ROM13中储存的各种程序读出到RAM14，并通过在CPU12实行这些程序，成为能够进行储存指示部21、读出指示部22、脸部检测部23、脸部明亮度比计算部24、距离推定部25、表格选择部26以及驾驶操作可否判定部27的处理的装置。脸部检测部23、脸部明亮度比计算部24、距离推定部25以及驾驶操作可否判定部27可以分别以专用的芯片构成。
储存指示部21进行将单目相机11拍摄的驾驶员30A的包括脸部的图像(照明开的图像以及照明关的图像)数据储存在储存部15的一部分的图像储存部15a的处理。读出指示部22进行从图像储存部15a读出驾驶员30A被拍摄的图像(照明开的图像以及照明关的图像)的处理。
脸部检测部23进行由从图像储存部15a读出的图像(照明开的图像与照明关的图像)检测驾驶员30A的脸部的处理。由图像检测脸部的方法没有特别限定，可以利用已知的脸部检测技术。
比如可以是通过利用与脸部整体的轮廓相对应的标准模板的模板匹配法或者基于脸部器官(眼睛、鼻子、嘴、眉等)的模板匹配法等来检测脸部而构成。另外还可以检测与皮肤的颜色、明亮度相近的区域，将该区域作为脸部进行检测的构成。另外，作为高速高精度地检测脸部的方法有，比如将脸部的局部区域的明暗差(灰度差)、边缘强度、这些局部区域间的关联性(共现性)作为特征量掌握，通过将这些多数的特征量组合学习，制作检测器，通过利用分阶层构造(从大致掌握脸部的阶层到掌握脸部细节部的阶层的构造)的检测器的图像处理方法，能够进行脸部区域的检测。另外为了与脸部的朝向、倾斜相对应，还可以具备按照每个脸部朝向、倾斜，分别学习的的多个检测器。
脸部明亮度比计算部24检测由脸部检测部23检测的照明开的图像中的驾驶员的脸部明亮度和照明关的图像中的驾驶员的脸部明亮度，进行处理，求出照明开的图像中的驾驶员的脸部明亮度与照明关的图像中的驾驶员的脸部明亮度的比(脸部明亮度比：照明开时/照明关时)。比如求出图像中的脸部的肌肤区域的灰度(比如平均灰度)，作为脸部明亮度。
距离推定部25利用由脸部明亮度比计算部24所求出的脸部的明亮度比，进行推定从坐在驾驶席31的驾驶员30的头部到单目相机11的距离A(关于纵深的信息)的处理。
在推定距离A的处理中，使用由表格选择部26所选择的距离推定用表格。表格选择部26从表格信息储存部15b中储存的一个以上的距离推定用表格中、选择与照明关的图像中的驾驶员的脸部的明亮度相对应的距离推定用表格。
即、距离推定部25将脸部明亮度比计算部24所计算出的脸部明亮度比与表格选择部26所选择的距离推定用表格相对照，进行推定从坐在驾驶席31的驾驶员30的头部到单目相机11的距离A的处理。
驾驶操作可否判定部27利用距离推定部25所推定的距离A，判定驾驶员30是否是可以进行驾驶操作的状态，比如将ROM13或者储存部15中储存的、手可以够得到方向盘的范围读出到RAM14，通过进行比较演算，判定驾驶员30是否是在手能够够得到方向盘32的范围内，将显示该判定结果的信号输出到HMI40或者自动驾驶控制装置50。另外从距离A中减去距离C(从方向盘32到单目相机11的距离)，求出距离B(从方向盘32到驾驶员30的距离)，进行上述判定。另外还可以将距离C的信息作为单目相机的安装位置信息注册在储存部15。
图5是显示实施方式(1)涉及的驾驶员状态推定装置10的CPU12所进行的处理动作的流程图。单目相机11比如以每秒30～60的帧拍摄图像，与各帧的拍摄时点相配合，切换照明部11c的开与关。按照各帧或者每一定间隔的帧进行本处理。
首先，在步骤S1，从图像储存部15a读出单目相机11拍摄的照明开的图像和照明关的图像，在接下来的步骤S2，进行从读出的照明开的图像以及照明关的图像检测驾驶员30A的脸部的处理。
在步骤S3，进行检测照明关的图像中的驾驶员30A的脸部区域的明亮度的处理。比如可以检测脸部的肌肤区域或者脸部器官的灰度作为脸部区域的明亮度。
在接下来的步骤S4，进行从表格信息储存部15b中储存的一个以上的距离推定用表格中，选择与步骤S3所检测的照明关的图像中的驾驶员30A的脸部的明亮度相对应的距离推定用表格的处理。
在步骤S5，进行检测照明开的图像中的驾驶员30A的脸部的明亮度的处理。比如可以检测脸部的肌肤区域或者脸部器官的灰度作为脸部区域的明亮度。
在下一个步骤S6，进行计算照明开的图像中的驾驶员30A的脸部的明亮度与照明关的图像中的驾驶员30A的脸部的明亮度的比(脸部明亮度比)的处理。
在步骤S7，将步骤S6中计算出的脸部明亮度比适用于步骤S4选择的距离推定用表格，进行抽出从坐在驾驶席31的驾驶员的头部到单目相机11的距离A的处理(距离推定处理)。
在下一个步骤S8，进行从步骤S7推定的距离A中减去距离C(从方向盘32到单目相机11的距离)，求出距离B(从方向盘32到驾驶员30的距离)的处理。
在步骤S9，读出RAM13或者储存部15中储存的、可以进行适当的方向盘操作的范围，通过进行比较演算，判定距离B是否是可以进行适当的方向盘操作的范围(距离E1<距离B<距离E2)。从距离E1到距离E2的距离范围，可以设定为驾驶员30坐在驾驶席31的状态下，推定可以进行方向盘32的操作的距离范围，比如距离E1是40cm，距离E2是80cm左右的数值。
在步骤S9，如果判断距离B在可以进行适当的方向盘操作的范围内，则结束随后的处理；另一方面，如果判断距离B不在可以进行适当的方向盘操作的范围内，则进行步骤S10。
在步骤S10，将驾驶操作不可信号输出到HMI40或者自动驾驶控制装置50，结束随后的处理。在HMI40中输入驾驶操作不可信号时，比如在显示部41进行驾驶姿势或者坐席位置的警告显示、通过声音输出部42进行警告驾驶姿势或者坐席位置的播告。另外，在自动驾驶控制装置50输入驾驶操作不可信号时，比如实行减速控制等。
根据上述实施方式(1)涉及的驾驶员状态推定装置10，由照明开的图像与照明关的图像检测驾驶员30A的脸部，计算该检测出的照明开的图像中的驾驶员30A的脸部与照明关的图像中的驾驶员30A的脸部的明亮度比，将计算出的脸部的明亮度比与表格选择部26所选择的距离推定用表格相对照，推定从坐在驾驶席31的驾驶员30的头部到单目相机11的距离A。因此不必求出图像中的脸部区域的中心位置，就可以从照明开的图像中的驾驶员的脸部与照明关的图像中的驾驶员的脸部的明亮度比推定距离A。
另外，根据驾驶员状态推定装置10，除了单目相机11外，不需要设置其他传感器，就可以推定到上述驾驶员的距离A，能够实现装置构成的简单化；另外，由于不需要设置所述其他的传感器，所以不需要伴随其而追加的处理，能够减少对CPU12所施加的负荷，能够实现装置的小型化、低成本化。
另外，通过选择并利用与驾驶员的脸部的明亮度(反射特性)相对应的距离推定用表格，能够提高从驾驶员30的头部到单目相机11的距离的推定精度。另外，通过利用事先储存的距离推定用表格，能够不给距离A的推定处理施加负荷而高速地实现处理。
另外，根据利用距离推定部25所推定的距离A所算出的距离B能够判定坐在驾驶席31的驾驶员30是否处在可以进行驾驶操作的状态，能够适当地进行驾驶员的监视。
接着就实施方式(2)涉及的驾驶员状态推定装置10A进行说明。关于实施方式(2)涉及的驾驶员状态推定装置10A的构成，除了CPU12A、ROM13A以及储存部15A外，与图1所示的驾驶员状态推定装置10大致相同，因此针对不同构成的CPU12A、ROM13A以及储存部15A的表格信息储存部15c附以不同符号，并在这里省略对其他的构成部件的说明。
实施方式(1)涉及的驾驶员状态推定装置10的构成是在表格信息储存部15b中储存一个以上与驾驶员的脸部的明亮度的程度相对应的距离推定用表格，表格选择部26选择与照明关的图像中的驾驶员30A的脸部的明亮度相对应的距离推定用表格。
实施方式(2)涉及的驾驶员状态推定装置10A的构成是在表格信息储存部15c中储存一个以上的与驾驶员的属性相对应的距离推定用表格，表格选择部26A选择与驾驶员的属性和照明关的图像中的驾驶员30A的脸部的明亮度相对应的距离推定用表格。
接着基于图6所示的方框图说明实施方式(2)涉及的驾驶员状态推定装置10A的具体构成。关于与图2所示的驾驶员状态推定装置10大致相同的构成部分，附以相同符号，省略对其说明。
驾驶员状态推定装置10A，通过将ROM13A中储存的各种程序读出到RAM14，在CPU12A进行实行，可以成为进行储存指示部21、读出指示部22、脸部检测部23、脸部明亮度比计算部24、距离推定部25、表格选择部26A、驾驶操作可否判定部27以及属性判定部28的处理的装置。脸部检测部23、脸部明亮度比计算部24、距离推定部25、驾驶操作可否判定部27以及属性判定部28可以分别以专用的芯片构成。
属性判定部28进行从脸部检测部23所检测出的驾驶员30A的脸部的图像判定驾驶员的属性的处理。
在表格信息储存部15c中储存有与驾驶员的属性相对应的一个以上的距离推定用表格。
参照图7对属性判定部28所判定的驾驶员的属性与在表格信息储存部15c中储存的距离推定用表格的内容进行说明。
属性判定部28所判定的驾驶员的属性包括人种(比如蒙古人种、白色人种或者黑色人种)、性别(男性或者女性)、脸部附着物(比如有无化妆)、年龄层(比如未满30岁、未满30～50岁、未满50～70岁、70岁以上)。另外，驾驶员的属性中包括人种、性别、有无化妆以及年龄中的至少一个即可。
表格信息储存部15c中储存的一个以上的距离推定用表格中包括与驾驶员的属性相对应的距离推定用表格。
即、如图7所示，人种为蒙古人种时，男性包括4个表格、男性包括8个表格。人种为白色人种、黑色人种的情形时也同样，男性包括4个表格，女性包括8个表格。
属性判定部28作为判定驾驶员人种的人种判定部、判定驾驶员性别的性别判定部、判定驾驶员化妆有无的化妆有无判定部以及判定驾驶员的年龄层的年龄层判定部进行处理。
另外，属性判定部28进行作为检测脸部器官(比如眼睛、鼻子、嘴、耳朵、眉毛、颚、额头的一个以上)的脸部器官检测部和抽出在所述脸部器官检测部检测出的各器官上设定的特征点的特征量(包括浓淡变化的边缘方向、强度信息的Haar-like特征等)的特征量抽出部的处理。在上述脸部器官检测部、特征量抽出部、人种判定部、性别判定部、化妆有无判定部、年龄层判定部上可以适用公知的图像处理技术。
比如，人种判定部具备用以识别人种类型的识别器，所述识别器事先利用按照人种(蒙古人种、白色人种、黑色人种)分类的图像数据群，完成学习处理，通过对该识别器输入从驾驶员的脸部图像提取的各特征点的特征量，进行推定演算，判定驾驶员的人种。
性别判定部具备用以识别性别类型的识别器，所述识别器事先利用按照每个人种的性别(男性、女性)的图像数据群，完成学习处理，通过对该识别器输入从驾驶员的脸部图像提取的各特征点的特征量，进行推定演算，判定驾驶员的性别。
化妆有无判定部具备用以识别化妆有无的类型的识别器，所述识别器事先利用按照各人种的女性的化妆有无的图像数据群，完成学习处理，通过对该识别器输入从驾驶员的脸部图像提取的各特征点的特征量，进行推定演算，判定驾驶员(女性)的化妆的有无。
年龄层判定部具备用以识别年龄层类型的识别器，所述识别器事先利用按照每个人种的性别的年龄层的图像数据群，完成学习处理，通过对该识别器输入从驾驶员的脸部图像提取的各特征点的特征量，进行推定演算，判定驾驶员的年龄层。
属性判定部28判定的驾驶员的属性信息被给到表格选择部26A。
表格选择部26A进行从表格信息保存部15c中保存的一个以上的距离指定用表格中选择与属性判定部28所判定的驾驶员的属性和照明关的图像中的驾驶员30A的脸部明亮度相对应的距离推定用表格的处理。
距离推定部25将脸部明亮度比计算部24计算出的脸部的明亮度比与表格选择部26A所选择的距离推定用表格相对照，进行推定坐在驾驶席31的驾驶员30的头部到单目相机11的距离A的处理。
图8是显示实施方式(2)涉及的驾驶员状态推定装置10A的CPU12A进行处理动作的流程图。另外，关于与图5所示的流程图的处理相同的处理，附以相同的步骤符号，省略对其说明。
首先，在步骤S1，从图像储存部15a读出单目相机11拍摄的、照明开的图像和照明关的图像，在步骤S2，进行从读出的照明开的图像以及照明关的图像检测驾驶员30A的脸部(脸部区域)的处理，然后进行步骤S21。
在步骤S21，进行为了判定驾驶员的属性而对步骤S2所检测出的驾驶员30A的脸部的图像解析处理。即、通过检测脸部器官的处理、提取在各器官设定的特征点的特征量的处理等，推定演算脸部各器官的位置、骨骼形状、皱纹、松弛、肌肤颜色等。
在步骤S22，将步骤S21所解析的、从驾驶员30A的脸部图像中提取的各特征点的特征量输入用以识别人种类型的识别器，通过进行推定演算，进行判定驾驶员的人种的处理，人种判定后，进行步骤S23。
在步骤S23，将步骤S21所解析的、从驾驶员30A的脸部图像中提取的各特征点的特征量输入用以识别性别类型的识别器，通过进行推定演算，进行判定驾驶员的性别(男性或者女性)的处理，性别判定后，进行步骤S24。
在步骤S24，将步骤S21所解析的、从驾驶员30A的脸部图像提取的各特征点的特征量，输入用以识别化妆有无类型的识别器，通过进行推定演算处理，进行判定驾驶员的脸部是否有化妆(化妆有无)的处理，判定化妆有无后，进行步骤S25。
在步骤S25，将步骤S21所解析的、从驾驶员30A的脸部图像提取的各特征点的特征量，输入用以识别年龄层类型的识别器，通过进行推定演算处理，进行判定驾驶员的年龄层的处理，判定年龄层后，进行步骤S3。
在步骤S3，进行检测照明关的图像中的驾驶员30A的脸部的明亮度的处理，然后进行步骤S26。
在步骤S26，根据步骤S22～S25的处理中判定的驾驶员的属性和步骤S3所检测出的驾驶员30A的脸部的明亮度，进行从表格信息储存部15c中选择相对应的距离推定用表格的处理，然后进行S5以后的处理。
根据上述实施方式(2)涉及的驾驶员状态推定装置10A，从脸部检测部23所检测出的驾驶员30A的脸部图像判定驾驶员的属性，从一个以上的距离推定用表格中，选择与属性判定部28所判定的驾驶员的属性相对应的距离推定用表格。因此不但可以选择并利用照明关的图像中的驾驶员30A的脸部的明亮度，还能够选择并利用与驾驶员的属性相对应的距离推定用表格，能够更加提高距离推定部25推定距离A的精度。
另外，驾驶员的属性中包括人种、性别、化妆的有无以及年龄中的至少一项，所以通过准备与驾驶员的多样的属性相对应的距离推定用表格并可以进行选择，能够更加提高距离推定部25推定距离A的精度。
接着就实施方式(3)涉及的驾驶员状态推定装置10B进行说明。关于实施方式(3)涉及的驾驶员状态推定装置10B的构成，除了CPU12B和ROM13B外，与图1所示的驾驶员状态推定装置10相同，故对不同构成的CPU12B与ROM13B附以不同的符号，对于其他构成部件，这里省略对其说明。
图9是显示实施方式(3)涉及的驾驶员状态推定装置10B的构成的方框图。就与图2所示的驾驶员状态推定装置10大致相同的构成部分，附以相同的符号，省略对其说明。
驾驶员状态推定装置10B通过将ROM13B中储存的各种程序读出到RAM14，并在CPU12B实行，从而能够成为进行储存指示部21、读出指示部22、脸部检测部23、脸部明亮度比计算部24、距离推定部25、表格选择部26B、驾驶操作可否判定部27以及光照度数据取得部29的处理的装置。
实施方式(3)涉及的驾驶员状态推定装置10B与实施方式(1)涉及的驾驶员状态推定装置10的主要的不同点在于：CPU12B具备从检测车外的光照度的光照度传感器51取得光照度数据的光照度数据取得部29,；表格选择部26B考虑光照度数据取得部29所取得的光照度数据，选择与照明关的图像中的驾驶员的脸部的明亮度相对应的距离推定用表格。
光照度传感器51是设置在车辆(车体、车厢内)的、检测车外光照度的传感器，比如包括光敏二极管等接受光的元件、将接受的光转换为电流的元件等而构成。光照度数据取得部29藉由通信总线60取得光照度传感器51所检测出的光照度数据。
车载环境中有可能发生因太阳光的照射方向、隧道的出入口等的道路状况而使驾驶员的脸部的明亮度和周围的明亮度有极端不同的状况。在这种状况下，照明关的图像中的驾驶员的脸部的明亮度受到影响。比如在被夕阳照射的情况下，驾驶员的脸部被照的很亮，另一方面在进入隧道时，驾驶员的脸部被拍的很暗。
实施方式(3)涉及的驾驶员状态推定装置10B，在图5的步骤S3中，将光照度数据取得部29所取得光照度数据作为驾驶员的脸部明亮度的变化参数使用，检测照明关的图像中的驾驶员的脸部区域的明亮度，然后进行步骤S4，进行选择与照明关的图像中的驾驶员的脸部的明亮度相对应的距离推定用表格的处理。
比如与取得的光照度数据的数值相对应地，补正照明关的图像中的驾驶员的脸部的明亮度的数值，选择与该补正的驾驶员的脸部的明亮度相对应的距离推定用表格。
具体地，在光照度数据的数值比基准范围高(明亮)的情况下，进行将照明关的图像中的驾驶员的脸部的明亮度数值缩小的补正，在光照度数据数值比基准范围低(暗)的情况下，进行将驾驶员的脸部的明亮度数值扩大的补正，选择与该补正的驾驶员的脸部的明亮度相对应的距离推定用表格。
根据上述实施方式(3)涉及的驾驶员状态推定装置10B，能够选择考虑了拍摄照明关的图像时的车外的光照度的适当的距离推定用表格，能够抑制距离推定部25推定的距离A的精度的偏差。另外，在上述实施方式(2)涉及的驾驶员状态推定装置10A上装备光照度数据取得部29，也能够获得同样的效果。
上述实施方式(1)～(3)涉及的驾驶员状态推定装置10、10A、10B搭载在自动驾驶***1、1A、1B上，从而能够适当地对驾驶员30实行自动驾驶的监视，即使是自动驾驶的行驶控制处于困难的状况下，也能够迅速且安全地进行向手动驾驶的交接，能够提高自动驾驶***1、1A、1B的安全性。
(附注1)
一种驾驶员状态推定装置，是利用拍摄的图像推定驾驶员状态的驾驶员状态推定装置，其特征在于，所述驾驶员状态推定装置具备：
拍摄坐在驾驶席的驾驶员的拍摄部；
对所述驾驶员的脸部照射光的照明部；
至少一个储存部；
至少一个硬件处理器，
所述至少一个储存部具备储存所述拍摄部拍摄的图像的图像储存部，
所述至少一个硬件处理器具备：
将所述照明部照射光时所述拍摄部拍摄的第1图像与所述照明部不照射光时所述拍摄部拍摄的第2图像储存在所述图像储存部的储存指示部；
从所述图像储存部读出所述第1图像与所述第2图像的读出指示部；
由所述图像储存部读出的所述第1图像与所述第2图像，检测驾驶员脸部的脸部检测部；
计算由所述脸部检测部检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算部；
利用所述脸部明亮度比计算部计算出的所述脸部明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定部。
(附注2)
一种驾驶员状态推定方法，是利用具备拍摄坐在驾驶席的驾驶员的拍摄部、对所述驾驶员的脸部照射光的照明部、至少一个储存部以及至少一个硬件处理器的装置，推定坐在所述驾驶席的驾驶员的状态的驾驶员状态推定方法，其特征在于，
所述至少一个储存部具备储存所述拍摄部拍摄的图像的图像储存部，
所述至少一个硬件处理器实行：
将所述照明部对所述驾驶员的脸部照射光时所述拍摄部拍摄的第1图像与所述照明部对所述驾驶员的脸部不照射光时所述拍摄部拍摄的第2图像，储存在所述图像储存部的储存指示步骤；
从所述图像储存部读出所述第1图像和所述第2图像的读出指示步骤；
根据从所述图像储存部读出的所述第1图像与所述第2图像检测驾驶员的脸部的脸部检测步骤；
计算所述脸部检测步骤检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算步骤；
利用所述脸部明亮度比计算步骤计算出的所述脸部明亮度比，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定步骤。
产业上的利用可能性
本发明可以广泛应用于需要监视驾驶员状态的自动驾驶***等主要是汽车行业的领域。
符号说明
1、1A、1B 自动驾驶***
10、10A、10B 驾驶员状态推定装置
11 单目相机
11a 镜头组
11b 拍摄元件
11c 照明部
11d 图像
12、12A、12B CPU
13、13A、13B ROM
14 RAM
15、15A 储存部
15a 图像储存部
15b、15c 表格信息储存部
16 I/F
17 通信总线
21 储存指示部
22 读出指示部
23 脸部检测部
24 脸部明亮度比计算部
25 距离推定部
26 表格选择部
27 驾驶操作可否判定部
28 属性判定部
29 光照度数据取得部
30、30A 驾驶员
31 驾驶席
32 方向盘
40 HMI
50 自动驾驶控制装置
51 光照度传感器
60 通信总线。

Claims (6)

1.一种驾驶员状态推定装置，是利用拍摄的图像推定驾驶员状态的驾驶员状态推定装置，其特征在于，所述驾驶员状态推定装置具备：
拍摄坐在驾驶席的驾驶员的拍摄部；
对所述驾驶员的脸部照射光的照明部；
用以储存显示所述照明部照射光时所述拍摄部拍摄的图像中的驾驶员的脸部与所述照明部不照射光时所述拍摄部拍摄的图像中的驾驶员的脸部的明亮度比与从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的相关关系的一个以上的距离推定用表格的表格信息储存部；
至少一个硬件处理器，
在所述一个以上的距离推定用表格中包含与因驾驶员不同而不同的脸部颜色、肌肤特性相对应的一个以上的距离推定用表格，
所述至少一个硬件处理器具备：
由所述照明部照射光时所述拍摄部拍摄的第1图像与所述照明部不照射光时所述拍摄部拍摄的第2图像，检测驾驶员的脸部的脸部检测部；
计算由所述脸部检测部检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算部；
从所述表格信息储存部中储存的所述一个以上的距离推定用表格中，选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格的表格选择部；
将所述脸部明亮度比计算部计算的所述脸部明亮度比与所述表格选择部选择的所述距离推定用表格相对照，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定部。
2.根据权利要求1所述的驾驶员状态推定装置，其特征在于，所述至少一个硬件处理器具备由所述脸部检测部检测出的所述驾驶员的脸部图像、判定所述驾驶员的属性的属性判定部，
所述一个以上的距离推定用表格中包括与所述驾驶员的属性相对应的距离推定用表格，
所述表格选择部从所述一个以上的距离推定用表格中选择与所述属性判定部判定的所述驾驶员的属性相对应的距离推定用表格。
3.根据权利要求2所述的驾驶员状态推定装置，其特征在于，所述驾驶员的属性包括人种、性别、有无化妆以及年龄中的至少一项。
4.根据权利要求1所述的驾驶员状态推定装置，其特征在于，所述至少一个硬件处理器具备从检测车外光照度的光照度检测部取得光照度数据的光照度数据取得部，
所述表格选择部考虑从所述光照度数据取得部取得的光照度数据，选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格。
5.根据权利要求1～4中任一项所述的驾驶员状态推定装置，其特征在于，所述至少一个硬件处理器具备利用所述距离推定部推定的所述距离，判定坐在所述驾驶席的驾驶员是否是可以进行驾驶操作的状态的驾驶操作可否判定部。
6.一种驾驶员状态推定方法，是利用具备拍摄坐在驾驶席的驾驶员的拍摄部、对所述驾驶员的脸部照射光的照明部、用以储存显示所述照明部照射光时所述拍摄部拍摄的图像中的驾驶员的脸部与所述照明部不照射光时所述拍摄部拍摄的图像中的驾驶员的脸部的明亮度比与从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的相关关系的一个以上的距离推定用表格的表格信息储存部、以及至少一个硬件处理器的装置，推定坐在所述驾驶席的驾驶员状态的驾驶员状态推定方法，其特征在于，
在所述一个以上的距离推定用表格中包含与因驾驶员不同而不同的脸部颜色、肌肤特性相对应的一个以上的距离推定用表格，
所述至少一个硬件处理器实行：
由所述照明部对所述驾驶员的脸部照射光时所述拍摄部拍摄的第1图像与所述照明部对所述驾驶员的脸部不照射光时所述拍摄部拍摄的第2图像，检测驾驶员的脸部的脸部检测步骤；
计算根据所述脸部检测步骤检测出的所述第1图像中的驾驶员的脸部与所述第2图像中的驾驶员的脸部的明亮度比的脸部明亮度比计算步骤；
从所述表格信息储存部中储存的所述一个以上的距离推定用表格中，选择与所述第2图像中的驾驶员的脸部的明亮度相对应的距离推定用表格的表格选择步骤；
将所述脸部明亮度比计算步骤计算的所述脸部明亮度比与所述表格选择部选择的所述距离推定用表格相对照，推定从坐在所述驾驶席的驾驶员的头部到所述拍摄部的距离的距离推定步骤。
CN201780083998.8A 2017-03-14 2017-07-27 驾驶员状态推定装置以及驾驶员状态推定方法 Active CN110235178B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-048504 2017-03-14
JP2017048504A JP6737213B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法
PCT/JP2017/027246 WO2018167997A1 (ja) 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法

Publications (2)

Publication Number Publication Date
CN110235178A CN110235178A (zh) 2019-09-13
CN110235178B true CN110235178B (zh) 2023-05-23

Family

ID=63522894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083998.8A Active CN110235178B (zh) 2017-03-14 2017-07-27 驾驶员状态推定装置以及驾驶员状态推定方法

Country Status (5)

Country Link
US (1) US20200001880A1 (zh)
JP (1) JP6737213B2 (zh)
CN (1) CN110235178B (zh)
DE (1) DE112017007251T5 (zh)
WO (1) WO2018167997A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3838703A1 (en) * 2019-12-18 2021-06-23 Hyundai Motor Company Autonomous controller, vehicle system including the same, and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP2016157457A (ja) * 2016-03-31 2016-09-01 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
JP4397415B2 (ja) * 2005-02-18 2010-01-13 富士通株式会社 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2007240387A (ja) * 2006-03-09 2007-09-20 Fujitsu Ten Ltd 画像認識装置および画像認識方法
JP2014218140A (ja) * 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
JP6269380B2 (ja) * 2014-08-06 2018-01-31 マツダ株式会社 車両の距離計測装置
JP6331875B2 (ja) * 2014-08-22 2018-05-30 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP2016157457A (ja) * 2016-03-31 2016-09-01 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム

Also Published As

Publication number Publication date
CN110235178A (zh) 2019-09-13
US20200001880A1 (en) 2020-01-02
JP2018151932A (ja) 2018-09-27
JP6737213B2 (ja) 2020-08-05
DE112017007251T5 (de) 2019-12-12
WO2018167997A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
CN102197418B (zh) 车辆周围监测装置
US8345922B2 (en) Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
EP2541493B1 (en) Pupil detection device and pupil detection method
JP5435307B2 (ja) 車載カメラ装置
JPH11328364A (ja) 領域推定装置及び表示処理装置
WO2016113983A1 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
JP6601351B2 (ja) 視線計測装置
US20110035099A1 (en) Display control device, display control method and computer program product for the same
US20150169980A1 (en) Object recognition device
US20160063334A1 (en) In-vehicle imaging device
WO2013157466A1 (ja) 喫煙検出装置、方法及びプログラム
JP2013005234A5 (zh)
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP4992823B2 (ja) 顔検出装置及び顔検出方法
US20130242073A1 (en) Image-capturing control apparatus and control method of capturing image
JP2009294854A (ja) 画像識別装置
CN109415020B (zh) 辉度控制装置、辉度控制***以及辉度控制方法
JPWO2017203769A1 (ja) 視線検出方法
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
CN110235178B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2008183933A (ja) 赤外線暗視装置
JP2016051317A (ja) 視線検出装置
JP4704998B2 (ja) 画像処理装置
CN115526897A (zh) 特高压换流站消防机器人火焰定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant