JP6737213B2 - 運転者状態推定装置、及び運転者状態推定方法 - Google Patents

運転者状態推定装置、及び運転者状態推定方法 Download PDF

Info

Publication number
JP6737213B2
JP6737213B2 JP2017048504A JP2017048504A JP6737213B2 JP 6737213 B2 JP6737213 B2 JP 6737213B2 JP 2017048504 A JP2017048504 A JP 2017048504A JP 2017048504 A JP2017048504 A JP 2017048504A JP 6737213 B2 JP6737213 B2 JP 6737213B2
Authority
JP
Japan
Prior art keywords
driver
face
unit
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017048504A
Other languages
English (en)
Other versions
JP2018151932A (ja
JP2018151932A5 (ja
Inventor
匡史 日向
匡史 日向
正樹 諏訪
正樹 諏訪
航一 木下
航一 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017048504A priority Critical patent/JP6737213B2/ja
Priority to US16/482,284 priority patent/US20200001880A1/en
Priority to CN201780083998.8A priority patent/CN110235178B/zh
Priority to DE112017007251.4T priority patent/DE112017007251T5/de
Priority to PCT/JP2017/027246 priority patent/WO2018167997A1/ja
Publication of JP2018151932A publication Critical patent/JP2018151932A/ja
Publication of JP2018151932A5 publication Critical patent/JP2018151932A5/ja
Application granted granted Critical
Publication of JP6737213B2 publication Critical patent/JP6737213B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は運転者状態推定装置、及び運転者状態推定方法に関し、より詳細には、撮像された画像を用いて運転者の状態を推定することのできる運転者状態推定装置、及び運転者状態推定方法に関する。
車室内カメラで撮影された運転者の画像から運転者の動作や視線などの状態を検知し、運転者に必要とされる情報の提示や警告などを行う技術が従来より開発されている。
また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。
運転者の状態を推定するためには、運転者の頭部位置を検出する技術が必要とされている。例えば、特許文献１には、車室内カメラで撮像された画像中における運転者の顔領域を検出し、検出した顔領域に基づいて、運転者の頭部位置を推定する技術が開示されている。
上記運転者の頭部位置の具体的な推定方法は、まず、車室内カメラに対する頭部位置の角度を検出する。該頭部位置の角度の検出方法は、画像上での顔領域の中心位置を検出し、該検出した顔領域の中心位置を頭部位置として、該顔領域の中心位置を通る頭部位置直線を求め、該頭部位置直線の角度（頭部位置の車室内カメラに対する角度）を決定する。
次に、頭部位置直線上の頭部位置を検出する。該頭部位置直線上の頭部位置の検出方法は、車室内カメラから所定距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際に検出した顔領域の大きさとを比較して、車室内カメラから頭部位置までの距離を求める。そして、求めた距離だけ車室内カメラから離れた、頭部位置直線上の位置を頭部位置として推定するようになっている。
［発明が解決しようとする課題］
特許文献１記載の頭部位置の推定方法では、画像上での頭部位置を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の位置が同じ位置であっても、顔の向きの違いより、画像上で検出される顔領域の中心位置がそれぞれ異なる位置に検出される。そのため画像上における頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置までの距離を精度よく推定できないという課題があった。
特開２０１４−２１８１４０号公報
課題を解決するための手段及びその効果
本発明は上記課題に鑑みなされたものであって、画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部までの距離を推定することができ、該推定された距離を前記運転者の状態判定に利用することができる運転者状態推定装置、及び運転者状態推定方法を提供することを目的としている。
上記目的を達成するために本発明に係る運転者状態推定装置（１）は、撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサが、
前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出部と、
該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴としている。
上記運転者状態推定装置（１）によれば、前記第１の画像と前記第２の画像とから運転者の顔が検出され、該検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比が算出され、該算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記画像中の顔領域の中心位置を求めることなく、前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
また本発明に係る運転者状態推定装置（２）は、上記運転者状態推定装置（１）において、前記顔の明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルを記憶するテーブル情報記憶部を備え、
前記少なくとも１つのハードウェアプロセッサが、
前記テーブル情報記憶部に記憶された前記１つ以上の距離推定用テーブルの中から、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部を備え、
前記距離推定部が、
前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。
上記運転者状態推定装置（２）によれば、前記テーブル情報記憶部に、前記顔の明るさ比と、前記運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルが記憶され、前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部で選択された前記距離推定用テーブルとが照合されて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。
前記照明部から照射される光の反射強度は前記運転者の顔の明るさによって異なるが、前記運転者の顔の明るさに適した反射強度の関係を示す前記距離推定用テーブルを選択して用いることにより、前記運転者の頭部から前記撮像部までの距離の推定精度を高めることができる。しかも、前記距離推定用テーブルを用いることにより、前記距離の推定処理に負荷をかけることなく高速に処理を実行できる。
また本発明に係る運転者状態推定装置（３）は、上記運転者状態推定装置（２）において、前記少なくとも１つのハードウェアプロセッサが、
前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
前記１つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
前記テーブル選択部が、
前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴としている。
上記運転者状態推定装置（３）によれば、前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性が判定され、前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルが選択される。したがって、前記第２の画像中の運転者の顔の明るさだけでなく、前記運転者の属性にも対応した距離推定用テーブルを選択して用いることができ、前記距離推定部により推定される前記距離の精度を一層高めることができる。
また本発明に係る運転者状態推定装置（４）は、上記運転者状態推定装置（３）において、前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれていることを特徴としている。
上記運転者状態推定装置（４）によれば、前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれているので、前記運転者の多様な属性に応じた前記距離推定用テーブルを用意して選択可能とすることで、前記距離推定部により推定される前記距離の精度を一層高めることができる。
また本発明に係る運転者状態推定装置（５）は、上記運転者状態推定装置（２）において、前記少なくとも１つのハードウェアプロセッサが、
車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
前記テーブル選択部が、
前記照度データ取得部により取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴としている。
車載環境では、太陽からの光の照射方向やトンネルの出入り口などの道路状況によって、運転者の顔の明るさと周囲の明るさとが極端に異なる状況が発生し得る。このような場合、前記第２の画像中の運転者の顔の明るさが影響を受ける。
上記運転者状態推定装置（５）によれば、前記照度データ取得部で取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルが選択される。したがって、前記第２の画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、前記距離推定部により推定される前記距離の精度のバラツキを抑制できる。
また本発明に係る運転者状態推定装置（６）は、上記運転者状態推定装置（１）〜（５）のいずれかにおいて、前記少なくとも１つのハードウェアプロセッサが、
前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。
上記運転者状態推定装置（６）によれば、前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定することができ、前記運転者の監視を適切に行うことができる。
また本発明に係る運転者状態推定方法は、運転席に着座している運転者を撮像する撮像部と、前記運転者の顔に光を照射する照明部と、少なくとも１つのハードウェアプロセッサとを備えた装置を用い、前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つのハードウェアプロセッサが、
前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出ステップと、
該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴としている。
上記運転者状態推定方法によれば、前記第１の画像と前記第２の画像とから運転者の顔を検出し、該検出した前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を求め、該顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する。したがって、前記画像中の顔領域の中心位置を求めることなく、前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
本発明の実施の形態（１）に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。 実施の形態（１）に係る運転者状態推定装置の構成を示すブロック図である。 （ａ）は単眼カメラの設置例を示す車室内平面図、（ｂ）は単眼カメラで撮像される画像例を示すイラスト図、（ｃ）は単眼カメラの撮像タイミングと照明部のオン・オフの切替タイミングの一例を示すタイミングチャートである。 （ａ）はテーブル情報記憶部に記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は距離推定用テーブルの種類を説明するためのグラフ図である。 実施の形態（１）に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。 実施の形態（２）に係る運転者状態推定装置の構成を示すブロック図である。 属性判定部で判定する運転者の属性と、テーブル情報記憶部に記憶される距離推定用テーブルとを説明するための図である。 実施の形態（２）に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。 実施の形態（３）に係る運転者状態推定装置の構成を示すブロック図である。
以下、本発明に係る運転者状態推定装置、及び運転者状態推定方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
図１は、実施の形態（１）に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。図２は、実施の形態（１）に係る運転者状態推定装置の構成を示すブロック図である。
自動運転システム１は、車両を道路に沿って自動で走行させるためのシステムであり、運転者状態推定装置１０、ＨＭＩ（Human Machine Interface）４０、及び自動運転制御装置５０を含んで構成され、これら各装置が通信バス６０を介して接続されている。なお、通信バス６０には、自動運転や運転者による手動運転の制御に必要な各種センサや制御装置（図示せず）も接続されている。
運転者状態推定装置１０は、照明部１１ｃから光が照射されたときに撮像された第１の画像（以下、照明オンの画像ともいう）と照明部１１ｃから光が照射されていないときに撮像された第２の画像（以下、照明オフの画像ともいう）とに写された運転者の顔の明るさの比を算出し、算出した顔の明るさ比を用いて、単眼カメラ１１から運転者の頭部までの距離を推定する処理、距離の推定結果に基づいて運転者が運転操作可能な状態であるか否かを判定し、その判定結果を出力する処理などを行う。
運転者状態推定装置１０は、単眼カメラ１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、記憶部１５、及び入出力インターフェース（Ｉ／Ｆ）１６を含んで構成され、これら各部が通信バス１７を介して接続されている。なお、単眼カメラ１１は、装置本体とは別体のカメラユニットとして構成してもよい。
単眼カメラ１１は、運転席に着座している運転者の頭部を含む画像を定期的（例えば、１秒間に３０〜６０回）に撮像可能なカメラであり、撮像部を構成する１枚以上のレンズから構成されるレンズ系１１ａ、被写体の撮像データを生成するＣＣＤ又はＣＭＯＳなどの撮像素子１１ｂ、及び撮像データをデジタルデータに変換するＡＤ変換部（図示せず）と、運転者の顔に向けて光、例えば近赤外光を照射する１つ以上の近赤外発光素子などから構成される照明部１１ｃとを含んで構成されている。単眼カメラ１１に、可視光をカットするフィルタや、近赤外域のみを通過させるバンドパスフィルタなどを設けてもよい。
また、撮像素子１１ｂには、可視光域と赤外域の双方に顔撮影に必要な感度を有したものを使用してもよい。そうすれば可視光と赤外光との双方による顔撮影が可能となる。なお、照明部１１ｃの光源として、赤外光光源だけでなく可視光光源を使用するようにしてもよい。
ＣＰＵ１２は、ハードウェアプロセッサであり、ＲＯＭ１３に記憶されているプログラムを読み出し、該プログラムに基づいて単眼カメラ１１で撮像された画像データの各種処理などを行う。ＣＰＵ１２は、画像処理や制御信号出力処理などの処理用途毎に複数装備してもよい。
ＲＯＭ１３には、図２に示す記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６、及び運転操作可否判定部２７としての処理を、ＣＰＵ１２に実行させるためのプログラムなどが記憶されている。なお、ＣＰＵ１２で実行される前記プログラムの全部又は一部をＲＯＭ１３とは別の記憶部１５や他の記憶媒体（図示せず）に記憶してもよい。
ＲＡＭ１４には、ＣＰＵ１２で実行される各種処理に必要なデータやＲＯＭ１３から読み出したプログラムなどが一時記憶される。
記憶部１５は、画像記憶部１５ａとテーブル情報記憶部１５ｂとを含んでいる。画像記憶部１５ａには、単眼カメラ１１で撮像された画像（照明オンの画像及び照明オフの画像）データが記憶される。テーブル情報記憶部１５ｂには、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比（顔の明るさ比）と、運転席に着座している運転者の頭部から単眼カメラ１１までの距離との相関関係を示す１つ以上の距離推定用テーブルが記憶されている。
また、記憶部１５には、単眼カメラ１１の焦点距離や絞り（Ｆ値）、画角や画素数（幅×縦）などを含むパラメータ情報が記憶されている。また、単眼カメラ１１の取付位置情報も記憶できるようにしてもよい。単眼カメラ１１の取付位置情報は、例えば、単眼カメラ１１の設定メニューをＨＭＩ４０で読み出せるように構成しておき、取付時に、前記設定メニューから入力設定できるようにすればよい。記憶部１５は、例えば、ＥＥＰＲＯＭ、フラッシュメモリなどの１つ以上の不揮発性の半導体メモリで構成されている。入出力インターフェース（Ｉ／Ｆ）１６は、通信バス６０を介して各種外部装置とのデータのやり取りを行うためのものである。
ＨＭＩ４０は、運転者状態推定装置１０から送信されてきた信号に基づいて、運転者に運転姿勢等の状態を報知する処理、自動運転システム１の作動状況や自動運転の解除情報などを運転者に報知する処理、自動運転制御に関連する操作信号を自動運転制御装置５０に出力する処理などを行う。ＨＭＩ４０は、例えば、運転者が視認しやすい位置に設けられた表示部４１や音声出力部４２の他、図示しない操作部や音声入力部などを含んで構成されている。
自動運転制御装置５０は、図示しない動力源制御装置、操舵制御装置、制動制御装置、周辺監視センサ、ナビゲーションシステム、外部と通信を行う通信装置などにも接続され、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御や自動速度調整制御など）を行う。
図２に示した運転者状態推定装置１０の各部を説明する前に、図３、図４を用いて、運転者状態推定装置１０が行う運転者の頭部までの距離の推定方法について説明する。
図３（ａ）は、単眼カメラ１１の設置例を示す車室内平面図、（ｂ）は、単眼カメラ１１で撮像される画像例を示すイラスト図、（ｃ）は、単眼カメラ１１の撮像タイミングと照明部１１ｃのオン・オフの切替タイミングの一例を示すタイミングチャートである。
また、図４（ａ）は、テーブル情報記憶部１５ｂに記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は、距離推定用テーブルの種類を説明するためのグラフ図である。
図３（ａ）に示すように、運転者３０が運転席３１に着座しているとする。運転席３１の正面前方にはハンドル３２が設置されている。運転席３１は、前後方向に位置調整可能となっており、座面の可動範囲がＳに設定されている。単眼カメラ１１は、ハンドル３２の奥側（図示しないステアリングコラム、又はダッシュボードやインストルメントパネルの手前）に設けられており、運転者３０Ａの頭部（顔）を含む画像１１ｄを撮像可能な箇所に設置されている。なお、単眼カメラ１１の設置位置姿勢はこの形態に限定されるものではない。
図３（ａ）では、単眼カメラ１１から実世界における運転者３０までの距離をＡ、ハンドル３２から運転者３０までの距離をＢ、ハンドル３２から単眼カメラ１１までの距離をＣ、単眼カメラ１１の画角をα、撮像面の中心をＩで示している。図３（ｂ）は、運転席３１を座面の可動範囲Ｓの略中間にセットしたときに撮像された運転者３０Ａの画像例を示している。
図３（ｃ）は、単眼カメラ１１の撮像素子１１ｂへの撮像（露光）タイミングと、照明部１１ｃのオン・オフの切替タイミングの一例を示すタイミングチャートである。図３（ｃ）に示す例では、照明部１１ｃによる照明のオンとオフが、撮像タイミング（フレーム）毎に切り替えられ、照明オンの画像と照明オフの画像とが交互に撮像されているが、照明のオン・オフの切替タイミングは、この形態に限定されるものではない。
図４（ａ）はテーブル情報記憶部１５ｂに記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は距離推定用テーブルの種類を説明するためのグラフ図である。
図４（ａ）に示す距離推定用テーブルは、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比（輝度比）と、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離との相関関係を示している。
照明部１１ｃから照射される光の反射特性は、運転者の顔での反射率によって変化する。テーブル情報記憶部１５ｂには、照明オフの画像中の運転者の顔の明るさのレベルの違いに対応した１つ以上の距離推定用テーブルが含まれている。
一般的に反射光の強さは、距離の２乗に反比例するという性質（Ｉ＝ｋ／Ｄ２、Ｉ：反射光の強さ、ｋ：物体の反射係数、Ｄ：物体との距離）を有している。この性質を利用すれば、反射光によって構成される反射光画像を用いることで、運転者までの距離を推定することが可能である。しかしながら、反射光の強さは、運転者までの距離以外に、運転者の顔の色（反射係数）の違いや運転者の肌特性（反射特性）の違いなどにより影響を受ける。したがって、反射光画像における反射光の強さを参照しただけでは、運転者との距離を正確に推定することが難しい。
そこで、本実施の形態では、予め実測データを用いた学習処理等により、人の顔の明るさの違いに対応した１つ以上の距離推定用テーブルを作成し、該作成した１つ以上の距離推定用テーブルをテーブル情報記憶部１５ｂに記憶しておき、距離推定処理に利用する構成となっている。運転者によって異なる顔の色（反射係数）や肌特性（反射特性）に対応した距離推定用テーブルを用いることで、運転者までの距離の推定精度を高めることが可能となっている。
距離推定用テーブルの作成にあたっては、人の顔（肌）の反射率の多様性を考慮して、顔（肌）の反射率が異なる人をサンプリングモデルに選定する。そして、車両の運転席と同様の環境下で、単眼カメラ１１から頭部までの距離を例えば、２０、４０、６０、８０、１００ｃｍに設定し、各距離において照明がオン・オフされた時に撮像された画像を取得する。取得した照明オンの画像と照明オフの画像中での顔（顔領域）の明るさ（輝度）をそれぞれ検出した後、輝度比を算出する。これらデータを用いて、照明オフ時に撮像された画像中の顔の明るさ別に距離推定用テーブルを作成する。
図４（ｂ）において、一点鎖線で示すグラフは、照明オフの画像中で顔の明るさレベルが高い場合の相関関係の一例を示し、破線で示すグラフは、照明オフの画像中で顔の明るさレベルが低い場合の相関関係の一例を示している。
照明オフの画像中の顔の明るさレベルが高くなると、照明オン時に顔からの光の反射率も高くなる一方、照明オフの画像中の顔の明るさレベルが低くなると、照明オン時に顔からの光の反射率も低くなる。照明オフの画像中の運転者の顔の明るさ（換言すれば、運転者の顔からの光の反射率）に対応した距離推定用テーブルを選択して用いることで、単眼カメラ１１から運転者３０の頭部までの距離Ａを推定する精度を高めることが可能となっている。
次に、実施の形態（１）に係る運転者状態推定装置１０の具体的構成について図２に示したブロック図に基づいて説明する。
運転者状態推定装置１０は、ＲＯＭ１３に記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２で実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６、及び運転操作可否判定部２７としての処理を行う装置として成立する。顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、及び運転操作可否判定部２７は、それぞれが専用のチップで構成されていてもよい。
記憶指示部２１は、単眼カメラ１１で撮像された運転者３０Ａの顔を含む画像（照明オン画像及び照明オフ画像）データを記憶部１５の一部である画像記憶部１５ａに記憶させる処理を行う。読み出し指示部２２は画像記憶部１５ａから運転者３０Ａが撮像された画像（照明オン画像と照明オフ画像）を読み出す処理を行う。
顔検出部２３は、画像記憶部１５ａから読み出された画像（照明オン画像と照明オフ画像）から運転者３０Ａの顔を検出する処理を行う。画像から顔を検出する手法は特に限定されず、公知の顔検出技術を用いることができる。
例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチング、又は顔の器官（目、鼻、口、眉など）に基づくテンプレートマッチングなどによって顔を検出するように構成してもよい。また、肌の色や明るさに近い領域を検出し、その領域を顔として検出するように構成してもよい。また、高速で高精度に顔を検出する手法として、例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器を用いる画像処理方法により、顔の領域検出を行うように構成してもよい。また、顔の向きや傾きに対応するために、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。
顔の明るさ比算出部２４は、顔検出部２３により検出された照明オンの画像中の運転者の顔の明るさと、照明オフの画像中の運転者の顔の明るさとを検出し、照明オンの画像中の運転者の顔の明るさと照明オフの画像中の運転者の顔の明るさとの比（顔の明るさ比：照明オン時／照明オフ時）を求める処理を行う。例えば、顔の明るさとして、画像中の顔の肌領域の輝度（例えば、平均輝度）を求めるようになっている。
距離推定部２５は、顔の明るさ比算出部２４により求められた顔の明るさ比を用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａ（奥行きに関する情報）を推定する処理を行う。
距離Ａを推定する処理には、テーブル選択部２６により選択された距離推定用テーブルを使用する。テーブル選択部２６は、テーブル情報記憶部１５ｂに記憶されている１つ以上の距離推定用テーブルの中から、照明オフの画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する。
すなわち、距離推定部２５は、顔の明るさ比算出部２４で算出された顔の明るさ比と、テーブル選択部２６により選択された距離推定用テーブルとを照合して、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを推定する処理を行う。
運転操作可否判定部２７は、距離推定部２５で推定された距離Ａを用いて、運転者３０が運転操作可能な状態であるか否か、例えば、ＲＯＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲をＲＡＭ１４に読み出し、比較演算を行うことにより、運転者３０がハンドル３２に手が届く範囲内にいるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。また、距離Ａから距離Ｃ（ハンドル３２から単眼カメラ１１までの距離）を引き、距離Ｂ（ハンドル３２から運転者３０までの距離）を求めて、上記判定を行うようにしてもよい。なお、距離Ｃの情報は、記憶部１５に、単眼カメラ１１の取付位置情報として登録すればよい。
図５は、実施の形態（１）に係る運転者状態推定装置１０におけるＣＰＵ１２の行う処理動作を示したフローチャートである。単眼カメラ１１では、例えば、毎秒３０〜６０フレームの画像が撮像され、各フレームの撮像タイミングに合わせて照明部１１ｃのオンとオフが切り替えられる。各フレーム、又は一定間隔のフレーム毎に本処理が行われる。
まず、ステップＳ１では、単眼カメラ１１で撮像された、照明オンの画像と照明オフの画像とを画像記憶部１５ａから読み出し、次のステップＳ２では、読み出された照明オンの画像及び照明オフの画像から運転者３０Ａの顔を検出する処理を行う。
ステップＳ３では、照明オフの画像中の運転者３０Ａの顔領域の明るさを検出する処理を行う。顔領域の明るさとして、例えば、顔の肌領域又は顔器官の輝度を検出すればよい。
次のステップＳ４では、テーブル情報記憶部１５ｂに記憶されている１つ以上の距離推定用テーブルの中から、ステップＳ３で検出された照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択する処理を行う。
ステップＳ５では、照明オンの画像中の運転者３０Ａの顔の明るさを検出する処理を行う。顔領域の明るさとして、例えば、顔の肌領域又は顔器官の輝度を検出すればよい。
次のステップＳ６では、照明オンの画像中の運転者３０Ａの顔の明るさと照明オフの画像中の運転者３０Ａの顔の明るさとの比（顔の明るさ比）を算出する処理を行う。
ステップＳ７では、ステップＳ６で算出された顔の明るさ比を、ステップＳ４で選択された距離推定用テーブルに当てはめて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを抽出する処理（距離推定処理）を行う。
次のステップＳ８では、ステップＳ７で推定した距離Ａから距離Ｃ（ハンドル３２から単眼カメラ１１までの距離）を引いて距離Ｂ（ハンドル３２から運転者３０までの距離）を求める処理を行う。
ステップＳ９では、ＲＡＭ１３又は記憶部１５に記憶された、適切なハンドル操作が可能な範囲を読み出し、比較演算を行うことにより、距離Ｂが、適切なハンドル操作が可能な範囲内（距離Ｅ１＜距離Ｂ＜距離Ｅ２）であるか否かを判定する。距離Ｅ１から距離Ｅ２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、距離Ｅ１は４０ｃｍ、距離Ｅ２は８０ｃｍ程度の値に設定することができる。
ステップＳ９において、距離Ｂが適切なハンドル操作が可能な範囲内であると判断すれば、その後処理を終える一方、距離Ｂが適切なハンドル操作が可能な範囲内ではないと判断すればステップＳ１０に進む。
ステップＳ１０では、ＨＭＩ４０や自動運転制御装置５０に運転操作不可信号を出力し、その後処理を終える。ＨＭＩ４０では、運転操作不可信号を入力した場合、例えば、表示部４１に運転姿勢や座席位置を警告する表示や、音声出力部４２より運転姿勢や座席位置を警告するアナウンスを実行する。また、自動運転制御装置５０では、運転操作不可信号を入力した場合、例えば、減速制御などを実行する。
上記実施の形態（１）に係る運転者状態推定装置１０によれば、照明オンの画像と照明オフの画像とから運転者３０Ａの顔が検出され、該検出された照明オンの画像中の運転者３０Ａの顔と照明オフの画像中の運転者３０Ａの顔との明るさ比が算出され、算出された顔の明るさ比と、テーブル選択部２６で選択された距離推定用テーブルとが照合されて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａが推定される。したがって、画像中の顔領域の中心位置を求めることなく、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比から距離Ａを推定することができる。
また、運転者状態推定装置１０によれば、単眼カメラ１１に加えて別のセンサを設けることなく、上記した運転者までの距離Ａを推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、ＣＰＵ１２にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。
また、運転者の顔の明るさ（反射特性）に対応した距離推定用テーブルを選択して用いることにより、運転者３０の頭部から単眼カメラ１１までの距離の推定精度を高めることができる。また、予め記憶されている距離推定用テーブルを用いることにより、距離Ａの推定処理に負荷をかけることなく高速に処理を実行できる。
また、距離推定部２５で推定された距離Ａを用いて算出した距離Ｂに基づいて、運転席３１に着座している運転者３０が運転操作可能な状態であるか否かを判定することができ、運転者の監視を適切に行うことができる。
次に実施の形態（２）に係る運転者状態推定装置１０Ａについて説明する。但し実施の形態（２）に係る運転者状態推定装置１０Ａの構成については、ＣＰＵ１２Ａ、ＲＯＭ１３Ａ、及び記憶部１５Ａを除いて図１に示した運転者状態推定装置１０と略同様であるため、異なる構成のＣＰＵ１２Ａ、ＲＯＭ１３Ａ、及び記憶部１５Ａのテーブル情報記憶部１５ｃには異なる符号を付し、その他の構成部品の説明をここでは省略する。
実施の形態（１）に係る運転者状態推定装置１０では、テーブル情報記憶部１５ｂに、運転者の顔の明るさのレベルに応じた１つ以上の距離推定用テーブルが記憶されており、テーブル選択部２６が、照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択するように構成されている。
実施の形態（２）に係る運転者状態推定装置１０Ａでは、テーブル情報記憶部１５ｃに、運転者の属性に対応した１つ以上の距離推定用テーブルが記憶されており、テーブル選択部２６Ａが、運転者の属性と照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択するように構成されている。
次に、実施の形態（２）に係る運転者状態推定装置１０Ａの具体的構成について図６に示したブロック図に基づいて説明する。但し、図２に示した運転者状態推定装置１０と略同様の構成部分については、同一符号を付し、その説明を省略する。
運転者状態推定装置１０Ａは、ＲＯＭ１３Ａに記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２Ａで実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６Ａ、運転操作可否判定部２７、及び属性判定部２８としての処理を行う装置として成立する。顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、運転操作可否判定部２７、及び属性判定部２８は、それぞれが専用のチップで構成されていてもよい。
属性判定部２８は、顔検出部２３で検出された運転者３０Ａの顔の画像から運転者の属性を判定する処理を行う。
テーブル情報記憶部１５ｃには、運転者の属性に対応した１つ以上の距離推定用テーブルが記憶されている。
属性判定部２８で判定される運転者の属性と、テーブル情報記憶部１５ｃに記憶される距離推定用テーブルの内容について図７を参照して説明する。
属性判定部２８で判定される運転者の属性には、人種（例えば、モンゴロイド、コーカソイド、又はネグロイド）、性別（男性、又は女性）、顔付着物（例えば、化粧の有無）、年齢層（例えば、３０歳未満、３０〜５０歳未満、５０〜７０歳未満、７０歳以上）が含まれている。なお、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれるようにしてもよい。
テーブル情報記憶部１５ｃに記憶されている１つ以上距離推定用テーブルには、運転者の属性に対応する距離推定用テーブルが含まれている。
すなわち、図７に示すように、人種がモンゴロイドの場合、男性で４つのテーブル、女性で８つのテーブルを含んでいる。人種がコーカソイド、ネグロイドの場合も同様に、男性で４つのテーブル、女性で８つのテーブルを含んでいる。
属性判定部２８は、運転者の人種を判定する人種判定部、運転者の性別を判定する性別判定部、運転者の化粧の有無を判定する化粧有無判定部、及び運転者の年齢層を判定する年齢層判定部としての処理を行う。
また、属性判定部２８は、顔の器官（例えば、目、鼻、口、耳、眉、顎、額の１つ以上）を検出する顔器官検出部と、該顔器官検出部で検出された各器官に設定した特徴点における特徴量（濃淡変化のエッジ方向や強さの情報を含むHaar-like特徴など）を抽出する特徴量抽出部としての処理を行う。上記した顔器官検出部、特徴量抽出部、人種判定部、性別判定部、化粧有無判定部、年齢層判定部には、公知の画像処理技術を適用できる。
例えば、人種判定部は、予め人種（モンゴロイド、コーカソイド、ネグロイド）別の画像データ群を用いた学習処理が完了している人種パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の人種を判定する。
性別判定部は、予め各人種の性別（男性、女性）毎の画像データ群を用いた学習処理が完了している性別パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の性別を判定する。
化粧有無判定部は、予め各人種の女性毎の化粧有無の画像データ群を用いた学習処理が完了している化粧有無パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者（女性）の化粧の有無を判定する。
年齢層判定部は、予め各人種の性別毎の年齢層の画像データ群を用いた学習処理が完了している年齢層パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の年齢層を判定する。
属性判定部２８で判定された運転者の属性情報がテーブル選択部２６Ａに与えられる。
テーブル選択部２６Ａは、テーブル情報記憶部１５ｃに記憶されている１つ以上の距離推定用テーブルの中から、属性判定部２８で判定された運転者の属性と、照明オフの画像中の運転者３０Ａの顔の明るさとに対応した距離推定用テーブルを選択する処理を行う。
距離推定部２５は、顔の明るさ比算出部２４で算出された顔の明るさ比と、テーブル選択部２６Ａにより選択された距離推定用テーブルとを照合して、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを推定する処理を行う。
図８は、実施の形態（２）に係る運転者状態推定装置１０ＡにおけるＣＰＵ１２Ａの行う処理動作を示したフローチャートである。なお、図５に示したフローチャートの処理と同一の処理については、同一ステップ番号を付し、その説明を省略する。
まず、ステップＳ１では、単眼カメラ１１で撮像された、照明オンの画像と照明オフの画像とを画像記憶部１５ａから読み出し、ステップＳ２では、読み出された照明オンの画像及び照明オフの画像から運転者３０Ａの顔（顔領域）を検出する処理を行い、その後ステップＳ２１に進む。
ステップＳ２１では、運転者の属性を判定するために、ステップＳ２で検出された運転者３０Ａの顔の画像解析処理を行う。すなわち、顔の器官を検出する処理、各器官に設定された特徴点における特徴量を抽出する処理などにより、顔の各器官の位置、骨格形状、しわ、たるみ、肌の色などを推定演算する。
ステップＳ２２では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、人種パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の人種を判定する処理を行い、人種判定後、ステップＳ２３に進む。
ステップＳ２３では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、性別パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の性別（男性又は女性）を判定する処理を行い、性別判定後、ステップＳ２４に進む。
ステップＳ２４では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、化粧有無パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の顔に化粧がされているか否か（化粧の有無）を判定する処理を行い、化粧の有無の判定後、ステップＳ２５に進む。
ステップＳ２５では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、年齢層パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の年齢層を判定する処理を行い、年齢層の判定後、ステップＳ３に進む。
ステップＳ３では、照明オフの画像中の運転者３０Ａの顔の明るさを検出する処理を行い、その後ステップＳ２６に進む。
ステップＳ２６では、ステップＳ２２〜Ｓ２５の処理で判定された運転者の属性とステップＳ３で検出された運転者３０Ａの顔の明るさとに基づいて、テーブル情報記憶部１５ｃから対応する距離推定用テーブルを選択する処理を行い、その後Ｓ５以降の処理を行う。
上記実施の形態（２）に係る運転者状態推定装置１０Ａによれば、顔検出部２３で検出された運転者３０Ａの顔の画像から運転者の属性が判定され、１つ以上の距離推定用テーブルの中から、属性判定部２８で判定された運転者の属性に対応した距離推定用テーブルが選択される。したがって、照明オフの画像中の運転者３０Ａの顔の明るさだけでなく、運転者の属性にも対応した距離推定用テーブルを選択して用いることができ、距離推定部２５により推定される距離Ａの精度を一層高めることができる。
また、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれているので、運転者の多様な属性に応じた距離推定用テーブルを用意して選択可能とすることで、距離推定部２５により推定される距離Ａの精度を一層高めることができる。
次に実施の形態（３）に係る運転者状態推定装置１０Ｂについて説明する。但し実施の形態（３）に係る運転者状態推定装置１０Ｂの構成については、ＣＰＵ１２ＢとＲＯＭ１３Ｂとを除いて図１に示した運転者状態推定装置１０と同様であるため、異なる構成のＣＰＵ１２ＢとＲＯＭ１３Ｂとには異なる符号を付し、その他の構成部品の説明をここでは省略する。
図９は、実施の形態（３）に係る運転者状態推定装置１０Ｂの構成を示すブロック図である。但し、図２に示した運転者状態推定装置１０と略同様の構成部分については、同一符号を付し、その説明を省略する。
運転者状態推定装置１０Ｂは、ＲＯＭ１３Ｂに記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２Ｂで実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６Ｂ、運転操作可否判定部２７、及び照度データ取得部２９としての処理を行う装置として成立する。
実施の形態（３）に係る運転者状態推定装置１０Ｂが実施の形態（１）に係る運転者状態推定装置１０と相違する主な点は、ＣＰＵ１２Ｂが、車外の照度を検出する照度センサ５１から照度データを取得する照度データ取得部２９を備え、テーブル選択部２６Ｂが、照度データ取得部２９で取得した照度データを考慮して、照明オフの画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する点にある。
照度センサ５１は、車両（車体や車室内）に設置された車外の照度を検出するセンサであり、例えば、フォトダイオードなどの受光素子、受光した光を電流に変換する素子などを含んで構成されている。照度データ取得部２９が、通信バス６０を介して照度センサ５１で検出された照度データを取得するようになっている。
車載環境では、太陽からの光の照射方向やトンネルの出入り口などの道路状況によって、運転者の顔の明るさと周囲の明るさとが極端に異なる状況が発生し得る。このような場合、照明オフの画像中の運転者の顔の明るさが影響を受ける。例えば、西日に照らされた場合は、運転者の顔が明るく写る一方、トンネルに入った場合は、運転者の顔が暗く写る。
実施の形態（３）に係る運転者状態推定装置１０Ｂでは、図５のステップＳ３において、照度データ取得部２９で取得した照度データを、運転者の顔の明るさの変化パラメータとして使用して、照明オフの画像中の運転者の顔領域の明るさを検出し、その後ステップＳ４に進み、照明オフ画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する処理を行う。
例えば、取得した照度データの値に応じて、照明オフ画像中の運転者の顔の明るさの値を補正し、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
具体的には、照度データの値が基準範囲より高い（明るい）場合は、照明オフの画像中の運転者の顔の明るさの値を小さくする補正を行い、照度データの値が、基準範囲より低い（暗い）場合は、運転者の顔の明るさの値を大きくする補正を行い、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
上記実施の形態（３）に係る運転者状態推定装置１０Ｂによれば、照明オフの画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、距離推定部２５により推定される距離Ａの精度のバラツキを抑制できる。また、上記実施の形態（２）に係る運転者状態推定装置１０Ａに照度データ取得部２９を装備させることにより、同様の効果を得ることができる。
上記実施の形態（１）〜（３）に係る運転者状態推定装置１０、１０Ａ、１０Ｂが自動運転システム１、１Ａ、１Ｂに搭載されることにより、運転者３０に自動運転の監視を適切に実行させることができ、自動運転での走行制御が困難状況になっても、手動運転への引き継ぎを迅速かつ安全に行うことができ、自動運転システム１、１Ａ、１Ｂの安全性を高めることができる。
（付記１）
撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備え、
前記少なくとも１つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部を備え、
前記少なくとも１つのハードウェアプロセッサが、
前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とを前記画像記憶部に記憶させる記憶指示部と、
前記画像記憶部から前記第１の画像と前記第２の画像とを読み出す読み出し指示部と、
前記画像記憶部から読み出された前記第１の画像と前記第２の画像とから運転者の顔を検出する顔検出部と、
該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えている運転者状態推定装置。
（付記２）
運転席に着座している運転者を撮像する撮像部と、
前記運転者の顔に光を照射する照明部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部を備え、
前記少なくとも１つのハードウェアプロセッサが、
前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とを前記画像記憶部に記憶させる記憶指示ステップと、
前記画像記憶部から前記第１の画像と前記第２の画像とを読み出す読み出し指示ステップと、
前記画像記憶部から読み出された前記第１の画像と前記第２の画像とから運転者の顔を検出する顔検出ステップと、
該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。
１、１Ａ、１Ｂ 自動運転システム
１０、１０Ａ、１０Ｂ 運転者状態推定装置
１１ 単眼カメラ
１１ａ レンズ系
１１ｂ 撮像素子
１１ｃ 照明部
１１ｄ 画像
１２、１２Ａ、１２Ｂ ＣＰＵ
１３、１３Ａ、１３Ｂ ＲＯＭ
１４ ＲＡＭ
１５、１５Ａ 記憶部
１５ａ 画像記憶部
１５ｂ、１５ｃ テーブル情報記憶部
１６ Ｉ／Ｆ
１７ 通信バス
２１ 記憶指示部
２２ 読み出し指示部
２３ 顔検出部
２４ 顔の明るさ比算出部
２５ 距離推定部
２６ テーブル選択部
２７ 運転操作可否判定部
２８ 属性判定部
２９ 照度データ取得部
３０、３０Ａ 運転者
３１ 運転席
３２ ハンドル
４０ ＨＭＩ
５０ 自動運転制御装置
５１ 照度センサ
６０ 通信バス

Claims (6)

  1. 撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
    運転席に着座している運転者を撮像する撮像部と、
    前記運転者の顔に光を照射する照明部と、
    該照明部から光が照射されたときに前記撮像部で撮像された画像中の運転者の顔と前記照明部から光が照射されていないときに前記撮像部で撮像された画像中の運転者の顔との明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルを記憶するテーブル情報記憶部と、
    少なくとも１つのハードウェアプロセッサとを備え、
    該少なくとも１つのハードウェアプロセッサが、
    前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出部と、
    該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
    前記テーブル情報記憶部に記憶された前記１つ以上の距離推定用テーブルの中から、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部と、
    前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴とする運転者状態推定装置。
  2. 前記少なくとも１つのハードウェアプロセッサが、
    前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
    前記１つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
    前記テーブル選択部が、
    前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴とする請求項１記載の運転者状態推定装置。
  3. 前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれていることを特徴とする請求項２記載の運転者状態推定装置。
  4. 前記少なくとも１つのハードウェアプロセッサが、
    車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
    前記テーブル選択部が、
    前記照度データ取得部により取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴とする請求項１記載の運転者状態推定装置。
  5. 前記少なくとも１つのハードウェアプロセッサが、
    前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項１〜４のいずれかの項に記載の運転者状態推定装置。
  6. 運転席に着座している運転者を撮像する撮像部と、
    前記運転者の顔に光を照射する照明部と、
    該照明部から光が照射されたときに前記撮像部で撮像された画像中の運転者の顔と前記照明部から光が照射されていないときに前記撮像部で撮像された画像中の運転者の顔との明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルを記憶するテーブル情報記憶部と、
    少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
    前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
    前記少なくとも１つのハードウェアプロセッサが、
    前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出ステップと、
    該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
    前記テーブル情報記憶部に記憶された前記１つ以上の距離推定用テーブルの中から、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択ステップと、
    前記顔の明るさ比算出ステップにより算出された前記顔の明るさ比と、前記テーブル選択ステップにより選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴とする運転者状態推定方法。
JP2017048504A 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法 Expired - Fee Related JP6737213B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017048504A JP6737213B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法
US16/482,284 US20200001880A1 (en) 2017-03-14 2017-07-27 Driver state estimation device and driver state estimation method
CN201780083998.8A CN110235178B (zh) 2017-03-14 2017-07-27 驾驶员状态推定装置以及驾驶员状态推定方法
DE112017007251.4T DE112017007251T5 (de) 2017-03-14 2017-07-27 Fahrerzustandsabschätzungsvorrichtung und fahrerzustandsabschätzungsverfahren
PCT/JP2017/027246 WO2018167997A1 (ja) 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017048504A JP6737213B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法

Publications (3)

Publication Number Publication Date
JP2018151932A JP2018151932A (ja) 2018-09-27
JP2018151932A5 JP2018151932A5 (ja) 2019-04-25
JP6737213B2 true JP6737213B2 (ja) 2020-08-05

Family

ID=63522894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017048504A Expired - Fee Related JP6737213B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法

Country Status (5)

Country Link
US (1) US20200001880A1 (ja)
JP (1) JP6737213B2 (ja)
CN (1) CN110235178B (ja)
DE (1) DE112017007251T5 (ja)
WO (1) WO2018167997A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3838703A1 (en) * 2019-12-18 2021-06-23 Hyundai Motor Company Autonomous controller, vehicle system including the same, and method thereof

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
WO2006087812A1 (ja) * 2005-02-18 2006-08-24 Fujitsu Limited 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2007240387A (ja) * 2006-03-09 2007-09-20 Fujitsu Ten Ltd 画像認識装置および画像認識方法
JP2014218140A (ja) * 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
CN106471556B (zh) * 2014-06-23 2021-11-16 株式会社电装 驾驶员的驾驶不能状态检测装置
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
JP6269380B2 (ja) * 2014-08-06 2018-01-31 マツダ株式会社 車両の距離計測装置
JP6331875B2 (ja) * 2014-08-22 2018-05-30 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP2016157457A (ja) * 2016-03-31 2016-09-01 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム

Also Published As

Publication number Publication date
DE112017007251T5 (de) 2019-12-12
CN110235178B (zh) 2023-05-23
JP2018151932A (ja) 2018-09-27
WO2018167997A1 (ja) 2018-09-20
CN110235178A (zh) 2019-09-13
US20200001880A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US8435188B2 (en) Eye opening detection system and method of detecting eye opening
US8345922B2 (en) Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
JP5435307B2 (ja) 車載カメラ装置
EP2541493B1 (en) Pupil detection device and pupil detection method
JP5466610B2 (ja) 視線推定装置
US20160063334A1 (en) In-vehicle imaging device
JP2013005234A5 (ja)
JP6601351B2 (ja) 視線計測装置
CN109415020B (zh) 辉度控制装置、辉度控制***以及辉度控制方法
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JPWO2017203769A1 (ja) 視線検出方法
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
CN114103961B (zh) 面部信息获取装置以及面部信息获取方法
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP6289439B2 (ja) 画像処理装置
JP2017188851A (ja) 車室内用カメラの顔撮影方法および車室内用カメラ
JP2016051317A (ja) 視線検出装置
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
JP6885764B2 (ja) レンズメータ
JP2022133723A (ja) 身体情報取得装置
JP6693149B2 (ja) 瞳孔検出装置、および瞳孔検出方法
JP3057996B2 (ja) 車両運転者の眼球位置検出装置
US20230017607A1 (en) Imaging apparatus
JP2006268565A (ja) 乗員検出装置及び乗員検出方法
KR20190060058A (ko) 차량운전자 얼굴피부 진단을 위한 차량내 얼굴 촬영, 분석하는 피부 미용진단시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6737213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees