JP2017024711A - 乗員の視線方向を予測する方法および装置 - Google Patents

乗員の視線方向を予測する方法および装置 Download PDF

Info

Publication number
JP2017024711A
JP2017024711A JP2016142095A JP2016142095A JP2017024711A JP 2017024711 A JP2017024711 A JP 2017024711A JP 2016142095 A JP2016142095 A JP 2016142095A JP 2016142095 A JP2016142095 A JP 2016142095A JP 2017024711 A JP2017024711 A JP 2017024711A
Authority
JP
Japan
Prior art keywords
occupant
head
movement
latest
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016142095A
Other languages
English (en)
Other versions
JP6762157B2 (ja
Inventor
ハンス−ヨアヒム・ビーク
Bieg Hans-Joachim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2017024711A publication Critical patent/JP2017024711A/ja
Application granted granted Critical
Publication of JP6762157B2 publication Critical patent/JP6762157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車両の乗員の視線方向を予測する方法を提供する。
【解決手段】乗員102の初期視線方向114を読み取る読取ステップと、最新の頭部の動きおよび/または目の動きを表す乗員102の視線角度変化に関するセンサデータ118を使用して、初期視線方向114を起点として前記乗員102の最新の頭部の動きおよび/または目の動きの最大速度を検出する検出ステップと、検出された最大速度を使用して、所定モデルによって表される最新の頭部の動きおよび/または目の動きの予想値を決定する決定ステップと、乗員102の視線方向120を予想するために初期視線方向114および最新の頭部の動きおよび/または目の動きの予測値を使用する使用ステップとを含む。
【選択図】図1

Description

本発明は、独立請求項の前提部分に記載の方法または装置に関する。本発明は、さらにコンピュータプログラムに関する。
観察者である人の視線方向の推定は種々異なる技術システムで使用される。例えば、車両のアシスタントシステムは、ドライバの頭部の動きおよび/または目の動きを測定し、ドライバがまだ道路に視線を向けているかどうか、交通状況に注意深く従っているかどうかを検出する。
観察者の視線方向の推定は種々異なる方法で行うことができる。重要な推定は、例えば観察者の頭部および目の動きとして向きもしくは方位特性を測定することによって達成することができる。観察者の頭部および目の動きの測定は、ビデオに基づいた頭部および目の動きのための追跡システムによって行うことができる。このようなシステムは、ドイツではヘッドトラッキングシステムまたはアイトラッキングシステムとも呼ばれ、一般に際立った顔の特徴に基づいて観察者の頭部の動きを推定する。第2ステップでは、観察者の目および目の特徴、例えば瞳孔、虹彩または角膜反射が検出される。これらの特徴を使用して、観察者の目の回転を推定し、視線方向の正確な推定を行う。ヘッドトラッキングシステムまたはアイトラッキングシステムが最新の頭部または目の位置を決定することができるかどうかは、それぞれのセンサの検出範囲に依存している。
このような背景を考慮して、ここで説明する方式では、独立請求項にしたがって、乗員の視線方向を予測する方法、さらにこの方法を使用する装置、最後に適宜なコンピュータプログラムを説明する。従属請求項に記載の手段により、独立請求項に記載の装置の有利な構成および改良が可能である。
ここで説明する構成では、乗員の視線方向を予想するために、乗員の頭部または目の動きの振幅もしくは大きさと速度との間の生体力学的な関係を利用し、これにより頭部または目の動きの終点を速度の分析に基づいて予測することが可能になる。
有利には、この新しい方式は、頭部または目が、検出範囲、すなわち、ヘッドトラッキングシステムまたはアイトラッキングシステムによって確実に検出することができる範囲を離れた場合にも視線方向推定を可能にする。したがって、センサデータの隙間を埋めることもでき、ヘッドトラッキングシステムまたはアイトラッキングシステムの信頼性が実質的に向上する。
ここで説明する構成にしたがって可能となる視線方向の予測は、観察者の視線方向変化を推定する場合の確実性を改善することもできる。
車両の乗員の視線方向を推定する方法を説明する。この方法は、次のステップ:
乗員の初期視線方向を読み取るステップ;
最新の頭部の動きおよび/または目の動きを表す乗員の視線角度変化に関するセンサデータを使用して、初期視線方向を起点として乗員の最新の頭部の動きおよび/または目の動きの最大速度を検出するステップと;
検出された最大速度を使用して所定モデルによって表わされる最新の頭部の動きおよび/または目の動きの予想値を決定するステップと;
初期視線方向および最新の頭部の動きおよび/または目の動きの予測値を使用して乗員の視線方向を予想するステップと
を含む。
方法は、道路を走行する車両において実施することもできる。乗員は車両のドライバであってもよい。視線方向は、推定される乗員の視線方向であってもよい。初期視線方向は、ベクトルによって3次元空間で示すことができ、最新の頭部の動きおよび/または目の動き以前に、乗員を包囲する周辺のどの領域を乗員が注視していたかについての情報を供給することができる。乗員に向けられた光学センサによって初期視線方向を検出し、センサデータを用いて読み取る準備をすることができる。頭部の動きおよび/または目の動きの大きさは、目の視線方向および/または頭部の向きが変化する角度として理解される。
頭部の動きおよび/または目の動きは、ヨー軸および横軸(ピッチ軸)を中心とした乗員の頭部または一方もしくは両方の目の回転運動であってもよい。最大速度は、例えば頭部の動きおよび/または目の動きの半ばで得ることができる。視線角度変化は、停止位置に関して初期視線方向によって設定された乗員の視線角度からのずれを表す。センサデータは、車両の光学センサの電気信号であってもよい。
所定モデルは数式によって記述され、頭部または目の動きの大きさと速度との間の生体力学的な関係の実質的なパラメータを表現するように構成されていてもよい。最新の頭部の動きおよび/または目の動きの予想値は、例えば初期視線方向と評価したい視線方向との間における頭部または目の回転運動の角度によって表現してもよい。
乗員の予測すべき視線方向を少なくとも2つの位置データを使用して、例えば3次元空間のベクトルを用いて表し、最新の頭部の動きおよび/または目の動きの終了時に、乗員を包囲する環境におけるどの範囲に乗員が視線を固定したかについての情報を供給することができる。
この方法は、例えば制御器において、ソフトウェアまたはハードウェアで実行してもよいし、ソフトウェアとハードウェアとからなる混合形式で実行してもよい。
一実施形態によれば、方法は、車両の光学センサのインターフェイスを介して最新の頭部の動きおよび/または目の動きを表す乗員の視線角度変化についてのセンサデータを読み取る読取ステップを含んでいてもよい。
別の実施形態によれば、検出ステップで検出された最大速度が所定の速度閾値を超過した場合に、最新の頭部の動きおよび/または目の動きの予想値を決定するステップを実施することができる。したがって、最新の頭部の動きおよび/または目の動きが予想通りセンサデータを供給するセンサの検出範囲外で終了した場合にのみ方法を実施することにより、好ましくは計算容量を節約することができる。
ここで提案した方式の別の実施形態では、決定ステップで、保存された式によって計算可能なモデルを所定モデルとして使用することができる。したがって、最新の頭部の動きおよび/または目の動きにモデルを良好に適合させることができる。
代替的には、決定ステップで、ルックアップテーブルとして実施されるモデルを所定モデルとして使用してもよい。この実施形態では、計算容量を節約し、モデルを素早く提供することができる。
さらに決定ステップでは、人および/または乗員の頭部の動きおよび/または目の動きの経験的な評価に基づいたモデルを所定モデルとして使用することができる。このようにして、モデルを有利には個々に調整することができる。
別の実施形態によれば、決定ステップで、少なくとも1つの調整パラメータを使用して調整可能であるモデル、特に少なくとも1つの調整パラメータによって車両の使用環境に適合させることができるモデルを所定モデルとして使用することができる。これにより、モデルをより正確に最新の頭部の動きおよび/または目の動きに適合させることができる。
例えば、調整パラメータとして、乗員に固有に設定可能および/または設定された調整パラメータを使用することもできる。これにより、モデルを実質的に個別に調整することが可能となる。
一実施形態によれば、乗員に固有に設定可能および/または設定された調整パラメータとして、統計的な推定方法、例えば最尤推定法によって検出される乗員に固有に設定可能および/または設定される調整パラメータを使用することもできる。これにより、試験済みの最新の方式によって簡単にモデルもしくは調整パラメータを具体的な用途に適合させることができる。
ここで説明する方式では、さらに、ここで説明した方法の一実施形態のステップを、適宜な手段で実施、制御もしくは変更するように構成された装置が得られる。装置の形式で構成された本発明のこれらの実施形態により、本発明の基礎をなす課題を迅速かつ効率的に解決することができる。
この場合、装置は、センサ信号を処理し、センサ信号に応じて制御信号および/またはデータ信号を出力する電気機器であってもよい。装置は、ハードウェアおよび/またはソフトウェアとして構成されたインターフェイスを備えていてもよい。ハードウェアとして構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムASIC」の一部であってもよい。しかしながら、インターフェイスは、固有の集積回路であるか、または少なくとも部分的に個別の構成部材からなっていることも可能である。ソフトウェアとして構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。
コンピュータプログラム製品、またはプログラムコードを備えるコンピュータプログラムも有利であり、プログラムコードは、機械読取可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実施される場合に上記いずれかの実施形態にしたがって方法ステップを実行、変更および/または制御するために使用される。
本発明の実施例を図面に示し、以下に詳細に説明する。
一実施例にしたがって車両の乗員の視線方向を予測するための装置を備える車両の原理図である。 一実施例にしたがって車両の乗員の視線方向を予測するための方法のフロー図である。 一実施例にしたがって目の動きの大きさもしくは振幅と最大速度との間の関係を説明するための線図である。 一実施例にしたがって典型的な速度波形による頭部回転を示す概略図である。 一実施例にしたがって典型的な速度波形による頭部回転を示す概略図である。 一実施例にしたがって典型的な速度波形による頭部回転を示す概略図である。
以下に説明する本発明の好ましい実施例を様々な図面に示し、同様に作用する部材には、同じ符号または同様の符号を使用し、これらの部材については繰り返し説明しない。
図1は、車両100の原理図を示す。車両100は、乗用車またはトラックなどの道路を走行する車両である。さらに車両100の乗員102、ここではドライバが示されている。
車両100は、乗員102の動きを追跡またはトラッキングするための動作追跡システム104を備える。動作追跡システム104は、ヘッドトラッキングシステムまたはアイトラッキングシステムとして構成されていてもよい。ヘッドトラッキングシステムとして構成されている場合には、動作追跡システム104は、乗員102の頭部の動き、特に頭部の回転運動をトラッキングするように構成されている。アイトラッキングシステムとして構成されている場合には、動作追跡システム104は、乗員102の目の動き、特に目の回転運動を追跡する。
ヘッドトラッキングシステムまたはアイトラッキングシステム104の課題は、特に乗員102が車両100のドライバである場合に、乗員102が視線を交通状況に向けたか否かを確認することである。したがって、以下では乗員102を観察者102と呼ぶこともある。ヘッドトラッキングシステムまたはアイトラッキングシステム104の適宜なデータを使用して、車両100のドライバアシストシステムまたは警告システムを必要に応じて起動することもできる。
ヘッドトラッキングシステムまたはアイトラッキングシステム104は、一実施例にしたがって光学センサ108ならびに乗員102の視線方向を予測もしくは評価するための装置110を備える車両カメラ106を含む。車両カメラ106は車内空間に配置されており、乗員102の頭部112に向けられている。
車両カメラ106の光学センサ108は、乗員102の初期視線方向114ならびに初期視線方向114を起点として乗員102の頭部または目の動き(図1には示さない)を検出するように構成されている。光学センサ108は所定の検出範囲内で、乗員102の頭部または目の動きを完全に検出することができる。検出範囲外で生じた乗員102の動きは、光学センサ108によってはもはや検出することはできない。
初期視線方向114は、図1にベクトルによって示されている。頭部または目の動きは、乗員102の頭部112または目116の、側方、下方または上方への回転運動であってもよい。
装置110は、図1に示した実施例では、ヘッドトラッキングシステムまたはアイトラッキングシステム104に組み込まれている。代替的な実施例では、装置110はヘッドトラッキングシステムまたはアイトラッキングシステム104の外部にも配置されており、電気ラインによってヘッドトラッキングシステムまたはアイトラッキングシステム104に接続されていてもよい。
装置110は、車両カメラ106の適切なインターフェイスを介して、初期視線方向114ならびに最新の頭部の動きおよび/または目の動きを表す乗員102の視線角度変化についてのセンサデータ118を読み取るように構成されている。得られた情報を使用して、装置110は、視線角度変化によって表された最新の頭部の動きおよび/または目の動きのピークまたは最大速度を検出する。
次いで装置110は、検出された最大速度ならびに人の頭部および/または目の動きの所定モデルを使用して、頭部および/または目の動きの予想値を決定する。予想値は、ここでは頭部または目の動きの範囲を表し、したがって、初期視線方向114を起点として動きの終了時に視線方向が得られるまでに頭部112または目116が何度回転されたかを示す。したがって、この大きさを振幅と呼んでもよい。
初期視線方向および最新の頭部および/または目の動きの予想値が検出されることにより、装置110は、乗員102の視線方向120を予測することができる。予想した視線方向120が図1に破線のベクトルで示されている。
図1に示す構成では、ヘッドトラッキングシステムまたはアイトラッキングシステム104はビデオに基づいており、正面から観察者102に向けられた単一の車両カメラ106を備える。しかしながら、ここで説明した装置110は、他の装置または複数のカメラを備えるシステムまたはビデオに基づいていないヘッドトラッキングシステムまたはアイトラッキングシステムと組み合わせて使用することもできる。
ヘッドトラッキングシステムまたはアイトラッキングシステム104は、一定の時間間隔をおいて、例えば毎秒60回の走査を行い、最新の視線方向角度の測定値を供給する。ヘッドトラッキングシステムまたはアイトラッキングシステム104は、特定の走査率に束縛されていない。装置110は、供給された角度情報を分析するように構成されている。装置110は供給された角度信号を適切に計算する。
実施例にしたがって、この推定された信号に基づいて、速度閾値を使用して個々の動き、この場合には最新の頭部または目の動きの開始を決定する。第2ステップでは、装置110がこの特定の動きのピーク速度または最大速度を決定する。動きのピーク速度が達成され、ヘッドトラッキングシステムまたはアイトラッキングシステムシステム104によって測定されると、動きの予想値もしくは振幅A、すなわち動きの終点が次のように計算される:
A=−ln(1−Vpeak/Vmax)×C
peakは、測定された最大速度を示し、lnは自然対数を示し、VmaxおよびCは、それぞれの動き、すなわち頭部または目の動きに適合された定数を示す。例示的な値は、人の目が動いた場合にVmax=500度/秒、C=15度であるが、他の定数値も可能である。他の関係式も可能である。
装置は、振幅を直接に計算することもできるし、あらかじめ計算されたルックアップテーブルから値を読み取ることもできる。それぞれ個々の観察者102のための定数を個別に自動的に決定することもできる。これは、完全にセンサ範囲内で行われた小さい頭部または目の動きの振幅および最大速度を測定することによって達成される。パラメータは、例えば最尤法などの統計的推定による標準的方法を用いて得ることができる。
装置110におけるヘッドトラッキングシステムまたはアイトラッキングシステム104の拡張により、光学センサ108の検出範囲内で始まるが、最終的に乗員102の頭部112または目116を検出範囲外へ移動する乗員102の動きの終点を確実に予想することが可能になる。
図2は、車両の乗員の視線方向を予測する方法200の実施例のフロー図を示す。方法200は、図1に示した車両の乗員の視線方向を予測する装置によって実施することができる。
読取ステップ202では、乗員の初期視線方向が読み取られる。別の読取ステップ204では、車両の光学センサのインターフェイスを介して、乗員の最新の頭部の動きおよび/または目の動きを表わす視線角度変化に関するセンサデータが読み取られる。
検出ステップ206では、乗員の視線角度変化に関するセンサデータを使用して、乗員の頭部および/または目の動きの最大速度が検出される。決定ステップ208では、検出ステップ206で検出された最大速度を使用して、所定モデルによって表される最新の頭部および/または目の動きの予想値を決定する。使用ステップ210では、初期視線方向および最新の頭部の動きおよび/または目の動きの予想値を使用して、乗員の視線方向を予測もしくは評価する。
方法200の一実施例によれば、最新の頭部の動きおよび/または目の動きの予想値を決定する決定ステップ208は、検出ステップ206で検出された最大速度が所定の速度閾値を超えた場合にのみ実施される。これにより、頭部または目がセンサの検出範囲外へ移動した位置で乗員の動きが終了する可能性が高い場合にのみ、乗員の視線方向が評価されることが確保される。
決定ステップ208では、方法200の実施例に応じて、最新の頭部の動きおよび/または目の動きの予想値を決定するために種々異なる所定モデルを使用することができる。
例えば、ヘッドトラッキングシステムもしくはアイトラッキングシステム、または車両の制御器に保存された式によって計算可能なモデルを使用してもよい。代替的には、ルックアップテーブルとしてヘッドトラッキングシステムまたはアイトラッキングシステムで実行されるモデルを使用してもよい。特に、乗員の最新の頭部の動きおよび/または目の動きのモデルの経験的な評価に基づいたモデルを使用してもよい。
1つ以上の調整パラメータを使用して調整可能なモデルを用いることも可能である。一実施例によれば、適応パラメータを乗員に固有に決定することもでき、例えば最尤推定法によって検出することもできる。
図3は、目の動きもしくはサッカードの大きさもしくは振幅と最大速度との間の典型的な関係を説明するための線図を示す。サッカードとはこの場合、目の回転運動として理解される。
デカルト座標が示されている。横軸には0〜20度の間のサッカードの例示的な振幅の値が記入されている。縦軸には、毎秒0度から毎秒600度までのサッカードの例示的な最大速度の値が記入されている。グラフ300は、サッカードの大きさと最大速度との関係を例示している。図示のように、ゼロ点で始まるグラフ300は極めて単調に上昇し、勾配は、最初は大きく、次第に小さくなる。
図3の線図は、小さい最大速度による目の動きは小さい振幅によって特徴づけられ、最大速度が増大すると振幅が大きくなることを示している。
サッカードの大きさと最大速度とのこのような関係は、指数関数によってモデル化することができる。図示の逆関数は、目の動きの終点を決定するために用いることができる。
図3に例示した目の動きの動特性は実質的に頭部の動きの動特性をも表している。
図4〜図6は、実施例にしたがって典型的な速度波形を有する頭部回転の概略図を示す。それぞれ観察者102の頭部112が平面図で示されている。頭部112の回転軸線400を表す頭部112の中心に起点を有する円弧は、頭部112に向けられたセンサシステム(図4〜図6には示していない)の検出範囲402を表す。
検出範囲402は、頭部中心400を中心とした範囲であり、この範囲内では、センサシステムは頭部112の正確な位置を検出することができる。センサシステムは、例えば図1に示すように正面から観察者102に向けられたカメラであってもよい。センサシステムは、観察者102の最新の頭部の動きおよび/または目の動きを表す観察者102の視線角度変化を検出するように構成されている。回転軸線400で始まるベクトルは、視線方向変化時の所定の角度位置における観察者102のそれぞれの視線方向を特徴づける。
図4は、観察者102が頭部112を真っ直ぐに保持し、真っ直ぐに見ている位置における頭部112を示している。この位置は停止位置404として定義されている。停止位置404は図4に破線により示されている。図4のベクトルは、観察者102の頭部回転前の初期視線方向114を示している。センサシステムによって検出されるべきベクトルの角度位置は、一実施例にしたがって停止位置として定義された図示の頭部位置に対応してゼロ度に位置する。図4では、頭部112は検出範囲402の中央に位置し、センサシステムによって検出される。
図4の下部の線図は、所定の大きさの頭部回転の典型的な波形を示す。デカルト座標系の横軸には時間tが記入されており、デカルト座標系の縦軸には速度vが記入されている。グラフ406は、所定の大きさの頭部回転の典型的な波形を示す。
時点tでは、頭部112はまだ初期視線方向114を向いており、頭部回転速度はゼロである。初期視線方向114を起点として観察者102が左方向または右方向に頭部回転を行った場合には、回転速度は回転運動の最初の半分で急速に上昇し、グラフ406の頂点によって示される最大速度に到達した後に緩やかな波形で頭部回転が終了するまで再びゼロに向かって低下する。グラフ406は、同じ振幅を有する観察者102の頭部回転のためのモデルとして使用してもよい。
図5は、再び観察者102の頭部112を上方から示している。この図では、初期視線方向から始まって左方向への観察者102の頭部回転が始まり、頭部112は、図の下部に線図で示されているように時点tにおいて頭部回転の最大速度Vpeak500が達成された位置で図示されている。観察者102の最新の視線方向502は、停止位置404の初期視線方向に対して約15度の角度をなしている。
図5は、観察者102の頭部112が頭部回転の時点tではまだセンサシステムの検出範囲402内に位置し、したがって観察者102の頭部の動きはセンサシステムによってまだ確実に検出されることを示している。
図6は、例示的な頭部回転の終了時における観察者102の頭部112を示している。この図では、頭部112はセンサシステムの検出範囲402の外部に位置しており、したがって、頭部回転の終点、すなわち観察者102の最新の視線方向を検出することはもはやできない。
この場合、ここで説明した頭部回転の速度検出のコンセプトが、センサ範囲を離れた後の観察方向を評価するために用いられる。図5に示した頭部回転のためのモデルを使用して、検出された最後のセンサ値から回転運動のためのさらなる値を推定し、時点tにおける回転運動の終点を定める。tに依存して、センサ検出範囲402外の新しい視線方向120が評価される。
図4〜図6は、頭部112が大きく側方に回転された場合、頭部112が検出範囲402の外部に位置するためもはやセンサシステムによって正確に決定することができないことを示している。ここで説明したコンセプトでは、センサの検出範囲402の外部における頭部回転の終点を決定するために検出範囲402内における頭部の動きの動特性分析が使用される。
ここで説明したコンセプトの使用可能な分野は、例えば人の動きを検出するためのセンサ技術、特にドライバ監視カメラおよびドライバ監視システムと連携して頭部または目の動きを追跡する技術である。
実施例が、第1の特徴および第2の特徴の間に「および/または」の接続詞を含む場合には、この実施例は、ある実施形態によれば第1の特徴および第2の特徴の両方を備えており、別の実施形態によれば第1の特徴のみ、または第2の特徴のみを備えていると読み取られるべきである。
102 乗員(観察者)
104 トラッキングシステム(ヘッドトラッキングシステム、アイトラッキングシステム)
106 車両カメラ
108 光学センサ
110 装置
112 頭部
114 初期視線方向
116 目
118 センサデータ
120 視線方向
200 方法
202 読取ステップ
204 読取ステップ
206 検出ステップ
208 決定ステップ
210 使用ステップ
300 グラフ
400 回転軸線
400 頭部中心
402 検出範囲
404 停止位置
406 グラフ
500 最大速度
502 視線方向

Claims (12)

  1. 車両(100)の乗員(102)の視線方向(120)を予測する方法(200)において、前記方法(200)が、
    前記乗員(102)の初期視線方向(114)を読み取る読取ステップ(202)と、
    最新の頭部の動きおよび/または目の動きを表す前記乗員(102)の視線角度変化に関するセンサデータ(118)を使用して、初期視線方向(114)を起点として前記乗員(102)の最新の頭部の動きおよび/または目の動きの最大速度(500)を検出する検出ステップ(206)と、
    検出された最大速度(500)を使用して、所定モデル(406)によって表される最新の頭部の動きおよび/または目の動きの予想値を決定する決定ステップ(208)と、
    乗員(102)の視線方向(120)を予想するために、初期視線方向(114)および最新の頭部の動きおよび/または目の動きの予測値を使用する使用ステップ(210)と、
    を含む方法(200)。
  2. 請求項1に記載の方法(200)において、
    前記車両(100)の光学センサ(108)のインターフェイスを介して、最新の頭部の動きおよび/または目の動きを表す乗員(102)の視線角度変化についての前記センサデータ(118)を読み取る読取ステップ(204)、
    を含む方法(200)。
  3. 請求項1または2に記載の方法(200)において、
    前記検出ステップ(206)で検出された前記最大速度(500)が所定の速度閾値を超過した場合に、最新の頭部の動きおよび/または目の動きの予想値を決定する前記決定ステップ(208)を実施する方法(200)。
  4. 請求項1〜3までのいずれか一項に記載の方法(200)において、
    前記決定ステップ(208)で、保存された式によって計算可能なモデルを前記所定モデル(406)として使用する方法(200)。
  5. 請求項1〜3までのいずれか一項に記載の方法(200)において、
    前記決定ステップ(208)で、ルックアップテーブルとして実施されるモデルを前記所定モデル(406)として使用する方法(200)。
  6. 請求項1〜3までのいずれか一項に記載の方法(200)において、
    前記決定ステップ(208)で、人および/または乗員の頭部の動きおよび/または目の動きの経験的な評価に基づいたモデルを前記所定モデル(406)として使用する方法(200)。
  7. 請求項1〜6までのいずれか一項に記載の方法(200)において、
    前記決定ステップ(208)で、少なくとも1つの調整パラメータを使用して調整可能であり、特に少なくとも1つの調整パラメータによって車両の使用環境に適合させることができるモデルを前記所定モデル(406)として使用する方法(200)。
  8. 請求項7に記載の方法(200)において、
    調整パラメータとして、乗員に固有に設定可能な調整パラメータを使用する方法(200)。
  9. 請求項8に記載の方法(200)において、
    乗員に固有に設定可能および/または設定された調整パラメータとして、統計的な推定方法によって検出される乗員に固有に設定可能な設定された調整パラメータを使用する方法(200)。
  10. 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成された装置(110)。
  11. 請求項1〜9までのいずれか一項に記載の方法(200)を実施するように構成されたコンピュータプログラム。
  12. 請求項11に記載のコンピュータプログラムが記憶された機械読取可能な記憶媒体。
JP2016142095A 2015-07-22 2016-07-20 乗員の視線方向を予測する方法および装置 Active JP6762157B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015213769.4 2015-07-22
DE102015213769.4A DE102015213769A1 (de) 2015-07-22 2015-07-22 Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen

Publications (2)

Publication Number Publication Date
JP2017024711A true JP2017024711A (ja) 2017-02-02
JP6762157B2 JP6762157B2 (ja) 2020-09-30

Family

ID=57738649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016142095A Active JP6762157B2 (ja) 2015-07-22 2016-07-20 乗員の視線方向を予測する方法および装置

Country Status (4)

Country Link
US (1) US10074023B2 (ja)
JP (1) JP6762157B2 (ja)
CN (1) CN106372568B (ja)
DE (1) DE102015213769A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701338B2 (en) 2017-07-25 2020-06-30 Mitsubishi Electric Corporation Display apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
FR3069657A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif optique pour l'observation d'un habitacle de vehicule
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
DE102017221871A1 (de) * 2017-12-05 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Berechnung der Bewegungsdaten des Kopfes eines Fahrers eines Fahrzeuges, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren und Computerprogramm
CN111731311B (zh) * 2020-05-29 2023-04-07 阿波罗智联(北京)科技有限公司 车机行驶的安全控制方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02301798A (ja) * 1989-05-17 1990-12-13 Nippon Hoso Kyokai <Nhk> 画像表示装置
JPH03111028A (ja) * 1989-09-25 1991-05-10 Nippon Telegr & Teleph Corp <Ntt> 注視方向予測装置
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
JP2011047902A (ja) * 2009-08-28 2011-03-10 Honda Motor Co Ltd 乗員移動量算出装置
WO2015019542A1 (ja) * 2013-08-08 2015-02-12 パナソニックIpマネジメント株式会社 視野算出装置および視野算出方法
JP2018529162A (ja) * 2015-09-04 2018-10-04 株式会社ソニー・インタラクティブエンタテインメント サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287437A (en) * 1992-06-02 1994-02-15 Sun Microsystems, Inc. Method and apparatus for head tracked display of precomputed stereo images
US5793310A (en) * 1994-02-04 1998-08-11 Nissan Motor Co., Ltd. Portable or vehicular navigating apparatus and method capable of displaying bird's eye view
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
US20060209013A1 (en) * 2005-03-17 2006-09-21 Mr. Dirk Fengels Method of controlling a machine connected to a display by line of vision
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
CN101589327B (zh) * 2007-09-26 2012-09-26 松下电器产业株式会社 光束扫描式显示装置、显示方法以及集成电路
JP2013514592A (ja) * 2009-12-18 2013-04-25 本田技研工業株式会社 視線技術、死角インジケータ及びドライバ経験を用いる予測ヒューマン・マシン・インタフェース
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
CN102963298A (zh) * 2012-09-29 2013-03-13 重庆长安汽车股份有限公司 基于视线检测的异常行为监控方法
KR101970577B1 (ko) * 2013-04-09 2019-04-19 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그의 아이-트랙킹 방법
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
CN103439801B (zh) * 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
KR20160044528A (ko) * 2013-08-22 2016-04-25 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 운전자 안전을 위한 시선의 영향
JP2015087824A (ja) * 2013-10-28 2015-05-07 オムロン株式会社 画面操作装置および画面操作方法
US9746676B2 (en) * 2014-01-21 2017-08-29 Osterhout Group, Inc. See-through computer display systems
US9563805B2 (en) * 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、***、终端设备及穿戴式设备
JP6692650B2 (ja) * 2016-02-02 2020-05-13 株式会社デンソーテン 情報処理装置および情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02301798A (ja) * 1989-05-17 1990-12-13 Nippon Hoso Kyokai <Nhk> 画像表示装置
JPH03111028A (ja) * 1989-09-25 1991-05-10 Nippon Telegr & Teleph Corp <Ntt> 注視方向予測装置
JP2008146356A (ja) * 2006-12-11 2008-06-26 Nissan Motor Co Ltd 視線方向推定装置及び視線方向推定方法
JP2011047902A (ja) * 2009-08-28 2011-03-10 Honda Motor Co Ltd 乗員移動量算出装置
WO2015019542A1 (ja) * 2013-08-08 2015-02-12 パナソニックIpマネジメント株式会社 視野算出装置および視野算出方法
JP2018529162A (ja) * 2015-09-04 2018-10-04 株式会社ソニー・インタラクティブエンタテインメント サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701338B2 (en) 2017-07-25 2020-06-30 Mitsubishi Electric Corporation Display apparatus

Also Published As

Publication number Publication date
US10074023B2 (en) 2018-09-11
JP6762157B2 (ja) 2020-09-30
CN106372568B (zh) 2021-06-29
DE102015213769A1 (de) 2017-01-26
US20170024624A1 (en) 2017-01-26
CN106372568A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6762157B2 (ja) 乗員の視線方向を予測する方法および装置
CN108216251B (zh) 驾驶员状态监测方法、***及非瞬时性计算机可读介质
US10159436B2 (en) Method and apparatus for recognizing fatigue affecting a driver
US9526448B2 (en) State estimation device and state estimation program
CN106687037B (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
US10509975B2 (en) Method and device for estimating a direction of a view of a vehicle occupant, method and device for determining a head movement gain parameter specific for a vehicle occupant, and method and device for estimating the direction of view of a vehicle occupant
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
CN110448316A (zh) 数据处理装置及方法、监测***、唤醒***以及记录介质
EP3440592B1 (en) Method and system of distinguishing between a glance event and an eye closure event
US11216968B2 (en) Face direction estimation device and face direction estimation method
JP2008079737A (ja) 集中度評価装置及びこれを用いた車両用表示装置
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
KR102304851B1 (ko) Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법
JP2022502757A (ja) 運転者注意状態推定
KR20210037790A (ko) 자율 주행 장치 및 방법
US20210276581A1 (en) Vehicle controller
US20160092743A1 (en) Apparatus and method for measuring a gaze
EP3270764B1 (en) Situational awareness monitoring method and apparatus
KR20200133852A (ko) 자율 주행 장치 및 방법
CN116597425B (zh) 一种驾驶员的样本标签数据的确定方法、装置及电子设备
KR20170059029A (ko) 차체 피치 모션 추정 장치 및 그 방법
US20230394702A1 (en) Device, method, and computer program for estimating seat position
KR20200133443A (ko) 자율 주행 장치 및 방법
KR20170105318A (ko) 사용자 움직임에 기반한 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200908

R150 Certificate of patent or registration of utility model

Ref document number: 6762157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250