JP4420081B2 - 行動推定装置 - Google Patents

行動推定装置 Download PDF

Info

Publication number
JP4420081B2
JP4420081B2 JP2007203111A JP2007203111A JP4420081B2 JP 4420081 B2 JP4420081 B2 JP 4420081B2 JP 2007203111 A JP2007203111 A JP 2007203111A JP 2007203111 A JP2007203111 A JP 2007203111A JP 4420081 B2 JP4420081 B2 JP 4420081B2
Authority
JP
Japan
Prior art keywords
action
model
behavior
point
behavior estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007203111A
Other languages
English (en)
Other versions
JP2009037534A (ja
Inventor
貴洋 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007203111A priority Critical patent/JP4420081B2/ja
Priority to US12/216,728 priority patent/US8045758B2/en
Publication of JP2009037534A publication Critical patent/JP2009037534A/ja
Application granted granted Critical
Publication of JP4420081B2 publication Critical patent/JP4420081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像に写り込んだ人物の行動を推定する行動推定装置に関する。
従来より、車両に搭載され、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像(以下、撮影画像とする)に基づき、運転者が携帯電話を使用中である(以下、特定行動とする)か否かを判定する画像処理装置とを備えた行動推定装置が知られている(特許文献1参照)。
この特許文献1に記載の行動推定装置では、撮影画像中の顔面の周辺に予め規定された規定領域内に、撮影画像中の手が予め設定された設定時間以上位置し続ける場合に、運転者が特定行動をとっているものと判定している。
つまり、運転者が特定行動をとっているか否かは、特定行動をとった時の手の位置に運転者の手が位置しているか否かのみで判定される。
特開2005−205943号公報
したがって、特許文献1に記載の行動推定装置では、特定行動がとられた後に検出しているに過ぎず、例えば、車両を運転中の運転者が特定行動をとった時に警告を発する等、車両を安全に走行させるための処理を、特定行動がとられる前に前もって実行することができなかった。
そこで、本発明は、特定行動をとろうとしていることを、前もって検出することが可能な行動推定装置を提供することを目的とする。
上記目的を達成するためになされた本発明の行動推定装置は、撮影画像取得手段が、人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得すると共に、人物の身体上に予め設定されたポイントを特徴点として、特徴点検出手段が、撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する。
そして、特定行動をとった人物の特徴点が位置する地点を帰着点とし、その帰着点毎に少なくとも1つ設定され、かつ該帰着点を原点とした座標系にて表され、特定行動をとろうとする人物の特徴点が通過する範囲を通過領域とし、その通過領域毎に予め規定され、かつその特定行動をとろうとする人物の特徴点が該通過領域内を通過する時に移動する方向である行動方向として、モデル格納手段は、特定行動の内容毎に、帰着点、通過領域、及び行動方向が設定された行動推定モデルを少なくとも1つ格納しており、モデル抽出手段が、モデル格納手段に格納された行動推定モデルの中から、帰着点それぞれを原点とした座標系における検出特徴点の位置である相対特徴点が通過領域内に位置し、かつ検出特徴点の移動方向と、行動方向とのなす角度が、予め規定された範囲内である前記行動推定モデルを抽出すると共に、行動推定手段が、モデル抽出手段にて、予め規定された規定回数以上連続して同一の行動推定モデルが抽出されると、その抽出された行動推定モデルに対応する特定行動を、撮影画像に写り込んだ人物がとろうとしている行動として推定する。
このように構成された行動推定装置によれば、撮影画像に写り込んだ人物が、特徴点が帰着点に帰着する特定行動をとろうとしているか否かを、特徴点が帰着点に位置する前の通過領域内に位置している段階で、即ち、その特定行動をとる前の準備動作の時点で前もって判定することができる。
また、本発明の行動推定装置における行動推定手段は、モデル抽出手段にて、複数の行動推定モデルが抽出された場合、請求項2に記載のように、検出特徴点が帰着点により近いものを、モデル抽出手段で抽出された行動推定モデルとするように構成されていても良いし、請求項3に記載のように、検出特徴点の移動方向と行動方向との適合率が高いものを、モデル抽出手段で抽出された行動推定モデルとするように構成されていても良い。
特に、後者のように構成された行動推定装置によれば、適合率がより高い行動推定モデルを抽出しているため、撮影画像に写り込んだ人物がとろうとしている特定行動の推定精度を向上、即ち、推定される特定行動をより確からしいものとすることができる。
なお、ここで言う適合率が高いとは、検出特徴点の移動方向が、より行動方向に沿ったものである状態を示す。
さらに、行動推定モデルには、特定行動をとったとみなせる人物の特徴点が位置する領域が帰着領域として設定されており、本発明の行動推定装置は、特定モデル抽出手段が、モデル格納手段に格納された行動推定モデルの中から、特徴点検出手段で検出された特徴点が帰着点、もしくは帰着領域に位置している行動推定モデルを抽出して、行動認定手段が、特定モデル抽出手段で抽出された行動推定モデルに対応する特定行動を撮影画像に写り込んだ人物がとったものと認定するように構成されていることが望ましい。
このように構成された行動推定装置によれば、仮に、準備動作の時には、特定行動をとろうとしていないものと推定し、その推定結果が誤っていたとしても、検出特徴点が帰着点に位置した時には、速やかに、推定結果を正しいものへと訂正することができる。
以下に本発明の実施形態を図面と共に説明する。
図1は、本発明が適用され、車両に搭載された行動推定装置の概略構成を示したブロック図である。なお、以下では、行動推定装置1が搭載された車両を搭載車両と称す。
〈全体構成〉
行動推定装置1は、搭載車両の乗員を撮影する撮影装置15と、周知の経路案内等を行うことに加えて、警報を発するナビゲーション装置21と、運転席のシートベルトを巻き取るシートベルト巻上装置22と、ブレーキの制動力を制御するブレーキ制御装置23と、パワートレイン機構が出力する駆動力を制御するパワートレイン制御装置24と、撮影装置15で撮影された画像(以下、撮影画像とする)を画像処理することにより、搭載車両の乗員の行動を推定し、その推定結果に従って、ナビゲーション装置21や、ブレーキ装置23等を制御する画像処理プロセッサ10とを備えている。
撮影装置15は、車室内へとレンズを向けた上で、搭載車両の天板(または、フロントガラス)に突設されたルームミラーの付け根付近に配置された周知のデジタルカメラであり、撮影画像を画像処理プロセッサ10に順次出力するように構成されている。なお、撮影装置15にて撮影される画像は、図2に示すように、運転席に着座している運転者の上半身(即ち、運転者の頭部、両腕、両手、及び胴体等)が少なくとも収められたものとなるようにされている。
ナビゲーション装置21は、音声を出力するスピーカと、画像を表示するモニタと、画像処理プロセッサ10からの制御指令に従って、スピーカ、及びモニタを制御する制御装置とを少なくとも備えており、制御装置が周知の現在位置表示処理、経路設定処理、経路案内処理などを実行するように構成されている。
また、シートベルト巻上装置22は、画像処理プロセッサ10からの制御指令に従って、運転席側のシートベルトを巻き取り、シートベルトの拘束力を増加させるように構成されている。
さらに、ブレーキ制御装置23は、画像処理プロセッサ10からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。
そして、パワートレイン制御装置24は、画像処理プロセッサ10からの制御指令に従って、内燃機関のスロットル開度を調整するスロットルアクチュエータや、トランスミッションの出力トルクを調整するトランスミッション制御装置を制御するように構成されている。
〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
画像処理プロセッサ10は、処理プログラム等を格納するROM10aと、データを一時的に格納するRAM10bと、ROM10aまたはRAM10bに格納された処理プログラムに従って各種処理を実行するCPU10cとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。
そして、ROM10aには、撮影装置15で撮影された撮影画像を順次画像処理することにより、運転者が予め規定された特定行動をとろうとしているか否かを判定し、その判定の結果、運転者が特定行動をとろうとしている場合、ナビゲーション装置21に制御指令を出力する行動推定処理を実行するための処理プログラムが格納されている。
さらに、ROM10aには、行動推定処理を実行するときに参照される特徴点リストと、行動推定モデル群とが格納されている。
その特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の身体上に設定された特徴点を検出するためのものであり、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部(より正確には顔面)に設定された特徴点を検出するための頭部リストとを少なくとも備えている。
そして、腕部リストには、図3に示すように、人体の右肩(図中、d1),左肩(d4),右ひじ(d2),左ひじ(d5),右手首(d3),左手首(d6)が特徴点として少なくとも設定されている。
さらに、頭部リストには、図4(A)に示すように、顔面の鼻(f1)を検出し、その鼻を中心とした顔面領域を抽出するための顔面検出テンプレートと、図4(B)に示すように、顔面の右目頭(図中,fr3),左目頭(fl3),右目尻(fr2),左目尻(fl2),右口角(fr4),左口角(fl4),右耳珠点(fr5),左耳珠点(fl5)が特徴点として少なくとも設定された顔面特徴点検出テンプレートとが含まれている。
〈行動推定モデルについて〉
また、行動推定モデル群は、撮影画像から検出された特徴点(以下、検出特徴点とする)の移動に従って、人物が予め規定された特定行動をとろうとしているのか否かを判定するために、検出対象とする特定行動毎に予め設定された複数の行動推定モデルからなる。
そして、各行動推定モデルには、その特定行動をとろうとする人物の特徴点が収束する(即ち、特定行動をとった人物の特徴点が帰着する)地点である帰着点と、特定行動をとったとみなせる人物の特徴点が位置する領域である帰着領域と、その特定行動をとろうとする人物の特徴点が通過する領域である通過領域と、その特定行動をとろうとする人物の特徴点が通過領域内を通過する時の移動方向の範囲である行動方向許容範囲とが設定されている。
ただし、本実施形態における帰着領域、通過領域は、帰着点を原点とした、相対座標系によって表されている。また、一つの行動推定モデルに設定される通過領域は、一つであっても良いし、帰着点からの距離に応じて複数設定されていても良い(ただし、通過領域が複数設定されていれば、行動方向許容範囲も複数設定されている必要がある)。
なお、本実施形態では、具体的に、検出対象とする特定行動として、図8に示すように、右手(もしくは左手)で右耳(もしくは左耳)に物(例えば、携帯電話等)をあてがう行動(以下、電話使用行動とする)、右手(もしくは左手)で口に物(例えば、煙草)をあてがう行動(以下、喫煙行動とする)が規定されている。さらに、この他にも、右手(もしくは左手)で左肩(もしくは右肩)をマッサージする行動、右手(もしくは左手)で右上腕(もしくは左上腕)をマッサージする行動、右手(もしくは左手)で右前腕(もしくは左前腕)をマッサージする行動(以下、マッサージ行動とする)が規定されている。
このため、特定行動が電話使用行動であれば、右(もしくは左)耳珠点が、特定行動が喫煙行動であれば、左右の口角の中点が、特定行動がマッサージ行動であれば、左右いずれかの肩と肘との中点(もしくは肘と手首との中点)が、帰着点として設定されている。
そして、本実施形態では、各行動推定モデルの帰着領域、通過領域を設定するために、以下の手順が踏まれる。
まず、複数(例えば、統計学上信頼できる数が望ましい)の被験者(以下、被験者らとする)に、特定行動をとらせ、被験者らが特定行動をとった状態を撮影画像に収める。そして、全ての撮影画像からそれらの撮影画像に写り込んだ被験者の特徴点を検出し、各特徴点が分布する平均の範囲をそれぞれの特徴点の帰着領域として設定する。
次に、被験者らに特定行動をとる前から特定行動をとった状態までの動作を実施させ、その動作の様子を連続的に撮影画像に収める。そして、全ての撮影画像からそれらの撮影画像に写り込んだ被験者の特徴点を検出し、各特徴点が帰着点に向かって移動しているものとみなせる(即ち、設計者が認定する)範囲をそれぞれの特徴点の通過領域として設定する。
さらに、通過領域内を移動する特徴点の方向の平均値を行動方向として設定する。同時に、行動方向からのバラつき範囲を行動方向許容範囲として設定する。
つまり、画像処理プロセッサ10は、撮影画像に基づく検出特徴点と、各行動推定モデルとを比較することで行動推定処理を実行可能に構成されている。
〈行動推定処理について〉
次に、画像処理プロセッサ10が実行する行動推定処理について説明する。
ここで、図5は、行動推定処理の処理手順を示したフローチャートである。
この行動推定処理は、画像処理プロセッサ10が起動されると、実行されるものであり、行動推定処理が実行されると、まず、S110では、撮影装置15で撮影した撮影画像を取得する。続く、S120では、S110で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全ての特徴点を抽出する。
なお、この特徴点を抽出する処理については、腕部リストに設定された特徴点を抽出するのであれば、例えば、特開2003−109015号に、頭部リストに設定された特徴点を抽出するのであれば、例えば、特開平09−270010号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。
さらに、S130では、S120にて抽出した特徴点と、ROM10bに格納された行動推定モデルとを比較し、運転者が特定行動をとろうとしているか否かを判定するモデル照合処理を実行する。
続く、S140では、S130のモデル照合処理での判定結果が確かなものであるか否かを確認する行動認定処理を実行する。つまり、この行動認定処理では、モデル照合処理で判定され、運転者がとろうとしている特定行動が確からしいか否かを判定する。
そして、S150では、S140における行動認定処理で判定の結果、運転者がとろうとしている特定行動が確からしいものであることが確認された場合、S160へと進む。具体的に、本実施形態のS150では、後述する確定行動フラグがハイレベルであれば、特定行動が確からしいものであるものとする。
そのS160では、運転者に対し警報を発する警報処理を実行して、その後、S110へと戻る。
本実施形態の警報処理では、具体的に、ナビゲーション装置21に制御指令を出力し、制御指令を受信したナビゲーション装置21では、モニタに警告を表示すると共に、スピーカーを鳴動させ、警告音を出力する。これにより、車両の運転中に特定行動をとろうとすることが危険である旨が報知される。
一方、先のS150にて、運転者がとろうとしている特定行動が確からしくないものと判定されたことが確認された場合、S110へと戻る。
〈モデル照合処理について〉
次に、行動推定処理のS130にて実行されるモデル照合処理について説明する。
ここで、図6は、モデル照合処理の処理手順を示したフローチャートである。
この図6に示すように、モデル照合処理は、行動推定処理のS130で起動されると、まず、S210では、ROM10aに格納されている行動推定モデル群から一つの行動推定モデルを読み出す。
続く、S220では、先の行動推定処理で検出した特徴点を、S210で読み出した行動推定モデル中の帰着点を原点とした相対座標系上の座標に変換する(以下では、変換後の特徴点を相対特徴点とする)。
具体的に、本実施形態では、行動推定モデルに設定された特定行動が電話使用行動であれば、手首の座標から耳珠点の座標を減じることにより、特定行動が喫煙行動であれば、手首の座標から左右の口角の中点を減じることにより相対特徴点が求められる。さらに、特定行動がマッサージ行動であれば、手首の座標から肩と肘との中点(もしくは肘と手首との中点)を減じることにより相対特徴点が求められる。
さらに、S230では、先の行動推定処理で検出した特徴点と、S210で読み出した行動推定モデル中の帰着点との距離を算出する。つまり、相対特徴点と原点との間の距離(以下、判定距離とする)を求める。
なお、S220で求められた相対特徴点の座標、及びS230で求められた判定距離は、それらを算出するために適用された行動推定モデルと対応付けられた上で、最新のものから予め規定された規定数(例えば、20)だけRAM10bに格納される。
そして、S240では、ROM10aに格納されている全ての行動推定モデルを適用して、S210からS230までの処理を実行したか否か、即ち他に行動推定モデルがあるか否かを判定する。そして、判定の結果、全ての行動推定モデルを適用して処理を実行していないものと判定された場合、S210へと戻り、未だ適用されていない行動推定モデルを読み出し、その後S220,S230の処理を実行する。
一方、S220での判定の結果、全ての行動推定モデルを適用して処理を実行したものと判定された場合、S250へと進む。
そのS250では、S230で求められた判定距離が、最も短い行動推定モデルに対応付けられた相対特徴点の座標を読み出す。ただし、今回のモデル照合処理でS250へと二回目以降に進んだ場合には、それまでに読み出されていないものの中から、判定距離が最も短い行動推定モデルに対応付けられた相対特徴点の座標を読み出す。
続く、S260では、S250で読み出した相対特徴点に対応する行動推定モデル中の帰着領域、及び通過領域を読み出す。その後、S270では、S250で読み出した相対特徴点と、S260で読み出した帰着領域、及び通過領域との位置関係を認識する。即ち、S270では、S250で読み出した相対特徴点を、S260で読み出した帰着領域、及び通過領域を含むマップに反映させる。
さらに、S280では、S270で認識した位置関係から、相対特徴点が、帰着領域内、通過領域内、または両範囲外に位置しているか否かを判定する。そして、S280の判定の結果、相対特徴点が通過領域内に位置するものと判定された場合には、S290へと進む。
そのS290では、特徴点が移動する方向(以下、移動方向)と、特定行動をとろうとする人物の特徴点が通過領域内を通過する時に移動する方向(ここでは、特徴点から帰着点へと向かう方向とする、以下、行動方向とする)とがなす角度(以下、行動角度θとする)を求める。
具体的に、本実施形態では、今回取得された撮影画像に対する処理(以下、今サイクルとする)で検出された相対特徴点から、帰着点(即ち、原点)へと向かうベクトル(以下、目標ベクトルMとする)を行動方向として求める。そして、今サイクルで検出された相対特徴点と、前回取得された撮影画像に対する処理(以下、前サイクルとする)にて検出された相対特徴点とに従って、1サイクルの間に相対特徴点が移動した方向、及び距離(即ち、ベクトル、以下、移動ベクトルNとする)を求める。
さらに、それらの求められた目標ベクトルM、及び移動ベクトルNに基づき、行動角度θを算出する。なお、行動角度θは、目標ベクトルM、移動ベクトルNを、cos-1{(M・N)/(‖M‖‖N‖)}に代入することで求められる。ただし、(M・N)は、目標ベクトルM、移動ベクトルNの内積であり、‖M‖,‖N‖は、それぞれ目標ベクトルM、移動ベクトルNの長さ(即ち、スカラー)である。
続くS300では、S290で求められた行動角度θが、予め規定された行動方向許容範囲内であるか否かを判定する。なお、本実施形態では、具体的に、行動方向許容範囲の下限値としてマイナス5度(θmin)が、上限値としてプラス5度(θmax)が、即ち、行動方向許容範囲として0度を中心にプラスマイナス5度の範囲が設定されている。
そして、S300での判定の結果、行動角度θが行動方向許容範囲内であるものと判定された場合、S310へと進む。つまり、本実施形態では、行動角度θが0度に近いほど、特徴点が帰着点に向かって真っ直ぐ移動していることを示しており、特定行動をとろうとしている可能性が高いものと推定する。
また、S280での判定の結果、相対特徴点が帰着領域内に位置するものと判定された場合にも、S310へと進む。
そのS310では、今回サイクルのS250で読み出された相対特徴点に対応する行動推定モデルに規定された特定行動を運転者がとろうとしている(もしくは、とった)ことを示すように、特定行動フラグをハイレベルにする。ただし、特定行動フラグは、行動推定モデル(即ち、特定行動)毎に予め用意されている。
つまり、S310では、運転者がとろうとしている(もしくは、とった)特定行動を、S310以降の処理(即ち、行動認定処理)にて識別可能なようにする。
そして、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のS140(即ち、行動認定処理)へと進む。
一方、S300での判定の結果、行動角度θが行動方向許容範囲外であるものと判定された場合や、S280での判定の結果、相対特徴点が帰着領域外及び通過領域外に位置するものと判定された場合には、S320へと進む。
そのS320では、今サイクルのモデル照合処理でS250からS280までの処理を実行していない行動推定モデルに対応付けられた相対特徴点(ここでは、判定対象とする)があるか否かを判定する。そして、判定の結果、それらの処理を実行していない判定対象があれば、S250へと戻り、それらの処理を実行していない判定対象が無ければ、S330へと進む。
そのS330では、運転者が特定行動をとろうとしていないことを示すように、全ての特定行動フラグをローレベルとし、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のS140(即ち、行動認定処理)へと進む。
つまり、モデル照合処理では、目標ベクトルMと移動ベクトルNとの一致度合が予め規定された規定値以上(即ち、行動角度θが検出許容角度範囲内)である行動推定モデルの中から、相対特徴点の位置が帰着点に最も近い行動推定モデルに設定された特定行動を運転者がとろうとしているものと仮判定する。
〈行動認定処理〉
次に、行動推定処理のS140で実行される行動認定処理について説明する。
ここで、図7は、行動認定処理の処理手順を示したフローチャートである。
この行動認定処理は、行動推定処理のS140で実行されると、まず、S410では、特定行動フラグがハイレベルであるか否かを判定する。そして、判定の結果、特定行動フラグがハイレベルであれば、S415へと進む。つまり、今サイクルでのモデル照合処理におけるS310にて、全特定行動フラグのうち、いずれか一つがハイレベルとされれば、S415へと進む。
そのS415では、今サイクルでハイレベルとされた特定行動フラグが前サイクルでもハイレベルとされているか否か、もしくは前サイクルでは全ての特定行動フラグがローレベルであるか否かを判定し、その結果、いずれか一方が満たされているものと判定されれば、S420へと進む。
そのS420では、特定行動カウンタを一つ増加して、S430へと進む。
続くS430では、特定行動カウンタが予め規定された規定閾値以上であるか否かを判定する。なお、本実施形態における規定閾値は、例えば、0.5秒間の間に撮影される撮影画像の枚数であるものとする。つまり、S430では、予め規定された数サイクル連続して、運転者が特定行動をとろうとしているか否かを判定する。
そして、S430での判定の結果、特定行動カウンタが規定閾値以上である場合、即ち、規定時間、運転者が特定行動をとろうとしている場合、S440へと進む。
そのS440では、今サイクルでハイレベルとされた特定行動フラグに対応する特定行動を、運転者がとろうとしている(もしくは、とった)ものとして、確定行動フラグをハイレベルとする。なお、確定行動フラグは、行動推定モデル(即ち、特定行動)毎に予め用意されたものであり、ハイレベルであれば、その特定行動を運転者がとろうとしている(もしくは、とった)ことを示し、ローレベルであれば、その特定行動を運転者がとろうとしていないことを示す。
そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のS150へと進む。
一方、S410での判定の結果、特定行動フラグがローレベルである場合、もしくはS415での判定の結果、いずれも満たされていない(即ち、今サイクルでハイレベルとされた特定行動フラグとは異なる特定行動フラグが、前サイクルにてハイレベルである)場合には、S450へと進み、そのS450では、特定行動カウンタを全て初期値(即ち、0)とする。そして、S460へと進む。
また、S430での判定の結果、特定行動カウンタが規定閾値未満である場合、即ち、規定時間、運転者が特定行動をとろうとしていない場合にも、S460へと進む。
そのS460では、全ての特定行動を運転者がとろうとしていない(もしくは、とっていない)ものとして、確定行動フラグを全てローレベルとする。
そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のS150へと進む。
つまり、行動認定処理では、予め規定された数サイクル連続して、運転者が特定行動をとろうとしている場合に、運転者がとろうとしている特定行動が確からしいものと認定して、確定行動フラグをハイレベルとする。
〈行動推定装置の動作例〉
次に、行動推定装置1の動作例について説明する。
ここで、図9は、運転者が左手で左耳に携帯電話をあてがう電話使用行動をとろうとしている状態から電話使用行動をとった状態へと、運転者の左手が遷移していく様子を示した説明図である。また、図10は、左手で左耳に携帯電話をあてがう電話使用行動を検出するための行動推定モデルに設定された左手首の帰着点、左手首の帰着領域、左手首の通過領域を模式的に示した説明図である。
なお、以下では、図9に示すように、運転者が左手で左耳に携帯電話をあてがう電話使用行動をとるために行動をとり始めた状態(図中(A))から、電話使用行動を取っている状態(図中(B))へと、運転者の左手が遷移していく様子を連続的に収めた撮影画像を取得して行動推定処理を実行したものとして説明する。
ただし、図9(A)は、電話使用行動をとり始めたばかりであり、特徴点が通過領域外及び帰着領域外に位置している状態(以下、開始状態とする)であり、図9(B)は、電話使用行動をとった状態へと移行している状態であり、特徴点が第一通過領域内に位置している状態(以下、第一中間状態とする)である。さらに、図9(C)は、電話使用行動をとった状態へと移行している状態であり、特徴点が第二通過領域内に位置している状態(以下、第二中間状態とする)であり、図9(D)は、電話使用行動をとった状態であり、特徴点が帰着点、もしくは帰着領域に位置している状態(以下、行動中状態とする)である。
行動推定処理では、図9(A)に示すような開始状態が収められた撮影画像を取得すると、その撮影画像から求められる相対特徴点が通過領域外に位置する(即ち、図10に示すような通過領域の外側に相対特徴点が位置する)ことを認識する。このため、行動推定装置1は、運転者は電話使用行動をとろうとしていないものと判定し、次の撮影画像を取得する。
そして、図9(B),(C)に示すような第一中間状態から第二中間状態までの間の状態が連続して収められた撮影画像を行動推定装置1が取得すると、行動推定処理では、相対特徴点が通過領域内に位置している(即ち、図10に示すような第一通過領域もしくは第二通過領域の内側に相対特徴点が位置する)ことから、移動方向が行動方向に沿ったものであるか否かを、撮影画像が取得される毎に判定する。
さらに、行動推定処理では、判定の結果、移動方向が行動方向に沿ったものであれば、電話使用行動をとろうとしているものと仮判定し、その仮判定の結果が、規定閾値以上連続して、同一の結果であれば(即ち、電話使用行動をとろうとしていれば)、運転者が電話使用行動をとろうとしていることが確からしいものと認定する。
これにより、行動推定装置1は、図9(D)に示すような行動中状態が収められた撮影画像が取得される前に、運転者が電話使用行動をとろうとしていることを認識する。
[本実施形態の効果]
以上説明したように、行動推定処理では、特徴点が帰着領域内に位置する前の通過領域内に位置している段階で、撮影画像に写り込んだ運転者が特定行動をとろうとしているか否かが判定されることになる。
したがって、本実施形態の行動推定装置1によれば、運転者が特定行動をとろうとしていることを、その特定行動をとる前の準備動作の時点で前もって検出することができる。このため、行動推定装置1によれば、特定行動をとろうとしている運転者に警告を発する等、車両を安全に走行させるための警報処理を、特定行動がとられる前に前もって実行することができる。
また、上記実施形態の行動推定装置1によれば、行動認定処理にて、予め規定された数サイクル連続して、運転者が特定行動をとろうとしているものと判定された場合に、運転者がとろうとしている特定行動が確からしいものと認定するため、1サイクルだけ偶発的に特定行動をとろうとしていることが検出された時に、警報処理が実行されることを防止できる。つまり、行動推定装置1によれば、誤って特定行動をとろうとしているものと認定して、警報処理を実行することで、運転者らに不快感を与えることを抑制することができる。
さらに、上記実施形態の行動推定装置1では、相対特徴点が帰着領域に位置する時には、特定行動をとっているものと判定する。このため、行動推定装置1によれば、準備動作の時点で特定行動をとろうとしていないものと推定して、その推定結果が誤っていたとしても、検出特徴点が帰着点に位置した時には、推定結果を正しいものへと速やかに訂正することができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
上記実施形態における行動推定処理のS160では、S150にて運転者がとろうとしている特定行動が確からしいものと判定された場合に、ナビゲーション装置21に制御指令を出力し、ナビゲーション装置21から警報を発する警報処理を実行したが、S160で実行される処理は、これに限るものはない。
例えば、CPU10cがシートベルト巻上装置11に制御指令を出力して、シートベルト巻上装置11がシートベルトの拘束力を増加させるようにしても良いし、CPU10cがブレーキ制御装置23に制御指令を出力して、ブレーキ制御装置23が搭載車両の制動力を増加させるようにしても良い。さらには、CPU10cがパワートレイン制御装置24に制御指令を出力して、パワートレイン制御装置24が搭載車両を減速させるようにしても良いし、それらを任意で組合わせても良い。
つまり、S150にて運転者がとろうとしている特定行動が確からしいものと判定された場合に、その特定行動をとろうとすることが危険であることを運転者に認識させ、搭載車両が安全に運転されるように制御するのであれば、どのような処理を行っても良い。
また、上記実施形態のモデル照合処理におけるS250からS310では、通過領域内に位置し、かつ移動ベクトルが目標ベクトルに沿った相対特徴点に対応する行動推定モデルの中から、判定距離が最も短いものに対応する行動推定モデルに設定された特定行動をとろうとしているものと推定するように処理を行ったが、運転者がとろうとしている特定行動を推定する方法は、これに限るものではない。例えば、相対特徴点が各行動推定モデルに設定された通過領域内に位置する行動推定モデルの中から、移動ベクトルと目標ベクトルとの適合率が最も高い行動推定モデルに設定された特定行動をとろうとしているものと推定するように処理を行っても良い。
ただし、ここで言う適合率が高いとは、移動ベクトルが、より目標ベクトルに沿ったもの、即ち移動ベクトルと目標ベクトルとがなす角度が0度に近い状態を示す。
このように、適合率がより高い行動推定モデルに設定された特定行動をとろうとしているものと推定する処理を行うことで、運転者がとろうとしている特定行動の推定精度を向上させることができる。
さら、上記実施形態のモデル照合処理におけるS290では、相対特徴点が求められる毎に、その相対特徴点から帰着点へと向かうベクトルを目標ベクトルとして求めたが、目標ベクトルは、特定行動をとろうとする人物の特徴点が通過領域内を通過する時に帰着点以外の目標点に向かって移動する方向として、通過領域毎に予め設定されていても良い。ただし、この場合の目標ベクトルは、行動推定モデルに通過領域毎の行動方向として備えられている必要がある。
なお、上記実施形態では、電話使用行動、喫煙行動、マッサージ行動を検出対象としたが、検出対象はこれに限るものではない。つまり、特定行動をとった時に特徴点が帰着点の近傍に収着し、特徴点がその帰着点まで移動するときに予め規定可能な移動方向に沿って移動する通過領域が存在する行動であれば、どのような行動でも良い。
行動推定装置の概略構成を説明するためのブロック図である。 撮影画像の一例を示す説明図である。 腕部に設定された特徴点を例示した説明図である。 顔面特徴点検出テンプレートを例示した説明図である 行動推定処理の処理手順を示すフローチャートである。 モデル照合処理の処理手順を示すフローチャートである。 行動認定処理の処理手順を示すフローチャートである。 特定行動の種類を示した説明図である。 行動推定装置の動作例を説明するための説明図である。 動作例での行動推定モデルに設定された通過領域、帰着領域、及び帰着点を説明するための説明図である。
符号の説明
1…行動推定装置 10…画像処理プロセッサ 10a…ROM 10b…RAM 10c…CPU 15…撮影装置 21…ナビゲーション装置 22…シートベルト巻上装置 23…ブレーキ制御装置 24…パワートレイン制御装置

Claims (4)

  1. 人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得する撮影画像取得手段と、
    人物の身体上に予め設定されたポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する特徴点検出手段と、
    特定行動をとった人物の特徴点が位置する地点を帰着点とし、その帰着点毎に少なくとも1つ設定され、かつ該帰着点を原点とした座標系にて表され、前記特定行動をとろうとする人物の特徴点が通過する範囲を通過領域とし、その通過領域毎に予め規定され、かつ前記特定行動をとろうとする人物の特徴点が通過領域内を通過する時に移動する方向行動方向として、前記特定行動の内容毎に、前記帰着点、前記通過領域、及び前記行動方向が設定された行動推定モデルを少なくとも1つ格納するモデル格納手段と、
    前記モデル格納手段に格納された行動推定モデルの中から、前記帰着点それぞれを原点とした座標系における前記検出特徴点の位置である相対特徴点が前記通過領域内に位置し、かつ前記検出特徴点の移動方向と、前記行動方向とのなす角度が、予め規定された範囲内である前記行動推定モデルを抽出するモデル抽出手段と、
    前記モデル抽出手段にて、予め規定された規定回数以上連続して同一の行動推定モデルが抽出されると、その抽出された行動推定モデルに対応する特定行動を、前記撮影画像に写り込んだ人物がとろうとしている行動として推定する行動推定手段と
    を備えることを特徴とする行動推定装置。
  2. 前記行動推定手段は、
    前記モデル抽出手段にて、複数の前記行動推定モデルが抽出された場合、前記検出特徴点が前記帰着点により近いものを、前記モデル抽出手段で抽出された前記行動推定モデルとすることを特徴とする請求項1に記載の行動推定装置。
  3. 前記行動推定手段は、
    前記モデル抽出手段にて、複数の前記行動推定モデルが抽出された場合、前記検出特徴点の移動方向と前記行動方向との適合率が高いものを、前記モデル抽出手段で抽出された前記行動推定モデルとすることを特徴とする請求項1または請求項2に記載の行動推定装置。
  4. 前記行動推定モデルには、特定行動をとったとみなせる人物の特徴点が位置する領域が帰着領域として設定されており、
    前記モデル格納手段に格納された行動推定モデルの中から、前記特徴点検出手段で検出された検出特徴点が前記帰着点、もしくは前記帰着領域に位置している前記行動推定モデルを抽出する特定モデル抽出手段と、
    前記特定モデル抽出手段で抽出された行動推定モデルに対応する特定行動を、前記撮影画像に写り込んだ人物がとったものと認定する行動認定手段と
    を備えることを特徴とする請求項1ないし請求項3のいずれかに記載の行動推定装置。
JP2007203111A 2007-08-03 2007-08-03 行動推定装置 Active JP4420081B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007203111A JP4420081B2 (ja) 2007-08-03 2007-08-03 行動推定装置
US12/216,728 US8045758B2 (en) 2007-08-03 2008-07-10 Conduct inference apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007203111A JP4420081B2 (ja) 2007-08-03 2007-08-03 行動推定装置

Publications (2)

Publication Number Publication Date
JP2009037534A JP2009037534A (ja) 2009-02-19
JP4420081B2 true JP4420081B2 (ja) 2010-02-24

Family

ID=40338172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007203111A Active JP4420081B2 (ja) 2007-08-03 2007-08-03 行動推定装置

Country Status (2)

Country Link
US (1) US8045758B2 (ja)
JP (1) JP4420081B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5217754B2 (ja) * 2008-08-06 2013-06-19 株式会社デンソー 行動推定装置、プログラム
US8116528B2 (en) * 2008-10-08 2012-02-14 Honda Motor Company, Ltd. Illumination source for an image based occupant classification system and vehicle using same
US8195356B2 (en) * 2008-10-08 2012-06-05 Honda Motor Co., Ltd. Methods for testing an image based occupant classification system
US8036795B2 (en) * 2008-10-08 2011-10-11 Honda Motor Company, Ltd. Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
JP4613999B2 (ja) * 2008-12-22 2011-01-19 株式会社デンソー 行動推定装置、プログラム
JP4683123B2 (ja) * 2008-12-24 2011-05-11 株式会社デンソー 行動推定装置、プログラム
JP5233977B2 (ja) * 2009-12-11 2013-07-10 株式会社デンソー 乗員姿勢推定装置
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
JP2016002812A (ja) * 2014-06-13 2016-01-12 株式会社デンソー 車両用非常通報装置
US9965269B2 (en) * 2016-04-06 2018-05-08 Orcam Technologies Ltd. Systems and methods for determining and distributing an update to an inference model for wearable apparatuses
US10152642B2 (en) * 2016-12-16 2018-12-11 Automotive Research & Testing Center Method for detecting driving behavior and system using the same
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
WO2020084467A1 (en) * 2018-10-22 2020-04-30 5Dt, Inc Operator behavior recognition system
WO2020206456A1 (en) 2019-04-04 2020-10-08 Joyson Safety Systems Acquisition Llc Detection and monitoring of active optical retroreflectors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3451832B2 (ja) 1996-04-01 2003-09-29 日産自動車株式会社 顔画像の特徴量認識装置
JP2003109015A (ja) 2001-10-01 2003-04-11 Masanobu Yamamoto 身体動作測定方式
JP2004328622A (ja) 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
JP4481663B2 (ja) 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP4367624B2 (ja) 2004-01-20 2009-11-18 オムロン株式会社 運転中における電話使用時の車輌制御装置とその方法
JP4369326B2 (ja) * 2004-08-19 2009-11-18 株式会社日立製作所 施設内情報提供システム及び施設内情報提供方法
JP4670803B2 (ja) * 2006-12-04 2011-04-13 株式会社デンソー 操作推定装置およびプログラム

Also Published As

Publication number Publication date
JP2009037534A (ja) 2009-02-19
US20090034794A1 (en) 2009-02-05
US8045758B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
JP4420081B2 (ja) 行動推定装置
US10936888B2 (en) Apparatus detecting driving incapability state of driver
US10572746B2 (en) Apparatus detecting driving incapability state of driver
US10909399B2 (en) Apparatus detecting driving incapability state of driver
JP6421714B2 (ja) 車両制御装置
JP5018926B2 (ja) 運転補助装置、及びプログラム
EP2860664B1 (en) Face detection apparatus
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
JP5217754B2 (ja) 行動推定装置、プログラム
JP5273030B2 (ja) 顔特徴点検出装置および眠気検出装置
US9495579B2 (en) Face detection apparatus, face detection method, and program
US20160262682A1 (en) Driver monitoring apparatus
JP4367624B2 (ja) 運転中における電話使用時の車輌制御装置とその方法
US11048951B2 (en) Occupant state recognition apparatus
JP2020057139A (ja) 機器制御装置
JP6256433B2 (ja) 運転者状態検出装置
CN108791119A (zh) 车辆控制***及方法
JP4882930B2 (ja) 行動推定装置
JP4683123B2 (ja) 行動推定装置、プログラム
JP4613999B2 (ja) 行動推定装置、プログラム
JP2009251761A (ja) 運転支援システム
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP2019028640A (ja) 視線検出装置
JP2018194961A (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP2009276848A (ja) 運転状態推定装置、及び運転状態推定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4420081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121211

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131211

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250