JP5786947B2 - 歩行者行動予測装置および歩行者行動予測方法 - Google Patents
歩行者行動予測装置および歩行者行動予測方法 Download PDFInfo
- Publication number
- JP5786947B2 JP5786947B2 JP2013534489A JP2013534489A JP5786947B2 JP 5786947 B2 JP5786947 B2 JP 5786947B2 JP 2013534489 A JP2013534489 A JP 2013534489A JP 2013534489 A JP2013534489 A JP 2013534489A JP 5786947 B2 JP5786947 B2 JP 5786947B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- motion estimation
- change
- shape information
- behavior prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000001514 detection method Methods 0.000 claims description 102
- 238000009826 distribution Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 description 124
- 239000013598 vector Substances 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、歩行者行動予測装置および歩行者行動予測方法に関する。
従来、車両周辺の歩行者の行動を予測する技術が開発されている。
例えば、特許文献1には、カメラで撮像された画像から特徴点を抽出し、抽出された特徴点の移動速度及び/又は移動方向を含む移動情報をそれぞれ算出し、算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出し、抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者検出装置が開示されている。
また、特許文献2には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。
しかしながら、従来技術(特許文献1〜2等)は、車両周辺の歩行者の行動を迅速かつ正確に予測できなかった。例えば、特許文献1に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作(連続的な動作)を予測できるものの、急に方向転換して車道へ飛び出す動作(不連続的な動作)については予測できなかった。また、特許文献2に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。
本発明は、上記の事情に鑑みてなされたものであって、車両周辺の歩行者の行動を迅速かつ正確に予測できる歩行者行動予測装置および歩行者行動予測方法を提供することを目的とする。
本発明の歩行者行動予測装置は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定手段と、前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、を備えることを特徴とする。
前記動作変化検出手段は、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。
前記不連続動作推定手段は、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。
前記歩行者検出手段は、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測装置は、前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、を更に備え、前記行動予測手段は、前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。
前記不連続動作推定情報および前記連続動作推定情報は、前記歩行者の移動方向および移動速度のうち少なくとも1つを含むことが好ましい。
前記動作変化検出手段は、所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記形状情報を表す前記特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、を更に備えることが好ましい。
本発明の歩行者行動予測方法は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出ステップと、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定ステップと、前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測ステップと、を含むことを特徴とする。
前記動作変化検出ステップにおいて、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。
前記不連続動作推定ステップにおいて、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。
前記歩行者検出ステップにおいて、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測方法は、前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、を更に含み、前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。
本発明は、車両周辺の歩行者の行動を迅速かつ正確に予測できるという効果を奏する。
以下に、本発明にかかる歩行者行動予測装置および歩行者行動予測方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。
本発明にかかる歩行者行動予測装置の構成について図1を参照しながら説明する。図1は、本発明にかかる歩行者行動予測装置の構成の一例を示すブロック図である。
図1に示すように、歩行者行動予測装置1は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ2および報知手段4と通信可能に接続されている。カメラ2は、自車両周辺を撮影し、自車両周辺が写し出されている画像データ(撮像画像)を生成する機器である。カメラ2は、例えば可視光領域または赤外線領域にて撮像可能なCCDカメラまたはCMOSカメラ等の撮像手段である。カメラ2は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。本実施形態において、歩行者行動予測装置1は、カメラ2と、ステレオカメラ、イメージングレーザレーダ等と併用してもよい。報知手段4は、画像情報を出力するディスプレイや音声情報を出力するスピーカ等である。本実施形態において、報知手段4は、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、運転者に危険を報知するために用いられる。
歩行者行動予測装置1は、制御部12および記憶部14を備えている。制御部12は、歩行者行動予測装置1を統括的に制御するものであり、例えばCPU(Central Processing Unit)などである。記憶部14は、データを記憶するためのものであり、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、またはハードディスクなどである。
記憶部14は、形状情報記憶部14aおよび不連続動作推定情報記憶部14bを備えている。
形状情報記憶部14aは、カメラ2にて撮像された撮像画像から抽出された歩行者の形状情報を記憶する形状情報記憶手段である。形状情報は、歩行者の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、撮像画像の輝度自体を使用する第1特徴量、撮像画像のエッジを使用する第2特徴量、および、撮像画像の色を使用する第3特徴量のうち少なくとも1つを含む。第1特徴量は、例えば、輝度、輝度のPCA、Hu moment、LBP、Haarlike feature、および、poseletのうち少なくとも1つを含む。第2特徴量は、例えば、SIFT、PCA、SURF、GLOH、shape context、HOG、CoHOG、FIND、および、edgeletのうち少なくとも1つを含む。第3特徴量は、例えば、RGB、および、Labのうち少なくとも1つを含む。
不連続動作推定情報記憶部14bは、歩行者の動作の変化があった時点の画像データと、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報と、を対応付けて記憶する不連続動作推定情報記憶手段である。
ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。また、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。
本実施形態において、不連続動作推定情報記憶部14bに記憶されるデータは、歩行者行動予測装置1により予め格納されている。具体的には、歩行者行動予測装置1は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納する。例えば、歩行者が車道の左側の歩道に沿って移動している場合、歩行者行動予測装置1は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納している。つまり、不連続動作推定情報記憶部14bは、歩行者が急に歩道から車道側へ飛び出すという危険な方向(この場合、右方向)への歩行者の動作を、予め不連続動作推定情報として記憶している。また、歩行者行動予測装置1は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納している。つまり、不連続動作推定情報記憶部14bは、歩行者が急に歩道から建物に入るという安全な方向(この場合、左方向)への歩行者の動作を、予め不連続動作推定情報として記憶している。このように、本実施形態において、不連続動作推定情報記憶部14bは、歩行者行動予測装置1により事前に取得され蓄積されたデータを記憶する知識ベースのデータベースとして構成される。
なお、歩行者行動予測装置1は、オンライン学習により不連続動作推定情報記憶部14bに記憶されるデータを更新してもよい。例えば、歩行者行動予測装置1は、歩行者の動作の変化が検出された時点から所定時間分の画像データを連続的に記憶し、当該画像データ群を解析して、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を予測することで、データを更新してもよい。
制御部12は、歩行者検出部12a、動作変化検出部12b、不連続動作推定部12g、連続動作推定部12h、および、行動予測部12iを備えている。ここで、動作変化検出部12bは、形状情報取得部12c、正規化部12d、形状情報蓄積部12e、および、変化検出部12fを更に備えている。
歩行者検出部12aは、撮像画像から歩行者を検出する歩行者検出手段である。歩行者検出部12aは、予め記憶部14に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより歩行者を検出する。ここで、歩行者検出部12aは、撮像画像から歩行者を含む部分画像を抽出する。また、歩行者検出部12aは、撮像画像上の歩行者の位置を取得する。歩行者の位置は、自車両に対する3次元の相対座標または絶対座標であることが好ましい。
動作変化検出部12bは、歩行者検出部12aにより抽出した部分画像から取得される歩行者の形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する動作変化検出手段である。ここで、動作変化検出部12bは、歩行者検出部12aにより抽出した部分画像から取得される歩行者の形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出してもよい。動作変化検出部12bは、形状情報取得部12c、正規化部12d、形状情報蓄積部12e、および、変化検出部12fの処理により、歩行者の動作の変化を検出する。
形状情報取得部12cは、歩行者検出部12aにより抽出した部分画像から歩行者の形状情報を取得する形状情報取得手段である。具体的には、形状情報取得部12cは、所定の特徴量を用いて、歩行者検出部12aにより抽出した部分画像から歩行者の形状情報を表す特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第1特徴量、第2特徴量、および、第3特徴量の少なくとも1つを含む。
正規化部12dは、形状情報取得部12cにより取得した形状情報を正規化する正規化手段である。具体的には、正規化部12dは、形状情報取得部12cにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。
形状情報蓄積部12eは、正規化部12dにより正規化した形状情報を蓄積する形状情報蓄積手段である。具体的には、形状情報蓄積部12eは、正規化部12dにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部12eは、正規化した形状情報(すなわち、確率分布)を形状情報記憶部14aに格納する。なお、本実施形態において、形状情報蓄積部12eは、形状情報取得部12cにより取得した正規化前の特徴量分布を蓄積してもよい。
変化検出部12fは、形状情報蓄積部12eにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部14aに記憶された正規化済みの形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する変化検出手段である。具体的には、変化検出部12fは、所定の尺度を用いて、形状情報蓄積部12eにより形状情報記憶部14aに蓄積した、所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Lp norm、例えば、L1 norm(マンハッタン距離)、L2 norm(ユークリッド距離)、L infinity norm(一様ノルム)等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルp(t)から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量(Kullback−Leibler divergence)(以下、KL情報量と呼ぶ)を含む。ここで、KL情報量とは、2つの確率分布P,Q間の差異を計る尺度であり、情報理論分野において周知である。
なお、本実施形態において、変化検出部12fは、形状情報蓄積部12eにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部14aに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出してもよい。
不連続動作推定部12gは、動作変化検出部12bにより歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部14bから取得する不連続動作推定手段である。具体的には、不連続動作推定部12gは、動作変化検出部12bにより歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部14bに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部12gは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部14bから取得する。ここで、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。
また、不連続動作推定部12gは、動作変化検出部12bにより歩行者の動作の変化を検出した場合、撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて不連続動作推定情報を取得してもよい。具体的には、不連続動作推定部12gは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル(すなわち、オプティカルフロー)を算出する。そして、不連続動作推定部12gは、算出したオプティカルフローを用いて、歩行者の移動方向および移動速度を示す不連続動作推定情報を取得する。
連続動作推定部12hは、歩行者検出部12aにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段である。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。連続動作推定部12hは、線形予測により、連続的な動作(例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等)を示す連続動作推定情報を生成する。
行動予測部12iは、不連続動作推定部12gにより取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段である。例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部12iは、不連続動作推定部12gにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル(すなわち、不連続動作推定情報)を用いて、歩行者の行動を予測する。この場合、行動予測部12iは、歩行者が急に歩道から車道側へ飛び出すという危険な方向(この場合、右方向)への歩行者の動作を、歩行者の行動として予測する。また、行動予測部12iは、不連続動作推定部12gにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル(すなわち、不連続動作推定情報)を用いて、歩行者の行動を予測する。この場合、行動予測部12iは、歩行者が急に歩道から建物に入るという安全な方向(この場合、左方向)への歩行者の動作を、歩行者の行動として予測する。ここで、行動予測部12iは、連続動作推定部12hにより生成した連続動作推定情報に基づいて、歩行者の行動を予測してもよい。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部12iは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。また、行動予測部12iは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。
続いて、図2〜図5を参照して、上述した歩行者行動予測装置1において実行される歩行者行動予測処理について説明する。以下、本発明における歩行者行動予測装置1において実行される歩行者行動予測処理について、実施形態1および実施形態2の順に説明する。なお、以下の歩行者行動予測処理において、歩行者の形状を示す特徴量として、SIFT特徴量を一例に説明するが、これに限定されない。また、確率分布P,Q間の差異を計る尺度として、KL情報量を一例に説明するが、これに限定されない。
〔実施形態1〕
実施形態1にかかる歩行者行動予測処理について図2〜図4を参照して説明する。図2は、実施形態1にかかる歩行者行動予測処理の一例を示すフローチャートである。図3は、実施形態1にかかる動作変化検出処理の一例を示すフローチャートである。図4は、実施形態1にかかる動作変化検出用グラフの一例を示す図である。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
実施形態1にかかる歩行者行動予測処理について図2〜図4を参照して説明する。図2は、実施形態1にかかる歩行者行動予測処理の一例を示すフローチャートである。図3は、実施形態1にかかる動作変化検出処理の一例を示すフローチャートである。図4は、実施形態1にかかる動作変化検出用グラフの一例を示す図である。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
図2に示すように、まず、歩行者行動予測装置1の制御部12は、カメラ2から自車両周辺が写し出されている撮像画像を取得する(ステップSA1)。
つぎに、歩行者行動予測装置1の歩行者検出部12aは、ステップSA1で取得した撮像画像から歩行者を検出する(ステップSA2)。例えば、歩行者検出部12aは、予め記憶部14に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。
つぎに、歩行者行動予測装置1の制御部12は、ステップSA2で歩行者を検出したか否かを判定する(ステップSA3)。制御部12は、ステップSA3で歩行者を検出したと判定した場合(ステップSA3:Yes)、次のステップSA4およびステップSA7の処理へ進む。つまり、制御部12は、ステップSA3で歩行者を検出したと判定した場合は、ステップSA4〜SA6に示す処理とステップSA7〜SA11に示す処理を並行して実行する。一方、制御部12は、ステップSA3で歩行者を検出していないと判定した場合(ステップSA3:No)、そのまま歩行者行動予測処理を終了する。
つぎに、歩行者行動予測装置1の歩行者検出部12aは、ステップSA3で歩行者を検出したと判定した場合(ステップSA3:Yes)、撮像画像上の歩行者の位置を取得する(ステップSA4)。ここで、歩行者検出部12aは、歩行者の位置として、自車両に対する3次元の相対座標または絶対座標を取得する。
つぎに、歩行者行動予測装置1の連続動作推定部12hは、ステップSA4で歩行者検出部12aにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する(ステップSA5)。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。連続動作推定部12hは、線形予測により、連続的な動作(例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等)を示す連続動作推定情報を生成する。
つぎに、歩行者行動予測装置1の行動予測部12iは、ステップSA5で連続動作推定部12hにより生成した連続動作推定情報を用いて歩行者の行動を予測する(ステップSA6)。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部12iは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。その後、歩行者行動予測処理を終了する。
ここで、ステップSA3に戻り、歩行者行動予測装置1の歩行者検出部12aは、ステップSA3で歩行者を検出したと判定した場合(ステップSA3:Yes)、撮像画像から歩行者を含む部分画像を抽出する(ステップSA7)。
つぎに、歩行者行動予測装置1の動作変化検出部12bは、ステップSA7で歩行者検出部12aにより抽出した部分画像から取得される歩行者の形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する(ステップSA8)。ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。
ここで、図3および図4を参照し、ステップSA8で動作変化検出部12bにより実行される動作変化検出処理の詳細について説明する。なお、動作変化検出部12bは、以下に示すように、形状情報取得部12c、正規化部12d、形状情報蓄積部12e、および、変化検出部12fの処理により、歩行者の動作の変化を検出する。
図3に示すように、歩行者行動予測装置1の形状情報取得部12cは、図2のステップSA7で歩行者検出部12aにより抽出した部分画像から歩行者の形状情報を取得する(ステップSB1)。具体的には、形状情報取得部12cは、図2のステップSA7で歩行者検出部12aにより抽出した部分画像から、歩行者の形状情報を表す特徴量分布v(t)として、SIFT特徴量の計算を行う。ここで、SIFT特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、SIFT特徴量は、対象物を含む撮像画像のどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。
つぎに、歩行者行動予測装置1の正規化部12dは、下記の数式(1)を示すように、ステップSB1で取得した特徴量分布v(t)のL1 normを1に正規化して、特徴量(確率分布)p(t)を取得する(ステップSB2)。
つぎに、歩行者行動予測装置1の形状情報蓄積部12eは、ステップSB2で取得した形状情報を形状情報記憶部14aに蓄積する(ステップSB3)。すなわち、形状情報蓄積部12eは、ステップSB2で正規化した特徴量(確率分布)p(t)の蓄積を行う。
つぎに、歩行者行動予測装置1の変化検出部12fは、下記の数式(2)に示すように、ステップSB3で蓄積した特徴量(確率分布)p(t)から、nフレーム前の特徴量と現在の特徴量との間の差d(t,n)の計算を行う(ステップSB4)。制御部12は、下記の数式(3)に示すように、KL情報量を用いて、差d(t,n)の計算を行う。
つぎに、歩行者行動予測装置1の変化検出部12fは、ステップSB4で計算した差d(t,n)が、図4に示すように、所定の閾値Threより大きいか否かを判定する(ステップSB5)。図4の縦軸は、KL情報量を示し、横軸は、時間のフレームを示している。図4において、フレーム54〜174までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム180では歩行者が急に動きを変えた状態を表している。
歩行者行動予測装置1の変化検出部12fは、ステップSB5で差d(t,n)が閾値Threより大きいと判定した場合(ステップSB5:Yes)、歩行者の動作の変化があると判定する(ステップSB6)。その後、動作変化検出処理を終了する。一方、変化検出部12fは、ステップSB5で差d(t,n)が閾値Thre未満であると判定した場合(ステップSB5:No)、歩行者の動作に変化がないと判定して、そのまま動作変化検出処理を終了する。つまり、歩行者行動予測装置1は、図3に示した動作変化検出処理を終了後、図2のステップSA9の処理へ進む。
再び図2に戻り、実施形態1にかかる歩行者行動予測処理の説明を続ける。歩行者行動予測装置1の制御部12は、ステップSA8で歩行者の動作の変化を検出したか否かを判定する(ステップSA9)。制御部12は、ステップSA9で歩行者の動作の変化を検出したと判定した場合(ステップSA9:Yes)、次のステップSA10の処理へ進む。一方、制御部12は、ステップSA9で歩行者の動作の変化を検出していないと判定した場合(ステップSA9:No)、歩行者行動予測処理を終了する。
つぎに、歩行者行動予測装置1の不連続動作推定部12gは、ステップSA8で歩行者の動作の変化を検出したと判定した場合(ステップSA9:Yes)、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部14bから取得する(ステップSA10)。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。
具体的には、ステップSA10において、不連続動作推定部12gは、ステップSA9で歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部14bに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部12gは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部14bから取得する。
つぎに、歩行者行動予測装置1の行動予測部12iは、ステップSA10で不連続動作推定部12gにより取得した不連続動作推定情報を用いて歩行者の行動を予測する(ステップSA11)。その後、歩行者行動予測処理を終了する。
例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部12iは、ステップSA10で不連続動作推定部12gにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル(すなわち、不連続動作推定情報)を用いて、歩行者の行動を予測する。つまり、行動予測部12iは、歩行者が急に歩道から車道側へ飛び出すという危険な方向(この場合、右方向)への歩行者の動作を、歩行者の行動として予測する。また、行動予測部12iは、ステップSA10で不連続動作推定部12gにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル(すなわち、不連続動作推定情報)を用いて、歩行者の行動を予測する。つまり、行動予測部12iは、歩行者が急に歩道から建物に入るという安全な方向(この場合、左方向)への歩行者の動作を、歩行者の行動として予測する。また、行動予測部12iは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。その後、歩行者行動予測処理を終了する。
そして、歩行者行動予測装置1の制御部12は、本歩行者行動予測処理を終了後、予測された歩行者の行動の予測結果に基づいて、車両の運転者に当該歩行者について注意喚起する画像情報および/または音声情報を、報知手段4を介して出力する。ここで、歩行者行動予測装置1の制御部12は、予測された歩行者の行動の予測結果に基づいて、当該歩行者との衝突を回避するよう車両制御を実行してもよい。
以上、実施形態1によれば、従来技術よりも、車両周辺の歩行者の行動を迅速かつ正確に予測できる。例えば、特許文献1に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作(連続的な動作)を予測できるものの、急に方向転換して車道へ飛び出す動作(不連続的な動作)については予測できなかった。一方、実施形態1によれば、不連続的な動作についても予測できるので、従来技術より車両周辺の歩行者の行動を迅速かつ正確に予測できる。また、特許文献2に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。一方、実施形態1によれば、歩行者の動作に変化がない場合は線形予測により連続的な動作を予測し、歩行者の動作に変化がある場合は、撮影画像の形状変化から不連続的な動作を予測するので、種々の環境に応じた歩行者行動予測方法を適用することができ、その結果、従来技術よりも車両周辺の歩行者の行動を迅速かつ正確に予測できる。このように、実施形態1によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。
更に、実施形態1にかかる歩行者行動予測装置1は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納している。これにより、実施形態1によれば、歩行者の動作の変化が検出された後の不連続的な動作が行われる方向についても考慮することができる。その結果、実施形態1によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。
例えば、実施形態1にかかる歩行者行動予測装置1は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態1によれば、不連続動作推定情報記憶部14bに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から車道側へ飛び出すという危険な方向(この場合、右方向)への歩行者の動作を、歩行者の行動として予測することができる。
また、実施形態1にかかる歩行者行動予測装置1は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部14bに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態1によれば、不連続動作推定情報記憶部14bに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から建物に入るという安全な方向(この場合、左方向)への歩行者の動作を、歩行者の行動として予測することができる。
このように、実施形態1によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。
〔実施形態2〕
実施形態2にかかる歩行者行動予測処理について図5を参照して説明する。図5は、実施形態2にかかる歩行者行動予測処理の一例を示すフローチャートである。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
実施形態2にかかる歩行者行動予測処理について図5を参照して説明する。図5は、実施形態2にかかる歩行者行動予測処理の一例を示すフローチャートである。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。
図5に示すように、まず、歩行者行動予測装置1の制御部12は、カメラ2から自車両周辺が写し出されている撮像画像を取得する(ステップSC1)。
つぎに、歩行者行動予測装置1の歩行者検出部12aは、ステップSC1で取得した撮像画像から歩行者を検出する(ステップSC2)。
つぎに、歩行者行動予測装置1の制御部12は、ステップSC2で歩行者を検出したか否かを判定する(ステップSC3)。制御部12は、ステップSC3で歩行者を検出したと判定した場合(ステップSC3:Yes)、次のステップSC4およびステップSC7の処理へ進む。つまり、制御部12は、ステップSC3で歩行者を検出したと判定した場合は、ステップSC4〜SC6に示す処理とステップSC7〜SC12に示す処理を並行して実行する。の処理へ進む。一方、制御部12は、ステップSC3で歩行者を検出していないと判定した場合(ステップSC3:No)、そのまま歩行者行動予測処理を終了する。
つぎに、歩行者行動予測装置1の歩行者検出部12aは、ステップSC3で歩行者を検出したと判定した場合(ステップSC3:Yes)、撮像画像上の歩行者の位置を取得する(ステップSC4)。
つぎに、歩行者行動予測装置1の連続動作推定部12hは、ステップSC4で歩行者検出部12aにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する(ステップSC5)。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。
つぎに、歩行者行動予測装置1の行動予測部12iは、ステップSC5で連続動作推定部12hにより生成した連続動作推定情報を用いて歩行者の行動を予測する(ステップSC6)。その後、歩行者行動予測処理を終了する。
ここで、ステップSC3に戻り、歩行者行動予測装置1の歩行者検出部12aは、ステップSC3で歩行者を検出したと判定した場合(ステップSC3:Yes)、撮像画像から歩行者を含む部分画像を抽出する(ステップSC7)。
つぎに、歩行者行動予測装置1の動作変化検出部12bは、ステップSC7で歩行者検出部12aにより抽出した部分画像に基づいて、歩行者の動作の変化を検出する(ステップSC8)。なお、ステップSC8で動作変化検出部12bにより実行される動作変化検出処理の詳細については、上述の図3および図4と同様であるため説明を省略する。
つぎに、歩行者行動予測装置1の制御部12は、ステップSC8で歩行者の動作の変化を検出したか否かを判定する(ステップSC9)。制御部12は、ステップSC9で歩行者の動作の変化を検出したと判定した場合(ステップSC9:Yes)、次のステップSC10の処理へ進む。一方、制御部12は、ステップSC9で歩行者の動作の変化を検出していないと判定した場合(ステップSC9:No)、歩行者行動予測処理を終了する。
つぎに、歩行者行動予測装置1の不連続動作推定部12gは、ステップSC8で歩行者の動作の変化を検出したと判定した場合(ステップSC9:Yes)、撮像画像のオプティカルフローを算出する(ステップSC10)。具体的には、不連続動作推定部12gは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル(すなわち、オプティカルフロー)を算出する。
つぎに、歩行者行動予測装置1の不連続動作推定部12gは、ステップSC10で算出したオプティカルフローを用いて、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を取得する(ステップSC11)。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも1つを含む。
つぎに、歩行者行動予測装置1の行動予測部12iは、ステップSC11で不連続動作推定部12gにより取得した不連続動作推定情報を用いて歩行者の行動を予測する(ステップSC12)。その後、歩行者行動予測処理を終了する。
そして、歩行者行動予測装置1の制御部12は、本歩行者行動予測処理を終了後、予測された歩行者の行動の予測結果に基づいて、車両の運転者に当該歩行者について注意喚起する画像情報および/または音声情報を、報知手段4を介して出力する。ここで、歩行者行動予測装置1の制御部12は、予測された歩行者の行動の予測結果に基づいて、当該歩行者との衝突を回避するよう車両制御を実行してもよい。
以上、実施形態2によれば、撮影画像から算出したオプティカルフローを用いて、歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトル(すなわち、不連続動作推定情報)を取得することができる。これにより、実施形態2によれば、予め記憶手段に不連続動作推定情報を記憶していなくとも、上述の実施形態1と同様に、歩行者の動作の変化が検出された後の不連続的な動作の方向についても考慮することができる。その結果、実施形態2によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。このように、実施形態2によれば、上述の実施形態1と同様に、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。
1 歩行者行動予測装置
12 制御部
12a 歩行者検出部
12b 動作変化検出部
12c 形状情報取得部
12d 正規化部
12e 形状情報蓄積部
12f 変化検出部
12g 不連続動作推定部
12h 連続動作推定部
12i 行動予測部
14 記憶部
14a 形状情報記憶部
14b 不連続動作推定情報記憶部
2 カメラ
4 報知手段
12 制御部
12a 歩行者検出部
12b 動作変化検出部
12c 形状情報取得部
12d 正規化部
12e 形状情報蓄積部
12f 変化検出部
12g 不連続動作推定部
12h 連続動作推定部
12i 行動予測部
14 記憶部
14a 形状情報記憶部
14b 不連続動作推定情報記憶部
2 カメラ
4 報知手段
Claims (10)
- 撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により記憶手段から取得する不連続動作推定手段と、
前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、
を備えることを特徴とする歩行者行動予測装置。 - 前記動作変化検出手段は、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項1に記載の歩行者行動予測装置。 - 前記不連続動作推定手段は、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項1または2に記載の歩行者行動予測装置。 - 前記歩行者検出手段は、
前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測装置は、
前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、
を更に備え、
前記行動予測手段は、
前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項1から3のいずれか一項に記載の歩行者行動予測装置。 - 前記不連続動作推定情報および前記連続動作推定情報は、
前記歩行者の移動方向および移動速度のうち少なくとも1つを含むことを特徴とする請求項1から4のいずれか一項に記載の歩行者行動予測装置。 - 前記動作変化検出手段は、
所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記特徴量分布を取得する形状情報取得手段と、
前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、
所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、
を更に備えることを特徴とする請求項1から5のいずれか一項に記載の歩行者行動予測装置。 - 予め記憶された歩行者の形状の概要を示すデータを用いて撮像画像から歩行者を検出する歩行者検出手段と、形状情報取得部、正規化部、形状情報蓄積部、および、変化検出部の処理により、歩行者の動作の変化を検出する動作変化検出手段と、記憶手段に予め記憶された画像データを検索する不連続動作推定手段と、前記不連続動作推定部により取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段と、を備える歩行者行動予測装置における歩行者行動予測方法であって、
前記撮像画像から歩行者を検出して当該歩行者を含む部分画像を前記歩行者検出手段が抽出する歩行者検出ステップと、
前記動作変化検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、
前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記不連続動作推定手段が当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により前記記憶手段から取得する不連続動作推定ステップと、
前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を前記行動予測手段が予測する行動予測ステップと、
を含むことを特徴とする歩行者行動予測方法。 - 前記動作変化検出ステップにおいて、
前記歩行者検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項7に記載の歩行者行動予測方法。 - 前記不連続動作推定ステップにおいて、
前記不連続動作推定手段が前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項7または8に記載の歩行者行動予測方法。 - 前記歩行者行動予測装置は、歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段をさらに備え、
前記歩行者検出ステップにおいて、
前記歩行者検出手段が前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測方法は、
前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、
を更に含み、
前記行動予測ステップにおいて、
前記行動予測手段が前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項7から9のいずれか一項に記載の歩行者行動予測方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/071398 WO2013042205A1 (ja) | 2011-09-20 | 2011-09-20 | 歩行者行動予測装置および歩行者行動予測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013042205A1 JPWO2013042205A1 (ja) | 2015-03-26 |
JP5786947B2 true JP5786947B2 (ja) | 2015-09-30 |
Family
ID=47914017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013534489A Active JP5786947B2 (ja) | 2011-09-20 | 2011-09-20 | 歩行者行動予測装置および歩行者行動予測方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9904846B2 (ja) |
EP (1) | EP2759998B1 (ja) |
JP (1) | JP5786947B2 (ja) |
CN (1) | CN103907146A (ja) |
WO (1) | WO2013042205A1 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140717B2 (en) * | 2013-02-27 | 2018-11-27 | Hitachi Automotive Systems, Ltd. | Imaging apparatus and vehicle controller |
JP5983865B2 (ja) | 2013-04-03 | 2016-09-06 | トヨタ自動車株式会社 | 検出装置及び運転支援装置 |
JP6429368B2 (ja) | 2013-08-02 | 2018-11-28 | 本田技研工業株式会社 | 歩車間通信システムおよび方法 |
DE102014201159A1 (de) * | 2014-01-23 | 2015-07-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs |
JP6397934B2 (ja) * | 2014-12-19 | 2018-09-26 | 株式会社日立製作所 | 走行制御装置 |
US9786177B2 (en) | 2015-04-10 | 2017-10-10 | Honda Motor Co., Ltd. | Pedestrian path predictions |
US9505346B1 (en) | 2015-05-08 | 2016-11-29 | Honda Motor Co., Ltd. | System and method for warning a driver of pedestrians and other obstacles |
WO2017056385A1 (ja) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10949656B2 (en) | 2015-09-29 | 2021-03-16 | Sony Corporation | Information processing apparatus and information processing method |
CN105975633A (zh) * | 2016-06-21 | 2016-09-28 | 北京小米移动软件有限公司 | 运动轨迹的获取方法及装置 |
CN109478369A (zh) * | 2016-07-22 | 2019-03-15 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序 |
CN106407889B (zh) * | 2016-08-26 | 2020-08-04 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
CN106504266B (zh) | 2016-09-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 行走行为的预测方法和装置、数据处理装置和电子设备 |
DE112016007376T5 (de) * | 2016-10-25 | 2019-07-25 | Mitsubishi Electric Corporation | Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen |
US10296586B2 (en) * | 2016-12-23 | 2019-05-21 | Soundhound, Inc. | Predicting human behavior by machine learning of natural language interpretations |
JP6558393B2 (ja) | 2017-04-06 | 2019-08-14 | トヨタ自動車株式会社 | 進路設定装置及び進路設定方法 |
US11735035B2 (en) | 2017-05-17 | 2023-08-22 | Cavh Llc | Autonomous vehicle and cloud control (AVCC) system with roadside unit (RSU) network |
US10692365B2 (en) | 2017-06-20 | 2020-06-23 | Cavh Llc | Intelligent road infrastructure system (IRIS): systems and methods |
JP6613265B2 (ja) * | 2017-06-01 | 2019-11-27 | 本田技研工業株式会社 | 予測装置、車両、予測方法およびプログラム |
JP6690612B2 (ja) * | 2017-08-03 | 2020-04-28 | トヨタ自動車株式会社 | 車外報知装置 |
US10937310B2 (en) * | 2017-12-29 | 2021-03-02 | Intel IP Corporation | Control device and method for controlling a vehicle |
AU2019217434A1 (en) | 2018-02-06 | 2020-07-30 | Cavh Llc | Intelligent road infrastructure system (IRIS): systems and methods |
CN112106001B (zh) | 2018-05-09 | 2024-07-05 | 上海丰豹商务咨询有限公司 | 一种车路驾驶任务智能化分配***和方法 |
US11842642B2 (en) | 2018-06-20 | 2023-12-12 | Cavh Llc | Connected automated vehicle highway systems and methods related to heavy vehicles |
WO2020014227A1 (en) | 2018-07-10 | 2020-01-16 | Cavh Llc | Route-specific services for connected automated vehicle highway systems |
WO2020014224A1 (en) | 2018-07-10 | 2020-01-16 | Cavh Llc | Fixed-route service system for cavh systems |
US20200020234A1 (en) * | 2018-07-10 | 2020-01-16 | Cavh Llc | Safety technologies for connected automated vehicle highway systems |
JP7283037B2 (ja) * | 2018-07-26 | 2023-05-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN109166293A (zh) * | 2018-09-21 | 2019-01-08 | 国家电网有限公司 | 基于变电站立体检测的远程辅助预警方法 |
CN109308670B (zh) * | 2018-09-21 | 2021-06-01 | 国家电网有限公司 | 基于行为预测的变电站安全管控方法 |
DE102019119566A1 (de) | 2019-07-18 | 2019-10-17 | FEV Group GmbH | Verfahren zum automatisierten Erstellen eines Datensatzes über spezifische Merkmale des Verhaltens von Verkehrsteilnehmern in einer Verkehrssituation |
DE102019119567A1 (de) | 2019-07-18 | 2019-10-17 | FEV Group GmbH | Verfahren zur Vorhersage einer zukünftigen Entwicklung von Verhalten von Verkehrsteilnehmern in einer Verkehrssituation |
DE102019119568A1 (de) | 2019-07-18 | 2019-10-10 | FEV Group GmbH | Verfahren zum Identifizieren einer auffälligen Verkehrssituation |
CN111429754A (zh) * | 2020-03-13 | 2020-07-17 | 南京航空航天大学 | 一种行人过街工况下的车辆避撞轨迹风险评估方法 |
CN111932882B (zh) * | 2020-08-13 | 2022-05-06 | 广东飞达交通工程有限公司 | 一种基于图像识别的道路事故实时预警***、方法和设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11275562A (ja) * | 1998-03-20 | 1999-10-08 | Toshiba Corp | 移動人物監視装置 |
JP4536674B2 (ja) | 2006-03-27 | 2010-09-01 | 本田技研工業株式会社 | 歩行者認識装置 |
JP2008250756A (ja) * | 2007-03-30 | 2008-10-16 | Nippon Signal Co Ltd:The | 信号制御システム |
WO2008126389A1 (ja) * | 2007-04-02 | 2008-10-23 | Panasonic Corporation | 安全運転支援装置 |
CN101334845B (zh) * | 2007-06-27 | 2010-12-22 | 中国科学院自动化研究所 | 一种基于轨迹序列分析和规则归纳的视频行为识别方法 |
JP5320828B2 (ja) | 2008-06-04 | 2013-10-23 | 日産自動車株式会社 | 歩行者検出装置及び歩行者検出方法 |
JP2010079639A (ja) | 2008-09-26 | 2010-04-08 | Mazda Motor Corp | 車両の歩行者検出装置 |
JP4935795B2 (ja) | 2008-10-22 | 2012-05-23 | 株式会社豊田中央研究所 | 歩行者飛び出し予測装置及びプログラム |
JP2010165003A (ja) | 2009-01-13 | 2010-07-29 | Toyota Central R&D Labs Inc | 歩行者認識支援装置および歩行者認識支援方法 |
JP5407764B2 (ja) * | 2009-10-30 | 2014-02-05 | トヨタ自動車株式会社 | 運転支援装置 |
JP2011150475A (ja) * | 2010-01-20 | 2011-08-04 | Toyota Motor Corp | 周辺監視装置 |
JP2011150577A (ja) * | 2010-01-22 | 2011-08-04 | Toyota Motor Corp | 警報装置 |
CN102096803B (zh) * | 2010-11-29 | 2013-11-13 | 吉林大学 | 基于机器视觉的行人安全状态识别*** |
CN103814401B (zh) * | 2011-09-20 | 2016-04-13 | 丰田自动车株式会社 | 对象物变化检测装置及对象物变化检测方法 |
-
2011
- 2011-09-20 WO PCT/JP2011/071398 patent/WO2013042205A1/ja active Application Filing
- 2011-09-20 CN CN201180073585.4A patent/CN103907146A/zh active Pending
- 2011-09-20 EP EP11872739.5A patent/EP2759998B1/en active Active
- 2011-09-20 US US14/346,015 patent/US9904846B2/en active Active
- 2011-09-20 JP JP2013534489A patent/JP5786947B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2759998A1 (en) | 2014-07-30 |
CN103907146A (zh) | 2014-07-02 |
US20140219505A1 (en) | 2014-08-07 |
EP2759998B1 (en) | 2018-11-28 |
US9904846B2 (en) | 2018-02-27 |
WO2013042205A1 (ja) | 2013-03-28 |
JPWO2013042205A1 (ja) | 2015-03-26 |
EP2759998A4 (en) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5786947B2 (ja) | 歩行者行動予測装置および歩行者行動予測方法 | |
JP5780307B2 (ja) | 対象物変化検出装置および対象物変化検出方法 | |
JP5737397B2 (ja) | 歩行者動作予測装置 | |
KR101382873B1 (ko) | 전방차량 충돌 경고 시스템 및 전방차량 충돌 경고 방법 | |
JP6436357B2 (ja) | 車両用の歩行者動作識別装置 | |
JP2007065924A (ja) | 画像処理装置 | |
JP2013225295A5 (ja) | ||
US20140002658A1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
JP4937844B2 (ja) | 歩行者検出装置 | |
JP5838940B2 (ja) | 画像処理装置及び車両制御システム | |
JP2009237898A (ja) | 画像認識装置 | |
JP2009237897A (ja) | 画像認識装置 | |
JP2012221162A (ja) | 対象物検出装置及びプログラム | |
JP2012118683A (ja) | 歩行者認識装置 | |
JP5692024B2 (ja) | 対象物変化検出装置および対象物変化検出方法 | |
JP5892075B2 (ja) | 対象物検出装置及び対象物検出方法、警報装置及び警報方法、運転支援装置及び運転支援方法 | |
WO2020166129A1 (ja) | 状態認識装置 | |
JP5531734B2 (ja) | 障害物認識装置 | |
JP5811951B2 (ja) | 対象物変化検出装置 | |
JP7309630B2 (ja) | 画像処理装置 | |
KR102530676B1 (ko) | 시각 장애인의 이동 보조를 위한 스마트 단말 장치 | |
JP5686119B2 (ja) | 対象物変化検出装置および対象物変化検出方法 | |
US20230267718A1 (en) | Systems and methods for training event prediction models for camera-based warning systems | |
JP2005018651A (ja) | 運転者状態検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150713 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5786947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |