JP4609076B2 - 移動物体検出装置及び移動物体検出方法 - Google Patents

Description

本発明は、撮像画像から移動物体を検出し、検出した移動物体を追跡する移動物体検出装置及び移動物体検出方法に関する。

近年、運転支援や安全性向上などを目的として、車両前方に存在する歩行者を検出する装置が提案されている（特許文献１参照）。特許文献１に記載されている歩行者検出装置では、一定時間毎に撮像される各撮像画像から歩行者の中心線の中心点を順次求め、連続する撮像画像間の各中心点から歩行者の移動ベクトルを求め、移動ベクトルを利用して歩行者を追跡する。この移動ベクトルは、歩行者の過去の移動してきた方向の向きと大きさを示すものであり、歩行者の移動していく方向の予測に利用される。
特開２００４−８６４１７号公報

従来の移動ベクトルに基づく歩行者の追跡では、過去の歩行者の移動方向だけを用いて未来の移動方向を予測している。しかし、歩行者は、一定方向に向かって移動しているだけではなく、歩道から横断歩道を渡るときなど急に移動方向を変える場合がある。このように歩行者が過去と異なる方向に移動する場合、過去の情報から求められる移動ベクトルにはその移動方向を変える情報が含まれていない。そのため、この移動ベクトルに基づいて未来の撮像画像で歩行者の追跡を行うと、その移動ベクトルの方向から歩行者が外れるので、追跡を失敗する可能性が高い。特に、歩行者の移動が速い場合、連続する撮像画像間での歩行者の移動量が増えるので、失敗する確率が高くなる。

そこで、本発明は、移動物体を高精度に追跡可能な移動物体検出装置及び移動物体検出方法を提供することを課題とする。

本発明に係る移動物体検出装置は、撮像手段と、撮像手段で撮像した撮像画像から移動物体を検出する移動物体検出手段と、移動物体検出手段によって撮像手段で撮像した現時点の撮像画像から検出された移動物体を含む画像と向いている方向の異なる移動物体の複数のテンプレートの画像とのパターンマッチングをそれぞれ行い、最も相関度が高いテンプレートの移動物体が向いている方向から移動物体の現時点で向いている方向を検出する向き検出手段と、撮像手段で異なる時間に撮像した各撮像画像から各々検出された移動物体の位置から移動物体の過去から現時点までに移動してきた方向を検出する動き検出手段と、向き検出手段で検出した移動物体の現時点で向いている方向と動き検出手段で検出した移動物体の過去から現時点までに移動してきた方向との差の絶対値が閾値以下の場合に移動物体の過去から現時点までに移動してきた方向を用いて未来の撮像画像における移動物体の存在する領域を予測し、差の絶対値が閾値より大きい場合に移動物体の現時点で向いている方向を用いて未来の撮像画像における移動物体の存在する領域を予測する領域予測手段とを備え、領域予測手段で予測した領域内から移動物体を検出することを特徴とする。

この移動物体検出装置では、撮像手段により撮像し、移動物体検出手段によりその撮像画像から移動物体（例えば、歩行者、自転車、動物）を検出する。そして、移動物体検出手段では、向き検出手段により現時点の撮像画像から移動物体の向いている方向を検出する。この移動物体の向きにより、移動物体が現時点で向かおうとしている方向が判り、未来の移動しようとしている方向を推測できる。また、移動物体検出手段では、動き検出手段により現時点以前の異なる時間の各撮像画像からそれぞれ検出された移動物体の位置から移動物体の動きを検出する。この移動物体の動きにより、移動物体が現時点にいたるまでに移動してきた方向が判る。したがって、移動物体の向きと動きとが同様の方向となっている場合には、移動物体は現時点以降も過去と同様の方向に移動しようとしていると推測できる。一方、移動物体の向きと動きとが明らかに異なった方向となっている場合には、移動物体は未来においては過去と異なる方向に移動しようとしていると推測できる。そこで、移動物体検出装置では、領域予測手段により、この移動物体の向きと動きに基づいて、未来の撮像画像において移動物体が存在する領域を予測する。そして、移動物体検出装置では、この予測した領域から移動物体を検出することにより、既に検出されている移動物体を追跡していく。このように、移動物体検出装置では、移動物体が一定方向に移動している場合でもあるいは移動する方向を変える場合でも、未来の撮像画像における移動物体の存在する領域を高精度に予測することができる。その結果、移動物体を高精度に追跡していくことができる。

本発明に係る移動物体検出方法は、撮像ステップと、撮像ステップで撮像した撮像画像から移動物体を検出する移動物体検出ステップと、移動物体検出ステップによって撮像ステップで撮像した現時点の撮像画像から検出された移動物体を含む画像と向いている方向の異なる移動物体の複数のテンプレートの画像とのパターンマッチングをそれぞれ行い、最も相関度が高いテンプレートの移動物体が向いている方向から移動物体の現時点で向いている方向を検出する向き検出ステップと、撮像ステップで異なる時間に撮像した各撮像画像から各々検出された移動物体の位置から移動物体の過去から現時点までに移動してきた方向を検出する動き検出ステップと、向き検出ステップで検出した移動物体の現時点で向いている方向と動き検出ステップで検出した移動物体の過去から現時点までに移動してきた方向との差の絶対値が閾値以下の場合に移動物体の過去から現時点までに移動してきた方向を用いて未来の撮像画像における移動物体の存在する領域を予測し、差の絶対値が閾値より大きい場合に移動物体の現時点で向いている方向を用いて未来の撮像画像における移動物体の存在する領域を予測する領域予測ステップとを含み、領域予測ステップで予測した領域内から移動物体を検出することを特徴とする。なお、この移動物体検出方法は、上記移動物体検出装置と同様の作用効果を有している。

本発明によれば、移動物体を高精度に追跡することができる。

以下、図面を参照して、本発明に係る移動物体検出装置及び移動物体検出方法の実施の形態を説明する。

本実施の形態では、本発明を、車両に搭載される歩行者検出装置に適用する。本実施の形態に係る歩行者検出装置は、車両前方に存在する歩行者を検出し、その検出した歩行者の情報を運転者に提供する。特に、本実施の形態に係る歩行者検出装置では、一度検出した歩行者については次フレームに存在する領域を予測し、その予測領域を用いて歩行者を形跡していく。

図１〜図３を参照して、歩行者検出装置１について説明する。図１は、本実施の形態に係る歩行者検出装置の構成図である。図２は、図１の歩行者検出装置における追跡処理の基本的な流れを示す画像であり、（ａ）があるフレームで新しい歩行者を検出した画像であり、（ｂ）が次のフレームにおける追跡中歩行者が存在する予測領域を示す画像であり、（ｃ）が次のフレームで追跡中歩行者を検出した画像であり、（ｄ）が次の次のフレームにおける追跡中歩行者が存在する予測領域を示す画像であり、（ｅ）が次の次のフレームで追跡中歩行者を検出した画像であり、（ｆ）が次の次の次のフレームにおける追跡中歩行者が存在する予測領域と追跡中歩行者を検出した画像である。図３は、歩行者の動きの向き及び大きさの算出方法の説明図である。

歩行者検出装置１は、車両の前方を撮像し、その撮像画像から歩行者を検出する。この際、歩行者検出装置１では、撮像画像全体から歩行者を検出し、新たに検出した歩行者を順次追跡対象としてその追跡中歩行者の存在する領域を予測しながら、予測領域から追跡中歩行者を検出することにより歩行者を追跡していく。特に、歩行者検出装置１では、歩行者を高精度に追跡するために、領域を予測する際に歩行者の向きと歩行者の動きの情報を利用する。そのために、歩行者検出装置１は、カメラ２、モニタ３及び画像ＥＣＵ[Electronic Control Unit]４を備えており、画像ＥＣＵ４に検出結果保存メモリ１０、予測領域保存メモリ１１、画像入力部１２、歩行者検出部１３、追跡検出部１４、向き算出部１５、動き算出部１６、領域予測部１７、結果表示部１８が構成される。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、歩行者検出部１３が特許請求の範囲に記載する移動物体検出手段に相当し、向き算出部１５が特許請求の範囲に記載する向き検出手段に相当し、動き算出部１６が特許請求の範囲に記載する動き検出手段に相当し、領域予測部１７が特許請求の範囲に記載する領域予測手段に相当する。

カメラ２は、歩行者検出装置１を搭載する車両の前方に取り付けられ、車両の前方を撮像する。この撮像画像は、カラー画像でも、白黒画像でもよい。カメラ２では、その撮像画像のデータを画像ＥＣＵ４に送信する。カメラ２は、左右方向に撮像範囲が広く、車道の外側に設けられる歩道、路側帯などまで撮像可能である。

モニタ３は、車室内の前方で、運転者が視認可能な位置に取り付けられる。モニタ３では、画像ＥＣＵ４から画像信号が送信され、その画像信号に応じた画像を画面表示する。

画像ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなり、各処理部や各メモリが構成される。画像ＥＣＵ４では、カメラ２から撮像画像のデータを取り入れ、その撮像画像から車両前方の歩行者を検出し、検出した歩行者の情報をモニタ３に表示させる。

検出結果保存メモリ１０は、ＲＡＭに構成され、歩行者検出部１３で検出された歩行者に関する情報及び追跡検出部１４で検出された追跡中の歩行者に関する情報を保存するためのメモリである。歩行者検出部１３で検出された歩行者に関する情報は、現フレームにおいて検出された歩行者の情報であり、その歩行者の画像中の位置及び領域である。追跡中の歩行者の情報は、現在追跡中の歩行者の情報であり、その追跡中歩行者の画像中の位置、領域、向き、動き（向きと大きさ）である。

予測領域保存メモリ１１は、ＲＡＭに構成され、領域予測部１７で求められた予測領域を保存するためのメモリである。予測領域は、現在追跡中の歩行者が次フレームで存在する可能性の高い領域として予測された領域である。

画像入力部１２では、カメラ２から撮像画像のデータを取り入れ、その撮像画像のデータを所定の保存領域（ＲＡＭ）に保存する。

歩行者検出部１３では、カメラ２から撮像画像のデータが入力される毎に、その現フレームの撮像画像全体からテンプレートによるパターンマッチングによって歩行者を検出する。この際、検出される歩行者は、テンプレートの画像（矩形領域の画像）に対応して、歩行者全体を含む矩形領域ＷＡで切り出される（図２（ａ）参照）。そして、歩行者検出部１３では、切り出された矩形領域ＷＡの中心位置を歩行者の位置ＷＰとする（図２（ａ）参照）。さらに、歩行者検出部１３では、撮像画像全体から歩行者を検出できた場合、検出した全ての歩行者の位置ＷＰ（画像上の座標）及び矩形領域ＷＡ（４つの端部の画像上の座標）を検出結果保存メモリ１０に保存する。なお、検出される歩行者には、現フレームから新たに検出された歩行者（新しい歩行者）ＮＷ（図２（ａ）参照）と過去のフレームから追跡されている歩行者（追跡中歩行者）ＣＷ（図２（ｃ）、（ｅ）、（ｆ）参照）が含まれる。

追跡検出部１４では、追跡中歩行者が存在する場合（検出結果保存メモリ１０に追跡中歩行者の情報が保存されている場合）、予測領域保存メモリ１１から対応する追跡中歩行者の予測領域ＰＡを抽出する。そして、追跡検出部１４では、撮像画像からその抽出した予測領域ＰＡの画像を切り出し、その予測領域ＰＡの画像からテンプレートによるパターンマッチングによって追跡中歩行者ＣＷを検出する（図２（ｃ）、（ｅ）、（ｆ）参照）。この際、検出される追跡中歩行者ＣＷは、テンプレートの画像（矩形領域の画像）に対応して、歩行者全体を含む矩形領域ＷＡで切り出される（図２（ｃ）等参照）。そして、追跡検出部１４では、予測領域ＰＡから追跡中歩行者を検出できた場合、切り出された矩形領域ＷＡの中心位置を追跡中歩行者の位置ＷＰとし（図２（ｃ）等参照）、検出した追跡中歩行者の位置ＷＰ及び矩形領域ＷＡを追跡中歩行者の情報として検出結果保存メモリ１０に保存する。一方、追跡検出部１４では、予測領域ＰＡから追跡中歩行者を検出できない場合、その追跡中歩行者の情報を予測領域保存メモリ１１から削除する。ちなみに、追跡検出部１４では、予測領域保存メモリ１１に保存されている全ての追跡中歩行者に対して上記の処理を行う。

また、追跡検出部１４では、現フレームの撮像画像から検出された歩行者の中（つまり、検出結果保存メモリ１０に保存されている歩行者検出部１３で検出した歩行者の中）に予測領域ＰＡから検出できた追跡中歩行者と同一の歩行者が存在する場合、検出結果保存メモリ１０からその同一の歩行者の情報を削除する。したがって、追跡検出部１４で全ての追跡中歩行者に対する追跡が終了すると、検出結果保存メモリ１０には、歩行者検出部１３で検出した歩行者の情報としては現フレームから新たに検出された新しい歩行者の情報のみが保存されることになる。

向き算出部１５では、新しい歩行者及び追跡中歩行者の現フレームにおいて向いている方向ＦＤを算出する（図２（ｂ）、（ｃ）、（ｅ）参照）。そして、向き算出部１５では、その算出した方向ＦＤの情報を歩行者に対応付けして検出結果保存メモリ１０に保存する。この向きの情報は、現フレームの画像から求められるので、過去の歩行者の移動に関係なく、現時点において歩行者が向かおうとしている方向が判る。

向きの算出手法としては、検出した歩行者の矩形領域ＷＡの画像と向いている方向の異なる歩行者のテンプレートの画像とのマッチングをとり、最も相関度が高いテンプレートの向いている方向から歩行者の向きＦＤを求める。このテンプレートは、３６０°にわたって所定角度毎にそれぞれ向きを変えた歩行者のテンプレートである。この所定角度を大きくするほど処理負荷が軽減し、所定角度を小さくするほど精度が向上する。隣り合う角度の２つのテンプレートに対する相関度が高い場合には、その２つのテンプレートの向いている方向から補間して歩行者の向きを求める。なお、この向きを求める手法としては、例えば、H.Shimizu and T.Poggio,"Direction Estimation of Pedestrian from Multiple Still Images",IEEE Intelligent Vehicles Symposium,2004,Parma,Italyに記載されている。

動き算出部１６では、追跡中歩行者の現フレームと前フレームの各位置ＷＰから歩行者の動きの向きＭＤと大きさを算出する（図２（ｃ）、（ｅ）参照）。そして、動き算出部１６では、その算出した動きの方向ＭＤと大きさの情報を追跡中歩行者に対応付けして検出結果保存メモリ１０に保存する。この動きの情報は、現フレームを含む過去のフレームの情報から求められるので、歩行者の過去の移動してきた方向や移動量が判る。また、この動きの情報は、複数のフレームの情報から求められるので、精度の高い情報が得られる。

動きの算出手法としては、現フレームでの追跡中歩行者ＣＷ１の位置ＷＰ１を終点とし、前フレームでの追跡中歩行者ＣＷ２の位置ＷＰ２を始点とするベクトルを求め、そのベクトルの角度を動きの向きＭＤとし、そのベクトルの長さを動きの大きさとする（図３参照）。

領域予測部１７では、歩行者の向きＦＤ及び追跡中歩行者の動きの向きＭＤと大きさから次のフレームにおいて追跡中歩行者が存在する領域ＰＡを予測する（図２（ｂ）、（ｄ）、（ｆ）参照）。そして、領域予測部１７では、その予測した予測領域ＰＡを追跡中歩行者に対応付けして予測領域保存メモリ１１に保存する。この領域の予測手法については、以下に、新しい歩行者の場合と追跡中歩行者の場合に分けて説明する。

新しい歩行者の場合について説明する。新しい歩行者ＮＷの場合、現フレームから新たに検出された歩行者なので、動きの情報がない。したがって、向きＦＤだけを用いて予測領域ＰＡを求める。予測領域ＰＡとしては、歩行者ＮＷの矩形領域ＷＡを端部に含み、向きＦＤの方向に沿ってその矩形領域ＷＡの横方向の長さ及び縦方の長さをそれぞれ所定倍に延ばした領域とする（図２（ａ）→（ｂ）参照）。所定倍としては、画像全体に対する矩形領域の大きさ、連続するフレームの時間間隔や歩行者の最大速度などを考慮し、例えば、縦方向で１．５倍、横方向で２倍程度とする。この所定倍は、固定値でもよいが、歩行者の奥行き方向の位置などを考慮して可変値としてもよい。なお、向きＦＤが画像において水平方向の場合には横方向の長さだけを所定倍に延ばした予測領域ＰＡとし、向きＦＤが画像において鉛直方向の場合には縦方向の長さだけを所定倍に延ばした予測領域ＰＡとする。

追跡中歩行者の場合について説明する。歩行者が一定の方向に移動している場合には、向きＦＤと動きの向きＭＤとが一致かあるいは略一致する（図２（ｃ）参照）。この場合、複数のフレームの情報を用いている歩行者の動きの情報を用いて予測領域ＰＡを求める。一方、歩道を歩いていた歩行者が横断歩道を渡るときなど移動方向を変える場合、向きＦＤと動きの向きＭＤとが明らかに異なる（図２（ｅ）参照）。この場合、過去の動きの情報は利用できないので、歩行者の向きＦＤを用いて予測領域ＰＡを求める。

そこで、まず、向きＦＤと動きの向きＭＤとの差の絶対値を求め、その絶対値が閾値より大きいか否かを判定する。閾値以下の場合には歩行者の動きの情報を用いて予測領域ＰＡを求め、閾値より大きい場合には歩行者の向きＦＤを用いて予測領域ＰＡを求める。閾値は、歩行者が移動している方向を変えたか否かを判定するための角度であり、向きＦＤや動きの向きＭＤの精度などを考慮して設定され、例えば、４５°である。閾値以下の場合、予測領域ＰＡとしては、追跡中歩行者ＣＷの矩形領域ＷＡを端部に含み、動きＭＤの方向に沿ってその矩形領域ＷＡの横方向の長さ及び縦方の長さを動きの大きさの分延ばした領域とする（図２（ｃ）→（ｄ）参照）。一方、閾値より大きい場合、予測領域ＰＡとしては、追跡中歩行者ＣＷの矩形領域ＷＡを端部に含み、向きＦＤの方向に沿ってその矩形領域ＷＡの横方向の長さ及び縦方の長さをそれぞれ所定倍に延ばした領域とする（図２（ｅ）→（ｆ）参照）。

結果表示部１８では、現フレームの撮像画像中に歩行者が存在する場合（つまり、検出結果保存メモリ１０に新しい歩行者の情報又は／及び追跡中歩行者の情報が保存されている場合）、現フレームの撮像画像全体に各歩行者の矩形領域ＷＡを示す線を加えた画像のデータを画像信号としてモニタ３に送信する。この際、車両から所定距離以内の歩行者のみの矩形領域ＷＡを示す線を追加した画像としてもよいし、あるいは、横断歩道上などの車道に存在する歩行者のみの矩形領域ＷＡを示す線を追加した画像としてもよい。また、現フレームの撮像画像全体の画像を無くして、歩行者のみを示した画像としてもよい。

図１を参照して、歩行者検出装置１の動作について説明する。特に、画像ＥＣＵ４における処理については図４に示すフローチャートに沿って説明する。図４は、図１の歩行者検出装置の画像ＥＣＵにおける処理の流れを示すフローチャートである。

カメラ２では、一定時間毎に、自車両の前方を撮像し、その撮像画像のデータを画像ＥＣＵ４に送信する。そして、画像ＥＣＵ４では、一定時間毎に、その撮像画像のデータを取り入れ、所定のメモリ領域に保存する（Ｓ１）。

画像ＥＣＵ４では、パターンマッチングによって、現フレームの撮像画像に存在する歩行者を検出し、歩行者を検出できた場合にはその歩行者の位置や矩形領域を検出結果保存メモリ１０に保存する（Ｓ２）。そして、画像ＥＣＵ４では、現フレームの撮像画像から歩行者を検出できたか否かを判定する（Ｓ３）。

Ｓ３にて歩行者を検出できたと判定した場合、画像ＥＣＵ４では、現フレームの撮像画像で検出した歩行者の中に検出結果保存メモリ１０に保存されている追跡中歩行者と一致する歩行者が存在するか否かを判定する（Ｓ４）。Ｓ４にて追跡中歩行者と一致する歩行者が存在しないと判定した場合、現フレームで検出した歩行者は全て現フレームで初めて検出された新しい歩行者なので、画像ＥＣＵ４では、Ｓ１１の処理に移行し、テンプレートによるマッチングによってその全ての新しい歩行者の向きをそれぞれ算出し、その向きの情報を各歩行者に対応付けて検出結果保存メモリ１０にそれぞれ保存する（Ｓ１１）。

一方、Ｓ３にて歩行者を検出できなかったと判定した場合、画像ＥＣＵ４では、検出結果保存メモリ１０に保存されている追跡中歩行者が存在するか否かを判定し、保存されている追跡中歩行者が存在する場合にはその全ての追跡中歩行者について追跡処理などが終了したか否かを判定する（Ｓ５）。

Ｓ４にて追跡中歩行者と一致する歩行者が存在すると判定した場合又はＳ５にて全ての追跡中歩行者について処理が終了していないと判定した場合、画像ＥＣＵ４では、検出結果保存メモリ１０に保存されている追跡中歩行者を一人づつ選択し、予測領域保存メモリ１１からその選択した追跡中歩行者の予測領域を抽出する。そして、画像ＥＣＵ４では、現フレームの撮像画像からその抽出した予測領域を切り出す。さらに、画像ＥＣＵ４では、パターンマッチングによってその予測領域の画像から追跡中歩行者を検出し、追跡中歩行者を検出できた場合にはその追跡中歩行者の位置や矩形領域を検出結果保存メモリ１０に保存する（Ｓ６）。そして、画像ＥＣＵ４では、その予測領域の画像から追跡中歩行者を検出できたか否かを判定する（Ｓ７）。

Ｓ７にて追跡中歩行者を検出できなかったと判定した場合、前フレームまで追跡していた歩行者は現フレームではカメラ２の撮像範囲外に出たと推測でき、画像ＥＣＵ４では、その追跡中歩行者の情報を、検出結果保存メモリ１０及び予測領域保存メモリ１１から削除する。さらに、画像ＥＣＵ４では、現フレームで検出した歩行者の中に現フレームで初めて検出された新しい歩行者が存在するか否かを判定する（Ｓ８）。Ｓ８にて新しい歩行者が存在すると判定した場合、画像ＥＣＵ４では、Ｓ１１の処理に移行し、テンプレートによるマッチングによってその全ての新しい歩行者の向きをそれぞれ算出し、その向きの情報を歩行者に対応付けて検出結果保存メモリ１０にそれぞれ保存する（Ｓ１１）。一方、Ｓ８にて新しい歩行者が存在しないと判定した場合、画像ＥＣＵ４では、Ｓ５の処理に戻り、検出結果保存メモリ１０に保存されている全ての追跡中歩行者について処理が終了したか否かを判定する（Ｓ５）。

Ｓ７にて追跡中歩行者を検出できたと判定した場合、画像ＥＣＵ４では、現フレームで検出した歩行者の中にその検出できた追跡中歩行者と同一の歩行者が存在するか否かを判定する（Ｓ９）。Ｓ９にて同一の歩行者が存在すると判定した場合、画像ＥＣＵ４では、検出結果保存メモリ１０に保存されている現フレームで検出した歩行者の情報の中からその同一と判定された歩行者の情報を削除する（Ｓ１０）。したがって、検出結果保存メモリ１０には、最終的に、現フレームで検出した歩行者の情報としては現フレームで初めて検出された新しい歩行者の情報のみが残る。

Ｓ９にて同一の歩行者が存在すると判定した場合及びＳ１０の処理が終了すると、画像ＥＣＵ４では、テンプレートによるマッチングによって、その検出した追跡中歩行者の向きを算出し、その向きの情報を歩行者に対応付けて検出結果保存メモリ１０に保存する（Ｓ１１）。この向きの情報により、歩行者がこれから移動しようとしている方向を予測できる。さらに、画像ＥＣＵ４では、その検出した追跡中歩行者の前フレームでの位置と現フレームでの位置の差から追跡中歩行者の動きの向きと大きさを算出し、その動きの情報を追跡中歩行者に対応付けて検出結果保存メモリ１０に保存する（Ｓ１２）。この動きの情報により、追跡中歩行者がこれまでに移動してきた方向や移動量が判る。

さらに、画像ＥＣＵ４では、検出した歩行者に対して、新しい歩行者の場合には向きの情報から次フレームの撮像画像での予測領域を算出し、追跡中歩行者の場合には向きの情報及び動きの情報から次フレームの撮像画像での予測領域を算出し、その予測領域を追跡中歩行者に対応付けて予測領域保存メモリ１１に保存する（Ｓ１３）。この際、新しい歩行者については、現フレームでの向きの情報のみが用いられるので、この向きの情報によりこれから移動しようとしている領域を予測できる。一方、追跡中歩行者については、向きのと動きの向きとが一致している場合には信頼性の高い動きの情報からこれから移動しようとしている領域を予測でき、向きのと動きの向きとが異なっている場合には向きの情報からこれから移動しようとしている領域を予測できる。

領域を予測すると、画像ＥＣＵ４では、Ｓ５の処理に戻り、検出結果保存メモリ１０に保存されている全ての追跡中歩行者について処理を終了したか否かを判定する（Ｓ５）。Ｓ５にて全ての追跡中歩行者について処理が終了したと判定した場合、画像ＥＣＵ４では、現フレームで新しい歩行者及び／又は追跡中歩行者が検出されている場合、現フレームの撮像画像全体に各歩行者の矩形領域を示す線を加えた画像のデータを画像信号としてモニタ３に送信する（Ｓ１４）。この画像信号を受信すると、モニタ３では、現フレームの撮像画像に歩行者の存在する領域を強調した画像を表示する。さらに、画像ＥＣＵ４では、検出結果保存メモリ１０に新しい歩行者の情報が存在する場合、検出結果保存メモリ１０にその新しい歩行者の情報を追跡中歩行者の情報として新たに追加して保存するとともに、その新しい歩行者の情報を削除する。現フレームにおける全ての処理が終了すると、画像ＥＣＵ４では、Ｓ１の処理に戻って、次フレームの撮像画像を取得する（Ｓ１）。

この歩行者検出装置１によれば、過去の歩行者の動きのみならず、現時点での歩行者そのものの向きも利用することにより、次フレームで追跡中歩行者が存在する領域を高精度に予測でき、追跡性能が向上する。特に、歩行者検出装置１では、歩行者が急に移動方向を変えた場合でも、歩行者の現時点からの移動方向を推測できる向きを利用しているので、追跡が可能である。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載される歩行者を検出する歩行者検出装置に適用したが、歩行者以外の自転車、動物などの他の移動物体を検出する装置に適用してもよいし、インフラ側に移動物体検出装置を設け、インフラ側で検出した情報を車両側に送信する構成に適用してもよいし、あるいは、人間などの移動物体を追跡する機能を有するロボットなどに適用してもよい。

また、本実施の形態では検出した歩行者の情報をモニタに表示する構成としたが、車線（白線）、車道と歩道、横断歩道なども検出している場合にはそれらの情報もモニタに表示する構成としてもよいし、さらに、車線内に歩行者が侵入したか否かを検知し、侵入した場合には警報などを出力する構成としてもよいし、あるいは、モニタに表示せずに、歩行者の存在を音声やブザーなどで知らせる構成としてもよい。

また、本実施の形態では各処理部を各プログラムがＣＰＵで実行されることによって形成されるソフトウエアで構成したが、各処理部をハードウエアで構成してもよい。

また、本実施の形態では歩行者の向きをテンプレートとのマッチングにより求め、歩行者の動きをフレーム間の歩行者の位置から求める構成としたが、歩行者の向きや歩行者の動きを求める手法についてはこれらに限定するものではなく、他の手法でもよい。

また、本実施の形態では動きを求めるときに現フレームと前フレームの各歩行者の位置から求める構成としたが、前フレーム以前の過去のフレームにおける歩行者の各位置も用いて求める構成としてもよい。

本実施の形態に係る歩行者検出装置の構成図である。 図１の歩行者検出装置における追跡処理の基本的な流れを示す画像であり、（ａ）があるフレームで新しい歩行者を検出した画像であり、（ｂ）が次のフレームにおける追跡中歩行者が存在する予測領域を示す画像であり、（ｃ）が次のフレームで追跡中歩行者を検出した画像であり、（ｄ）が次の次のフレームにおける追跡中歩行者が存在する予測領域を示す画像であり、（ｅ）が次の次のフレームで追跡中歩行者を検出した画像であり、（ｆ）が次の次の次のフレームにおける追跡中歩行者が存在する予測領域と追跡中歩行者を検出した画像である。 歩行者の動きの向き及び大きさの算出方法の説明図である。 図１の歩行者検出装置の画像ＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１…歩行者検出装置、２…カメラ、３…モニタ、４…画像ＥＣＵ、１０…検出結果保存メモリ、１１…予測領域保存メモリ、１２…画像入力部、１３…歩行者検出部、１４…追跡検出部、１５…向き算出部、１６…動き算出部、１７…領域予測部、１８…結果表示部

Claims (2)

1. 撮像手段と、
   前記撮像手段で撮像した撮像画像から移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段によって前記撮像手段で撮像した現時点の撮像画像から検出された移動物体を含む画像と向いている方向の異なる移動物体の複数のテンプレートの画像とのパターンマッチングをそれぞれ行い、最も相関度が高いテンプレートの移動物体が向いている方向から移動物体の現時点で向いている方向を検出する向き検出手段と、
   前記撮像手段で異なる時間に撮像した各撮像画像から各々検出された移動物体の位置から移動物体の過去から現時点までに移動してきた方向を検出する動き検出手段と、
   前記向き検出手段で検出した移動物体の現時点で向いている方向と前記動き検出手段で検出した移動物体の過去から現時点までに移動してきた方向との差の絶対値が閾値以下の場合に前記移動物体の過去から現時点までに移動してきた方向を用いて未来の撮像画像における移動物体の存在する領域を予測し、前記差の絶対値が閾値より大きい場合に前記移動物体の現時点で向いている方向を用いて未来の撮像画像における移動物体の存在する領域を予測する領域予測手段と
   を備え、
   前記領域予測手段で予測した領域内から移動物体を検出することを特徴とする移動物体検出装置。
2. 撮像ステップと、
   前記撮像ステップで撮像した撮像画像から移動物体を検出する移動物体検出ステップと、
   前記移動物体検出ステップによって前記撮像ステップで撮像した現時点の撮像画像から検出された移動物体を含む画像と向いている方向の異なる移動物体の複数のテンプレートの画像とのパターンマッチングをそれぞれ行い、最も相関度が高いテンプレートの移動物体が向いている方向から移動物体の現時点で向いている方向を検出する向き検出ステップと、
   前記撮像ステップで異なる時間に撮像した各撮像画像から各々検出された移動物体の位置から移動物体の過去から現時点までに移動してきた方向を検出する動き検出ステップと、
   前記向き検出ステップで検出した移動物体の現時点で向いている方向と前記動き検出ステップで検出した移動物体の過去から現時点までに移動してきた方向との差の絶対値が閾値以下の場合に前記移動物体の過去から現時点までに移動してきた方向を用いて未来の撮像画像における移動物体の存在する領域を予測し、前記差の絶対値が閾値より大きい場合に前記移動物体の現時点で向いている方向を用いて未来の撮像画像における移動物体の存在する領域を予測する領域予測ステップと
   を含み、
   前記領域予測ステップで予測した領域内から移動物体を検出することを特徴とする移動物体検出方法。

Images