JP5838940B2 - 画像処理装置及び車両制御システム - Google Patents

Description

本発明は、撮像された画像においてターゲットを検出するための画像処理の技術に関する。

従来、例えば車両に搭載されたカメラにより撮像された画像において、歩行者等のターゲット（対象物）を検出（識別）するための画像処理の技術が知られている。この種の画像処理の代表的な手法は、機械学習によってあらかじめ得られたターゲットのモデルを用い、画像をスキャンして各位置でマッチングをとることによりターゲットを識別するというものである。ここで、ターゲットのモデルとは、ターゲットの様々な状態（例えば人の場合、服装・向き・姿勢等）の画像を多数収集し、これらを用いて学習することで得られる代表パターンである。

ただし、ターゲットは、その状態によって見え方が大きく変動する。例えば人の場合、立ち止まっている状態、歩いている状態、走っている状態など、各状態で手足の位置などが異なる。このため、従来の単純な学習モデルだけでは識別性能が低く、このようなターゲットの見え方の変化に頑強な識別器を構成することが求められる。

そこで、従来のターゲット全体のモデルとともに、ターゲットが有する特徴的なパーツ（例えば人であれば、頭・腕・胴・脚といったパーツ）を別途学習し、パーツの位置関係（バネモデル）を考慮した識別を行う技術が提案されている。ここで、バネモデル（ＤＰＭ：Deformable Part Model）とは、全体モデルに対する各パーツの基準位置と、その基準位置に対するパーツの位置に応じた値（バネコスト）と、を規定したものである。具体的には、バネモデルでは、基準位置からのパーツのずれが大きいほどバネコスト（ペナルティ）が増加するように規定されており、バネコストに基づいてパーツの位置を評価することができる。逆にいえば、基準位置からの位置が多少ずれていたとしても、パーツの形状がモデルに似ていれば許容されるような判定が可能であり、パーツの位置がある程度変わっても柔軟に識別することができる。

P. Felzenszwalb, D. McAllester, D. Ramanan, A Discriminatively Trained, Multiscale, Deformable Part Model, Proceedings of the IEEE CVPR 2008

ところで、複数のターゲットが集団を構成している状態においては、手前のターゲットは検出されるものの、奥（後ろ側）のターゲットは、手前のターゲットにより部分的に隠れることにより、検出されにくくなるという問題がある。例えば、歩行者の集団においては、カメラに向かって一番手前の歩行者は検出されるが、その歩行者の後ろに隠れた歩行者は、身体の一部（パーツ）が手前の歩行者の身体によって隠れることにより、そのパーツのスコアが低下するため、歩行者として検出されにくくなる。なお、このような問題は、歩行者に限られるものではなく、他のターゲットについても同様に生じ得る。

本発明は、こうした問題にかんがみてなされたものであり、ターゲットの集団を精度よく検出可能とするための技術を提供することを目的としている。

本発明の画像処理装置（１０）は、撮像装置（３２）により撮像された画像を入力し、その画像においてターゲットを検出するための画像処理を行うものであり、記憶手段（６０）と、パーツ検出手段（Ｓ１２）と、集団検出手段（Ｓ１３，Ｓ１４）と、を備える。

記憶手段は、ターゲットが有する複数種類のパーツを画像において識別するためのパーツモデルと、ターゲットにおける複数種類のパーツの基準位置及びその基準位置に対するパーツの位置に応じたバネコストを表すバネモデルと、を記憶する。そして、パーツ検出手段が、パーツモデルを用いたマッチング処理により算出される類似度に基づいて、画像においてパーツを検出する。さらに、集団検出手段が、パーツ検出手段により検出されたパーツに基づいて、画像においてターゲットの集団を検出する。

具体的には、集団検出手段は、設定手段（Ｓ２１，Ｓ２９）と、バネコスト算出手段（Ｓ２３）と、判定手段（Ｓ２４，Ｓ２５）と、を備える。設定手段は、ターゲットの存否を判定するための注目領域を、画像における複数の位置に順次設定する。そして、バネコスト算出手段が、注目領域にターゲットが存在すると仮定した場合のパーツの基準位置をバネモデルに基づいて設定し、基準位置からのずれの度合いを表す値であるバネコストを、パーツ検出手段により検出されたパーツのそれぞれについて算出する。さらに、判定手段が、バネコスト算出手段により算出されたバネコストが所定範囲内の同一種類のパーツが複数存在することを条件として、注目領域を、集団を構成するターゲットが存在するターゲット領域として判定する。

つまり、同一種類のパーツが複数集まっている場合には、ターゲットの集団が存在する可能性が高いと考えられるため、注目領域に基づき定められる基準位置からのずれの度合いが小さい同一種類のパーツが複数存在することを条件として、集団を構成するターゲットがその注目領域に存在すると判定する。このような判定手法によれば、手前のターゲットにより一部が隠れた奥のターゲットについても、集団を構成するターゲットとして検出されやすくすることが可能となる。したがって、集団を構成する個々のターゲットを独立して検出する場合と比較して、ターゲットの集団を精度よく検出可能とすることができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

車両制御システムの構成を示すブロック図である。 衝突危険度判定テーブルを示す図である。 ターゲット集団判定処理のフローチャートである。 （Ａ）は第１の距離に存在するターゲットのパーツを検出するためのマッチング処理を示す図、（Ｂ）は第２の距離に存在するターゲットのパーツを検出するためのマッチング処理を示す図、（Ｃ）は高スコアパーツを検出する処理を示す図である。 集団条件判定処理のフローチャートである。 ターゲット領域を検出する処理を示す図である。 ターゲット集団検出処理を示す図である。 ターゲット集団検出処理におけるターゲット領域の統合方法を示す図である。 （Ａ）は注目する歩行者を独立して検出する処理を示す図、（Ｂ）は注目する歩行者を集団の一人として検出する処理を示す図である。 異なる種類の他のパーツとの位置関係に応じてバネコストを低く算出する処理を示す図である。 同一種類の他のパーツとの位置関係に応じてバネコストを低く算出する処理を示す図である。 高スコアパーツと注目領域とを包含する領域をターゲット領域として判定する処理を示す図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．構成］
図１に示すように、本実施形態の車両制御システムは、車両に搭載された画像処理装置１０及び車両制御装置２０を中心に構成されている。画像処理装置１０には、車両に搭載された測距装置３１及び撮像装置３２が接続されている。また、車両制御装置２０には、車両に搭載されたスピーカ４１、ブレーキ４２及びステアリング４３が接続されている。

画像処理装置１０及び車両制御装置２０は、いわゆるコンピュータとして構成されている。これにより、画像処理装置１０では、撮像装置３２から入力した画像（撮像画像）においてターゲット（本実施形態では歩行者）を検出し、測距装置３１による距離情報に基づき、衝突危険度を判定する。これに対し、車両制御装置２０は、画像処理装置１０から出力される衝突危険度に応じて、スピーカ４１による報知を行ったり、緊急度合が大きい場合には、ブレーキ４２及びステアリング４３による回避制御を行ったりする。

次に、各部の構成について具体的に説明する。
測距装置３１は、レーザレーダなどとして具現化される。もちろん、ミリ波レーダなどの別の構成を用いてもよい。この測距装置３１により、車両前方の物体までの距離を検知することが可能となる。

撮像装置３２は、単眼カメラなどとして具現化される。この撮像装置３２により、車両前方が撮像される。画像処理装置１０では、前述したように、この画像においてターゲットを検出する。

スピーカ４１は、音声出力のための構成である。ターゲットとの衝突危険度が大きくなると、このスピーカ４１を介して「前方に注意してください」などの音声が出力される。
ブレーキ４２は、ブレーキの駆動装置を含み、車両制御装置２０からの信号によって、車両を減速させる。また、ステアリング４３は、ＥＰＳ（Electric Power Steering）装置を含み、車両制御装置２０からの信号によって運転者の操舵をアシストする。このような車両制御が行われるのは、ターゲットとの衝突危険度がさらに大きくなった場合であり、緊急度合の大きい場合である。

画像処理装置１０は、制御部５０及び記憶部６０を有している。制御部５０は、いわゆるマイコン（マイクロコンピュータ）として具現化される。制御部５０は、機能ブロックとして、ターゲット集団検出部５１及び衝突危険度判定部５２を具備する。また、記憶部６０は、例えばＲＯＭなどとして具現化される。もちろん、ＲＯＭ以外のフラッシュメモリやＨＤＤなどを用いてもよい。記憶部６０には、パーツモデルと、バネモデルと、衝突危険度判定テーブルと、が記憶されている。

ここでターゲット集団検出部５１は、撮像装置３２から出力される画像においてターゲットを検出するための画像処理を行う。具体的には後述するが、画像をスキャンすることで、ターゲットが有する複数種類のパーツを検出し、検出されたパーツに基づいてターゲットの集団の存在とその位置を推定する。

衝突危険度判定部５２は、ターゲットが検出された後、当該ターゲットまでの距離が測距装置３１にて分かるため、当該ターゲットとの距離に応じて衝突危険度を判定する。この衝突危険度は、車両制御装置２０へ出力される。

記憶部６０に記憶されているパーツモデルは、ターゲットが有する複数種類のパーツをモデル化したものであり、ターゲットの各パーツを画像において識別するために用いられる。パーツモデルは、例えば、輪郭情報等の各パーツの特徴を表現する特徴ベクトルとして表される。本実施形態では、歩行者が有する複数種類のパーツである、頭、左腕、右腕、胴、左脚及び右脚のそれぞれに対応するパーツモデルが用いられる。

記憶部６０に記憶されているバネモデルは、ターゲットにおける複数種類のパーツ（頭、左腕、右腕、胴、左脚及び右脚）の位置関係をモデル化したものであり、ターゲットにおける各パーツの基準位置と、その基準位置に対するパーツの位置に応じた値（バネコスト）を表す。このようなバネモデルを用いることで、パーツモデルにより検出されたパーツの基準位置からのずれを、バネコストで表す（評価する）ことができる。バネコストは、バネモデルに基づく基準位置からのずれが大きいほど増加する値であり、バネコストが小さいほど、位置に基づく信頼度が高いといえる。

記憶部６０に記憶されている衝突危険度判定テーブルは、検出されたターゲットまでの距離及び後述する集団スコア（検出結果の信頼度）に応じた衝突危険度を規定したテーブルである。具体的には、例えば図２に示すように、ターゲットまでの距離と集団スコアとに応じた衝突危険度のレベル（Ｌ１〜Ｌ３）を示す二次元テーブルが用いられる。本実施形態では、ターゲットの集団が検出された場合に、距離が近いほど、また、集団スコアが高い（検出結果の信頼度が高い）ほど、衝突危険度が高いと判定される。衝突危険度判定部５２は、この衝突危険度判定テーブルを参照することで、衝突危険度を判定する。

車両制御装置２０は、報知制御部７０及び車両制御部８０を有しており、いずれもいわゆるマイコンとして具現化される。報知制御部７０は、スピーカ４１を介した報知を行うための構成であり、衝突危険度が大きくなると、まずはスピーカ４１を介した報知が行われる。車両制御部８０は、ブレーキ４２及びステアリング４３を介した車両制御を行うための構成であり、衝突危険度がさらに大きくなった場合に衝突回避制御が行われる。具体的には、衝突危険度がレベル１（Ｌ１）の場合にはターゲットの存在を知らせる警報制御（報知制御）が行われ、レベル２（Ｌ２）の場合にはブレーキ制御（減速制御）が行われ、レベル３（Ｌ３）の場合にはステアリング制御（衝突回避制御）が行われる。なお、ターゲットが検出されていない場合（レベル０の場合）には、車両制御が行われない。

［２．処理］
本実施形態は、ターゲット集団検出部５１の機能としてのターゲット集団判定処理に特徴を有する。そこで、このターゲット集団判定処理の詳細について、図３のフローチャートを用いて説明する。ターゲット集団判定処理は、所定時間間隔で繰り返し実行される。

図３に示すように、最初のＳ１１では、撮像装置３２により撮像された車両前方の画像を入力する画像入力処理を実行する。
続いて、Ｓ１２では、入力した画像において、記憶部６０に記憶されているターゲットのパーツモデルを用いたマッチング処理により算出される類似度（一致度）に基づいて、各パーツを検出するパーツ検出処理を実行する。算出される類似度は、形状に基づく信頼度を表す。なお、画像上の各位置とパーツモデルとの類似度は、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量を用いた周知のマッチングアルゴリズムにより算出される。

具体的には、図４（Ａ）に示すように、頭パーツモデルＨＭを、例えば画像の左上部分から順に、あらかじめ定められた間隔で右方向へ移動させていく。そして、画像の右端に到達したら、左端に戻し、あらかじめ定められた間隔で下方向へ移動させる。その後は、同様の移動を繰り返し、画像の右下部分まで順に移動させていく。このとき、頭パーツモデルＨＭの位置ごとに、頭パーツモデルＨＭと重なる部分領域との類似度をスコアとして記憶することにより、画像における位置ごとにスコアが記録されたスコアマップが生成される。なお、頭パーツ以外のパーツについても、頭パーツと同様の処理が行われ、パーツの種類ごとにスコアマップが生成される。

また、撮像装置３２からの距離（撮像位置からの距離）が近いターゲットほど、画像内では大きく写る。そこで、図４（Ｂ）に示すように、パーツモデルＨＭのサイズはそのままで、スキャンの対象となる画像を縮小して、同様のスコア化を行う。つまり、画像に対するパーツモデルのサイズを相対的に大きくする。このようにして、第１の距離に存在するターゲットを想定したスキャン（図４（Ａ））と、第２の距離に存在するターゲットを想定したスキャン（図４（Ｂ））と、を行う。

なお、ここでは、ターゲットが相対的に遠い第１の距離に存在する場合と、ターゲットが相対的に近い第２の距離に存在する場合と、の２段階でのスキャンを説明したが、現実的には、３段階以上でスキャンすることが考えられる。なお、段階的なスキャンに際し、前述したようにスキャンの対象となる画像を拡大／縮小するようにしてもよいし、これとは逆にパーツモデルを拡大／縮小するようにしてもよい。

こうしてパーツの種類ごとに生成したスコアマップにおいて、図４（Ｃ）に示すように、設定されたしきい値以上のスコアを有する位置（エリア）を、高スコアパーツＨＰ１，ＨＰ２として検出する。つまり、高スコアパーツとは、画像において、パーツモデルとのマッチングが高い（パーツである可能性の高い）エリアのことである。なお、図４（Ｃ）の例において、高スコアパーツＨＰ１は、第１の距離に存在するターゲットを想定したスキャンによる高スコアパーツであり、高スコアパーツＨＰ２は、第２の距離に存在するターゲットを想定したスキャンによる高スコアパーツである。なお、頭パーツ以外のパーツについても、頭パーツと同様の処理が行われ、パーツの種類ごとに高スコアパーツが検出される。

図３に戻り、Ｓ１３では、画像においてターゲットの集団が存在すると判定するための条件である集団条件を満たすか否かを判定する集団条件判定処理を実行する。本実施形態で規定されている集団条件とは、１つの基準位置に対するバネコストの小さい高スコアパーツが、所定数以上存在することである。

ここで、Ｓ１３で実行される集団条件判定処理の詳細について、図５のフローチャートを用いて説明する。
まず、Ｓ２１では、画像において、ターゲットの存否を判定するための注目領域を設定する。注目領域は、ターゲットの身体全体に対応する大きさの領域（本実施形態では矩形領域）であり、注目領域を設定することで、その注目領域にターゲットが存在すると仮定した場合の各パーツの基準位置（バネコストの評価基準）が、バネモデルに基づき画像において設定される。なお、後述するように、注目領域は、前述したパーツモデルによるスキャンと同様、例えば画像の左上部分から順に、あらかじめ定められた間隔で右方向へ移動し、画像の右端に到達したら左端に戻して、あらかじめ定められた間隔で下方向へ移動させる。その後は、同様の移動を繰り返し、画像の右下部分まで順に移動する。つまり、あらかじめ決められた規則に従い、注目領域が、画像における複数の位置に順次設定されるようになっており、集団条件判定処理の開始直後は、初期位置（例えば画像の左上部分）に設定される。

続いて、Ｓ２２では、頭パーツを処理対象のパーツに設定する。すなわち、以下のＳ２３〜Ｓ２５の処理をパーツの種類ごとに行うため、最初に処理対象とするパーツを頭パーツに設定するのである。なお、最初に処理対象とするパーツや処理順序などは特に限定されない。

続いて、Ｓ２３では、処理対象のパーツの高スコアパーツのそれぞれについて、注目領域に基づき定められる処理対象パーツの基準位置に対するバネコストを算出する。バネコストは、基準位置からのずれを表す値であり、ずれが大きいほど高い値となる。バネコストは、単にずれの大きさ（基準位置から高スコアパーツの位置までの距離）に比例する値とすることも可能ではあるが、実際には、パーツごとに、例えば縦方向と比較して横方向にずれやすいなどの特性があるため、その特性に応じた値に設定することが好ましい。例えば、基準位置からの距離ｘに対するバネコストｙが二次関数ｙ＝ａｘ²で表され、その二次関数の係数ａが、縦方向の距離（ずれ量）と横方向の距離（ずれ量）とで異なるようにしてもよい。縦方向のずれ量に対するバネコストの増加割合が、横方向のずれ量に対するバネコストの増加割合と比較して、大きく設定される場合、例えば図６に示すように、バネコストが一定の領域ＣＲは、横に長い楕円形となる。つまり、縦方向のずれと比較して、横方向のずれは許容されやすくなる。

続いて、Ｓ２４では、バネコストがしきい値以下の高スコアパーツの数が一定数（本実施形態では３つ）以上であるか否かを判定する。つまり、注目領域に基づき定められる基準位置からのずれが小さい高スコアパーツが、複数のターゲット分（本実施形態では３人分）存在するか否かを判定する。そして、一定数以上であると判定した場合には、Ｓ２５へ移行し、現在の注目領域を、集団の一部を構成するターゲットが存在すると推測される領域（以下「ターゲット領域」という。）として検出した後、Ｓ２６へ移行する。例えば図６に示す例では、基準位置ＢＰに対するバネコストがしきい値以下の領域ＣＲに、高スコアパーツＨＰが５つ含まれているため、現在の注目領域ＦＲがターゲット領域ＴＲとして検出される。一方、Ｓ２４で、バネコストがしきい値以下の高スコアパーツの数が一定数以上でないと判定した場合には、Ｓ２５をスキップしてＳ２６へ移行する。

続いて、Ｓ２６では、現在の注目領域においてすべてのパーツの処理が終了したか否かを判定する。すべてのパーツの処理が終了していないと判定した場合には、Ｓ２７へ移行し、処理対象のパーツを変更した後、Ｓ２３へ戻る。例えば、頭パーツ→左腕パーツ→右腕パーツ→胴パーツ→左脚パーツ→右脚パーツの順に処理対象のパーツを変更する。

一方、Ｓ２６で、すべてのパーツの処理が終了したと判定した場合には、Ｓ２８へ移行し、現在の撮像画像においてすべての注目領域の処理が終了したか否かを判定する。すべての注目領域の処理が終了していないと判定した場合には、Ｓ２９へ移行し、注目領域の位置を変更した後、Ｓ２２へ戻る。なお、前述したように、注目領域を画像の左上部分から右下部分まで順に移動させる場合には、その移動順序に従って注目領域の位置を変更する。

一方、すべての注目領域の処理が終了したと判定した場合には、図５の集団条件判定処理を終了する。つまり、集団条件判定処理では、注目領域ごとに、高スコアパーツのそれぞれについてのバネコストが算出され、バネコストが一定範囲内の高スコアパーツが一定数以上存在する場合に、その注目領域がターゲット領域として検出される。ターゲット領域とは、パーツの種類ごとに検出される領域であって、集団を構成するターゲットが存在する可能性の高い領域である。なお、前述したように、スコアマップは異なる距離（例えば第１の距離及び第２の距離）ごとに生成されるため、集団条件判定処理も異なる距離ごとに実行される。

図３に戻り、Ｓ１４では、Ｓ１３でパーツの種類ごとに検出したターゲット領域（矩形領域）を、その位置に応じて統合（グループ化）し、ターゲットの集団が存在する領域である集団領域として検出するターゲット集団検出処理を実行する。具体的には、図７に示すように、複数のターゲット領域ＴＲを、重なりがあるもの同士をグループ化し、グループ化したターゲット領域ＴＲを包含する外接矩形を、最終的な集団領域ＧＲとする。このとき、図８に示すように、ターゲットサイズから推定される距離（例えば第１の距離及び第２の距離）が互いに近いもの同士を統合する（遠くに存在するターゲットと近くに存在するターゲットとを区別して別々に統合する）ことで、集団領域の検出精度を向上させることができる。ここで、ターゲット領域ＴＲの距離は、ターゲット領域の下端位置（ターゲットの足下の位置）に基づき推測することも可能である。このようにすれば、距離による分類を細かく行うことが可能となる。

続くＳ１５では、集団領域の検出結果の信頼度を表す値である集団スコアを算出する集団スコア算出処理を実行する。具体的には、集団領域に含まれるターゲット領域のスコアの総和を、集団スコアとして算出する。ターゲット領域のスコアは、当該ターゲット領域の判定に用いられた複数の高スコアパーツのスコアの総和として算出される。その後、図３のターゲット集団判定処理が終了する。

なお、ここでは各パーツのスコアに基づいて集団スコアを算出しているが、これに限定されるものではなく、各パーツのバネコストに基づいて集団スコアを算出してもよい。例えば次式によれば、複数のパーツが集まっているほど集団スコアが高く算出される。なお、次式において、nはパーツ数（パーツの種類）、ave_iはパーツの種類別のバネコストの平均値、AVE_iはバネコスト平均値に関する定数、ver_iはパーツの種類別のバネコストの分散値、VER_iはバネコスト分散値に関する定数である。また、各パーツのスコアに基づく集団スコアと、各パーツのバネコストに基づく集団スコアと、を加算した値を集団スコアとしてもよい。

以上のようなターゲット集団判定処理により画像においてターゲットの集団が検出されると、前述したように、ターゲットまでの距離と集団スコアとに応じた制御が、車両制御装置２０により行われる。具体的には、衝突危険度が低い場合にはターゲットの存在を知らせる警報制御（報知制御）が行われ、衝突危険度が高くなるとブレーキ制御（減速制御）が行われ、衝突危険度が更に高くなるとステアリング制御（衝突回避制御）が行われる。なお、それぞれの制御において、複数段階の制御を行ってもよい。例えば、車両が走行するレーンを基準とするターゲットの位置（距離）に応じて、警報レベル等を変更してもよい。また例えば、ステアリング制御において、集団スコアに応じて回避パスを変更するようにしてもよい。

［３．効果］
以上詳述した本実施形態によれば、以下の効果が得られる。
（１）画像処理装置１０は、撮像装置３２により撮像された画像においてパーツを検出し（Ｓ１２）、検出したパーツ（高スコアパーツ）に基づいて、画像においてターゲットの集団を検出する（Ｓ１３，Ｓ１４）。具体的には、ターゲットの存否を判定するための注目領域を、画像における複数の位置に順次設定し（Ｓ２１，Ｓ２９）、検出したパーツのそれぞれについてバネコストを算出し（Ｓ２３）、バネコストが所定範囲内の同一種類のパーツが複数存在することを条件として、注目領域をターゲット領域として判定する（Ｓ２４，Ｓ２５）。

画像において検出される複数種類の各パーツは、１つのターゲット（歩行者一人）につき１つであり、同一種類のパーツが複数集まっている場合には、複数のターゲットが集まっている可能性が高いと考えられる。このため、注目領域に基づき定められる基準位置からのずれの度合いが小さい同一種類のパーツが複数存在することを条件として、集団を構成するターゲットがその注目領域に存在すると判定する。このような判定手法によれば、手前のターゲットにより一部が隠れた奥のターゲットについても、集団を構成するターゲットとして検出されやすくすることが可能となる。したがって、集団を構成する個々のターゲットを独立して検出する従来の手法と比較して、ターゲットの集団を精度よく検出可能とすることができる。

例えば、図９（Ａ）に示すように、歩行者の集団のうち、矩形枠で囲まれた歩行者に注目すると、一番手前（図９（Ａ）における中央）の歩行者により左腕が隠れている（領域ＨＲ）。このため、注目する歩行者を独立して検出しようとすると、左腕のスコアが低下し、その結果、全体のスコアが低下することとなり、歩行者として検出されにくくなる。

一方、図９（Ｂ）に示すように、注目する歩行者の左腕（領域ＨＲ）の近くには、他の複数の歩行者の左腕が露出しており（領域ＥＲ）、これらは高いスコアで（高スコアパーツとして）検出される。したがって、バネコストの小さい同一種類のパーツが複数存在することを条件とする本実施形態の手法によれば、集団を構成する歩行者として検出されやすくすることができる。

（２）画像処理装置１０は、パーツの種類ごとに判定したターゲット領域を統合し、ターゲットの集団が存在する集団領域を検出する（Ｓ１４）。集団を構成するターゲットの数が少ない場合と多い場合とでは、画像において集団が占める領域のサイズも異なるが、ターゲット領域を統合して集団領域を検出するようにしているため、集団を構成するターゲットの数に応じたサイズの集団領域を検出することができる。

具体的には、互いに重なり合う複数のターゲット領域を包含する領域を、集団領域として検出するようにしているため、集団領域を簡易的に特定することができる。
また、撮像装置３２からの距離に応じて分類されるグループごとに、互いに重なり合う複数のターゲット領域を包含する領域を、集団領域として検出するようにしているため、ターゲットの集団を精度よく検出することができる。

（３）画像処理装置１０は、検出した集団領域の集団スコアを算出する（Ｓ１５）。集団領域の検出は、画像処理に基づくものであるため、誤検出が生じ得るものであり、検出結果の信頼度は常に一定ではない。この点、本実施形態では、検出した集団領域の集団スコアを算出するようにしているため、検出結果の信頼度を客観的基準で評価することができる。

具体的には、集団領域に含まれる各ターゲット領域の判定に用いられたパーツのスコアの総和を、集団スコアとして算出するようにしているため、信頼度の高い集団スコアを簡易的に算出することができる。また、集団領域に含まれる各ターゲット領域の判定に用いられたパーツのバネコストに基づく値（例えば、バネコストのばらつき度合いを表す値）を、集団スコアとして算出しても、同様の効果を得ることができる。また、各パーツのスコアの総和に基づく値と、各パーツのバネコストに基づく値と、を加算した値を集団スコアとして算出してもよい。

（４）本実施形態の車両制御システムは、画像処理装置１０により算出された集団領域の集団スコアに基づく制御として、車両の乗員への報知制御及び車両の衝突回避制御を行う車両制御装置２０を備える。したがって、ターゲットの集団を車両の乗員へ報知したり、ターゲットの集団に対する衝突を回避したりすることができる。

特に、車両制御装置２０は、集団領域の集団スコアに応じて制御の内容を異ならせるようにしているため、画像処理装置１０により検出された集団領域の信頼度に応じた制御を行うことができる。加えて、本実施形態では、集団スコアに基づく制御として、ターゲットまでの距離と集団スコアとに応じた制御を行うようにしているため、より適切な制御を実現することができる。

なお、上記実施形態では、記憶部６０が記憶手段の一例に相当し、Ｓ１２がパーツ検出手段としての処理の一例に相当する。また、Ｓ１３，Ｓ１４が集団検出手段としての処理の一例に相当し、特に、Ｓ１４が統合手段としての処理の一例に相当し、Ｓ２１，Ｓ２９が設定手段としての処理の一例に相当し、Ｓ２３がバネコスト算出手段としての処理の一例に相当し、Ｓ２４，Ｓ２５が判定手段としての処理の一例に相当する。また、集団スコアが評価値の一例に相当し、Ｓ１５が評価値算出手段としての処理の一例に相当する。

［４．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（１）上記実施形態では、スコアマップにおけるスコアが高く、かつ、バネモデルに基づくバネコストの小さいパーツ（高スコアかつ低バネコストのパーツ）が、所定数以上存在することを、ターゲットの集団が存在すると判定するための条件である集団条件としている。これは、形状及び位置のいずれにおいても信頼度の高いターゲットのパーツが、ある範囲内に多数存在する場合には、ターゲットの集団が存在する可能性が高いからである。ただし、上記実施形態の集団条件はあくまでも一例であり、これに限定されるものではない。

例えば、高スコアかつ低バネコストのパーツが、所定数以上存在し、更に、これら複数のパーツのスコアが全体的に高いことを、集団条件としてもよい。具体的には、例えば上記実施形態のＳ２４において、算出したバネコストがしきい値以下の高スコアパーツの数が一定数以上であり、かつ、これら高スコアパーツのスコアの総和が所定のしきい値以上であるか否かを判定し、肯定判定した場合に、Ｓ２５へ移行して、現在の注目領域をターゲット領域として検出する。このようにすれば、ターゲットの集団が存在するか否かを判定する精度を向上させることができる。なお、複数のパーツのスコアが全体的に高いか否かは、複数のパーツのスコアの総和がしきい値以上であることに限定されるものではなく、例えば、複数のパーツのスコアの平均値がしきい値以上であることをもって評価してもよい。

（２）また、例えば、高スコアかつ低バネコストのパーツが、所定数以上存在し、更に、それら複数のパーツのバネコストのばらつきが小さいことを、集団条件としてもよい。具体的には、例えば上記実施形態のＳ２４において、算出したバネコストがしきい値以下の高スコアパーツの数が一定数以上であり、かつ、これら高スコアパーツのバネコストのばらつき度合いが所定範囲内であるか否かを判定し、肯定判定した場合に、Ｓ２５へ移行して、現在の注目領域をターゲット領域として検出する。ここで、バネコストのばらつき度合いを表す値は、バネコストの平均値及び分散値として算出することができる。例えば、高スコアかつ低バネコストの複数のパーツのバネコストの平均値が一定範囲内で、かつ、それら複数のパーツのバネコストの分散値が一定範囲内の場合に、ターゲットの集団が存在すると判定する。このようにすれば、ターゲットの集団が存在するか否かを判定する精度を向上させることができる。

（３）上記実施形態では、バネコストを、単にバネモデルに基づく基準位置からのずれを表す値として定義したが、これに限定されるものではない。例えば、パーツのバネコストを算出する場合に、算出対象のパーツとは異なる種類の他のパーツであって、算出対象のパーツとの位置関係が同一のターゲットにおける位置関係として適正であると判定される他のパーツが存在する場合には、当該他のパーツが存在しない場合と比較して、バネコストを低く算出してもよい。具体的には、図１０に示す例では、頭パーツＨＰ１は、その頭パーツを基準とする適正な位置（バネモデルに基づく位置であり、詳細にはその位置を基準とする所定範囲内）に、左腕パーツＬＰ１及び右腕パーツＲＰ１が存在するため、バネコストを下げる。同様に、頭パーツＨＰ２も、その頭パーツを基準とする適正な位置に、左腕パーツＬＰ２及び右腕パーツＲＰ２が存在するため、バネコストを下げる。その結果、他の頭パーツＨＰ３，ＨＰ４，ＨＰ５のバネコストが相対的に高くなり、誤検出が抑制され、判定精度を向上させることができる。

（４）また、例えば、パーツのバネコストを算出する場合に、算出対象のパーツと同一種類の他のパーツであって、算出対象のパーツとの位置関係が、集団を構成する他のターゲットが有するパーツとの位置関係として適正である（例えば、集団に特有の周期性を満たす）と判定される他のパーツが存在する場合には、当該他のパーツが存在しない場合と比較して、バネコストを低く算出してもよい。例えば、複数のターゲットが横方向に並んでいる場合、ターゲットの各パーツは、横方向に一定の周期性を持って（例えばターゲットの横幅相当の周期で）存在する可能性が高いため、そのような位置に存在するパーツのバネコストを下げる。図１１に示す例では、頭の基準位置ＢＰに対して、注目領域ＦＲの横幅（ターゲットの肩幅）分に左右にシフトした位置ＳＰ１，ＳＰ２を設定し、その位置ＳＰ１，ＳＰ２（詳細には、その位置を基準とする所定範囲内）に存在する頭パーツＨＰ１，ＨＰ２のバネコストを下げる。その結果、他の頭パーツＨＰ３，ＨＰ４，ＨＰ５のバネコストが相対的に高くなり、誤検出が抑制され、判定精度を向上させることができる。

（５）上記実施形態では、注目領域ごとに、バネコストが一定範囲内の高スコアパーツが一定数以上存在する場合に、その注目領域を、ターゲット領域として検出したが、これに限定されるものではない。例えば図１２に示すように、バネコストが所定範囲内の同一種類の複数の高スコアパーツＨＰと、注目領域ＦＲと、を包含する領域（例えば外接矩形）を、ターゲット領域ＴＲとして判定してもよい。その後は、前述したように（図７）、パーツの種類ごとに検出したターゲット領域ＴＲを、その位置に応じて統合（グループ化）し、グループに属するターゲット領域ＴＲの外接矩形を、ターゲットの集団が存在する領域である集団領域ＧＲとして検出する。このようにすれば、高スコアパーツの位置が加味されたターゲット領域を検出することができる。

（６）上記実施形態では、注目領域を画像上の各位置（画像全域）に順に移動させるようにしているが、これに限定されるものではない。例えば、ターゲットの身体全体のモデルによって画像をスキャンして各位置でマッチングをとり、スコアが高い領域を事前に検出した上で、注目領域を設定すべき位置を絞り込むようにしてもよい。このようにすれば、ターゲット領域を検出するための処理負荷を低減することができる。

（７）上記実施形態では、車両前方の物体までの距離を検知する測距装置３１を備えた構成を例示したが、物体までの距離は、画像に基づき推測が可能であるため、必ずしも測距装置３１を設ける必要はない。例えば、画像におけるターゲット領域の下端位置（ターゲットの足下の位置）に基づいて、そのターゲットまでの距離を推測することができる。ただし、測距装置３１を備えた構成によれば、物体までの距離を精度よく検出することができ、より高精度の車両制御が可能となるという利点がある。

（８）上記実施形態では、ターゲットのパーツとして、頭、左腕、右腕、胴、左脚及び右脚のパーツを例示したが、パーツの数や、パーツとする部分など、上記実施形態に限定されるものではない。また、ターゲットは歩行者に限定されるものではなく、例えば、車両をターゲットとしてもよい。

（９）上記実施形態では、車両前方を撮像した画像からターゲットを検出するようにしているが、これに限定されるものではなく、例えば、車両の側方や後方を撮像した画像からターゲットを検出してもよい。また、車両以外で撮像した画像からターゲットを検出してもよい。

（１０）上記実施形態の各構成要素が有する機能は、ハードウェアに代えてソフトウェアで実現してもよく、ソフトウェアに代えてハードウェアで実現してもよく、ハードウェア及びソフトウェアの組合せで実現してもよい。また、各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、１つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。

（１１）上記実施形態は、本発明が適用された実施形態の一例に過ぎない。本発明は、システム、装置、方法、プログラム、プログラムを記録した記録媒体（ＣＤ−ＲＯＭやＤＶＤ等の光ディスク、磁気ディスク、半導体製メモリ等）、などの種々の形態で実現することができる。

１０…画像処理装置、２０…車両制御装置、３１…測距装置、３２…撮像装置、４１…スピーカ、４２…ブレーキ、４３…ステアリング、５０…制御部、５１…ターゲット集団検出部、５２…衝突危険度判定部、６０…記憶部、７０…報知制御部、８０…車両制御部

Claims (15)

1. 撮像装置（３２）により撮像された画像を入力し、前記画像においてターゲットを検出するための画像処理を行う画像処理装置（１０）であって、
   前記ターゲットが有する複数種類のパーツを前記画像において識別するためのパーツモデルと、前記ターゲットにおける複数種類の前記パーツの基準位置及びその基準位置に対するパーツの位置に応じたバネコストを表すバネモデルと、を記憶する記憶手段（６０）と、
   前記パーツモデルを用いたマッチング処理により算出される類似度に基づいて、前記画像において前記パーツを検出するパーツ検出手段（Ｓ１２）と、
   前記パーツ検出手段により検出された前記パーツに基づいて、前記画像において前記ターゲットの集団を検出する集団検出手段（Ｓ１３，Ｓ１４）と、
   を備え、
   前記集団検出手段は、
   前記ターゲットの存否を判定するための注目領域を、前記画像における複数の位置に順次設定する設定手段（Ｓ２１，Ｓ２９）と、
   前記注目領域に前記ターゲットが存在すると仮定した場合の前記基準位置を前記バネモデルに基づいて設定し、前記基準位置からのずれの度合いを表す値であるバネコストを、前記パーツ検出手段により検出された前記パーツのそれぞれについて算出するバネコスト算出手段（Ｓ２３）と、
   前記バネコスト算出手段により算出された前記バネコストが所定範囲内の同一種類の前記パーツが複数存在することを条件として、前記注目領域を、集団を構成する前記ターゲットが存在するターゲット領域として判定する判定手段（Ｓ２４，Ｓ２５）と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記判定手段は、前記バネコストが所定範囲内の同一種類の複数の前記パーツについて、前記バネコストのばらつき度合いを表す値を算出し、算出した値が所定範囲内であることを条件として、前記注目領域を前記ターゲット領域として判定する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記判定手段は、前記バネコストのばらつき度合いを表す値として、前記バネコストの平均値及び分散値のうち少なくとも一方を用いた値を算出する
   ことを特徴とする画像処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の画像処理装置であって、
   前記判定手段は、前記バネコストが所定範囲内の同一種類の複数の前記パーツについて、前記類似度の総和を算出し、算出した総和が所定のしきい値以上であることを条件として、前記注目領域を前記ターゲット領域として判定する
   ことを特徴とする画像処理装置。
5. 請求項１から請求項４に記載の画像処理装置であって、
   前記バネコスト算出手段は、前記パーツの前記バネコストを算出する場合に、算出対象の前記パーツとは異なる種類の他の前記パーツであって、算出対象の前記パーツとの位置関係が同一の前記ターゲットにおける位置関係として適正であると判定される他の前記パーツが存在する場合には、当該他の前記パーツが存在しない場合と比較して、前記バネコストを低く算出する
   ことを特徴とする画像処理装置。
6. 請求項１から請求項５に記載の画像処理装置であって、
   前記バネコスト算出手段は、前記パーツの前記バネコストを算出する場合に、算出対象の前記パーツと同一種類の他の前記パーツであって、算出対象の前記パーツとの位置関係が、集団を構成する他の前記ターゲットが有する前記パーツとの位置関係として適正であると判定される他の前記パーツが存在する場合には、当該他の前記パーツが存在しない場合と比較して、前記バネコストを低く算出する
   ことを特徴とする画像処理装置。
7. 請求項１から請求項６までのいずれか１項に記載の画像処理装置であって、
   前記パーツ検出手段は、前記画像における複数の部分領域について前記類似度を算出し、前記類似度が所定のしきい値以上の前記部分領域を前記パーツモデルの表す前記パーツとして検出する
   ことを特徴とする画像処理装置。
8. 請求項１から請求項７までのいずれか１項に記載の画像処理装置であって、
   前記判定手段は、前記バネコストが所定範囲内の同一種類の複数の前記パーツと、前記注目領域と、を包含する領域を、前記ターゲット領域として判定する
   ことを特徴とする画像処理装置。
9. 請求項１から請求項８までのいずれか１項に記載の画像処理装置であって、
   前記集団検出手段は、前記判定手段により前記パーツの種類ごとに判定された前記ターゲット領域を統合し、前記ターゲットの集団が存在する集団領域を検出する統合手段（Ｓ１４）を更に備える
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記統合手段は、互いに重なり合う複数の前記ターゲット領域を包含する領域を、前記集団領域として検出する
    ことを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置であって、
    前記統合手段は、前記撮像装置からの距離に応じて分類されるグループごとに、互いに重なり合う複数の前記ターゲット領域を包含する領域を、前記集団領域として検出する
    ことを特徴とする画像処理装置。
12. 請求項９から請求項１１までのいずれか１項に記載の画像処理装置であって、
    前記集団検出手段により検出された前記集団領域の評価値を算出する評価値算出手段（Ｓ１５）を更に備える
    ことを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置であって、
    前記評価値算出手段は、前記集団領域に含まれる前記ターゲット領域の判定に用いられた前記パーツの前記類似度の総和に基づいて、前記評価値を算出する
    ことを特徴とする画像処理装置。
14. 車両に搭載された撮像装置により撮像された画像を入力する請求項１２又は請求項１３に記載の画像処理装置と、
    前記画像処理装置により算出された前記集団領域の評価値に基づく制御として、前記車両の乗員への報知制御、及び、前記車両の衝突回避制御、のうち少なくとも一方を行う車両制御装置（２０）と、
    を備えることを特徴とする車両制御システム。
15. 請求項１４に記載の車両制御システムであって、
    前記車両制御装置は、前記集団領域の評価値に応じて前記制御の内容を異ならせる
    ことを特徴とする車両制御システム。

Images