JP5500559B2 - 物体検出装置 - Google Patents

Description

本発明は、入力画像から物体を検出する物体検出装置に関する。

近年、オフィスや家、公共施設などの空間において、その空間内の人の意図を理解し行動を支援する技術の実現が期待されている。このような人を観る技術を実現するためには、空間内のどこに人がいるかを知る必要があり、高精度な人検出の実現が課題となっている。

人検出は従来から盛んに研究されており、さまざまな手法が提案されている。従来の可視光カメラを用いた人検出手法は、局所特徴量とブースティングによる統計的学習からなる手法が多い。そして、局所特徴量として輝度の勾配方向をヒストグラム化した特徴量であるＨＯＧ（Histograms of Oriented Gradients）特徴量を用いた人検出方法が提案されている（例えば、非特許文献１参照）。

山内悠嗣，藤吉弘亘，Hwang Bon-Woo，金出武雄，"アピアランスと時空間特徴の共起に基づく人検出"，画像の認識・理解シンポジウム（MIRU2007），pp.1492-1497，2007年

しかしながら、従来の輝度勾配特徴量を用いる人検出方法では、複雑な背景が多い場合には、人の形状を捉えることが困難となり、検出精度が低下する場合がある。また、人の重なりが多く、オクルージョンが発生する場合にも、人の形状を捉えることが困難となり、検出精度が低下する場合がある。さらに、可視光カメラを用いる従来の人検出方法では、画像中における人のサイズが未知であるため、対象の検出時に検出ウィンドウのスケールを変化させながら画像上を複数回にわたりラスタスキャンするため処理コストが高く、リアルタイム処理が困難であるという問題がある。

本発明は上記点に鑑み、入力画像から物体を検出する物体検出装置において、物体の検出精度を向上させることを目的とする。さらに、本発明は物体検出装置において物体の検出を高速化させることを他の目的とする。

上記目的を達成するため、本発明の請求項１に記載の発明では、被写体までの距離を表す距離情報を取得し、前記距離情報を各画素の情報とする距離画像を取得する距離画像取得手段と、前記距離画像中の所定領域に含まれる前記画素の距離情報を所定距離毎に分類して、距離ヒストグラムを作成する距離ヒストグラム作成手段と、前記距離画像中の位置が異なる２つの前記所定領域の前記距離ヒストグラムの類似度を特徴量として算出する特徴量算出手段と、確信度の高い学習用距離画像を正事例とし、確信度の低い学習用距離画像を負事例として、それらを識別するのに適した識別器を構築するとともに、前記識別器を用いて前記特徴量に基づいて前記距離画像から検出対象である物体を検出する識別手段とを備えている。

このように、距離画像を用い、局所領域間の距離関係を捉える距離ヒストグラム特徴量を用いることで、複雑な背景が多い場合であっても、検出対象と背景との境界を捉えることができ、物体の検出精度を向上させることができる。

また、請求項２に記載の発明は、前記識別手段は、前記所定領域に含まれる前記画素の距離情報が所定の閾値より近い距離を示すものである場合に、当該画素をオクルージョンと判定するオクルージョン判定手段と、前記所定領域中における前記オクルージョンと判定された前記画素の割合であるオクルージョン率を算出するオクルージョン率算出手段と、前記オクルージョン率を用いて前記識別器を構築する識別器構築手段とを備えることを特徴としている。

このように、距離画像の距離情報を用いることでオクルージョン領域を容易に抽出することができるため、オクルージョン領域を考慮した物体検出を行うことができる。これにより、物体の検出精度をより向上させることができる。

また、請求項３に記載の発明では、前記距離画像生成手段は、３次元空間における位置が固定されており、前記距離画像を含んだ全体距離画像を取得し、３次元空間でラスタスキャンを行うことで、前記全体距離画像から前記物体に対応した前記距離画像を取得することを特徴としている。

距離情報を有する距離画像を用いることで、３次元空間で距離に応じて検出対象の大きさを特定することができる。このため、３次元空間でラスタスキャンを行う場合には、物体の大きさに合わない距離画像を削除することができ、２次元空間でラスタスキャンを行う場合に比較して、物体の検出を高速化することができる。

また、請求項４に記載の発明では、前記識別手段は、ＴＯＦカメラであることを特徴としている。ＴＯＦカメラは、ステレオカメラのような画像間の対応計算が不要であるため、物体の検出を高速化させることができる。

本発明を適用した実施形態の人検出装置の概念図である。 距離画像上における検出ウィンドウのスキャン手順を示す説明図である。 距離ヒストグラムの算出手順を示す概念図である。 インテグラル・ヒストグラムを用いた距離ヒストグラムの算出手順を示す説明図である。 距離情報を用いた人検出の流れを示す説明図である。 リアル・アダブーストのアルゴリズムを示す説明図である。 人が重なり合っている入力距離画像を用いた場合の弱識別器の応答を示す説明図である。 ミーンシフト・クラスタリングによる検出ウィンドウの統合結果を示す説明図である。 距離ヒストグラム特徴量を用いた人検出装置による評価実験結果を示す説明図である。 距離ヒストグラム特徴量を用いた人検出装置による評価実験結果を示す説明図である。

以下、本発明の物体検出装置を適用した実施形態について説明する。本実施形態の物体検出装置は、各画素までの距離情報を有する距離画像を分析して、距離画像に含まれる物体を検出するものである。本実施形態では、物体検出装置を人を検出するための人検出装置として用いている。

図１は、本実施形態の人検出装置１の概念図である。図１に示すように、本実施形態の物体検出装置は、距離画像取得部１０と演算処理部２０を備えている。演算処理部２０は、入力距離画像取得部２１と距離ヒストグラム特徴量算出部２２と識別部２３とから構成されている。

距離画像取得部１０は、距離画像を構成する各画素までの距離を検出可能なカメラやセンサ等の距離計測手段である。本実施形態では、距離画像取得部１０としてＴＯＦ（Time
of Flight）カメラを用いている。本実施形態では、距離画像取得部１０を３次元座標が固定された固定式カメラとして構成している。

ＴＯＦカメラは、カメラの周囲に付いたＬＥＤより照射される赤外光が対象物に反射し、カメラで観測されるまでの時間を計測することにより、対象物までの距離を計測することができる。ＴＯＦカメラでは、取得した画像を構成する各画素の距離を測定することができる。ＴＯＦカメラにより生成された距離画像は、各画素がカメラからの距離に応じて異なる輝度で表される。ＴＯＦカメラは、ステレオカメラを用いた場合に比較して、カメラ較正やステレオマッチングによる画像間の対応計算が不要であるため、処理コストが低く、リアルタイム処理が可能となる。本実施形態では、ＴＯＦカメラとしてＭＥＳＡ社のＳＲ−３０００を用いている。ＳＲ−３０００は、０．３ｍ〜７．５ｍ（分解能：３ｍにおいて２２ｍｍ）までの距離情報をリアルタイムで取得することができる。

演算処理部２０は、ＲＯＭ、ＲＡＭなどのメモリと、ＣＰＵと、ハードディスクなどの記憶装置を備えた周知のパーソナルコンピュータを用いることができ、記憶装置に記憶したプログラムに従って各種演算処理を行うように構成されている。演算処理部２０のＣＰＵは、距離画像取得部１０で取得した距離画像を入力画像として取り込み、その距離画像を用いて各種処理を実行し、人を検出するように構成されている。

本実施形態の演算処理部２０は、ＴＯＦカメラより得られる距離情報を用いて人体と背景の距離関係を捉えることで入力距離画像から人を検出するように構成されている。そこで、本実施形態の演算処理部２０では、入力距離画像取得部２１により入力距離画像を取得し、距離ヒストグラム特徴量算出部２２により入力距離画像中の２つの局所領域間の距離分布の類似度から距離ヒストグラム特徴量を算出し、識別部２３により距離ヒストグラム特徴量を用いて入力距離画像から人を検出する。距離ヒストグラムは、入力距離画像の局所領域における各画素の距離情報を所定距離毎に分類して、出現する頻度をヒストグラム化したものである。また、距離ヒストグラム特徴量は、入力距離画像中の２つの局所領域から得られる距離ヒストグラムの類似度を特徴量としたものである。

図２は、入力距離画像取得部２１による距離画像から検出ウィンドウを取得する手順を示す説明図である。図２では、ｙが高さ方向の距離、ｘが水平方向の距離、ｚが奥行き方向の距離を示している。本実施形態では、ＴＯＦカメラを高さ２．５ｍの位置に設置し、縦４ｍ×横５ｍ×奥行き７．５ｍの室内空間における全体距離画像を取得する。そして、室内空間全体に対応して広範囲に生成された全体距離画像から人の大きさに対応する検出ウィンドウを抽出する。識別部２３は、各検出ウィンドウに人が存在するか否かを識別する。本実施形態では、ＴＯＦカメラで取得した全体距離画像からラスタスキャンによって検出ウィンドウを抽出する。

図２に示す例では、ｙｗ＝０とした地面上で、所定の大きさの検出ウィンドウをＴＯＦカメラからの距離ｚｗを変化させながら、ｘｗ方向にラスタスキャンを繰り返すことにより、３次元実空間の地面上をラスタスキャンする。本実施形態では、検出対象である人体の大きさに対応して、検出ウィンドウを横０．６ｍ×縦１．８ｍとしている。３次元実空間中のラスタスキャンにより得られる検出ウィンドウの３次元座標は、数式１を用いて座標空間［ｕ，ｖ］Ｔに投影することができる。

ここで、行列Ｐは透視投影行列であり、カメラキャリブレーションにより得られた内部パラメータＡと、外部パラメータである回転行列Ｒと平行移動ベクトルＴから算出される。ＴＯＦカメラは、画像座標（ｕ，ｖ）と、対応する４ｍ×５ｍ×７．５ｍの空間内における世界座標（ｘｗ，ｙｗ，ｚｗ）を取得することができるため、容易にカメラキャリブレーションを行うことが可能である。そして、投影された座標空間における各検出ウィンドウを入力距離画像として距離ヒストグラムを算出する。

図３は、距離ヒストグラム算出部２２による距離ヒストグラムの算出手順を示す概念図である。本実施形態では、入力距離画像を１２８ピクセル（縦方向）×６４ピクセル（横方向）としており、この入力距離画像を８ピクセル×８ピクセルのセルに分割する。入力距離画像は１６セル×８セルに分割される。

次に、入力距離画像から距離ヒストグラム特徴量の算出対象となる２つの局所領域を選択する。本実施形態では、距離ヒストグラムを算出する際に正規化を行うため、大きさの異なる領域同士の距離ヒストグラムの類似度を算出することが可能となる。距離ヒストグラムの類似度の算出対象となる領域サイズを変化させることで、人の肩や頭部にような１つのセルでは表現できないような領域における距離関係を捉えることが可能となる。この領域は、１以上のセルから構成され、本実施形態では矩形領域としている。１×１セルから８×８セルまでセル単位で変化させることにより、１６セル×８セルの入力距離画像には４９２個の矩形領域が存在するので、１つの入力距離画像から１２０，７８６個の矩形領域の組合せ（距離ヒストグラム特徴量の候補）が得られる。

次に、選択した各領域に含まれる各画素の距離情報から距離ヒストグラムを算出する。上述のように、距離ヒストグラムは、各画素の距離情報を所定距離毎に分類して、出現する頻度をヒストグラム化したものである。例えば、１セルには６４ピクセルそれぞれに距離情報が存在するので、１セルに対応する距離ヒストグラムは６４個の距離情報から構成される。

図４は、インテグラル・ヒストグラム（Integral Histogram）を用いた距離ヒストグラムの算出手順を示す説明図である。本実施形態では、距離ヒストグラムの計算コストを抑えるために、インテグラル・ヒストグラム（Integral Histogram）を用いて高速に距離ヒストグラムを算出している。インテグラル・ヒストグラムについては、「F.Porikli, "Integral Histogram: A Fast Way to Extract Histograms in Cartesian Spaces", IEEE Computer Visio and Pattern Recognition, pp. 829-836, (2005)」を参照のこと。

図４に示すように、まず、距離画像を構成する各画素の距離情報を所定間隔で量子化する。これにより、所定間隔より小さい単位の距離情報が所定間隔毎にまとめられる。「所定間隔」は、検出対象の大きさによって任意に設定することができ、人体を検出対象としている本実施形態では、「所定間隔」を０．３ｍに設定している。本実施形態では、０ｍ〜７．５ｍを０．３ｍ間隔とするため、０．３ｍ単位（０．３ｍ，０．６ｍ，０．９ｍ，・・・，７．５ｍ）の２５個のビン（区切り）からなる距離ヒストグラムを算出することとなる。

次に、ｎ番目のビンに対応する量子化画像ｉｎを２５個作成し、下記数式２を用いて各量子化画像ｉｎ（ｕ，ｖ）から積分画像ｉｉｎ（ｕ，ｖ）を算出する。

ここで、ｓｎ（ｕ，ｖ）は、ビンｎにおける行の画素の総数、ｉｉｎ（ｕ，ｖ）は列のｓｎの総和を表わしている。ただし、ｓｎ（ｕ，−１）＝０，ｉｉｎ（−１，ｖ）＝０とする。図４の積分画像の「Ｄ」の領域から距離ヒストグラムのｎ番目のビンＤｎを算出するには、ｎ番目の積分画像ｉｉｎから下記数式３により４点から和を求めればよい。

以上のように、インテグラル・ヒストグラムを用いて距離ヒストグラムを算出することにより、領域の大きさに関係なく距離ヒストグラムのｎ番目のビンの値を高速に算出することが可能となる。

次に、各領域の距離ヒストグラムを、それぞれの距離ヒストグラムにおける各ビンの頻度の合計が「１」となるように正規化する。正規化距離ヒストグラムを得るためには、距離ヒストグラムの各ビンの頻度を対象領域に含まれるピクセル数で除算すればよい。

次に、算出された２５個のビンから成る２つの正規化距離ヒストグラムｐ、ｑ の各ビンをｐｎ、ｑｎとし、２つの領域の正規化距離ヒストグラムの類似度Ｓを算出する。本実施形態では、数式４に示すバタッチャリア（Bhattacharyya）距離による類似度Ｓを算出している。なお、バタッチャリア（Bhattacharyya）距離については、「A. Bhattacharyya, "On a Measure of Divergence between Two Statistical Population Defined by Probability Distributions", Bull. Calcutta Math. Soc., vol.35, pp.99-109, (1943)」を参照のこと。

数式４で算出される類似度Ｓを距離ヒストグラム特徴量とする。この数式４による任意のセルの距離ヒストグラムの類似度Ｓの算出を、全ての矩形領域の組み合わせに対して行うことにより、距離ヒストグラム特徴量ベクトルを算出する。距離ヒストグラム特徴量は、異なる領域の類似度から得られる特徴量であるため、カメラからの距離に依存しない２つの領域の相対的な距離関係を表現する特徴量となる。

図５は、識別部２３による距離情報を用いた人検出の流れを示す説明図である。図５に示すように、識別部２３によって、距離ヒストグラム特徴量を用いて入力距離画像に人が含まれているか否かを判定する。本実施形態の識別部２３は、周知のリアル・アダブースト（Real AdaBoost）によるカスケード型の識別器として構成されている。

図６は、リアル・アダブーストのアルゴリズムを示す説明図である。リアル・アダブーストによって構築される識別器は、識別関数が誤認識を起こしたデータを重視して再学習を行う。この処理をＴ回反復した後、生成された識別器群の識別関数のアンサンブルによって最終的な識別関数を生成する。

リアル・アダブーストの識別器は、弱識別器のすべての判別結果（検出対象画像であれば「１」、非検出対象画像であれば「０」）が結合機に供給され、結合機はすべての判別結果に対して、対応する弱識別器毎に学習時に算出された信頼度を重み付け加算し、その重み付き多数決の結果を出力し、結合機の出力値を評価することで入力された画像が検出対象か否かを判定するものである。識別器をカスケード型に構築することによって、検出対象の検出率を低下させることなく、誤検出率を抑制することができる
識別部２３の学習には、学習用サンプル（学習用距離画像）が用いられる。学習用サンプルは、検出対象画像（人の画像）であるポジティブクラスと非検出対象画像（人以外の画像）のネガティブクラスからなる。ポジティブクラスは、検出対象である確信度が高い正事例であり、ネガティブクラスは、検出対象である確信度が低い負事例である。リアル・アダブーストでは、ポジティブクラスの特徴量とネガティブクラスの特徴量の各次元の確率密度から分離度を求め、ポジティブクラスとネガティブクラスを最も分離できる特徴量を弱識別器として選択する。このとき分離度を評価値とするため、実数による識別結果の出力が可能である。

特徴量ｘを入力としたリアル・アダブーストの弱識別器の出力ｈ（ｘ）を得るために、ポジティブクラスの特徴量の確率密度分布Ｗ＋とネガティブクラスの特徴量の確率密度分布Ｗ−を作成する（図６の３．１）。確率密度分布Ｗ±は、１次元のヒストグラムにより表現され、学習サンプルの重みＤｔに基づいて作成される。Ｎ番目の学習サンプルから特徴量を算出し、特徴量の値に対応する１次元ヒストグラムのビンの番号ｊへ学習サンプルの重みＤｔ（ｉ）を加算することで、確率密度分布Ｗ±を作成することができる。リアル・アダブーストの弱識別器の出力ｈｔ（ｘ）を、確率密度分布Ｗ±を用いて算出する（図６の３．２）。ここで、εは分母がゼロになることを防ぐための計数である。さらに、確率密度分布Ｗ±を用いて弱識別器選択のための評価値Ｚｍを算出する（図６の３．３）。

そして、Ｍ個の弱識別器から評価値Ｚｍが最も小さい弱識別器を選択し（図６の４）、学習サンプルの重みＤｔ（ｉ）を更新し（図６の５）、学習サンプルの重みＤｔ（ｉ）を正規化する（図６の６）。学習により選択された弱識別器をｈｔ（ｘ）とすると、構築される最終識別器は、下記数式５となる。

本実施形態の識別部２３は、オクルージョンを考慮して最終識別器を構築するようにしている。つまり、複数の人が重なるような混雑したシーンにおいては、対象とする人領域にオクルージョンが発生する場合がある。オクルージョン領域から抽出される距離情報は、弱識別器の誤った応答を出力する原因となる。したがって、このようなオクルージョン領域を捉える弱識別器の出力は、そのまま最終識別器に統合しないようにする。本実施形態では、検出ウィンドウを３次元実空間においてラスタスキャンするため、ウィンドウの世界座標が既知である。そこで、ＴＯＦカメラから得られる距離情報と比較することで、カメラに対して検出ウィンドウより手前に存在する物体領域をオクルージョンとして判別し、人の識別に利用する。

３次元実空間におけるラスタスキャン時の検出ウィンドウの距離ｚｗを用いて、オクルージョン判定の閾値を決定する。本実施形態では、オクルージョン判定の閾値を「ｚｗ−０．３ｍ」としている。つまり、検出ウィンドウの距離ｚｗの０．３ｍ手前の位置を閾値として、それより近い場合にオクルージョンと判定する。検出ウィンドウ内の各画素を（ｕ，ｖ）、そのデプスマップをｄ（ｕ，ｖ）とすると、各座標におけるオクルージョンラベルＯ（ｕ，ｖ）は、下記数式６で表わされる。

図５における左から２番目に示す検出ウィンドウでは、オクルージョン領域を黒色で示している。

ｔ番目の弱識別器ｈｔ（ｘ）の対象とする矩形領域Ｂｔ内に存在するオクルージョン領域の割合をオクルージョン率ＯＲｔとし、下記数式７により求める。

数式７で算出されたオクルージョン率ＯＲｔを用いてオクルージョン領域を考慮した最終識別器Ｈ’（ｘ）は下記数式８で表わされる。

矩形領域Ｂｔ内のオクルージョン領域の割合が１００％の場合（完全に重なっている場合）には、（１−ＯＲｔ）＝０となり、当該弱識別器の識別結果は用いられない。矩形領域Ｂｔ内のオクルージョン領域の割合が０％の場合（完全に重なっていない場合）には、（１−ＯＲｔ）＝１となり、当該弱識別器の識別結果は用いられる。また、矩形領域Ｂｔ内のオクルージョン領域の割合が０％より大きく１００％未満の場合（一部重なっている場合）には、０＜（１−ＯＲｔ）＜１となり、当該弱識別器の識別結果は一部用いられる。

図７は、人が重なり合っている入力距離画像を用いた場合の弱識別器の応答を示し、（ａ）はオクルージョン領域を考慮しない場合を示し、（ｂ）はオクルージョン領域を考慮した場合を示している。図７（ａ）は数式５に示すオクルージョン領域を考慮しない弱識別器を用いた例を示し、図７（ｂ）は数式８に示すオクルージョン領域を考慮した弱識別器を用いた例を示している。図７（ａ）、図７（ｂ）は、５００個の弱識別器を用いた例を示し、各弱識別器の応答は「＋１（人）」〜「−１（人以外）」の範囲となる。そして、各弱識別器の応答の合計値が最終識別器の応答となる。

図７（ａ）に示す例では、最終識別器の応答が「−０．２７」であった。つまり、オクルージョン領域を考慮しない最終識別器により識別を行った場合には、多くの弱識別器の出力がマイナス（人以外と識別）となり、結果として人以外と誤識別されることとなる。また、図７（ｂ）に示す例では、最終識別器の応答が「＋１５．１５」であった。つまり、オクルージョン領域を考慮した最終識別器により識別を行った場合には、図７（ａ）でマイナス（人以外と識別）となった各弱識別器の応答の一部または全部が用いられないため、人として正しく識別されることとなる。

本実施形態の識別部２３は、３次元実空間におけるミーンシフト（Mean-Shift）・クラスタリングにより、人と識別された検出ウィンドウを統合し、全体距離画像における人領域を決定するように構成されている。

３次元ミーンシフト・クラスタリングは、下記数式９によりミーンシフト・ベクターｍ（ｘ）を算出する。ここで、ｘは移動している検出ウィンドウの中心座標、ｘｉは各データの３次元座標を表す。ｋはカーネル関数、ｈはバンド幅であり、本実施形態では０．３ｍとしている。

図８は、ミーンシフト（Mean-Shift）・クラスタリングによる検出ウィンドウの統合結果を示す説明図である。図８は、上段が画像空間における２次元ミーンシフト・クラスタリングにより検出ウィンドウの統合を示し、下段が３次元空間における３次元ミーンシフト・クラスタリングにより検出ウィンドウの統合を示している。

本発明者は、「背景技術」の欄で記載した非特許文献１において、従来の可視光カメラによる人検出で、人と識別された検出ウィンドウをミーンシフト（Mean-Shift）・クラスタリングにより結合して検出結果とすることを提案している。しかしながら、図８の上段に示すように、画像空間におけるミーンシフト・クラスタリングでは、全体距離画像中に５人存在するにもかかわらず、検出ウィンドウが３つの領域に統合されている。つまり、画像空間におけるミーンシフト・クラスタリングでは、人の重なりのある場合に検出ウィンドウが誤って統合されてしまう可能性がある。

これに対し、本実施形態では、３次元実空間におけるミーンシフト・クラスタリングを行う。図８の下段に示すように、３次元実空間におけるミーンシフト・クラスタリングでは、全体距離画像中に５人存在する場合に、検出ウィンドウが５つの領域に統合されている。つまり、３次元実空間におけるミーンシフト・クラスタリングでは、人の重なりのある場合でも距離情報によりクラスタを分離することが可能であるため、検出ウィンドウの誤った統合を抑制することができる。

次に、本実施形態の人検出装置１を用いた評価実験結果について説明する。評価実験では、屋内にＴＯＦカメラを２．５ｍの高さに設置し、人の歩行シーンと複数の人が重なり合うシーンを対象とした。学習用距離画像として、撮影した屋内のシーケンス画像から切り出した学習用ポジティブサンプル１３６４枚、学習用ネガティブサンプル１００００枚を用いた。また、学習用とは別に作成した評価用ポジティブサンプル２２０６枚、評価用ネガティブサンプル８１００枚を用いた。ＴＯＦカメラによる屋内の撮影は、奥行きが最長７．５ｍとなるため、複数の人の全身を撮影することが困難である。このため、評価実験では人の上半身（全身の上部６０％）を検出対象とした。

図９は、本実施形態の人検出装置１による評価実験結果を示している。図９では、本実施形態の人検出装置１において、矩形領域サイズを可変にした場合と、可変にしない場合の双方の評価実験結果を示している。さらに、比較のために、距離画像のＨＯＧ特徴量（輝度勾配特徴量）を用いた人検出方法による評価実験結果と、距離ヒストグラム特徴量とＨＯＧ特徴量を組み合わせて用いた人検出方法による評価実験結果を示している。

図９では、実験結果の比較にＲＯＣ（Receiver Operating Characteristic）カーブを用いている。ＲＯＣカーブとは、横軸に誤検出率、縦軸に検出率を示したものである。識別器の閾値を変化させることによって、誤検出率に対する検出率の比較を行うことができる。図９における左上に近いほど、検出率が高く、かつ、誤検出率が低くなり、検出性能が高いことを示す。

図９に示すように、距離ヒストグラム特徴量（矩形領域サイズの可変なし）を用いた場合には、誤検出率５．０％において検出率９６．８％であり、距離画像のＨＯＧ特徴量を用いた場合より２．８％識別率が向上している。これにより、距離ヒストグラム特徴量を用いることで、検出対象と背景との境界を捉えることができるので、輝度勾配特徴量を用いる場合より、人の検出精度を向上させることができている。

また、距離ヒストグラム特徴量（矩形領域サイズの可変あり）を用いた場合には、誤検出率５．０％において検出率９８．９％であり、距離ヒストグラム特徴量（矩形領域サイズの可変なし）を用いた場合より２．１％識別率が向上している。これにより、距離ヒストグラムの類似度の算出対象となる局所領域サイズを可変にすることで、人の肩や頭部にような１つのセルでは表現できないような領域における距離関係を捉えることが可能となるため、人の検出精度を向上させることができている。

さらに、ＨＯＧ特徴量と距離ヒストグラム特徴量（矩形領域サイズの可変あり）を組み合わせて用いた場合には、距離ヒストグラム特徴量（矩形領域サイズの可変あり）のみを用いた場合と、同様の識別結果となっている。

図１０は、本実施形態の人検出装置１において、オクルージョン対応ありとなしの評価実験結果を示している。図１０に示す評価実験では、ＨＯＧ特徴量と距離ヒストグラム特徴量を組み合わせた人検出方法においても、オクルージョン対応ありとなしの場合の評価実験を行った。図１０においても図９と同様、ＲＯＣカーブを用いている。

図１０に示すように、距離ヒストグラム特徴量（オクルージョン対応あり）を用いた場合では、誤検出率５．０％において、検出率９６．９％であり、距離ヒストグラム特徴量（オクルージョン対応なし）を用いた場合より３％識別率が向上している。同様に、ＨＯＧ特徴量と距離ヒストグラム特徴量（オクルージョン対応あり）を組み合わせて用いた場合では、誤検出率５．０％において、検出率９６．４％であり、ＨＯＧ特徴量と距離ヒストグラム特徴量（オクルージョン対応なし）を組み合わせて用いた場合より２．３％識別率が向上している。このように、オクルージョン率を用いて識別に有効な弱識別器に重み付けし、最終識別器の出力を求めることにより、オクルージョン領域の影響を抑えることができる。

次に、本実施形態の距離ヒストグラム特徴量を用いた人検出での特徴量の選択特性について説明する。ＨＯＧ特徴量を用いた人検出では、人の頭部や肩のエッジが選択されることから、人の輪郭線を捉えるように特徴量が選択されている。これに対し、リアル・アダブースト識別器の初期の学習において選択された特徴量は、人の領域と背景領域の組合せが多く選択されており、人と背景の境界線を捉えている。さらに、距離ヒストグラム特徴量（矩形領域サイズの可変あり）では、人と背景の境界線を任意のサイズで捉えるように領域が選択されている。これは、人の輪郭線領域の距離関係を捉えることで大まかな人の形状を捉えていると考えられる。

次に、本実施形態の人検出装置１の処理時間について説明する。２次元空間で検出ウィンドウをラスタスキャンする場合には、画像中における人の大きさが未知であるため、検出ウィンドウの大きさを変化させながら画像上を複数回にわたってラスタスキャンする必要がある。このため、検出ウィンドウ数が多くなり、処理コストが高く、リアルタイム処理が困難である。これに対し、本実施形態では、３次元実空間での検出ウィンドウのラスタスキャンを行っている。３次元ラスタスキャンでは、画像中における人の大きさをカメラからの距離に応じて規定できるため、人の大きさに合わない検出ウィンドウを削除することができ、検出ウィンドウ数を少なくすることができる。このため、３次元ラスタスキャンでは、２次元ラスタスキャンに比較して検出ウィンドウ数を大幅に減少させることができる。

本実施形態の人検出装置１では、インテル社製のＣＰＵ（Ｘｅｏｎ：３．００ＧＨｚ）を用いた場合の１フレーム（検出ウィンドウ３６１個）の処理時間が、特徴量算出に要する時間が２４．３１ｍｓ（検出ウィンドウ１個あたり０．０６７ｍｓ）、識別に要する時間が４５．３４ｍｓ（検出ウィンドウ１個あたり０．１２５ｍｓ）、検出ウィンドウの統合に要する時間が３１．９７ｍｓとなっている。このため、本実施形態の人検出装置１では、１フレームあたり約１００ｍｓで処理を行うことが可能となり、約１０ｆｐｓでリアルタイム処理を行うことが可能となる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、各請求項に記載した範囲を逸脱しない限り、各請求項の記載文言に限定されず、当業者がそれらから容易に置き換えられる範囲にも及び、かつ、当業者が通常有する知識に基づく改良を適宜付加することができる。

例えば、上記各実施形態では、物体検出装置の検出対象の物体を人としたが、これに限らず、動物や自動車などの人以外の物体を検出対象としてもよい。さらに、物体検出装置の検出対象は必ずしも物体全体である必要はなく、例えば人の顔のように物体の一部であってもよい。

また、上記実施形態では、距離画像取得部１０としてＴＯＦカメラを用いたが、これに限らず、距離画像取得部１０は取得した画像中の各画素のカメラまでの距離が計測できればよく、例えばステレオカメラを用いることもできる。

また、上記実施形態では、距離画像取得部１０として固定式カメラを用いた例について説明したが、これに限らず、本発明は３次元空間でのラスタスキャンを除いて距離画像取得部１０として移動式カメラを用いる場合にも適用可能である。

また、上記実施形態では、識別部２３をリアル・アダブーストによる識別器で構成したが、これに限らず、公知のＳＶＭ（サポートベクターマシーン）やニューラルネットワークを用いて識別部２３を構成してもよい。

また、上記実施形態では、選択した２つの領域の距離ヒストグラムの類似度をバタッチャリア（Bhattacharyya）距離を用いて算出したが、これに限らず、他の手法によって距離ヒストグラムの類似度を算出してもよい。

また、上記実施形態では、距離画像中の矩形領域を用いて距離ヒストグラム特徴量を算出したが、これに限らず、距離画像中の任意の形状の領域を用いて距離ヒストグラム特徴量を算出することができる。

１…人検出装置、１０…距離情報取得部、２０…演算処理部、２１…入力画像取得部、２２…距離ヒストグラム算出部、２３…識別部。

Claims (4)

1. 被写体までの距離を表す距離情報を取得し、前記距離情報を各画素の情報とする距離画像を取得する距離画像取得手段と、
   前記距離画像中の所定領域に含まれる前記画素の距離情報を所定距離毎に分類して、距離ヒストグラムを作成する距離ヒストグラム作成手段と、
   前記距離画像中の位置が異なる２つの前記所定領域の前記距離ヒストグラムの類似度を特徴量として算出する特徴量算出手段と、
   確信度の高い学習用距離画像を正事例とし、確信度の低い学習用距離画像を負事例として、それらを識別するのに適した識別器を構築するとともに、前記識別器を用いて前記特徴量に基づいて前記距離画像から検出対象である物体を検出する識別手段とを備えることを特徴とする物体検出装置。
2. 前記識別手段は、
   前記所定領域に含まれる前記画素の距離情報が所定の閾値より近い距離を示すものである場合に、当該画素をオクルージョンと判定するオクルージョン判定手段と、
   前記所定領域中における前記オクルージョンと判定された前記画素の割合であるオクルージョン率を算出するオクルージョン率算出手段と、
   前記オクルージョン率を用いて前記識別器を構築する識別器構築手段とを備えることを特徴とする請求項１に記載の物体検出装置。
3. 前記距離画像生成手段は、３次元空間における位置が固定されており、前記距離画像を含んだ全体距離画像を取得し、３次元空間でラスタスキャンを行うことで、前記全体距離画像から前記物体に対応した前記距離画像を取得することを特徴とする請求項１または２に記載に物体検出装置。
4. 前記識別手段は、ＴＯＦカメラであることを特徴とする請求項１ないし３のいずれか１つに記載の物体検出装置。

Images