JP5946294B2 - 対象物検出装置、対象物検出方法、対象物検出プログラムおよび自動走行車両 - Google Patents

Description

本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置、対象物検出方法、対象物検出プログラムおよび自動走行車両に関する。

ゴルフカート等の自動走行車両には、障害物の存在および障害物までの距離を検出するために超音波センサが用いられる。

特許文献１に記載されたゴルフカートに設けられた対象物センサは、前方に超音波を発信し、障害物により反射される超音波を受信することにより前方に障害物があることを検出するとともにその大きさを検出する。対象物センサが障害物を検出したときにはその大きさに応じてコントローラがゴルフカートの走行を制御する。

特開２００９−１１６８６０号公報

Y. Freund and R. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting," Journal of Computer and System Sciences, pp. 119-139, 1997.

しかしながら、特許文献１のゴルフカートに設けられた対象物センサは、超音波を用いることから、風の影響を受けやすい。

一方、ステレオカメラから得られる左画像および右画像の対応点を求めることにより距離画像を取得するステレオマッチングの手法がある。ステレオマッチングにより得られる距離画像を用いることにより、風の影響を受けずに障害物を検出することが可能である。ステレオマッチングでは、左のカメラにより得られた左画像にマッチング窓（以下、左マッチングと呼ぶ。）が設定され、右のカメラにより得られた右画像にマッチング窓（以下、右マッチング窓と呼ぶ。）が設定される。左画像上で左マッチング窓が異なる複数の位置に順次設定される。左マッチング窓が左画像の各位置にあるときに、右画像上で右マッチング窓が移動される。左マッチング窓内の画像と右マッチング窓内の画像とが一致（マッチング）するときの左マッチング窓と右マッチング窓とのずれ量に基づいて距離画像が生成される。距離画像により物体までの距離が検出される。

ステレオマッチングでは、マッチング窓のサイズが小さいと、距離画像にノイズが発生しやすい。そのため、ノイズの影響によりマッチングエラーが生じやすい。マッチングエラーを低減するためには、マッチング窓のサイズを大きくする必要がある。しかしながら、マッチング窓のサイズを大きくすると、物体の検出に有用な輪郭情報が損なわれやすい。また、ステレオマッチングにおける計算量が増加する。

本発明の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置、対象物検出方法および対象物検出プログラムを提供することである。

本発明の他の目的は、計算量を増加させることなくかつ輪郭情報を損なうことなく距離画像データにおけるノイズの影響を抑制することが可能な対象物検出装置を備える自動走行車両を提供することである。

（１）第１の発明に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定し、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。

その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。

この場合、距離画像データの複数の画素についてＬＢＰが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のＬＢＰのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰがそれぞれ複数のビンに設定されるとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。

ここで、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

（２）処理部は、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成し、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するように構成されてもよい。

この場合、各特徴量についてのしきい値を適切に設定するとともに各識別値に対応する重み付け係数を適切に設定することにより、検出対象物の有無をより正確に判定することができる。

（３）しきい値、および複数の特徴量についての識別値に対応する重み付け係数は、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定されてもよい。

この場合、検出対象物の有無の判定精度が高くなるように各特徴量についてのしきい値および重み付け係数を設定することが可能となる。それにより、検出対象物の有無をより正確に判定することができる。

（４）処理部は、距離画像生成部により生成された距離画像データに、複数の単位領域をそれぞれ含む複数の検出窓を位置および面積の少なくとも一方が異なるように順次設定し、各検出窓について検出対象物の有無を判定するように構成されてもよい。

この場合、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。

（５）処理部は、複数の検出窓に含まれる複数の単位領域の数が等しくなるように各単位領域に含まれる画素の数を調整し、各ヒストグラムを対応する単位領域に含まれる画素の数を用いて正規化するように構成されてもよい。

この場合、複数の検出窓の面積が異なる場合でも、予め定められた数の特徴量を正確に選択することができる。

（６）第２の発明に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定するステップと、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。

その対象物検出方法によれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約されて設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

（７）検出対象物の有無を判定するステップは、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含んでもよい。

この場合、各特徴量についてのしきい値を適切に設定するとともに各識別値に対応する重み付け係数を適切に設定することにより、検出対象物の有無をより正確に判定することができる。

（８）対象物検出方法は、しきい値、および複数の特徴量についての識別値に対応する重み付け係数を、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定するステップをさらに備えてもよい。

この場合、検出対象物の有無の判定精度が高くなるように各特徴量についてのしきい値および重み付け係数を設定することが可能となる。それにより、検出対象物の有無をより正確に判定することができる。

（９）学習にはアダブーストが適用されてもよい。この場合、検出対象物の有無の判定の結果が環境変動の影響を受けにくくなる。

（１０）第３の発明に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定する処理と、複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。

その対象物検出プログラムによれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約して設定される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

（１１）第４の発明に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第１の発明に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。

その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

（１２）本体部は、予め定められた経路を移動可能に構成されてもよい。この場合、対象物検出装置により検出対象物の有無を正確に判定することが可能となる。

本発明によれば、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

本実施の形態に係るゴルフカートの外観側面図である。 ゴルフカートの内部構成を示すブロック図である。 演算処理部の構成を示すブロック図である。 対象物検出装置の構成を示す機能ブロック図である。 （ａ），（ｂ）は、それぞれカメラより得られる左画像および右画像の一例を示す図である。 （ａ），（ｂ）は、それぞれ左マッチング窓および右マッチング窓を示す模式図である。 距離画像データにより表される距離画像の一例を示す図である。 ＬＢＰの生成方法を説明するための模式図である。 バイ・リニア内挿による複数の画素部分の値の取得を示す模式図である。 （ａ），（ｂ）は、距離画像に設定された検出窓の例を示す図である。 図１０（ａ）の検出窓の構成を示す模式図である。 図１０（ｂ）の検出窓の構成を示す模式図である。 １つのセルを示す図である。 １つのセルについてのＬＢＰのヒストグラムの一例を示す図である。 １つの検出窓についての特徴量を示す図である 図４の演算処理部により行われる対象物検出処理を示すフローチャートである。 アダブーストによる学習を示すフローチャートである。 １つの特徴量についての全ポジティブサンプルおよび全ネガティブサンプルのヒストグラムの例を示す図である。

以下、本発明の一実施の形態に係る対象物検出装置およびそれを備えた自動走行車両について図面を参照しながら説明する。以下の実施の形態では、自動走行車両の一例としてゴルフカートについて説明する。

（１）ゴルフカートの構成
図１は、本実施の形態に係るゴルフカートの外観側面図である。図１に示すように、ゴルフカート１００は、車体２０、一対の前輪１１および一対の後輪１２を有する。車体２０は、下部車体２０ａ、左右側の支持枠２０ｂおよび屋根部２０ｃを有する。下部車体２０ａの四隅から上方に延びるように支持枠２０ｂが設けられ、支持枠２０ｂの上端部に屋根部２０ｃが取り付けられる。一対の前輪１１および一対の後輪１２は、車体２０を支持するように下部車体２０ａのそれぞれ前端部および後端部に回転可能に取り付けられる。左側の支持枠２０ｂには、左画像用のカメラ１Ｌが取り付けられる。右側の支持枠２０ｂには、右画像用のカメラ１Ｒが取り付けられる。図１には、右側の支持枠２０ｂおよび右画像用のカメラ１Ｒは図示されていない。カメラ１Ｌ，１Ｒは例えばＣＣＤ（電荷結合素子）カメラである。

下部車体２０ａ上の略中央部には前部シート１３が設けられ、下部車体２０ａ上の後部には後部シート１４が設けられる。前部シート１３の前方にはハンドル１５が設けられる。前部シート１３に着座する搭乗者がハンドル１５を操作することにより、前輪１１の向きが調整され、ゴルフカート１００の操舵が行われる。下部車体２０ａの後端部には、ゴルフバッグ等を載置するためのキャリア１６が設けられる。

本実施の形態に係るゴルフカート１００は、搭乗者の任意の選択により、自動走行モードおよび手動走行モードのいずれかで動作を行う。自動走行モードでは、ゴルフカート１００は予め定められた経路を自動的に走行する。手動走行モードでは、搭乗者によりハンドル１５ならびに後述のアクセルペダルおよびブレーキペダルが操作される。

図２は、ゴルフカート１００の内部構成を示すブロック図である。図２に示すように、ゴルフカート１００は、対象物検出装置１０、車両制御部５０、バッテリ５１、駆動モータ２１、トランスミッション２２、電磁ブレーキ２３、アクセルペダル２４、ブレーキペダル２５およびブレーキ駆動部２６を備える。

対象物検出装置１０は、左画像用のカメラ１Ｌ、右画像用のカメラ１Ｒ、左画像用の画像メモリ２Ｌ、右画像用の画像メモリ２Ｒ、演算処理部３０および外部記憶装置４０を含む。

車両制御部５０は、バッテリ５１の充放電制御を行うとともに、バッテリ５１の電力を用いて後述の各部の動作を制御する。

駆動モータ２１、トランスミッション２２および電磁ブレーキ２３は、ゴルフカート１００の後部に設けられる。後輪１２の車軸１２ａにトランスミッション２２が接続され、駆動モータ２１および電磁ブレーキ２３がトランスミッション２２に取り付けられる。駆動モータ２１の回転力は、トランスミッション２２を介して後輪１２の車軸１２ａに伝達される。それにより、後輪１２が駆動される。

ゴルフカート１００の停止動作時には、電磁ブレーキ２３が作動して駆動モータ２１の回転を制止する。

アクセルペダル２４およびブレーキペダル２５は、ゴルフカート１００の前部に設けられ、前部シート１３（図１）に着座する搭乗者により操作される。アクセルペダル２４にはアクセルセンサ２４ａが接続される。アクセルペダル２４の踏み込み量がアクセルセンサ２４ａにより検出され、その検出値が車両制御部５０に与えられる。車両制御部５０は、アクセルセンサ２４ａの検出値に基づいて駆動モータ２１を制御する。

ブレーキペダル２５はブレーキ駆動部２６に接続される。一対の前輪１１および一対の後輪１２の各々には、ディスクブレーキ等のブレーキ機構ＢＭが取り付けられる。ブレーキ駆動部２６はこれらのブレーキ機構ＢＭに接続される。搭乗者によってブレーキペダル２５が踏み込まれると、ブレーキ駆動部２６が各ブレーキ機構ＢＭを駆動して前輪１１および後輪１２を制動する。また、ブレーキ駆動部２６は車両制御部５０により制御される。

車両制御部５０には、誘導線センサＳ１が電気的に接続される。ゴルフ場には、ゴルフカート１００が予め定められた経路を１方向（予め決められた方向）に走行するようにゴルフカート１００を誘導するための電磁誘導線（図示せず）が埋設されている。その電磁誘導線が誘導線センサＳ１によって磁気的に検出され、誘導線センサＳ１から車両制御部５０に検出信号が与えられる。自動走行モードでは、車両制御部５０が誘導線センサＳ１からの検出信号に基づいて図示しない操舵機構を制御する。それにより、ゴルフカート１００が予め定められた経路から逸脱することなく走行する。

（２）演算処理部３０の構成
図３は、演算処理部３０の構成を示すブロック図である。図３に示すように、演算処理部３０は、例えば、入出力インタフェース３１、ＣＰＵ（中央演算処理装置）３２、ＲＯＭ（リードオンリメモリ）３３、ＲＡＭ（ランダムアクセスメモリ）３４および内部バス３５を含む。入出力インタフェース３１、ＣＰＵ３２、ＲＯＭ３３およびＲＡＭ３４は内部バス３５に接続される。

画像メモリ２Ｌ，２Ｒは、例えば半導体メモリおよびハードディスク等の記憶媒体からなる。外部記憶装置４０は、例えばハードディスクまたは半導体メモリ等の記憶媒体からなる。

画像メモリ２Ｌ，２Ｒおよび外部記憶装置４０は、入出力インタフェース３１に接続される。ＲＯＭ３３には、システムプログラムが記憶される。ＣＰＵ３２は、ＲＯＭ３３または外部記憶装置４０に記憶される対象物検出プログラムをＲＡＭ３４上で実行することにより後述する対象物検出処理を実行する。

（３）対象物検出装置１０の構成
図４は、対象物検出装置１０の構成を示す機能ブロック図である。図４に示すように、演算処理部３０は、ステレオマッチング部３、ＬＢＰ（ローカルバイナリパターン）生成部４、対象物検出窓設定部５および対象物検出部６を含む。ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６は対象物検出プログラムを構成するモジュールに相当する。この場合、図３のＣＰＵ３２がＲＯＭ３３または外部記憶装置４０に記憶される対象物検出プログラムを実行することによりステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の機能が実現される。

対象物検出用辞書８は、図３の外部記憶装置４０内に構築される。対象物検出用辞書８には、予め学習により取得された対象物検出用情報が格納される。対象物検出用情報については、後述する。

カメラ１Ｌ，１Ｒは、ゴルフカート１００の撮像対象である前方の空間の物体および背景を撮像する。カメラ１Ｌにより得られる画像（以下、左画像と呼ぶ。）は、左画像データＬＶとして画像メモリ２Ｌに与えられる。カメラ１Ｒにより得られる画像（以下、右画像と呼ぶ。）は、右画像データＲＶとして画像メモリ２Ｒに与えられる。画像メモリ２Ｌはカメラ１Ｌから与えられる左画像データＬＶを記憶し、画像メモリ２Ｒはカメラ１Ｒから与えられる右画像データＲＶを記憶する。

ステレオマッチング部３は、画像メモリ２Ｌに記憶された左画像データＬＶおよび画像メモリ２Ｒに記憶された右画像データＲＶに基づいて、ステレオマッチングにより距離画像を示す距離画像データＤＶを生成する。ＬＢＰ生成部４は、ステレオマッチング部３により生成された距離画像データＤＶに関するＬＢＰ（ローカルバイナリパターン）を生成する。ＬＢＰの生成方法については後述する。また、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の動作については後述する。

対象物検出部６は、撮像対象が検出対象物を含むか否かを判定し、判定結果を車両制御部５０に出力する。本実施の形態では、検出対象物は人間である。車両制御部５０は、対象物検出部６の判定結果に基づいて駆動モータ２１および電磁ブレーキ２３を制御する。例えば、撮像対象が検出対象物を含む場合には、車両制御部５０はゴルフカート１００を減速もしくは停止させ、または警報を発生する。

（４）ステレオマッチング
次に、図５および図６を参照しながらステレオマッチングについて説明する。図５（ａ），（ｂ）は、それぞれカメラ１Ｌ，１Ｒにより得られる左画像ＬＩおよび右画像ＲＩの一例を示す図である。左画像ＬＩは、左画像データＬＶに基づいて表示され、右画像ＲＩは右画像データＲＶに基づいて表示される。図５には、矢印によりＸ方向（水平方向）およびＹ方向（垂直方向）が示される。

図５（ａ）に示すように、左画像ＬＩには、左マッチング窓ＬＭが設定され、図５（ｂ）に示すように、右画像ＲＩには、右マッチング窓ＲＭが設定される。

図４のステレオマッチング部３は、左マッチング窓ＬＭを左画像ＬＩ上でＸ方向に左から右に１画素ずつ移動させた後、Ｙ方向に下へ１画素移動させ、Ｘ方向に左から右に１画素ずつ移動させる。ステレオマッチング部３は、この操作を繰り返すことにより、左マッチング窓ＬＭを左画像ＬＩの全範囲で移動させる。

ステレオマッチング部３は、左マッチング窓ＬＭが各位置にあるときに、右マッチング窓ＲＭを右画像ＲＩ上で移動させ、左マッチング窓ＬＭ内の左画像データＬＶと右マッチング窓ＲＭ内の右画像データＲＶとの一致度合いが最大となる右マッチング窓ＲＭの位置を探索する。

図６（ａ），（ｂ）は、それぞれ左マッチング窓ＬＭおよび右マッチング窓ＲＭを示す模式図である。図６に示すように、左マッチング窓ＬＭおよび右マッチング窓ＲＭは、同じサイズの矩形形状を有し、同じ数の画素を含む。図６（ａ）の例では、左マッチング窓ＬＭはｍ個の画素に対応する左画像データＬ_１〜Ｌ_ｍを含む。ここで、ｍは例えば４以上の整数である。同様に、図６（ｂ）の例では、右マッチング窓ＲＭはｍ個の画素に対応する右画像データＲ_１〜Ｒ_ｍを含む。左画像データＬ_１〜Ｌ_ｍおよび右画像データＲ_１〜Ｒ_ｍは、それぞれ左画像ＬＩおよび右画像ＲＩの各画素の輝度値を示す。
（１５）参考形態
第１の参考形態に係る対象物検出装置は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、処理部は、距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約し、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成されるものである。
その対象物検出装置においては、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像が撮像画像データとしてそれぞれ取得される。取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像が距離画像生成部により距離画像データとして生成される。生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かが処理部により判定される。
この場合、距離画像データの複数の画素についてＬＢＰが生成されるとともに、距離画像データに複数の画素から構成される複数の単位領域が設定され、各単位領域について複数種類のＬＢＰのヒストグラムが作成される。各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰがそれぞれ複数のビンに設定されるとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無が判定される。
ここで、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第２の参考形態に係る対象物検出方法は、撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、撮像対象が検出対象物を含むか否かを判定するステップは、生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約するステップと、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含むものである。
その対象物検出方法によれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第３の参考形態に係る対象物検出プログラムは、撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、異なる複数の位置に配置された画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、コンピュータに実行させ、撮像対象が検出対象物を含むか否かを判定する処理は、生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約する処理と、複数の単位領域についての複数のヒストグラムにおける複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含むものである。
その対象物検出プログラムによれば、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無の判定に有用な輪郭情報を高精度で得ることができる。距離画像データにノイズが発生した場合には、０−１遷移の数が大きくなる。そこで、設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定においてノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。
第４の参考形態に係る自動走行車両は、予め定められた経路を移動可能に構成された本体部と、本体部を移動させるように構成された駆動部と、第１の参考形態に係る対象物検出装置と、対象物検出装置の判定結果に基づいて駆動部を制御する制御部とを備えるものである。
その自動走行車両においては、上記の対象物検出装置が用いられるので、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

左マッチング窓ＬＭ内の左画像データＬ_１〜Ｌ_ｍと右マッチング窓ＲＭ内の右画像データＲ_１〜Ｒ_ｍとの一致度合いは、次式の絶対差合計ＳＡＤ(Sum of Absolute Difference)により求められる。次式におけるｉは１，２，・・・，ｍである。

左マッチング窓ＬＭの各位置において、上式（１）の絶対差合計ＳＡＤが最小となる右マッチング窓ＲＭの位置が求められる。この場合、左画像ＬＩにおける左マッチング窓ＬＭの特定部分と右画像ＲＩにおける右マッチング窓ＲＭの特定部分とのずれ量が視差に相当する。特定部分は、例えば、中央部分または左上部分等である。左画像ＬＩまたは右画像ＲＩの各画素について視差が求められる。視差は、カメラ１Ｌ，１Ｒの拘束条件に基づいてカメラ１Ｌ，１Ｒからの奥行き方向（前方）の距離に変換される。それにより、距離画像データＤＶが得られる。カメラ１Ｌ，１Ｒの拘束条件とは、例えば、カメラ１Ｌ，１Ｒ間の距離である。

図７は、距離画像データＤＶにより表される距離画像ＤＩの一例を示す図である。図７の距離画像ＤＩにおいては、濃いパターンほど距離が短いことを示している。

図４のステレオマッチング部３は、左画像データＬＶおよび右画像データＲＶに基づいてステレオマッチングにより距離画像データＤＶを算出する。距離画像データＤＶの各画素の値は、撮像対象までの距離を示す。

以下、左マッチング窓ＬＭおよび右マッチング窓ＲＭをマッチング窓と総称する。マッチング窓のサイズ（画素数）には、次のトレードオフの関係がある。マッチング窓のサイズを大きく設定すると、マッチングミスによる距離画像ＤＩ上のノイズが減少するが、物体の輪郭部分の位置ずれが増加するとともに一致度合いの計算時間が増加する。逆に、マッチング窓のサイズを小さく設定すると、物体の輪郭部分の位置ずれが減少するとともに一致度合いの計算時間が減少するが、マッチングミスによる距離画像ＤＩ上のノイズが増加する。

（５）ＬＢＰ（ローカルバイナリパターン）
ＬＢＰは、任意の注目画素と、これを中心とする半径ｒの円周上に等間隔に並ぶｎ個の周辺画素（近傍画素）との濃度の大小関係を示す。

図８は、ＬＢＰの生成方法を説明するための模式図である。図８の左側には、注目画素ＯＰおよび８個の周辺画素Ｐ１〜Ｐ８の値（画像データの値）が示される。各画素の値は、画像の濃度（階調）を表す。周辺画素Ｐ１〜Ｐ８を所定のしきい値で２値化する。それにより、図８の中央に示すように、周辺画素Ｐ１，Ｐ２，Ｐ７の値が“０”となり、周辺画素Ｐ３〜Ｐ６，Ｐ８の値が“１”となる。周辺画素Ｐ１〜Ｐ８の２値化された値を一次元に配列することにより、注目画素ＯＰのＬＢＰ（００１１１１０１）を生成する。

図８の例では、ＬＢＰの理解を容易にするために、ＬＢＰの生成に注目画素ＯＰを中心として矩形状に配列された周辺画素Ｐ１〜Ｐ８の値を用いているが、実際には、注目画素ＯＰを中心とする円周上に等間隔に並ぶ複数の画素部分の値をバイ・リニア（Ｂｉ−Ｌｉｎｅａｒ）内挿により取得する。

図９は、バイ・リニア内挿による複数の画素部分の値の取得を示す模式図である。図９において、注目画素ＯＰの中心点Ｃを中心とする半径ｒの円周上に複数の画素部分ｐ１〜ｐ８を等間隔に設定する。注目画素ＯＰおよび周辺画素Ｐ１〜Ｐ８の値を用いてバイ・リニア内挿により画素部分ｐ１〜ｐ８の値を取得する。画素部分ｐ１〜ｐ８の値の２値化および一次元への配列により、注目画素ＯＰのＬＢＰを生成する。

図４のＬＢＰ生成部４は、図７の距離画像ＤＩの上端の１行、下端の１行、左端の１列および右端の１列の画素を除く他の全ての画素についてＬＢＰを生成する。

（６）均一（uniform）パターンの定義
各画素について生成されたＬＢＰを設定値ｕを用いて均一（uniform）パターンまたは不均一（nonuniform）パターンに分類する。

ここで、ＬＢＰにおける０−１遷移の数が設定値ｕ以下である場合には、そのＬＢＰは均一パターンであると定義する。ＬＢＰにおける０−１遷移の数が設定値ｕよりも大きい場合には、そのＬＢＰは不均一パターンである。０−１遷移とは、ＬＢＰにおける“０”から“１”への遷移および“１”から“０”への遷移を含み、ＬＢＰの右端の値から左端の値への遷移も含む。例えば、ＬＢＰ（００１１１１０１）には０−１遷移が４個含まれる。

均一パターンの定義をＬＢＰ^ｕ _ｎ，ｒの形で記述する。ｎはＬＢＰを生成する際の周辺画素の数であり、ｒは周辺画素が配置される円周の半径であり、ｕは上記の設定値である。図８の例では、半径ｒは１（画素）であり、周辺画素の数ｎは８である。

設定値ｕを２とした場合、均一パターンの定義はＬＢＰ^２ _８，１で記述される。この場合、ＬＢＰ（００１１１１０１）は不均一パターンである。設定値ｕを４とした場合、均一パターンの定義はＬＢＰ^４ _８，１で記述される。この場合、ＬＢＰ（００１１１１０１）は均一パターンである。周辺画素の数ｎが８である場合、設定値ｕは２以上４以下であることが好ましい。周辺画素の数ｎが４である場合、設定値ｕは２であることが好ましい。

８ビットのＬＢＰは、２５６種類の配列パターンを有する。ＬＢＰ^２ _８，１の場合には、５８種類の均一パターンが存在し、１９８種類の不均一パターンが存在する。

距離画像ＤＩにおいて、ノイズ成分が少ない領域では、０−１遷移の数が少なくなり、ＬＢＰが均一パターンとなる。一方、距離画像ＤＩにおいて、ノイズ成分が多い領域では、０−１遷移の数が多くなり、ＬＢＰが不均一パターンとなる。

（７）検出窓の設定
次に、図１０〜図１３を参照しながら検出窓の設定について説明する。図１０（ａ），（ｂ）は、距離画像ＤＩに設定された検出窓ＤＷの例を示す図である。

検出対象物の大きさおよび位置が不明であるため、図４の対象物検出窓設定部５は、距離画像ＤＩの種々の位置に種々のサイズを有する検出窓ＤＷを設定する。図１０（ａ），（ｂ）の例では、対象物検出窓設定部５は、距離画像ＤＩ上で検出窓ＤＷをそのサイズを変化させながらＸ方向に左から右に移動させた後、Ｙ方向に下へ移動させ、Ｘ方向に左から右に移動させる。対象物検出窓設定部５は、この操作を繰り返すことにより、種々のサイズを有する検出窓ＤＷを距離画像ＤＩの全範囲で移動させる。これにより、任意のサイズを有しかつ任意の位置に存在する検出対象物を検出することが可能となる。図１０（ａ）には、比較的小さいサイズの検出窓ＤＷが設定された状態が示される。また、図１０（ｂ）には、比較的大きいサイズの検出窓ＤＷが設定された状態が示される。

図１１は、図１０（ａ）の検出窓ＤＷの構成を示す模式図である。図１２は、図１０（ｂ）の検出窓ＤＷの構成を示す模式図である。

検出窓ＤＷは、複数のセルＣＥにより構成される。各セルＣＥは複数の画素により構成される。検出窓ＤＷのサイズに関らず検出窓ＤＷ内のセルＣＥの数は一定である。図１１および図１２の例では、検出窓ＤＷは横８個および縦１６個のセルＣＥを含む。検出窓ＤＷのサイズが大きくなると、各セルＣＥのサイズが大きくなり、すなわち各セルＣＥを構成する画素の数が多くなる。各セルＣＥは、８×８個以上の画素を含むことが好ましい。図１１の検出窓ＤＷを構成する各セルＣＥは横８個および縦８個の画素を含む。図１２の検出窓ＤＷを構成する各セルＣＥは横１６個および縦１６個の画素を含む。

（８）ＬＢＰのヒストグラム
図４の対象物検出部６は、各検出窓ＤＷ内の各セルＣＥについてＬＢＰのヒストグラムを以下の方法で作成する。

図１３は、１つのセルＣＥを示す図である。図１３の例では、１つのセルＣＥが８×８個の画素を含む。したがって、６４個のＬＢＰが生成される。

図１４は、１つのセルＣＥについてのＬＢＰのヒストグラムの一例を示す図である。図１４の横軸はビンを表し、縦軸は出現頻度（度数）を表す。

ヒストグラムにおいては、設定値ｕ以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれビンに設定する。また、設定値ｕを超える数の０−１遷移を有する１以上のＬＢＰを１つのビンに集約する。

上記の例では、ＬＢＰが８ビットを有する。したがって、ＬＢＰは、２５６種類の配列パターンを有する。設定値ｕが２である場合、５８種類の均一パターンが存在し、１９８種類の不均一パターンが存在する。例えば、５８種類の均一パターンがパターン１〜５８としてヒストグラムの５８個のビンに設定される。また、１９８種類の不均一パターンがパターン５９として１つのビンに集約される。

例えば、パターン１はＬＢＰ（００００００００）であり、パターン２はＬＢＰ（０００００００１）であり、パターン３はＬＢＰ（００００００１０）である。また、ＬＢＰ（０００００１０１）、ＬＢＰ（００００１０１０）、ＬＢＰ（０００１０１００）等の不均一パターンはパターン５９とみなされる。

ヒストグラムの複数のビンに対応する複数のＬＢＰが特徴量として用いられ、複数のビンにおける出現頻度が検出対象物の有無を判定のための特徴量の値として用いられる。図１４のヒストグラムでは、５９個の特徴量が得られる。

上記のように、検出窓ＤＷのサイズが異なる場合、各検出窓ＤＷに含まれるセルＣＥの数は一定であり、各セルＣＥに含まれる画素の数が異なる。そのため、各セルＣＥについて、ヒストグラムの出現頻度が各セルＣＥ内の画素の数で正規化される。

１つの検出窓ＤＷについては、セルＣＥの数と同数のヒストグラムが得られる。したがって、１つの検出窓ＤＷについて、（ヒストグラムのビン数）×（セルＣＥの数）の特徴量が得られる。図１１〜図１４の例では、１つの検出窓ＤＷのセルＣＥの数が８×１６であり、１つのセルＣＥについてのヒストグラムのビン数が５９であるので、１つの検出窓ＤＷから７５５２個（＝８×１６×５９）の特徴量が得られる。なお、処理負荷の軽減のために、インテグラルヒストグラムの方法を用いてもよい。

（９）検出器の動作
図４の対象物検出部６は、対象物検出窓設定部５により距離画像ＤＩに設定される各検出窓ＤＷについて検出器を動作させることにより、検出対象物の有無を判定する。

図１５は、１つの検出窓ＤＷについての特徴量を示す図である。対象物検出部６は、各検出窓ＤＷから得られる複数の特徴量のうち一部または全部を検出器の演算のためのＴ個の特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）として用いる。図１１〜図１４の例では、７５５２個の特徴量からＴ個の特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）が予め選択される。図１５に示すように、特徴量ｖ_１，ｖ_２，…，ｖ_Ｔにそれぞれしきい値θ_１，θ_２，…，θ_Ｔが予め設定される。しきい値θ_ｔ（ｔ＝１，２，…，Ｔ）は、後述する学習により予め特徴量ｖ_ｔごとに求められる。

検出器は、次式で表される弱識別器（Weak Classifier）により各特徴量ｖ_ｔの値が肯定的結論を表すか否定的結論を表すかを識別する。

上式（２）において、ｈ_ｔ（Ｉ）は、Ｉ番目の検出窓ＤＷについての特徴量ｖ_ｔの識別値（弱識別結果）を表す。ここで、Ｉは２以上の自然数である。上式（２）より、特徴量ｖ_ｔの値がしきい値θ_ｔよりも大きい場合には、識別値ｈ_ｔ（Ｉ）は、＋１（肯定的結論を表す弱仮説(Weak Hypothesis)）となる。特徴量ｖ_ｔの値がしきい値θ_ｔ以下の場合には、識別値ｈ_ｔ（Ｉ）は、−１（否定的結論を表す弱仮説）となる。Ｔ個の特徴量ｖ_１，ｖ_２，…，ｖ_ＴおよびＴ個のしきい値θ_１，θ_２，…，θ_ＴによりＴ個の弱識別器ｈ_１，ｈ_２，…，ｈ_Ｔが得られる。また、Ｔ個の弱識別器ｈ_１，ｈ_２，…，ｈ_ＴによりＴ個の識別値ｈ_１（Ｉ），ｈ_２（Ｉ），…，ｈ_Ｔ（Ｉ）が得られる。

各識別値ｈ_ｔ（Ｉ）（ｔ＝１，２，…，Ｔ）には、後述する学習により重み付け係数ｗ_ｔ（ｔ＝１，２，…，Ｔ）が予め設定される。検出器は、次式で示すように、Ｔ個の識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）とそれぞれに予め設定された重み付け係数ｗ_１〜ｗ_Ｔとの積の合計からしきい値αを減算することにより、Ｉ番目の検出窓ＤＷについて検出対象物の有無の判定結果Ｈ（Ｉ）を得る。

上式（３）において、ｓｉｇｎは正負の符号を表す。上式（３）を識別演算式と呼ぶ。正の判定結果Ｈ（Ｉ）は、検出対象物が存在することを示す。また、負の判定結果Ｈ（Ｉ）は、検出対象物が存在しないことを示す。

また、しきい値αは、検出率と誤検出率とのバランスを適正に調整するために用いられる。検出率は、検出対象物を検出対象物として正しく検出する確率であり、例えば、人物を人物と判定する確率である。誤検出率は、検出対象物以外の対象物を検出対象物として誤って検出する確率であり、例えば、人物以外の物体を人物と判定する確率である。

しきい値αを大きく設定した場合には、検出率が高くなるが、誤検出率も高くなる。一方、しきい値αを小さく設定した場合には、誤検出率が低くなるが、検出率も低くなる。しきい値αは、対象物検出装置１０が使用される状況に応じて任意に設定することができる。

Ｔ個の特徴量ｖ_１〜ｖ_Ｔ、Ｔ個のθ_１〜θ_Ｔ、Ｔ個の重み付け係数ｗ_１〜ｗ_Ｔおよびしきい値αは、対象物検出用情報として図４の対象物検出用辞書８に予め記憶される。

（１０）対象物検出処理
次に、図１６を参照しながら対象物検出処理について説明する。図１６は、図４の演算処理部３０により行われる対象物検出処理を示すフローチャートである。

まず、図４のステレオマッチング部３が、画像メモリ２Ｌに記憶される左画像データＬＶおよび画像メモリ２Ｒに記憶される右画像データＲＶを取得する（ステップＳ１）。ステレオマッチング部３は、取得した左画像データＬＶおよび右画像データＲＶにステレオマッチングを行うことにより距離画像データＤＶを生成する（ステップＳ２）。

次に、図４のＬＢＰ生成部４が、ステレオマッチング部３により生成された距離画像データＤＶの複数の画素についてのＬＢＰを生成する（ステップＳ３）。さらに、図４の対象物検出窓設定部５が、距離画像データＤＶに検出窓ＤＷを設定する（ステップＳ４）。

次に、図４の対象物検出部６が、検出窓ＤＷ内における検出対象物の有無を判定する（ステップＳ５）。具体的には、検出窓ＤＷについてのＬＢＰのヒストグラムが作成される。次に、対象物検出用辞書８に記憶された複数の特徴量ｖ_１〜ｖ_Ｔおよびしきい値θ_１〜θ_Ｔを用いてＬＢＰのヒストグラムにおける複数の特徴量ｖ_１〜ｖ_Ｔの値について上式（２）より識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）が算出される。さらに、識別値ｈ_１（Ｉ）〜ｈ_Ｔ（Ｉ）ならびに対象物検出用辞書８に記憶された重み付け係数ｗ_１〜ｗ_Ｔおよびしきいαを用いて上式（３）より判定結果Ｈ（Ｉ）が算出される。

対象物検出部６は、予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了したか否かを判別する（ステップＳ６）。予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了していない場合には、対象物検出部６は、ステップＳ４に戻る。この場合、対象物検出窓設定部５が距離画像データＤＶに前の検出窓ＤＷとはサイズまたは位置が異なる次の検出窓ＤＷを設定し（ステップＳ４）、対象物検出部６が検出窓ＤＷ内における検出対象物の有無を判定する（ステップＳ５）。

ステップＳ４において、予め設定された数の検出窓ＤＷについての検出対象物の有無の判定が終了した場合には、対象物検出部６は、対象物検出処理を終了する。

（１１）検出対象物の判定のための学習
Ｔ個の弱識別器ｈ_１〜ｈ_Ｔにおける特徴量ｖ_１〜ｖ_Ｔおよびしきい値θ_１〜θ_ＴならびにＴ個の重み付け係数ｗ_１〜ｗ_Ｔは、事前の学習によって設定される。この学習には、例えば、非特許文献２に記載されたブースティング学習アルゴリズム（アダブースト：AdaBoost）が適用される。

図１７は、アダブーストによる学習を示すフローチャートである。検出対象物を含む複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがポジティブサンプルとして予め準備される。また、検出対象物を含まない複数組の左画像および右画像に対応する複数組の左画像データおよび右画像データがネガティブサンプルとして予め準備される。

初期化処理として、全ポジティブサンプルおよび全ネガティブサンプルに均等にウェイト（重み；weight）が配分される（ステップＳ１１）。

次に、全ポジティブサンプルおよび全ネガティブサンプルについて、ステレオマッチングによる距離画像データＤＶの生成、ＬＢＰの生成、検出窓ＤＷの設定およびＬＢＰのヒストグラムの作成を行うことにより、全ての特徴量の値が算出される（ステップＳ１２）。

その後、Ｔ個の特徴量ｖ_１〜ｖ_Ｔを選択しかつＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_ＴおよびＴ個の重み付け係数ｗ_１〜ｗ_Ｔを決定するためのＴ回の学習が開始される。最初は、変数ｔが１に設定される（ステップＳ１３）。

まず、未選択の各特徴量について、ウェイトが与えられた全ポジティブサンプルおよび全ネガティブサンプルのヒストグラム（全サンプルの重み付きヒストグラム）がそれぞれ作成される（ステップＳ１４）。ｔ＝１の場合には、全ての特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される。図１８は、１つの特徴量についての全ポジティブサンプルおよび全ネガティブサンプルのヒストグラムの例を示す図である。図１８においては、縦軸はサンプル数を表し、横軸は特徴量の値を表す。

一般に、特徴量の値の比較的小さな範囲にネガティブサンプルの分布が現れ、特徴量の値の比較的大きな範囲にポジティブサンプルの分布が現れる。しきい値θを大きく設定すると、ネガティブサンプルをポジティブサンプルとして誤識別する確率は低くなるが、ポジティブサンプルをネガティブサンプルとして誤識別する確率は高くなる。逆に、しきい値θを小さく設定すると、ポジティブサンプルをネガティブサンプルとして誤識別する確率は低くなるが、ネガティブサンプルをポジティブサンプルとして誤識別する確率は高くなる。

例えば、ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互いに分離している場合には、それらの分布範囲の間の値がしきい値θとして設定される。ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲とが互い重なり合う場合には、それらの重なり区間の値がしきい値θとして設定される。図１８の例では、ポジティブサンプルの特徴量の値の下限θ_ｐは、ネガティブサンプルの特徴量の値の上限θ_ｎよりも小さい。本例では、ポジティブサンプルのヒストグラムとネガティブサンプルのヒストグラムとが交差する点における特徴量の値がしきい値θとして設定される。この場合、下限θ_ｐとしきい値θとの間の特徴量の値を有するポジティブサンプルは、ネガティブサンプルとして誤識別される。また、上限θ_ｎとしきい値θとの間の特徴量の値を有するネガティブサンプルは、ポジティブサンプルとして誤識別される。全ポジティブサンプルおよび全ネガティブサンプルの総数に対して誤識別されるポジティブサンプルおよびネガティブサンプルの数の割合を誤識別率（エラー率）と呼ぶ。

このようにして、未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される（ステップＳ１５）。これにより、未選択の全特徴量に対応する弱識別器が作成される。各特徴量に対応するしきい値θとともに、当該しきい値θに対応する誤識別率が算出される。

作成された弱識別器のうち最小の誤識別率を有する弱識別器が第ｔ番目の弱識別器ｈ_ｔとして決定される（ステップＳ１６）。これにより、第ｔ番目の特徴量ｖ_ｔが選択されるとともにしきい値θ_ｔが決定される。ｔ＝１の場合には、最小の誤識別率を有する弱識別器が第１番目の弱識別器ｈ_１として決定される。また、第１番目の特徴量ｖ_１が選択されるとともにしきい値θ_１が決定される。

また、決定された第ｔ番目の弱識別器ｈ_ｔの誤識別率に基づいて弱識別器ｈ_ｔに対応する重み付け係数ｗ_ｔが決定される（ステップＳ１７）。この場合、誤識別率が小さいほど重み付け係数ｗ_ｔは大きく設定される。ｔ＝１の場合には、重み付け係数ｗ_１が決定される。

次に、変数ｔがＴに等しいか否かが判定される（ステップＳ１８）。すなわち、Ｔ個の特徴量が選択されたか否かが判定される。Ｔ個の特徴量が選択されていない場合には、ポジティブサンプルおよびネガティブサンプルにウェイトが再配分（re-weighting）される（ステップＳ１９）。この場合、第ｔ番目の弱識別器ｈ_ｔにより正解が得られるサンプルには小さなウェイトが与えられ、第ｔ番目の弱識別器ｈ_ｔにより不正解が得られるサンプルには大きなウェイトが与えられる。

この状態で、変数ｔがｔ＋１に更新され（ステップＳ２０）、ステップＳ１４〜Ｓ１８の処理が実行される。ｔ＝２の場合には、特徴量ｖ_１を除く未選択の各特徴量について、全サンプルの重み付きヒストグラムがそれぞれ作成される（ステップＳ１４）。また、特徴量ｖ_１を除く未選択の全ての特徴量の各々について誤識別率が最小になるようにしきい値θが設定される（ステップＳ１５）。さらに、作成された弱識別器のうち最小の誤識別率を有する弱識別器が第２番目の弱識別器ｈ_２として決定される（ステップＳ１６）。また、決定された第２番目の弱識別器ｈ_２の誤識別率に基づいて弱識別器ｈ_２に対応する重み付け係数ｗ_２が決定される（ステップＳ１７）。その後、ｔが３に更新される。

同様にして、Ｔ個の特徴量ｖ_１〜ｖ_Ｔが選択されるとともにＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔが決定され、弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔが決定される。ステップＳ１８において変数ｔがＴに等しい場合には、学習が終了する。

このようにして決定されたＴ個の弱識別器ｈ_１〜ｈ_Ｔとこれらに対応するＴ個の重み付け係数ｗ_１〜ｗ_Ｔとの乗算結果を線形結合するとともに、適切なしきい値αを設定することにより、上式（３）の識別演算式が得られる。

（１２）本実施の形態の効果
本実施の形態に係る対象物検出装置１０においては、ＬＢＰを用いることにより検出対象物の輪郭を検出対象物と背景との距離差により識別することができる。この場合、ステレオマッチングのマッチング窓のサイズを小さくすることにより、ステレオマッチングにおける計算量を増加させることなく検出対象物の有無に有用な輪郭情報を高精度で得ることができる。また、設定値ｕを超える数の０−１遷移を有する１または複数種類のＬＢＰが一のビンに集約される。それにより、検出対象物の有無の判定において距離画像データＤＶにおけるノイズの影響を抑制することができる。したがって、上記のように構成されたＬＢＰのヒストグラムの度数を複数の特徴量の値として用いることにより、計算量を増加させることなくかつ輪郭情報を損なうことなく、距離画像データＤＶにおけるノイズの影響を抑制することができる。その結果、検出対象物の有無を正確に判定することが可能となる。

また、各特徴量ｖ_ｔ（ｔ＝１，２，…，Ｔ）についてのしきい値θ_ｔ（ｔ＝１，２，…，Ｔ）を適切に設定するとともに各弱識別器ｈ_ｔ（ｔ＝１，２，…，Ｔ）に対応する重み付け係数ｗ_ｔ（ｔ＝１，２，…，Ｔ）を適切に設定することにより、検出対象物の有無をより正確に判定することができる。

さらに、学習によりＴ個の特徴量ｖ_１〜ｖ_Ｔが選択されるとともにＴ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔが決定され、弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔが決定される。それにより、検出対象物の有無の判定に重要な情報を含む特徴量を用いて検出対象物の有無を高い精度で判定することが可能となる。

特に、アダブースト学習によりＴ個の特徴量ｖ_１〜ｖ_Ｔの選択、Ｔ個の弱識別器ｈ_１〜ｈ_Ｔにおけるしきい値θ_１〜θ_Ｔの決定および弱識別器ｈ_１〜ｈ_Ｔにそれぞれに対応する重み付け係数ｗ_１〜ｗ_Ｔの決定が行われることにより、環境変動に対して頑健な（ロバストな）対象物検出装置１０が実現される。

また、距離画像データＤＶに複数の検出窓ＤＷが位置およびサイズの少なくとも一方が異なるように順次設定されるので、任意の位置にある検出対象物または任意の大きさを有する検出対象物を正確に検出することができる。

この対象物検出装置１０によれば、人と植物とを区別することが可能となる。ゴルフカート１００の経路に成長した樹木の枝または草が延びている場合、または経路のカーブ前方に樹木等が植えられている場合に、それらの枝、草または樹木等を人として検出することが防止される。したがって、このような枝、草または樹木等が実際にはゴルフカート１００の走行上問題がない場合に、ゴルフカート１００の無駄な停止、減速または警告の発生が行われることが防止される。

（１３）他の実施の形態
（ａ）上記実施の形態では、対象物検出装置１０が予め定められた経路を自動的に走行するゴルフカート１００に適用されているが、本発明はこれに限定されない。本発明に係る対象物検出装置は、工場等で予め定められた経路を走行する無人搬送車（ＡＧＶ）、果樹園等で薬剤散布等を行う無人作業車等の他の自動走行車両にも同様に適用可能である。また、本発明に係る対象物検出装置は、任意の経路を走行可能な自動走行車両にも適用可能ある。

（ｂ）上記実施の形態では、ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６がＣＰＵ３２および対象物検出プログラムにより実現されるが、本発明はこれに限定されない。例えば、ステレオマッチング部３、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６の一部または全部が電子回路等のハードウエアにより構成されてもよい。

（ｃ）上記実施の形態では、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を１とし、その他の場合に識別値ｈ_ｔ（Ｉ）を−１としているが、検出対象物の有無の判定方法はこれに限定さない。例えば、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を−１とし、その他の場合に識別値ｈ_ｔ（Ｉ）を１としてもよい。また、各特徴量ｖ_ｔがしきい値θ_ｔよりも大きい場合に識別値ｈ_ｔ（Ｉ）を他の値とし、その他の場合に識別値ｈ_ｔ（Ｉ）をさらに他の値としてもよい。

（ｄ）上記実施の形態では、検出対象物の有無に応じて判定結果Ｈ（Ｉ）が正または負となるように識別演算式が構成されるが、識別演算式の構成はこれに限定されない。例えば、検出対象物の有無に応じて判定結果Ｈ（Ｉ）がある値以上または以下になるように識別演算式が構成されてもよい。

また、上記の識別演算式では、しきい値αが用いられるが、しきい値αが用いられなくてもよい。

（１４）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態においては、カメラ１Ｌ，１Ｒが画像取得部の例であり、ステレオマッチング部３が距離画像生成部の例であり、ＬＢＰ生成部４、対象物検出窓設定部５および対象物検出部６が処理部の例である。左画像ＬＩおよび右画像ＲＩが撮像対象の画像の例であり、左画像データＬＶおよび右画像データＲＶが撮像画像データの例であり、距離画像ＤＩが距離画像の例であり、距離画像データＤＶが距離画像データの例であり、セルＣＥまたは検出窓ＤＷが単位領域の例であり、設定値ｕが設定値の例であり、複数の特徴量ｖ_１〜ｖ_Ｔが複数の特徴量の例である。

しきい値θ_１〜θ_Ｔがしきい値の例であり、識別値ｈ（Ｉ）_１〜ｈ（Ｉ）_Ｔが識別値の例であり、重み付け係数ｗ_１〜ｗ_Ｔが重み付け係数の例であり、検出窓ＤＷが検出窓の例である。

車体２０が本体部の例であり、駆動モータ２１および後輪１２が駆動部の例であり、ＣＰＵ３２がコンピュータの例である。車両制御部５０が制御部の例である。

請求項の各構成要素として、上記実施の形態に記載された構成要素の他、請求項に記載されている構成または機能を有する他の種々の構成要素を用いることもできる。

本発明は、撮像対象が予め定められた検出対象物を含むか否かを判定するため等に利用することができる。

１Ｌ，１Ｒ カメラ
２Ｌ，２Ｒ 画像メモリ
３ ステレオマッチング部
４ ＬＢＰ生成部
５ 対象物検出窓設定部
６ 対象物検出部
８ 対象物検出用辞書
１０ 対象物検出装置
１１ 前輪
１２ 後輪
１３ 前部シート
１４ 後部シート
１５ ハンドル
１６ キャリア
２０ 車体
２０ａ 下部車体
２０ｂ 支持枠
２０ｃ 屋根部
２１ 駆動モータ
２２ トランスミッション
２３ 電磁ブレーキ
２４ アクセルペダル
２５ ブレーキペダル
２６ ブレーキ駆動部
３０ 演算処理部
３１ 入出力インタフェース
３２ ＣＰＵ（中央演算処理装置）
３３ ＲＯＭ（リードオンリメモリ）
３４ ＲＡＭ（ランダムアクセスメモリ）
３５ 内部バス
４０ 外部記憶装置
５０ 車両制御部
５１ バッテリ
５７ 受信部
１００ ゴルフカート
ＣＥ セル
ＤＩ 距離画像
ＤＶ 距離画像データ
ＤＷ 検出窓
ｈ，ｈ_１〜ｈ_Ｔ 弱識別器
ＬＶ，Ｌ_１〜Ｌ_ｍ 左画像データ
ＬＩ 左画像
ＬＭ 左マッチング窓
ＯＰ 注目画素
ｐ１〜ｐ８ 画素部分
Ｐ１〜Ｐ８ 周辺画素
ｒ 半径
ＲＶ，Ｒ_１〜Ｒ_ｍ 右画像データ
ＲＩ 右画像
ＲＭ 右マッチング窓
ｖ_ｔ，ｖ_１〜ｖ_Ｔ 特徴量
ｗ_ｔ，ｗ_１〜ｗ_Ｔ 重み付け係数
θ_ｐ 下限
θ_ｎ 上限
θ，θ_ｔ，θ_１〜θ_Ｔ しきい値

Claims (12)

1. 撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出装置であって、
   異なる複数の位置に配置され、撮像対象の画像を撮像画像データとしてそれぞれ取得する複数の画像取得部と、
   前記複数の画像取得部により取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成する距離画像生成部と、
   前記距離画像生成部により生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理部とを備え、
   前記処理部は、前記距離画像生成部により生成された距離画像データの複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するとともに、前記距離画像生成部により生成された距離画像データに複数の画素から構成される複数の単位領域を設定し、各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定し、前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するように構成される、対象物検出装置。
2. 前記処理部は、各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成し、前記複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するように構成される、請求項１記載の対象物検出装置。
3. 前記しきい値、および前記複数の特徴量についての識別値に対応する重み付け係数は、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定される、請求項２記載の対象物検出装置。
4. 前記処理部は、前記距離画像生成部により生成された距離画像データに、前記複数の単位領域をそれぞれ含む複数の検出窓を位置および面積の少なくとも一方が異なるように順次設定し、各検出窓について検出対象物の有無を判定するように構成される、請求項１〜３のいずれかに記載の対象物検出装置。
5. 前記処理部は、前記複数の検出窓に含まれる前記複数の単位領域の数が等しくなるように各単位領域に含まれる画素の数を調整し、各ヒストグラムを対応する単位領域に含まれる画素の数を用いて正規化するように構成される、請求項４記載の対象物検出装置。
6. 撮像対象が予め定められた検出対象物を含むか否かを判定する対象物検出方法であって、
   異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得するステップと、
   前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
   前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定するステップとを備え、
   撮像対象が検出対象物を含むか否かを判定するステップは、
   前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定するステップと、
   各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成するステップと、
   各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定するステップと、
   前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定するステップとを含む、対象物検出方法。
7. 検出対象物の有無を判定するステップは、
   各特徴量の値がそれぞれ予め設定されたしきい値よりも大きいか否かに基づいて撮像対象が検出対象物を含むか否かを示す識別値を生成するステップと、
   前記複数の特徴量についての識別値とそれぞれ予め設定された重み付け係数との積の合計に基づいて検出対象物の有無を判定するステップとを含む、請求項６記載の対象物検出方法。
8. 前記しきい値、および前記複数の特徴量についての識別値に対応する重み付け係数を、検出対象物を含む複数の画像および検出対象物を含まない複数の画像を用いた学習により予め設定するステップをさらに備える、請求項７記載の対象物検出方法。
9. 前記学習にはアダブーストが適用される、請求項８記載の対象物検出方法。
10. 撮像対象が予め定められた検出対象物を含むか否かを判定するために、コンピュータにより実行可能な対象物検出プログラムであって、
    異なる複数の位置に配置された複数の画像取得部により撮像対象の画像を撮像画像データとしてそれぞれ取得する処理と、
    前記取得された複数の撮像画像データを用いたステレオマッチングにより撮像対象までの距離を示す距離画像を距離画像データとして生成するステップと、
    前記生成された距離画像データに基づいて撮像対象が検出対象物を含むか否かを判定する処理とを、前記コンピュータに実行させ、
    撮像対象が検出対象物を含むか否かを判定する処理は、
    前記生成された距離画像データに複数の画素から構成される複数の単位領域を設定する処理と、
    各単位領域の複数の画素についてＬＢＰ（ローカルバイナリパターン）を生成する処理と、
    各単位領域について複数種類のＬＢＰのヒストグラムを作成し、各ヒストグラムにおいて設定値以下の数の０−１遷移を有する複数種類のＬＢＰをそれぞれ複数のビンに設定するとともに前記設定値を超える数の０−１遷移を有する１または複数種類のＬＢＰを一のビンに集約して設定する処理と、
    前記複数の単位領域についての複数のヒストグラムの複数のビンのうち予め選択された複数のビンに対応する複数種類のＬＢＰの度数を複数の特徴量の値として用いて検出対象物の有無を判定する処理とを含む、対象物検出プログラム。
11. 予め定められた経路を移動可能に構成された本体部と、
    前記本体部を移動させるように構成された駆動部と、
    請求項１〜５のいずれかに記載の対象物検出装置と、
    前記対象物検出装置の判定結果に基づいて前記駆動部を制御する制御部とを備える、自動走行車両。
12. 前記本体部は、予め定められた経路を移動可能に構成される、請求項１１記載の自動走行車両。

Images