JP4389602B2 - 物体検出装置、物体検出方法、プログラム - Google Patents

Description

本発明は、着目する空間において距離情報を用いることにより当該空間に出入りする人や物品のような物体を背景から分離して検出する物体検出装置、物体検出方法、プログラムに関するものである。

従来から、人や自動車のような検出対象である物体が出入りする空間を監視する目的で、着目する空間に出入りする検出対象を背景から分離して抽出する技術が知られている。たとえば、視野を固定したＴＶカメラにより異なる時刻に撮像した複数の画像を用い、画像間において対応する位置の各画素の画素値の差分を画素値とする差分画像を生成し、差分画像において画素値が規定した閾値以上である画素の集合を検出対象（移動物体）に対応する領域として背景から分離する技術が知られている。ＴＶカメラにより撮像される画像には、濃淡画像またはカラー画像が用いられる。

上述した技術は、画像内に検出対象が存在するときと検出対象が存在しないときとで明暗や色が変化することを利用して検出対象を背景から分離するものであるから、着目する空間内で外光や照明の影響による光量変化や色変化が生じると、検出対象が存在しない場合であっても検出対象の存在と誤認することがあるという問題がある。

そこで、着目する空間の明暗や色の変化の影響を受けないように背景から検出対象を分離して検出するために距離情報を用いることが提案されている（たとえば、特許文献１参照）。つまり、検出対象を含まない空間の距離情報と検出対象を含む空間の距離情報との差分により検出対象を抽出すれば、外光や照明の影響を受けにくいと考えられる。ここに、検出対象を背景から分離して検出することを前提として距離情報を求めるためには、着目する空間内において検出対象が占める領域よりも十分に小さい部位ごとに距離を求めることができる分解能が必要である。
特公平８−２１１４９号公報

ところで、距離情報を求める技術は種々知られているが、上述のように空間内の各部位の距離を求める場合には、いずれかの部位の計測結果に誤りが含まれることが多い。たとえば、２台のＴＶカメラで撮像した画像を用い、両ＴＶカメラで撮像した２枚の画像内の各部位を対応付け、両ＴＶカメラの視差に基づいて距離画像を生成するステレオ画像法のように空間の各部位の距離を光学的に計測する場合には、ＴＶカメラへの入射光量が少ないと誤計測を生じやすいから、空間内に存在する物体の反射率が低い部位では距離の計測結果に誤りを生じる可能性がある。

上述のように、空間のいずれかの部位で距離の計測結果に誤りがあると、検出対象を背景から分離するために距離の差分には検出対象以外の誤差が含まれることになる。そこで、上述した特許文献１に記載の技術では、検出対象を含まない空間の距離と検出対象を含む空間の距離情報とのうち、誤計測を含まない部位のみを利用して検出対象を抽出する技術を採用している。しかしながら、このような技術を採用すると、誤計測の部位の情報は利用されないものであるから、検出対象に欠落部分を生じる可能性がある。その結果、検出対象の特徴量を抽出するような目的には利用することができないという問題を有している。

本発明は上記事由に鑑みて為されたものであり、その目的は、空間の各部位の距離を計測したときの計測結果の信頼度を求め、距離情報から得られる検出対象の候補を信頼度に応じて評価することによって、欠落部分をほとんど生じることなく検出対象を抽出することができるようにした物体検出装置、物体検出方法、プログラムを提供することにある。

請求項１の発明は、着目する空間の各部位の距離を計測する測距手段と、着目する１つの空間について測距手段で異なる時刻に計測した各部位ごとの距離の差分を求める差分手段と、差分手段で得られた距離の差分を用いて空間内での検出対象となる物体の候補の存在部位を抽出する物体抽出手段と、物体抽出手段により抽出した検出対象の候補から検出対象を抽出し検出対象の特徴量を抽出する物体判定手段と、測距手段による空間の各部位の距離の計測結果について信頼度を求める信頼性算出手段とを有し、物体抽出手段は、各部位ごとに異なる時刻の距離の計測結果の信頼度の組合せによって各部位ごとの距離の差分を分類する機能を有し、物体判定手段は、物体抽出手段での各部位ごとの分類結果および距離の評価により検出対象の候補を検出対象ごとにグループ化して抽出する機能を有することを特徴とする。

上記構成によれば、距離の差分を用いるだけではなく、測距手段での距離の計測結果について信頼度を求め、信頼度に基づいて検出対象の候補となる領域を評価するから、計測結果に誤りが含まれている場合でも検出対象の誤検出を低減することができる。その結果、欠落部分をほとんど生じることなく検出対象を抽出することが可能になる。

請求項２の発明では、請求項１の発明において、前記信頼性算出手段は、前記測距手段で距離を計測する各部位について近傍領域を設定し、着目部位の近傍領域での距離の計測結果の分散の関数として当該部位の信頼度を算出することを特徴とする。

この構成によれば、着目部位の近傍領域で得られる情報を用いて着目部位の信頼度を評価するから、測距手段から得られる距離の情報のみで計測結果の信頼度を求めることが可能になる。

請求項３の発明では、請求項１の発明において、前記信頼性算出手段は、前記測距手段で距離を計測する各部位について近傍領域を設定するとともに、着目部位の近傍領域である第１の領域に含まれる各部位についてさらに近傍領域である第２の領域を設定し、第２の領域での距離の計測結果の分散を第１の領域内で合計した総和の関数として当該部位の信頼度を算出することを特徴とする。

この構成によれば、着目部位について設定される近傍領域よりも広い範囲から得られる情報を用いて着目部位の信頼度を評価するから、測距手段から得られる距離の情報のみで計測結果の信頼度を求めることが可能になる。しかも、着目部位が検出対象の境界や段差部分であっても境界や段差の影響を軽減することができる。

請求項４の発明では、請求項１の発明において、前記測距手段は、空間の各部位の距離について計測結果の信頼度の目安となる付随情報を出力し、前記信頼性算出手段は、空間の各部位の計測結果について付随情報を用いて信頼度を求めることを特徴とする。

この構成によれば、測距手段から得られる付随情報を用いて信頼度を求めているから、測距手段で得られる距離情報以外の情報を用いて計測結果の信頼度を評価することになり、信頼度による計測結果の評価に対する信憑性を高めることができる。

請求項５の発明では、請求項４の発明において、前記測距手段は、複数台のＴＶカメラを用いて撮像した複数枚の画像に含まれる画素を互いに対応付けることにより空間の各部位の距離を各画素の画素値とした距離画像を生成するものであって付随情報として各ＴＶカメラで撮像した複数枚の画像のうちのいずれかの各画素の濃度を出力し、前記信頼性算出手段は、当該画像の各画素について近傍領域を設定し、距離画像において着目する画素の近傍領域での濃度の分散の関数として当該画素の信頼度を算出することを特徴とする。

この構成によれば、測距手段としてステレオ画像法により距離画像を生成する構成を採用しており、ステレオ画像の生成に際して用いる複数枚の画像のいずれかから計測精度に影響の大きい濃度を付随情報に用いているから、計測結果を正確に反映させた信頼度を求めることができる。

請求項６の発明では、請求項４の発明において、前記測距手段は、複数台のＴＶカメラを用いて撮像した複数枚の画像に含まれる画素を互いに対応付けることにより空間の各部位の距離を各画素の画素値とした距離画像を生成するものであって付随情報として各ＴＶカメラで撮像した複数枚の画像において画素を対応付けた領域および複数枚の画像の各画素の濃度を出力し、前記信頼性算出手段は、対応付けた領域における画素の濃度の相関値として当該領域に含まれる画素の信頼度を算出することを特徴とする。

この構成によれば、測距手段としてステレオ画像法により距離画像を生成する構成を採用しており、ステレオ画像の生成に際して用いる複数枚の画像の対応付けの精度を付随情報に用いているから、計測結果を正確に反映させた信頼度を求めることができる。

請求項７の発明では、請求項１ないし請求項６の発明において、前記物体抽出手段は、距離の計測結果の信頼度を複数段階に区分するとともに、各部位ごとに異なる時刻の計測結果の信頼度の段階を組み合わせ、各部位ごとの距離の差分を信頼度の段階の組合せで３種類以上に分類し、分類ごとに検出対象の候補か否かを評価することを特徴とする。

この構成によれば、計測結果の信頼度を用いて計測結果を部位ごとに３種類以上に分類し、しかも分類した種類ごとに検出対象の候補か否かを評価するから、単なる差分画像では検出できなくなるような部位でも検出対象の候補として抽出することが可能になる。つまり、計測結果に誤計測が多く含まれるような場合でも検出対象の候補を正確に抽出することが可能になる。

請求項８の発明では、請求項１ないし請求項７の発明において、前記物体判定手段は、前記物体抽出手段で抽出した検出対象の候補について、着目する空間内での候補間の３次元の距離が規定した第１の閾値以下である検出対象の候補をグループとして抽出し、さらに測距手段への投影面内で前記グループとの距離が規定した第２の閾値以下である検出対象を前記グループと連結するグループとして抽出し、連結されたグループを１つの検出対象とすることを特徴とする。

この構成によれば、検出対象の候補について３次元の距離が近い領域をグループとして抽出することで検出対象である可能性の高い部位を抽出することができ、さらに検出対象である可能性の高いグループに対して検出対象の候補から投影面内での距離が近い部位を抽出して連結することで検出対象ごとに正確にグループ化することができる。

請求項９の発明は、物体検出方法であって、着目する空間の各部位の距離を測距手段により計測し、着目する１つの空間について測距手段で異なる時刻に計測した各部位ごとの距離の差分を求め、求めた距離の差分を用いて空間内での検出対象となる物体の候補の存在部位を抽出し、抽出した検出対象の候補から検出対象を抽出し検出対象の特徴量を抽出する物体検出方法であって、測距手段による空間の各部位の距離の計測結果について信頼度を求め、各部位ごとに異なる時刻の距離の計測結果の信頼度の組合せによって各部位ごとの距離の差分を分類し、各部位ごとの分類結果および距離の評価により検出対象の候補を検出対象ごとにグループ化して抽出することを特徴とする。

この方法によれば、距離の差分を用いるだけではなく、測距手段での距離の計測結果について信頼度を求め、信頼度に基づいて検出対象の候補となる領域を評価するから、計測結果に誤りが含まれている場合でも検出対象の誤検出を低減することができる。その結果、欠落部分をほとんど生じることなく検出対象を抽出することが可能になる。

請求項１０の発明は、コンピュータ読取可能なプログラムであって、請求項１ないし請求項８のいずれか１項に記載の物体検出装置における差分手段と物体抽出手段と物体判定手段と信頼性算出手段とを実現するものである。

すなわち、このプログラムによって汎用のコンピュータと測距手段とを用いて物体検出装置を構成することが可能になる。

本発明の構成によれば、距離の差分を用いるだけではなく、測距手段での距離の計測結果について信頼度を求め、信頼度に基づいて検出対象の候補となる領域を評価するから、計測結果に誤りが含まれている場合でも検出対象の誤検出を低減することができるという利点がある。

（実施形態１）
本実施形態は、図１に示すように、着目する空間の各部位までの距離を計測する測距手段１を備え、着目する１つの空間について測距手段１で異なる時刻に計測した距離を用いて物体を検出するものである。

以下に説明する実施形態では、測距手段１として、着目する空間を２台のＴＶカメラで撮像し、両ＴＶカメラで撮像された画像に含まれる画素を互いに対応付けるとともに両ＴＶカメラの視差を利用することにより画素毎に距離を求めるようにしたステレオ画像法の測距手段を採用する。すなわち、２台のＴＶカメラで撮像した画像から各画素に距離を対応付けた距離画像を生成する。なお、測距手段１はステレオ画像法に限らず距離画像を生成可能であればどのような技術を採用してもよい。

測距手段１では一定時間毎に距離画像を生成しており、本実施形態では、異なる時刻に得られた２枚の距離画像から検出対象を検出するものとする。ここでは、説明を簡単にするために、距離画像の時系列で先の時刻に得られた画像には検出対象が含まれず背景のみが含まれているものとし、この距離画像を背景距離画像と呼ぶ。また、検出対象の存否を検出する対象の距離画像を対象距離画像と呼ぶ。背景距離画像は、装置の動作前にあらかじめ生成しておけばよい。

測距手段１で得られた背景距離画像は背景記憶手段２に記憶され、測距手段１で得られた対象距離画像は差分手段３に入力される。差分手段３は、対象距離画像と背景距離画像との対応する画素毎の差分を画素値に持つ差分距離画像を生成する。対象距離画像に検出対象が含まれるときに、差分距離画像では、理想的には、検出対象が存在する領域の画素値は比較的大きい値になり、他の領域の画素値はほぼ０になる。したがって、差分距離画像の画素値を適宜の閾値で２値化すれば検出対象の存在する領域を抽出することができる。ただし、実際の差分距離画像にはノイズ成分や誤差成分が含まれているから、本実施形態では、ノイズ成分や誤差成分の影響を軽減するために、対象距離画像と背景距離画像との測距精度の信頼性の評価値（以下、「信頼度」という）を算出する信頼性算出手段４と、信頼性算出手段４により算出した信頼度を用いて差分距離画像から検出対象の候補である画素を抽出する物体抽出手段５と、物体抽出手段５により抽出した画素についてノイズ成分の除去や画素のグループ化などを行うとともに、グループ化した画素群の特徴量により検出対象か否かを判断する物体判定手段６とを設けている。

本実施形態の信頼性算出手段４では、背景距離画像と対象距離画像との両方について各画素の測距精度の信頼度を算出する。また、物体抽出手段５では、背景距離画像の各画素値の信頼度と対象距離画像の各画素値の信頼度とを組み合わせを用いることによって、差分距離画像の各画素を分類する。物体判定手段６では、物体抽出手段５での画素の分類結果を用いてノイズ成分の除去や画素のグループ化を行い、グループ化された画素群について位置、形状、大きさなどの特徴量を用いて検出対象か否かを判断する。なお、測距手段１の一部、背景記憶手段２、差分手段３、信頼性算出手段４、物体検出手段５、物体判定手段６はコンピュータを用いて実現される。

（信頼性算出手段の動作）
以下では信頼性算出手段４の動作を説明する。

信頼度（１）
本例は、距離画像において着目する画素の近傍領域では画素値の差が少ない（距離の差が小さい）と推定し、近傍領域において画素値が他の画素とは大きく異なる場合に当該画素の画素値の信頼度が小さくなるように信頼度を算出するものである。具体的には、距離画像において着目する画素を中心として、Ｎ×Ｍ画素（Ｎ，Ｍは自然数）の大きさの近傍領域を設定し、近傍領域の画素値の分散を求め、分散が大きいほど着目する画素の信頼度を小さくするように、数１を用いて信頼度を求めるものである。なお、数１においてＶａｒは分散、Ｒは信頼度、Ｄ（ｕ，ｖ）は背景距離画像と対象距離画像とのそれぞれの画素値、ＡはＮ×Ｍ画素の近傍領域を表す。

信頼度（２）
信頼度（１）の方法で求める信頼度Ｒは、背景距離画像および対象距離画像において距離がほぼ一定である物体に対してはよい結果を得ることができるが、検出対象と背景との境界や物体内に存在する段差の部位などでは分散が比較的大きくなるから、測距の精度が高い場合でも数１によって求められる信頼度Ｒが小さい値になる。そこで、本例では、境界や段差の周辺での測距の精度が高ければ、境界や段差の部位でも同程度の精度で距離が測定されているとみなして信頼度を求めている。

すなわち、着目する画素を中心とするＮ×Ｍ画素の大きさの近傍領域における画素値の分散から信頼度を求めるのではなく、数２のように、着目する画素の画素値の信頼度を、着目する画素の近傍領域に含まれる全画素をそれぞれ中心としてＮ×Ｍ画素の大きさで設定した近傍領域の分散の総和から求める。なお、数２において、ｎは着目する画素について設定した近傍領域の中で画素を区別する符号であって１≦ｎ≦Ｎ×Ｍであり、Ｖａｒ〔ｎ〕は画素ｎを中心として設定した近傍領域での分散、Ｒは信頼度、Ｄ（ｕ，ｖ）は背景距離画像と対象距離画像とのそれぞれの画素値、Ａｎは画素ｎを中心とするＮ×Ｍ画素の近傍領域を表す。また、Ｒｅｇｉｏｎは近傍領域Ａｎの全体を含む領域を意味している。数２により求められる信頼度Ｒは、検出対象と背景との境界や物体内の段差の部位などであっても、信頼度（１）の方法で求められる信頼度を境界や段差の周辺で合算しているから、境界や段差の影響が緩和される。

（物体抽出手段の動作）
以下では、物体抽出手段５において差分距離画像の各画素を分類する技術について説明する。

いま、測距手段１から図２（ａ）のような対象距離画像が出力され、背景記憶手段２には図２（ｂ）のような背景距離画像が記憶されているものとする。図示例では明度が大きい部位ほど近い（白部位がもっとも近い）ものとする。また、信頼性算出手段４では、測距手段１から出力された対象距離画像の各画素に対して図３（ａ）のように信頼度が算出され、背景記憶手段２に記憶されている背景距離画像の各画素に対して図３（ｂ）のように信頼度が算出されているものとする。図３では、明るいほど信頼度が高いものとしている（白部位がもっとも高い）。

物体抽出手段５では、対象距離画像と背景距離画像との信頼度に基づいて各画素を３種類に分類する。すなわち、対象距離画像と背景距離画像との信頼度をそれぞれ２値化し、信頼度の大小を組合せることによって、両者がともに高信頼度である場合、両者がともに低信頼度である場合、一方のみが高信頼度である場合の３種類に分類する。たとえば、図３（ａ）の対象距離画像に関する信頼度を図４（ａ）のように２値化し、図３（ｂ）の背景距離画像に関する信頼度を図４（ｂ）のように２値化したとする。図４において斜線部が低信頼度の領域を示している。図４（ａ）（ｂ）の各領域を組み合わせることによって、上述した３種類の分類を行うと、図４（ｃ）のように各領域が分類される。図４（ｃ）において、白部分が両者ともに高信頼度の部位、黒部分が両者ともに低信頼度の部位、斜線部が一方のみ高信頼度の部位を示す。

上述のようにして３種類の領域を分類すれば、対象距離画像と背景距離画像とがともに高信頼度である部位については、Ｄｆ−Ｄｂ≧ｔｈｒ１を満足するときに検出対象の候補として抽出される。ここに、Ｄｆ、Ｄｂは対象距離画像と背景距離画像とにおける同位置の画素の画素値（距離）であり、ｔｈｒ１は距離の計測精度よりもやや大きく設定した閾値である。要するに、背景よりも近い領域が存在すれば検出対象の候補と判断するのである。また、対象距離画像と背景距離画像との一方のみが高信頼度である部位についてはすべての部位を検出対象の候補と判断する。図４（ｃ）の分類結果に対して上述の条件を適用した結果として得られる検出対象の候補の部位を図５に示す。図５における黒部位が検出対象の候補となる部位である。

ただし、図５から明らかなように、検出対象と考えられる部位の一部に検出対象の候補として選択されていない部位が存在している（図５において、検出対象の候補となっている左側の領域の下部が白抜きになっている）。このような部位を含めて検出対象の候補として抽出するには、対象距離画像と背景距離画像とがともに低信頼度であった部位のうち、信頼度の変化が比較的大きい部位を抽出すればよい。すなわち、対象距離画像と背景距離画像とにおいて信頼度が変化した原因は、検出対象が発生したことに起因すると推定し、対象距離画像と背景距離画像とから求めた信頼度Ｒｆ，Ｒｂの差の絶対値が規定した閾値ｔｈｒ２以上であるとき、すなわち、｜Ｒｆ−Ｒｂ｜≧ｔｈｒ２を満たす部位を検出対象の候補に含める。図５に対してこの条件を適用した結果を図６に示す。物体抽出手段５では、上述の処理によって、検出対象の候補となる部位をすべて抽出することが可能になる。

なお、上述の例では対象距離画像と背景距離画像との信頼度をそれぞれ２値化しているが、３段階以上に区分することも可能である。

（物体判定手段の動作）
物体抽出手段５では、検出対象の候補となる部位が抽出されるが、ノイズ成分が含まれている場合やグループ化すべき部位が分離されている場合があるから、ノイズ成分の除去やグループ化が必要である。

そこで、物体判定手段６では、物体抽出手段５で抽出された検出対象の候補について、測距精度の高い（測定の信頼性が高い）画素群（以下、「Ａ群」という）と、他の画素群（以下、「Ｂ群」という）とに分類する。

Ａ群となる画素の条件は、対象距離画像において検出対象の候補である領域内の２個の画素ｉ，ｊについて、各画素ｉ，ｊの画素値Ｄｉ，Ｄｊ（つまり、距離）と、各画素ｉ，ｊの座標（ｕｉ，ｖｉ）（ｕｊ，ｖｊ）とが規定の閾値ｔｈｒＡとの間に数３の式１の関係を満足することである。また、Ｂ群となる画素の条件は、対象距離画像において検出対象の候補である領域内の２個の画素ｋ，ｌについて、各画素ｋ，ｌの座標（ｕｋ，ｖｋ）（ｕｌ，ｖｌ）が規定の閾値ｔｈｒＢとの間に数３の式２の関係を満足することである。さらに、Ａ群とＢ群との間では、Ａ群の画素ａとＢ群の画素ｂとの座標（ｕａ，ｖａ）（ｕｂ，ｖｂ）と規定の閾値ｔｈｒＡＢとの間に数３の式３の関係が満たされるときには、１個の検出対象になるものと判断し、Ａ群とＢ群との画素を１つのグループに統合する。上述の処理によって得られた結果を図７に示す。図７においてＡ１，Ａ２はＡ群、Ｂ１〜Ｂ４はＢ群の画素の集合であり、（Ａ１，Ｂ２）が１つのグループに統合され、（Ａ２，，Ｂ１，Ｂ３，Ｂ４）が１つのグループに統合されている。つまり、各グループがそれぞれ個別の検出対象になる。

ところで、上述のようにＡ群とＢ群との画素をグループに統合する際に、図８にＢ５として示すような位置に生じるＢ群の画素は、Ａ１を含むグループとＡ２を含むグループとのいずれにもグループ化される可能性がある。このような場合には、Ｂ５として示すＢ群の画素をどちらのグループに統合するかを決定しなければならない。たとえば、検出対象を検出する目的が、図９に示す特定領域（危険領域など）Ａｄに侵入しないように監視することであれば、Ｂ５を特定領域Ａｄに近いほうの検出対象に統合することが合理的であると考えられる（グループ内の画素数が多くなるから検出が容易になる）。

ここにおいて、特定領域ＡｄとＡ１，Ａ２を含む各グループとの距離は、測距手段１から特定領域Ａｄの代表点までの距離Ｄｄと、測距手段１から各グループの代表点までの距離とによって評価する。各グループの代表点までの距離Ｄ１，Ｄ２は数４により求める。数４はＡ１，Ａ２に含まれる画素値（距離）の平均値であり、Ｎ１，Ｎ２はそれぞれＡ１，Ａ２に含まれる画素数である。

上述のようにＡ群とＢ群との画素を１つの検出対象とみなせるグループに統合するにあたって、各画素群についてノイズ成分を事前に除去しておけば、検出対象の正確な判断につながる上に処理負荷の軽減にもなる。ここに、ノイズ成分は画素群の占める面積が小さいと考えられるから、Ａ群とＢ群との各画素群の画素数（面積）に対して適宜の閾値を設定し、画素数が閾値以下である画素群はノイズ成分として処理対象から削除すればよい。

ただし、測距手段１からの距離が大きいほど画像内で占める面積が小さくなるから、各画素群の面積を単純に閾値と比較すると、遠方の検出対象が削除される可能性が生じる。そこで、各画素群の代表点の距離を求め、距離に応じて閾値を変化させるようにすれば、検出対象をノイズ成分と誤認して削除する可能性を低減することができる。このような閾値は、たとえば距離に反比例するように設定し、測距手段１の画角によって適宜の係数を乗じた値に設定すればよい。

上述の処理によって、画素群を１つのグループに統合したとしても、Ｂ群となる画素群は測距精度が比較的低い可能性がある。たとえば、人体を検出対象とした場合に、図１０に示すように、毛髪部分については測距精度が低い可能性がある。したがって、検出対象までの距離を求める目的で使用する場合には、毛髪部分の距離を採用することができない。グループを構成する画素群に測距精度の低い画素群（Ｂ群）が含まれている場合には、グループ内において当該画素群の近傍において測距精度が高い画素群から測距精度の低い画素群と同個数の画素を抽出し、抽出した画素の平均値を測距精度が低い画素群の距離に代用して用いる。すなわち、測距精度の高い画素群Ｏｂｊから抽出した画素の画素値（距離）をＤ（ｕ，ｖ）、抽出した個数をＮｕｍとするときに、数５を適用して距離Ｄｖを求める。すなわち、測距精度の低い画素群の距離Ｄｖを測距精度の高い画素群の距離の補間によって求めたことになる。

検出対象が人体のように平面に近い形状であるときには、検出対象までの距離Ｄｖを数６のような加重平均で求めてもよい。数６においてＤ（ｕ，ｖ）は、対象距離画像内での検出対象の各画素値（距離）であり、Ｏｂｊは検出対象の画素、Ｒ（ｕ，ｖ）は信頼性算出手段４で求めた各画素の信頼度である。

物体判定手段６では検出対象までの距離のほか検出対象の位置や特徴量としての大きさを求める場合もある。検出対象の位置や大きさを求める場合には、図１１に示すように、上述した１つのグループが占める領域に外接矩形Ｅを設定する。外接矩形Ｅは、グループを構成する水平方向および垂直方向の座標値の最小値と最大値とを求めることによって設定することができる。検出対象までの距離は数５、数６などによって求めることができるから、検出対象までの距離をＤｏとすれば、対象距離画像内の外接矩形Ｅの幅ｗおよび高さｈを用いることによって、検出対象の実際の高さＷおよび幅Ｈを数７で求めることができる。数７におけるβは測距手段１に固有な定数である。また、検出対象の特徴量である面積Ｓは、数７に示すように、外接矩形Ｅの面積で近似することができ、検出対象の特徴量として外接矩形Ｅのアスペクト比Ａｓｐｅｃｔを求めると、人体（Ａｓｐｅｃｔ≒０．５）か犬や猫のような小動物（Ａｓｐｅｃｔ≒１）かを判別することも可能になる。

（実施形態２）
本実施形態は、図１２に示すように、実施形態１と同様に、測距手段１、背景記憶手段２、差分手段３、信頼性算出手段４、物体抽出手段５、物体判定手段６を備える。ただし、背景記憶手段２では、背景距離画像だけを記憶するのではなく測距手段１において背景距離画像を生成する際に用いる情報を背景情報として記憶し、また信頼性算出手段４では、背景距離画像の各画素値の信頼度を算出するにあたって背景情報を用い、対象距離画像に代えて測距手段１において対象距離画像を生成する際に用いる情報を対象情報として信頼度の算出に用いる。背景情報および対象情報の具体例は後述する。背景情報および対象情報は、測距手段１の出力目的である距離情報ではない付随情報になる。

（信頼性算出手段の動作）
信頼度（３）
本例は、本実施形態における信頼性算出手段４の動作例であって、測距手段１においてステレオ画像法を採用していることを利用する。ステレオ画像法は一般的には複数枚の画像を使用するが、ここでは簡単のために左右２枚の画像を使うものとする。ステレオ画像法において得られる２枚の画像のうちの一方を背景情報および対象情報として用いるものである。ステレオ画像法では、左右２枚の画像に含まれる各画素を対応付ける必要があり、画素を対応付けることによって２枚の画像の視差を求め、２台のＴＶカメラの距離と視差とを用いることによって画像内の各画素の距離を求めている。したがって、濃度の変化が少ない領域では、画素間を一対一に対応付けることが難しく、対応付けが不正確であると距離の計測値に誤りが生じる。

そこで、本実施形態では、ステレオ画像法で用いる２枚の画像のうち一方の画像（たとえば、左画像）に対応付ける画素を他方の画像（たとえば、右画像）から抽出する場合において、数８のように、前記一方の画像内で着目する画像を中心とするＮ×Ｍ画素（Ｎ，Ｍは自然数）の近傍領域の濃度の分散を求め、濃度の分散を信頼度に用いる。この場合、分散が大きいほど画素の対応付けが容易になるから、距離の計測値の信頼度が大きくなるのである。なお、数８において、Ｖａｒは分散、Ｒは信頼度、Ｉ（ｕ，ｖ）は画素（ｕ，ｖ）の濃度、ＡはＮ×Ｍ画素の近傍領域である。

信頼度（４）
本例は、信頼度（３）と同様に、ステレオ画像法における２枚の画像の対応付けの良否が測距の精度に影響するという知見に基づいて、対応付けの良否に関する評価値（正規化相関値）を数９により求め、背景距離画像および対象距離画像に対する背景情報および対象情報として用いるものである。なお、数９において、Ｉｌ（ｕｌ，ｖｌ），Ｉｒ（ｕｒ，ｖｒ）はそれぞれ左画像の濃度と右画像の濃度、Ａｌ，Ａｒは左右の各画像において互いに対応付ける領域、Ａｖｅｌ，Ａｖｅｒはそれぞれ領域Ａｌ，Ａｒ内の濃度の平均値である。数９で求める評価値Ｃは、０≦Ｃ≦１の値であって、２枚の画像の対応付けが良好であるほど大きい値になる。

なお、信頼度（４）では濃度に代えて色（色相、彩度、明度の少なくとも１種類）を用いてもよい。

信頼度（５）
数９における正規化相関値Ｃを求める際に、輝度を用いる代わりに数１０で示す微分値Ａｍｐあるいは濃度勾配方向Ｄｉｒを用いてもよい。着目する画素の微分値を求めるには、図１３に示すようなソーベルフィルタ（Ｓｏｂｅｌ）を適用すればよい。図１３（ａ）は水平微分値Ｈを求める際のソーベルフィルタであり、図１３（ｂ）は垂直微分値Ｖを求める際のソーベルフィルタである。

本実施形態の他の構成は実施形態１と同様である。

上述した実施形態１、実施形態２では測距手段１として、２台のＴＶカメラを用いたステレオ画像法により距離画像を生成するものを想定したが、測距手段１としては、音（一般には超音波）や光の送波から反射波を受波するまでの時間差を用いて距離を測定するものを採用してもよい。この種の測距手段１では、図１４に示すように、音あるいは光の速度をＳｓとすれば、送波から受波までの時間差がＴｒであるときに、物体までの距離Ｄを、Ｄ＝Ｓｓ×Ｔｒ／２と表すことができる。このような測距手段１では反射波の受波強度Ａｒが大きいほど測距の信頼性が高いと言えるから、信頼度Ｒとして強度Ａｒを用いればよい。あるいはまた、音または光を間欠的に送波するものとして、音または光の送出時の受波強度Ａ０と反射波の受波時の受波強度Ａｒとを用い、両者の比（＝Ａｒ／Ａ０）あるいは両者の差（Ａｒ−Ａ０）を信頼度Ｒに用いるようにしてもよい。

光を用いる測距手段１としては、送波する光の強度を変調しておき（つまり、光の強度を所定の規則に従って時間経過に伴って変化させ）、送波した光と受波した反射波との強度変調の位相差から物体までの距離を求める技術を採用してもよい。たとえば、送波する光の強度を正弦波で変調している場合に、受波する光の受波強度Ａｒは図１５のように変化し、受波強度Ａｒが大きいほど位相差の検出誤差が小さくなるから、受波強度Ａｒを測距の信頼性の目安に用いることができる。つまり、信頼度Ｒとして受波強度Ａｒを用いることができる。

実施形態１を示すブロック図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 同上の動作説明図である。 実施形態２を示すブロック図である。 同上に用いるソーベルフィルタを示す図である。 他の構成例の動作説明図である。 さらに他の構成例の動作説明図である。

符号の説明

１ 測距手段
２ 背景記憶手段
３ 差分手段
４ 信頼性算出手段
５ 物体抽出手段
６ 物体判定手段

Claims (10)

1. 着目する空間の各部位の距離を計測する測距手段と、着目する１つの空間について測距手段で異なる時刻に計測した各部位ごとの距離の差分を求める差分手段と、差分手段で得られた距離の差分を用いて空間内での検出対象となる物体の候補の存在部位を抽出する物体抽出手段と、物体抽出手段により抽出した検出対象の候補から検出対象を抽出し検出対象の特徴量を抽出する物体判定手段と、測距手段による空間の各部位の距離の計測結果について信頼度を求める信頼性算出手段とを有し、物体抽出手段は、各部位ごとに異なる時刻の距離の計測結果の信頼度の組合せによって各部位ごとの距離の差分を分類する機能を有し、物体判定手段は、物体抽出手段での各部位ごとの分類結果および距離の評価により検出対象の候補を検出対象ごとにグループ化して抽出する機能を有することを特徴とする物体検出装置。
2. 前記信頼性算出手段は、前記測距手段で距離を計測する各部位について近傍領域を設定し、着目部位の近傍領域での距離の計測結果の分散の関数として当該部位の信頼度を算出することを特徴とする請求項１記載の物体検出装置。
3. 前記信頼性算出手段は、前記測距手段で距離を計測する各部位について近傍領域を設定するとともに、着目部位の近傍領域である第１の領域に含まれる各部位についてさらに近傍領域である第２の領域を設定し、第２の領域での距離の計測結果の分散を第１の領域内で合計した総和の関数として当該部位の信頼度を算出することを特徴とする請求項１記載の物体検出装置。
4. 前記測距手段は、空間の各部位の距離について計測結果の信頼度の目安となる付随情報を出力し、前記信頼性算出手段は、空間の各部位の計測結果について付随情報を用いて信頼度を求めることを特徴とする請求項１記載の物体検出装置。
5. 前記測距手段は、複数台のＴＶカメラを用いて撮像した複数枚の画像に含まれる画素を互いに対応付けることにより空間の各部位の距離を各画素の画素値とした距離画像を生成するものであって付随情報として各ＴＶカメラで撮像した複数枚の画像のうちのいずれかの各画素の濃度を出力し、前記信頼性算出手段は、当該画像の各画素について近傍領域を設定し、距離画像において着目する画素の近傍領域での濃度の分散の関数として当該画素の信頼度を算出することを特徴とする請求項４記載の物体検出装置。
6. 前記測距手段は、複数台のＴＶカメラを用いて撮像した複数枚の画像に含まれる画素を互いに対応付けることにより空間の各部位の距離を各画素の画素値とした距離画像を生成するものであって付随情報として各ＴＶカメラで撮像した複数枚の画像において画素を対応付けた領域および複数枚の画像の各画素の濃度を出力し、前記信頼性算出手段は、対応付けた領域における画素の濃度の相関値として当該領域に含まれる画素の信頼度を算出することを特徴とする請求項４記載の物体検出装置。
7. 前記物体抽出手段は、距離の計測結果の信頼度を複数段階に区分するとともに、各部位ごとに異なる時刻の計測結果の信頼度の段階を組み合わせ、各部位ごとの距離の差分を信頼度の段階の組合せで３種類以上に分類し、分類ごとに検出対象の候補か否かを評価することを特徴とする請求項１ないし請求項６のいずれか１項に記載の物体検出装置。
8. 前記物体判定手段は、前記物体抽出手段で抽出した検出対象の候補について、着目する空間内での候補間の３次元の距離が規定した第１の閾値以下である検出対象の候補をグループとして抽出し、さらに測距手段への投影面内で前記グループとの距離が規定した第２の閾値以下である検出対象を前記グループと連結するグループとして抽出し、連結されたグループを１つの検出対象とすることを特徴とする請求項１ないし請求項７のいずれか１項に記載の物体検出装置。
9. 着目する空間の各部位の距離を測距手段により計測し、着目する１つの空間について測距手段で異なる時刻に計測した各部位ごとの距離の差分を求め、求めた距離の差分を用いて空間内での検出対象となる物体の候補の存在部位を抽出し、抽出した検出対象の候補から検出対象を抽出し検出対象の特徴量を抽出する物体検出方法であって、測距手段による空間の各部位の距離の計測結果について信頼度を求め、各部位ごとに異なる時刻の距離の計測結果の信頼度の組合せによって各部位ごとの距離の差分を分類し、各部位ごとの分類結果および距離の評価により検出対象の候補を検出対象ごとにグループ化して抽出することを特徴とする物体検出方法。
10. 請求項１ないし請求項８のいずれか１項に記載の物体検出装置における差分手段と物体抽出手段と物体判定手段と信頼性算出手段とを実現するコンピュータ読取可能なプログラム。

Images