JP2961272B1 - 特徴ベクトルを利用した物体の認識装置および方法 - Google Patents

Abstract

【要約】 【課題】オクルージョン（物体の隠蔽）の発生などを考
慮して類似度を補正することにより、精度のよい距離推
定を行うようにする。 【解決手段】撮像手段で撮像された撮像画像の各選択画
素に対応する各撮像手段の対応候補点近傍の明度情報等
の局所情報を、仮定した距離毎に抽出する対応候補点情
報抽出手段６０６〜６０８と、ここで抽出した各撮像手
段の対応候補点近傍の局所情報を入力として、局所的な
特徴を的確に特徴付ける特徴ベクトルを生成する特徴ベ
クトルの生成手段６０９と、その生成された特徴ベクト
ルのデータを要素毎に位置的または時間的に集積するこ
とによる情報の安定化の処理を行う特徴ベクトルの安定
化手段６１０と、それらの安定化された特徴ベクトルの
要素間の関係を利用して物体までの距離を推定する距離
推定手段６１１を具えることにより、３次元空間の情報
を推定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の認識装置お
よびその方法に関し、異なる位置に配置された複数の撮
像手段による画像情報から三角測量の原理を利用して認
識対象物体までの距離情報など、認識対象物体の３次元
情報を算出して、この３次元情報を用いて物体を認識す
るような場合に適用して好適な装置および方法に関す
る。

【０００２】

【従来の技術および発明が解決しようとする課題】従来
より、撮像手段たる画像センサの撮像結果に基づき認識
対象物体までの距離を計測する方法として、ステレオビ
ジョン（ステレオ視）による計測方法が広く知られてい
る。

【０００３】この計測は、２次元画像から、距離、深
度、奥行きといった３次元情報を得るために有用な方法
である。

【０００４】すなわち、２台の画像センサを例えば左右
に配置し、これら２台の画像センサで同一の認識対象物
を撮像したときに生じる視差から、三角測量の原理で、
対象物までの距離を測定するという方法である。このと
きの左右の画像センサの対は、ステレオ対と呼ばれてお
り、２台で計測を行うことから２眼ステレオ視と呼ばれ
ている。

【０００５】図１２は、こうした２眼ステレオ視の原理
を示したものである。同図に示すように、２眼ステレオ
視では、左右の画像センサ１、２の画像＃１（撮像面１
ａ上で得られる）、画像＃２（撮像面２ａ上で得られ
る）中の、対応する点Ｐ１、Ｐ２同士の位置の差である
視差（ディスパリティ）ｄを計測する必要がある。一般
に視差ｄは、３次元空間中の点５０ａ（認識対象物体５
０上の点）までの距離ｚとの間に、次式で示す関係が成
立する。

【０００６】ｚ＝Ｆ・Ｂ/ ｄ …（１） ここに、Ｂは左右の画像センサ１、２間の距離（基線
長）であり、Ｆは画像センサ１のレンズ３１、画像セン
サ２のレンズ３２の焦点距離である。通常、基線長Ｂと
焦点距離Ｆは既知であるので、視差ｄが分かれば、距離
ｚは一義的に求められることになる。

【０００７】この視差ｄは、両画像＃１、＃２間で、ど
の点がどの点に対応するかを逐一探索することにより算
出することができる。このときの一方の画像＃１上の点
Ｐ₁に対応する他方の画像＃２上の点Ｐ₂のことを「対応
点」と以下呼ぶこととし、対応点を探索することを、以
下「対応点探索」と呼ぶことにする。物体５０までの距
離を仮定したとき、一方の画像＃１上の点Ｐ₁に対応す
る他方の画像＃２上の点のことを以下「対応候補点」と
呼ぶことにする。

【０００８】２眼ステレオ視による計測を行う場合、上
記対応点探索を行った結果、真の距離ｚに対応する真の
対応点Ｐ₂を検出することができれば、真の視差ｄを算
出することができたことになり、このとき対象物５０上
の点５０ａまでの真の距離ｚが計測できたといえる。

【０００９】こうした処理を、一方の画像＃１の全画素
について実行することにより、画像＃１の全選択画素に
距離情報を付与した画像（距離画像）が生成されること
になる。

【００１０】上記対応点を探索して真の距離を求める処
理を、図１３、図１４、図１７を用いて詳述する。

【００１１】図１７は、従来の２眼ステレオ視による距
離計測装置（物体認識装置）の構成を示すブロック図で
ある。

【００１２】基準画像入力部１０１には、視差ｄ （距
離ｚ）を算出する際に基準となる画像センサ１で撮像さ
れた基準画像＃１が取り込まれる。一方、画像入力部１
０２には、基準画像＃１上の点に対応する対応点が存在
する画像である画像センサ２の撮像画像＃２が取り込ま
れる。

【００１３】つぎに、対応候補点座標発生部１０３、対
応候補点情報抽出部１０４、類似度算出部１０５、ウイ
ンドウ内加算部１０６、距離推定部１０７における処理
を図１３を用いて説明すると、まず、対応候補点座標発
生部１０３では、基準画像＃１の各画素に対して、仮定
した距離ｚ_n毎に、画像センサ２の画像＃２の対応候補
点の位置座標が記憶、格納されており、これを読み出す
ことにより対応候補点の位置座標を発生する。

【００１４】すなわち、基準画像センサ１の基準画像＃
１の中から位置（ｉ、ｊ）で特定される画素Ｐ₁が選択
されるとともに、認識対象物体５０までの距離ｚ_nが仮
定される。そして、この仮定距離ｚ_nに対応する他方の
画像センサ２の画像＃２内の対応候補点Ｐ₂の位置座標
が読み出される。

【００１５】つぎに、対応候補点情報抽出部１０４で
は、このようにして対応候補点座標発生部１０３によっ
て発生された画像センサ２の対応候補点Ｐ₂の位置座標
に基づき対応候補点Ｐ₂の局所情報を抽出する処理が実
行される。ここで、局所情報とは、対応候補点の近傍の
画素を考慮して得られる対応候補点の画像情報のことで
ある。画像情報として代表的なものは、画素の明度であ
り、画像に対して前処理を行った後の画像情報であって
もよい。

【００１６】さらに、類似度算出部１０５では、上記対
応候補点情報抽出部１０４で得られた対応候補点Ｐ₂の
画像情報（局所情報）と基準画像の選択画素Ｐ₁の画像
情報との類似度が算出される。類似度の算出にあたって
は、一般的に位置的に近傍にあるデータを集積すること
により情報の安定化が図られる。例としては、エリアベ
ースのウインドウを用いたマッチングがある。

【００１７】そこで、ウインドウ内加算部１０６では、
基準画像＃１の選択された画素の周囲の領域と、画像セ
ンサ２の画像＃２の対応候補点の周囲の領域とのパター
ンマッチングにより、両画像の領域同士が比較されて、
類似度という情報を安定化させた安定化類似度が算出さ
れる。

【００１８】すなわち、図１３に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの安定化類似度が算出される。このパターンマッチン
グは各仮定距離ｚ_n毎に行われる。そして同様のパター
ンマッチングが、基準画像＃１の各選択画素毎に全画素
について行われる。

【００１９】なお、安定化には、上述した空間的な領域
（ウインドウ）内での空間的な安定化の他に、時間的に
安定化を図る方法もある。

【００２０】図１４は、仮定距離ｚ_nと（安定化）類似
度の逆数Ｑssadとの対応関係を示すグラフである。

【００２１】図１３のウインドウＷＤ₁と、仮定距離が
ｚ’_nのときの対応候補点の位置を中心とするウインド
ウＷＤ’₂とのマッチングを行った結果は、図１４に示
すように類似度の逆数Ｑssadとして大きな値が得られて
いる（類似度は小さくなっている）が、図１３のウイン
ドウＷＤ₁と、仮定距離がｚ_nxのときの対応候補点の位
置を中心とするウインドウＷＤ₂とのマッチングを行っ
た結果は、図１４に示すように類似度の逆数Ｑssadは小
さくなっている（類似度は大きくなっている）のが分か
る。

【００２２】このようにして仮定距離ｚ_nと類似度の逆
数Ｑssadとの対応関係から、最も類似度が高くなる点
（類似度の逆数Ｑssadが最小値となる点）を判別し、こ
の最も類似度が高くなっている点に対応する仮定距離ｚ
_nxを最終的に、認識対象物体５０上の点５０ａまでの真
の距離（最も確からしい距離）と推定する。つまり、図
１３における仮定距離ｚ_nxに対応する対応候補点Ｐ₂が
選択画素Ｐ₁に対する対応点であるとされる。このよう
に、距離推定部１０７では、基準画像＃１の選択画素に
ついて仮定距離ｚ_nを順次変化させて得られた各類似度
の中から、最も類似度の高くなるものが判別され、最も
類似度が高くなる仮定距離ｚ_nxが真の距離と推定され出
力される。

【００２３】以上、２眼ステレオ視による場合を説明し
たが、３台以上の画像センサを用いてもよい。３台以上
の画像センサを用いて距離計測（物体認識）を行うこと
を、多眼ステレオ視による距離計測（物体認識）と称す
ることにする。

【００２４】この多眼ステレオ視による距離計測装置
（物体認識装置）では、複数の画像センサを、２台の画
像センサからなるステレオ対に分割し、それぞれのステ
レオ対に対し、前述した２眼ステレオ視の原理を繰り返
し適用する方式をとっている。

【００２５】すなわち、複数ある画像センサの中から基
準となる画像センサを選択し、この基準画像センサと他
の画像センサとの間で、ステレオ対を構成する。そし
て、各ステレオ対に対して２眼ステレオ視の場合の処理
を適用していく。この結果、基準画像センサから基準画
像センサの視野内に存在する認識対象物までの距離が計
測されることになる。

【００２６】従来の多眼ステレオにおけるステレオ対の
関係を図１５を参照して説明すると、図１３に示す２眼
ステレオでは、基準画像＃１と対をなす対応画像は＃２
の１つであったが、多眼ステレオでは、基準画像＃１と
画像センサ２の画像＃２の対、基準画像＃１と画像セン
サ３の画像＃３の対、…、基準画像＃１と画像センサＮ
の画像＃Ｎの対という具合に複数のステレオ対が存在す
る。こうした対応画像と基準画像の各ステレオ対に基づ
く処理を行う前には、画像センサたるカメラの取付け歪
みなどを考慮する必要があり、通常はキャリブレーショ
ンによる補正処理を前もって行うようにしている。

【００２７】多眼ステレオによって対応点を探索して真
の距離を求める処理を、前述した２眼ステレオの図１
３、図１７に対応する図１５、図１８を用いて詳述す
る。

【００２８】図１８は、従来の多眼ステレオ視による距
離計測装置（物体認識装置）の構成を説明する図であ
る。

【００２９】なお、各画像センサ１、２、３、…、Ｎ
は、水平、垂直あるいは斜め方向に所定の間隔で配置さ
れているものとする（説明の便宜上、図１５では一定間
隔で左右に配置されている場合を示している）。

【００３０】基準画像入力部２０１には、視差ｄ（距離
ｚ）を算出する際に基準となる画像センサ１で撮像され
た基準画像＃１が取り込まれる。一方、画像入力部２０
２には、基準画像＃１上の点に対応する対応点が存在す
る画像である画像センサ２の撮像画像＃２が取り込まれ
る。他の画像入力部２０３、２０４においても、基準画
像＃１に対応する画像センサ３の画像＃３が、基準画像
＃１に対応する画像センサＮの画像＃Ｎがそれぞれ取り
込まれる。

【００３１】対応候補点座標発生部２０５では、基準画
像＃１の各画素に対して、仮定した距離ｚ_n毎に、画像
センサ２の画像＃２の対応候補点の位置座標、画像セン
サ３の画像＃３の対応候補点の位置座標、画像センサＮ
の画像＃Ｎの対応候補点の位置座標がそれぞれ記憶、格
納されており、これらを読み出すことにより各対応候補
点の位置座標を発生する。

【００３２】すなわち、基準画像センサ１の基準画像＃
１の中から所定位置Ｐ₁に存在する（ｉ、ｊ）で特定さ
れる画素が選択されるとともに、認識対象物体５０まで
の距離ｚ_nが仮定される。そして、この仮定距離ｚ_nに対
応する画像センサ２の画像＃２内の対応候補点Ｐ₂の位
置座標が読み出される。同様にして、基準画像＃１の選
択画素Ｐ₁（ｉ、ｊ）、仮定距離ｚ_nに対応する画像セン
サ３の画像＃３の対応候補点Ｐ₃の位置座標が読み出さ
れ、基準画像＃１の選択画素Ｐ₁（ｉ、ｊ）、仮定距離
ｚ_nに対応する画像センサＮの画像＃Ｎの対応候補点Ｐ_N
の位置座標が読み出される。そして、仮定距離ｚ_nを順
次変化させて同様の読み出しが行われる。また、選択画
素を順次変化させることによって同様の読み出しが行わ
れる。こうして対応候補点Ｐ₂の位置座標（Ｘ₂、
Ｙ₂）、対応候補点Ｐ₃の位置座標（Ｘ₃、Ｙ₃）、・・
・、対応候補点Ｐ_Nの位置座標（Ｘ_N、Ｙ_N）が対応候補
点座標発生部２０５から出力される。

【００３３】つぎに、対応候補点情報抽出部２０６で
は、このようにして対応候補点座標発生部２０５によっ
て発生された画像センサ２の対応候補点Ｐ₂の位置座標
に基づき対応候補点Ｐ₂の局所情報を抽出する処理が実
行される。同様にして、対応候補点情報抽出部２０７で
は、対応候補点座標発生部２０５で発生された画像セン
サ３の画像＃３の対応候補点Ｐ₃の位置座標に基づい
て、対応候補点Ｐ₃の局所情報が、対応候補点情報抽出
部２０８では、対応候補点座標発生部２０５で発生され
た画像センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置座標
に基づいて、対応候補点Ｐ_Nの局所情報がそれぞれ求め
られる。

【００３４】さらに、類似度算出部２０９では、上記対
応候補点情報抽出部２０６で得られた対応候補点Ｐ₂の
局所情報と基準画像＃１の選択画素Ｐ₁の画像情報との
類似度が算出される。そして、ウインドウ内加算部２１
２では、基準画像＃１の選択された画素の周囲の領域
と、画像センサ２の画像＃２の対応候補点の周囲の領域
とのパターンマッチングにより、両画像の領域同士が比
較されて、安定化類似度が算出される。

【００３５】すなわち、図１５に示すように、基準画像
＃１の選択画素Ｐ₁の位置座標を中心とするウインドウ
ＷＤ₁が切り出されるとともに、画像センサ２の画像＃
２の対応候補点Ｐ₂の位置座標を中心とするウインドウ
ＷＤ₂が切り出され、これらウインドウＷＤ₁、ＷＤ₂同
士についてパターンマッチングを行うことにより、これ
らの類似度が算出される。このパターンマッチングは各
仮定距離ｚ_n毎に行われる。図１６（１）は、仮定距離
ｚ_nとステレオ対（基準画像センサ１と画像センサ２）
の安定化類似度の逆数Ｑs₁との対応関係を示すグラフで
ある。

【００３６】図１５のウインドウＷＤ₁と、仮定距離が
ｚ’_nのときの対応候補点の位置座標を中心とするウイ
ンドウＷＤ’₂とのマッチングを行った結果は、図１６
（１）に示すように類似度の逆数Ｑs₁として大きな値が
得られている（類似度は小さくなっている）が、図１５
のウインドウＷＤ₁と、仮定距離がｚ_nxのときの対応候
補点の位置座標を中心とするウインドウＷＤ₂とのマッ
チングを行った結果は、図１６（１）に示すように類似
度の逆数Ｑs₁は小さくなっている（類似度は大きくなっ
ている）のが分かる。

【００３７】同様にして類似度算出部２１０では、上記
対応候補点情報抽出部２０７で得られた対応候補点Ｐ₃
の局所情報と基準画像＃１の選択画素Ｐ₁の画像情報と
の類似度が算出される。そして、ウインドウ内加算部２
１３では、基準画像＃１の選択画素Ｐ₁の位置座標を中
心とするウインドウＷＤ₁と、画像センサ３の画像＃３
の対応候補点Ｐ₃の位置座標を中心とするウインドウＷ
Ｄ₃とのパターンマッチングが実行され、これらの安定
化類似度が算出される。そして、パターンマッチングが
各仮定距離ｚ_n毎に行われることによって、このステレ
オ対（基準画像センサ１と画像センサ３）についても図
１６（２）に示すような仮定距離ｚ_nと安定化類似度の
逆数Ｑs₂との対応関係を示すグラフが求められる。同様
にして類似度算出部２１１では、上記対応候補点情報抽
出部２０８で得られた対応候補点Ｐ_Nの局所情報と基準
画像＃１の選択画素Ｐ₁の画像情報との類似度が算出さ
れる。そして、ウインドウ内加算部２１４では、基準画
像＃１の選択画素Ｐ₁の位置座標を中心とするウインド
ウＷＤ₁と、画像センサＮの画像＃Ｎの対応候補点Ｐ_N
の位置座標を中心とするウインドウＷＤ_Nとのパターン
マッチングが実行され、これらの安定化類似度が算出さ
れる。そして、パターンマッチングが各仮定距離ｚ_n毎
に行われることによって、このステレオ対（基準画像セ
ンサ１と画像センサＮ）についても図１６（Ｎ）に示す
仮定距離ｚ_nと安定化類似度の逆数Ｑs_Nとの対応関係が
求められる。

【００３８】最終的な類似度算出部２１５では、各ステ
レオ対毎に得られた仮定距離ｚ_nと安定化類似度の逆数
との対応関係が仮定距離毎に加算され、仮定距離と安定
化類似度の逆数の加算値（全体的な安定化類似度の逆
数）との対応関係が求められる（図１６参照）。

【００３９】さらに図１６（融合結果）に示すように、
仮定距離ｚ_nと安定化類似度の逆数の加算値との対応関
係から、最も類似度が高くなる点（類似度の逆数の加算
値が最小値となる点）を判別し、この最も類似度が高く
なっている点に対応する仮定距離ｚ_nxを最終的に、認識
対象物体５０上の点５０ａまでの真の距離（最も確から
しい距離）と推定する。これは距離推定部２１６で実行
される。かかる処理は、基準画像＃１の各選択画素毎に
全画素について行われる。

【００４０】以上のようにして、距離推定部２１６で
は、仮定距離ｚ_nを順次変化させて得られた安定化類似
度の加算値の中から、最も類似度の加算値が高くなるも
のが判別され、最も類似度の加算値が高くなる仮定距離
ｚ_nxが真の距離と推定され、出力される。そして、かか
る距離推定が基準画像＃１の全画素について行われるこ
とから、基準画像＃１の全選択画素に距離情報を付与し
た画像（距離画像）が生成されることになる。

【００４１】ここに、上述した図１８の各ウインドウ内
加算部２１２、２１３、…２１４および最終的な類似度
算出部２１５で行われる処理に関する論文として、論文
１「複数の基線長を利用したステレオマッチング」（電
子情報通信学会論文誌、D-2VO．J75-D-2 No．８ １９
９２−８、奥富正敏、金出武雄）が知られている。この
論文では、各ステレオ画像対に対して、まずウインドウ
内の明度値の差の２乗和（以下、SSD:Sum of Suqared D
ifferences）を計算し、次いで、全てのステレオ画像対
からのＳＳＤを単純に加算して、全体の類似度の逆数を
算出している。この方法を用いると、計測対象の物体上
に似たような模様が繰り返し存在するような場合でも、
２眼ステレオと比較して誤対応が少ない良好な計測結果
が得られる。

【００４２】すなわち、上記論文１には、基準画像の選
択画素の位置を中心とするウインドウを切り出すととも
に、対応画像の対応候補点の位置を中心とするウインド
ウを切り出し、これらウインドウ同士についてパターン
マッチングを行うことにより、基準画像の選択画素につ
いてウインドウ内加算された類似度を演算する技術が記
載されている。具体的には、一方のウインドウ内の画素
の画像情報と、この画素に対応する他方のウインドウ内
の画素の画像情報との差の２乗を、ウインドウ内の各画
素毎に求め、この画像情報の差の２乗値を、ウインドウ
内の全画素について加算したものを、安定化類似度の逆
数としている。そして、各ステレオ対毎に求められた安
定化類似度の逆数が加算されることによって、全体的な
安定化類似度の逆数が算出される（図１６参照）。

【００４３】以上のように、多眼ステレオでは、計測対
象の物体上のある点が全ての画像センサで共通のものと
して観測される場合であれば、対応点の検出精度が損な
われることはない。

【００４４】しかし、実際には、図１９に示すように、
独立した２個の物体５０Ｆ、５０Ｒが前後に並んで配置
されたもの（５０Ｆを前側の物体、５０Ｒを後側の物体
とする）を左右の画像センサ１、２で観測するような場
合には、図２０（ａ）、（ｂ）に示すように、一方の基
準画像センサ１で、これら２個の物体５０Ｆ、５０Ｒの
全体の外観を観測することができたとしても、別の画像
センサ２では、後側の物体５０Ｒを一部しか観測するこ
とができない場合がある。このように、物体の一部が、
手前の物体の陰に隠れて見えなくなるような状態（これ
を、オクルージョン(隠蔽)という）が発生する場合に
は、対応点の検出精度は著しく損なわれることになる。

【００４５】すなわち、オクルージョンが発生した画像
センサ２の撮像画像＃２には、正しい対応位置の情報で
はない間違った情報が入り込んでくるため、真の距離を
正確に求めることができなくなる。

【００４６】もちろん、２眼ステレオに比べれば多眼ス
テレオの方が画像センサが多いため、あるステレオ対で
オクルージョンが発生したとしても、別のステレオ対で
は正常に観測される確率が高くなるために、全体として
オクルージョンの影響は多少緩和されることになる。

【００４７】とはいえ、論文１に示されるように、各ス
テレオ対毎に、安定化類似度の逆数を演算し、これら各
ステレオ対毎に求められた安定化類似度の逆数を加算す
ることによって、全体的な安定化類似度の逆数を演算す
るという単純な多眼ステレオの方法では、オクルージョ
ンの影響を排除することはできない。

【００４８】このオクルージョンの問題に対処すること
ができる代表的な方法が記載された論文として、論文２
「カメラマトリックスを用いた高精細ステレオＳＥＡに
おける隠れ検出法の検討」（電子情報通信学会信学技
報、1996-03、IE95-158，PRU95-245、筑波大：佐藤清
秀、大田友一）がある。

【００４９】この論文には、マトリックス状に配置した
画像センサに対して、オクルージョンが発生するパター
ンを予め複数用意しておき、オクルージョンが発生しな
いと仮定した場合の類似度とオクルージョンが発生した
場合の各パターン毎の類似度を求め、これらに基づき最
終的にオクルージョンの発生の有無とオクルージョンが
有った場合にはオクルージョンのパターンを決定し、既
に演算した各類似度の中から、この決定したパターンに
対応する類似度を選択する技術が記載されている。ここ
で、オクルージョンの発生パターンは、オクルージョン
が発生していない有効な画像センサの台数および種類を
考慮して生成される。

【００５０】上記論文２に対応する多眼ステレオ装置の
構成を図２１に示す。この装置では、オクルージョンの
発生パターン（オクルージョンが発生しないパターンも
含む）が、ｍ個ある場合を想定している。

【００５１】基準画像入力部３０１および画像入力部３
０２、３０３、３０４は、図１８に示す基準画像入力部
２０１および画像入力部２０２、２０３、２０４と同一
であり、対応候補点座標発生部３０５は、図１８に示す
対応候補点座標発生部２０５と同一であり、対応候補点
情報抽出部３０６、３０７、３０８は、図１８に示す対
応候補点情報抽出部２０６、２０７、２０８と同一であ
り、類似度算出部３０９、３１０、３１１は、図１８に
示す類似度算出部２０９、２１０、２１１と同一であ
り、ウインドウ内加算部３１２、３１３、３１４は、図
１８に示すウインドウ内加算部２１２、２１３、２１４
と同一であり、既にした説明と重複するので、これらの
説明は省略する。

【００５２】各オクルージョンパターン１、２、３…ｍ
毎に類似度算出部３１５、３１６、３１７…３１８が設
けられており、各類似度算出部では、ウインドウ内加算
部３１２〜３１４で演算された安定化類似度に基づき、
対応するパターンのオクルージョンが発生していると仮
定したときの全体的な安定化類似度が算出される。

【００５３】類似度選択部３１９では、各オクルージョ
ンパターン毎に算出された全体的な安定化類似度を比較
して、これらの中から、最も確からしいオクルージョン
パターンが決定されるとともに、この決定したオクルー
ジョンパターンに対応する全体的な安定化類似度が、各
類似度算出部３１５、３１６、３１７…３１８で算出さ
れた各全体的な安定化類似度の中から選択される。

【００５４】距離推定部３２０では、仮定距離毎に、選
択された全体的な安定化類似度の中から最も類似度の高
いものが判別され、真の距離が推定される。

【００５５】このような処理を行うことで、確かに、オ
クルージョンが発生したとしても、精度よく距離を推定
することができる。

【００５６】ただし、想定されるオクルージョンの全て
のパターン１〜ｍ毎に、全体的な安定化類似度の計算を
実行する必要があり、演算処理量が大きくなるととも
に、演算に要する時間が大きくなる。オクルージョンの
パターン数が多ければ、多いほど、これら演算処理の負
担が増大する。さらには、ハードウェアの構成が複雑な
なものとなり、ハードウェアの実現が困難になる。

【００５７】以上のように、従来技術にあっては、つぎ
のような問題点があった。

【００５８】（１）論文１に示されるような構成の多眼
ステレオ装置（図１８）では、オクルージョンが発生し
た場合を考慮して精度よく距離推定を行うことができな
い。

【００５９】（２）論文２に示されるような構成の多眼
ステレオ装置（図２１）では、オクルージョンが発生し
た場合を考慮して精度よく距離推定を行うことができる
ものの、扱うデータが多くなるとともに、ハードウェア
の実現が困難となる。

【００６０】本発明の第１発明は、従来の多眼ステレオ
装置の処理の手順を見直し最適化することで、扱うデー
タを少なくでき、オクルージョンの発生を考慮するよう
なハードウェアの実現を容易にすることを第１の解決課
題とするものである。すなわち、従来の多眼ステレオ装
置は、２眼ステレオ装置の単なる拡張であり、処理の効
率が悪い。これは、前述したように、各ステレオ対に対
してまずウインドウ内の明度値の差を求め（各ステレオ
対毎に安定化類似度の逆数を求め）、最後に全ステレオ
対分を単純に加算して全体的な安定化類似度の逆数を求
めている（各ステレオ対毎に求めた安定化類似度を加算
して全体的な安定化類似度を求めている）からである。
こうした各ステレオ対毎に求めた安定化類似度を加算し
て全体的な安定化類似度を求める従来の方法では、各ス
テレオ対分のハードウェア資源が必要である。さらに、
オクルージョンの影響を除去するためには、各オクルー
ジョンパターン毎に、上述した全体的な安定化類似度を
求める必要があり、扱うデータ量や処理量が膨大となっ
てしまうとともに、ハードウェア資源がさらに膨大にな
ってしまう。本発明の第１発明は、こうした実状に鑑み
てなされたものであり、オクルージョンの発生を考慮す
るような複雑な問題においても、画像データを早い段階
でステレオ処理に必要かつ十分な情報（可能性のあるオ
クルージョンの方向や強度等の情報を要素として含む特
徴ベクトル）へと圧縮し、この特徴ベクトルに対し適切
な安定化処理を行い、さらに特徴ベクトルの情報とベク
トル間の関係などを利用して３次元空間の情報を得るこ
とで、保持する情報量を少なくしかつ処理を簡略化して
ハードウェア資源を減らすことを第１の解決課題とする
ものである。

【００６１】ところで、類似度を安定化させる際に使用
されるウインドウのサイズ、形状は一義的である。しか
し、図９（ａ）に示すように、画像＃１中のエッジ５１
が顕著な場合には、その近辺に物体５０の縁が存在する
可能性があり、この場合に一義的な形状である正方形の
ウインドウＷＤを使用すると、背景の影響を大きく受け
て、類似度の安定化処理の精度、ひいては距離の計測の
精度が損なわれることがある。本発明の第２発明は、こ
うした実状に鑑みてなされたものであり、画像中の特徴
に応じてウインドウの形状など、安定化のための領域を
変化させることで、計測の精度を向上させることを第２
の解決課題とするものである。

【００６２】また、前述したように従来のステレオ装置
では、類似度を安定化させる際に使用されるウインドウ
のサイズは、計測対象である物体の特徴とは無関係に固
定であり、パターンマッチングを実施する領域の特徴が
少ないような場合には、安定化が不十分となり、計測精
度が悪くなるという問題があった。そこで、このような
場合は、ウインドウのサイズを大きくして、画像＃１内
の特徴をより多く取り入れるようにして、安定化を十分
に行うようにするものである。安定化を十分に行うこと
で、距離の計測の精度を向上させることができる。本発
明の第３発明は、こうした実状に鑑みてなされたもので
あり、画像中の特徴に応じてウインドウのサイズなど、
安定化のための領域を変化させることで、計測の精度を
向上させることを第３の解決課題とするものである。

【００６３】また、従来のステレオ装置では、図１４あ
るいは図１６に示すように、類似度の逆数Ｑssadが最も
小さくなったときの仮定距離ｚ_nxをもって一義的に、真
の距離であると推定している。

【００６４】しかし、図１１に示すように、仮定距離と
類似度の逆数Ｑssadの対応関係によっては、類似度の逆
数Ｑssadが最も小さくなったときの仮定距離ｚ_x2ではな
くて、値としては最も小さくはないが、その近辺の変化
率が大きい極小点における仮定距離ｚ_x1が真の距離であ
る場合がある。つまり、類似度の逆数Ｑssadが最も小さ
くなったときの仮定距離ｚ_x2をもって一義的に、真の距
離であると推定すると、推定の精度が損なわれることが
ある。

【００６５】本発明の第４発明は、こうした実状に鑑み
てなされたものであり、類似度の大きさ以外に、類似度
の変化率を考慮して、距離を推定することで、距離推定
の精度を向上させることを第４の解決課題とするもので
ある。

【００６６】

【課題を解決するための手段および効果】そこで、本発
明の第１発明は、上記第１の課題解決のために、複数の
撮像手段を所定間隔をもって配置し、これら複数の撮像
手段のうちの一の撮像手段で対象物体を撮像したときの
当該一の撮像手段の撮像画像中の選択画素に対応する前
記物体上の点までの距離を算出し、この各画素毎に求め
られた距離に基づき前記物体を認識するようにした物体
の認識装置において、前記選択画素に対応する各撮像手
段の対応候補点近傍の明度情報等の局所情報を、仮定し
た距離毎に抽出する対応候補点情報抽出手段と、ここで
抽出した各撮像手段の対応候補点近傍の局所情報を入力
として、局所的な特徴を的確に特徴付ける特徴ベクトル
を生成する特徴ベクトルの生成手段と、その生成された
特徴ベクトルのデータを要素毎に位置的または時間的に
集積することによる情報の安定化の処理を行う特徴ベク
トルの安定化手段と、それらの安定化された特徴ベクト
ルの要素間の関係を利用して物体までの距離を推定する
距離推定手段を具えることにより、3次元空間の情報を
推定するようにしている。

【００６７】すなわち、かかる構成によれば、図１に示
すように、画像データを早い段階でステレオ処理に必要
かつ十分な情報へと圧縮し、この特徴ベクトルに対し適
切な安定化処理を行い、さらに特徴ベクトルの情報とベ
クトル間の関係などを利用して３次元空間の情報を得る
ことができる。よって、多眼ステレオ装置においてオク
ルージョンの発生を考慮するような複雑な問題において
も、扱うデータ量や処理量を少なくすることができると
ともに、ハードウェア資源を減らすことができる。

【００６８】また、本発明の第２発明では、上記第２の
課題解決のために、同様な物体の認識装置において、前
記撮像手段で撮像された撮像画像の各選択画素毎に特徴
を抽出する特徴抽出手段と、前記特徴抽出手段で抽出さ
れた特徴に応じて、前記安定化手段で安定化するための
空間領域および時間領域を変化させる手段とを具えるよ
うにしている。

【００６９】すなわち、かかる構成によれば、図９
（ｂ）に示すように、抽出された特徴（エッジ５１の方
向）に応じて、安定化するための空間領域および時間領
域を変化させるようにしている。つまり、ウインドウＷ
ＤＸの形状を、エッジ５１の方向に沿った形状に変化さ
せている。これに対して従来は、類似度を安定化させる
際に使用されるウインドウのサイズ、形状は一義的であ
った。このため、図９（ａ）に示すように、画像＃１中
のエッジ５１が顕著な場合には、その近辺に物体５０の
縁が存在する可能性があり、この場合に一義的な形状の
正方形のウインドウＷＤを使用すると、背景の影響を大
きく受けて、類似度の安定化処理の精度、ひいては距離
の計測の精度が損なわれることがあった。これに対し
て、本発明の第２発明では、ウインドウＷＤＸの形状
を、エッジ５１の方向に沿った形状に変化させるように
しているので、背景の影響を大きく受けることがなくな
り、計測の精度を向上させることができる。

【００７０】また、本発明の第３発明では、上記第３の
課題解決のために、同様な物体の認識装置において、前
記撮像手段で撮像された撮像画像の各選択画素毎に特徴
を抽出する特徴抽出手段と、前記特徴抽出手段で抽出さ
れた特徴に応じて、前記安定化手段で安定化するための
空間領域のサイズを変化させる手段とを具えるようにし
ている。

【００７１】すなわち、かかる構成によれば、図１０
（ａ）に示すように、基準画像の明るさの変化率の絶対
値を通常のサイズのウインドウＷＤ内で加算した値が一
定のしきい値よりも小さい場合には、特徴ベクトルＶＱ
を安定化させるために用いられるウインドウＷＤのサイ
ズを、図１０（ｂ）に示すように、通常よりも大きいサ
イズのウインドウＷＤＸに変化させている。これに対し
て従来は、類似度を安定化させる際に使用されるウイン
ドウのサイズは固定であった。このため、計測対象物体
の特徴が少ない場合には、安定化が不十分となり計測精
度が損なわれることがあった。これに対して、本発明の
第３発明では、特徴量が少ないと判断した場合には、ウ
インドウのサイズを大きくして、画像＃１内の特徴をよ
り多く取り入れるようにして、安定化を十分に行うよう
にしているので、距離の計測の精度を向上させることが
できる。

【００７２】また、本発明の第４発明では、上記第４の
課題解決のために、同様な物体の認識装置において、前
記撮像手段で撮像された撮像画像の各選択画素毎に特徴
を抽出する特徴抽出手段と、前記特徴抽出手段で抽出さ
れた特徴に応じて、前記推定距離における前記全体的な
安定化類似度の変化率を予測し、この予測した変化率で
前記全体的な安定化類似度が変化している仮定距離を、
前記推定距離の候補として出力する手段とを具えるよう
にしている。

【００７３】すなわち、かかる構成によれば、図１１に
示すように、抽出された特徴（明度の変化率）に応じ
て、推定距離における全体的な安定化類似度の逆数Ｑ’
ssadの変化率が予測される。つまり、明度の変化率が大
きい場合には、真の距離における類似度の変化率は大き
いと予測される。そこで、明度の変化率が大きい場合に
は、推定距離ｚ_x1における全体的な安定化類似度の逆数
Ｑ’ssad の変化率は大きくなっているものと予測し、
この大きい変化率で全体的な安定化類似度の逆数Ｑ’ss
ad が変化している仮定距離ｚ_x1が、推定距離の候補と
される。

【００７４】この結果、全体的な安定化類似度の逆数
Ｑ’ssad が最小になっている仮定距離ｚ_x2ではなく
て、これよりも全体的な安定化類似度の逆数Ｑ’ssadの
変化率が大きくなっている仮定距離ｚ_x1が、推定距離と
決定される。

【００７５】ここに、従来のステレオ装置の距離推定部
３２０（１０７、２１６）では、図１４あるいは図１６
に示すように、類似度の逆数Ｑssadが最も小さくなった
ときの仮定距離ｚ_nxをもって一義的に、真の距離である
と推定していた。

【００７６】しかし、図１１に示すように、仮定距離ｚ
_nと類似度の逆数Ｑssadの対応関係によっては、類似度
の逆数Ｑssadが最も小さくなったときの仮定距離ｚ_x2で
はなくて、値としては最も小さくはないが、その近辺の
変化率が大きい極小となったときの仮定距離ｚ_x1が真の
距離である場合がある。つまり、従来のものでは、類似
度の逆数Ｑssadが最も小さくなったときの仮定距離ｚ_x2
をもって一義的に、真の距離であると推定しているため
に、変化率が大きい極小となったときの仮定距離ｚ_x1が
真の距離であることを見逃してしまうことがあった。

【００７７】この点、本第４発明によれば、類似度の大
きさ以外に、類似度の変化率を考慮して、距離を推定す
るようにしているので、真の距離を見逃してしまうこと
なく、距離推定の精度を向上させることができる。

【００７８】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。ここでは、１例として類似度
を使用した場合を説明する。

【００７９】図２２は、本実施形態の多眼ステレオ視に
よる物体認識装置の構成を示すブロック図である。

【００８０】同図に示す実施形態の装置では、９台の画
像センサ１、２、３、…、Ｎ（Ｎ＝９）が、基準画像セ
ンサ１を中心にして、「田の字」状に配置されているも
のとする。なお、画像センサの配置、画像センサの台数
が、本実施形態と異なっている場合であっても、以下に
述べるのと同様な処理を適用することで同等の効果を得
ることができる。基準画像入力部４０１には、視差ｄ
（距離ｚ）を算出する際に基準となる画像センサ１で撮
像された基準画像＃１が取り込まれる。一方、画像入力
部４０２には、基準画像＃１上の点に対応する対応点が
存在する画像である画像センサ２の撮像画像＃２が取り
込まれる。他の画像入力部４０３、…、４０４において
も、基準画像＃１に対応する画像センサ３の画像＃３
が、…、基準画像＃１に対応する画像センサＮ（Ｎ＝
９）の画像＃Ｎがそれぞれ取り込まれる。

【００８１】対応候補点座標発生部４０５では、基準画
像＃１の各画素に対して、仮定した距離ｚ_n毎に、画像
センサ２の画像＃２の対応候補点の位置座標、画像セン
サ３の画像＃３の対応候補点の位置座標、…、画像セン
サＮの画像＃Ｎの対応候補点の位置座標がそれぞれ記
憶、格納されており、これらを読み出すことにより各対
応候補点の位置座標を発生する。

【００８２】すなわち、基準画像センサ１の基準画像＃
１の中から所定位置Ｐ₁に存在する（ｉ、ｊ）で特定さ
れる画素が選択されるとともに、認識対象物体５０まで
の距離ｚ_nが仮定される。そして、この仮定距離ｚ_nに対
応する画像センサ２の画像＃２内の対応候補点Ｐ₂の位
置座標が読み出される。同様にして、基準画像＃１の選
択画素Ｐ₁（ｉ、ｊ）、仮定距離ｚ_nに対応する画像セン
サ３の画像＃３の対応候補点Ｐ₃の位置座標が読み出さ
れ、…、基準画像＃１の選択画素Ｐ₁（ｉ、ｊ）、仮定
距離ｚ_nに対応する画像センサＮの画像＃Ｎの対応候補
点Ｐ_Nの位置座標が読み出される。そして、仮定距離ｚ_n
を順次変化させて同様の読み出しが行われる。また、選
択画素を順次変化させることによって同様の読み出しが
行われる。こうして対応候補点Ｐ₂の位置座標（Ｘ₂、Ｙ
₂）、対応候補点Ｐ₃の位置座標（Ｘ₃、Ｙ₃）、・・・、
対応候補点Ｐ_Nの位置座標（Ｘ_N、Ｙ_N）が対応候補点座
標発生部４０５から出力される。

【００８３】つぎに、局所情報抽出部４０６では、この
ようにして対応候補点座標発生部４０５によって発生さ
れた画像センサ２の対応候補点Ｐ₂の位置座標（Ｘ₂、Ｙ
₂）に基づき対応候補点Ｐ₂の局所情報を抽出する処理が
実行される。同様にして、局所情報抽出部４０７では、
対応候補点座標発生部４０５で発生された画像センサ３
の画像＃３の対応候補点Ｐ₃の位置座標（Ｘ₃、Ｙ₃）に
基づいて、対応候補点Ｐ₃の局所情報が、…、局所情報
抽出部４０８では、対応候補点座標発生部４０５で発生
された画像センサＮの画像＃Ｎの対応候補点Ｐ_Nの位置
座標（Ｘ_N、Ｙ_N）に基づいて、対応候補点Ｐ_Nの局所情
報がそれぞれ求められる。

【００８４】さらに、類似度算出部４０９では、上記局
所情報抽出部４０６で得られた対応候補点Ｐ₂の局所情
報と基準画像＃１の選択画素Ｐ₁の画像情報との類似度
が算出される。

【００８５】同様にして類似度算出部４１０では、上記
局所情報抽出部４０７で得られた対応候補点Ｐ₃の局所
情報と基準画像＃１の選択画素Ｐ₁の画像情報との類似
度が算出される。同様にして類似度算出部４１１では、
上記局所情報抽出部４０８で得られた対応候補点Ｐ_Nの
局所情報と基準画像＃１の選択画素Ｐ₁の画像情報との
類似度が算出される。

【００８６】以上は、図２１に示す従来装置と共通して
いる構成である。

【００８７】その後段の特徴ベクトルの計算部４１２で
は、上記類似度算出部４０９〜４１１で、各ステレオ対
毎に演算された類似度に基づき、後述する局所オクルー
ジョンベクトル（オクルージョンベクトルのことを、適
宜、特徴ベクトルと称する）ＶＱが、基準画像＃１の各
選択画素Ｐ₁毎に計算される。

【００８８】特徴ベクトルの安定化部４１３では、後述
するように、所定ウインドウ内の各局所オクルージョン
ベクトルＶＱを加算することで、安定化した大局オクル
ージョンベクトルＳＶＱが算出される。

【００８９】補正類似度算出部４１４では、安定化した
大局オクルージョンベクトルＳＶＱに基づき、オクルー
ジョンの発生の有無が判断されるとともに、オクルージ
ョンが発生している場合には、オクルージョンの影響を
除去するように、安定化全体類似度の逆数Ｑssad ( i,
j,ｚ_n) が補正され、補正された安定化全体類似度の逆
数Ｑ’ssad ( i,j,ｚ_n) が算出される。

【００９０】距離推定部４１５では、仮定距離ｚ_nと、
上記補正された安定化全体類似度の逆数Ｑssad ( i,j,
ｚ_n) との対応関係が求められ、この対応関係から、最
も類似度が高くなる点（類似度の逆数が最小値となる
点）が判別され、この類似度の逆数Ｑssad ( i,j,ｚ_n)
が最も低くなっている点に対応する仮定距離ｚ_nxが最終
的に、認識対象物体５０上の点５０ａまでの真の距離
（最も確からしい距離）と推定される。かかる処理は、
基準画像＃１の各選択画素毎に全画素について行われ
る。

【００９１】以上のようにして、距離推定部４１５で
は、仮定距離ｚ_nを順次変化させて得られた類似度の中
から、最も類似度が高くなるものが判別され、最も類似
度が高くなる仮定距離ｚ_nxが真の距離と推定され、出力
される。そして、かかる距離推定が基準画像＃１の全画
素について行われることから、基準画像＃１の全選択画
素に距離情報を付与した画像（距離画像）が生成される
ことになる。

【００９２】つぎに、図２〜図７を併せ参照して、上記
特徴ベクトルの計算部４１２、特徴ベクトルの安定化部
４１３、補正類似度算出部４１４、距離推定部４１５で
行われる処理について詳述する。

【００９３】・オクルージョンベクトルの生成方法 さて、オクルージョンベクトルを生成する方法として
は、前述した論文２に示されるように、オクルージョン
が発生するパターンを予め用意しておき、この発生パタ
ーンに応じて、オクルージョンベクトルを生成していく
方法と、オクルージョンの発生パターンを用意すること
なく、オクルージョンベクトルを生成する方法とがあ
る。

【００９４】以下、それぞれの場合に分けて説明する
が、これらを組み合わせて実施してもよい。

【００９５】・（方法１）オクルージョン発生パターン
を予め用意する場合の実施形態 この方法は、９台の画像センサ１〜９で物体５０を観測
したときに起こり得ると想定されるオクルージョンの各
発生パターンを予め用意しておき、これを記憶テーブル
（図３参照）に記憶しておき、類似度算出部４０９〜４
１１で、各ステレオ対毎に求められた類似度の逆数Ｑad
( i,j,k,ｚ_n)に基づき、これらの分布（図２（ａ）参
照）を求め、この分布を、２値化した分布のパターン
（図２（ｂ）参照）に変換し、この２値化した分布のパ
ターンに一致する記憶テーブルの記憶パターンに応じ
て、局所的なオクルージョンベクトルＶＱを求めるもの
である。

【００９６】特徴ベクトルの計算部４１２では、以下の
ようにして局所オクルージョンベクトルＶＱが計算され
る。なお、以下、ステレオ対ｋ（ｋ＝１、２…８）は、
基準画像センサ１と他の画像センサ２…９の対のことを
いうものとする。つまり、ステレオ対１は、基準画像セ
ンサ１と画像センサ２の対のことで、ステレオ対２は、
基準画像センサ１と画像センサ３の対のことで、…ステ
レオ対８とは、基準画像センサ１と画像センサ９の対の
ことをいうものとする。

【００９７】まず、図２（ａ）に示すように、所定の２
次元座標系Ｘ−Ｙが設定され、この座標系Ｘ−Ｙの原点
に、基準画像センサ１が位置決めされる。他の画像セン
サ２〜９については、それぞれ、この座標系Ｘ−Ｙ上の
原点回りの各所定の座標位置に位置決めされる。

【００９８】ここで、Ｘ−Ｙ座標系の各所定の座標位置
に、各画像センサ２〜９（各ステレオ対ｋ＝１〜８）毎
に演算された類似度の逆数Ｑad( i,j,k,ｚ_n) を対応づ
けたとすると、図２（ａ）に示すような類似度の逆数Ｑ
ad( i,j,k,ｚ_n) の分布が得られる。つまり、この図２
（ａ）で、山が高くなっている座標位置に対応する画像
センサ（ステレオ対）では、類似度の逆数が大きくなっ
ており、そこのステレオ対では、オクルージョンが発生
している可能性が高いことを意味している。

【００９９】つぎに、類似度算出部４０９〜４１１で、
各ステレオ対ｋ毎に求められた類似度の逆数Ｑad( i,j,
k,ｚ_n) に基づき、これらの平均値μ( i,j,ｚ_n )と標準
偏差σ(i,j,ｚ_n ) が求められる。

【０１００】そして、この求められた平均値μ( i,j,ｚ
_n)＋標準偏差σ( i,j,ｚ_n )をスレッシュホールド（し
きい値）として、それぞれの類似度の逆数Ｑad( i,j,k,
ｚ_n)の大きさが２値的に判定される。

【０１０１】すなわち、 Ｑad( i,j,k,ｚ_n) ＞ μ( i,j,ｚ_n) ＋ σ( i,j,ｚ_n) …（２） の条件を満たしたときに、０と判定し、上記（２）式の
条件を満たしていないときに、１と判定する。

【０１０２】ここで、類似度の逆数Ｑad( i,j,k,ｚ_n)
の大きさが０と判定されたときは、所定の基準レベルよ
りも類似度の逆数Ｑad( i,j,k,ｚ_n) が大きくなってお
り、このステレオ対ｋでは、オクルージョンが発生して
いる可能性が高いことを意味する。逆に、１と判定され
たときは、そのステレオ対ｋでのオクルージョンの発生
可能性は低いことになる。

【０１０３】上記（２）式に示す２値的な判定は、一例
であり、つぎのような実施も可能である。

【０１０４】すなわち、上記（２）式の代わりに、 Ｑad( i,j,k,ｚ_n) ＞ μ( i,j,ｚ_n) …（２）’ を使用してもよく、また、各類似度の逆数Ｑad( i,j,k,
ｚ_n) の中から、値の大きい上位ｈ個（ｈは予め設定し
ておく）を選択し、これらを０とし、それ以下のものを
１と判定するような実施も可能である。

【０１０５】こうして、図２（ｂ）に示すように、２値
化された類似度の逆数の分布パターンが生成される。つ
まり、この図２（ｂ）で、「０」になっている座標位置
に対応する画像センサ（ステレオ対）では、類似度の逆
数が大きくなっており、そこのステレオ対では、オクル
ージョンが発生している可能性が高いことを意味してい
る。この２値化された類似度の逆数の分布パターンのこ
とを、オクルージョンパターン（オクルージョンが発生
する可能性の大小の分布を示すパターン）というものと
する。

【０１０６】つぎに、こうして生成されたオクルージョ
ンパターンに一致するパターンが、記憶テーブルに記憶
された各オクルージョンパターンの中から選択される。

【０１０７】図３は、９台の画像センサ１〜９で物体５
０を観測したときに起こり得ると想定されるオクルージ
ョンの各発生パターンであり、これらが予め用意され、
記憶テーブルに記憶される。

【０１０８】同図３において「×」は、類似度の逆数Ｑ
ad( i,j,k,ｚ_n)の 大きさ「０」を示す。また、各記憶
オクルージョンパターンには、正規化したオクルージョ
ンベクトルＶ（ox1(ｍ)、oy1(ｍ)）のＸ成分ox1(ｍ)、
Ｙ成分oy1(ｍ)が対応づけられている。

【０１０９】ここで、正規化したオクルージョンベクト
ルＶとは、原点から、類似度の逆数Ｑad(i,j,k,ｚ_n)が
「０」の方向に向かい、スカラ量が１のベクトルのこと
である。このベクトルの方向が、オクルージョンが発生
している可能性の高いステレオ対ｋを指し示している。

【０１１０】よって、図２（ｂ）のように生成されたオ
クルージョンパターンに対応するものとして、図３の記
憶テーブルの中から、矢印に示すオクルージョンパター
ンが選択され、これに対応づけられた正規化オクルージ
ョンベクトルＶのＸ成分、Ｙ成分（０、１）より、図４
（ａ）に示すように正規化オクルージョンベクトルＶが
参照されることになる。

【０１１１】なお、図３に示す記憶テーブルに該当する
パターンがないとき、つまり２値化分布パターンの内容
がすべて１である場合には、「オクルージョンが発生し
ていない」と判断される。

【０１１２】つぎに、上記正規化オクルージョンベクト
ルＶ（ox1(ｍ)、oy1(ｍ)）に対して類似度の逆数の大き
さ（類似度の低さ）を加味した局所オクルージョンベク
トルＶＱ(ＱOX ( i,j,ｚ_n) , ＱOY (i,j,ｚ_n) )が、
次式によって求められる。

【０１１３】 ＱOX ( i,j,ｚ_n) ＝ Z × ox1(ｍ) …（３−１） ＱOY ( i,j,ｚ_n) ＝ Z × oy1(ｍ) …（３−２） ここで、スカラ量Ｚは である。ただし、（３−３）式において、ｋは、２値化
された類似度の逆数が０になっているステレオ対であ
る。

【０１１４】以上のようにして、原点から、類似度の逆
数Ｑad( i,j,k,ｚ_n) が所定のレベル（μ( i,j,ｚ_n) ＋
σ( i,j,ｚ_n)）よりも大きくなっているステレオ対ｋ
の座標位置に向かい、かつ類似度の逆数Ｑad( i,j,k,ｚ
_n) の大きさに応じた大きさ（類似度が大きいほど小さ
くなる）のスカラ量Zの局所オクルージョンベクトルＶ
Ｑ(ＱOX ( i,j,ｚ_n) , ＱOY (i,j,ｚ_n) )が求められ
る。

【０１１５】すなわち、図４（ｂ）に示すように、この
ベクトルＶＱの方向が、オクルージョンが発生している
可能性の高いステレオ対ｋを指し示しており、このベク
トルＶＱの大きさが、オクルージョンが発生している可
能性の高さ（発生度合い）を示している。

【０１１６】一方において、各ステレオ対ｋ毎に演算さ
れた類似度の逆数Ｑad( i,j,k,ｚ_n)に基づき、基準画像
センサ１の選択画素Ｐ₁の画像情報と、他の全ての画像
センサ２〜９の各対応候補点Ｐ₂〜Ｐ₉の各画像情報とを
突き合わせた全体的な類似度Ｑsad ( i,j,ｚ_n)が、下記
（４）式によって求められる。

【０１１７】 ここで、Ｑsad ( i,j,ｚ_n)は、オクルージョンが発生し
ていないと仮定した場合の全体的な類似度の逆数を表し
ている。

【０１１８】・（方法２）オクルージョン発生パターン
を予め用意しない場合の実施形態 この方法では、正規化オクルージョンベクトルから局所
オクルージョンベクトルを求めるのではなく、各ステレ
オ対毎に求めたベクトルを合成することで、局所オクル
ージョンベクトルＶＱを求めるようにしている。

【０１１９】すなわち、図５に示すように、各ステレオ
対ｋ毎に、原点からの方向を示す方向余弦ベクトルＶ
_k( ox2 (ｋ)、oy2 (ｋ)）が求められる。たとえば、原
点からステレオ対１（画像センサ２）の座標位置に向か
う方向余弦ベクトルＶ₁は、Ｖ₁（-1／√2，1／√2）と
求められる。

【０１２０】こうして、各ステレオ対ｋ毎に、方向余弦
ベクトルＶ_kが演算されると、これら方向余弦ベクトル
Ｖ_kに対して、対応する類似度の逆数Ｑad( i,j,ｋ,ｚ_n)
が乗算されることで、類似度の逆数の大きさが加味され
たベクトルＶ_kＱ（Ｑad(i,j,ｋ,ｚ_n)×ox2（ｋ) ，Ｑad
( i,j,ｋ,ｚ_n)×oy2 (ｋ)） が、各ステレオ対ｋ毎に、
求められる。

【０１２１】このようにして求められたベクトルＶ_kＱ
（ｋ＝１〜８）を図６（ａ）に示す。なお、同図６
（ａ）では、ベクトルＶ₄ＱとベクトルＶ₈Ｑが大きさが
零である場合を示している。

【０１２２】つぎに、各ステレオ対ｋ毎に求められた、
類似度の逆数の大きさが加味されたベクトルＶ₁Ｑ、Ｖ₂
Ｑ、…が、下記（５−１）、（５−２）式に示すよう
に、加算されることで、局所オクルージョンベクトルＶ
Ｑ(ＱOX ( i,j,ｚ_n) , ＱOY(i,j,ｚ_n) )が求められ
る。

【０１２３】 すなわち、図６（ｂ）に示すように、このベクトルＶＱ
の方向が、オクルージョンが発生している可能性の高い
ステレオ対ｋを指し示しており、このベクトルＶＱの大
きさが、オクルージョンが発生している可能性の高さ
（発生度合い）を示している。

【０１２４】一方において、各ステレオ対ｋ毎に演算さ
れた類似度の逆数Ｑad( i,j,k,ｚ_n)に基づき、基準画像
センサ１の選択画素Ｐ₁の画像情報と、他の全ての画像
センサ２〜９の各対応候補点Ｐ₂〜Ｐ₉の各画像情報とを
突き合わせた全体的な類似度の逆数Ｑsad ( i,j,ｚ_n)
が、下記（４）式によって求められる。

【０１２５】 ここで、Ｑsad ( i,j,ｚ_n)は、オクルージョンが発生し
ていないと仮定した場合の全体的な類似度の逆数を表し
ている。

【０１２６】・オクルージョンベクトルの安定化 つぎに、特徴ベクトルの安定化部４１３では、上述する
ようにして求められた局所オクルージョンベクトルＶＱ
(ＱOX ( i,j,ｚ_n) , ＱOY (i,j,ｚ_n ) )を時間的にあ
るいは空間的に安定化させた大局オクルージョンベクト
ルＳＶＱ(ＱSOX(i,j,ｚ_n) , ＱSOY ( i,j,ｚ_n) )が求
められる。

【０１２７】本実施形態では、空間的に安定化させる場
合を想定している。

【０１２８】すなわち、下記式（６−２）、（６−３）
に示す演算を行うことで、大局オクルージョンベクトル
ＳＶＱ( ＱSOX ( i,j,ｚ_n), ＱSOY ( i,j,ｚ_n) )が求め
られる。この演算は、所定のウインドウ領域Ｗ_ijを設定
して、このウインドウ領域内の局所オクルージョンベク
トルＶＱを加算することで、オクルージョンの情報を安
定化させた大局オクルージョンベクトルＳＶＱを求める
というものである。

【０１２９】同時に、下記式（６−１）に示す演算を行
うことで、上記全体類似度の逆数Ｑsad(i,j,ｚ_n)を空間
的に安定化させた安定化全体類似度の逆数Ｑssad( i,j,
ｚ_n)が求められる。

【０１３０】 Ｑssad( i,j,ｚ_n) ＝Σp，q W_i,j Ｑsad (p,q,ｚ_n) …（６−１） ＱSOX ( i,j,ｚ_n) ＝Σp，q W_i,j ＱOX (p,q,ｚ_n) …（６−２） ＱSOY ( i,j,ｚ_n) ＝Σp，q W_i,j ＱOY (p,q,ｚ_n) …（６−３） ここで、W_i,j ：パターンマッチングを行う基準画像セ
ンサ１の画素i,jの周りのウインドウ領域 p,q ：パターンマッチングを行うウインドウ領域Ｗ_i,j
内の各画素の位置 なお、本実施形態では、空間的に安定化する場合を想定
しているが、時間的に安定化させてもよく、距離空間的
に安定化させてもよい。

【０１３１】・補正値類似度の算出 つぎに、補正類似度算出部４１４で行われる処理につい
て説明する。

【０１３２】この補正類似度算出部４１４では、上述す
るようにして求められた安定化全体類似度の逆数Ｑssad
( i,j,ｚ_n) が、大局オクルージョンベクトルＳＶＱ
（ＱSOX(i,j,ｚ_n) ，ＱSOY ( i,j,ｚ_n) ）を用いて補正
され、補正された安定化全体類似度の逆数Ｑ’ssad (i,
j,ｚ_n) が求められる。

【０１３３】次式（７）は、この補正演算の一例を示す
式である。

【０１３４】 Ｑ’ssad( i,j,ｚ_n)＝ Ｑssad( i,j,ｚ_n)−ｋ₁×｛ＱSOX ( i,j,ｚ_n)² ＋ＱSOY ( i,j,ｚ_n)²｝^1/2 …（７） なお、ｋ₁は正の定数であるとする。

【０１３５】この（７）式に示されるように、大局オク
ルージョンベクトルＳＶＱのスカラ量が大きいほど、補
正量は大きくなる。

【０１３６】また、安定化全体類似度の逆数Ｑssad( i,
j,ｚ_n) の大きさと、大局オクルージョンベクトルＳＶ
Ｑ（ＱSOX ( i,j,ｚ_n) ，ＱSOY ( i,j,ｚ_n)）の大きさ
を比較して、オクルージョン発生の有無を判断し、この
結果、オクルージョンが発生していると判断された場合
のみに、補正演算を行う方法が考えられる。

【０１３７】すなわち、下記（８−１）式にしたがい、
まず、オクルージョン発生の有無が判断される。

【０１３８】 Ｑssad( i,j,ｚ_n)−ｋ₂×｛ＱSOX ( i,j,ｚ_n)² ＋ＱSOY ( i,j,ｚ_n)²｝^1/2 ＜ε …（８−１） ただし、ｋ₂、εは、正の定数である。

【０１３９】上記（８−１）式が満たされたとき、つま
り安定化全体類似度の逆数Ｑssad(i,j,ｚ_n) の大きさに
対して、大局オクルージョンベクトルＳＶＱのスカラ量
が相対的に大きくなっているときに、オクルージョンが
発生したと判断するものである。

【０１４０】そして、オクルージョンが発生したと判断
された場合には、上記（７）と同様にして、下記（８−
２）式による補正演算が実行される。

【０１４１】 Ｑ’ssad( i,j,ｚ_n)＝ Ｑssad( i,j,ｚ_n)−ｋ₂×｛ＱSOX ( i,j,ｚ_n)² ＋ＱSOY ( i,j,ｚ_n)²｝^1/2 …（８−２） 一方、上記（８−１）式が満たされないとき、つまり安
定化全体類似度の逆数Ｑssad( i,j,ｚ_n) の大きさに対
して、大局オクルージョンベクトルＳＶＱのスカラ量が
相対的に小さくなっているときには、オクルージョンは
発生していないと判断される。

【０１４２】そして、オクルージョンが発生していない
と判断された場合には、下記（８−３）式に示すよう
に、安定化全体類似度の逆数Ｑssad( i,j,ｚ_n) をその
まま最終的な安定化全体類似度の逆数Ｑssad( i,j,ｚ_n)
として出力する。

【０１４３】 Ｑ’ssad (i,j,ｚ_n)＝Ｑssad( i,j,ｚ_n) …（８−３） ・距離推定 最後に、距離推定部４１５では、図７に示すように、仮
定距離ｚ_nと、補正された安定化全体類似度の逆数Ｑ’
ssad ( i,j,ｚ_n)との対応関係（破線にて示す）が求め
られ、この対応関係から、最も類似度が高くなる点（類
似度の逆数が最小値となる点）が判別され、この最も類
似度が高くなっている点に対応する仮定距離ｚ_nxが最終
的に、認識対象物体５０上の点５０ａまでの真の距離
（最も確からしい距離）と推定される。かかる処理は、
基準画像＃１の各選択画素毎に全画素について行われ
る。

【０１４４】図７において、実線で示す対応関係は、従
来のオクルージョンを考慮した補正を行わなかった場合
に得られる、仮定距離ｚ_nと、安定化全体類似度の逆数
Ｑssad(i,j,ｚ_n)との対応関係である。同図７で破線と
実線を比較すると、従来のオクルージョンを考慮した補
正を行わなかった場合には、真の距離ｚ_nxで類似度の逆
数は最小値になっておらず、真の距離ｚ_nxを正確に捕ら
えることができない虞があるが、本実施形態のように、
オクルージョンを考慮した補正を行った場合には、真の
距離ｚ_nxで類似度の逆数は最小値になっており、真の距
離ｚ_nxを正確に捕らえることができるのが分かる。この
ように、本実施形態によれば、オクルージョンが発生し
た場合を考慮した補正を行うことで、真の距離ｚ_nxを正
確に捕らえることができ、精度のよい距離推定が行える
ようになる。

【０１４５】また、本実施形態によれば、オクルージョ
ンが発生した場合を考慮した精度のよい距離推定が行え
るようになるのはもちろんのこと、従来の図２１に示す
構成のように、オクルージョンの影響を除去するため
に、各オクルージョンパターン毎に、全体的な安定化類
似度を求める処理は必要なく、前もって、安定化全体類
似度の逆数Ｑssad( i,j,ｚ_n)を１つだけ求めておくだけ
で済み、計算量が大幅に低減される。

【０１４６】しかも、この安定化全体類似度の逆数Ｑss
ad( i,j,ｚ_n)を求めるには、従来のように、各ステレオ
対毎に、ウインド内加算を行うことによって安定化類似
度を求め、最後に、各ステレオ対毎に求めた安定化類似
度を加算して全体的な安定化類似度を求めるという繁雑
な演算をしなくてもよい。

【０１４７】つまり、ステレオ対毎にウインド内加算を
することなく、全体的な類似度の逆数Ｑsad( i,j,ｚ_n)
を演算しておき（上記（４）式参照）、これだけを安定
化させた安定化全体類似度Ｑssad( i,j,ｚ_n)を求めるだ
けの簡易な演算で済む（上記（６−１）式参照）。

【０１４８】よって、多眼ステレオ装置において、扱う
データ量や処理量を少なくすることができるとともに、
ハードウェア資源を減らすことができる。 このことが
可能であるのは、従来の多眼ステレオ装置は、２眼ステ
レオの方式を複数組み合わせた構成になっているのに対
して、本実施形態の基本的な処理の流れが、 １）画像データを早い段階でステレオ処理に必要かつ十
分な情報（特徴ベクトル）へと圧縮する、 ２）特徴ベクトルに対し、適切な安定化処理を実行す
る、 ３）特徴ベクトルの情報とベクトル間の関係などを利用
して、最終的に目的とする ３次元空間の情報を得る、の３段階になっているからで
ある。

【０１４９】画像処理とは、２次元的に広がった膨大な
データの中から、必要とする情報（圧縮された少ない量
の情報）を抜き出すことである。たとえば、リンゴを写
した画像から、リンゴがあることを認識して、リンゴが
存在するという情報を得たとする。この場合、結果とし
て得られた情報は、元の画像データに比べ、極めて圧縮
された情報になっている。この場合、画像処理の初期の
段階で、リンゴが存在するかどうかを判断する為に必要
十分な情報が得られれば、後の処理はこの情報のみを利
用すればよいことになり、処理内容を簡略化でき、保持
する情報量も少なくなる。

【０１５０】これに対して、従来装置のように、最終的
な判断を行う直前まで、画像情報と同程度の量の情報を
持ち回る様な画像処理の場合には、処理や保持する情報
量は大規模になる。

【０１５１】画像処理を行う場合、元の画像から如何に
早く、的確に必要不可欠な情報に圧縮していくかが重要
になる。

【０１５２】元の画像から早く、的確に必要不可欠な情
報に圧縮することが可能になれば、処理内容の重複を排
除でき、効率のよい処理が実現される。また、早い段階
で情報の冗長性を排除すれば、不要な情報を保持する必
要がない。

【０１５３】このことは、多眼ステレオ処理についても
同様である。

【０１５４】各ステレオ対に対して、同様のステレオ処
理を実施してから、再度その結果を使って距離を推定す
るという従来の方法には、処理内容に冗長性がある。

【０１５５】これに対して処理全体を一つのステレオ処
理と考えて、初期の段階で３次元空間の情報を得るため
に必要となる特徴ベクトルに圧縮しておけば、全体とし
て冗長性が少なく、かつ各画像情報を有効に利用したス
テレオ処理を実行することができる。

【０１５６】従来の多眼ステレオ装置では、画像センサ
の数が増えると、それに比例して処理内容と中間処理情
報が増加する。これに対して、本実施形態では、特徴ベ
クトル生成のための入力情報が増加するだけで、圧縮結
果としての特徴ベクトルの情報量は常に同じになる。従
って処理全体が簡潔になり、画像センサ数の増加に柔軟
かつ、的確に対応することができる。このことは、複数
の画像センサから得られる情報を余すところなく利用
し、目的とする３次元空間情報を得ることができること
を意味する。

【０１５７】なお、本実施形態では、オクルージョンの
除去を目的として特徴ベクトル（オクルージョンベクト
ル）を生成しているが、これ以外の目的の下に特徴ベク
トルを生成して、これに基づき類似度を補正してもよ
い。たとえば、画像センサの画面から物体がはみ出して
撮影されるという「はみだし」を考慮した補正を行うた
めに、特徴ベクトルを生成し、これに基づき類似度を補
正してもよい。

【０１５８】すなわち、特徴ベクトルが持つべき情報
は、目的とする処理内容によって異なる。従来の多眼ス
テレオ装置では、各ステレオ対の類似度を求めている
が、本実施形態では、単なる個別の類似度を、特徴ベク
トルの要素としているのではなく、目的に即した形でベ
クトル情報を持っている点が異なる。

【０１５９】本実施形態のように、オクルージョンを考
慮したステレオ画像処理を行う場合には、オクルージョ
ンの強度と方向が、特徴ベクトルの要素となる。

【０１６０】一方、画像センサの画面から物体がはみ出
して撮影されるという「はみだし」を考慮した補正を行
うためには、「はみだし」の強度と方向が、特徴ベクト
ルの要素となる。

【０１６１】また、本実施形態では、（６−２）、（６
−３）式により安定化処理を行うようにしているが、こ
れに限定されるわけではない。

【０１６２】安定化処理は、特徴ベクトルを、空間的、
時間的に平滑化する処理である。

【０１６３】特徴ベクトルは、各画素毎に計算される情
報であるため、局所的なノイズの影響を受けることがあ
る。また、全体の傾向にそって、個別の特徴ベクトルを
補正したり、一定領域における傾向を表現した特徴ベク
トルを求める必要がある。このような場合に、一定の近
傍領域での部分和などを求めることによって平滑化を行
い、安定化した特徴ベクトルを得ようとするものであ
る。

【０１６４】安定化を行うことにより、各画素毎の特徴
情報を全体の傾向や、処理内容の特性にあわせて調整す
ることができる。これにより、特徴ベクトルを使用する
最終的な処理をより円滑に、かつ効果的に行うことがで
きる。

【０１６５】よって、安定化の方法としては、ウインド
ウ内加算、空間平滑化の他に、時間軸で特徴ベクトルを
加算していく方法や、連続性や、特徴ベクトルの特性か
ら得られる拘束条件を利用して安定化する方法などを使
用してもよい。これら安定化処理は、周りの状況に合わ
せて、特徴ベクトル自身の情報内容を変更する処理であ
る。

【０１６６】また、安定化処理は、単に平滑化を行うの
ではなく、最終的な処理の目的に応じて安定化処理の内
容を調整するところが特徴である。したがって、特徴ベ
クトルそれ自身の情報や、その他の情報を利用して安定
化の強さや、安定化処理の処理内容を調整することも可
能である。

【０１６７】さて、本実施形態によれば、補正値ＱOX(
i,j,ｚ_n)、ＱOY( i,j,ｚ_n)を求め、これを安定化させた
安定化補正値ＱSOX( i,j,ｚ_n)、ＱSOY( i,j,ｚ_n)によっ
て、全体的な安定化類似度の逆数Ｑssad( i,j,ｚ_n)を補
正するようにしているので、全体的な安定化類似度の逆
数Ｑssad( i,j,ｚ_n)を求めることができさえすれば、オ
クルージョンが発生した場合を考慮した精度のよい距離
推定が行われることになる。

【０１６８】つまり、図２２に示す構成のように、ステ
レオ対毎にウインド内加算をすることなく、単に類似度
の逆数Ｑad( i,j,ｚ_n)を加算するだけで全体的な類似度
Ｑsad(i,j,ｚ_n)を求めておき（上記（４）式参照）、こ
れを安定化させた安定化全体類似度の逆数Ｑssad( i,j,
ｚ_n)を求めるだけの簡易な演算で済ませるようにした
（上記（６−１）式参照）本実施形態装置の構成に限定
されるわけではない。

【０１６９】従来の図１８に示す多眼ステレオ装置のよ
うに、各ステレオ対毎に、ウインド内加算を行うことに
よって安定化類似度を求め、最後に、各ステレオ対毎に
求めた安定化類似度を加算して全体的な安定化類似度Ｑ
ssad( i,j,ｚ_n)を求めるという繁雑な演算を行う必要が
ある構成のものに対しても適用可能である。

【０１７０】図１８に示す多眼ステレオ装置の最終的な
類似度算出部２１５では、オクルージョンを何ら考慮し
ない全体的な安定化類似度の逆数Ｑssad( i,j,ｚ_n)が求
められる。ここで、大局オクルージョンベクトルＳＶＱ
に基づき補正値ＱOX(i,j,ｚ_n)、ＱOY( i,j,ｚ_n)を別途
求めておけば、この補正値ＱOX(i,j,ｚ_n)、ＱOY( i,j,
ｚ_n)によって、最終的な類似度算出部２１５で算出され
た全体的な安定化類似度の逆数Ｑssad( i,j,ｚ_n)を、た
とえば上記（７）式のようにして補正することが可能で
ある。この結果、オクルージョンが発生した場合を考慮
した精度のよい距離推定が行えるようになる。

【０１７１】つぎに、基準画像＃１の特徴に基づき、よ
り精度のよい距離推定を行うことができる実施形態につ
いて説明する。

【０１７２】この実施例では、基準画像センサ１から得
られた基準画像＃１の各画素毎に、明度の変化率、エッ
ジの方向などの２次元的な画像の特徴を抽出し、この抽
出した特徴に応じて、図２２に示す特徴ベクトルの安定
化部４１３、補正類似度算出部４１４、距離推定部４１
５の演算処理を制御することで、より精度のよい距離推
定を行うものである。

【０１７３】図８に、この実施形態の多眼ステレオ装置
の構成を示す。

【０１７４】同図に示すように、基準画像入力部５０１
および画像入力部５０２、５０３、５０４は、図２２に
示す基準画像入力部４０１および画像入力部４０２、４
０３、４０４と同一であり、対応候補点座標発生部５０
５は、図１に示す対応候補点座標発生部４０５と同一で
あり、局所情報抽出部５０６、５０７、５０８は、図２
２に示す局所情報抽出部４０６、４０７、４０８と同一
であり、類似度算出部５０９、５１０、５１１は、図２
２に示す類似度算出部４０９、４１０、４１１と同一で
あり、特徴ベクトルの生成部５１２は、図２２に示す特
徴ベクトルの生成部４１２と同一であり、特徴ベクトル
の安定化部５１３は、図２２に示す特徴ベクトルの安定
化部４１３と同一であり、補正類似度算出部５１４は、
図２２に示す補正類似度算出部４１４と同一であり、距
離推定部５１５は、図２２に示す距離推定部４１５と同
一であり、既にした説明と重複するので、これらの説明
は省略する。

【０１７５】基準画像の２次元的特徴抽出部５１６で
は、基準画像センサ１で得られた基準画像＃１の各選択
画素毎に２次元的特徴が抽出される。なお、この基準画
像＃１の特徴は、対象とする画素単独の情報を用いても
よく、また、対象とする画素の周辺の情報に対して、空
間的な安定化を施したものを用いてもよい。

【０１７６】特徴ベクトル生成の制御部５１７は、特徴
抽出部５１６で抽出された基準画像＃１の２次元的特徴
に応じて、特徴ベクトルの生成部５１２で行われる特徴
ベクトル生成の処理を制御するものである。

【０１７７】特徴ベクトル安定化の制御部５１８は、特
徴抽出部５１６で抽出された基準画像＃１の２次元的特
徴に応じて、特徴ベクトルの安定化部５１３で行われる
安定化の処理を制御するものである。すなわち、特徴ベ
クトルＶＱの安定化処理（（６−２）、（６−３）式）
あるいは全体類似度の逆数Ｑsad ( i,j,ｚ_n)の安定化処
理（（６−１）式）に用いられるウインドウ領域Ｗ_i,j
（以下、ウインドウＷＤという）のサイズ、形状を変化
させる処理が行われる。

【０１７８】補正類似度算出の制御部５１９は、特徴抽
出部５１６で抽出された基準画像＃１の２次元的特徴に
応じて、補正類似度の算出部５１４で行われる補正類似
度の算出処理を制御するものである。

【０１７９】距離推定の制御部５２０は、特徴抽出部５
１６で抽出された基準画像＃１の２次元的特徴に応じ
て、距離推定部５１５で行われる距離推定の処理を制御
するものである。

【０１８０】つぎに、特徴ベクトル安定化の制御部５１
８で行われる内容について図９、図１０を併せ参照して
説明する。

【０１８１】・基準画像＃１の２次元的特徴としてエッ
ジの方向を抽出する場合 特徴抽出部５１６で、基準画像＃１の２次元的特徴とし
て、エッジ５１の方向が抽出された場合を想定する。

【０１８２】いま、基準画像＃１の選択画素Ｐ１の情報
から「エッジの方向」が抽出されたものとすると、特徴
ベクトルＶＱあるいは全体類似度の逆数Ｑsad ( i,j,ｚ
_n)を安定化させるために用いられるウインドウＷＤの形
状が、通常の正方形の形状（図９（ａ）参照）から、図
９（ｂ）に示すように、抽出されたエッジ５１の方向に
沿った形状のウインドウＷＤＸに変更される。

【０１８３】ここに、特徴ベクトルＶＱあるいは全体類
似度の逆数Ｑsad ( i,j,ｚ_n)を安定化させるために用い
られるウインドウＷＤの形状を、正方形などに一義的に
設定した場合には、つぎのような問題が生ずる。

【０１８４】すなわち、図９（ａ）に示すように、基準
画像＃１中のエッジ５１が顕著な場合には、その近辺に
物体５０の縁が存在する可能性がある。この場合に一義
的な正方形のウインドウＷＤを使用すると、背景の影響
を大きく受けて、特徴ベクトルＶＱあるいは全体類似度
の逆数Ｑsad ( i,j,ｚ_n)の安定化処理の精度、ひいては
距離の計測の精度が損なわれる虞があった。

【０１８５】この点、本実施形態では、図９（ｂ）に示
すように、ウインドウＷＤＸの形状が、エッジ５１の方
向に沿った形状に変化されるので、背景の影響を大きく
受けることがなくなり、安定化処理の精度、ひいては距
離の計測の精度を向上させることができる。

【０１８６】・基準画像＃１の２次元的特徴として明度
の変化率を抽出する場合 特徴抽出部５１６で、基準画像＃１の２次元的特徴とし
て、明度の変化率が抽出された場合を想定する。

【０１８７】いま、基準画像＃１の選択画素Ｐ₁の情報
から「明度の変化率」が抽出されたものとすると、図１
０（ａ）に示すように、この抽出された明度の変化率の
絶対値が、通常のサイズのウインドウＷＤ内で加算され
る。

【０１８８】そこで、この加算された値ａが一定のしき
い値よりも小さい場合には、特徴ベクトルＶＱあるいは
全体類似度の逆数Ｑsad ( i,j,ｚ_n)を安定化させるため
に用いられるウインドウＷＤのサイズが、通常のサイズ
（図１０（ａ）参照）から、図１０（ｂ）に示すよう
に、通常よりも大きいサイズのウインドウＷＤＸに変更
される。

【０１８９】これは、明度の変化率の絶対値をウインド
ウ内で加算した値ａが、ある一定のしきい値以上でない
とすると、画像＃１内の特徴が不足しており、安定化が
不十分であると予測されるからである。そこで、このよ
うな場合は、ウインドウのサイズを大きくして、画像＃
１内の特徴をより多く取り入れるようにして、安定化を
十分に行うようにするものである。安定化を十分に行う
ことで、距離の計測の精度を向上させることができる。

【０１９０】つぎに、距離推定の制御部５２０で行われ
る内容について図１１を併せ参照して説明する。

【０１９１】特徴抽出部５１６で、基準画像＃１の２次
元的特徴として、明度の変化率が抽出された場合を想定
する。

【０１９２】いま、基準画像＃１の選択画素Ｐ₁の情報
から「明度の変化率」が抽出されたものとすると、この
抽出された明度の変化率の絶対値が、ウインドウＷＤ内
で加算される。

【０１９３】そこで、この加算された値ａが一定のしき
い値以上である場合には、真の距離における全体的な安
定化類似度の逆数Ｑ’ssadの変化率は、大きいと予測さ
れる。逆に、この加算された値ａが一定のしきい値より
も小さい場合には、真の距離における全体的な安定化類
似度の逆数Ｑ’ssadの変化率は、小さいと予測される。

【０１９４】つまり、加算値ａが大きい（明度の変化率
が大きい）画素Ｐ₁では、画像＃１の特徴は大きく、真
の距離近傍における全体的な安定化類似度の逆数Ｑ’ss
adの変化率は、大きいと予測される。

【０１９５】そこで、いま、加算値ａが一定のしきい値
以上（明度の変化率が大きい）であると判断された場合
には、図１１に示すように、大きい変化率で全体的な安
定化類似度の逆数Ｑ’ssadが変化している極小点が探索
され、これに対応する仮定距離ｚ_x1が、推定距離（真の
距離）の候補とされる。

【０１９６】一方、全体的な安定化類似度の逆数Ｑ’ss
adが最小になっている仮定距離ｚ_x2が探索されるととも
に、この仮定距離ｚ_x2近傍における全体的な安定化類似
度の逆数Ｑ’ssadの変化率が求められる。ここで、この
仮定距離ｚ_x2近傍における変化率と、上述するように既
に求められた仮定距離ｚ_x1近傍における変化率とが比較
され、大きい変化率になっている仮定距離ｚ_x1が最終的
に真の距離であると推定される。

【０１９７】なお、逆に、加算値ａが一定のしきい値よ
りも小さくなっている（明度の変化率が小さい）と判断
された場合には、全体的な安定化類似度の逆数Ｑ’ssad
の変化率が小さくなっている極小点を探索し、これに対
応する仮定距離を、推定距離（真の距離）の候補とすれ
ばよい。

【０１９８】ここに、従来のステレオ装置の距離推定部
３２０（あるいは距離推定部１０７、距離推定部２１
６）では、図１４あるいは図１６に示すように、類似度
の逆数Ｑssadが最も小さくなったときの仮定距離ｚ_nxを
もって一義的に、真の距離であると推定していた。

【０１９９】しかし、図１１に示すように、仮定距離ｚ
と類似度の逆数Ｑssadの対応関係によっては、類似度の
逆数Ｑssadが最も小さくなったときの仮定距離ｚ_x2では
なくて、値としては最も小さくはないが、その近辺の変
化率が大きい極小となったときの仮定距離ｚ_x1が真の距
離である場合がある。つまり、従来のものでは、類似度
の逆数Ｑssadが最も小さくなったときの仮定距離ｚ_x2を
もって一義的に、真の距離であると推定しているため
に、変化率が大きい極小となったときの仮定距離ｚ_x1が
真の距離であることを見逃してしまうことがあった。

【０２００】この点、本実施形態によれば、類似度の大
きさ以外に、類似度の変化率を考慮して、距離を推定す
るようにしているので、真の距離を見逃してしまうこと
なく、距離推定の精度を向上させることができる。

【０２０１】なお、本実施形態では、図９、図１０に示
すウインドウの形状、サイズを変化させる処理が、図８
の特徴ベクトルの安定化部における特徴ベクトルＶＱの
安定化のための処理に適用されるものとして説明した
が、本発明としては、これに限定されるわけではない。
図９、図１０に示すウインドウの形状、サイズを変化さ
せる処理を、図１７、図１８、図２１のウインドウ内加
算部における類似度の安定化処理に適用してもよい。

【０２０２】また、実施形態では、図９、図１０に示す
ようにウインドウを空間的に変化させているが、時間的
にウインドウを変化させてもよい。

【０２０３】また、本実施形態では、図１１に示す真の
距離の候補を求める処理が、図８の距離推定部における
真の距離の推定処理に適用されるものとして説明した
が、本発明としては、これに限定されるわけではない。
図１１に示す真の距離の候補を求める処理を、図１７、
図１８、図２１の距離推定部における真の距離の推定処
理に適用してもよい。

【０２０４】また、実施形態では、画像の特徴を、基準
画像センサ１で取得された基準画像＃１から抽出してい
るが、これ以外の画像センサ２〜Ｎで取得された画像＃
２〜＃Ｎから抽出してもよい。

【図面の簡単な説明】

【図１】図１は本発明の装置の構成を示すブロック図で
ある。

【図２】図２（ａ）、（ｂ）は、オクルージョンパター
ンを生成する様子を示す図である。

【図３】図３は実施例の記憶テーブルの内容を示す図で
ある。

【図４】図４（ａ）、（ｂ）は正規化オクルージョンベ
クトルから局所オクルージョンベクトルを生成する処理
を説明する図である。

【図５】図５はステレオ対毎に求めた正規化オクルージ
ョンベクトルを示す図である。

【図６】図６（ａ）、（ｂ）はステレオ対毎に求めた正
規化オクルージョンベクトルから局所オクルージョンベ
クトルを合成する処理を説明する図である。

【図７】図７は仮定距離と類似度の逆数および補正類似
度の逆数の対応関係を示す図である。

【図８】図８は本発明の基準画像の２次元的特徴を利用
する実施形態の装置の構成を示すブロック図である。

【図９】図９（ａ）、（ｂ）は安定化のためのウインド
ウの形状を変化させる処理を説明する図である。

【図１０】図１０（ａ）、（ｂ）は安定化のためのウイ
ンドウの大きさを変化させる処理を説明する図である。

【図１１】図１１は真の距離を、２つの候補点から推定
する様子を説明する図である。

【図１２】図１２は従来の２眼ステレオの画像処理の原
理を示した図である。

【図１３】図１３は従来の２眼ステレオの距離計測の処
理を説明するための図である。

【図１４】図１４は２眼ステレオの場合の仮定距離と類
似度の逆数との対応関係を示すグラフである。

【図１５】図１５は従来の多眼ステレオの距離計測の処
理内容を説明するための図である。

【図１６】図１６は多眼ステレオの場合の仮定距離と類
似度の逆数との対応関係を示すグラフである。

【図１７】図１７は従来の２眼ステレオ装置の構成を示
したブロック図である。

【図１８】図１８は従来の多眼ステレオ装置の構成を示
したブロック図である。

【図１９】図１９は独立した２つの物体を撮像する様子
を示す斜視図である。

【図２０】図２０（ａ）、（ｂ）はオクルージョンを説
明するために用いた図である。

【図２１】図２１は従来の多眼ステレオ装置の構成を示
したブロック図である。

【図２２】図２２は本発明の実施形態の装置の構成を示
すブロック図である。

【符号の説明】

１〜Ｎ 画像センサ ４１２、５１２ 特徴ベクトルの生成部 ４１３、５１３ 特徴ベクトルの安定化部 ４１４、５１４ 補正類似度算出部 ４１５、５１５ 距離推定部 ５１６ 基準画像の２次元的特徴抽出部 ５１７ 特徴ベクトル生成の制御部 ５１８ 特徴ベクトル安定化の制御部 ５１９ 補正類似度算出の制御部 ５２０ 距離推定の制御部

フロントページの続き (72)発明者 木村 茂 神奈川県川崎市宮前区菅生ヶ丘９−１− 403 (72)発明者 中野 勝之 東京都目黒区中目黒２−２−30 (72)発明者 山口 博義 神奈川県平塚市四之宮2597 株式会社 小松製作所 特機事業本部 研究部内 (72)発明者 新保 哲也 神奈川県平塚市四之宮2597 株式会社 小松製作所 特機事業本部 研究部内 (72)発明者 川村 英二 神奈川県川崎市宮前区有馬２丁目８番24 号 株式会社 サイヴァース内 (72)発明者 緒方 正人 神奈川県鎌倉市上町屋345番地 三菱プ レシジョン株式会社内 (56)参考文献 特開 平10−283474（ＪＰ，Ａ) 特開 平９−231358（ＪＰ，Ａ) 特開 平９−196633（ＪＰ，Ａ) 特開 平９−27969（ＪＰ，Ａ) 特開 平９−9294（ＪＰ，Ａ) 特開 平８−313212（ＪＰ，Ａ) 特開 平６−265322（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G01B 11/00 G01C 3/06 G06T 7/00

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 複数の撮像手段を所定間隔をもって配置
   し、これら複数の撮像手段のうちの一の撮像手段で対象
   物体を撮像したときの当該一の撮像手段の撮像画像中の
   選択画素に対応する前記物体上の点までの距離を算出
   し、この各画素毎に求められた距離に基づき前記物体を
   認識するようにした物体の認識装置において、 前記選択画素に対応する各撮像手段の対応候補点近傍の
   明度情報等の局所情報を、仮定した距離毎に抽出する対
   応候補点情報抽出手段と、ここで抽出した各撮像手段の
   対応候補点近傍の局所情報を入力として、局所的な特徴
   を的確に特徴付ける特徴ベクトルを生成する特徴ベクト
   ルの生成手段と、 その生成された特徴ベクトルのデータを要素毎に位置的
   または時間的に集積することによる情報の安定化の処理
   を行う特徴ベクトルの安定化手段と、 それらの安定化された特徴ベクトルの要素間の関係を利
   用して物体までの距離を推定する距離推定手段を具える
   ことにより、3次元空間の情報を推定することを特徴と
   する空間認識装置。
2. 【請求項２】 各撮像手段の対応候補点の局所情報を入
   力として、可能性のあるオクルージョンの方向や強度等
   の情報を要素として含む特徴ベクトルを生成する特徴ベ
   クトルの生成手段と、 その生成された特徴ベクトルのデータを要素毎に位置的
   または時間的に集積することによる情報の安定化の処理
   を行う特徴ベクトルの安定化手段と、それらの安定化さ
   れた特徴ベクトルの要素間の関係を利用して物体までの
   距離を推定する距離推定手段を具えることにより、物体
   の隠蔽(オクルージョン)の影響を取り除いた3次元空間
   の情報を推定することを特徴とする請求項１の空間認識
   装置。
3. 【請求項３】 複数の撮像手段のうちの一の撮像手段で
   対象物体を撮像したときの当該一の撮像手段の撮像画像
   入力手段で得た画像を利用して、各選択画素毎に明るさ
   の変化率やエッジ方向等の２次元的な画像の特徴を抽出
   する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴に応じて、前記特徴
   ベクトルの生成手段で特徴ベクトルの生成方法を変化さ
   せる手段とを具えることを特徴とする請求項１の空間認
   識装置。
4. 【請求項４】 複数の撮像手段のうちの一の撮像手段
   で対象物体を撮像したときの当該一の撮像手段の撮像画
   像入力手段で得た画像を利用して、各選択画素毎に明る
   さの変化率やエッジ方向等の２次元的な画像の特徴を抽
   出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴に応じて、前記特徴
   ベクトルの安定化手段で安定化するための空間領域や時
   間領域を変化させる手段とを具えることを特徴とする請
   求項１の空間認識装置。
5. 【請求項５】 複数の撮像手段のうちの一の撮像手段
   で対象物体を撮像したときの当該一の撮像手段の撮像画
   像入力手段で得た画像を利用して、各選択画素毎に明る
   さの変化率やエッジ方向等の２次元的な画像の特徴を抽
   出する特徴抽出手段と、 前記特徴抽出手段で抽出された特徴に応じて、前記距離
   推定手段で距離の推定方法を変化させる手段とを具える
   ことを特徴とする請求項１の空間認識装置。
6. 【請求項６】 複数の撮像手段を所定間隔をもって配置
   し、これら複数の撮像手段のうちの一の撮像手段で対象
   物体を撮像したときの当該一の撮像手段の撮像画像中の
   選択画素に対応する前記物体上の点までの距離を算出
   し、この各画素毎に求められた距離に基づき前記物体を
   認識するようにした物体の認識装置において、 前記選択画素に対応する各撮像手段の対応候補点近傍の
   明度情報等の局所情報を、仮定した距離毎に抽出する対
   応候補点情報抽出行程と、 ここで抽出した各撮像手段の対応候補点近傍の局所情報
   を入力として、局所的な特徴を的確に特徴付ける特徴ベ
   クトルを生成する特徴ベクトルの生成行程と、 その生成された特徴ベクトルのデータを要素毎に位置的
   または時間的に集積することによる情報の安定化の処理
   を行う特徴ベクトルの安定化行程と、 それらの安定化された特徴ベクトルの要素間の関係を利
   用して物体までの距離を推定する距離推定行程を具える
   ことにより、3次元空間の情報を推定することを特徴と
   する空間認識方法。
7. 【請求項７】 各撮像手段の対応候補点の局所情報を入
   力として、可能性のあるオクルージョンの方向や強度等
   の情報を要素として含む特徴ベクトルを生成する特徴ベ
   クトルの生成行程と、 その生成された特徴ベクトルのデータを要素毎に位置的
   または時間的に集積することによる情報の安定化の処理
   を行う特徴ベクトルの安定化行程と、 それらの安定化された特徴ベクトルの要素間の関係を利
   用して物体までの距離を推定する距離推定行程を具える
   ことにより、物体の隠蔽(オクルージョン)の影響を取り
   除いた3次元空間の情報を推定することを特徴とする請
   求項５の空間認識方法。
8. 【請求項８】 複数の撮像手段のうちの一の撮像手段で
   対象物体を撮像したときの当該一の撮像手段の撮像画像
   入力手段で得た画像を利用して、各選択画素毎に明るさ
   の変化率やエッジ方向等の２次元的な画像の特徴を抽出
   する特徴抽出行程と、 前記特徴抽出行程で抽出された特徴に応じて、前記特徴
   ベクトルの生成行程で特徴ベクトルの生成方法を変化さ
   せる行程とを具えることを特徴とする請求項５の空間認
   識方法。
9. 【請求項９】 複数の撮像手段のうちの一の撮像手段で
   対象物体を撮像したときの当該一の撮像手段の撮像画像
   入力手段で得た画像を利用して、各選択画素毎に明るさ
   の変化率やエッジ方向等の２次元的な画像の特徴を抽出
   する特徴抽出行程と、 前記特徴抽出行程で抽出された特徴に応じて、前記特徴
   ベクトルの安定化行程で安定化するための空間領域や時
   間領域を変化させる行程とを具えることを特徴とする請
   求項５の空間認識方法。
10. 【請求項１０】 複数の撮像手段のうちの一の撮像手段
    で対象物体を撮像したときの当該一の撮像手段の撮像画
    像入力手段で得た画像を利用して、各選択画素毎に明る
    さの変化率やエッジ方向等の２次元的な画像の特徴を抽
    出する特徴抽出行程と、 前記特徴抽出行程で抽出された特徴に応じて、前記距離
    推定行程で距離の推定方法を変化させる行程とを具える
    ことを特徴とする請求項５の空間認識方法。