WO2004038660A1

WO2004038660A1 - 画像処理方法および画像処理装置

Info

Publication number: WO2004038660A1
Application number: PCT/JP2003/013488
Authority: WO
Inventors: Kenichi Kitahama; Hiroki Okamura
Original assignee: Toyota Jidosha Kabushiki Kaisha
Priority date: 2002-10-22
Filing date: 2003-10-22
Publication date: 2004-05-06
Also published as: JP4082410B2; AU2003275587A1; JPWO2004038660A1

Abstract

　本発明の画像処理方法においては、基準画像と参照画像とを用いたステレオマッチングによって対象物の形状を復元するにあたり、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定する。このうち、参照画像に形成された複数のウィンドウを伸縮させて変形させることにより、前記参照画像における隣接するウィンドウ同士間の離間又は重なり合いを解消させて、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元する。このようにすることで、対象物の復元を行う際に、曲面等を滑らかに復元し、近い距離を撮影するステレオカメラに対しても用いることができ、また、演算処理量を少なくできるので処理時間も短縮することができる。

Description

明細書

画像処理方法および画像処理装置

技術分野

【0 0 0 1】本発明はステレオマッチングによって物体を 3次元立体物として復元する画像処理方法および画像処理装置に関する。

背景技術

【0 0 0 2】近年、画像処理技術の発達に伴い、異なる方向から対象物を撮影した複数の画像に基づいて、対象物の立体モデルを画像処理によって得る方法がある。このような画像処理方法としては、たとえば特開 2 0 0 0— 9 9 7 6 0号公報（3ページ、図 2 ) に開示された 3次元モデル生成方法がある。この 3次元モデル生成方法では、複数の異なる方向から物体を観測してステレオ画像を取得し、このステレオ画像に基づいて物体の 3次元輪郭線を生成すると共に、 3次元領域（テクスチャ領域やシェーディング領域）を生成する。 3次元輪郭線情報、及び、 3次元領域情報に基づいて、既存の 3次元モデルと適合するものがある場合はこれらの情報を更新し、適合するものがない場合はこれらの情報を新たな 3次元モデルとして登録する。また、物体の 3次元モデル全体が完成していない場合は、観測方向を移動して全体のモデルを生成する。

【0 0 0 3】 3次元モデル生成方法では、 3次元輪郭線を復元する際に輪郭線の連続性を担保する必要がある。このため、従来のモデル生成方法では、物体にネット状のマッチング領域を設定し、遺伝的アルゴリズムを使って上述したネット状のマッチング領域を物体表面にフィットさせることで輪郭線の連続性を求めている。

【0 0 0 4】上述した手法によって輪郭線の連続性を求めた場合、単にネット状のマッチング領域をフィットさせているのみであるので、曲面等を滑らかに復元することが困難であるという問題があった。また、理論上、視差が小さい場合にのみ用いることができるものであるので、たとえばロポットの目のような、近い距離を撮影するステレオカメラでは、この手法を用いることができないという問題もあった。さらには、繰り返しの計算が多く必要となるので、処理が遅いという問題があった。

発明の開示

【0 0 0 5】本発明の課題は、対象物の復元を行う際に、曲面等を滑らかに復元することができる画像処理方法および装置を提供することにある。さらには、近い距離を撮影するステレオカメラに対しても用いることができ、また演算処理量が少なく、処理時間が短くて済む画像処理方法および装置を提供することにある。

【0 0 0 6】上記課題を解決した本発明に係る画像処理方法は、基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、基準画像撮影手段で撮影された基準画像および参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって、対象物の形状を復元するものである。そして、本発明の画像処理方法は、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、参照画像における複数のウィンドウを変形させることにより、参照画像における隣接する'ゥィンドゥ同士間の離間又は重なり合いを解消させて、基準画像のウィンドウと参照画像のウィンドウとのステレオマッチングを行つて対象物の形状を復元する。【0 0 0 7】基準画像および参照画像のそれぞれに所定の相関関係に基づいて複数のウィンドウを設定する。この複数のウィンドウは、基準画像では整列した状態で形成することができるが、整列したウィンドウに対応付けされた参照画像では、通常、乱雑な状態で設定される。そこで、本発明においては、参照画像における複数のウィンドウを変形させ、隣接するウィンドウ同士間の離間又は重なり合いを解消する。このため、対象物の復元を行う際に、曲面等を滑らかに復元することができる。また、視差が小さい場合に限定されるという不都合はないので、近い距離を撮影するステレオカメラであっても、ステレオマッチングを行うことができる。

【0 0 0 8】ここで、隣接するウィンドウを変形させるにあたり、隣接するウィンドウの対向する角部同士の間に向けて、各ウィンドウの角部を移動させることが好ましい。

【0 0 0 9】このように、ウィンドウ変形時に、隣接するウィンドウの対向する角部同士を、それらの中間部分に向けて移動させてウィンドウを拡張又は収縮させることによって、少ない演算量でウィンドウの拡張又は収縮を好適に行うことができる。この結果、画像処理時間を短縮することができる。

【0 0 1 0】あるいは、基準画面上のウィンドウの重心（又は中心）を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウインドウの重心（又は中心）を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させても良い。

【0 0 1 1】このように、隣接するウィンドウの重心（又は中心）を結ぶ線を結んだ線によつて基準画面のウィンドウとこれらに対応する参照画面のゥィンドウを新たに形成させると共に、参照画像のウィンドウを離間重なり合いのない変形した状態とすることによって、さらに少ない演算量でウィンドウの伸縮を行うことができ、処理時間を短縮することができる。

【0 0 1 2】あるいは、隣接するウィンドウを変形させるにあたり、隣接するウィンドウの各角部を含む境界領域内で、隣接するウィンドウの統一接合点を所定の相関関係に基づいて求め、この統一接合点を基準としてウィンドウの角部を移動させてウィンドウを拡張又は収縮させても良い。このようにすることで、隣接するウィンドウの接合点をより正確に求めることができる。

【0 0 1 3】また、基準画像上に設定された各ウィンドウと、この基準画面上の各ウィンドウに対応する参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させ、基準画像上の分割ウィンドゥと参照画像上の分割ウインドウとを所定の相関関係に基づいて対応付けし、参照画像上の分割ウィンドウを変形させることにより、参照画像上の分割ゥィンドウ同士間の離間又は重なり合いを解消させても良い。

【0 0 1 4】このように、基準画像上のウィンドウと参照画像上のウィンドゥとを分割して分割ウィンドウを形成し、これらを対応付けすることによって、ウィンドウを微細化することができる。その結果、より正確に対象物の形状を復元することができる。

【0 0 1 5】また、本発明の画像処理装置は、基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドウ設定手段と、基準画像上のウィンドウの並び順及び参照画像上のウィンドウの並び順の関係に基づいて基準画像に対する参照画像の対応付けを行い、参照画像上の各ウィンドウを変形させることによって参照画像上の隣接するウィンドウ同士間の離間又は重なり合いを解消させた後に、基準画像のウィンドウと参照画像のウィンドウとのステレオマツチングを行って対象物の形状を復元するステレオマッチング手段とを備えるものである。

【0 0 1 6】ここで、ステレオマツチング手段が、前記参照画像上の隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウィンドウの角部を移動させる処理を行うようにしても良い。

【0 0 1 7】また、ウィンドウ変形手段が、隣接するウィンドウのそれぞれの重心を結ぶ線を基準として、ウィンドウを変形させる処理を行う態様とすることもできる。

【0 0 1 8】あるいは、ステレオマッチング手段が、基準画面上のウィンドゥの重心（又は中心）を結んだ線によって新たなウィンドウ群を形成させると共に、参照画像上のウィンドウの重心を結ぶ線によって、基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行うようにしても良い。【0 0 1 9】また、基準画像上に設定された各ウィンドウと、準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させるウィンドウ分割手段をさらに備えていても良い。このとき、ウィンドウマッチング手段は、ウィンドウ分割手段によつて分割された基準画像における分割ウィンドウと参照画像における分割ウィンドウとを所定の相関関係に基づいて対応付けし、参照画像における分割ウィンドウを変形させることによって参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させる。

図面の簡単な説明

【0 0 2 0】図 1は、本発明に係る画像処理装置のプロック構成図である。

図 2は、画像処理装置による画像処理の行程を示すフローチャートである。図 3は、本実施形態に係る画像処理行程におけるウィンドウの変形を行う行程の詳細を示すフローチヤ一トである。

図 4 Aは、対象物を撮影した基準画像を示す図である。

図 4 Bは、対象物を撮影した参照画像を示す図である。

図 5 Aは、ウィンドウを変形させる手順を説明するための参照図面の説明図である。

図 5 Bは、図 5 Aに続く参照画面の説明図である。

図 5 Cは、図 5 Bに続く参照画面の説明図である。

図 6 Aは、ウィンドウを変形させる行程を説明するための参照画像を示す図であり、ウィンドウの変形途中時を示す図である。

図 6 Bは、ウィンドウを変形させる行程を説明するための参照画像を示す図であり、ウィンドウの変^終了時を示す図である。

図 7は、変形したウィンドウを再分割する行程を示すフローチャートである。

図 8 Aは、ウィンドウを分割する行程を説明するための図であり、基準画像を示す図である。

図 8 Bは、ウィンドウを分割する行程を説明するための図であり、参照画像を示す図である。

図 9 Aは、ウィンドウ分割変形時の画面を示す図であり、分割前の基準画像を示す図である。

図 9 Bは、ウィンドウ分割変形時の画面を示す図であり、分割前の参照画像を示す図である。

図 9 Cは、ウィンドウ分割変形時の画面を示す図であり、分割後の基準画像を示す図である。

図 9 Dは、ウィンドウ分割変形時の画面を示す図であり、分割後の参照画像を示す図である。

図 9 Eは、ウィンドウ分割変形時の画面を示す図であり、分割後にさらに変形させた後の基準画像を示す図である。

図 9 Fは、ウィンドウ分割変形時の画面を示す図であり、分割後にさらに変形させた参照画像を示す図である。

図 1 O Aは、分割したウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。

図 1 O Bは、分割したウィンドウを変形させる行程を説明する図であり、変形前の参照画像を示す図である。

図 1 O Cは、分割したウィンドウを変形させる行程を説明する図であり、変形後の参照画像を示す図である。

図 1 1 Aは、第 2の実施形態におけるウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。

図 1 1 Bは、第 2の実施形態におけるウィンドウを変形させる行程を説明する図であり、分割前の参照画像を示す図である。

図 1 1 Cは、第 2の実施形態におけるウィンドウを変形させる行程を説明する図であり、分割後の参照画像を示す図である。

図 1 1 Dは、第 2の実施形態におけるウィンドウを変形させる行程を説明する図であり、参照画像において対応する画像を探索する範囲を示す図である。

図 1 2 Aは、ウィンドウを変形した状態を示す図であり、基準画像を示す図である。

図 1 2 Bは、ウィンドウを変形した状態を示す図であり、参照画像を示す図である。

図 1 3 Aは、分割したウィンドウを変形させる行程を説明するための図であり、基準画像を示す図である。

図 1 3 Bは、分割したウィンドウを変形させる行程を説明するための図であり、分割前の参照画像を示す図である。

図 1 3 Cは、分割したウィンドウを変形させる行程を説明するための図であり、分割後の参照画像を示す図である。

図 1 4は、ウィンドウを変形する際に用いる小ウィンドウの探索範囲を説明するための説明図である。

図 1 5 Aは、ウィンドウを変形した状態を示す図であり、基準画像を示す図である。

図 1 5 Bは、ウィンドウを変形した状態を示す図であり、参照画像を示す図である。

図 1 6 Aは、第 3の実施形態におけるウィンドウを変形させる行程を説明する図であり、基準画像を示す図である。

図 1 6 Bは、第 3の実施形態におけるウィンドウを変形させる行程を説明する図であり、変形前の参照画像を示す図である。

図 1 6 Cは、第 3の実施形態におけるウィンドウを変形させる行程を説明する図であり、変形後の参照画像を示す図である。

図 1 7 Aは、第 3の実施形態におけるウィンドウの分割を説明する図であり、基準画像の図である。

図 1 7 Bは、第 3の実施形態におけるウィンドウの分割を説明する図であり、参照画像の図である。

図 1 8 Aは、分割したウィンドウの接合点を探索する範囲を説明する図であり、探索範囲を説明する図である。

図 1 8 Bは、分割したウィンドウの接合点を探索する範囲を説明する図であり、接合点となる点を説明する図である。

発明を実施するための最良の形態

【0 0 2 1】以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

【0 0 2 2】図 1は、本発明の第 1の実施形態に係る画像処理装置のプロック構成図である。図 1に示すように、本実施形態に係る画像処理装置 1には、基準画像カメラ 2と、参照画像カメラ 3と、モニタ 4とが接続されている。また、画像処理装置 1は、前処理部 1 1と、ウィンドウ生成部 1 2と、ステレオマッチング部 1 3とを備えている。ウィンドウ生成部 1 2には、本発明のウインドウ変形手段である図示しないウィンドウ変形部が設けられている。画像処理装置 1、カメラ 2 , 3、および、モニタ 4は、たとえば図示しない車両に取り付けられている。具体的には、たとえば画像処理装置 1は車室内の適宜の位置に設置されている。また、基準画像カメラ 2および参照画像カメラ 3は、たとえば車両の側面における互いに近傍位置に設けられている。さらに、モニタ 4は、たとえば車室内におけるドライバの視界が届く位置、たとえばインストルメントパネルに取り付けられている。

【0 0 2 3】基準画像カメラ 2と参照画像カメラ 3は、いずれも C C Dカメラからなり、同一対象物をアナログ画像として撮影している。基準画像カメラ 2および参照画像力メラ 3で撮影されたアナ口グ画像は、画像処理装置 1における前処理部 1 1に出力される。画像処理装置 1に出力されたアナログ画像は、画像処理装置 1で所定の画像処理が施された後、デジタル画像からなる投影像 ( 3次元物体を二次元平面上に表示した像）としてモニタ 4に出力される。画像処理装置 1における画像処理手順については後述する。モニタ 4は、ステレォマッチングされて画像処理装置 1から出力された投影像を画面に表示する。【0 0 2 4】次に、画像処理装置 1による画像処理の手順について説明する, 図 2は、画像処理装置による画像処理の行程を示すフロ一チャートである。ここでは、画像処理の全体的な流れについて説明する。

【0 0 2 5】画像処理装置 1における画像処理を行うために、基準画像カメラ 2および参照画像カメラ 3で同一対象物を撮影する。基準画像力メラ 2で対象物が撮影された基準画像は、画像処理装置 1における前処理部 1 1に出力される。同様に、参照画像カメラ 3で対象物が撮影された参照画像は、画像処理装置 1における前処理部 1 1に出力される。こうして、画像処理装置 1による画像処理が開始される。

【0 0 2 6】画像処理が開始されると、前処理部 1 1において、前処理として、基準画像および参照画像に対してカメラキャリブレーションを行い（S 1 ) 、続いて基準画像および参照画像の平行化を行う（S 2 ) 。これらの前処理が施された画像は、前処理部 1 1からウィンドウ生成部 1 2に出力される。

【0 0 2 7】ウィンドウ生成部 1 2では、基準画像および参照画像のそれぞれを複数の領域に分割する領域分割を行う（S 3 ) 。続いて、基準画像および参照画像において分割された各領域をウィンドウとして設定する（S 4 ) 。基準画像および参照画像でウィンドウが設定されたら、各画像がステレオマッチング部 1 3に出力され、基準画像におけるウィンドウおよび参照画像におけるウィンドウの間で、相関演算を行って対応付け（ウィンドウマッチング）が行われる（S 5 ) 。この相関演算では、各ウィンドウにおける色、輝度、明度等の相関があるしきい値を超えたときに対応付けされるなどとして、対応付けの判断を行っている。【 00 28】続いて、参照画像におけるウィンドウの並び順の修正を行う (S 6) 。並ぴ順の修正は、参照画像における複数のウィンドウのうち、対応付けを行った結果、基準画像における複数のウィンドウとの並び順が異なる誤対応ウィンドウを検出し、誤対応ウィンドウの並び順の修正を行う。この修正を行った後、いまだ誤対応が修正されていないウィンドウを再探索するなどして、参照画像におけるウィンドウの並び順の修正を完了させる（S 6) 。こうして、ウィンドウの並び順の修正が済んだら、参照画像におけるウィンドウ間の隙間を埋めるためのウィンドウの変形を行う（S 7) 。このウィンドウの変形の詳細については後述する。

[0029] ウィンドウの変形が完了した時点で、全ウインドウ内が一つの平面となっているか否かを判断する（S 8) 。その結果、全ウィンドウ内が一つの平面となっていない場合には、同一の平面から外れたウィンドウ（該当ゥインドウ）を再分割する（S 9) 。この再分割についての詳細は後述する。該当ウィンドウの再分割が済んだら、再び相関演算を行う（S 1 0) 。それから、ステップ S 7に戻って、ウィンドウの変形を行い、再ぴ全ウィンドウ内が一つの平面か否かを判断する（S 8) 。この行程を繰り返した後、ステップ S 8が肯定されたら、各ウィンドウの 4隅の 3次元座標が計算される（S 1 1) 。

【0030】ステレオマッチング部 1 3では、各ウィンドウの 4隅の 3次元座標に基づいて、立体プリミティブのあてはめ（立体を球、直方体、円錐などのプリミティブと呼ばれる基本立体の組み合わせで表現すること）が行われる (S 12) 。そして、投影像を生成して（S 1 3) 、画像処理が終了する。こうして生成された投影像は、モニタ 4に出力され、表示される。

【003 1】上記の画像処理行程において、本実施形態では、参照画像におけるウィンドウ変形（S 7) に特徴がある。以下に、この特徴的な行程についてさらに説明する。

【003 2】図 3は、本実施形態に係る画像処理行程におけるウィンドウの変形を行う行程の詳細を示すフローチヤ一トである。

【003 3】図 3に示すように、ウィンドウの変形を行う処理がスタートすると、まず、基準画像に設定された複数のウィンドウに対応するウィンドウを参照画像に表示する（S 21) 。基準画像には、図 4Aに示されるように、自動車の画像 V 1を囲む複数のウィンドウ W 1， W1…が表示されている。参照画像には、図 4 Bに示されるように、自動車の画像 V 2を囲む複数のウィンドゥ W2， W2…が表示されている。基準画像上に表示されたウィンドウ W1は四角形（正方形）で、いずれも同一形状をなしている。また、参照画像上に表示されたウィンドウ W 2は、変形前のものであり、いずれも基準画像に表示されたウィンドウ W1と同一形状の四角形（正方形）である。図 4 Bに示される参照画像上の複数のウィンドウ W2， W2"'は、ステップ S 6で並び順の修正が行われており、図 4 Aに示される基準画像上の複数のウィンドウ W1， W1 …に対応した順番に並んでいる。

【0034】このようにして参照画像上に表示されたウィンドウ W 2, W2 …は、隣接するウィンドウ W 2， W 2同士で離間したり、あるいは重なり合つたりしている。このままでは、画像 V 2を 3次元物体として復元することが困難であるので、これらの離間や重なり合いを排除すべく、参照画像に表示されたウィンドウ W2, W2…を適宜伸縮（変形）させる（S 2 2) 。

【003 5】ここで、ウィンドウを伸縮させる手順について説明すると、参照画像において、たとえば図 5 Aに示すウィンドウ WA， WB, WCがあるとする。ここでは、ウィンドウ WA， WBは重なっており、 WB, WCは離間しているので、ウィンドウ WA， WBが重ならないように両ウィンドウ WA， W Bを収縮させ、ウィンドウ WB， WC間に離間した部分がなくなるように両ゥインドウ WB， WCを伸長させる。ウィンドウ WA， WBについては、両ウインドウ WA, WBの重なり合つている部分の中点 C 1， C 2に向けて、ウィンドウ WA, WBをそれぞれ収縮させる。こうして、中点 C I, C 2でそれぞれウイ:ンドウ WA， WBの端部を接合させてウィンドウ WA， WBを連続させる —方、ウィンドウ WB, WCについては、両ウィンドウ WB' WC間の離間部分の中^ C 3， C ⁴に向けて、両ウィンドウ WB, WCを伸長させる。こうして、中点 C 3， C 4でそれぞれウィンドウ WB， WCの端部を接合させてウインドウ WB， WCを連続させる。

【0036】この要領で図 4 Bに示す参照画像のウィンドウ W 2， W2…を伸縮させた状態を図 6 Aに示す。図 6 Aに示すように、各ウィンドウ W 2， W 2…を伸縮させることにより、各ウィンドウ W2， W2…の端部を接合させて, ウィンドウ W2， W2'.'を連続させる。こうして、各ウィンドウ W2, W2-- 間の隙間を埋めることができる。 '_;

【0037】ところで、参照画像の各ウィンドウ W2, W 2…を伸縮させることにより、ウィンドウ W2, W2間の隙間を埋めることはできるものの、列方向（図 6 B高さ方向）に隣接するウィンドウ W2， W2の端部（角部）が連続しておらず、階段状となっているので、図 4 Aに示される基準画像のウィンドウ Wl , W1…との対応関係にズレが生じてしまうおそれが高い。そこで、列方向において生じているウィンドウ端部の位置ズレの調整を行う（S 23) 。

【0038】この端部の位置ズレの調整を行う手順について、図 5 B及ぴ図 5 Cを用いて説明する。第 1行のウィンドウ WA 1， WB 1は、点 F l, F 2 を結ぶ直線部で接続されている。また、第 2行のウィンドウ WA 2, WB 2は、点 F 3, F 4を結ぶ直線部で接続されており、第 3行のウィンドウ WA 3, W B 3は点 F 5, F 6を結ぶ直線部で接続されている。ここで、点 F 2, F 3は、行方向では同じ高さ位置にあるが、列方向ではズレを生じて異なる位置にある。同様に、点 F4， F 5は、行方向では同じ高さ位置にあるが、列方向ではズレを生じて異なる位置にある。このズレを是正するため、点 F 2， F 3の中点 E

1に向けて点 F 2, F 3を移動させてウィンドウ WA 1， WB 1 , WA 2 , W B 2を変形させる。同様に、点 F 4, F 5の中点 E 2に向けて点 F 4， F 5を移動させて、ウィンドウ WA 2、 WB 2 , WA 3 , WB 3を変形させる。変形後の状態が図 5 Cである。

【0 0 3 9】このように変形させられたウィンドウ WA 1〜WA 3、 WB 1 〜WB 3は、いずれも台形状となる。そして、四つのウィンドウの中央に位置する隅部は一点で重なりあう。この要領で、図 6 Aに示すウィンドウ W 2， W 2…を変形すると、図 6 Bに示すようになり、四つのウィンドウの端部が一点で重なりあう点で、図 4 Aに示す基準画像におけるウィンドウ W 1， W 1…と一致する。したがって、基準画像における各ウィンドウ W 1， W 1…と参照画像における各ウィンドウ W 2， W 2…のそれぞれの対応関係を明確にすることができる。このようにしてウィンドウの変形が終了する。

【0 0 4 0】このようにウィンドウの変形を行うことにより、ウィンドウ間の隙間を埋めることができるので、対象物の画像を滑らかに復元することができる。また、このときの演算処理量は少なくて済むので、その分処理時間の短縮を図ることができる。

【0 0 4 1】続いて、図 2に示すステップ S 9におけるウィンドウの再分割の手順について、図 7を参照して説明する。ステップ S 8ですベてのウィンドゥ内が一つの平面ではないと判断されたとき、一つの平面となっていないウインドウの再分割が行われる。再分割を行う際には、図 8 Aに示すように、基準画像における各ウィンドウを四分割する（S 3 1 ) 。基準画像の各ウィンドウを四分割する際には、ウィンドウの各辺の中点と、その辺に対向する辺の中点を結ぶ 2本の直線によって 2 X 2のダリッド状に分割する。

【0 0 4 2】基準画像におけるウィンドウの分割が済んだら、参照画像のゥインドウも四分割し、基準画像の分割ウィンドウに対応させて探索する範囲を設定する（S 3 2 ) 。ここでは、基準画像の正方形の分割ウィンドウと同一の形状の分割ウィンドウが参照画像上に生成される。この点について、図 8 A及び図 8 Bを参照して説明する。【0 0 4 3】図 8 Aに示されるように基準画像上で四分割されたウィンドウに対応させて、図 8 Bに示されるように参照画像上のウィンドウも四分割する。参照画像の'ウィンドウの分割をする際には、まず参照画像のウィンドウに、基準画像の分割ウィンドウと同一の大きさの分割ウィンドウを設定する。参照画像上の各ウィンドウに対して四つの分割ウィンドウを設定するに際の分割ゥィンドウの表示位置について説明する。参照画像には図 8 Bに示されるように台形のウインドウが表示されている。

【0 0 4 4】この参照画像上の分割前ウィンドウに関して、図 8 Bに示されるように長さ L_AB， L_CDを規定する。 L_AB， L_CDは、分割前ウィンドウを上下に等分し、上側及び下側の各四角形内に面積が最大となる長方形を形成させた際の各長方形の横辺の長さである。図 8 Bの場合は、上側の長方形によって長さ L_AB力下側の長方形によって長さ L_CDが規定されている。また、図 8 Aに示されるように、基準画像の分割ウィンドウの X方向に沿った長さを X 0、 Y方向に沿った長さを y 0とする。この条件で、四つの分割ウィンドウにおけるそれぞれの重心（中心）がとり得る範囲をそれぞれ X_A， X_B， X_C, X_Dとして以下の（1 ) 式〜（4) に基づいて設定する。

【0 0 4 5】 X_A= L_AB/2 _ 1 · · · ( 1 )

X_D=X_C - · · (4)

【0 0 4 6】こうして設定された範囲の中で、それぞれ色、輝度、明度などの所定の相関関係に基づいて、基準画像における分割ウィンドウともっとも相関関係の高いウィンドウがそれぞれ設定（配置）される（S 3 3 ) 。参照画像の各ウィンドゥに対して四つの分割ウィンドウが設定されたら、これらの分割ウィンドウが分割前のウィンドウ内に収まるように各分割ウィンドウを変形させる（S 3 4) 。分割ウィンドウの変形の手順は、上記のステップ S 7における手順と同様のものである。たとえば、図 8 Bでは、分割ウィンドウ D l， D 2は互いに離間している。このため、両分割ウィンドウ D l, D 2の中点に向けて、両分割ウィンドウ D 1 , D 2を拡張させ、両分割ウィンドウ D l， D 2 の間の隙間を埋める。また、分割ウィンドウ D 3， D 4は互いに重なり合っている。このため両分割ウィンドウ D 3, D 4の中点に向けて、両分割ウィンドゥ D 3, D 4を収縮させて、両分割ウィンドウ D 3， D 4の重畳部分をなくすようにする。また、分割ウィンドウ D 1〜D 4の周囲を、分割前のウィンドウ Wの形状に合わせて拡張■収縮させる。

【0047】このようにして各ウィンドウの変形が済んだところで、ウィンドウが所望の大きさになったか否かを判断する（S 35) 。その結果、所望の大きさになっていない場合には、ステップ S 3 1に戻って、再び同様の処理を施してウィンドウの分割を行う。一方。所望の大きさになっていると判断した場合には、処理を終了する。

【0048】図 9にこのウィンドウの分割の処理が進行した状態を示す。図 9 A (基準画像）及び図 9 B (参照画像）では、ウィンドウの分割が行われていない状態であり、車両の画像 V I, V 2を区画するウィンドウ W 1， W 1 ···, W2, W2…の一つ一つがカバーする範囲が広くなつてしまうものである。次に、 1回の分割を行うことにより、図 9 C (基準画像）及び図 9 D (参照画像）に示すように、各ウィンドウ Wl， W1 ···, W2, W2…の領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。さらに図 9 E (基準画像）及び図 9 F (参照画像）に示すように、もう 1回ウィンドウの分割して分割ウィンドウを形成することにより、各ウィンドウ（分割ウィンドウ）の領域を範囲をさらに狭くすることができるので、ステレオマッチングの精度をさらに向上させることができる。

【0049】次に、本発明の第 2の実施形態について説明する。

【0050】本実施形態の画像処理装置としては、上記第 1の実施形態における図 1に示したものと同一の画像処理装置を利用することができる。また、画像処理の手順については、図 2に示す画像処理の行程を経るものである。このうち、主に図 2に示すステップ S 7におけるウインドウの変形およびステツプ S 9におけるウィンドウの分割を行う処理が異なるものである。以下、この相違点を中心に、本実施形態について説明する。

【005 1】図 1 0A〜図 1 0 Cは、本実施形態に係る変形前の画像と変形後の画像との関係を示す説明図である。図 1 OAには基準画像、図 10Bにはウィンドウ変形前の参照画像、図 10 Cにはウィンドウ変形後の参照画像が示されている。本実施形態においては、ウィンドウを拡張ノ収縮させて変形するに際して、複数のウィンドウの重心を結ぶ点を基準として変形を行う。

【0052】図 1 OAに示す基準画像には、 9つの正方形のウィンドウ W1， W1…がそれぞれ表示されており、各ウィンドウ W1, W1…の重心G 1〜G 9をそれぞれ結ぶことによつて四つの正方形のウィンドウ（変形ウィンドウと呼ぶ）が形成されている。具体的には、 4つの重心 G l， G 2 , G 5 , G4を結ぶことにより一つの正方形の変形ウィンドウが形成される。同様に、重心 G 2, G 3 , G 6 , 05でーっの正方开、重心 G4, G 5 , G 8 , G 7で一つの正方形、重心 G 5, G 6 , G 9 , G 8で一つの正方形の変形ウィンドウがそれぞれ形成される。

【0053】一方、図 1 0 Bに示すように、変形前の参照画像では、所定の相関関係に基づいて、基準画像におけるウィンドウ Wl， W1…と関連付けされたウインドウ W2, W2が表示されている。これらのウィンドウ W2， W2 …は、図 10 Aに示すウィンドウ W1， W1…にその並び順は対応している力互いに重なり合ったり、離間したりしている。このような重なり合いや離間した状態を解消するべく、ウィンドウの変形を行う。本実施形態では、図 1 0 C に示されるように、変形前の各ウィンドウの重心 G 1 1〜G 1 9を結んで、四つの台形状の変形ウィンドウを形成する。 3488

【0054】具体的には、参照画像における 4つの重心 G 1 1 , G 1 2 , G 1 5， G 14で囲まれる変形ウィンドウが、基準画像における 4つの重心 G 1 , G 2, G 5, G 4で囲まれる変形ウィンドウに対応する。同様に、参照画像における重心 G 1 2， G 1 3， G 16, 1 5で囲まれる変形ウィンドウが基準画像における重心 G 2, G 3, G 6， G 5に囲まれる変形ウィンドウに対応する。参照画像における重心 G 14， G 1 5, G 1 8, G 1 7で囲まれる変形ウィンドウが基準画像における重心 G 4， G 5, G 8 , G 7に囲まれる変形ウィンドゥに対応する。そして、参照画像における重心 G 1 5， G 1 6, G 1 9， G 1 8で囲まれる変形ウィンドウが基準画像における重心 G 5 , G 6, G 8, G 9 に囲まれる変形ウィンドウに対応する。

【005 5】ウィンドウマッチングには、基準画面上の G 1〜G 9で形成される変形ウィンドウと、参照画面上の G 1 1〜G 1 9で形成される変形ウィンドウが用いられる。このように、参照画像におけるウィンドウを変形させることにより、参照画像におけるウィンドウの間に隙間がないようにすることができるので、基準画像と参照画像とのウィンドウに対応関係を明確にすることができる。その結果、対象物をより正確に復元することができる。また、本実施形態に係るウィンドウの変形方法では、参照画像における変形前の各ウィンドゥの重心を適宜つないでウィンドウを形成することによって行われるのみである。このため、演算処理量を少ないものとすることができ、その結果として、ウィンドウの変形などを短時間で行うことができる。

【005 6】次に、本実施形態における図 2に示すステップ S 9におけるゥインドウの再分割の手順について、図 1 1 〜図1 1 Dを参照して説明する。【005 7】本実施形態のウィンドウ分割は、図 1 1 Aに示すように、基準画像における変形ウィンドウ W1， W1…を、それぞれ 2 X 2のグリッド状に四分割して、分割ウィンドウ D 5, D 5…を形成しておく。また、基準画像におけるウィンドウ Wl， W1…に対して、図中縦方向に並ぶ小ウィンドウ S 1， S I…も設定する。一方、図 1 I Bに示すように、参照画像における変形ウインドウ W3， W 3…に対しては、基準画像上の対応する行の小ウィンドウ S 1 , S 1…と高さ位置を合わせて、相関関係に基づいてそれぞれ小ウインドウ S 2, S 2…が設定される。これらの小ウィンドウ S 2、 S 2…は、基準画像における各小ウィンドウ S I, S 1…に対する色、輝度、明度などの所定の相関関係に基づく対応付けによって設定されている。このとき、参照画像の小ウィンドゥ S 2， S 2…に関して、基準画像の小ウィンドウ S 1， S 1…に対する相関関係が高い位置を探索する探索範囲は、図 1 1Dに示すように、隣接する小ゥィンドウの並び順が逆転しない範囲に抑えられている。

【0058】こうして参照画像における小ウィンドウ S 2， S 2…を設定したら、各小ウィンドウ S 2， S 2…の重心を結んでいく。その後、各重心を線で結ぶと、変形ウィンドウ W 3、 W 3…が各重心を結ぶ線で分割された状態となる。そして、図 1 2A (基準画像）及び図 1 2 B (参照画像）に示すように、これら変形ウインドウ W3, W 3…が分割されて形成された分割ウィンドウ D 6 1〜D 64は、基準画像の分割ウィンドウ D 5 1〜D 54に対応するものとなる。このようにして、分割ウィンドウを形成することで、各ウィンドウ (分割ウィンドウ D 5， D6 ：図 1 1A及ぴ図 1 1 C参照）の領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。

【0059】また、本実施形態における変形ウィンドウの分割は、以下に説明する図 1 3A〜図 1 3 Cに示す手順で行うこともできる。この分割手順では、図 1 3 Aに示すように、基準画像におけるウィンドウ W1， W1…の領域の輪郭線をまたぐようにして小ウィンドウ S 3， S 3…を設定する。一方、図 1 3 Bに示すように、参照画像においては、図 1 3 Aに示す基準画像の小ウィンドゥ S 3, S 3…との色、輝度、明度などの所定の相関関係に基づく対応付けを所定の範囲内で行い、それぞれに対応する小ウィンドウ S 4, S 4…を設定する。

【0 0 6 0】参照画像上に小ウィンドウ S 4， S 4…を設定する際には、図 1 4に示されるように、隣接する小ウィンドウの並ぴ順が逆転しないように、しかも可能な限り探索範囲を広げるように、探索範囲をオーバーラップさせた状態で各小ウィンドウの探索範囲が設定される。この探索範囲についてさらに説明すると、 4つの変形ウィンドウ W 3， W 3…のうち、右上に位置する変形ウィンドウ W 3の上部の頂点 P 1， P 2に着目すると、 1行目のウィンドウのうち、もっとも右側に位置する小ウィンドウの探索範囲 X I 1は、右側の頂点 P 2を中心とした所定の範囲内に設定される。

【0 0 6 1】続いて、右から 2番目の小ウィンドウの探索範囲 X 1 2は、頂点 P I , P 2の中点を中心とした所定の範囲に設定される。このとき、もっとも右側の小ウィンドウの探索範囲 X 1 1と、右から 2番目の小ウィンドウの探索範囲 X I 2は、わずかに重なるように設定されている。さらに、右から 3番目の小ウィンドウの探索範囲 X 1 3は、左側の頂点 P 1を中心とする所定範囲に設定される。このとき、右から 2番目の小ウィンドウの探索範囲 X 1 2と、右から 3番目に小ウィンドウの探索範囲 X 1 3は、わずかに重なるように設定される。このように各小ウィンドウの探索範囲 X 1 1〜X 1 3を設定することにより、小ウィンドゥの並び順が変わらない状態で、広い範囲で小ウィンドウの探索を行うことができる。なお、他の行における小ウィンドウの探索も同様の手順によって行うことができる。

[ 0 0 6 2 ] こうして小ウインドウの設定が行われたら、図 1 3 Cに示すように、各小ウィンドウ S 4， S 4…の重心を結んで、分割ウィンドウ D 7 , D 7…を設定する。こうして参照画像に分割ウィンドウが表示された状態を図 1 5 A (基準画像）及び図 1 5 B (参照画像）に示す。図 1 5 A及ぴ図 1 5 Bに示すように、これら変形ウィンドウ W 3 , W 3…が分割されて形成された分割ウィンドウ D 7 1 , D 7 2…は、基準画像の分割ウィンドウ D 5 1， D 5 2— に対応するものとなる。このようにして、分割ウィンドウを形成することで、各ウィンドウの領域を狭くすることができるので、その分ステレオマッチングを行う際に精度を向上させることができる。

【006 3】次に、本発明の第 3の実施形態について説明する。

【0064】本実施形態の画像処理装置としては、上記第 1の実施形態における図 1に示したものと同一の画像処理装置を利用することができる。また、画像処理の手順については、図 2に示す画像処理の行程を経るものである。このうち、主に図 2に示すステップ S 7におけるウィンドウの変形おょぴステツプ S 9におけるウィンドウの分割を行う処理が異なるものである。以下、この相違点を中心に、本実施形態について説明する。

【006 5】図 16A〜図 1 6 Cは、本実施形態に係る変形前の画像と変形後の画像との関係を示す説明図である。図 1 6Aには基準画像、図 1 6 Bにはウィンドウ変形前の参照画像、図 16 Cにはウィンドウ変形後の参照画像が示されている。図 1 6 Aに示す基準画像には、 9つの正方形のウィンドウ Wl 1 〜W1 9が表示されており、図 16 Bに示すウィンドウ変形前の参照画像には、 9つのウィンドウ W21—W29が表示されている。

【0066】基準画像におけるウィンドウ W 1 1〜W 1 9は、整然とグリッド状に配置されている。一方、参照画像における 9つのウィンドウ W2 1〜W 29は、基準画像におけるウィンドウ Wl 1〜W1 9に対する色、輝度、明度などの所定の相関関係に基づいて設定されたものであり、その並び順は合わされているが、並び位置は雑然としている。

【006 7】本実施形態では、参照画像におけるウィンドウ W2 1〜W29 の間に隙間がなくなるようにウィンドウ W21〜W29を拡張/収縮させるために、隣接する四つのウィンドウの角部を含む境界領域（R 1〜R4) 内で、四つのウィンドウの接合点を求める。四つのウィンドウの接合点は、基準画像における対応する接合点との色、輝度、明度などの所定の相関関係に基づいて設定される。

【0068】具体的に説明すると、図 16 Bに示すウィンドウ W21， W2 2, W25 , W24の接合点を求めるにあたり、これらのウィンドウ W2 1， W22, W25 , W24の角部を含む境界領域 R 1内において、図 16 Aに示すゥィンドゥW1 1， W12， W15, W14の接合点 J 1と相関関係が高い位置を探索する。そして、基準画像における接合点 J 1と相関関係がもっとも高い位置点を境界領域 R 1内から探索したら、この点を参照画像におけるウインドウ W 21, W22, W25 , W24の接合点 J 1 1として設定する。同様にして、ウィンドウ W22， W23 , W26 , W 25の接合点 J 12を境界領域 R 2力、ら、ウィンドウ W24, W25 , W28 , W27の接合点 J 13を境界領域 R 3力ら、ウィンドゥ W 25, W26 , W29 , W28の接合点 J 14 を境界領域 R 4から、それぞれ探索する。また、ウィンドウ W21, W22のそれぞれの上辺が、両辺の端部の中点で接合するように、ウィンドウ W21, W22の上辺を収縮させる。また、ウィンドウ W22, W23のそれぞれの上辺は両者の端部の中点で接合するように伸長させる。同様にウィンドウ W27 W28の下辺およびウインドウ W28 , W29の下辺も両者の端部に中点で接合するように伸長させる。

【0069】参照画像におけるウィンドウ W21〜W29を拡張/収縮させて変形させることにより、変形後の参照画像に示すようにウィンドウ W 21〜 W29の間の隙間がなくなるようにすることができる。このようにウィンドウの変形を行うことにより、ウィンドウ間の隙間を埋めることができるので、対象物の画像を滑らかに復元することができる。また、このときの演算処理量は少なくて済むので、その分処理時間の短縮を図ることができる。

【0070】次に、本実施形態における図 2に示すステップ S 9におけるゥインドウの再分割の手順について、図 1 7A、図 1 7B、図 18A、および、図 1 8 Bを参照して説明する。図 1 7 A (基準画像）及び図 1 7 B (参照画像）は、本実施形態に係るウィンドウの分割を説明するための図である。図 1 8 A及び図 1 8 Bは、分割したウィンドウの接合点を探索する範囲を説明するための図であり、図 1 8 Aは探索範囲を示す図、図 1 8 Bは接合点となる点を示す図である。図 1 8 A及び図 1 8 Bでは、図 1 7 Bに示す参照画像のうちのウィンドウ W 2 1， W 2 2の部分近傍を拡大して示している。

【0 0 7 1】本実施形態に係る変形ウィンドウの分割を行う際には、図 1 7 Aに示すように、基準画像におけるウィンドウ W l 1 -W 1 9を、それぞれグリツド状に四分割して、分割ウィンドウを形成する。一方、図 1 7 Bに示すように、参照画像にウィンドウ W 2 1〜S 2 9には、基準画像上の対応する行の分割ウィンドウと高さ位置を合わせて、相関関係に基づいてそれぞれ分割ウインドウが設定される。これらの分割ウィンドウは、基準画像における各分割ゥインドウに対する色、輝度、明度などの所定の相関関係に基づく対応付けによつて設定されている。

【0 0 7 2】この分割ウィンドウの設定について、基準画像におけるウィンドウ W l 1 , W 1 2と参照画像におけるウインドウ W 2 1 , W 2 2に着目して説明すると、基準画像におけるウィンドウ W 1 1， W 1 2には、正方形からなる八つの分割ウィンドウ D 8 1〜D 8 8が設定される。一方、参照画像には、図 1 8 Aに示すように、基準画面の分割ウィンドウ D 8 1〜D 8 8に対応する八つの分割ウィンドウ D 9 1〜D 9 8が設定されるが、それらは離間したりあるいは重なったりしている。これらの状態から、各分割ウィンドウを接合するため、図 1 7 Aに示す基準画像における分割ウィンドウ D 8 1， D 8 2 , D 8 6 , D 8 5の接合点 J 2 1ともつとも相関関係が高い点を、図 1 8 Aに示す参照画像における境界領域 R 2 1から探索する。ここでの相関関係は、たとえば色、輝度、明度などに基づいて判断することができる。こうして、たとえば図 1 8 Bに示す接合点 J 3 1 , J 3 1…の候補点の中から、最終的に接合点 J 3 1が決定される。【0073】こうして基準画像における接合点 J 21ともつとも相関関係の高い接合点 J 3 1を境界領域 R 2 1の中から探索したら、分割ウィンドウ D 9

1, D 9 2, D 96, D 95の接合点を設定し、分割ウィンドウ D 9 1 , D 9 2の下辺および分割ウインドウ D 96， D 95の上辺をそれぞれ伸長させる。そうして、境界領域 R 21の中から探索した点で分割ウィンドウ D 9 1， D 9

2, D 9 6， D 9 5の角部を接合することにより、各分割ウィンドウ D 9 1, D 92, D 96， D 96間に離間をなくすことができる。

【0074】また、参照画像における分割ウィンドウ D 9 2， D 9 3, D 9 7, D 9 6はいずれも重なった状態にある。これらに対応する基準画像における分割ウィンドウ D 82， D 8 3, D 8 7 , D 86の接合点 J 22ともつとも相関関係が高い点を参照画像における境界領域 R 22の中から探索する。ここでの相関関係は、たとえば色、輝度、明度などに基づいて判断することができる。こうして、たとえば図 1 8 Bに示す接合点 J 32， J 3 2…の候補点の中から、最終的に接合点 J 32が決定される。

【007 5】こうして基準画像における接合点 J 22ともつとも相関関係の高い接合点 J 32を境界領域 R 22の中から探索したら、分割ウィンドウ D 9 2， D 9 3 , D 9 7, D 96の接合点を設定し、分割ウインドウ D 92， D 9 3の下辺および分割ウインドウ D 97， D 96の上辺をそれぞれ収縮させる。そうして、境界領域 R 22の中から探索した点で分割ウィンドウ D 92， D 9 3, D 9 7, D 96の角部を接合することにより、各分割ウィンドウ D 9 2，

D 93 , D 97, D 96が連続する。こうして、分割ウインドウ D 9 2， D 9 3， D 96, D 9 7間の重なり合いをなくすことができる。

【007 6】その他、図 1 7 Bに示すウィンドウ W 21〜W 29においても同様の手順によってウィンドウを分割■変形させることにより、ウィンドウ W 2 1〜W 29間の離間や重なり合いを解消させることができる。このように、変形ウィンドウを分割することによって、対象物をより正確に復元することができる。また、分割したウィンドウの間の隙間をなくすように分割したウィンドウを変形させることによって、対象物を滑らかに復元することができる。産業上の利用可能性

【0 0 7 7】以上のとおり、本発明によれば、対象物の復元を行う際に、曲面等を滑らかに復元することができる画像処理方法および装置を提供することができる。また、近い距離を撮影するステレオカメラに対しても用いることができ、さらには演算処理量が少なく、処理時間が短くて済む画像処理方法およぴ装置を提供することができる。

Claims

請求の範囲

クレーム 1 . 基準画像撮影手段で対象物を撮影して基準画像を取得すると共に、参照画像撮影手段で同一の対象物を撮影して参照画像を取得し、前記基準画像および前記参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、

前記参照画像における前記複数のウィンドウを変形させることにより、前記参照画像における隣接するウィンドウ同士間の離間又は重なり合いを解消させて、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元することを特徴とする画像処理方法。

クレーム 2 . 前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウインドウの角部を移動させるクレーム 1に記載の画像処理方法。

クレーム 3 . 前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、前記基準画面上のウィンドウの重心を結んだ線によって新たなウインドウ群を形成させると共に、前記参照画像上のウィンドウの重心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させるクレーム 1に記載の画像処理方法。

クレーム 4 . 前記基準画面上のウィンドウの中心を結んだ線によって新たなウインドウ群を形成させると共に、

前記参照画像上の隣接する前記ウィンドウのそれぞれの中心を結ぶ線によつて、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させるクレーム 1に記載の画像処理方法。

クレーム 5 . 前記参照画像上の隣接する前記ウィンドウを変形させるにあたり、前記隣接するウィンドウの各角部を含む境界領域内で、隣接する前記ウィンドウの統一接合点を所定の相関関係に基づいて求め、前記統一接合点を基準として前記ウィンドウを変形させるクレーム 1に記載の画像処理方法。クレーム 6 . 前記基準画像上に設定された各ウィンドウと、該基準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させ、

前記基準画像における分割ウィンドウと前記参照画像における分割ウィンドゥとを所定の相関関係に基づいて対応付けし、

前記参照画像における分割ウィンドウを変形させることにより、前記参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させるクレーム 1に記載の画像処理方法。

クレーム 7 . 前記参照画像上のウィンドウを変形させた後、前記基準画像及び前記参照画像上の各ウィンドウを複数の領域に分割し、分割後の前記参照画像上の各ウィンドウを変形させて隣接するウィンドウ同士の離間及び Z 又は重なり合いを解消し、前記基準画像の分割ウィンドウ及び変形後の前記参照画像の分割ウィンドウに基づいてステレオマッチングを行うクレーム 1に記載の画像処理方法。

クレーム 8 . 前記基準画像及び前記参照画像の各ウィンドゥの分割、並びに、前記参照画像の各ウィンドウの変形を複数回繰り返すクレーム 7に記載の画像処理方法。

クレーム 9 . 基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のゥィンドウを設定するウィンドウ設定手段と、

前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けを行い、前記参照画像上の各ウィンドウを変形させることによって前記参照画像上の隣接するウィンドウ同士間の離間又は重なり合いを解消させた後に、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレォマツチングを行って前記対象物の形状を復元するステレオマツチング手段とを備えることを特徴とする画像処理装置。

クレーム 10. 前記ステレオマッチング手段が、前記参照画像上の隣接する前記ウィンドウの対向する角部同士の間に向けて、該ウィンドウの角部を移動させる処理を行うクレーム 9に記載の画像処理装置。

クレーム 11. 前記ステレオマッチング手段が、前記基準画面上のウインドウの重心を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの重心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行うクレーム 9に記載の画像処理装置。

クレーム 12. 前記ステレオマッチング手段が、前記基準画面上のウインドウの中心を結んだ線によって新たなウィンドウ群を形成させると共に、前記参照画像上のウィンドウの中心を結ぶ線によって、前記基準画像上の新たなウィンドウ群に対応する変形後のウィンドウ群を形成させる処理を行うクレーム 9に記載の画像処理装置。

クレーム 13. 前記ステレオマッチング手段が、前記参照画像上の隣接するウィンドウの各角部を含む境界領域内で、隣接する前記ウィンドウの統一接合点を所定の相関関係に基づいて求め、前記統一接合点を基準として前記ゥィンドウを変形させるクレーム 9に記載の画像処理装置。

クレーム 14. 前記基準画像上に設定された各ウィンドウと、該基準画面上の各ウィンドウに対応する前記参照画像上の各ウィンドウとを、それぞれを同じ数に分割してそれぞれ分割ウィンドウを形成させるウィンドウ分割手段をさらに備え、

前記ウィンドウマツチング手段が、前記ウィンドウ分割手段によつて分割された前記基準画像における分割ウィンドウと前記参照画像における分割ウインドウとを所定の相関関係に基づいて対応付けし、前記参照画像における分割ゥインドウを変形させることにより、前記参照画像における分割ウィンドウ同士間の離間又は重なり合いを解消させるクレーム 9に記載の画像処理装置。クレーム 15. 前記参照画像上のウィンドウを変形させた後、前記基準画像及び前記参照画像上の各ウインドウを複数の領域に分割するウィンドウ分割手段をさらに備え、

前記ステレオマツチング手段が、前記ウィンドウ分割手段による分割後の前記参照画像上の各ウィンドウを変形させて隣接するウィンドウ同士の離間及び

Z又は重なり合いを解消し、前記基準画像の分割ウインドウ及び変形後の前記参照画像の分割ウィンドウに基づいてステレオマッチングを行うクレーム 9に記載の画像処理装置。

クレーム 16. 前記ウィンドウ分割手段による前記基準画像及び前記参照画像の各ウィンドウの分割、並びに、前記ウィンドウマッチング手段による前記参照画像の各ウィンドウの変形を複数回繰り返すクレーム 15 に記載の画像処理装置。