JP3977776B2 - ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 - Google Patents
ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 Download PDFInfo
- Publication number
- JP3977776B2 JP3977776B2 JP2003165757A JP2003165757A JP3977776B2 JP 3977776 B2 JP3977776 B2 JP 3977776B2 JP 2003165757 A JP2003165757 A JP 2003165757A JP 2003165757 A JP2003165757 A JP 2003165757A JP 3977776 B2 JP3977776 B2 JP 3977776B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pair
- straight line
- images
- straight lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の撮像装置間の画像変換パラメータを求めるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像装置を用いて不審人物を自動検知する画像監視装置や、走行車両に搭載される撮像装置を用いて道路上の障害物を発見したり走行レーンを認識する前方監視装置や走行支援装置においては、撮像装置を１個だけ用いる方式よりも、複数の撮像装置で共通視野を監視できるもののほうが容易に高い検知性能が得られる。
【０００３】
この理由は、侵入者や障害物等の検知対象のバリエーションが事実上無限であり、全てカバーできる仕様記述を得ることが現実的には不可能、よって検知対象に似た道路面上のテクスチャや予期しない画像変化等の誤検出要因がある環境においては、画像パターンのみにより検知対象を正しく区別することが大変困難であることによる。一方、複数の撮像手段が使用可能である場合、共通視野についてはステレオ視の原理により対象の３次元位置や構造に関する情報が得られ、検知対象を上記誤検出要因から区別することが容易となる。
【０００４】
但し、対象の３次元情報を精密に得るためには、画像中の全ての場所についてステレオ対応付けの問題を解決せねばならず、屋外環境のように複雑かつ多くの環境外乱が存在する場合には、これも大変困難となる。ところが、特許文献１や特許文献２のような方法を用いると、対象の構造に関する３次元情報は厳密には得られないものの、例えば地面や道路面といった３次元空間内のある平面を基準とし、これと比して高さを持つ画像領域だけを正しく検出でき、屋外環境においても検知対象の有無とその位置については正確に検知することが可能となる。
【０００５】
この方式の原理は次のように説明できる。
【０００６】
今、撮像装置である２つのカメラが監視区域を共通視野として設置されているとする。侵入者や障害物がない場合の監視区域は道路面等の３次元空間内での平面であるとし、これを基準平面と呼ぶ。基準平面上の点Ｘが同時に２つのカメラで撮影されており、一方のカメラでのＸの像の画像座標を（ｘ，ｙ）、もう片方のカメラでのＸの像の画像座標を（ｘ′，ｙ′）、各カメラの焦点距離をｆ，ｆ′とすれば、一方のカメラ画像からもう片方のカメラ画像への変換が射影変換となり
【数１】
の関係を得る。ここで、各画像座標を斉次座標表現を用いてｘ＝（ｘ，ｙ，ｆ）Ｔ ，ｘ′＝（ｘ′，ｙ′，ｆ′）Ｔ と表し（Ｔ は置換を表す）、Ｈ１１，…，Ｈ３３を要素とする３×３の行列をＨとすれば、ｓを定数として、
【数２】
でｘ→ｘ′の画像変換が表せる。ｓはｘに依存し、Ｈの自由度が８であるから、
【数３】
としても一般性は失われない。Ｘが基準平面上にある限り、Ｈはｘによらず一定として求めることができ、このＨを射影行列と呼ぶ。射影行列Ｈが既知である場合、（２）式よりｘ→ｘ′の変換を求め、一方のカメラ画像での（ｘ，ｙ）近傍の画像特徴（輝度値等）ともう一方のカメラ画像での（ｘ′，ｙ′）近傍の画像特徴を比較し、双方が同じであればＸが基準平面上にあると判定できる。反対に、双方の画像特徴が異なっていればＸは基準平面上にない、つまり基準平面からの高さを持った何らかの侵入物や障害物が画像中の（ｘ，ｙ）あるいは（ｘ′，ｙ′）の位置に存在すると判定することができる。
【０００７】
なお、本明細書において、「ｘ」のように横倍角表示されたものは、ベクトル表示を示し、他の文字についても同様である。
【０００８】
このように、予めＨが求められていれば、高さを持つ物体が基準平面上にあるか否かを判定することができ、路面のテクスチャや物体の影等を誤って検知することのない高性能な画像監視装置が実現できる。
【０００９】
以降、Ｈを求める従来方法について説明する。
【００１０】
２個のカメラ画像間で対応する点（画素）の組｛ｘ ｍ ＝（ｘｍ ，ｙｍ ，ｆ）Ｔ ，ｘ′ｍ ＝（ｘ′ｍ ，ｙ′ｍ ，ｆ′）Ｔ ｝（ｍ＝１…Ｍ）が４個以上分かっていればＨを求めることができる。具体的には、ｈ＝（Ｈ１１，Ｈ１２，Ｈ１３，Ｈ２１，Ｈ２２，Ｈ２３，Ｈ３１，Ｈ３２）Ｔ とし、（２）式をｈの一次式に書き直せば
【数４】
となる。各対応点の組｛ｘ ｍ ，ｘ′ｍ ｝をこれに代入し、得られる連立式を解けばｈつまりＨが求められる。これから、対応点の組のみからでなく、画像中の直線を検出し、そのカメラ画像間での対応も用いてＨを求める方法が以下のように導かれる。
【００１１】
今、対応点の組｛ｘ ｍ ，ｘ′ｍ ｝と同時に、カメラ画像間で対応する直線の組｛ａｎ ｘ＋ｂｎ ｙ＋ｃｎ ｆ＝０，ａ′ｎ ｘ′＋ｂ′ｎ ｙ′＋ｃ′ｎ ｆ′＝０｝（ｎ＝１…Ｎ）が求められているとする。直線をパラメータｌ ｎ ＝（ａｎ ，ｂｎ ，ｃｎ ）Ｔ ，ｌ′ｎ ＝（ａ′ｎ ，ｂ′ｎ ，ｃ′ｎ ）Ｔ で表せば、画像上の各直線は
【数５】
と表され、これと（２）式が同時に成り立つことから、直線に関する射影変換式
【数６】
が得られる（ｕは定数）。これに対して（４）式と同様の展開を行い、対応点の組｛ｘ ｍ ，ｘ′ｍ ｝と対応直線の組｛ｌ ｎ ，ｌ′ｎ ｝により得られる
ｈの連立式を一つに合わせれば、最終的に
【数７】
が得られる。これを解けばｈつまりＨを求められる。Ｍ＋Ｎが４以上であれば、例えば非特許文献１に記載の様々な解法を用いてＨを計算することが可能である。
【００１２】
以上のように、射影行列を求めるには、カメラ画像間で対応点（画素）や対応直線の組が予め得られていることが前提となる。
【００１３】
ところが、従来、多くの画像監視装置等では、それらの設置時に調整員が手作業により対応点や対応直線の組を求めており、調整員は対応を誤ることなく注意深く作業を行う必要があるとともに、精度良く射影行列を計算するために多数の対応点や対応直線を求めなければならず、長時間の作業が強いられていた。
【００１４】
また、振動の多い場所や車載カメラを用いる等、カメラ取り付けの“ずれ”が起こり得る場合、調整員による再キャリブレーションが行われるまで画像監視装置の誤動作が発生したり、調整員を設置場所へ派遣する必要が生じる等、画像監視装置の使用者にとって極めて不都合な状況が発生する。
【００１５】
【特許文献１】
特開平１１−３２８３６５
【００１６】
【特許文献２】
特開２０００−２９３６９３
【００１７】
【非特許文献１】
Ｗ．Ｈ．Ｐｒｅｓｓ ｅｔ ａｌ，Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ，ＩＳＢＮ ０−５２１−４３１０８−５
【００１８】
【発明が解決しようとする課題】
上述のように、特許文献１や特許文献２のような高性能の画像監視装置や障害物検出装置を実現するためには、撮像装置間の画像変換パラメータを求めるため、予めステレオキャリブレーションを行う必要がある。
【００１９】
従来のステレオキャリブレーション装置では、調整員による対応点指定等の手作業が不可欠であり、多大な人的コストと作業時間が必要である。特に多数のステレオキャリブレーションを行わなければならない場合や、カメラの取り付けが不測で変更されるような場合には、さらに人的コストや作業時間が甚大となるという問題点がある。
【００２０】
本発明はこのような事情を鑑みてなされたもので、複数の撮像装置の取り付け位置の違いにより撮影画像に差異が見られる場合においても、画像間の対応直線の組を自動で求めて射影行列を算出することによりステレオキャリブレーションを自動化し、オペレータの操作なしで短時間に高精度の画像変換パラメータを獲得できるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置を提供することにある。
【００２１】
【課題を解決するための手段】
本発明は、予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション装置において、前記一対の撮像装置からの画像をそれぞれ入力する画像入力手段と、前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出手段と、前記各画像からそれぞれ検出された直線の近傍領域の画像特徴を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出手段と、前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出手段と、を有し、前記直線対応検出手段は、前記一対の画像の各画像からそれぞれ検出された各直線毎の近傍領域の画像特徴に関するデータ列を求め、前記一対の画像中の一方の画像から検出された各直線のデータ列の各データと、前記一対の画像中の他方の画像から検出された各直線のデータ列の各データとのそれぞれのデータ差を求め、これらデータ差の重み付け和を重み和で正規化した値を正規化距離としてそれぞれ求め、前記一方の画像におけるある直線に対して、最小の正規化距離を持つ前記他方の画像における直線を対応する直線として、これら直線の組を対応直線の組とすることを特徴とするステレオキャリブレーション装置である。
【００３８】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の第１の実施形態について図１から図９を用いて説明する。
【００３９】
図１は、本実施形態のステレオキャリブレーション装置の概略構成図である。
【００４０】
本実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。
【００４１】
（１）画像入力部１１
画像入力部１１は、任意の複数の撮像装置１０１からの画像が供給される。
【００４２】
本実施形態では、撮像装置１０１は２個のＣＣＤカメラ等の撮像装置からなり、例えば、図２に示すように監視区域上方に２個所設置されたり、車両に２個所搭載される場合には図３に示すように自車両前部の左側と右側に取りつけられる。
【００４３】
ここで、ステレオキャリブレーション装置の動作時には、図２の監視区域のような３次元空間内の平面（例えば、道路面）が両カメラにて撮影されているとし、この平面上には高さを持つ物体がないとする。
【００４４】
よって、後段の直線検出部１２にて検出される直線は全てこの平面上のテクスチャから得られるものとする。
【００４５】
画像入力部１１は、撮像装置１０１から出力される映像信号を逐次Ａ／Ｄ変換し、画像入力部１１内のメモリにディジタル画像あるいは画像列として蓄積する。そして、要求された任意時刻、任意領域の画像を次の直線検出部１２及び直線対応検出部１３に出力する。
【００４６】
（２）直線検出部１２
直線検出部１２は、画像入力部１１に蓄積されている、撮像装置１０１からの複数画像において直線を検出する。
【００４７】
ここでは、輝度勾配の大きい画素が直線状に連なっているものを直線として検出する方法について説明する。
【００４８】
「輝度勾配」とは、画素近傍での輝度変化の度合いを示すものであり、図２の監視区域であれば路面白線の境界といった画像中の構造の境界領域で大きな値となる（単にエッジとも呼ばれる）。
【００４９】
輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。
【００５０】
Ｓｏｂｅｌオペレータによりエッジ画素を求める方法を説明する。
【００５１】
画像中の位置（ｘ，ｙ）での輝度をＩ（ｘ，ｙ）とし、フィルタ各要素Ｆｘ（ｉ，ｊ），Ｆｙ（ｉ，ｊ）が図４のように設定されていると、このフィルタを画像に重畳して得られる値Ｇｘ ，Ｇｙ 、すなわち、
【数８】
は、各々（ｘ，ｙ）近傍での水平方向及び垂直方向の輝度変化の度合いを示すので、輝度勾配強度Ｇ（ｘ，ｙ）は
【数９】
等として得られる。よって、この輝度勾配強度が予め定められたしきい値より大きい画素のみを抽出する等によりエッジ画素が求められる。図５は、図２のようにカメラａ，ｂが設置されている場合に、各カメラ画像から得られたエッジ画像の例を示す。
【００５２】
他に輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ，Ｒｏｂｉｎｓｏｎ，Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。公知の輝度勾配算出方法は、例えば非特許文献２（高木、下田監修、画像解析ハンドブック、東京大学出版会、ＩＳＢＮ４−１３−０６１１０７−０）に詳しい。
【００５３】
エッジ画素が求められた後、例えばハフ変換といった方法を用いてエッジ画素を通る直線が検出できる。ハフ変換は画像中の直線を検出する方法として広く知られている（非特許文献２）。簡潔に説明するなら、エッジ画素位置（ｘ，ｙ）を
【数１０】
を用いて（ρ，θ）空間の三角関数曲線に変換したとき、複数のエッジ画素から生じる複数曲線の交点が直線に対応することから、直線をａｘ＋ｂｙ＋ｃ＝０としたときの直線パラメータ（ａ，ｂ，ｃ）を交点の（ρ，θ）値と（１０）式とから算出する方法である。
【００５４】
また、非特許文献３（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ｅｔ ａｌ，ＲａｎｄａｍＳａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，ｐｐ．２５３−２６７，１９８１．）のようなＲＡＮＳＡＣといったロバスト推定による直線当てはめも、エッジ画像における直線検出に有効である。これも簡潔に記述するなら、ランダムに選択された複数のエッジ画素を初期値として、最小２乗法等によりエッジ画素群に直線当てはめを行い、直線からの外れ値（距離）が大きい画素を取り除くとともに外れ値が小さいエッジ画素を新たに含め、再度同様の方法で直線当てはめを行う。最大の外れ値が許容範囲に収まるまで以上の直線当てはめを繰り返せば、直線上に並ぶエッジ画素を通る直線を検出できるというものである。これらの方法により、図５に示されるようにエッジ画素群が不連続であったり、くの字状に曲がって連続していても、図６のように正しく直線を求めることができる。
【００５５】
以上の直線検出処理を、２個の撮像装置からの各画像に対して行い、画像毎に４個以上の直線を求める。直線のパラメータをｌ＝（ａ，ｂ，ｃ）Ｔ 、画像座標を斉次座標表現ｘ＝（ｘ，ｙ，ｆ）Ｔ としたとき（ｆは焦点距離）、直線はｌ Ｔ ｘ＝０で表される。直線パラメータだけであると、その直線をなすエッジ画素が画像中のどの部分にあるか分からないので、直線上に存在する、あるいは直線近傍の許容範囲内に存在するエッジ画素群の端点２点も、各直線毎に図６丸印のように求める。
【００５６】
（３）直線対応検出部１３
直線対応検出部１３は、上述の直線検出部１２にて検出された直線の近傍画像領域を画像入力部１１から得て、画像特徴の比較により２画像間での対応直線の組を求める。なお、「画像特徴」とは、検出した直線近傍領域と他の領域と区別することができる画像から抽出できる輝度、色、動き等の物理量をいう。
【００５７】
ここで「対応直線の組」とは、２個のカメラ画像に映っている直線の組で、同一の実像を元にするものを指す。例えば、図６でカメラａ，ｂの各画像中に直線ｓ，ｓ′が映っている。図７に示されるように、この２個の直線が監視区域での同一直線の像である場合、直線ｓとｓ′は対応直線の組である。一方、図６の直線ｔ，ｔ′は、図７の別々の直線の像であるため、これらは対応直線の組ではない。
【００５８】
（３−１）領域マッチングによる方法
対応直線の組を検出する方法としては、例えば直線近傍の画像特徴を用いた領域マッチングによる方法を適用することが考えられる。なお、「領域マッチング」とは、比較元の画像領域と比較先の画像領域との一致度を算出する方法である。
【００５９】
最も簡便なＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法を用いて、本願発明の発明者が独自に創作した方法を説明する。
【００６０】
比較する２個の画像領域が同形としてＲで表し、Ｒ中の位置を（ｘ，ｙ）、この位置での比較元の画素輝度をＩ（ｘ，ｙ）、比較先の画素輝度をＩ′（ｘ，ｙ）とした場合、
【数１１】
を求める。この値が小さいほど２つの画像領域は一致している。
【００６１】
直線間でマッチング計算を直接行うことが難しい場合、例えば直線上の任意点を中心とする任意領域について領域マッチングを実施し、その総和を比較すればよい。
【００６２】
図８では、直線の２端点間に５個の矩形領域を等間隔に配置した例を示している。
【００６３】
このような領域設定を異なる２直線について行い、並び順の通りにマッチング計算を行いＥＲ を求め、その総和ΣＥＲ が小さければ直線間の一致の度合いが高いと考えられる。図６のカメラａ画像の直線、例えばｓを比較元とし、カメラｂ画像の全直線を比較先として上記処理を行えば、直線近傍の画像パターンが最も似ておりΣＥＲ が最小となる直線、つまり直線ｓと最も一致する直線ｓ′を検出することができる。
【００６４】
反対に、ｔ，ｔ′のように同じ実像を元としないものは直線近傍の画像パターンが異なるため、一致の度合いの低い、つまりΣＥＲ が大きな直線しか見つからない。よって、予め定めたしきい値と比較する等により、ｔ，ｔ′については対応直線が見つからないとして、直線対応検出部１３の出力から除外することができる。この手続きをカメラａ画像の全ての直線について行い、カメラｂ画像中の対応直線を求める。
【００６５】
そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。
【００６６】
（３−２）動的計画法
比較する２直線の長さ（端点間の距離）が異なっていたり、一方の直線に含まれている部分が他方の直線に含まれていなかったりすると、領域マッチングによる対応直線の検出が困難となる場合が考えられる。このようなときでも有効な方法として動的計画法を適用することが考えられる。
【００６７】
非特許文献４（Ｈ．Ｓａｋｏｅ ｅｔ ａｌ，Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｓｐｏｋｅｎ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＡＳＳＰ，Ｖｏｌ．２６，Ｎｏ．１，ｐｐ．４３−４９，１９７８．）には、音声認識において動的計画法を適用することが記載されている。しかし、この記載は音声認識に関する技術であるため、本願の発明者は、この動的計画法を画像処理に適用して、直線近傍の画像特徴の一致の度合いを判定する技術を独自に創作した。以下、その画像処理に関する動的計画法を説明する。
【００６８】
今、比較元の直線について近傍領域が図９のように設定されており、直線両側の２領域を各々、長辺方向に予め定めた幅で均等に区切り、図９の右図のように２領域から計Ｉ個の微小な領域が得られるとする。
【００６９】
この微小領域について画素輝度の平均値を求めて微小領域の並び順にしたがって並べる等により、直線近傍領域の画像特徴を示す要素Ｉ個のデータ列Ａ＝｛ａｉ ｝を得る。
【００７０】
同様に、比較先の直線についても同様に領域設定し、同じ操作によりＪ個の画像特徴データ列Ｂ＝｛ｂｊ ｝を得る。
【００７１】
Ａ，Ｂの長さＩ，Ｊが異なるときマッチング演算ではＡ，Ｂを比較できない。動的計画法では、例えばｉとｊをもう一つのパラメータｋの関数として表すことにより、この不具合を回避する。
【００７２】
データ列Ａ，Ｂ間の対応状態を
【数１２】
と表す（Ｆをワープ関数と呼ぶ）。ここで、データ差ｄ（ｃ）＝｜ａｉ −ｂｊ ｜を定義し、データ差に対する重み関数をｗ（ｋ）とすれば、ｄ（ｃ）の重み付け和を重み和で正規化した値
【数１３】
は、ワープ関数Ｆにおけるデータ列Ａ，Ｂ間の正規化距離と考えられる。データの対応状態ｃ（ｋ）に応じてｗ（ｋ）を変え、ＤＦ （Ａ，Ｂ）が小さくなるよう繰り返し計算を行えば、ＦについてＤＦ （Ａ，Ｂ）の最小値が探索でき、結果、得られた最小値
【数１４】
はデータＡ，Ｂ間の距離を示すものと見なせる。２直線間で小さなＤが得られたとき直線が一致していると考えられることから、領域マッチング処理と同様にして、以上により画像間の対応直線を検出することが可能である。
【００７３】
なお、データの対応状態ｃ（ｋ）に応じた重み関数ｗ（ｋ）の設定方法は非特許文献４に詳しい。
【００７４】
上記のような方法で、一の画像において検出された全ての直線に関して、他の画像で検出された直線を対応させてそれぞれ正規化距離を求め、この正規化距離が最小の直線を対応する直線として記憶させる。
【００７５】
そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。
【００７６】
（３−３）他の方法
他に、画像領域間の一致度を求める方法としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法や、正規化相関係数法、構造マッチング等様々なものがあり、任意の方法を用いることが可能である。公知の方法については非特許文献２に詳しい。
【００７７】
また、マッチングを行う領域も、図９のように直線左右の長矩形とする等、任意の設定が可能である。
【００７８】
（４）変換行列算出部１４
変換行列算出部１４は、上述の直線対応検出部１３にて検出された、少なくとも４組の対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。
【００７９】
直線対応検出部１３からは、対応直線の組が｛Ｉ ｎ ＝（ａｎ ，ｂｎ ，ｃｎ ）Ｔ ，Ｉ′ｎ ＝（ａ′ｎ ，ｂ′ｎ ，ｃ′ｎ ）Ｔ ｝（ｎ＝１…Ｎ）として得られているとする。射影行列Ｈは（３）式と同じに表されるとし、ｈ＝（Ｈ１１，Ｈ１２，Ｈ１３，Ｈ２１，Ｈ２２，Ｈ２３，Ｈ３１，Ｈ３２）Ｔ とすれば、（７）式のうち直線パラメータについての部分のみを取り出した式
【数１５】
に対して全ての｛Ｉ ｎ ，Ｉ′ｎ ｝を代入して解くことにより、ｈつまりＨが求められる。（１５）式は一般の連立一次方程式なので、非特許文献２にあるように公知の解法が幾つもあるが、代表的なものについて簡単に説明する。（１５）式左辺のｈにかかる８×２Ｎの行列をＡ、右辺の１×２Ｎのベクトルをｂとすれば
【数１６】
となる。Ａが正方行列（Ｎ＝４）のときはＡが正則であれば逆行列Ａ−１があって
【数１７】
によりｈが求まる。
【００８０】
Ａが正方行列ではないときも（Ｎ＞４）、ＡＴ Ａが正則であれば
【数１８】
と直接解けばｈが得られる。
【００８１】
より誤差の少ないｈを求めたい場合、Ａの特異値分解Ａ＝ＵＷＶＴ 、ここでＵは８×２Ｎの列直交行列、Ｗは８×８の非負対角行列（Ｗ＝〔ｄｉａｇ（ｗｋ ）〕，ｋ＝１…８）、Ｖは８×８の直交行列、を用いて
【数１９】
により、最小２乗解としてｈを求めることもできる。
【００８２】
他の解法についても非特許文献２に詳しく、任意の解法を用いて（１５）式を解くことによりｈが求められる。Ｎ＜４のときや行列が正則でない等、ｈの解がない、あるいは一意には決められないとき、射影行列算出部１４はＨが求められないという出力を行う。
【００８３】
（５）実施形態の効果と適用例
このようにして、画像間の対応直線の組を自動で求めて射影行列を算出することによってステレオキャリブレーションの自動化が実現でき、従来のステレオキャリブレーションで必要であった多大な人的コストや作業時間を大幅に削減できる。
【００８４】
そして、このステレオキャリブレーション装置で得られた射影行列を用いて一対の撮像装置から得られた一対の画像間の変換が可能となる。したがって、一対の撮像装置で前方を監視してステレオ視の原理で障害物等の三次元位置や構造を解析するステレオ画像監視装置に、このステレオキャリブレーション装置を適用することで、前方の監視を簡単に行うことができる。
【００８５】
（変更例）
なお、本発明は上記実施形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。
【００８６】
（１）変更例１
例えば、本実施形態では撮像装置は２個としているが、３個以上の撮像装置の場合でも、本実施形態を適用して全てのあるいは任意の２個の撮像装置についてステレオキャリブレーションを行うことができ、結果、任意の複数の撮像装置についての画像変換パラメータを求めることができる。
【００８７】
（２）変更例２
直線対応検出部１３で求められる対応直線の組だけでなく、対応点の組も同時に求められていれば、射影行列算出部１４で（１５）式の代わりに（７）式を用いることにより、対応直線と対応点の組を同時に用いて射影行列を求めることができる。
【００８８】
（３）変更例３
道路面等の基準面は平面と仮定しているが、曲面である場合である場合においても、部分分割して平面と近似する等により本実施形態を適用することが可能である。
【００８９】
（４）変更例４
上記実施形態では、画素輝度あるいは微小領域の平均輝度を画像特徴とした場合の領域マッチング及び動的計画法の例について説明したが、この画像特徴としては、以下に挙げるような、画像から得られる任意の量を用いることが可能である。
【００９０】
例えば、カラーカメラを用いる場合には、マンセル表色系における彩度、色相、あるいはＲＧＢ各プレーンの要素値、さらには一般に知られるＸＹＺ、ＵＣＳ、ＣＭＹ、ＹＩＱ、オストワルト、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊といった任意の表色系に変換したときの要素値が使用可能である。
【００９１】
また、画像に対して空間的あるいは時間的に微分演算や積分演算を行なった結果も画像特徴として使用できる。
【００９２】
具体的には、Sobel の他に Roberts,Robinson, Prewitt, Kirsch, Canny といった空間微分オペレータや、ラプラシアンガウシアン、モーメントオペレータ等を画像に作用させた結果、さらに積分的な平均フィルタやメディアンフィルタといった雑音除去処理の結果も画像特徴として使用できる。
【００９３】
また、各画素に対して予め定められた微小領域で求められる統計量も画像特徴として用いることが可能である。
【００９４】
例えば、平均輝度の他に、中央値、最頻値、範囲、分散、標準偏差、平均偏差などが挙げられる。
【００９５】
さらに、画像に対して任意の物体検出あるいは領域分割処理を行った結果、及び結果から得られる領域のフィレ径や面積、動き量等、画像から算出可能な任意のスカラー量あるいはベクトル量を画像特徴として用いることが可能である。
【００９６】
以上のような画像特徴については、非特許文献２に詳しい。
【００９７】
（５）変更例５
直線検出部１２では輝度勾配を用いてエッジ画素を求めたが、輝度の他にも変更例４で挙げた任意の画像特徴について勾配（言い換えるなら空間変化率）を求めることが可能である。
【００９８】
よって、直線検出部１２においても、任意の画像特徴について変化率が大きい画素をエッジ画素として求めたり、領域分割処理結果の領域境界としてエッジ画素を求めることができる。
【００９９】
（６）変更例６
本発明の目的も、画像監視装置や車両の障害物検出や走行支援の装置のための画像変換パラメータ算出としているが、これに限定されるものではなく、航空機やヘリコプター、産業用あるいは家庭用ロボットに搭載される画像処理を用いた運転支援装置に適用できたり、多数の画像をつなぎ合わせて１個のパノラマ画像を作成するといったメディア処理技術のためにも適用できる等、様々な目的で使用することができる。
【０１００】
（第２の実施形態）
以下、本発明の第２の実施形態について図１０から図１３を用いて説明する。
【０１０１】
第２の実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。
【０１０２】
この中で画像入力部１１と、直線検出部１２と、変換行列算出部１４とは、第１の実施形態の構成と同じであるため、異なる構成を有する直線対応検出部１３について説明する。
【０１０３】
直線対応検出部１３は、直線検出部１２にて検出された全ての直線のうちで、２つの撮像装置の画像間で対応するものの組を検出する。直線近傍の画像特徴のみを用いる場合、第１の実施形態と同じ方法が使用でき、詳細は省略するが、概略は次の通りである。
【０１０４】
直線近傍の画像特徴を表すデータ列は、例えば図１０のような直線近傍の微小領域列の各領域毎に平均輝度等の画像特徴を求め、それを領域順に並べる等により得られる。２つの撮像装置の画像で検出された直線同士でこのデータ列を比較すれば、それらの直線が対応するかどうかを知ることができる。
【０１０５】
今、図１１に示すように、左の撮像装置からの画像（左画像）で直線sが検出されており、これと、右の撮像装置からの画像（右画像）で検出された複数の直線とで、対応する組を見つける場合を考える。右画像で、例えばｔとｔ’の２つの直線が検出されている場合（ｔ”は検出されていないとする）、ｓ近傍の画像特徴パターンを図１０の近傍領域で得、同様にｔとｔ’の近傍での画像特徴パターンを得れば、明暗の順序が同じであるｓとｔとでは非常に近い画像特徴パターンが得られるのに対し、ｓとｔ’とでは明暗の順序が異なるため、画像特徴パターンは異なったものとなる。これにより、この場合はｓとｔとが対応直線であることがわかる。ところが、右画像でｔとｔ’、ｔ”の３つの直線が検出されている場合、ｔとｔ”の近傍での画像特徴パターンが同じようなものとなるため、ｓに対応する直線がｔとｔ”のどちらであるかが、画像特徴だけからでは判定できない場合が生じうる。このようなことは、横断歩道等の繰り返し模様の多いシーンで良く見られるため、繰り返しパターンに対しても有効な対応直線検出方法が必要となる。
【０１０６】
このような対応検出の不具合を解決するため、単に比較する２直線の情報のみを比較するのではなく、周囲の複数直線との幾何学的関係を用いて対応検出を行う方法を導入する。
【０１０７】
具体的には、周囲の直線とのどのような位置関係で交差しているかという情報（交点パターンと呼ぶ）を用いて、比較する２直線が対応するかどうかを判定する。
【０１０８】
原理は、交点パターンといった直線間の幾何学的関係は平面射影変換によっても保存されることに基づく。つまり、どの直線がどの直線と交差するかということは左右の画像間で変りがないし、交点間の距離についても、射影変換なので正確には同じではないが、大きさの順序といった大まかな情報には変化がない。したがって、このような直線間の幾何学的関係を示す情報は、直線固有の特徴として直線の比較に用いることが可能であるとわかる。
【０１０９】
以下、図１２、図１３を用いて具体的に説明する。
【０１１０】
図１２のように左右画像で直線が得られており、各々１・・・１０、Ａ・・・Ｉのラベルが付けられているとする。例えば、左画像の直線１と右画像の直線Ａについて、交点と交点間の距離がどのようになっているかを見ると、図１３上に示すようになる。今、何らかの方法（後述参照）で直線５と直線Ｄとが対応直線であるとされているとする。これらと直線１，Ａとの交点を基準として各交点までの距離をプロットすると、図１３下左と下中央に示すような交点のパターンが得られる。この交点パターンは、基準とする交点の直線５，Ｄが正しく対応しているとき、図のように良く似たものとなることから、直線５，Ｄが対応直線として検出されていることが正しいとわかる。これに対して、基準交点の直線が正しく対応していないとき、例えば交点７を基準として直線１の交点パターンを求めると（図１３下右）、交点Ｄを基準とした直線Ａの交点パターンとは異なったものが得られる。よって、直線７，Ｄが対応直線と判定することが、直線５，Ｄを対応直線とすることよりも、誤っている可能性が高い。このような交点パターンの比較により、対応直線が正確に判定できることがわかる。
【０１１１】
交点パターンを比較する具体的な方法としては、例えば、図１３下の例で言えば、直線Ａと直線１の交点パターンのデータが同じ長さである、あるいは同じ長さにできれば（ｄ５を無視する等）、単純に各データの絶対差の総和Σ｜ｄ’ｉ−ｄｉ｜といったデータ間の違いを示す数値を計算しても良い。また、長さの異なる交点パターンのデータを比較するには、第１の実施形態のようにＤＰマッチングを行うことにより直線間での交点パターン間の距離が求められ、直線間の対応状態を知ることができる。
【０１１２】
予め基準とする対応直線を決める方法としては、例えば第１の実施形態のように画像特徴パターンを用いる方法でも良いし、任意の方法が使用できる。
【０１１３】
また、予め対応する直線がわかっていなくても、全ての組み合わせについて上記のような交点パターンの比較を行い、最も一致する直線の組を求めれば、一対一に対応直線を決めることができる。
【０１１４】
なお、ＤＰマッチング等により交点パターン間の距離を算出するに際し、２つの直線の交点パターンのスケールが大きく異なる場合がある。これに対処するため、距離算出の前にパターンのスケール比（例えば図１３ではｓ＝ｄ’１／（ｄ１＋ｄ５）を求め、これで交点パターンデータを正規化しておいても良い。
【０１１５】
ここで、非特許文献５（千葉， 金出， 途切れや近接配置にロバストな線特徴追跡， 電子情報通信学会論文誌 DーII， Vol. J８１ーDーII， No. ８， pp. １７４４ー１７５１， １９９８.）のような直線パラメータに輝度勾配方向を組み入れた評価関数を用いて直線の対応づけを行う方法があるが、比較する２直線の情報のみしか考慮しておらず、本発明で考慮しているような周囲の複数直線との幾何学的関係は看過されるため、原理的に上記のような繰り返し画像パターンの直線に関しては正しい対応が求められない。また、輝度勾配方向も直線の左から右、あるいは右から左といった一方向しか考えられておらず、第１の実施形態および本発明のように近傍領域の画像特徴パターンが対応検出に正確に反映されないため、正しい対応が得られるとは限らないという問題がある。本発明は、非特許文献１では対処できない如何なる場合においても、正しい直線対応が得られる方法となっている。
【０１１６】
変換行列算出部１４は、上述の直線対応検出部１３にて検出された対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。最終的には、（１５）式を解いて得られたＨを結果として出力する。
【０１１７】
（変更例）
なお、本発明は上記実施の形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。
【０１１８】
具体的な変更例も第１の実施形態の変更例にて述べている全ての変更例と同じものが考えられる。
【０１１９】
【発明の効果】
本発明によれば、画像間の対応直線の組からの射影行列算出が自動で行われ、調整員による操作なしで短時間に高精度の画像変換パラメータが獲得できることにより、従来必要であった多大な人的コストや作業時間を大幅に削減できたり、撮像装置の取り付けに変化があったときのステレオ画像監視装置等の誤動作や調整員派遣等の不都合を回避できる等、実用上多大なる効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の実施形態の障害物検出装置の概略構成図である。
【図２】監視区域と撮像装置の設置状態を示す模式図である。
【図３】車両に搭載された撮像装置の設置状態を示す模式図である。
【図４】直線検出部で輝度勾配を求める方法を示す模式図である。
【図５】直線検出部で求められたエッジ画素を示す模式図である。
【図６】直線検出部で求められた直線を示す模式図である。
【図７】監視区域での直線の対応関係を示す模式図である。
【図８】直線対応検出部で画像相関により直線対応を求める方法を示す模式図である。
【図９】直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。
【図１０】直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。
【図１１】画像特徴から直線対応が一意に決められない場合を示す模式図である。
【図１２】直線検出部で得られた直線の例を示す模式図である。
【図１３】直線間の幾何学的関係を数値化する模式図である。
【符号の説明】
１１ 画像入力部
１２ 直線検出部
１３ 直線対応検出部
１４ 変換行列算出部
【発明の属する技術分野】
本発明は、複数の撮像装置間の画像変換パラメータを求めるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置に関する。
【０００２】
【従来の技術】
ＣＣＤカメラ等の撮像装置を用いて不審人物を自動検知する画像監視装置や、走行車両に搭載される撮像装置を用いて道路上の障害物を発見したり走行レーンを認識する前方監視装置や走行支援装置においては、撮像装置を１個だけ用いる方式よりも、複数の撮像装置で共通視野を監視できるもののほうが容易に高い検知性能が得られる。
【０００３】
この理由は、侵入者や障害物等の検知対象のバリエーションが事実上無限であり、全てカバーできる仕様記述を得ることが現実的には不可能、よって検知対象に似た道路面上のテクスチャや予期しない画像変化等の誤検出要因がある環境においては、画像パターンのみにより検知対象を正しく区別することが大変困難であることによる。一方、複数の撮像手段が使用可能である場合、共通視野についてはステレオ視の原理により対象の３次元位置や構造に関する情報が得られ、検知対象を上記誤検出要因から区別することが容易となる。
【０００４】
但し、対象の３次元情報を精密に得るためには、画像中の全ての場所についてステレオ対応付けの問題を解決せねばならず、屋外環境のように複雑かつ多くの環境外乱が存在する場合には、これも大変困難となる。ところが、特許文献１や特許文献２のような方法を用いると、対象の構造に関する３次元情報は厳密には得られないものの、例えば地面や道路面といった３次元空間内のある平面を基準とし、これと比して高さを持つ画像領域だけを正しく検出でき、屋外環境においても検知対象の有無とその位置については正確に検知することが可能となる。
【０００５】
この方式の原理は次のように説明できる。
【０００６】
今、撮像装置である２つのカメラが監視区域を共通視野として設置されているとする。侵入者や障害物がない場合の監視区域は道路面等の３次元空間内での平面であるとし、これを基準平面と呼ぶ。基準平面上の点Ｘが同時に２つのカメラで撮影されており、一方のカメラでのＸの像の画像座標を（ｘ，ｙ）、もう片方のカメラでのＸの像の画像座標を（ｘ′，ｙ′）、各カメラの焦点距離をｆ，ｆ′とすれば、一方のカメラ画像からもう片方のカメラ画像への変換が射影変換となり
【数１】
【数２】
【数３】
【０００７】
なお、本明細書において、「ｘ」のように横倍角表示されたものは、ベクトル表示を示し、他の文字についても同様である。
【０００８】
このように、予めＨが求められていれば、高さを持つ物体が基準平面上にあるか否かを判定することができ、路面のテクスチャや物体の影等を誤って検知することのない高性能な画像監視装置が実現できる。
【０００９】
以降、Ｈを求める従来方法について説明する。
【００１０】
２個のカメラ画像間で対応する点（画素）の組｛ｘ ｍ ＝（ｘｍ ，ｙｍ ，ｆ）Ｔ ，ｘ′ｍ ＝（ｘ′ｍ ，ｙ′ｍ ，ｆ′）Ｔ ｝（ｍ＝１…Ｍ）が４個以上分かっていればＨを求めることができる。具体的には、ｈ＝（Ｈ１１，Ｈ１２，Ｈ１３，Ｈ２１，Ｈ２２，Ｈ２３，Ｈ３１，Ｈ３２）Ｔ とし、（２）式をｈの一次式に書き直せば
【数４】
【００１１】
今、対応点の組｛ｘ ｍ ，ｘ′ｍ ｝と同時に、カメラ画像間で対応する直線の組｛ａｎ ｘ＋ｂｎ ｙ＋ｃｎ ｆ＝０，ａ′ｎ ｘ′＋ｂ′ｎ ｙ′＋ｃ′ｎ ｆ′＝０｝（ｎ＝１…Ｎ）が求められているとする。直線をパラメータｌ ｎ ＝（ａｎ ，ｂｎ ，ｃｎ ）Ｔ ，ｌ′ｎ ＝（ａ′ｎ ，ｂ′ｎ ，ｃ′ｎ ）Ｔ で表せば、画像上の各直線は
【数５】
【数６】
ｈの連立式を一つに合わせれば、最終的に
【数７】
【００１２】
以上のように、射影行列を求めるには、カメラ画像間で対応点（画素）や対応直線の組が予め得られていることが前提となる。
【００１３】
ところが、従来、多くの画像監視装置等では、それらの設置時に調整員が手作業により対応点や対応直線の組を求めており、調整員は対応を誤ることなく注意深く作業を行う必要があるとともに、精度良く射影行列を計算するために多数の対応点や対応直線を求めなければならず、長時間の作業が強いられていた。
【００１４】
また、振動の多い場所や車載カメラを用いる等、カメラ取り付けの“ずれ”が起こり得る場合、調整員による再キャリブレーションが行われるまで画像監視装置の誤動作が発生したり、調整員を設置場所へ派遣する必要が生じる等、画像監視装置の使用者にとって極めて不都合な状況が発生する。
【００１５】
【特許文献１】
特開平１１−３２８３６５
【００１６】
【特許文献２】
特開２０００−２９３６９３
【００１７】
【非特許文献１】
Ｗ．Ｈ．Ｐｒｅｓｓ ｅｔ ａｌ，Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ，ＩＳＢＮ ０−５２１−４３１０８−５
【００１８】
【発明が解決しようとする課題】
上述のように、特許文献１や特許文献２のような高性能の画像監視装置や障害物検出装置を実現するためには、撮像装置間の画像変換パラメータを求めるため、予めステレオキャリブレーションを行う必要がある。
【００１９】
従来のステレオキャリブレーション装置では、調整員による対応点指定等の手作業が不可欠であり、多大な人的コストと作業時間が必要である。特に多数のステレオキャリブレーションを行わなければならない場合や、カメラの取り付けが不測で変更されるような場合には、さらに人的コストや作業時間が甚大となるという問題点がある。
【００２０】
本発明はこのような事情を鑑みてなされたもので、複数の撮像装置の取り付け位置の違いにより撮影画像に差異が見られる場合においても、画像間の対応直線の組を自動で求めて射影行列を算出することによりステレオキャリブレーションを自動化し、オペレータの操作なしで短時間に高精度の画像変換パラメータを獲得できるステレオキャリブレーション装置とそれを用いたステレオ画像監視装置を提供することにある。
【００２１】
【課題を解決するための手段】
本発明は、予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション装置において、前記一対の撮像装置からの画像をそれぞれ入力する画像入力手段と、前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出手段と、前記各画像からそれぞれ検出された直線の近傍領域の画像特徴を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出手段と、前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出手段と、を有し、前記直線対応検出手段は、前記一対の画像の各画像からそれぞれ検出された各直線毎の近傍領域の画像特徴に関するデータ列を求め、前記一対の画像中の一方の画像から検出された各直線のデータ列の各データと、前記一対の画像中の他方の画像から検出された各直線のデータ列の各データとのそれぞれのデータ差を求め、これらデータ差の重み付け和を重み和で正規化した値を正規化距離としてそれぞれ求め、前記一方の画像におけるある直線に対して、最小の正規化距離を持つ前記他方の画像における直線を対応する直線として、これら直線の組を対応直線の組とすることを特徴とするステレオキャリブレーション装置である。
【００３８】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の第１の実施形態について図１から図９を用いて説明する。
【００３９】
図１は、本実施形態のステレオキャリブレーション装置の概略構成図である。
【００４０】
本実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。
【００４１】
（１）画像入力部１１
画像入力部１１は、任意の複数の撮像装置１０１からの画像が供給される。
【００４２】
本実施形態では、撮像装置１０１は２個のＣＣＤカメラ等の撮像装置からなり、例えば、図２に示すように監視区域上方に２個所設置されたり、車両に２個所搭載される場合には図３に示すように自車両前部の左側と右側に取りつけられる。
【００４３】
ここで、ステレオキャリブレーション装置の動作時には、図２の監視区域のような３次元空間内の平面（例えば、道路面）が両カメラにて撮影されているとし、この平面上には高さを持つ物体がないとする。
【００４４】
よって、後段の直線検出部１２にて検出される直線は全てこの平面上のテクスチャから得られるものとする。
【００４５】
画像入力部１１は、撮像装置１０１から出力される映像信号を逐次Ａ／Ｄ変換し、画像入力部１１内のメモリにディジタル画像あるいは画像列として蓄積する。そして、要求された任意時刻、任意領域の画像を次の直線検出部１２及び直線対応検出部１３に出力する。
【００４６】
（２）直線検出部１２
直線検出部１２は、画像入力部１１に蓄積されている、撮像装置１０１からの複数画像において直線を検出する。
【００４７】
ここでは、輝度勾配の大きい画素が直線状に連なっているものを直線として検出する方法について説明する。
【００４８】
「輝度勾配」とは、画素近傍での輝度変化の度合いを示すものであり、図２の監視区域であれば路面白線の境界といった画像中の構造の境界領域で大きな値となる（単にエッジとも呼ばれる）。
【００４９】
輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。
【００５０】
Ｓｏｂｅｌオペレータによりエッジ画素を求める方法を説明する。
【００５１】
画像中の位置（ｘ，ｙ）での輝度をＩ（ｘ，ｙ）とし、フィルタ各要素Ｆｘ（ｉ，ｊ），Ｆｙ（ｉ，ｊ）が図４のように設定されていると、このフィルタを画像に重畳して得られる値Ｇｘ ，Ｇｙ 、すなわち、
【数８】
【数９】
【００５２】
他に輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ，Ｒｏｂｉｎｓｏｎ，Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。公知の輝度勾配算出方法は、例えば非特許文献２（高木、下田監修、画像解析ハンドブック、東京大学出版会、ＩＳＢＮ４−１３−０６１１０７−０）に詳しい。
【００５３】
エッジ画素が求められた後、例えばハフ変換といった方法を用いてエッジ画素を通る直線が検出できる。ハフ変換は画像中の直線を検出する方法として広く知られている（非特許文献２）。簡潔に説明するなら、エッジ画素位置（ｘ，ｙ）を
【数１０】
【００５４】
また、非特許文献３（Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ ｅｔ ａｌ，ＲａｎｄａｍＳａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ，Ｖｏｌ．２４，Ｎｏ．６，ｐｐ．２５３−２６７，１９８１．）のようなＲＡＮＳＡＣといったロバスト推定による直線当てはめも、エッジ画像における直線検出に有効である。これも簡潔に記述するなら、ランダムに選択された複数のエッジ画素を初期値として、最小２乗法等によりエッジ画素群に直線当てはめを行い、直線からの外れ値（距離）が大きい画素を取り除くとともに外れ値が小さいエッジ画素を新たに含め、再度同様の方法で直線当てはめを行う。最大の外れ値が許容範囲に収まるまで以上の直線当てはめを繰り返せば、直線上に並ぶエッジ画素を通る直線を検出できるというものである。これらの方法により、図５に示されるようにエッジ画素群が不連続であったり、くの字状に曲がって連続していても、図６のように正しく直線を求めることができる。
【００５５】
以上の直線検出処理を、２個の撮像装置からの各画像に対して行い、画像毎に４個以上の直線を求める。直線のパラメータをｌ＝（ａ，ｂ，ｃ）Ｔ 、画像座標を斉次座標表現ｘ＝（ｘ，ｙ，ｆ）Ｔ としたとき（ｆは焦点距離）、直線はｌ Ｔ ｘ＝０で表される。直線パラメータだけであると、その直線をなすエッジ画素が画像中のどの部分にあるか分からないので、直線上に存在する、あるいは直線近傍の許容範囲内に存在するエッジ画素群の端点２点も、各直線毎に図６丸印のように求める。
【００５６】
（３）直線対応検出部１３
直線対応検出部１３は、上述の直線検出部１２にて検出された直線の近傍画像領域を画像入力部１１から得て、画像特徴の比較により２画像間での対応直線の組を求める。なお、「画像特徴」とは、検出した直線近傍領域と他の領域と区別することができる画像から抽出できる輝度、色、動き等の物理量をいう。
【００５７】
ここで「対応直線の組」とは、２個のカメラ画像に映っている直線の組で、同一の実像を元にするものを指す。例えば、図６でカメラａ，ｂの各画像中に直線ｓ，ｓ′が映っている。図７に示されるように、この２個の直線が監視区域での同一直線の像である場合、直線ｓとｓ′は対応直線の組である。一方、図６の直線ｔ，ｔ′は、図７の別々の直線の像であるため、これらは対応直線の組ではない。
【００５８】
（３−１）領域マッチングによる方法
対応直線の組を検出する方法としては、例えば直線近傍の画像特徴を用いた領域マッチングによる方法を適用することが考えられる。なお、「領域マッチング」とは、比較元の画像領域と比較先の画像領域との一致度を算出する方法である。
【００５９】
最も簡便なＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法を用いて、本願発明の発明者が独自に創作した方法を説明する。
【００６０】
比較する２個の画像領域が同形としてＲで表し、Ｒ中の位置を（ｘ，ｙ）、この位置での比較元の画素輝度をＩ（ｘ，ｙ）、比較先の画素輝度をＩ′（ｘ，ｙ）とした場合、
【数１１】
【００６１】
直線間でマッチング計算を直接行うことが難しい場合、例えば直線上の任意点を中心とする任意領域について領域マッチングを実施し、その総和を比較すればよい。
【００６２】
図８では、直線の２端点間に５個の矩形領域を等間隔に配置した例を示している。
【００６３】
このような領域設定を異なる２直線について行い、並び順の通りにマッチング計算を行いＥＲ を求め、その総和ΣＥＲ が小さければ直線間の一致の度合いが高いと考えられる。図６のカメラａ画像の直線、例えばｓを比較元とし、カメラｂ画像の全直線を比較先として上記処理を行えば、直線近傍の画像パターンが最も似ておりΣＥＲ が最小となる直線、つまり直線ｓと最も一致する直線ｓ′を検出することができる。
【００６４】
反対に、ｔ，ｔ′のように同じ実像を元としないものは直線近傍の画像パターンが異なるため、一致の度合いの低い、つまりΣＥＲ が大きな直線しか見つからない。よって、予め定めたしきい値と比較する等により、ｔ，ｔ′については対応直線が見つからないとして、直線対応検出部１３の出力から除外することができる。この手続きをカメラａ画像の全ての直線について行い、カメラｂ画像中の対応直線を求める。
【００６５】
そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。
【００６６】
（３−２）動的計画法
比較する２直線の長さ（端点間の距離）が異なっていたり、一方の直線に含まれている部分が他方の直線に含まれていなかったりすると、領域マッチングによる対応直線の検出が困難となる場合が考えられる。このようなときでも有効な方法として動的計画法を適用することが考えられる。
【００６７】
非特許文献４（Ｈ．Ｓａｋｏｅ ｅｔ ａｌ，Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｓｐｏｋｅｎ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ ＡＳＳＰ，Ｖｏｌ．２６，Ｎｏ．１，ｐｐ．４３−４９，１９７８．）には、音声認識において動的計画法を適用することが記載されている。しかし、この記載は音声認識に関する技術であるため、本願の発明者は、この動的計画法を画像処理に適用して、直線近傍の画像特徴の一致の度合いを判定する技術を独自に創作した。以下、その画像処理に関する動的計画法を説明する。
【００６８】
今、比較元の直線について近傍領域が図９のように設定されており、直線両側の２領域を各々、長辺方向に予め定めた幅で均等に区切り、図９の右図のように２領域から計Ｉ個の微小な領域が得られるとする。
【００６９】
この微小領域について画素輝度の平均値を求めて微小領域の並び順にしたがって並べる等により、直線近傍領域の画像特徴を示す要素Ｉ個のデータ列Ａ＝｛ａｉ ｝を得る。
【００７０】
同様に、比較先の直線についても同様に領域設定し、同じ操作によりＪ個の画像特徴データ列Ｂ＝｛ｂｊ ｝を得る。
【００７１】
Ａ，Ｂの長さＩ，Ｊが異なるときマッチング演算ではＡ，Ｂを比較できない。動的計画法では、例えばｉとｊをもう一つのパラメータｋの関数として表すことにより、この不具合を回避する。
【００７２】
データ列Ａ，Ｂ間の対応状態を
【数１２】
【数１３】
【数１４】
【００７３】
なお、データの対応状態ｃ（ｋ）に応じた重み関数ｗ（ｋ）の設定方法は非特許文献４に詳しい。
【００７４】
上記のような方法で、一の画像において検出された全ての直線に関して、他の画像で検出された直線を対応させてそれぞれ正規化距離を求め、この正規化距離が最小の直線を対応する直線として記憶させる。
【００７５】
そして、射影行列Ｈを求めるために、少なくとも４組の対応直線の組を求める。
【００７６】
（３−３）他の方法
他に、画像領域間の一致度を求める方法としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法や、正規化相関係数法、構造マッチング等様々なものがあり、任意の方法を用いることが可能である。公知の方法については非特許文献２に詳しい。
【００７７】
また、マッチングを行う領域も、図９のように直線左右の長矩形とする等、任意の設定が可能である。
【００７８】
（４）変換行列算出部１４
変換行列算出部１４は、上述の直線対応検出部１３にて検出された、少なくとも４組の対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。
【００７９】
直線対応検出部１３からは、対応直線の組が｛Ｉ ｎ ＝（ａｎ ，ｂｎ ，ｃｎ ）Ｔ ，Ｉ′ｎ ＝（ａ′ｎ ，ｂ′ｎ ，ｃ′ｎ ）Ｔ ｝（ｎ＝１…Ｎ）として得られているとする。射影行列Ｈは（３）式と同じに表されるとし、ｈ＝（Ｈ１１，Ｈ１２，Ｈ１３，Ｈ２１，Ｈ２２，Ｈ２３，Ｈ３１，Ｈ３２）Ｔ とすれば、（７）式のうち直線パラメータについての部分のみを取り出した式
【数１５】
【数１６】
【数１７】
【００８０】
Ａが正方行列ではないときも（Ｎ＞４）、ＡＴ Ａが正則であれば
【数１８】
【００８１】
より誤差の少ないｈを求めたい場合、Ａの特異値分解Ａ＝ＵＷＶＴ 、ここでＵは８×２Ｎの列直交行列、Ｗは８×８の非負対角行列（Ｗ＝〔ｄｉａｇ（ｗｋ ）〕，ｋ＝１…８）、Ｖは８×８の直交行列、を用いて
【数１９】
【００８２】
他の解法についても非特許文献２に詳しく、任意の解法を用いて（１５）式を解くことによりｈが求められる。Ｎ＜４のときや行列が正則でない等、ｈの解がない、あるいは一意には決められないとき、射影行列算出部１４はＨが求められないという出力を行う。
【００８３】
（５）実施形態の効果と適用例
このようにして、画像間の対応直線の組を自動で求めて射影行列を算出することによってステレオキャリブレーションの自動化が実現でき、従来のステレオキャリブレーションで必要であった多大な人的コストや作業時間を大幅に削減できる。
【００８４】
そして、このステレオキャリブレーション装置で得られた射影行列を用いて一対の撮像装置から得られた一対の画像間の変換が可能となる。したがって、一対の撮像装置で前方を監視してステレオ視の原理で障害物等の三次元位置や構造を解析するステレオ画像監視装置に、このステレオキャリブレーション装置を適用することで、前方の監視を簡単に行うことができる。
【００８５】
（変更例）
なお、本発明は上記実施形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。
【００８６】
（１）変更例１
例えば、本実施形態では撮像装置は２個としているが、３個以上の撮像装置の場合でも、本実施形態を適用して全てのあるいは任意の２個の撮像装置についてステレオキャリブレーションを行うことができ、結果、任意の複数の撮像装置についての画像変換パラメータを求めることができる。
【００８７】
（２）変更例２
直線対応検出部１３で求められる対応直線の組だけでなく、対応点の組も同時に求められていれば、射影行列算出部１４で（１５）式の代わりに（７）式を用いることにより、対応直線と対応点の組を同時に用いて射影行列を求めることができる。
【００８８】
（３）変更例３
道路面等の基準面は平面と仮定しているが、曲面である場合である場合においても、部分分割して平面と近似する等により本実施形態を適用することが可能である。
【００８９】
（４）変更例４
上記実施形態では、画素輝度あるいは微小領域の平均輝度を画像特徴とした場合の領域マッチング及び動的計画法の例について説明したが、この画像特徴としては、以下に挙げるような、画像から得られる任意の量を用いることが可能である。
【００９０】
例えば、カラーカメラを用いる場合には、マンセル表色系における彩度、色相、あるいはＲＧＢ各プレーンの要素値、さらには一般に知られるＸＹＺ、ＵＣＳ、ＣＭＹ、ＹＩＱ、オストワルト、Ｌ＊ｕ＊ｖ＊、Ｌ＊ａ＊ｂ＊といった任意の表色系に変換したときの要素値が使用可能である。
【００９１】
また、画像に対して空間的あるいは時間的に微分演算や積分演算を行なった結果も画像特徴として使用できる。
【００９２】
具体的には、Sobel の他に Roberts,Robinson, Prewitt, Kirsch, Canny といった空間微分オペレータや、ラプラシアンガウシアン、モーメントオペレータ等を画像に作用させた結果、さらに積分的な平均フィルタやメディアンフィルタといった雑音除去処理の結果も画像特徴として使用できる。
【００９３】
また、各画素に対して予め定められた微小領域で求められる統計量も画像特徴として用いることが可能である。
【００９４】
例えば、平均輝度の他に、中央値、最頻値、範囲、分散、標準偏差、平均偏差などが挙げられる。
【００９５】
さらに、画像に対して任意の物体検出あるいは領域分割処理を行った結果、及び結果から得られる領域のフィレ径や面積、動き量等、画像から算出可能な任意のスカラー量あるいはベクトル量を画像特徴として用いることが可能である。
【００９６】
以上のような画像特徴については、非特許文献２に詳しい。
【００９７】
（５）変更例５
直線検出部１２では輝度勾配を用いてエッジ画素を求めたが、輝度の他にも変更例４で挙げた任意の画像特徴について勾配（言い換えるなら空間変化率）を求めることが可能である。
【００９８】
よって、直線検出部１２においても、任意の画像特徴について変化率が大きい画素をエッジ画素として求めたり、領域分割処理結果の領域境界としてエッジ画素を求めることができる。
【００９９】
（６）変更例６
本発明の目的も、画像監視装置や車両の障害物検出や走行支援の装置のための画像変換パラメータ算出としているが、これに限定されるものではなく、航空機やヘリコプター、産業用あるいは家庭用ロボットに搭載される画像処理を用いた運転支援装置に適用できたり、多数の画像をつなぎ合わせて１個のパノラマ画像を作成するといったメディア処理技術のためにも適用できる等、様々な目的で使用することができる。
【０１００】
（第２の実施形態）
以下、本発明の第２の実施形態について図１０から図１３を用いて説明する。
【０１０１】
第２の実施形態のステレオキャリブレーション装置は、画像入力部１１と、直線検出部１２と、直線対応検出部１３と、変換行列算出部１４とからなる。これら各部１１〜１４の各機能は、コンピュータに記憶されたプログラムによって実現される。
【０１０２】
この中で画像入力部１１と、直線検出部１２と、変換行列算出部１４とは、第１の実施形態の構成と同じであるため、異なる構成を有する直線対応検出部１３について説明する。
【０１０３】
直線対応検出部１３は、直線検出部１２にて検出された全ての直線のうちで、２つの撮像装置の画像間で対応するものの組を検出する。直線近傍の画像特徴のみを用いる場合、第１の実施形態と同じ方法が使用でき、詳細は省略するが、概略は次の通りである。
【０１０４】
直線近傍の画像特徴を表すデータ列は、例えば図１０のような直線近傍の微小領域列の各領域毎に平均輝度等の画像特徴を求め、それを領域順に並べる等により得られる。２つの撮像装置の画像で検出された直線同士でこのデータ列を比較すれば、それらの直線が対応するかどうかを知ることができる。
【０１０５】
今、図１１に示すように、左の撮像装置からの画像（左画像）で直線sが検出されており、これと、右の撮像装置からの画像（右画像）で検出された複数の直線とで、対応する組を見つける場合を考える。右画像で、例えばｔとｔ’の２つの直線が検出されている場合（ｔ”は検出されていないとする）、ｓ近傍の画像特徴パターンを図１０の近傍領域で得、同様にｔとｔ’の近傍での画像特徴パターンを得れば、明暗の順序が同じであるｓとｔとでは非常に近い画像特徴パターンが得られるのに対し、ｓとｔ’とでは明暗の順序が異なるため、画像特徴パターンは異なったものとなる。これにより、この場合はｓとｔとが対応直線であることがわかる。ところが、右画像でｔとｔ’、ｔ”の３つの直線が検出されている場合、ｔとｔ”の近傍での画像特徴パターンが同じようなものとなるため、ｓに対応する直線がｔとｔ”のどちらであるかが、画像特徴だけからでは判定できない場合が生じうる。このようなことは、横断歩道等の繰り返し模様の多いシーンで良く見られるため、繰り返しパターンに対しても有効な対応直線検出方法が必要となる。
【０１０６】
このような対応検出の不具合を解決するため、単に比較する２直線の情報のみを比較するのではなく、周囲の複数直線との幾何学的関係を用いて対応検出を行う方法を導入する。
【０１０７】
具体的には、周囲の直線とのどのような位置関係で交差しているかという情報（交点パターンと呼ぶ）を用いて、比較する２直線が対応するかどうかを判定する。
【０１０８】
原理は、交点パターンといった直線間の幾何学的関係は平面射影変換によっても保存されることに基づく。つまり、どの直線がどの直線と交差するかということは左右の画像間で変りがないし、交点間の距離についても、射影変換なので正確には同じではないが、大きさの順序といった大まかな情報には変化がない。したがって、このような直線間の幾何学的関係を示す情報は、直線固有の特徴として直線の比較に用いることが可能であるとわかる。
【０１０９】
以下、図１２、図１３を用いて具体的に説明する。
【０１１０】
図１２のように左右画像で直線が得られており、各々１・・・１０、Ａ・・・Ｉのラベルが付けられているとする。例えば、左画像の直線１と右画像の直線Ａについて、交点と交点間の距離がどのようになっているかを見ると、図１３上に示すようになる。今、何らかの方法（後述参照）で直線５と直線Ｄとが対応直線であるとされているとする。これらと直線１，Ａとの交点を基準として各交点までの距離をプロットすると、図１３下左と下中央に示すような交点のパターンが得られる。この交点パターンは、基準とする交点の直線５，Ｄが正しく対応しているとき、図のように良く似たものとなることから、直線５，Ｄが対応直線として検出されていることが正しいとわかる。これに対して、基準交点の直線が正しく対応していないとき、例えば交点７を基準として直線１の交点パターンを求めると（図１３下右）、交点Ｄを基準とした直線Ａの交点パターンとは異なったものが得られる。よって、直線７，Ｄが対応直線と判定することが、直線５，Ｄを対応直線とすることよりも、誤っている可能性が高い。このような交点パターンの比較により、対応直線が正確に判定できることがわかる。
【０１１１】
交点パターンを比較する具体的な方法としては、例えば、図１３下の例で言えば、直線Ａと直線１の交点パターンのデータが同じ長さである、あるいは同じ長さにできれば（ｄ５を無視する等）、単純に各データの絶対差の総和Σ｜ｄ’ｉ−ｄｉ｜といったデータ間の違いを示す数値を計算しても良い。また、長さの異なる交点パターンのデータを比較するには、第１の実施形態のようにＤＰマッチングを行うことにより直線間での交点パターン間の距離が求められ、直線間の対応状態を知ることができる。
【０１１２】
予め基準とする対応直線を決める方法としては、例えば第１の実施形態のように画像特徴パターンを用いる方法でも良いし、任意の方法が使用できる。
【０１１３】
また、予め対応する直線がわかっていなくても、全ての組み合わせについて上記のような交点パターンの比較を行い、最も一致する直線の組を求めれば、一対一に対応直線を決めることができる。
【０１１４】
なお、ＤＰマッチング等により交点パターン間の距離を算出するに際し、２つの直線の交点パターンのスケールが大きく異なる場合がある。これに対処するため、距離算出の前にパターンのスケール比（例えば図１３ではｓ＝ｄ’１／（ｄ１＋ｄ５）を求め、これで交点パターンデータを正規化しておいても良い。
【０１１５】
ここで、非特許文献５（千葉， 金出， 途切れや近接配置にロバストな線特徴追跡， 電子情報通信学会論文誌 DーII， Vol. J８１ーDーII， No. ８， pp. １７４４ー１７５１， １９９８.）のような直線パラメータに輝度勾配方向を組み入れた評価関数を用いて直線の対応づけを行う方法があるが、比較する２直線の情報のみしか考慮しておらず、本発明で考慮しているような周囲の複数直線との幾何学的関係は看過されるため、原理的に上記のような繰り返し画像パターンの直線に関しては正しい対応が求められない。また、輝度勾配方向も直線の左から右、あるいは右から左といった一方向しか考えられておらず、第１の実施形態および本発明のように近傍領域の画像特徴パターンが対応検出に正確に反映されないため、正しい対応が得られるとは限らないという問題がある。本発明は、非特許文献１では対処できない如何なる場合においても、正しい直線対応が得られる方法となっている。
【０１１６】
変換行列算出部１４は、上述の直線対応検出部１３にて検出された対応直線の組から、撮像装置間の画像変換パラメータである射影行列Ｈを求める。最終的には、（１５）式を解いて得られたＨを結果として出力する。
【０１１７】
（変更例）
なお、本発明は上記実施の形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。
【０１１８】
具体的な変更例も第１の実施形態の変更例にて述べている全ての変更例と同じものが考えられる。
【０１１９】
【発明の効果】
本発明によれば、画像間の対応直線の組からの射影行列算出が自動で行われ、調整員による操作なしで短時間に高精度の画像変換パラメータが獲得できることにより、従来必要であった多大な人的コストや作業時間を大幅に削減できたり、撮像装置の取り付けに変化があったときのステレオ画像監視装置等の誤動作や調整員派遣等の不都合を回避できる等、実用上多大なる効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の実施形態の障害物検出装置の概略構成図である。
【図２】監視区域と撮像装置の設置状態を示す模式図である。
【図３】車両に搭載された撮像装置の設置状態を示す模式図である。
【図４】直線検出部で輝度勾配を求める方法を示す模式図である。
【図５】直線検出部で求められたエッジ画素を示す模式図である。
【図６】直線検出部で求められた直線を示す模式図である。
【図７】監視区域での直線の対応関係を示す模式図である。
【図８】直線対応検出部で画像相関により直線対応を求める方法を示す模式図である。
【図９】直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。
【図１０】直線対応検出部で動的計画法により直線対応を求める方法を示す模式図である。
【図１１】画像特徴から直線対応が一意に決められない場合を示す模式図である。
【図１２】直線検出部で得られた直線の例を示す模式図である。
【図１３】直線間の幾何学的関係を数値化する模式図である。
【符号の説明】
１１ 画像入力部
１２ 直線検出部
１３ 直線対応検出部
１４ 変換行列算出部
Claims (7)
- 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション装置において、
前記一対の撮像装置からの画像をそれぞれ入力する画像入力手段と、
前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出手段と、
前記各画像からそれぞれ検出された直線の近傍領域の画像特徴を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出手段と、
前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出手段と、
を有し、
前記直線対応検出手段は、
前記一対の画像の各画像からそれぞれ検出された各直線毎の近傍領域の画像特徴に関するデータ列を求め、
前記一対の画像中の一方の画像から検出された各直線のデータ列の各データと、前記一対の画像中の他方の画像から検出された各直線のデータ列の各データとのそれぞれのデータ差を求め、これらデータ差の重み付け和を重み和で正規化した値を正規化距離としてそれぞれ求め、
前記一方の画像におけるある直線に対して、最小の正規化距離を持つ前記他方の画像における直線を対応する直線として、これら直線の組を対応直線の組とする
ことを特徴とするステレオキャリブレーション装置。 - 前記変換行列算出手段は、
前記得られた対応直線の組に基づく直線の式と、直線に関する射影変換式に基づいて前記射影行列を算出する
ことを特徴とする請求項１のステレオキャリブレーション装置。 - 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるためにステレオキャリブレーション装置が行うステレオキャリブレーション方法において、
前記一対の撮像装置からの画像をそれぞれ入力する画像入力ステップと、
前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出ステップと、
前記各画像からそれぞれ検出された直線の近傍領域の画像特徴を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出ステップと、
前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出ステップと、
を有し、
前記直線対応検出ステップは、
前記一対の画像の各画像からそれぞれ検出された各直線毎の近傍領域の画像特徴に関するデータ列を求め、
前記一対の画像中の一方の画像から検出された各直線のデータ列の各データと、前記一対の画像中の他方の画像から検出された各直線のデータ列の各データとのそれぞれのデータ差を求め、これらデータ差の重み付け和を重み和で正規化した値を正規化距離としてそれぞれ求め、
前記一方の画像におけるある直線に対して、最小の正規化距離を持つ前記他方の画像における直線を対応する直線として、これら直線の組を対応直線の組とする
ことを特徴とするステレオキャリブレーション方法。 - 予め設定された共通領域を撮影する一対の撮像装置間の画像変換パラメータである射影行列を求めるステレオキャリブレーション方法をコンピュータによって実現するプログラムにおいて、
前記一対の撮像装置からの画像をそれぞれ入力する画像入力機能と、
前記一対の撮像装置から入力した一対の画像の中の各画像毎に、前記共通領域中にある少なくとも４本の直線をそれぞれ検出する直線検出機能と、
前記各画像からそれぞれ検出された直線の近傍領域の画像特徴を利用して、前記一対の画像間における対応直線の組を少なくとも４組求める直線対応検出機能と、
前記得られた対応直線の組に基づいて、前記一対の撮像装置間の前記射影行列を算出する変換行列算出機能と、
を実現し、
前記直線対応検出機能は、
前記一対の画像の各画像からそれぞれ検出された各直線毎の近傍領域の画像特徴に関するデータ列を求め、
前記一対の画像中の一方の画像から検出された各直線のデータ列の各データと、前記一対の画像中の他方の画像から検出された各直線のデータ列の各データとのそれぞれのデータ差を求め、これらデータ差の重み付け和を重み和で正規化した値を正規化距離としてそれぞれ求め、
前記一方の画像におけるある直線に対して、最小の正規化距離を持つ前記他方の画像における直線を対応する直線として、これら直線の組を対応直線の組とする
ことを特徴とするステレオキャリブレーション方法のプログラム。 - 請求項１または２に記載されたステレオキャリブレーション装置によって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する
ことを特徴とするステレオ画像監視装置。 - ステレオ画像監視装置が行うステレオ画像監視方法であって、
請求項３に記載されたステレオキャリブレーション方法によって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する
ことを特徴とするステレオ画像監視方法。 - コンピュータによって実現されるステレオ画像監視方法のプログラムであって、
請求項４に記載されたステレオキャリブレーション方法のプログラムによって算出された射影行列を用いて、前記一対の撮像装置で前方を監視してステレオ視の原理で障害物等の対象物の三次元位置や構造を解析する
ことを特徴とするステレオ画像監視方法のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003165757A JP3977776B2 (ja) | 2003-03-13 | 2003-06-10 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
| US10/798,383 US7313265B2 (en) | 2003-03-13 | 2004-03-12 | Stereo calibration apparatus and stereo image monitoring apparatus using the same |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003068835 | 2003-03-13 | ||
| JP2003165757A JP3977776B2 (ja) | 2003-03-13 | 2003-06-10 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007125310A Division JP2007200364A (ja) | 2003-03-13 | 2007-05-10 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004334819A JP2004334819A (ja) | 2004-11-25 |
| JP3977776B2 true JP3977776B2 (ja) | 2007-09-19 |
Family
ID=33455409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003165757A Expired - Fee Related JP3977776B2 (ja) | 2003-03-13 | 2003-06-10 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7313265B2 (ja) |
| JP (1) | JP3977776B2 (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4629431B2 (ja) * | 2004-12-28 | 2011-02-09 | 富士通セミコンダクター株式会社 | 画像処理装置、及び、画像処理方法 |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4086060B2 (ja) * | 2005-08-17 | 2008-05-14 | トヨタ自動車株式会社 | 点列の近似方法および点列の近似装置 |
| JP4822766B2 (ja) * | 2005-08-18 | 2011-11-24 | 富士通株式会社 | 路面標示認識装置及びシステム |
| EP2110797B1 (en) * | 2006-12-05 | 2015-10-07 | Fujitsu Limited | Traffic situation display method, traffic situation display system, vehicle-mounted device, and computer program |
| JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| JP2008187566A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
| GB0707732D0 (en) * | 2007-04-21 | 2007-05-30 | Agd Systems Ltd | Traffic detector system |
| JP4991395B2 (ja) * | 2007-05-28 | 2012-08-01 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
| JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
| JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| KR100942925B1 (ko) * | 2008-08-11 | 2010-02-22 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 제어방법 |
| DE102008049921A1 (de) * | 2008-09-29 | 2010-04-15 | Mobotix Ag | Verfahren zur Videodatenstrom-Erzeugung |
| JP5404263B2 (ja) | 2009-09-07 | 2014-01-29 | パナソニック株式会社 | 視差算出方法、および視差算出装置 |
| JP5713624B2 (ja) * | 2009-11-12 | 2015-05-07 | キヤノン株式会社 | 三次元計測方法 |
| JP5538868B2 (ja) * | 2009-12-22 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、その画像処理方法及びプログラム |
| JP5035371B2 (ja) * | 2010-03-15 | 2012-09-26 | アイシン精機株式会社 | 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム |
| EP2375376B1 (en) * | 2010-03-26 | 2013-09-11 | Alcatel Lucent | Method and arrangement for multi-camera calibration |
| JP5501084B2 (ja) * | 2010-04-28 | 2014-05-21 | 株式会社日立製作所 | 平面領域検出装置及びステレオカメラシステム |
| JP5494267B2 (ja) * | 2010-06-15 | 2014-05-14 | セイコーエプソン株式会社 | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法、およびロボット装置 |
| JP5087112B2 (ja) * | 2010-07-22 | 2012-11-28 | アイテック阪急阪神株式会社 | 自立監視型カメラ装置 |
| JP5588812B2 (ja) * | 2010-09-30 | 2014-09-10 | 日立オートモティブシステムズ株式会社 | 画像処理装置及びそれを用いた撮像装置 |
| JP5026604B2 (ja) | 2011-02-24 | 2012-09-12 | 任天堂株式会社 | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
| JP4967065B2 (ja) | 2011-02-24 | 2012-07-04 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| JP5178860B2 (ja) | 2011-02-24 | 2013-04-10 | 任天堂株式会社 | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
| JP5016723B2 (ja) | 2011-02-24 | 2012-09-05 | 任天堂株式会社 | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
| JP2011134343A (ja) * | 2011-02-24 | 2011-07-07 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| US20120236133A1 (en) * | 2011-03-18 | 2012-09-20 | Andrew Charles Gallagher | Producing enhanced images from anaglyph images |
| JP2012248004A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Corp | 画像処理装置、画像認識装置及び方法 |
| JP5488548B2 (ja) * | 2011-08-04 | 2014-05-14 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| EP2662828B1 (en) * | 2012-05-11 | 2020-05-06 | Veoneer Sweden AB | A vision system and method for a motor vehicle |
| KR101439013B1 (ko) * | 2013-03-19 | 2014-09-05 | 현대자동차주식회사 | 스테레오 영상 처리 장치 및 방법 |
| US9628778B2 (en) * | 2013-10-14 | 2017-04-18 | Eys3D Microelectronics, Co. | Calibration system of a stereo camera and calibration method of a stereo camera |
| JP5906272B2 (ja) * | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
| KR102170182B1 (ko) | 2014-04-17 | 2020-10-26 | 한국전자통신연구원 | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 |
| US9286680B1 (en) * | 2014-12-23 | 2016-03-15 | Futurewei Technologies, Inc. | Computational multi-camera adjustment for smooth view switching and zooming |
| CN105023010B (zh) * | 2015-08-17 | 2018-11-06 | 中国科学院半导体研究所 | 一种人脸活体检测方法及*** |
| WO2019058487A1 (ja) * | 2017-09-21 | 2019-03-28 | オリンパス株式会社 | ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
| CN107977996B (zh) * | 2017-10-20 | 2019-12-10 | 西安电子科技大学 | 基于靶标标定定位模型的空间目标定位方法 |
| CN107945112B (zh) * | 2017-11-17 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| JP7057762B2 (ja) * | 2019-02-06 | 2022-04-20 | Kddi株式会社 | 高さ推定装置及びプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| JP2989744B2 (ja) * | 1994-06-13 | 1999-12-13 | 株式会社東芝 | 測定面抽出装置及びその方法 |
| US6526157B2 (en) * | 1997-08-01 | 2003-02-25 | Sony Corporation | Image processing apparatus, image processing method and transmission medium |
| JPH11328365A (ja) | 1998-05-14 | 1999-11-30 | Toshiba Corp | 画像監視装置及びその方法 |
| JP2000293693A (ja) | 1999-03-31 | 2000-10-20 | Toshiba Corp | 障害物検出方法および装置 |
| JP4118452B2 (ja) * | 1999-06-16 | 2008-07-16 | 本田技研工業株式会社 | 物体認識装置 |
| JP3352655B2 (ja) * | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
| JP3995846B2 (ja) * | 1999-09-24 | 2007-10-24 | 本田技研工業株式会社 | 物体認識装置 |
| JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
| JP2002170111A (ja) | 2000-12-01 | 2002-06-14 | Sanyo Electric Co Ltd | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
| JP3736346B2 (ja) * | 2000-12-26 | 2006-01-18 | 日産自動車株式会社 | 車線検出装置 |
| GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
| JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
-
2003
- 2003-06-10 JP JP2003165757A patent/JP3977776B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-12 US US10/798,383 patent/US7313265B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7313265B2 (en) | 2007-12-25 |
| US20040234124A1 (en) | 2004-11-25 |
| JP2004334819A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3977776B2 (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
| JP3951984B2 (ja) | 画像投影方法、及び画像投影装置 | |
| US10210286B1 (en) | Systems and methods for detecting curbs in three-dimensional point clouds descriptive of streets | |
| JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
| CN110400352B (zh) | 利用特征识别的摄像机校准 | |
| US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
| WO2022170844A1 (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
| CN110111388B (zh) | 三维物***姿参数估计方法及视觉设备 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| Wang et al. | Recognition and location of the internal corners of planar checkerboard calibration pattern image | |
| JP2007293722A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP2019125057A (ja) | 画像処理装置及びその方法、プログラム | |
| JP2017103602A (ja) | 位置検出装置、位置検出方法及びプログラム | |
| US11880993B2 (en) | Image processing device, driving assistance system, image processing method, and program | |
| CN112883955A (zh) | 货架布局检测方法、装置及计算机可读存储介质 | |
| CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| JP2007200364A (ja) | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 | |
| JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN112131917A (zh) | 测量方法、装置、***和计算机可读存储介质 | |
| JP2014102805A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070612 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |