JP4172554B2 - ステレオカメラの調整装置 - Google Patents
ステレオカメラの調整装置 Download PDFInfo
- Publication number
- JP4172554B2 JP4172554B2 JP06157798A JP6157798A JP4172554B2 JP 4172554 B2 JP4172554 B2 JP 4172554B2 JP 06157798 A JP06157798 A JP 06157798A JP 6157798 A JP6157798 A JP 6157798A JP 4172554 B2 JP4172554 B2 JP 4172554B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- stereo
- stereo camera
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、ステレオカメラの光軸のズレを調整するステレオカメラの調整装置に関する。
【0002】
【従来の技術】
一般に、画像による三次元計測技術として、2台のカメラ(ステレオカメラ)で対象物を異なる位置から撮像した1対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【0003】
このステレオ法による画像処理では、ステレオカメラから得られた2つの画像信号を順次シフトしながら重ね合わせて2つの画像信号が一致した位置を求めるようにしているため、2つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。
【0004】
このため、特開平5−157557号公報には、一対のビデオカメラを連結保持する保持部材に、一方のビデオカメラのイメージセンサの画素の並びが他方のビデオカメラのイメージセンサの画素の並びと平行になるように調整する平行調整手段、一方のビデオカメラの光軸と他方のビデオカメラの光軸とが平行となるように調整する光軸調整部材を設け、2台のカメラの相関関係を機械的に調整・保持する技術が開示されている。
【0005】
しかしながら、一旦、固定したステレオカメラに経年変化によってズレが生じた場合、従来では、機械構造的に再調整しなければならず、煩雑な作業を要するばかりでなく、再調整のための時間も長くなり、機械的な調整では精度確保に限界がある。
【0006】
これに対処するため、本出願人は、先に、特願平9−117268号において、ステレオカメラの光学的位置を機械的な調整を行うことなく電気的に調整する技術を提案しており、ステレオカメラの光学的位置を機械的には調整困難なレベルまで精密に調整可能で、調整後の経年変化によるズレに対しても容易に再調整可能としている。
【0007】
【発明が解決しようとする課題】
しかしながら、先に本出願人が提案した技術では、特別な調整用パターンをステレオカメラで撮像して光学位置の補正を行うため、定期的にステレオカメラによる画像処理のフィールドでの実稼働を中止して調整を行う等、保守管理の面で気を付ける必要があった。
【0008】
本発明は上記事情に鑑みてなされたもので、ステレオカメラの経時的な光軸のズレを、測距精度に及ぼす影響が無視できる早期の段階から稼働状態のまま自動的に調整することのできるステレオカメラの調整装置を提供することを目的としている。
【0009】
【課題を解決するための手段】
請求項1記載の発明は、第1のカメラと第2のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸の経時的なズレを補正するステレオカメラの調整装置であって、上記第1のカメラの画像を幾何学的に回転補正するとともに、上記第2のカメラの画像を水平・垂直方向の並進補正及び回転補正によって幾何学的に画像変換する手段と、上記ステレオカメラで撮像した一対の風景画像をステレオ処理して得られる距離データに基づいて、上記第1のカメラの風景画像と上記第2のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある2つの領域と近方の1つの領域とから算出し、各画像の相対的な位置補正と上記第1のカメラの水平ラインを上記ステレオカメラの基線に平行にする補正とを同時に行って上記対応位置の誤差をなくすよう上記画像変換の変換値を設定する手段とを備えたことを特徴とする。
【0011】
請求項2記載の発明は、請求項1記載の発明において、上記第1のカメラの画像の遠方の各領域位置に、上記距離データを加算して対応する領域が存在する範囲を上記第2のカメラの画像内に定め、定めた範囲内を探索して上記第2のカメラの画像の遠方の各領域位置を求めることを特徴とする。
【0012】
請求項3記載の発明は、請求項1記載の発明において、上記第2のカメラの画像に対する水平方向の並進補正量を、上記第1のカメラの画像と上記第2のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することを特徴とする。
【0013】
すなわち、本発明では、ステレオカメラで撮像した一対の風景画像を処理して得られる距離データに基づいて、第1のカメラの風景画像と第2のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある2つの領域と近方の1つの領域とから算出し、各画像の相対的な位置補正と第1のカメラの水平ラインをステレオカメラの基線に平行にする補正とを同時に行って対応位置の誤差をなくすよう画像変換の変換値を設定することで、ステレオカメラの光軸の経時的なズレを自動的に補正する。
【0015】
第2のカメラの画像の遠方の各領域位置は、請求項2に記載したように、第1のカメラの画像の遠方の各領域位置に距離データを加算して対応する領域が存在する範囲を第2のカメラの画像内に定め、定めた範囲内を探索することで求めることができ、第2のカメラの画像に対する水平方向の並進補正量は、請求項3に記載したように、第1のカメラの画像と第2のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することができる。
【0016】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1〜図9は本発明の実施の一形態に係わり、図1は画像入力装置のブロック図、図2はアフィン変換回路のブロック図、図3はステレオカメラの取り付けを示す説明図、図4は画像取り込みと逆アフィン変換のタイミングを示す説明図、図5は画像補正処理ルーチンのフローチャート、図6は基準画像と比較画像における対応領域を示す説明図、図7は比較画像のアフィン変換における回転角を示す説明図、図8はメインカメラの水平ラインの基線からのズレを示す説明図、図9はカメラ系を横から見た説明図である。
【0017】
図3において、符号1は、互いに同期が取れ、例えば電荷結合素子(CCD)等のイメージセンサを内蔵したシャッタースピード可変の2台のカメラからなるステレオカメラであり、一方のカメラ2をステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ3をステレオ処理の際の比較画像を撮像するサブカメラとして、両カメラ2,3がステイ4に所定間隔を開けて配設されている。尚、図3(a)は上面図、図3(b)は正面図である。
【0018】
両カメラ2,3で撮像した2枚の画像は、画像入力装置10を介してステレオ処理装置40へ入力され、ステレオマッチングにより2つの画像の一致度が評価されて物体の三次元位置の算出や画像認識等が行われる。この場合、2台のカメラ2,3は、初期製造段階で互いの光軸が平行となるように調整されてステイ4に固定されているが、通常の使用時、ドリフト的なゆっくりとした光軸のズレが生じ、長期的には測距精度が僅かづつ低下して最終的に誤差が無視できないレベルに達する虞がある。
【0019】
このため、両カメラ2,3とステレオ処理装置40との間に接続される画像入力装置10には、各カメラ2,3の光学位置を画像補正によって調整する機能が備えられており、各カメラ2,3の光軸のズレが軽微な段階すなわちステレオ処理装置40におけるステレオマッチングの際のミスマッチングが少ない早期の段階から各カメラ2,3で撮像した画像におけるズレを自動的に補正し、等価的に各カメラ2,3の光軸を精密調整するようになっている。
【0020】
図1に示すように、画像入力装置10は、撮像画像の入力処理を行う画像入力部10aと、画像の回転や平行移動等の幾何学的変換を行う画像調整部10bと、画像の変換値を演算する補正演算部10cとから構成されている。
【0021】
画像入力部10aには、各カメラ2,3からのアナログ画像を後段の入力レンジに合わせるためのアナログインターフェース11,12、アナログ画像を所定の輝度階調(例えば256階調のグレースケール)のデジタル画像に変換するA/Dコンバータ13,14等が備えられている。
【0022】
また、画像調整部10bには、デジタル化された画像を一時的に記憶する入力画像メモリ15,16、これらの入力画像メモリ15,16に記憶されたデジタル画像に対し、画像の回転や平行移動等の幾何学的変換を行い、ステレオ処理装置40に出力するアフィン変換回路17,18等が備えられている。
【0023】
上記アフィン変換回路17,18は、両カメラ2,3の画像間の対応点が光軸のズレによって本来の位置から幾何学的に移動したときの補正を行うものであり、一方のアフィン変換回路17で代表すると、図2に示すような内部構成となっている。
【0024】
この内部構成では、アフィン変換回路17には、入力画像メモリ15へのデータの書き込み及びデータの読み出しを行う画像メモリデータインターフェース20、入力画像メモリ15のアドレス指定を行う画像メモリアドレスインターフェース21、A/Dコンバータ13からの画像データを入力画像メモリ15に書き込む際のアドレスを生成する入力画像書き込みアドレス生成回路22、入力画像メモリ15から画像データを読み出して画像の幾何学的変換を行う際のアドレスを逆アフィン変換によって生成する逆アフィン変換読み出しアドレス生成回路23、逆アフィン変換によって読み出されたデータに対して線形補間を行い、変換画像データを出力する補間演算回路24等が備えられている。
【0025】
すなわち、アフィン変換回路17,18による画像の幾何学的変換では、変換前の原画像及び変換後の画像は、共に正方格子上に画素を配置したデジタル画像であり、変換後の画像上の画素の濃度値は、原画像を逆アフィン変換して求めた対応画素位置の濃度値で与えられる。この逆アフィン変換による原画像の対応画素位置は、一般に整数画素位置とはならず、原画像に対応画素が存在しないため、上記補間演算回路24では、周囲4画素の濃度値を用いて線形補間を行い、変換後の画像上で画素の濃度値を隙間なく求める。
【0026】
図4に示すように、アフィン変換回路17,18では、フィールド信号のサンプル期間で各カメラ2,3からの画像信号、例えば、各カメラ2,3から水平同期信号及び垂直同期信号に同期して出力されるNTSC映像信号等の画像信号がサンプルされると、このサンプル画像を次のフィールド区間で画像変換する。
【0027】
すなわち、アナログインターフェース11,12によってA/Dコンバータ13,14の入力レンジに合わせて各カメラ2,3からの画像信号のゲイン・オフセット等が調整され、A/Dコンバータ13,14によってA/D変換されたデジタル画像データが、アフィン変換回路17,18の入力画像書き込みアドレス生成回路22,22で生成したアドレスに従って入力画像メモリ15,16に格納され、次のフィールド区間で、入力画像メモリ15,16からアフィン変換回路17,18の逆アフィン変換読み出しアドレス生成回路23,23で生成したアドレスの濃度データが読み出される。そして、この濃度データに対し、アフィン変換回路17,18の補間演算回路24,24で補間演算を行って変換画像をステレオ処理装置40に出力する。
【0028】
上記カメラ2,3の光軸のズレに対する補正値、すなわちアフィン変換回路17,18における画像変換値は、既知の距離(視差が逆算できる距離)に配置した特別な調整用パターンを撮像し、この撮像画像から計測した一致点の座標データから求めることも可能であるが、本発明では、特別な調整用パターンを用いることなく、一般的な風景を撮像してステレオ画像処理を行う通常の動作をさせながら補正演算部10cで補正値を演算し、アフィン変換回路17,18に画像変換値として与えることで自動調整を行う。
【0029】
補正演算部10cは、CPU31、画像メモリ32,33等を備えたコンピュータであり、画像メモリ32,33を介して上記画像入力装置10のA/Dコンバータ13,14に接続されるとともに、ステレオ処理装置40に接続される。尚、補正演算部10cは、ステレオ処理装置40の一部として構成しても良く、ステレオ画像処理のバックグランドジョブとして補正値演算処理を行うことができる。
【0030】
以下、画像調整部10b及び補正演算部10cによる画像補正について図5のフローチャートに従って説明する。
【0031】
図5は補正演算部10cのCPU31で所定周期毎に実行される画像補正処理ルーチンであり、このルーチンでは、まず、ステップS100で、両カメラ2,3で撮像した風景画像を処理して距離画像から立体物データを抽出する際のグループフィルタの結果をステレオ処理装置40から読み込み、メインカメラ2の画像すなわち基準画像に、補正値演算のための小領域を数カ所設定する。
【0032】
この領域は、例えば、16×16画素の領域で対応する距離画像データが半分以上存在し、50〜60m程度の遠方に2カ所、5m程度までの近方に1カ所、計3カ所を選定し、遠方の2カ所の領域は、距離データが略等しい場所で間隔をできるだけあけて設定する。尚、上記グループフィルタは、周囲と似た画素ズレ量を持つグループを検出して距離画像に含まれるノイズを効率的に除去するためのソフトウエアフィルタであり、本出願人による特願平9−86877号に詳述されている。
【0033】
次に、ステップS110へ進み、サブカメラ3の画像すなわち比較画像において、ステップS100で設定された基準画像の各領域位置に距離データ(ズレ量)を加算して対応する領域を探索する範囲を定めると、ステップS120で、この範囲内を探索し、サブピクセル処理によって1画素以下の分解能(例えば、1/10画素の分解能)で領域の位置を求める。
【0034】
その結果、図6に示すように、画像の左上を原点とし、水平方向をX、垂直方向をY座標とする座標系で、基準画像の遠方の2カ所の領域#1R,#2Rの位置座標(Xr1,Yr1),(Xr2,Yr2)と近方の1カ所の領域#3Rの位置座標(Xr3,Yr3)とに対し、比較画像の遠方の2カ所の領域#1C,#2Cの位置座標(Xc1,Yc1),(Xc2,Yc2)と近方の1カ所の領域#3Cの位置座標(Xc3,Yc3)とが求まる。
【0035】
続くステップS130では、遠方の2カ所の領域のうち、基準画像側の一方の領域、例えば、図6の遠方左側の領域#1Rの位置座標(Xr1,Yr1)と比較画像側の対応する遠方左側の領域#1Cの位置座標(Xc1,Yc1)とのY成分の差(Yr1−Yc1)を求め、このY成分の差(Yr1−Yc1)をY方向並進補正量すなわちY方向の画像平行移動変換値として比較画像側のアフィン変換回路18の既値に加え、サブカメラ3の画像(比較画像)をY方向に平行移動させる。
【0036】
次に、ステップS140へ進み、比較画像のX方向並進補正量を求め、このX方向並進補正量を比較画像側のアフィン変換回路18の既値に加えてサブカメラ3の画像をX方向に平行移動させる。このX方向並進補正量は、無限遠方での基準画像と比較画像とのズレ量Z0で与えることができ、遠方領域までの距離d1、近方領域までの距離d3、遠方の基準画像と比較画像とのズレ量Z1、近方の基準画像と比較画像とのズレ量Z3を用い、無限遠方でのズレ量Z0が以下の(1)式で表されることから、−Z0を比較画像の横方向(X方向)への並進量とする。
【0037】
Z0=(d3・Z3−d1・Z1)/(d1−d3) …(1)
本来、基準画像及び比較画像における一致点は、視差が検出される水平方向のX座標のみが異なり、Y座標は同じでなければならない。従って、上記ステップS130では、遠方の2カ所の領域のうち、一方の領域に対して基準画像と比較画像とでY座標位置を一致させ、上記ステップS140では、比較画像のX座標位置を本来の視差が検出されるべき位置に合わせるのである。
【0038】
次のステップS150では、比較画像を回転させて他方の領域のY座標位置を基準画像と比較画像とで一致させる。すなわち、図7に示すように、基準画像の遠方左側の領域#1Rの位置座標(Xr1,Yr1)を回転中心として、比較画像の遠方右側の領域#2CのY座標値Yc2と基準画像の遠方右側の領域#2RのY座標値Yr2とが一致するように比較画像を回転させる。ここで、座標(Xr1,Yr1)を中心として回転角θで座標(Xc2,Yc2)を回転したとき、回転後の座標(Xc2',Yc2')は、以下の(2)式で表される。
【0039】
上記(2)式は、回転後の比較画像の領域#2CのY座標値Yc2'と基準画像の領域#2RのY座標値Yr2とが一致することを前提とし、Yc2'=Yr2としてY成分のみについて整理すると、以下の(3)式で示すようになる。
【0040】
Yr2−Yr1=(Xc2−Xr1)・sinθ+(Yc2−Yr1)・cosθ …(3)
さらに、上記(3)式において、Yr2−Yr1=A、Xc2−Xr1=B、Yc2−Yr1=Cと置き換え、cosθ=±(1−sin2θ)1/2を代入してsinθについて解くと、以下の(4)式が得られる。
【0041】
sinθ=(A・B±C・(B2+C2−A2)1/2)/(B2+C2) …(4)
上記(4)式の値は、Yr2=Yc2でA=Cのとき、すなわち、基準画像の遠方右側の領域#2RのY座標と比較画像の遠方右側の領域#2CのY座標値とが既に一致しているときには、回転の必要がないことから0となり、以下の(5)式から上記(4)式の分子の第2項の符号は負でなければならないことが分かる。
【0042】
sinθ=B・(A±C)/(B2+C2)=0 …(5)
従って、結局、回転角θは、以下の(6)式で求めることができ、この回転角θが座標(Xr1,Yr1)を中心とする画像回転変換値として比較画像側のアフィン変換回路18の既値に加えられ、サブカメラ3の画像(比較画像)が回転される。
【0043】
θ=sin-1(A・B−C・(B2+C2−A2)1/2)/(B2+C2) …(6)
この比較画像の回転によって、比較画像の近方の領域#3Cも回転するが、図8に示すように、両カメラ2,3の基線とメインカメラ1の水平ラインとの平行がとれておらず、メインカメラ2の水平ラインが基線に対して角度φだけ傾いている場合には、基準画像の近方領域#3RのY座標値Yr3と、回転後の比較画像の近方領域#3CのY座標置Yc3との間には、図9に示すような差ΔYm−ΔYsが生じる。
【0044】
従って、次のステップS160では、差ΔYm−ΔYsを無くすため、基準画像側を座標(Xr1,Yr1)を中心として回転角φの回転が既値に加えられる。この回転角φは、図8から明らかなように、両カメラ2,3の基線長B、及び、焦点面における基準画像中心と比較画像中心とのズレΔYから求めることができ、このズレΔYは、図9に示すようにカメラ系を横から見たときの幾何学的関係から、焦点距離f、遠方領域までの距離d1、近方領域までの距離d3、差ΔYm−ΔYsを用いて求めることができる。
【0045】
すなわち、CCD面(撮像面)に結像する近方領域の基準画像における画像中心からのズレΔYmと比較画像における画像中心からのズレΔYsの差ΔYm−ΔYsを用いて以下の(7)式によってズレΔYを求めることができ、このズレΔYと基線長Bとから、回転角φは、最終的に以下の(8)式によって求めることができる。
【0046】
ΔY=(ΔYm−ΔYs)・d1・d3/(f・(d1−d3)) …(7)
φ=tan-1(ΔY/B)
=tan-1((ΔYm−ΔYs)・d1・d3)/(B・f(d1−d3)) …(8)
以上によって比較画像及び基準画像を回転すると、上記ステップS160からステップS170へ進み、回転角θ,φが精度上充分に小さくなり、許容値内に収まっているか否かを調べる。そして、許容値に達していないときには、前のステップS120へ戻って再度サブピクセル処理によって比較画像の対応領域位置を決定して同様の処理を繰り返し、回転角θ,φが許容値以下に充分小さくなったとき、ルーチンを終了する。
【0047】
これにより、通常の使用時に徐々に生じるカメラ2,3の光軸のズレがフィールドでの稼働状態のまま自動的に補正される。
【0048】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラの経時的な光軸のズレを、測距精度に及ぼす影響が無視できる早期の段階から稼働状態のまま自動的に調整するため、常に精密調整された状態で使用することができ、且つ、特別な調整用パターンを撮像して調整する場合のようにフィールドでの稼働を停止する必要が無く、メンテナンスフリー化を図ることができる等優れた効果が得られる。
【図面の簡単な説明】
【図1】画像補正装置のブロック図、
【図2】
アフィン変換回路のブロック図
【図3】ステレオカメラの取り付けを示す説明図
【図4】画像取り込みと逆アフィン変換のタイミングを示す説明図
【図5】画像補正処理ルーチンのフローチャート
【図6】基準画像と比較画像における対応領域を示す説明図
【図7】比較画像のアフィン変換における回転角を示す説明図
【図8】メインカメラの水平ラインの基線からのズレを示す説明図
【図9】カメラ系を横から見た説明図
【符号の説明】
1 …ステレオカメラ
10 …画像入力装置
10a …画像入力部
10b …画像調整部
10c …補正演算部
17,18…アフィン変換回路
40 …ステレオ処理装置
Claims (3)
- 第1のカメラと第2のカメラとを設定間隔を開けて配設してなるステレオカメラの光軸の経時的なズレを補正するステレオカメラの調整装置であって、
上記第1のカメラの画像を幾何学的に回転補正するとともに、上記第2のカメラの画像を水平・垂直方向の並進補正及び回転補正によって幾何学的に画像変換する手段と、
上記ステレオカメラで撮像した一対の風景画像をステレオ処理して得られる距離データに基づいて、上記第1のカメラの風景画像と上記第2のカメラの風景画像とにおける対応位置の誤差を遠方の略等距離にある2つの領域と近方の1つの領域とから算出し、各画像の相対的な位置補正と上記第1のカメラの水平ラインを上記ステレオカメラの基線に平行にする補正とを同時に行って上記対応位置の誤差をなくすよう上記画像変換の変換値を設定する手段とを
備えたことを特徴とするステレオカメラの調整装置。 - 上記第1のカメラの画像の遠方の各領域位置に、上記距離データを加算して対応する領域が存在する範囲を上記第2のカメラの画像内に定め、定めた範囲内を探索して上記第2のカメラの画像の遠方の各領域位置を求めることを特徴とする請求項1記載のステレオカメラの調整装置。
- 上記第2のカメラの画像に対する水平方向の並進補正量を、上記第1のカメラの画像と上記第2のカメラの画像とにおける各領域の位置ズレ量、及び、各領域の距離に基づいて算出することを特徴とする請求項1記載のステレオカメラの調整装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06157798A JP4172554B2 (ja) | 1998-03-12 | 1998-03-12 | ステレオカメラの調整装置 |
US09/265,379 US6385334B1 (en) | 1998-03-12 | 1999-03-10 | System and method for adjusting stereo camera |
EP99104888A EP0942610B1 (en) | 1998-03-12 | 1999-03-11 | System and method for adjusting the convergence of a stereo camera |
DE69918347T DE69918347T2 (de) | 1998-03-12 | 1999-03-11 | Vorrichtung und Verfahren zur Einstellung der Konvergenz einer stereoskopsichen Kamera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06157798A JP4172554B2 (ja) | 1998-03-12 | 1998-03-12 | ステレオカメラの調整装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11259632A JPH11259632A (ja) | 1999-09-24 |
JP4172554B2 true JP4172554B2 (ja) | 2008-10-29 |
Family
ID=13175130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06157798A Expired - Lifetime JP4172554B2 (ja) | 1998-03-12 | 1998-03-12 | ステレオカメラの調整装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6385334B1 (ja) |
EP (1) | EP0942610B1 (ja) |
JP (1) | JP4172554B2 (ja) |
DE (1) | DE69918347T2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10007998B2 (en) | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
KR101973655B1 (ko) * | 2018-03-05 | 2019-08-26 | 주식회사 디아이블 | 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치 |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000276469A (ja) * | 1999-03-23 | 2000-10-06 | Canon Inc | 情報検索装置及びその方法、記憶媒体 |
JP4428761B2 (ja) * | 1999-07-07 | 2010-03-10 | Hoya株式会社 | ステレオカメラ |
JP3280001B2 (ja) * | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
JP3565749B2 (ja) * | 1999-09-22 | 2004-09-15 | 富士重工業株式会社 | 車載カメラの撮像方向の検査方法およびその検査装置 |
JP3349121B2 (ja) * | 1999-09-22 | 2002-11-20 | 富士重工業株式会社 | ステレオカメラの取付構造 |
JP4573977B2 (ja) * | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
DE10151417A1 (de) * | 2001-10-18 | 2003-05-08 | Siemens Ag | System und Verfahren zum Verarbeiten von Bilddaten |
DE10156535C1 (de) | 2001-11-14 | 2003-06-26 | Siemens Ag | Leistungsschalter |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP3797949B2 (ja) * | 2002-03-28 | 2006-07-19 | 株式会社東芝 | 画像処理装置及びその方法 |
US20040070667A1 (en) * | 2002-10-10 | 2004-04-15 | Fuji Photo Optical Co., Ltd. | Electronic stereoscopic imaging system |
JP4488804B2 (ja) * | 2004-06-23 | 2010-06-23 | 株式会社トプコン | ステレオ画像の関連付け方法及び3次元データ作成装置 |
JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP4032052B2 (ja) | 2004-11-30 | 2008-01-16 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP4224449B2 (ja) | 2004-11-30 | 2009-02-12 | 本田技研工業株式会社 | 画像抽出装置 |
JP4461091B2 (ja) | 2004-11-30 | 2010-05-12 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP4828274B2 (ja) * | 2006-03-27 | 2011-11-30 | 株式会社エヌ・ティ・ティ・データ | 構造物異常判別システム及び構造物異常判別方法ならびにプログラム |
US20070248260A1 (en) * | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
JP2008040115A (ja) * | 2006-08-04 | 2008-02-21 | Fuji Heavy Ind Ltd | ステレオカメラ |
US8736672B2 (en) * | 2006-08-24 | 2014-05-27 | Reald Inc. | Algorithmic interaxial reduction |
JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP4867837B2 (ja) * | 2007-07-30 | 2012-02-01 | 株式会社島津製作所 | モーショントラッカ装置 |
JP5031494B2 (ja) * | 2007-09-07 | 2012-09-19 | 株式会社 ニコンビジョン | 望遠鏡システム |
JP4937933B2 (ja) * | 2008-01-18 | 2012-05-23 | 富士重工業株式会社 | 車外監視装置 |
WO2011014419A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US20110025830A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
GB2473247B (en) | 2009-09-04 | 2015-02-11 | Sony Corp | A method and apparatus for image alignment |
GB2477333B (en) * | 2010-01-29 | 2014-12-03 | Sony Corp | A method and apparatus for creating a stereoscopic image |
GB2478164A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Calculating misalignment between a stereoscopic image pair based on feature positions |
JP5444065B2 (ja) * | 2010-03-19 | 2014-03-19 | 富士フイルム株式会社 | 複眼撮像装置およびその制御方法 |
JP2011250177A (ja) * | 2010-05-27 | 2011-12-08 | Toshiba Corp | カメラモジュール及び画像記録方法 |
KR101129326B1 (ko) * | 2010-06-16 | 2012-03-27 | 허성용 | 영상 촬영용 광축 정렬 장치 및 광축 정렬 방법 |
JP5690539B2 (ja) | 2010-09-28 | 2015-03-25 | 株式会社トプコン | 自動離着陸システム |
WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
JP5682265B2 (ja) * | 2010-12-01 | 2015-03-11 | 株式会社リコー | 測距装置および撮像装置 |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP5618840B2 (ja) | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
FR2972061B1 (fr) * | 2011-02-24 | 2013-11-15 | Mobiclip | Procede de calibrage d'un dispositif de prise de vue stereoscopique |
JP5672112B2 (ja) * | 2011-03-30 | 2015-02-18 | 富士通株式会社 | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム |
US8797387B2 (en) * | 2011-04-27 | 2014-08-05 | Aptina Imaging Corporation | Self calibrating stereo camera |
JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
JP5718149B2 (ja) * | 2011-05-19 | 2015-05-13 | シャープ株式会社 | 画像補正方法、および立体画像撮影装置 |
JP5787695B2 (ja) | 2011-09-28 | 2015-09-30 | 株式会社トプコン | 画像取得装置 |
JP2012022716A (ja) * | 2011-10-21 | 2012-02-02 | Fujifilm Corp | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 |
JP6082556B2 (ja) | 2012-09-28 | 2017-02-15 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
EP2757524B1 (en) * | 2013-01-16 | 2018-12-19 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
WO2015143037A1 (en) * | 2014-03-21 | 2015-09-24 | Omron Corporation | Method and apparatus for detecting and mitigating optical impairments in an optical system |
US10539412B2 (en) | 2014-07-31 | 2020-01-21 | Hewlett-Packard Development Company, L.P. | Measuring and correcting optical misalignment |
JP6521796B2 (ja) * | 2015-08-26 | 2019-05-29 | 株式会社Subaru | ステレオ画像処理装置 |
CN107292810B (zh) * | 2016-03-30 | 2020-01-24 | 上海弼智仿生高科技有限公司 | 一种视觉***的图像处理方法及*** |
JP6785092B2 (ja) * | 2016-08-19 | 2020-11-18 | 株式会社Screenホールディングス | 変位検出装置、変位検出方法および基板処理装置 |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
US20180091797A1 (en) * | 2016-09-27 | 2018-03-29 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
JP7109386B2 (ja) * | 2019-01-22 | 2022-07-29 | 日立Astemo株式会社 | 画像処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6028954A (en) * | 1988-11-18 | 2000-02-22 | Industrial Science & Technology, Kozo Iizuka, Director-General Of Agency | Method and apparatus for three-dimensional position measurement |
JPH05157557A (ja) | 1991-12-09 | 1993-06-22 | Mitsubishi Electric Corp | 車載用距離検出装置 |
DE69417824T4 (de) * | 1993-08-26 | 2000-06-29 | Matsushita Electric Industrial Co., Ltd. | Stereoskopischer Abtastapparat |
US6118475A (en) * | 1994-06-02 | 2000-09-12 | Canon Kabushiki Kaisha | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape |
JP3103478B2 (ja) * | 1994-06-02 | 2000-10-30 | キヤノン株式会社 | 複眼撮像装置 |
JPH0843055A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 3次元物体形状認識方法及び装置 |
JPH0814861A (ja) * | 1994-07-01 | 1996-01-19 | Canon Inc | 3次元形状の計測方法及び装置 |
US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
JPH09187038A (ja) * | 1995-12-27 | 1997-07-15 | Canon Inc | 3次元形状抽出装置 |
JP3792832B2 (ja) | 1997-05-07 | 2006-07-05 | 富士重工業株式会社 | ステレオカメラの調整装置 |
-
1998
- 1998-03-12 JP JP06157798A patent/JP4172554B2/ja not_active Expired - Lifetime
-
1999
- 1999-03-10 US US09/265,379 patent/US6385334B1/en not_active Expired - Lifetime
- 1999-03-11 DE DE69918347T patent/DE69918347T2/de not_active Expired - Lifetime
- 1999-03-11 EP EP99104888A patent/EP0942610B1/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10007998B2 (en) | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
KR101973655B1 (ko) * | 2018-03-05 | 2019-08-26 | 주식회사 디아이블 | 스포츠 코트 자동인식 및 그에 따른 인/아웃 판단 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
DE69918347D1 (de) | 2004-08-05 |
US6385334B1 (en) | 2002-05-07 |
EP0942610A2 (en) | 1999-09-15 |
JPH11259632A (ja) | 1999-09-24 |
EP0942610A3 (en) | 2001-03-07 |
EP0942610B1 (en) | 2004-06-30 |
DE69918347T2 (de) | 2005-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4172554B2 (ja) | ステレオカメラの調整装置 | |
JP3792832B2 (ja) | ステレオカメラの調整装置 | |
JP3263931B2 (ja) | ステレオマッチング装置 | |
JP3261115B2 (ja) | ステレオ画像処理装置 | |
US7139424B2 (en) | Stereoscopic image characteristics examination system | |
JP3284190B2 (ja) | ステレオカメラの画像補正装置 | |
JP3192875B2 (ja) | 画像合成方法および画像合成装置 | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
JPH1093808A (ja) | 画像合成装置および方法 | |
CN110580718B (zh) | 图像装置的校正方法及其相关图像装置和运算装置 | |
AU2020413529A1 (en) | Method and system for calibrating light field camera without white images | |
JP2022003769A (ja) | デジタル画像を整列させること | |
JP2000283753A (ja) | ステレオ画像による測距装置 | |
JP2003304561A (ja) | ステレオ画像処理装置 | |
JPH11325890A (ja) | ステレオカメラの画像補正装置 | |
JP2004032244A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP4172555B2 (ja) | ステレオカメラの調整装置 | |
JP4172684B2 (ja) | 画像補正装置および画像補正方法 | |
CN111179180B (zh) | 影像的修正方法及其装置 | |
JP2000099740A (ja) | 画像合成方法、画像入力装置、及び画像合成プログラムを記録した記録媒体 | |
JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
JP4324271B2 (ja) | 画像処理装置およびその方法 | |
CN104704804B (zh) | 摄像装置、检测装置 | |
US20220038646A1 (en) | Synchronized camera system having two different cameras | |
JP3412945B2 (ja) | 画像合成装置及び撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |