JP2003303337A - 画像補正装置および画像補正方法 - Google Patents
画像補正装置および画像補正方法Info
- Publication number
- JP2003303337A JP2003303337A JP2002110245A JP2002110245A JP2003303337A JP 2003303337 A JP2003303337 A JP 2003303337A JP 2002110245 A JP2002110245 A JP 2002110245A JP 2002110245 A JP2002110245 A JP 2002110245A JP 2003303337 A JP2003303337 A JP 2003303337A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- coordinate position
- camera
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000003702 image correction Methods 0.000 title claims description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
間と、実空間との位置的なずれを補正する。 【解決手段】ステレオカメラ2は、水平面に対してカメ
ラの視軸が傾いた状態で取り付けられており、一対の画
像データを出力する。ステレオ画像処理部6は、一対の
画像データに基づいて、ステレオマッチングにより視差
を算出し、一フレーム相当の画像データに関する視差群
と画像平面上の座標位置とが対応付けられた距離データ
を出力する。角度検出部7は、水平面とカメラの視軸と
がなす傾き角を検出する。視差補正部9は、角度検出部
7によって検出された傾き角に基づいて、座標位置毎の
視差変換パラメータを算出し、算出された視差変換パラ
メータに基づいて、距離データを構成する個々の視差の
値を補正する。
Description
メラの画像補正装置および画像補正方法に関する。
テムが注目・実用化されている。この類の監視システム
では、一対の撮像画像に写し出された同一対象物に関す
る位置的なずれ量(すなわち視差)を、ステレオマッチ
ングを用いて算出する。画像に写し出された対象物の実
空間上の位置は、対象物に関して算出された視差と、そ
の画像平面上の位置とに基づいて、周知の座標変換式よ
り算出可能である。
た上下方向の傾きの度合い)のカメラを用いて垂直な壁
面(横長の矩形)を撮像した場合、この壁面は、歪んだ
形状で写し出される。これは、カメラの光学的性質によ
るもので、同じ幅の壁面を撮影した場合であっても、カ
メラに近接した部位ほど大きく写るからである。そこ
で、このような光学的性質を解消し、自然な撮像画像を
得る方法は、例えば、特開平5−91409号公報など
に「あおり補正」として提案されている。
ない状態(俯角=0)でステレオカメラを使用するのが
一般的であり、この場合、上述した画像の歪みはわずか
である。そのため、通常は、この画像の歪みを無視、す
なわち、傾き角(俯角)=0として処理を実行してい
る。かかる状態のステレオカメラを用いて垂直に起立し
た壁面を撮影した場合、壁面に関して算出される視差の
値は一様になる。その結果、実空間上におけるステレオ
カメラから壁面までの距離も一様になる。
に自由度を与えるという観点からすれば、ステレオカメ
ラの傾き角を0度に限定することは好ましくない。しか
しながら、俯角付ステレオカメラで上述した壁面を撮影
した場合、この壁面に関する視差は壁面部位毎に異な
る。その結果、実空間上におけるステレオカメラから壁
面までの距離も一様にはならない。そのため、従来の処
理手法では、俯角付ステレオカメラを用いた場合、対象
物の認識を正確に行うことが困難であった。
理に適用することで、傾き角にともなう欠点を解決する
ことも考えられる。この場合、撮像素子上の画像を二次
元的に補正することは可能であるが、この技術を三次元
情報(すなわち、視差)を有する画像を取り扱うステレ
オ画像処理に適用しても、完全に画像の補正を行うこと
はできない。
たものであり、その目的は、ステレオ画像処理によって
特定される三次元空間と、実空間との位置的なずれを補
正することである。
めに、第1の発明は、俯角付ステレオカメラの画像補正
装置を提供する。ステレオカメラは、水平面に対してカ
メラの視軸が傾いた状態で取り付けられており、一対の
画像データを出力する。ステレオ画像処理部は、一対の
画像データに基づいて、ステレオマッチングにより視差
を算出し、一フレーム相当の画像データに関する視差群
と画像平面上の座標位置とが対応付けられた距離データ
を出力する。角度検出部は、水平面とカメラの視軸とが
なす傾き角を検出する。視差補正部は、角度検出部によ
って検出された傾き角に基づいて、座標位置毎の視差変
換パラメータを算出し、算出された視差変換パラメータ
に基づいて、距離データを構成する個々の視差の値を補
正する。
によって検出された傾き角に基づいて、座標位置毎の位
置変換パラメータを算出し、算出された位置変換パラメ
ータに基づいて、距離データの座標位置を幾何学的に補
正する位置補正部をさらに設けてもよい。この場合、位
置補正部による補正によって、ある座標位置において視
差の欠落が生じた場合、欠落が生じた座標位置の視差を
周囲の視差に基づいて補間する補間部をさらに設けるこ
とが好ましい。
部は、位置変換パラメータに基づいて、画像データの座
標位置を幾何学的に補正することが好ましい。
部は、画像データを解析することで消失点を検出し、消
失点の位置に基づいて、傾き角を検出してもよい。
像補正方法を提供する。かかる補正方法は、以下に示す
ステップを有する。第1のステップは、水平面に対して
カメラの視軸が傾いた状態で取り付けられたステレオカ
メラで景色を撮像することにより、一対の画像データを
得る。第2のステップは、一対の画像データに基づい
て、ステレオマッチングにより視差を算出し、一フレー
ム相当の画像データより得られた視差群と画像平面上の
座標位置とが対応付けられた距離データを出力する。第
3のステップは、水平面とカメラの視軸とがなす傾き角
を検出する。第4のステップは、検出された傾き角に基
づいて、座標位置毎の視差変換パラメータを算出する。
第5のステップは、算出された視差変換パラメータに基
づいて、距離データを構成する個々の視差の値を補正す
る。
傾き角に基づいて、座標位置毎の位置変換パラメータを
算出する第6のステップと、算出された位置変換パラメ
ータに基づいて、距離データの座標位置を幾何学的に補
正する第7のステップとをさらに設けてもよい。この場
合、距離データの座標位置の補正によって、ある座標位
置において視差の欠落が生じた場合、欠落が生じた座標
位置の視差を周囲の視差に基づいて補間する第8のステ
ップをさらに設けることが好ましい。
レオ式監視システムのブロック図である。ステレオ式監
視システム1は、車両等の移動体または静止した部材に
取り付けられたステレオカメラ2を有する。このステレ
オカメラ2は、水平面を基準とし、この水平面に対して
視軸が傾いた状態で取り付けられている俯角付のステレ
オカメラである。ステレオカメラ2の俯角に相当する傾
き角αは、固定であってもよいし、可変であってもよ
い。傾き角αを可変にする場合、ステレオカメラ2は、
その視軸が上下方向に変化するような回動可能なカメラ
台に取り付けられる。
基線長)で配置された一対のカメラ2a,2bを有して
おり、それぞれのカメラ2a,2bには、CCDやCM
OSセンサ等のイメージセンサが内蔵されている。メイ
ンカメラ2aは、ステレオ画像処理を行う際に必要な基
準画像(右画像)を撮像し、サブカメラ2bは、比較画
像(左画像)を撮像する。互いの同期が取れている状態
において、カメラ2a,2bから出力された各アナログ
画像は、A/Dコンバータ3,4により、所定の輝度階
調(例えば、256階調のグレースケール)のデジタル画
像に変換される。デジタル化された画像は、画像補正部
5において、輝度の補正や画像の幾何学的な変換等が行
われる。通常、一対のカメラ2a,2bの取付位置は、
程度の差はあるものの誤差が存在するため、それに起因
したずれが左右の画像に生じている。このずれを補正す
るために、アフィン変換等を用いて、画像の回転や平行
移動等の幾何学的な変換が行われる。
2aより基準画像データが得られ、サブカメラ2bより
比較画像データが得られる。これらの画像データは、個
々に設定された有効画像領域内に含まれる各画素の輝度
値(0〜255)の集合である。画像平面におけるi−j座
標系は、画像の左下隅を原点として、水平方向をi座標
軸、垂直方向をj座標軸とする。一画像の最小表示単位
である一フレーム相当の両画像データは、後段のステレ
オ画像処理部6と、後段の補正処理部8(正確には位置
補正部10)とに出力される。
と比較画像データとに基づいて、一フレーム相当の撮像
画像に関して、距離データを算出する。ここで、「距離
データ」とは、一フレーム相当の撮像画像より算出され
る視差dの集合であり、個々の視差dは画像平面上の位
置(i,j)と対応付けられている。それぞれの視差d
は、基準画像の一部を構成する所定面積(例えば、4×4
画素)の画素ブロック毎に1つ算出される。例えば、基
準画像が200×512画素で構成されている場合、一フレー
ム相当の撮像画像から、画素ブロックPBijの個数相当
(50×128個)の視差群が算出され得る。周知のよう
に、視差dは、その算出単位である画素ブロックPBij
に関する水平方向のずれ量であり、画素ブロックPBij
に写し出された対象物までの距離と大きな相関がある。
すなわち、画素ブロックPBij内に写し出されている対
象物がカメラ2a、2bに近いほど、この画素ブロック
PBijの視差dは大きくなり、対象物が遠いほど視差d
は小さくなる(無限に遠い場合、視差dは0になる)。
る視差dを算出する場合、この画素ブロックPBijの輝
度特性と相関を有する領域(相関先)を比較画像におい
て特定する。上述したように、カメラ2a,2bから対
象物までの距離は、基準画像と比較画像との間における
水平方向のずれ量として現れる。したがって、比較画像
において相関先を探索する場合、相関元となる画素ブロ
ックPijのj座標と同じ水平線(エピポーラライン)上
を探索すればよい。ステレオ画像処理部6は、相関元の
i座標を基準に設定した所定の探索範囲内において、エ
ピポーラライン上を一画素ずつシフトしながら、相関元
と相関先の候補との間の相関性を順次評価する(ステレ
オマッチング)。そして、原則として、最も相関が高い
と判断される相関先(相関先の候補の内のいずれか)の
水平方向のずれ量を、その画素ブロックPBijの視差d
とする。
ティブロック距離CBを算出することにより評価するこ
とができる。数式1は、シティブロック距離CBの基本
形を示す。同数式において、p1ijは一方の画素ブロッ
クのij番目の画素の輝度値であり、p2ijは他方の画
素ブロックのij番目の輝度値である。シティブロック
距離CBは、位置的に対応した輝度値p1ij,p2ij対
の差(絶対値)の画素ブロック全体における総和であっ
て、その差が小さいほど両画素ブロックの相関が大きい
ことを意味している。
画素ブロック毎に算出されたシティブロック距離CBの
うち、その値が最小となる画素ブロックが相関先と判断
される。このようにして特定された相関先と相関元との
間のずれ量が視差dとなる。なお、シティブロック距離
CBを算出するステレオ画像処理部6のハードウェア構
成については、特開平5−114099号公報に開示さ
れているので、必要ならば参照されたい。このような処
理を経て算出された距離データ(i,j,d)は、補正
処理部8(正確には視差補正部9)に出力される。
カメラ2の傾き角αを検出する。ステレオカメラ2が回
動可能なカメラ台に取り付けられている場合、角度検出
部7は、このカメラ台の回転角を検出する。角度検出部
7としては、例えば、ロータリエンコーダに代表される
回転角センサを用いることができる。ロータリエンコー
ダは、それがカメラ台に取り付けられた状態で自身の回
転変位量を検出することにより、回転角(すなわち傾き
角)を検出する。角度検出部7は、ステレオカメラ2と
同期がとれている状態において(すなわち1フレームに
おける画像の撮影とタイミングを同期して)、この傾き
角αを検出することが好ましい。一方、ステレオカメラ
2が固定的に取り付けられているのであれば、角度検出
部7は、ステレオカメラ2を取り付けた際の傾き角αを
デフォルトとして記憶可能な(または、その傾き角を任
意に変化させたときに随時書換可能な)メモリであって
もよい。
とを補正対象として、ステレオカメラ2の傾き角αに起
因するデータのずれを補正する。本実施形態において、
補正処理部8は、傾き角αにより一義的に特定される変
換パラメータに基づいて、距離データおよび画像データ
を補正し、機能的には、視差補正部9、位置補正部10
および補間部11で構成されている。
傾き角αを取得するとともに、傾き角αによって一義的
に特定される視差変換パラメータに基づいて、距離デー
タを構成する個々の視差の値を補正する。そして、視差
補正部9は、補正した距離データを位置補正部10に出
力する。位置補正部10は、角度検出部7から傾き角α
を取得するとともに、補正された距離データと、この距
離データに対応する画像データとに対して、傾き角αに
より特定される位置変換パラメータに基づき、座標位置
の幾何学的な補正を施す。そして、位置補正部10は、
補正した距離データおよび画像データを補間部11に出
力する。補間部11は、距離データおよび画像データに
関して、位置補正部10の変換処理によってデータの欠
落が生じた場合に、欠落が生じた座標位置のデータを補
間する。この補間部11によって補間処理されたデータ
のうち、画像データは画像データメモリ12に格納さ
れ、距離データは距離データメモリ13に格納される。
本実施形態の主な特徴は、このような補正処理部8の補
正処理にあり、その詳細な補正手法については後述す
る。
納された距離データに基づいて、対象物の三次元的な位
置を認識する。また、認識部14は、対象物の認識にあ
たって、適宜、画像データメモリ12に格納された画像
データを用いる。認識すべき対象物は、監視装置の使用
目的に応じて適宜設定されている。例えば、自車両前方
の走行状況を監視する車外監視システムでは、車線や先
行車等が認識すべき対象物になる。踏切監視システムで
は、鉄道レール、通行車、通行人等が認識すべき対象物
になる。飛行体の高度監視システムや地表の起伏状況を
検出するシステムでは、地面が認識すべき対象物にな
る。
理の手順を示したフローチャートである。まず、ステッ
プ1において、視差補正部9は、角度検出部7が検出し
た傾き角αを取得する。画像撮影のタイミングと角度検
出部7の傾き角αの検出のタイミングとを同期させるこ
とにより、ステレオカメラ2の傾き角を可変にした場合
でも、角度検出部7は、撮影時におけるステレオカメラ
2の傾き角を確実に特定できる。また、このとき、位置
補正部10も、視差補正部9と同様、角度検出部7から
傾き角αを取得する。
補正部9および位置補正部10は、距離データおよび画
像データにおける高さ方向成分(j座標)、幅方向成分
(i座標)のそれぞれについて、ステップ4〜6に示さ
れる補正処理を繰り返し行う。本実施形態では、このス
テップ2〜10において、両補正部9,10は、距離デ
ータおよび画像データにおける座標(0,0)から、i座
標を基準に、j座標を0〜199まで一座標ずつシフトしな
がら補正処理を行う。そして、隣のi座標(i+1座
標)に移り、同様に、j座標を一座標ずつシフトしなが
ら補正処理が続行される。そして、視差補正部9および
位置補正部10は、この処理を、画像データの全て(例
えば、200×512)について行う。以下、本明細書は、所
定のi軸上のj座標に注目し説明を展開するものとし、
この画像上の位置を注目点Go(io,jo)と定義す
る。
において、視差補正部9は、傾き角αにより特定される
視差変換パラメータに基づいて、距離データにおける視
差の値dを補正する。この視差変換パラメータは、以下
に示す数式2により表され、距離データ上の注目点Go
における視差の値dは、この数式2によって一義的に視
差dhに補正(変換)される。
点Goでの視差の値、dは補正前の注目点Goでの視差の
値、PWVは1画素当たりの垂直視野角である。そし
て、jo,jc,jvは、それぞれ距離データにおける、
注目点、カメラ2a(またはカメラ2b)の光学中心
点、カメラ位置での水平方向におけるj座標値である。
明する。図3は、傾き角αで対象物Oを撮像する一対の
カメラの状態を示す説明図である。図4は、傾き角αで
撮像される画像データおよび距離データの説明図であっ
て、(a)は、傾き角αで対象物Oを撮影したときの画
像データを示す図であり、(b)は、距離データにおけ
る注目点Goを含むio座標上の視差を示す図である。ま
た、図5は、視差変換パラメータの算出手法の説明図で
ある。
(図4参照)に対応する対象物O上の点(実空間におけ
る点)が、点Oo(xo,yo,zo)で示されている。ま
た、図5において、傾き角αで取り付けられたカメラ2
a,2bの画角が、破線によって示されている。画像デ
ータと対象物Oとの対応付けを明確にするため、このカ
メラ2a,2bによって撮像される像を反映するスクリ
ーンが、同図に示されている。なお、図中に示した実空
間を表すxyz軸の座標系は、一対のカメラ2a,2b
の取付位置を基準として、カメラ2a,2bの距離方向
をz軸、地面からの高さ方向をy軸、y軸と直交する平
面内でのz軸との直交方向をx軸と定義している。
て下側にα傾く)で、垂直に起立する矩形の壁面(対象
物O)を撮影した場合、対象物Oは、実際の形状より下
側が窄んだ台形形状に写し出される(図4(a)参
照)。画像を実空間に対応させた場合、この対象物Oの
歪みによって、対象物Oのx方向の位置にずれが生じ
る。これら画像データに基づき算出される距離データに
関しても同様であり、対象物Oに関する視差の位置もx
方向(正確には、i方向)にずれる。
合、カメラ視線上における距離の遠近により、算出され
る視差の値自体にもずれが生じる(図4(b)参照)。
このようなずれは、距離データを実空間に対応させた場
合、z方向へのずれとなって現れる。よって、図4に示
すような画像データおよび距離データを用いて、周知の
変換式より算出される対象物Oの位置は、実際の対象物
Oの実空間上の位置と完全に一致しない。
態では、注目点Goにおける視差は、ステレオカメラと
対象物との距離、すなわち、図5に示すように、光学中
心線上での距離Loに対応した値となる。しかしなが
ら、ステレオカメラ2に傾き角αがある場合、ステレオ
カメラ2と対象物Oとの光学中心線上での距離(すなわ
ち、視差の値に対応する距離)は、傾き角αにともない
Loよりも長いLo+ΔLoとなる。したがって、傾き角
αで撮影された距離データから特定される視差の値は、
傾き角αと画像上の注目点Goとに起因して変化するΔ
Loの値を考慮する必要がある。
距離(z方向距離)が同一である場合、対象物Oに関す
る全ての視差は、一様な値であることが好ましい。先に
述べた光学中心線上での距離に拘わらず、カメラと対象
物との相対的な距離(zo)によって、視差が特定され
るのであれば、周知のステレオ画像処理を用いて実空間
への変換処理を行うことができる。したがって、上述し
たLo+ΔLoとzoとを対応付けることで、距離データ
を構成する視差dから、zoに起因した視差dhを一義的
に特定することができる。ここで、実空間における注目
点Ooと光軸との間の距離をl、CCDの縦方向におけ
るピクセルサイズをpsv、焦点距離をfとした場合、
ΔLoは、以下に示す数式3で示される。
る。
3は、以下に示す数式5に書き換えられる。
当たり垂直視野角であり、PWV=psv/fの関係を
有する。
数式7で示すことができる。
それぞれ対応する値であるので、数式7に示すzoおよ
びLoを、dhおよびdで適宜置き換えることにより、数
式2に示す視差変換パラメータを得ることができる。
10は、画像データと補正された距離データとについ
て、傾き角αにより特定される位置変換パラメータに基
づいて、画像上の座標位置を幾何学的に補正する。この
位置変換パラメータは、以下に示す数式8により表さ
れ、画像上の(io,jo)座標における注目点Go、こ
の数式8によって一義的に座標(ih,jo)に補正(変
換)される。
みを補正する変換パラメータの算出手法を示す説明図で
ある。上述したように、画像には位置的なずれが生じて
おり、視差を補正したとしても、この位置的なずれは、
依然として存在する(実空間での、x方向のずれ)。し
たがって、実空間でのx座標の値と、画像から特定され
るx座標との位置が変わらないように、画像上のio座
標の位置を補正する必要がある。注目点Goと対応する
対象物O上の点Ooとにより、xoは、以下に示す数式9
の関係式を満たす。
タにおける光学中心線のi座標、pshは画像の一画素
当たりの横方向のピクセルサイズ(画素幅)である。
ihとすると、これに対応する実空間上のzoとの関係よ
り、xoは、数式10の関係を更に満たす。
共通するihとioとの関係を導き、そして、先にもとめ
た数式7を代入することで、数式8を得ることができ
る。
10は、補正された視差dhおよび輝度値を、補正され
たあらたな座標(ih,jo)に格納する。そして、ステ
ップ7,8、および、ステップ9,10に従い、視差補
正部9および位置補正部10は、このような補正処理を
距離データおよび画像データの全てのi−j座標につい
て行う。ここで、図7は、本実施形態にかかる補正処理
を行った画像データおよび距離データの説明図である。
図7の(a),(b)は、図3に示した(a),(b)
にそれぞれ対応する。
れると、ステップ11において、補間部11は、視差の
欠落が生じた座標位置に関する視差を周囲の視差に基づ
いて補間する内挿処理を行う。一般的に、ステップ5,
6で示した座標変換を行った場合、変換後の画素データ
は、メッシュ状に整列しない。すなわち、変換後の画像
データおよび距離データにおける座標の一部には、デー
タの欠落箇所が存在する場合がある。そこで、補間部1
1は、画像平面において、データが欠落している座標位
置を特定するとともに、特定された座標について、その
周辺の座標における輝度値または視差に基づき、統計的
な補間処理を行う。
よび距離データの補正を行うことにより、傾き角αがあ
る場合であっても、カメラの光学的性質にともなう画像
の歪みおよび視差のずれは補正される。これにより、画
像データおよび距離データから特定される三次元空間
が、実際の実空間と位置的なずれを生じることがない。
そして、この手法により算出された距離データおよび元
画像を用いれば、各種の監視制御において、高精度な監
視制御を行うことが可能となる。
9および位置補正部10は、変換パラメータ(数式2お
よび数式8)を用いて、毎回(i−j成分毎に)計算処
理を行うものである。しかしながら、計算処理を効率よ
く行うためにも、視差補正部9は、変換パラメータのう
ち一部を予め計算し、この計算結果を保持するテーブル
を格納してもよい。換言すれば、視差補正部9は、傾き
角αと、この傾き角αと(さらには、画像上の位置と
に)対応する変換パラメータが定義された対応表を格納
する記憶部を更に有することが好ましい。この場合、視
差補正部9は、検出された傾き角αの値からこの対応表
によって特定される補正係数に基づいて、距離データの
視差の値dを視差dhに補正することができる。
のよう対応表は、傾き角α(数式2におけるjvであ、
例えば、α=-30〜60度に対応するjvとして、例示的に
-30〜360)と、注目点jo(例示的に0〜199)とに対応
させて予め作成することができる。この対応表によって
特定される変換パラメータを、table(jv,jo)とす
るならば、数式2および数式8は、それぞれ、数式11
および数式12に代替される。
差補正部9で使用される対応表は、位置補正部10の補
正処理においても共通して使用可能な対応表である。し
たがって、位置補正部10が、同様の対応表を格納する
構成であってもよいが、視差補正部9がこの補正係数を
位置補正部10に出力するような構成であってもよい。
の傾き角αを実際に検出するものであるが、この傾き角
αを画像データから検出することができる。具体的に
は、角度検出部7は、画像データのうち少なくとも一方
の画像(例えば、基準画像データ)を解析することで消
失点を検出し、消失点の位置に基づいて、傾き角αを検
出する。
置は、ステレオ式監視システム1の一部として機能する
ばかりではなく、上述した画像補正を目的とした装置単
体としても機能することができることはいうまでもな
い。
置および方法によれば、距離データを補正することで、
傾き角に伴う画像上のずれを補正することができる。こ
れにより、かかる画像から特定される三次元空間は、実
空間と距離的なずれを生じさせないので、監視システム
の信頼度を向上することができる。
ブロック図
たフローチャート
状態を示す説明図
ータの説明図
法を示す説明図
タおよび距離データの説明図
Claims (8)
- 【請求項1】画像補正装置において、 水平面に対してカメラの視軸が傾いた状態で取り付けら
れており、一対の画像データを出力するステレオカメラ
と、 前記一対の画像データに基づいて、ステレオマッチング
により視差を算出し、一フレーム相当の画像データに関
する視差群と画像平面上の座標位置とが対応付けられた
距離データを出力するステレオ画像処理部と、 前記水平面と前記カメラの視軸とがなす傾き角を検出す
る角度検出部と、 前記角度検出部によって検出された前記傾き角に基づい
て、前記座標位置毎の視差変換パラメータを算出し、当
該視差変換パラメータに基づいて、前記距離データを構
成する個々の視差の値を補正する視差補正部とを有する
ことを特徴とする画像補正装置。 - 【請求項2】前記角度検出部によって検出された前記傾
き角に基づいて、前記座標位置毎の位置変換パラメータ
を算出し、当該位置変換パラメータに基づいて、前記距
離データの座標位置を幾何学的に補正する位置補正部を
さらに有することを特徴とする請求項1に記載された画
像補正装置。 - 【請求項3】前記位置補正部による補正によって、ある
座標位置において視差の欠落が生じた場合、当該欠落が
生じた座標位置の視差を周囲の視差に基づいて補間する
補間部をさらに有することを特徴とする請求項2に記載
された画像補正装置。 - 【請求項4】前記位置補正部は、前記位置変換パラメー
タに基づいて、前記画像データの座標位置を幾何学的に
補正することを特徴とする請求項2または3に記載され
た画像補正装置。 - 【請求項5】前記角度検出部は、前記画像データを解析
することで消失点を検出し、前記消失点の位置に基づい
て、前記傾き角を検出することを特徴とする請求項1か
ら4のいずれかに記載された画像補正方法。 - 【請求項6】画像補正方法において、 水平面に対してカメラの視軸が傾いた状態で取り付けら
れたステレオカメラで景色を撮像することにより、一対
の画像データを得る第1のステップと、 前記一対の画像データに基づいて、ステレオマッチング
により視差を算出し、一フレーム相当の画像データより
得られた視差群と画像平面上の座標位置とが対応付けら
れた距離データを出力する第2のステップと、 前記水平面と前記カメラの視軸とがなす傾き角を検出す
る第3のステップと、 前記検出された傾き角に基づいて、前記座標位置毎の視
差変換パラメータを算出する第4のステップと、 前記算出された視差変換パラメータに基づいて、前記距
離データを構成する個々の視差の値を補正する第5のス
テップとを有することを特徴とする画像補正方法。 - 【請求項7】前記検出された傾き角に基づいて、前記座
標位置毎の位置変換パラメータを算出する第6のステッ
プと、 前記算出された位置変換パラメータに基づいて、前記距
離データの座標位置を幾何学的に補正する第7のステッ
プとをさらに有することを特徴とする請求項6に記載さ
れた画像補正方法。 - 【請求項8】前記距離データの座標位置の補正によっ
て、ある座標位置において視差の欠落が生じた場合、当
該欠落が生じた座標位置の視差を周囲の視差に基づいて
補間する第8のステップをさらに有することを特徴とす
る請求項7に記載された画像補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002110245A JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002110245A JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003303337A true JP2003303337A (ja) | 2003-10-24 |
JP2003303337A5 JP2003303337A5 (ja) | 2005-09-22 |
JP4172684B2 JP4172684B2 (ja) | 2008-10-29 |
Family
ID=29393451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002110245A Expired - Fee Related JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4172684B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007171077A (ja) * | 2005-12-26 | 2007-07-05 | Konica Minolta Sensing Inc | 3次元測定方法および装置 |
JP2012068923A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Corp | 画像処理装置 |
JP2013145605A (ja) * | 2013-04-30 | 2013-07-25 | Toshiba Corp | 画像処理装置 |
KR101317839B1 (ko) | 2011-12-19 | 2013-10-15 | 경북대학교 산학협력단 | 이미지 객체 검출 장치 및 그 방법 |
JP2014006179A (ja) * | 2012-06-26 | 2014-01-16 | Ricoh Co Ltd | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
JP2014010100A (ja) * | 2012-07-02 | 2014-01-20 | Ricoh Co Ltd | 画像処理装置及び方法、並びに撮像装置 |
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
JP2019029789A (ja) * | 2017-07-28 | 2019-02-21 | 国立大学法人電気通信大学 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2019049708A1 (ja) * | 2017-09-11 | 2019-03-14 | Kyb株式会社 | 距離算出装置および距離算出パラメータの設定方法 |
CN110023951A (zh) * | 2016-11-30 | 2019-07-16 | 株式会社理光 | 信息处理设备、成像设备、装置控制***、信息处理方法和计算机程序产品 |
WO2020138072A1 (ja) * | 2018-12-26 | 2020-07-02 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
-
2002
- 2002-04-12 JP JP2002110245A patent/JP4172684B2/ja not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007171077A (ja) * | 2005-12-26 | 2007-07-05 | Konica Minolta Sensing Inc | 3次元測定方法および装置 |
JP2012068923A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Corp | 画像処理装置 |
US10810762B2 (en) | 2010-09-24 | 2020-10-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
KR101317839B1 (ko) | 2011-12-19 | 2013-10-15 | 경북대학교 산학협력단 | 이미지 객체 검출 장치 및 그 방법 |
JP2014006179A (ja) * | 2012-06-26 | 2014-01-16 | Ricoh Co Ltd | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
JP2014010100A (ja) * | 2012-07-02 | 2014-01-20 | Ricoh Co Ltd | 画像処理装置及び方法、並びに撮像装置 |
JP2014138420A (ja) * | 2013-01-16 | 2014-07-28 | Honda Research Institute Europe Gmbh | 自律車両用の奥行き検知方法及びシステム |
JP2013145605A (ja) * | 2013-04-30 | 2013-07-25 | Toshiba Corp | 画像処理装置 |
CN110023951A (zh) * | 2016-11-30 | 2019-07-16 | 株式会社理光 | 信息处理设备、成像设备、装置控制***、信息处理方法和计算机程序产品 |
CN110023951B (zh) * | 2016-11-30 | 2023-08-29 | 株式会社理光 | 信息处理设备、成像设备、装置控制***、信息处理方法和计算机可读记录介质 |
JP2019029789A (ja) * | 2017-07-28 | 2019-02-21 | 国立大学法人電気通信大学 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2019049708A1 (ja) * | 2017-09-11 | 2019-03-14 | Kyb株式会社 | 距離算出装置および距離算出パラメータの設定方法 |
JP2019049468A (ja) * | 2017-09-11 | 2019-03-28 | Kyb株式会社 | 距離算出装置および距離算出パラメータの設定方法 |
WO2020138072A1 (ja) * | 2018-12-26 | 2020-07-02 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
JP2020106275A (ja) * | 2018-12-26 | 2020-07-09 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
Also Published As
Publication number | Publication date |
---|---|
JP4172684B2 (ja) | 2008-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10834324B2 (en) | Image distortion correction of a camera with a rolling shutter | |
JP4048511B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
JP4243767B2 (ja) | 魚眼レンズカメラ装置及びその画像抽出方法 | |
JP4268206B2 (ja) | 魚眼レンズカメラ装置及びその画像歪み補正方法 | |
JP3539788B2 (ja) | 画像間対応付け方法 | |
JP5792662B2 (ja) | 視差算出装置、距離算出装置及び視差算出方法 | |
US20070140528A1 (en) | Image processing device and method | |
JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
JPH07294215A (ja) | 画像処理方法及び装置 | |
JPS59182688A (ja) | ステレオ視処理装置 | |
JPH11259632A (ja) | ステレオカメラの調整装置 | |
JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
JP4172684B2 (ja) | 画像補正装置および画像補正方法 | |
JP2953154B2 (ja) | 形状合成方法 | |
JP2003304561A (ja) | ステレオ画像処理装置 | |
JP2004032244A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JP2004186922A (ja) | 複数台のカメラを使用した広域撮影方法 | |
JP4209637B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
KR101558573B1 (ko) | 스테레오 카메라 영상 합성 방법 | |
JP2005250994A (ja) | ステレオ画像処理装置 | |
JP6099281B2 (ja) | 書籍読み取りシステム及び書籍読み取り方法 | |
JP4248212B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
JP2003294422A (ja) | 対象物認識装置および対象物認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050407 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080808 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4172684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |