JP2006010613A - 画像の歪み補正方法 - Google Patents

Abstract

【課題】 画像の歪曲収差補正を簡便に高精度で行う。
【解決手段】 中央に配置される中心円と等間隔に配置される格子点とを有する歪曲補正図をカメラよって撮影してデジタルデータである実写歪曲補正画像を取得し、該画像における中心円の直径と格子点の間隔との比から理想格子点の位置を決定し、各実写格子点の位置と理想格子点の位置とに基づく補正式を求め、該補正式により歪曲収差を補正する。
【選択図】 図１

Description

本発明は、カメラによって撮影され、デジタルデータ化された画像の歪みを補正する方法、特にカメラのレンズの歪曲収差に起因する歪みの補正に関する。なお、本発明における画像とは、デジタルスチルカメラ及びデジタルビデオカメラの撮影によって取得されるデジタルデータ画像のみならず、光学スチルカメラ及び光学ビデオカメラによって撮影された写真や映像がデジタルデータ化された画像も含むものとする。

近年、デジタルカメラによって撮影された画像のデータを処理解析することにより、被写体の寸法を計測したり、物体や人物を照合する技術が開発されている。デジタルカメラを用いれば、直接計測できない物体の長さ等を安全且つ迅速に計測することが可能であり、また、照合等の技術分野においては、従来であれば人力に頼り、手間を要していた照合作業が自動化されるため、極めて短時間で結果を得ることが可能である。

しかし、カメラによって撮影された画像を用いて上記のような解析を行う場合、カメラのレンズに存在する歪みが問題となる。レンズに歪みが存在すれば、レンズを通して撮影された画像は、実際の被写体と相似形にはならず、歪みを有してしまう。この歪みの主要な原因として、ディストーションとも呼ばれるレンズの歪曲収差があり、これは、レンズ中心部よりもレンズの周辺部分において歪みが大きくなる傾向を有する。レンズに歪曲収差があると、撮影された画像における被写体の像が現実の被写体の像の形状と異なるため、長さ等の数値や正しい解析結果を得ることができなくなる。特に、ある対象に対して画像照合を行う場合には、人間の目では明らかに同一又は異なると判断可能な程度のごく僅かな程度にしか画像の歪みや画素位置のずれが存在しなかったとしても、コンピュータに自動的に異同識別を行わせる時には、識別を誤らせることになり、不都合である。従って、この歪曲収差は可能な限り補正され、除去されることが望ましい。

歪曲収差を除去するためには、歪曲収差の小さなレンズを使用すればよいが、このようなレンズは高価であるという問題がある。または、複数枚のレンズ構成とすることにより、歪曲収差を補正することも可能である。しかし、これには単レンズのカメラと比較して高価になるだけでなく、サイズや重量が増加してしまうという問題がある。

そこで、カメラによって撮影され、デジタルデータとしてとして取得された画像が、歪みの存在しない、現実の被写体と相似形である理想画像となるように画像処理をし、歪曲収差を補正する技術が開発されてきた。この画像処理による歪曲収差補正は、一般に、複数の格子点や多角形の頂点等の点に基づき、レンズ固有の歪み特性を表す歪曲収差補正式を得て行う。このような補正式の一例として、非特許文献１では、ピンホールカメラモデルを用い、歪み補正を幾何学変換と考えて得る補正式が提案されている。

従来の補正方法の例として、特許文献１では、像計測における計測精度を向上させることを目的とする、歪曲収差の補正方法に関する技術が開示されている。座標値が既知である複数のターゲットマークが表示されたキャリブレーション板をデジタルカメラにより撮影し、撮影画像の計測座標値と、既知である座標値とに基づいて多次元補正式を求め、補正を行う。

特開2001-133223号公報（[0008]） 関海克,他2名,「画像処理による歪曲収差補正とパノラマ画像」"Ricoh Technical Report No.23,SEPTEMBER,1997", pp.47-49.

格子点や多角形の頂点等の座標値に基づいて歪曲補正式を得る場合には、歪みが存在しないとする補正後の理想座標値の設定が重要である。この理想座標値が適切に決定されるならば、適切な補正式を得ることができる。

上記特許文献１では、ターゲットマークの座標値が既知であるとしている。しかし、ターゲットマークを撮影した後、撮像画面上の像高計測値と実測に基づく像高座標値とを比較する時に、これらの値は同一の座標系においてでなければ比較することができないため、画素単位で得られる撮影画面上の像高計測値を実際の長さに、またはその逆に変換しなければならない。この変換は、例えば、撮影画面のターゲットマークを構成する画素数と、既知の座標値との関係に基づいて行われるが、撮影画面には歪みが存在しているため、撮影画像の座標値を実測の座標系へ換算する時に誤差が含まれてしまう。

そこで、本発明が解決しようとする課題は、複雑な装置を用いることなく理想の座標値を適切に設定し、歪曲収差補正を高精度で行うことを可能とする画像の歪み補正方法を提供することである。

上記課題を解決するために、本願発明者は歪曲収差の特性について詳細に検討した結果、撮影される画像において歪曲収差が最も小さい部分となる、歪曲補正図の中央に配置される中心円の径を基準とすることにより、等間隔で配置された各格子点の理想の位置を適切に決定し、歪み補正を高精度で行うことに想到した。

このような考察に基づいてなされた本発明に係る画像の歪み補正方法は、等間隔に配置される複数の格子点及び、中央に配置され該格子点よりも大きい中心円を有する歪曲補正図をカメラで撮影することにより実写歪曲補正画像を取得し、該実写歪曲補正画像において、実写中心円の直径及び各実写格子点の重心位置を取得し、該中心円の直径と該格子点間隔との比に基づき各格子点の理想重心位置を決定し、該重心位置及び該理想重心位置に基づき補正式を求め、該補正式に基づき画像の歪みを補正することを特徴とする。

ここにおいて、上記実写歪曲補正画像において中心円の面積を求め、この面積により該中心円の直径を得てもよい。この場合、円の直径をより高精度で得ることができる。

また、本発明においては、非特許文献１で提案されている以下の数式１〜数式４に基づき、歪み補正前の画像における画素の座標（x,y）から歪み補正後の座標（x₀,y₀）を下記数式１乃至数式４によって求めることにより、画像の歪曲補正を行うことができる。

ここで、
F：レンズの焦点距離
θ：レンズの中心点と補正前の画素の座標を結ぶ直線が光軸となす角度
θ₀：レンズの中心点と補正後の画素の座標を結ぶ直線が光軸となす角度
A、B：パラメータ

上記数式１〜４について、ピンホールカメラのモデル図である図３に基づき説明する。Cはピンホールカメラのピンホール点であり、Pは三次元空間での物点である。P_d、P₀はそれぞれ、実写であり歪みがある場合と、理想であり歪みがない場合のPの結像点であり、それらと光軸（Z軸）となす角度をθ及びθ₀とする。そして、レンズの歪曲収差を数式１の多項式でモデル化し、歪曲補正式とする。また、数式２〜４は図３に描かれたモデル図の幾何学的特徴によって明らかに成立する関係式である。すなわち、数式１〜４において、数式１のパラメータA及びBが決定されれば、歪曲補正式を得ることができる。この二個のパラメータの求め方については後述する。

数式１〜４を用い、次のようにして画像の歪曲補正を行う。まず、歪曲収差を有する画像において、ある画素の座標が（x,y）であるとき、これらx、yを数式２に代入し、θを得る。このθを数式１に代入すれば、θ₀の値が求まる。そして、このθ₀及びx、yの値を数式３、４にそれぞれ代入することにより、補正後の座標である（x₀,y₀）が決定される。この操作を画像の全画素に関して行うことにより、歪曲収差が補正された画像を得ることができる。

また本発明では、補正式として、数式５により与えられる光学歪みT及びH₀に基づき決定される多次元式を用いることもできる。

ここで、H：実写中心円の中心と実写格子点との距離（以下、実写格子点高とする）、H₀：理想中心円の中心と理想格子点との距離（以下、理想格子点高とする）である。

なお、本発明に係る歪み補正は、レンズが光軸に関して軸対称であり、同様に歪曲収差も光軸に対称であると仮定する。すなわち、歪曲収差は中心からの距離に依存するものとする。

本発明に係る画像の歪み補正方法によれば、簡便に適切な理想格子点の位置を設定することができ、画像の歪み補正を高精度で行うことができる。

以下、本発明に係る画像の歪み補正方法に関して説明を行う。なお、本発明では、歪曲補正図を撮影して得られるデータである画像を実写歪曲補正画像とし、実写歪曲補正画像における中心円を実写中心円、格子点を実写格子点と呼ぶ。また、補正後の歪みがない理想画像における中心円を理想中心円、格子点を理想格子点と呼ぶ。

まず、歪曲補正図について説明する。図１は本発明に係る歪曲補正図の一例である。この歪曲補正図１には、等間隔に配置された複数の格子点P₁₁、P₁₂、…と、図全体の中央に配置された一個の中心円P₀が描かれる。また、中心円P₀の直径d_pと、各格子点の中心を結ぶ格子点間隔とが、所定の比を有している。図１の歪曲補正図１では中心円P₀の直径d_pがa、格子点間隔が2aであり、これらの比は1:2である。

格子点は、所定の面積を有する点である。すなわち、データとして取り込まれた実写格子点の各点は、ある領域を持った複数の画素により構成される。そこで本発明では、このような格子点を点として扱うために、格子点を形成する複数の画素の重心を格子点の位置とする。また、格子点は大きくなると歪みを多く含むことになるため、実写歪曲補正画像において重心位置を取得することが可能な程度の大きさとする。例えば、画像全体の大きさが480×640画素の場合、実写格子点が60〜100画素で構成される程度が好適である。また、歪曲補正図に含まれる格子点の数は、多いほど補正の精度が向上するが、同時に演算時間が増加するため、画像データの大きさや、処理装置の能力等に応じて適宜決定する。

中心円P₀は、格子点よりも大きい円であるが、小さすぎると実写中心円の直径を取得する精度が低下してしまう。しかし反対に、大きくなるとともに、レンズの中央から周辺に向かって大きくなる歪曲収差をその内部に含むことになる。そのため、中心円P₀は実写歪曲補正画像からその直径や面積を精度良く測定でき、且つ内部にほとんど歪みを含まない大きさとする。

画素の値が二値であるデジタル画像の場合には、上記の中心円P₀の大きさを適切に決定するために、例えば次のような方法を用いることができる。まず、デジタル画像上の擬似的な円であるデジタル円を考え、そのデジタル円において最も中心に近い画素から最外の画素までの画素数をデジタル半径とする。一方、その円を構成する画素数をその円のデジタル面積とし、このデジタル面積に基づき半径を逆算する。そして、これら二つの半径の差の絶対値を求め、誤差を得る。一例として、デジタル半径が3のデジタル円の場合、デジタル面積は29となる。このデジタル面積の値をπで除し、正の平方根を取ることにより半径を求めると、約3.038となる。従って、誤差は0.038となる。このようにして様々なデジタル半径について誤差を求め、その各値をある一定の画素数に対する相対的な誤差である換算誤差に置き換えると、この換算誤差はデジタル円の径（すなわち面積）が大きくなるにつれて徐々に小さくなる。これは、実写歪曲補正画像上で円の面積が大きくなるとともに、その面積に基づいて取得される径の値の精度が上昇することを意味する。そして、換算誤差が1.0未満のとき、デジタル画像上では画素の値は変化しないため、その誤差は検出されない。そこで、歪曲補正図の中心円P₀の大きさを、実写歪曲補正画像において上記の換算誤差が1.0未満となるような画素数を有する大きさとする。例えば、画像全体が480×640画素の大きさである場合、中心円P₀が3000画素（半径は約30画素）で構成される程度の大きさが好適である。

また、本発明に係る補正は、歪曲収差が光軸に関して軸対称であることを前提としているため、レンズの中心からの距離が等しい点における歪曲収差は等しい。それで、歪曲補正図において、中心円P₀の中心が全格子点の回転対称の中心となる位置に配置された場合、歪曲補正画像において歪曲収差が異なる格子点は、一つの象限内及びその象限を形成する軸上に配置されるもののうち、中心円P₀の中心からの距離が異なる格子点のみに限られてしまう。そこで、歪曲補正図に描かれた格子点のうち、より多くの格子点を解析の対象とするためには、中心円P₀の中心が全格子点の回転対称の中心とならないように、すなわち、全格子点の中心と中心円P₀の中心が一致しないように、全格子点を平行移動する。

そして、上記のように構成された歪曲補正図をカメラで撮影する。このとき歪曲補正図がカメラに対して垂直でなければ、実写歪曲補正画像において格子点の配置が等間隔でなくなるので、カメラのレンズの光軸と、カメラの正面に配置される歪曲補正図の中央（つまり、中心円P₀の中心）から立てた法線が一致するように調整を行い、その後撮影を行う。この調整方法の一例として、歪曲補正図に対して垂直に配置したレールの上にカメラを設置し、歪曲補正図に対してカメラを前後に移動させつつ中心円を複数回撮影し、その撮影された画像における円の縦方向の長さ及び横方向の長さの比が常に1:1に保持されるように、歪曲補正図もしくはレールの角度を調節するという方法を用いることができる。

さらに、レンズの光学設計の中心とCCD等の受光素子の中心が一致していないことがあるので、ここで、実写中心円の重心が座標系の原点となるように画像全体を平行移動し、実写歪曲補正画像の座標を補正する。

こうして座標系が適切に補正された実写歪曲補正画像において、実写中心円D₀の直径d_D及び実写格子点P₁₁、P₁₂、…の重心座標を求める。この直径は、実写中心円D₀の面積に基づき算出してもよい。実写中心円D₀の面積を円周率で除した値の正の平方根を取り、それを2倍すれば、円の直径を得ることができる。この場合、直径値に含まれる誤差は、画像から直接直径値を取得する場合の誤差の平方根分の1になるため、より正確な直径値を得ることができる。

次に、レンズの歪曲収差に基づく画像の歪みは画像の中央で最小となるため、実写中心円D₀には歪みがほとんど含まれないことに基づいて、実写中心円D₀を理想中心円Q₀とし、実写中心円D₀の直径d_Dを理想中心円Q₀の直径d_Qとする。そして、歪曲補正図１では、中心円P₀の直径d_pと各格子点の間隔とには所定の比が存在するため、理想中心円Q₀の直径d_Qと各理想格子点の間隔との間にも、同じ比が存在しなければならない。この条件を用いることにより、実写中心円D₀の直径d_Dによって各理想格子点の間隔が定まり、理想格子点Q₁₁、Q₁₂、…の各座標値が決定される。

図２は実写歪曲補正画像２において、実写格子点P₁₁、P₁₂、…上に理想格子点Q₁₁、Q₁₂、…を重ね合わせたものである（図２において格子点同士を結ぶ直線は、実写歪曲補正画像及び理想格子点の構成要素ではない）。実写格子点P₁₁、P₁₂、…の重心の各座標値が理想格子点Q₁₁、Q₁₂、…の重心の各座標値となるような補正式を得れば、その式に基づき、実写画像から、歪曲収差を除去した各画素の理想とする座標を求めることができ、歪みが補正された画像を作成することができる。なお、理想座標値が整数とならない場合には、ニアレストネイバー法、バイリニア法、バイキュービック法等による画素補完を行うことにより、各画素の輝度を決定する。画像がカラー画像の場合には、各画素毎に色情報も含めて補完を行う。

以下、実施例として実写歪曲補正画像を用いた歪み補正方法について具体的に説明する。実施例１ではピンホールカメラモデルによる補正方法について、実施例２では光学歪みによる補正方法について説明する。

本実施例では、ピンホールカメラモデルに基づき決定された数式２〜４、及び歪曲収差をモデル化した数式１を用いて歪曲収差補正を行う。ここでは、数式１のパラメータA、Bの決定方法の一例について説明する。図４にA、Bの決定方法のフローチャートを示す。

まず、実写歪曲補正画像２において、実写中心円D₀の直径d_D及び実写格子点D₁₁、D₁₂、…、D₄₅の各重心座標を取得する（ステップＳ１０）。そして、実写中心円D₀の直径d_Dを理想中心円Q₀の直径d_Qとした場合の各理想格子点Q₁₁、Q₁₂、…、Q₄₅の各座標を、歪曲補正図１における中心円の直径d_pと各格子点の間隔の比に基づいて決定する（ステップＳ１１）。

次に、以後行う演算の実行回数を設定する（ステップＳ１２）。この実行回数を多くすれば、より適切なA、Bの値が得られる可能性が増すため、可能な限り多く設定することが望ましいが、演算時間等によって適宜決定すればよい。

ここで、適当な値のパラメータA、Bを任意に設定し、数式１に代入する（ステップＳ１３）。レンズの焦点距離Fは既知であり、実写格子点D₁₁、D₁₂、…、D₄₅の各重心座標のx、y値はステップＳ１０において既知であるので、これらを数式２に代入することにより、θの値を得ることができる。このθを数式１に代入してθ₀を求め、数式３、４を用いて補正格子点の座標値x₀、y₀を算出する（ステップＳ１４）。補正格子点と、それに対応する理想格子点との距離を全点について求め、それらの距離の総和を算出し、その総和を保存する（ステップＳ１５）。

設定回数に達するまで、新たに任意に設定したパラメータA、Bの値を数式２に与え、同様の処理を繰返す（ステップＳ１６）。

上記処理を設定回数実行した後、保存されている実行回数個の距離の総和のうち、最小の値を与えたA、Bの組を数式１のパラメータA、Bとして採用する（ステップＳ１７）。そして、上述したように、実写画像の各画素に対して補正式である数式１〜４を適用し、各画素の位置を理想の画素位置へ移動することにより、歪曲収差が補正された画像を得ることができる。

また、補正式の精度を上げることを目的として、補正式において数式１の次数を上げた式を用いることもできる。この場合、パラメータの数が増加するが、上記と同様の決定方法を用いればパラメータ値の算出は可能である。

本発明に係る他の実施例として、光学歪み及び理想格子点高に基づく歪み補正方法について説明する。

この補正は、以下のような手順で補正式を得る。
（１）実写歪曲補正画像２において、実写中心円D₀の直径d_D及び実写格子点D₁₁、D₁₂、…、D₄₅の各重心座標を取得する。
（２）実写中心円D₀の直径d_Dを理想中心円Q₀の直径d_Qとし、この直径と格子点間隔の比に基づき、各理想格子点Q₁₁、Q₁₂、…、Q₄₅の座標を決定する。
なお、ここまでの手順１、２は、上記実施例１のステップＳ１０及びＳ１１と同一である。

（３）実写格子点の実写格子点高及び理想格子点高を求め、これらに基づき、各格子点毎に数式５から光学歪みTを求める。
（４）図５に示すように、縦軸を理想格子点高（単位：画素）、横軸を光学歪み（単位：％）として、手順３で求めた点をプロットする。図５においては20個の格子点を対象とするため、理想格子点高と光学歪みが共に0である理想中心円を含めて、21個の点がプロットされる。
（５）これらの点を結ぶ曲線を最もよく近似する多次回帰曲線を求める。例えば回帰式を5次式とすれば、式H₀=aT⁵+bT⁴+cT³+dT²+eTのパラメータa、b、c、d、eを最小二乗法等を用いて決定する。また、計算量は多くなるが、精度を高めるために、より高次の回帰曲線を設定しても構わない。

上記のようにして光学歪みと理想格子点高の関係式が得られれば、数式５を用いることにより、実写格子点高から理想格子点高を求めることができ、実写画像における全画素の理想の位置を求めることにより、歪曲収差補正を行うことができる。

本発明に係る歪曲補正図の一例。 本発明に係る実写歪曲補正画像の一例。 ピンホールカメラのモデル図。 本発明に係る補正式のパラメータA、Bの決定方法のフローチャート。 実写歪曲補正画像における格子点の理想格子点高及び光学歪みの関係を表すグラフ。

符号の説明

１…歪曲補正図
２…実写歪曲補正画像

Claims (5)

1. 等間隔に配置される複数の格子点及び、中央に配置され該格子点よりも大きい中心円を有する歪曲補正図をカメラで撮影することにより実写歪曲補正画像を取得し、
   該実写歪曲補正画像において、実写中心円の直径及び各実写格子点の重心位置を取得し、
   該中心円の直径と該格子点間隔との比に基づき各格子点の理想重心位置を決定し、
   該重心位置及び該理想重心位置に基づき補正式を求め、
   該補正式に基づき画像の歪みを補正することを特徴とする画像の歪み補正方法。
2. 前記実写歪曲補正画像において、前記中心円の面積を取得し、該面積に基づき中心円の直径を決定することを特徴とする請求項１に記載の画像の歪み補正方法。
3. 歪み補正前の画像における画素の座標（x,y）から、歪み補正後の座標（x₀,y₀）を下記数式１乃至数式４によって求めることにより、画像の歪みを補正することを特徴とする請求項１または２に記載の画像の歪み補正方法。
   

   

   

   

   

   ここで、
   F：レンズの焦点距離
   θ：レンズの中心点と補正前の画素の座標を結ぶ直線が光軸となす角度
   θ₀：レンズの中心点と補正後の画素の座標を結ぶ直線が光軸となす角度
   A、B：パラメータ
4. 前記補正式として、数式５により与えられる光学歪みT及びH₀に基づき決定される多次元式を用いて画像の歪みを補正することを特徴とする請求項１または２に記載の画像の歪み補正方法。
   

   

   ここで、
   H：実写中心円の中心と実写格子点の距離
   H₀：理想中心円の中心と理想格子点の距離
5. 画像の歪み補正に用いられる歪曲補正図であって、
   等間隔に配置される複数の格子点及び中央に配置され該格子点よりも大きい中心円を有することを特徴とする歪曲補正図。

Images