JP4775541B2 - 撮影画像における歪曲収差補正方法 - Google Patents

Description

本発明は、撮影画像における歪曲収差補正方法に関する。

近年、デジタルカメラなどの撮影機器の性能向上により、高画質の画像が比較的簡単に得られるようになっており、例えば、橋梁などの構造物をデジタルカメラで撮影し、その撮影画像から構造物の形状、大きさなどの各種寸法を、非接触にて且つ高精度に計測し得るシステムが開発されている。

しかし、デジタルカメラなどの光学レンズを用いたシステムでは、レンズの歪曲収差による計測誤差が含まれてしまう。
このため、計測対象物に予めターゲットマークが設けられたキャリブレーション板を取り付けておき、このキャリブレーション板を撮影することにより、歪曲収差を補正するようにした計測方法が提案されている（例えば、特許文献１参照）。
特開平５−１１０９２６

上述したように、計測対象物に取り付けられた基準となるキャリブレーション板を撮影することにより歪曲収差を補正する計測方法によると、橋梁などの大型構造物である計測対象物、すなわち撮影対象物が広範囲におよぶものには、不向きである。

そこで、本発明は、撮影対象物に、予め、基準となるキャリブレーション板を付けること無く歪曲収差の補正を行い得る撮影画像における歪曲収差補正方法を提供することを目的とする。

上記課題を解決するため、本発明の請求項１に係る撮影画像における歪曲収差補正方法は、
レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′_ｘ，ｕ′_ｙ）を検出するステップと、
下記（Ａ）式および（Ｂ）式にて表わされる収差を表す収差モデル量（α_ｘ，α_ｙ）にずれによる回転移動および並行移動を考慮した平面の式（下記（Ｃ）式および（Ｄ）式に示す）で表されるずれ量算出式を加えて得られる下記（Ｅ）式および（Ｆ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとを具備した方法である。
α _ｘ ＝ｋ _１ ｘ（ｘ ^２ ＋ｙ ^２ ） ・・・（Ａ）
α _ｙ ＝ｋ _１ ｙ（ｘ ^２ ＋ｙ ^２ ） ・・・（Ｂ）
ｕ _ｘ ＝ａ _１ ｘ＋ａ _２ ｙ＋ａ _３ ・・・（Ｃ）
ｕ _ｙ ＝ａ _４ ｘ＋ａ _５ ｙ＋ａ _６ ・・・（Ｄ）
ｕ′ _ｘ ＝ａ _１ ｘ＋ａ _２ ｙ＋ａ _３ ＋ｋ _１ ｛ｘ _ｄ （ｘ _ｄ ^２ ＋ｙ _ｄ ^２ ）−ｘ _ｕ （ｘ _ｕ ^２ ＋ｙ _ｕ ^２ ）｝ ・・・（Ｅ）
ｕ′ _ｙ ＝ａ _４ ｘ＋ａ _５ ｙ＋ａ _６ ＋ｋ _１ ｛ｙ _ｄ （ｘ _ｄ ^２ ＋ｙ _ｄ ^２ ）−ｙ _ｕ （ｘ _ｕ ^２ ＋ｙ _ｕ ^２ ）｝ ・・・（Ｆ）
但し、ｕ′ _ｘ は収差を含んだｘ方向の移動量、ｕ′ _ｙ は収差を含んだｙ方向の移動量、ｘ _ｕ は移動前のｘ座標（収差を含まず）、ｙ _ｕ は移動前のｙ座標（収差を含まず）、ｘ _ｄ は移動後のｘ座標（収差を含まず）、ｙ _ｄ は移動後のｙ座標（収差を含まず）、ｕ _ｘ はｘ方向移動量（収差を含まず）、ｕ _ｙ はｙ方向移動量（収差を含まず）である。

上記歪曲収差補正方法によると、撮影対象物をずれた位置で撮影した少なくとも２枚の撮影画像における所定領域についての収差を含むずれ量を、収差モデル量にずれによる回転移動および並行移動を表す平面の式を加えて得られた変形量算出式で表すとともに、この変形量算出式に係る平面を表す式の少なくとも収差モデル量の係数を、デジタル画像相関法で求められたずれ量を用いて、最小二乗法により決定するようにしたので、例えば基準となるキャリブレーション板を用いることなく、撮影画像だけで、歪曲収差の補正を行うことができる。

［実施の形態］
以下、本発明の実施の形態に係る撮影画像における歪曲収差補正方法を、図面に基づき説明する。

本実施の形態においては、例えばデジタルカメラなどの撮影機器（以下、カメラという）を用いて、すなわちレンズを介して計測対象物を撮影するとともに、このカメラで撮影された計測対象物の撮影画像に基づき当該計測対象物の形状、大きさなどの表面に関わる各種寸法を計測する際に、レンズの歪曲収差による変位分が誤差として含まれているため、この歪曲収差による変位分を除去するための歪曲収差補正方法について説明する。

本実施の形態に係るに歪曲収差補正方法は、計測対象物、すなわち撮影対象物の所定領域（以下、計算領域といい、具体的には、数十画素×数十画素の範囲）を、カメラに対して所定距離だけずらせた状態で撮影した少なくとも２枚の撮影画像に、デジタル画像相関法を適用して、両撮影画像におけるそのずれ量を求めるとともに、このずれ量を用いてレンズによる歪曲収差を補正する方法である。

まず、デジタル画像相関法を用いて、撮影対象物のずれ量（ここでは、移動量と称して説明する）を測定する方法について説明する。
デジタル画像相関法においては、計算領域の移動量を輝度値分布の相関を用いて検出する。これは、物体表面の乱反射像は物体表面と共に移動し、移動の前後でその特徴が保存されるということに基づくもので、移動前後の画像における輝度値の相関は下記（１）式で求められる。

ここで、Ｉ_ｙ（ｘ，ｙ）は移動前画像の座標（ｘ，ｙ）における輝度値、Ｉ_ｄ（ｘ^＊，ｙ^＊）は移動後画像の座標（ｘ^＊，ｙ^＊）における輝度値である。座標（ｘ，ｙ）と（ｘ^＊，ｙ^＊）との間には下記（２）式の関係がある。

ここで、ｕ_ｘおよびｕ_ｙはそれぞれ計算領域画像の中心におけるｘ方向およびｙ方向の移動量である。図１に示すように、移動前のＰ点が移動後にＰ′点に移動したとすると、Ｐ点の移動量がｕ_ｘ，ｕ_ｙになる。

そして、上記（１）式のＳを最小とする移動量ｕ_ｘ，ｕ_ｙを決定すればよい。なお、１画素以下の解像度で変位を検出する場合には、双一次関数または３次のスプライン関数を利用して、輝度値を補間すればよい。また、計算速度を短縮するため、実際の相関演算方法としては、ニュートン・ラフソン法などが用いられる。

次に、歪曲収差について説明する。
歪曲収差とは、例えば直線である物体が曲線となって撮影される現象を言い、収差の中心（多くの場合は、画像の中心であるが、そうでない場合もある）からの距離を用いてモデル化することができる。

例えば、図２に示すように、本来、Ａ点の位置に写るべき点が歪曲収差によりＢ点に写ったとする。
このＡ点とＢ点の距離（収差の量）は、半径方向（放射方向）歪曲収差α_ｒと円周方向歪曲収差α_θとに分解することができる。

そして、円周方向歪曲収差α_θは半径方向歪曲収差α_ｒに比べて十分に小さく、例えば円周方向歪曲収差α_θを無視した場合、半径方向歪曲収差α_ｒは、収差の中心からの距離ｒの関数として、下記（３）式にて表される。

ここで、ｋ_１，ｋ_２，ｋ_３，・・・は収差の量を表す係数である。多くの場合、高次項を無視できるので、（３）式は下記（４）式にて近似することができる。

すなわち、画像上の歪曲収差の量（幾何学的なずれ量）は収差の中心からの距離ｒの３乗に比例し、その係数ｋ_１を決定することで歪曲収差の量を知ることができ、これに基づき補正を行うことができる。

そして、上記半径方向歪曲収差α_ｒをｘ方向およびｙ方向に分解した場合、すなわち直交座標系における歪曲収差の量は、下記（５）式で表される。

ここで、θ＝arctan（ｘ，ｙ）である。

上述したように、デジタル画像相関法により、撮影対象物をそのまま移動させた場合、すなわち剛体変位をさせた場合の移動前後における撮影画像から、画像における輝度値の相関を用いて当該撮影対象物の移動量を検出することができる。言い換えれば、この方法を用いることにより、撮影対象物の剛体並進変位（以下、並行移動または剛体並行移動という）の分布を求めることができる。また、剛体回転変位（以下、回転移動または剛体回転移動という）の分布も求めることができる。

図３は、ｘ方向（水平方向）に撮影対象物を移動させた場合にデジタル画像相関法で得られた変位分布を示す。レンズに歪曲収差が無い場合には、変位に分布は現れずに一様な値となる。一方、収差がある場合には、図３に示すような変位分布が現れる。この分布を用いて歪曲収差を検出することになる。なお、図３の（ａ）はｘ方向変位を示し、（ｂ）はｙ方向変位を示している。

ここで、収差を含む点の座標値をｘ′，ｙ′、収差の無い理想的な場合の点の座標をｘ，ｙ、ｘ方向およびｙ方向の収差の量をα_ｘ，α_ｙとすると、それらの関係は下記（６）式で表される。

デジタル画像相関法により得られる移動量、すなわち収差を含んだｘ方向およびｙ方向の移動量ｕ′_ｘ，ｕ′_ｙは下記（７）式で表される。

ここで、ｘ′_ｕは移動前のｘ座標（収差を含む）、ｙ′_ｕは移動前のｙ座標（収差を含む）、ｘ′_ｄは移動後のｘ座標（収差を含む）、ｙ′_ｄは移動後のｙ座標（収差を含む）、α_ｘｕは点（ｘ_ｕ，ｙ_ｕ）におけるｘ方向収差、α_ｙｕは点（ｘ_ｕ，ｙ_ｕ）におけるｙ方向収差、α_ｘｄは点（ｘ_ｄ，ｙ_ｄ）におけるｘ方向収差、α_ｙｄは点（ｘ_ｄ，ｙ_ｄ）におけるｙ方向収差、ｘ_ｕは移動前のｘ座標（収差を含まず）、ｙ_ｕは移動前のｙ座標（収差を含まず）、ｘ_ｄは移動後のｘ座標（収差を含まず）、ｙ_ｄは移動後のｙ座標（収差を含まず）、ｕ_ｘはｘ方向移動量（収差を含まず）、ｕ_ｙはｙ方向移動量（収差を含まず）である。

ところで、撮影対象物が剛体並行移動および剛体回転移動（剛体変位でもある）した場合を考えてみると、その移動量（ずれ量）については、平面を表す方程式（ずれ量算出式）でもって近似し得るという知見を得た。

撮影対象物が剛体並行移動した場合には、移動量ｕ_ｘおよびｕ_ｙは、下記（８）式にて表すことができる。

ここで、移動量ｕ_ｘおよびｕ_ｙは撮影画像上で一様の値（定数）となる。一方、撮影対象物が剛体回転移動した場合には、移動前座標と移動後座標との関係は回転行列を用いて、下記（９）式にて表される。

したがって、撮影対象物が剛体回転移動した場合の移動量ｕ_ｘおよびｕ_ｙは、下記（１０）式で表すことができる。

ここでθは回転角度であるので、撮影した特定の画像に対して定数となる。

すなわち、剛体並行移動を測定した場合には、上記（７）式におけるｕ_ｘおよびｕ_ｙは一定値（測定領域内で一様）となる。一方、剛体並行移動と剛体回転移動の両者を測定した場合には、ｕ_ｘおよびｕ_ｙは２次元の平面として表すことができるため、測定した移動量は下記（１１）式で示す変形量算出式にて表される。

収差のモデルは収差を含まない座標の関数として表されているが、測定結果は収差を含む座標の関数として得られる。

ところで、デジタル画像相関法により得られる移動量（ずれ量）は、収差を含む点（ｘ′，ｙ′）の関数として得られるが、（１１）式の収差のモデルは当該収差を含まない点（ｘ，ｙ）の関数として与えられている。そのため、各係数を直接決定することはできない。そこで、最小二乗法と繰返し演算を組み合わせて各係数を決定する。

まず、収差を含む座標値（ｘ′，ｙ′）を（ｘ，ｙ）に初期値として代入し、最小二乗法により各係数の近似値を決定する。すなわち、下記（１２）式にて計算することができる。勿論、最小二乗法を用いる場合には、複数の画素について計算が行われる。

ここで、

上記式中、下付添字の１・・・ｎはデータ点のインデックスを示す。以上の計算により得られた各係数の近似値を用い、収差を含まない座標（ｘ，ｙ）の近似値を計算する。その座標値（ｘ，ｙ）を用い、再び、同様の最小二乗法により各係数を計算する。これを各係数の値が収束するまで繰り返すことにより、各係数を決定することができる。

なお、収差の中心を求める必要がある場合には、収差の中心座標を未知数とし、非線形最小二乗法を用いればよい。
以上の方法により、収差モデル量すなわち収差量を決定した後、その値を用いて撮影画像が補正される。撮影画像の歪みを補正する場合、例えば画像の輝度値補間法などが用いられる。

ここで、具体例について説明しておく。
上述した図３には剛体並行移動量の測定結果が示されており、（ａ）はｘ方向、（ｂ）はｙ方向である。この測定結果から歪曲収差を検出した。

すなわち、得られた各係数を用いて、図３の移動量分布に収差補正を行った結果を、図４に示す。図４（ａ）はｘ方向、図４（ｂ）はｙ方向を示す。すなわち、収差補正後には画像上の各点において移動量の値はほぼ一様となっており、剛体並行移動の測定としては、妥当な結果が得られている。

ここで、上述した歪曲収差補正方法をステップ様式にて記載しておく。
すなわち、この歪曲収差補正方法は、レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′_ｘ，ｕ′_ｙ）を検出するステップと、収差を表す収差モデル量（α_ｘ，α_ｙ）にずれによる回転移動および並行移動を考慮した平面の式で表されるずれ量算出式を加えて得られる下記（Ａ）式および（Ｂ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとが具備されている。

ｕ′_ｘ＝ａ_１ｘ＋ａ_２ｙ＋ａ_３＋α_ｘ ・・・（Ａ）
ｕ′_ｙ＝ａ_４ｘ＋ａ_５ｙ＋ａ_６＋α_ｙ ・・・（Ｂ）
上述したように、撮影対象物をずれた位置で撮影した少なくとも２枚の撮影画像における計算領域についての収差を含むずれ量を、収差モデル量に撮影画像のずれによる回転移動および並行移動を表す平面の式を加えた変形量算出式で表すとともに、この変形量算出式に係る平面を表す方程式の各係数、少なくとも収差モデル量を表す係数を、デジタル画像相関法で求められたずれ量を用いて、最小二乗法により決定するようにしたので、例えば基準となるキャリブレーション板を用いることなく、撮影画像だけで歪曲収差の補正を行うことができる。

ところで、上記実施の形態においては、計測対象物を剛体変位させた場合について説明したが、その替わりに、カメラを移動させてもよい。

本発明の実施の形態に係る歪曲収差補正方法を説明するための撮影対象物の計算領域の位置関係を示す図である。 同歪曲収差補正方法を説明するための歪曲収差を示す図である。 同歪曲収差補正方法における剛体変位を測定した際の変位分布を示す図で、（ａ）はｘ方向変位、（ｂ）はｙ方向変位を示す。 同変位分布に対して収差補正を行った場合の変位分布を示す図で、（ａ）はｘ方向変位、（ｂ）はｙ方向変位を示す。

Claims (1)

1. レンズを介して撮影対象物の所定領域を、当該レンズと相対位置が異なるようにいずれかをずらせて少なくとも２枚の撮影画像を得るステップと、
   これら少なくとも２枚の撮影画像にデジタル画像相関法を適用して両撮影画像上での所定領域のずれ量（ｕ′_ｘ，ｕ′_ｙ）を検出するステップと、
   下記（Ａ）式および（Ｂ）式にて表わされる収差を表す収差モデル量（α_ｘ，α_ｙ）にずれによる回転移動および並行移動を考慮した平面の式（下記（Ｃ）式および（Ｄ）式に示す）で表されるずれ量算出式を加えて得られる下記（Ｅ）式および（Ｆ）式で示される変形量算出式に、上記ステップで検出されたずれ量を代入し、最小二乗法を用いて当該変形量算出式の少なくとも収差モデル量を表す係数を決定するステップと、
   上記決定された収差モデル量の係数を用いて歪曲収差の補正を行うステップとを具備したことを特徴とする撮影画像における歪曲収差補正方法。
   α _ｘ ＝ｋ _１ ｘ（ｘ ^２ ＋ｙ ^２ ） ・・・（Ａ）
   α _ｙ ＝ｋ _１ ｙ（ｘ ^２ ＋ｙ ^２ ） ・・・（Ｂ）
   ｕ _ｘ ＝ａ _１ ｘ＋ａ _２ ｙ＋ａ _３ ・・・（Ｃ）
   ｕ _ｙ ＝ａ _４ ｘ＋ａ _５ ｙ＋ａ _６ ・・・（Ｄ）
   ｕ′ _ｘ ＝ａ _１ ｘ＋ａ _２ ｙ＋ａ _３ ＋ｋ _１ ｛ｘ _ｄ （ｘ _ｄ ^２ ＋ｙ _ｄ ^２ ）−ｘ _ｕ （ｘ _ｕ ^２ ＋ｙ _ｕ ^２ ）｝ ・・・（Ｅ）
   ｕ′ _ｙ ＝ａ _４ ｘ＋ａ _５ ｙ＋ａ _６ ＋ｋ _１ ｛ｙ _ｄ （ｘ _ｄ ^２ ＋ｙ _ｄ ^２ ）−ｙ _ｕ （ｘ _ｕ ^２ ＋ｙ _ｕ ^２ ）｝ ・・・（Ｆ）
   但し、ｕ′ _ｘ は収差を含んだｘ方向の移動量、ｕ′ _ｙ は収差を含んだｙ方向の移動量、ｘ _ｕ は移動前のｘ座標（収差を含まず）、ｙ _ｕ は移動前のｙ座標（収差を含まず）、ｘ _ｄ は移動後のｘ座標（収差を含まず）、ｙ _ｄ は移動後のｙ座標（収差を含まず）、ｕ _ｘ はｘ方向移動量（収差を含まず）、ｕ _ｙ はｙ方向移動量（収差を含まず）である。

Images