JP3429280B2 - 画像のレンズ歪みの補正方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像のレンズ歪み
の補正方法に関する。

【０００２】

【従来の技術】ビデオカメラやデジタルカメラなどで撮
影された画像は、カメラのレンズによって歪み（歪曲収
差）が生じる。歪曲収差は、一般に広角であるほど激し
く、かつ画像の周辺ほど大きくなり、特にズームレンズ
の場合には大きく３％以上に達する場合もある。またこ
の歪曲収差は、いわゆるタル型や糸巻き型に画像が変形
するため、コンピュータビジョンにおける推定や画像を
用いた計測等に悪影響を与える問題がある。

【０００３】カメラのレンズ歪みを決定する歪み係数等
のパラメータはカメラの内部パラメータと呼ばれ、これ
を求めることをカメラキャリブレーションという。カメ
ラキャリブレーションによりカメラの内部パラメータを
求めることができれば、この内部パラメータを用いた画
像処理により画像のレンズ歪みを補正することができ
る。

【０００４】従来のカメラキャリブレーションの方法と
して、例えば、「カメラキャリブレーション」（浅田
尚紀、コンピュータビジョン：技術評論と将来展望、１
９９８年６月発行）等に開示されている。

【０００５】

【発明が解決しようとする課題】上述した従来の方法
は、三次元空間内のある点と、画像中でそれに対応する
点（対応点）との関係式を導き、内部パラメータを推定
するものである。この対応点を与える方法は以下の２つ
がある。 （１）人間が対応点をマウス等で指定する。 （２）格子の交点、多角形や多面体の頂点など特徴ある
点を自動的に検出する。これらはどちらも測定誤差が含
まれるため、その誤差の影響を抑えるために数多くの対
応点を与えなければならない。つまり、対応点の数が多
ければ多いほど求める内部パラメータの精度が良くなる
ため、通常は膨大な数（数十〜数百）の点の対応を指定
しなければならない。

【０００６】また、これらの方法には以下の問題点があ
る。 （１）の人間がマウス等で指定する方法は、誤差が大き
く、単調な作業であり、その労力も大変なものになる。
さらに疲労が指定する時の誤差を大きくする。 （２）の特徴点を画像処理によって自動検出する方法
（特徴点検出法）は、その処理で検出することができる
点の数に限りがある。例えば、格子の交点を検出する場
合、縦線８本と横線１１本でも合計の交点の数は８８点
にすぎない。精度よくパラメータを求めるには少なくと
も２００点以上必要といわれており、これに相当する格
子や多面体などを準備する必要がある。

【０００７】本発明は上述した種々の問題点を解決する
ために創案されたものである。すなわち、本発明の目的
は、（１）対応点を与える必要がなく、（２）特殊な器
具や物体を用いずに、（３）画像上のすべての点を用い
て、内部パラメータを自動的に高精度に求めることがで
き、これにより画像のレンズ歪みを高精度に補正するこ
とができる画像のレンズ歪みの補正方法を提供すること
にある。

【０００８】

【課題を解決するための手段】本発明によれば、コンピ
ュータ内の任意の画像Ｉ₁を印刷する画像印刷ステップ
（Ａ）と、印刷した画像Ｉ₁をレンズ歪みを有するカメ
ラで撮影し撮影画像Ｉ₂をコンピュータ内に得る撮像ス
テップ（Ｂ）と、画像Ｉ₁をパラメータθで人為的に歪
ませかつ得られた歪画像Ｉ₁ ^udが撮影画像Ｉ₂と一致する
パラメータθを求めるパラメータ推定ステップ（Ｃ）
と、得られたパラメータθを用いてカメラの撮影画像を
補正する画像補正ステップ（Ｄ）とからなる、ことを特
徴とする画像のレンズ歪みの補正方法が提供される。

【０００９】上記本発明の方法によれば、まず、任意の
画像Ｉ₁（ＣＧでも、スキャナで取り込んだ写真でも、
デジタルカメラで撮影したものでもよい）をキャリブレ
ーションパターンとしてコンピュータ内に作成する。そ
してその画像Ｉ₁を歪みのない印刷機で印刷する。印刷
した画像Ｉ₁を、補正したいカメラで撮影し、歪んだ撮
影画像Ｉ₂を得る。ある内部パラメータθを与えると、
画像Ｉ₁を人為的に歪ませることができる。歪ませた歪
画像Ｉ₁ ^udと歪んだ画像Ｉ₂とを比較して正確に一致すれ
ば、与えたパラメータθが求めるものであり、このパラ
メータθを用いてカメラのレンズ歪みを補正することが
できる。

【００１０】本発明の好ましい実施形態によれば、前記
パラメータθは、位置を補正するための位置補正パラメ
ータθ^uと、歪みを補正するための歪み補正パラメータ
θ^dとからなる。

【００１１】前記位置補正パラメータθ^uは、画像Ｉ₁か
ら位置を補正した画像Ｉ₁ ^uへの変換パラメータであり、
画像Ｉ₁内の点ｐの輝度値Ｉ₁（ｐ）と、点ｐに対応する
画像Ｉ₁ ^u内の点ｐ＋ｕの輝度値Ｉ₁ ^u（ｐ＋ｕ）との差ｒ
＝Ｉ₁（ｐ）−Ｉ₁ ^u（ｐ＋ｕ）が画像上全体で最小にな
る変換パラメータを最小二乗法で求め、これを位置補正
パラメータθ^uとする。

【００１２】また前記歪み補正パラメータθ^dは、歪画
像Ｉ₁ ^udから画像Ｉ₁ ^uへの変換パラメータであり、画像
Ｉ₂内の点ｐの輝度値Ｉ₂（ｐ）と、点ｐに対応する画像
Ｉ₁ ^u内の点ｆ（ｐ）の輝度値Ｉ₁ ^u（f（ｐ））との差ｒ
＝Ｉ₂（ｐ）−Ｉ₁ ^u（f（ｐ））が画像上全体で最小にな
る変換パラメータを最小二乗法で求め、これを歪み補正
パラメータθ^dとする。

【００１３】さらに前記画像補正ステップ（Ｄ）におい
て、得られた歪み補正パラメータθ ^dを用いてカメラの
撮影画像を補正する。

【００１４】すなわち、図１に示すように、撮影された
画像Ｉ₂中のどの位置に元の画像Ｉ₁が写っているのかが
わからないため、歪画像Ｉ₁ ^udを得るために、２段階の
過程を踏む。すなわち、まず画像Ｉ₁から位置を補正し
た画像Ｉ₁ ^uを得て、その後画像Ｉ₁ ^uから歪みを施して歪
画像Ｉ₁ ^udを得る。

【００１５】（第１段階）まず、画像Ｉ₁から画像Ｉ₁ ^u
への変換パラメータθ^uを求める。これには内部パラメ
ータを含まない。画像Ｉ₁内の点ｐに対応するＩ₁ ^u内の
点はｕだけずれてｐ＋ｕと表される。ここでｕはｐとθ
^uによって変わる。画像Ｉ₁と撮影画像Ｉ₂が正確に一致
するということは、ｐでの輝度値Ｉ₁（ｐ）と、ｐ＋ｕ
での輝度値Ｉ₂（ｐ＋ｕ）が等しくなければならない。
つまり、各点での輝度の差ｒ＝Ｉ₁（ｐ）−Ｉ₂（ｐ＋
ｕ）が０にならなければならない。この差を二乗したも
のを、すべての点について和をとったΣｒ²を評価関数
として、これが最小になるようなパラメータθ^uを繰り
返し計算により自動的に求める。

【００１６】（第２段階）次に、歪画像Ｉ₁ ^udから画像
Ｉ₁ ^uへの変換パラメータθ^dを求める。これが歪み係数
などの内部パラメータである。第１段階と同様である
が、画像Ｉ₁ ^uから歪画像Ｉ₁ ^udではなく、逆に歪画像Ｉ₁
^udから画像Ｉ₁ ^uへの変換を考える。撮影画像Ｉ₂内の点
ｐに対応する画像Ｉ₁ ^u内の点はｆ（ｐ）と表される。こ
こでｆ（）は、ｐとθ^dによって変わる。撮影画像Ｉ₂と
画像Ｉ₁ ^uが正確に一致するということは、ｐでの輝度値
Ｉ₂（ｐ）と、ｆ（ｐ）での輝度値Ｉ₁ ^u（ｆ（ｐ））が
等しくなければならない。つまり、各点での輝度の差ｒ
＝Ｉ₂（ｐ）−Ｉ₁ ^u（ｆ（ｐ））が０にならなければな
らない。この差を二乗したものを、すべての点について
和をとったΣｒ²を評価関数として、これが最小になる
ようなパラメータθ^uを繰り返し計算により自動的に求
める。

【００１７】（補正）画像Ｉ₁から歪画像Ｉ₁ ^udを得た際
に用いた内部パラメータθ^dを用いて、逆にＩ₁ ^udからＩ
₁を得ることができる。つまり、施した歪みを元に戻す
処理が可能である。それと同じ処理をカメラで撮影した
撮影画像Ｉ₂に対して行うと、歪みを補正した画像を得
ることができる。

【００１８】前記パラメータ推定ステップ（Ｃ）は、前
記位置補正パラメータθ^uと前記歪み補正パラメータθ^d
を交互に繰り返してパラメータθを求める、ことが好ま
しい。

【００１９】また前記パラメータθは、画像Ｉ₁から画
像Ｉ₁ ^udへの変換パラメータであり、画像Ｉ₁内の点ｐの
輝度値Ｉ₁（ｐ）と、点ｐに対応する画像Ｉ₂内の点ｄ
（ｐ＋ｕ（ｐ））の輝度値Ｉ₂（ｄ（ｐ＋ｕ（ｐ））と
の差ｒ＝Ｉ₁（ｐ）-Ｉ₂（ｄ（ｐ＋ｕ（ｐ））が画像上
全体で最小となる変換パラメータを最小二乗法で求め、
これをパラメータθとするのがよい。この方法により単
一のステップでパラメータθを推定することができる。

【００２０】

【発明の実施の形態】以下、本発明の好ましい実施形態
を図面を参照して説明する。なお、各図において、共通
する部分には同一の符号を付し、重複した説明を省略す
る。

【００２１】カメラのキャリブレーション（校正）とレ
ンズの歪み補正はコンピュータビジョンにおける重要な
プロセスの一つである。最近では自己キャリブレーショ
ンが検討されているが、多くの研究では、簡単にするた
めに、歪みを考察せずにそれぞれの問題点を定式化して
いる。従って、カメラの内部パラメータを予めキャリブ
レーションする必要がある。

【００２２】キャリブレーションのソフトウェアの幾つ
かはインターネットを介し利用されてきた（例えば、Ts
ai'sの方法）。しかし、そのような通常の方法では、画
像上の点と、既知の三次元座標（平面、あるいは立方体
または模型のような何らかの構造体）上の点の対応が必
要とされ、その後、点の変換が推定される。このような
方法では、点の対応は人間が推定しなければならない。
そのため、手作業による誤差が生じ信頼性に欠ける。そ
の上、その方法は多くの時間と忍耐を要し、カメラのズ
ームイン／ズームアウトに合わせて歪みパラメータの変
化を測定することはほとんど不可能である。

【００２３】代替方法の一つはマーカーを検出すること
である。その方法は、テンプレートマッチング法によっ
て行うことができ、サブピクセル程度であってもよい。
しかし、画像上のどのマーカーが予め知られた空間内の
どの座標に対応するかという別の対応問題がある。その
推定精度を改善するにはマーカーの数を増加する必要が
あるため、この対応問題は無視することはできない。こ
の問題を回避できても、対応に用いる点の数が制限され
ることは変わらない。

【００２４】本発明において、レンズのズーム操作によ
る画像の歪みを補正する新たな補正方法を提案する。提
案する方法では、対応を設定し、マーカー検出よりも一
層正確な推定が期待される。その理由はこの方法ではマ
ーカーの幾つかの点を用いるのではなく画像の総ての点
を用いるためである。この方法は、運動分析の領域に適
用される画像レジストレーション（重ね合わせ）法に基
づき、以下の３つの段階、即ち、アフィン変換、平面射
影変換、レンズ歪みの復旧からなる。

【００２５】（レジストレーションによる３つの推定ス
テップ）キャリブレーションには点間の対応が必要であ
り、レジストレーションがその要件を満たすことができ
るということが基本的な着想である。提案する方法で
は、理想的なキャリブレーションパターンと印刷したそ
のパターンをカメラで撮影した歪んだ画像とを対応させ
る。紙に印刷したパターンのサイズは簡単に測定できる
ため、パターン内の各ピクセルの三次元座標は容易に決
めることができる。この方法の他の特徴は、いかなる画
像でもキャリブレーションパターンとして使用ができる
ことと、一度パラメータを推定してしまえば、そのパラ
メータはレンズのズーム操作が変らない限り使用できる
ことである。

【００２６】上記方法は以下の３つのステップからな
る。第１のステップは、アフィン・パラメータと並進パ
ラメータで表される画像にパターンを粗変換することで
ある。第２ステップは、透視投影下での平面変換の正確
なパラメータを非線形最適化法によって推定する。第３
ステップは、レンズ歪みのため第２ステップを適用した
後に残る残差を最小化すべく歪みパラメータを推定す
る。

【００２７】（検出したマーカーによるアフィン変換）
最初に、パターン画像Ｉ₁を作成する。そのパターン画
像にはそれぞれの隅に座標ｍ_r、ｍ_g、ｍ_bをもつ三色
（赤、緑、青）マーカーを有する。次いで、パターン画
像Ｉ₁は、マーカーの検出を容易にするようにカラーで
印刷される。その後、キャリブレーションしようとする
カメラで、印刷したパターンＩ₁の画像Ｉ₂を撮影する。
画像Ｉ₂におけるマーカーｍ_r′、ｍ_g′、ｍ_b′の座標を
閾値処理(thresholding) またはテンプレートマッチン
グによって検出する。ここで計算するものは、パターン
画像Ｉ₁から画像Ｉ₂に撮影したパターンへ変換するパラ
メータである。この変換は六つのパラメータθα=（θ
α₁,．．．，θα₆）^Tで表され、これらのパラメータの
最初の4つはアフィン・パラメータであり、最後の2つは
並進パラメータである。p＝（ｘ,ｙ）^TをパターンＩ₁上
の一点とし、ｐ＋ａ（ｐ；θα）をｐに対応するＩ₂上
の一点とする。ここで、［数１］の式（１）が成り立
つ。次いで、式（２）の一次方程式を解いて、パラメー
タθαを求める。

【数１】

【００２８】（画像レジストレーション；射影的微調
整）上記に説明した第１のステップでは、アフィン変換
に関し僅かに三つの対応点が採用されるに過ぎない。次
に、平面射影変換を利用し、画像のレジストレーション
である個々の点の正確な対応を設定する。

【００２９】（モデルと定式化）ここで行うことは、画
像Ｉ₁におけるｐ_iと、ｐ_iに対応する画像Ｉ₂におけるｐ
_i＋ｕ（ｐ_i；θ^u）との間の輝度の残差を最小化するこ
とである。ここで、［数２］の式（３）、（４）のよう
に定義すると、最小化すべき関数は、式（５）のとおり
となる。

【数２】

【００３０】ここで、ｕ( )は透視投影のもとで視点を
ある点から他へ変えるときの平面上の点の変位である。
その変位は透視投影のもとでの平面の運動モデルであ
り、運動分析にしばしば用いられる８つのパラメータθ
^u=（θ₁ ^u,．．．，θ₈ ^u）^Tで表される。

【００３１】（最小化方法）有名な非線形最適化技法で
あるガウス−ニュートン法によって関数（５）を最小化
しパラメータθ^uを推定する。パラメータは［数３］の
式（６）により更新する。θ^uの最初の６つの要素の初
期値として第１段階で求めたアフィン・パラメータθα
を用いる。θ^uの最後の２つは０に初期設定する。関数
（５）を減少させる方向δθ^uを式（７）〜（１０）に
より計算する。

【数３】

【００３２】これは最小二乗法の定式化と同じであり、
即ち、ｋ=１，．．．，８に対し［数４］の式（１１）
のように書き表される連立一次方程式と同じである。部
分導関数を微分の連鎖律を用い式（１２）のように変換
する。式（６）におけるδθ ^u計算の反復は、δθ^uが収
束するまで繰り返す。各反復毎に、前回の反復で推定し
たパラメータをｕ（ｐ）の計算に用いる。反復計算が停
止したときの、推定パラメータをθ^u'とする。

【数４】

【００３３】（画像レジストレーション；歪みの微調
整）前ステップで、レンズ歪みによる影響以外の、パタ
ーン画像と歪んだ画像のパターンとの間の画像レジスト
レーションは終了している。

【００３４】（歪みのモデル）ある画像における、歪み
のない座標と歪みのある座標との間の関係は、通常、以
下の５つのカメラの内部パラメータ、即ち、歪みパラメ
ータｋ₁とｋ₂、画像中心の座標（ｃ_x、ｃ_y）^Tおよびピ
クセルの幅と高さの比率ｓ_xによってモデル化される。
これらのパラメータをθ^d=（ｋ₁，ｋ₂，ｃ_x，ｃ_y，
ｓ_x）^Tとする。歪みは（ｃ_x、ｃ_y）^Tに原点を有する座
標系で表わされる。一方、前項で用いた座標系は最上部
左隅に原点を有する。従って、以下に示す他の表記法を
導入する。

【００３５】ｐ_u=（ｘ_u，ｙ_u）^Tとｐ_d=（ｘ_d，ｙ_d）^Tを
それぞれ歪みのない画像と歪みのある画像における点と
し、両画像はその画像の左上隅に原点を有する。
（ξ_u，η_u）^Tと（ξ_d，η_d）^Tをそれぞれ原点が画像の
中心（ｃ_x，ｃ_y）^Tにある歪みのない画像と歪みのある
画像における点とする。これらの点は［数５］の式（１
３）〜（１５）のように書き表すことができる。上記す
るように、ξ_uはξ_dの関数として陽に表されるが、ξ_d
はそうではない。ξ_uからξ_dを求めるためには、式（１
６）を反復して解くことになる。

【数５】

【００３６】上述した関係を用い、最上部左隅に原点を
もつ座標系についてｐ_uとｐ_dとの間の［数６］の式（１
７）〜（１８）に示す２つの関数を得る。ここで、ｆと
ｄは互に逆関数であるが、ｄは式（１６）に対応するた
め、ｐ_uの陽関数ではない。いずれにせよ、式（１７）
と（１８）を用いて２つの画像間の変換を書き表すこと
ができる。Ｉ₁ ^uはθ^u'をＩ₁に当てはめることによって
変換されるパターンの画像であるとし、Ｉ₁ ^udはθ^dをに
Ｉ₁ ^u当てはめることによって変換されるパターンの画像
とする。即ち、式（２０）〜（２２）に示す関係であ
る。これらの関係を図１に示す。

【数６】

【００３７】（逆レジストレーションによる最小化）画
像Ｉ₁からＩ₁ ^udへの変換はｕとｄで表されるが、ｄは陽
関数ではないため、Ｉ₁とＩ₁ ^udとの間のパラメータをレ
ジストレーションで直接的に推定することはできない。
ここで、逆レジストレーションについて考察しよう。図
１に示すように、画像Ｉ₂をＩ₁ ^udに整合させる、即ち、
［数７］の式（２３）に示す２つの画像間の輝度の残差
を最小化を計る。

【００３８】しかし、この式は式（２２）を用い式（２
４）のように書き表すことができる。そこで、推定方法
は先のステップと同一になる。最小化はガウス−ニュー
トン法によって式（２５）の関数について行われる。こ
こで、Ω=｛ｉ；ｐ_i∈Ｉ₂，∃ｐ∈Ｉ₁，ｆ（ｐ_i）=ｐ＋
ｕ（ｐ）｝は最小化にはＩ₂における点のうちパターン
Ｉ₁に対応する領域内部に点について適用すべきことを
意味する。

【数７】

【００３９】解を求める必要のある連立一次方程式は式
（１１）と同じ形であり、［数８］の式（２６）で示さ
れる。式（２６）における導関数は式（２７）の通りで
ある。

【数８】

【００４０】式（１８）のヤコビアン行列式は［数９］
の式（２８）〜（３４）で示される。式（２６）を解く
初期パラメータｃ_x、ｃ_y、ｋ₂およびｓ_xは、Ｉ₂の幅と
高さの１／２と、０と１にそれぞれ設定する。他方、式
（２９）〜（３２）の総てが、ｋ₁=ｋ₂=０なる初期設定
によって０にならないようｋ₁を任意に初期設定する。
我々は経験的にｋ₁∈［−１０^-7，１０^-7］を選択し
た。

【数９】

【００４１】（二つのステップを反復させる）図５は、
二つのステップを反復させる方法の模式図である。初期
状態で比較的大きな残差がある場合であっても、計算時
間を短縮し、精度良い推定を行うために、粗解像度から
微細解像度へ移行する戦略（ｃｏａｒｓｅ-ｔｏ-ｆｉｎ
ｅ）をとる。つまり、最初はフィルタをかけてぼかした
画像に対して処理を行い、徐々にぼけの小さいフィルタ
に変えて、はっきりした画像に対して処理を行うように
する。したがって、Ｉ₁，Ｉ₁ ^u，Ｉ₂の解像度を粗い解像
度から細かい解像度に変えながら、第２ステップと第３
ステップを交互に繰り返す（図５参照）。そのため、第
２ステップの推定は、第３ステップでの推定値θ^dを含
むように修正しなければならない。ここでＩ₂ ^fを、パラ
メータθ^dを用いた変換ｆにより、撮影された画像Ｉ₂か
ら歪みを補正した画像であるとする。つまり、式（３
５）（３６）で表わせる。これを用いて、残差の式
（３）を式（３７）のように修正する。このとき、ヤコ
ビアンの式（１２）は式（３８）のようになる。この修
正した第２ステップと、第３ステップを、推定値が収束
するまで交互に繰り返す。求められたパラメータのうち
θ^dを用いた変換ｆによって、撮影画像から歪みのない
画像を得ることができる。

【数１０】

【００４２】（一つのステップで推定する）図６は、一
つのステップで推定する方法の模式図である。これまで
は、二つのステップを繰り返すことで推定を行ったが、
二つのステップをまとめて一つのステップとして推定を
行うことができる。ｄは陽関数ではない、つまり式で表
すことのできない陰関数であるので、ｕとｄを合成した
関数も陰関数となる。この合成関数ｕ・ｄは、画像Ｉ₁
をＩ₁ ^udに変換するので、Ｉ^udとＩ₂が正確に一致するよ
うなパラメータθ^u，θ^dを求めればよい。そのために
は、合成関数のヤコビアンが陽関数であることが必要で
あるが、それはｕとｄのヤコビアンから求められる。実
際ｄは陰関数なので、直接式を微分してヤコビアンを求
めることはできない。しかし、数学の分野で知られてい
る陰関数定理を用いることで、ｄのヤコビアンを陽関数
として求めることができる。ここで、ｐ_uとθ^dを一つに
まとめ、ｑ＝（ｐ_u，θ^d）で表すことにする。そして、
このｑの関数である式（３９）の関数Ｆを考える。この
とき、ｄはｐ_d＝ｄ（ｑ）で定義される陰関数となる。
したがって、陰関数定理より、式（４０）（４１）のよ
うにｄのヤコビアンが計算できる。ここで、Ｅ₂は２次
の単位行列で、式（４１ａ）で表される。また、∂ｆ／
∂θ^dは、式（２８）と同じものである。また、∂ｆ／
∂ｐ_dは、式（１８）から計算でき、実際には式（２
９）〜（３２）を用いて式（４２）（４３）のように表
される。

【数１１】

【００４３】以上より変換ｕ，ｄを合成した関数のヤコ
ビアンが計算できる。パターンＩ₁内の点ｐ_iに対応す
る、撮影された画像Ｉ₂内の点との輝度差の二乗和は式
（４４）（４５）で表される。この二乗和を最小にする
パラメータθ＝｛θ^u，θ^d｝を推定する（図６参照）。
推定のための最適化方法は、前述の第２、第３ステップ
の推定と同様に行う。すなわち、とくべき連立一次方程
式は式（４６）のようになる。ここで偏微分∂ｒ_i／∂
θ_kは、式（４７）〜（５２）のヤコビアンの要素とし
て導出される。ここでｐ_d＝ｄ（ｐ_u），ｐ_u＝ｐ＋ｕ
（ｐ）とする。またＥ₅は５次の単位行列である。求め
られたパラメータのうちθ^dを用いた変換ｆによって、
撮影画像から歪みのない画像を得ることができる。

【数１２】

【００４４】（幾つかの戦略） （１）ピクセル値の補間 整数グリッド上に座標をもたない点の輝度を必要とする
とき、ピクセル値としての隣り合うピクセル値間に双一
次補間を適用する。 （２）ヒストグラム整合 カメラで撮影した画像はしばしばパターンの輝度が変化
するため、画像のヒストグラムがパターンのヒストグラ
ムと同一になるよう画像のヒストグラムを変換する。

【００４５】

【実施例】カメラのズーム・パラメータを変化させなが
ら、カメラで撮影した実画像に対し、提案する方法で実
験を行った。レーザープリンタ（ＥＰＳＯＮ ＬＰ−９
２００ＰＳ２）で印刷したキャリブレーションパターン
として、図２に示す写真を使用し、支柱上に固定したＣ
ＣＤカメラ（Ｓｏｎｙ ＥＶＩ−Ｄ３０）によってその
写真の画像を（ＳＧＩ Ｏ２の）画像取り込み用ソフト
ウエアで撮影した。最大広角からカメラのズームを変え
ながら、グリッド・パターンとキャリブレーションパタ
ーンの画像２つを撮影した。広角であればあるほど、歪
みの影響は大きくなり、グリッドの線が湾曲する。

【００４６】本発明による内部パラメータの推定結果を
表１に示す。またこの内部パラメータを用いて補正した
前後の画像を図３と図４に示す。グリッド・パターンに
おける湾曲線が補正により直線に変換されているのがわ
かる。

【表１】

【００４７】線形輝度拘束のような何らかの方法によっ
て照度変化の推定で差し替えるべき簡単なヒストグラム
変換によってでは画像照度の階調変化は除くことができ
ないため、グリッドの線は依然として特に画像の周辺部
で僅かに湾曲することが図３の右欄に見られるように実
験結果には多少の誤差がある。変換したパターンの各ピ
クセルにノイズを加え、それを歪んだ画像として用いた
実験のシミュレーションに際し、提案する方法は付加し
た均一ノイズの振幅が±５０以上であるときでも非常に
申し分なく機能した。

【００４８】上述のように本発明では、画像の歪みを補
正すべくカメラの内部パラメータを求めるための新たな
方法を提案した。提案した方法は画像のレジストレーシ
ョンに基づき、幾何変換による透視的微調整と歪みの微
調整という２つの非線形最適化のステップからなる。実
験結果により、オペレータの労力を軽減できる本提案に
よる方法の効率性が証明された。非線形最適化では多少
時間を要するが、その手法はバッチ・プロセスとして効
力を持つに十分である。

【００４９】なお、本発明は、上述した実施例に限定さ
れず、本発明の要旨を逸脱しない範囲で種々に変更でき
ることは勿論である。

【００５０】

【発明の効果】上述したように、ズームレンズ付きカメ
ラで撮影した画像の歪みを補正するカメラの内部パラメ
ータを求める新規な画像のレンズ歪みの補正方法を提案
した。この方法は画像レジストレーションに基づく。最
初に、あるキャリブレーションパターンをアフィン変換
を用いて歪んだ画像パターンに変換する。次に、２つの
画像のピクセル値の輝度差を最小にするガウス−ニュー
トン法の非線形最適化を適用し、その２つの画像のレジ
ストレーションを行う。最後に、第２ステップ後に残る
輝度差を最小化するため歪みパラメータを推定する。実
験結果は、提案した方法の有効性を示している。

【００５１】従って本発明の画像のレンズ歪みの補正方
法は、（１）対応点を与える必要がなく、（２）特殊な
器具や物体を用いずに、（３）画像上のすべての点を用
いて、内部パラメータを自動的に高精度に求めることが
でき、これにより画像のレンズ歪みを高精度に補正する
ことができる、等の優れた効果を有する。

【図面の簡単な説明】

【図１】本発明の方法を模式的に示す図である。

【図２】実施例で用いたキャリブレーションパターンの
ディスプレー上に表示した中間調画像である。

【図３】本発明の方法による補正前後のディスプレー上
に表示した中間調画像である。

【図４】本発明の方法による補正前後のディスプレー上
に表示した別の中間調画像である。

【図５】二つのステップを反復させる方法の模式図であ
る。

【図６】一つのステップで推定する方法の模式図であ
る。

【符号の説明】

Ｉ₁ オリジナル画像（キャリブレーションパター
ン）、Ｉ₁ ^u 位置補正された画像、Ｉ₁ ^ud 歪画像、Ｉ₂
撮影画像、θ パラメータ、θ^u 位置補正パラメー
タ、θ^d 歪み補正パラメータ、Ｉ₁（ｐ） 画像Ｉ₁内
の点ｐの輝度値、Ｉ₂（ｐ＋ｕ） 点ｐに対応する画像
Ｉ₂内の点ｐ＋ｕの輝度値、Ｉ₂（ｐ） 画像Ｉ₂内の点
ｐの輝度値、Ｉ₁ ^u（f（ｐ）） 点ｐに対応する画像Ｉ₁
^u内の点f（ｐ）の輝度値、

フロントページの続き (72)発明者 大西 昇 愛知県名古屋市守山区大字下志段味字穴 ケ洞2271−130 サイエンスパーク研究 開発センター内 理化学研究所 バイ オ・ミメティックコントロール研究セン ター内 (56)参考文献 特開2001−186337（ＪＰ，Ａ) 特開2000−350239（ＪＰ，Ａ) 特開 平11−69277（ＪＰ，Ａ) 特開 平10−214349（ＪＰ，Ａ) 特開 平10−210346（ＪＰ，Ａ) 特開 平10−155091（ＪＰ，Ａ) 特開 平10−104761（ＪＰ，Ａ) 特開 平８−18848（ＪＰ，Ａ) 特開 平７−140961（ＪＰ，Ａ) 玉木徹 山村毅 大西昇，画像レジス トレーションに基づいた画像歪み補正, 電子情報通信学会2000年情報・システム ソサイエティ大会講演論文集，日本，社 団法人電子情報通信学会，2000年 ９月 ７日，Ｄ−12−48，Ｐ．235 玉木徹 山村毅 大西昇，非線形最適 化による画像の歪曲収差補正，2000年映 像情報メディア学会冬季大会講演予稿 集，日本，社団法人映像情報メディア学 会，2000年12月 ６日，１−10，Ｐ．58 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 3/00 200 G06T 1/00 280 - 340 H04N 5/232 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 コンピュータ内の任意の画像Ｉ₁を印刷
   する画像印刷ステップ（Ａ）と、印刷した画像Ｉ₁をレ
   ンズ歪みを有するカメラで撮影し撮影画像Ｉ₂をコンピ
   ュータ内に得る撮像ステップ（Ｂ）と、画像Ｉ₁をパラ
   メータθで人為的に歪ませかつ得られた歪画像Ｉ₁ ^udが
   撮影画像Ｉ₂と一致するパラメータθを求めるパラメー
   タ推定ステップ（Ｃ）と、得られたパラメータθを用い
   てカメラの撮影画像を補正する画像補正ステップ（Ｄ）
   とからなる、ことを特徴とする画像のレンズ歪みの補正
   方法。
2. 【請求項２】 前記パラメータθは、位置を補正するた
   めの位置補正パラメータθ^uと、歪みを補正するための
   歪み補正パラメータθ^dとからなる、ことを特徴とする
   請求項１に記載の画像のレンズ歪みの補正方法。
3. 【請求項３】 前記位置補正パラメータθ^uは、画像Ｉ₁
   から位置を補正した画像Ｉ₁ ^uへの変換パラメータであ
   り、画像Ｉ₁内の点ｐの輝度値Ｉ₁（ｐ）と、点ｐに対応
   する画像Ｉ₁ ^u内の点ｐ＋ｕの輝度値Ｉ₁ ^u（ｐ＋ｕ）との
   差ｒ＝Ｉ₁（ｐ）−Ｉ₁ ^u（ｐ＋ｕ）が画像上全体で最小
   になる変換パラメータを最小二乗法で求め、これを位置
   補正パラメータθ^uとする、ことを特徴とする請求項２
   に記載の画像のレンズ歪みの補正方法。
4. 【請求項４】 前記歪み補正パラメータθ^dは、歪画像
   Ｉ₁ ^udから画像Ｉ₁ ^uへの変換パラメータであり、画像Ｉ₂
   内の点ｐの輝度値Ｉ₂（ｐ）と、点ｐに対応する画像Ｉ₁
   ^u内の点ｆ（ｐ）の輝度値Ｉ₁ ^u（f（ｐ））との差ｒ＝Ｉ
   ₂（ｐ）−Ｉ₁ ^u（f（ｐ））が画像上全体で最小になる変
   換パラメータを最小二乗法で求め、これを歪み補正パラ
   メータθ^dとする、ことを特徴とする請求項３に記載の
   画像のレンズ歪みの補正方法。
5. 【請求項５】 前記パラメータ推定ステップ（Ｃ）は、
   前記位置補正パラメータθ^uと前記歪み補正パラメータ
   θ^dを交互に繰り返してパラメータθを求める、ことを
   特徴とする請求項４に記載の画像のレンズ歪みの補正方
   法。
6. 【請求項６】 前記パラメータθは、画像Ｉ₁から画像
   Ｉ₁ ^udへの変換パラメータであり、画像Ｉ₁内の点ｐの輝
   度値Ｉ₁（ｐ）と、点ｐに対応する画像Ｉ₂内の点ｄ（ｐ
   ＋ｕ（ｐ））の輝度値Ｉ₂（ｄ（ｐ＋ｕ（ｐ））との差
   ｒ＝Ｉ₁（ｐ）-Ｉ₂（ｄ（ｐ＋ｕ（ｐ））が画像上全体
   で最小となる変換パラメータを最小二乗法で求め、これ
   をパラメータθとする、ことを特徴とする請求項５に記
   載の画像のレンズ歪みの補正方法。
7. 【請求項７】 前記画像補正ステップ（Ｄ）において、
   得られた歪み補正パラメータθ^dを用いてカメラの撮影
   画像を補正することを特徴とする請求項４に記載の画像
   のレンズ歪みの補正方法。