JP4583670B2 - 画像歪み補正装置及び方法 - Google Patents
画像歪み補正装置及び方法 Download PDFInfo
- Publication number
- JP4583670B2 JP4583670B2 JP2001203738A JP2001203738A JP4583670B2 JP 4583670 B2 JP4583670 B2 JP 4583670B2 JP 2001203738 A JP2001203738 A JP 2001203738A JP 2001203738 A JP2001203738 A JP 2001203738A JP 4583670 B2 JP4583670 B2 JP 4583670B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- center
- distance
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims description 104
- 238000000034 method Methods 0.000 title claims description 28
- 230000003287 optical effect Effects 0.000 claims description 79
- 230000006870 function Effects 0.000 claims description 45
- 238000003705 background correction Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置によって撮影された画像の歪み補正に係り、特に光学系に起因する画像の歪みを補正する画像歪み補正装置及び方法に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは非常に身近な存在となり、パーソナルコンピュータ、ＰＤＡなどの携帯端末装置、自動車搭載用、監視装置、インターホンなど、さまざまな分野で使用されている。これらディジタルカメラでは、低価格化のために構成を単純化したレンズが使用されるが、撮影して得られる画像には幾何学的な歪みが含まれることが多い。
【０００３】
従来、画像の歪み補正方法として、特開平５−２７４４２６号公報に開示された技術が知られている。これでは、まず市松模様の特性パタ−ンをカメラで撮像し、撮像デ−タから特徴点を検出する。次に、画像中心付近の特徴点の配列と画面上の位置からカメラをピンホ−ルモデルとした場合に得られる写像関数を作成する。さらに、写像関数から画面全体についての特徴点の基準位置を算出し、実際の画面上の位置とを比較することによって補正関数を算出し、この補正関数に基づいて撮像した画像の歪みを補正していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、画像歪み補正装置によって画像の歪みを補正するために、市松模様といった特殊なパターンの被写体を必要とし、さらに特徴点の抽出と写像関数への近似といった煩雑な処理が必要であり、そのため一般ユーザには操作が困難で使いこなしにくく、また、機器を安価に構成するのが容易でないという問題点があった。
【０００５】
本発明は、上記事情に鑑みてなされたもので、特殊なパターンの被写体の使用や、煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正装置であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力手段と、前記画像データから画像の光学的中心を算出する画像中心算出手段と、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段と、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出手段と、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構成する画像再構成手段と、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段と、を備えたことを特徴とする画像歪み補正装置を提供する。
【０００７】
上記構成では、画像データにおける画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離をＸＹ座標などの直交座標平面に展開することで画像の歪みを補正する。これにより、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【０００８】
また、前記画素傾き算出手段によって算出される画素毎の局所的な輝度の傾き量に基づいて前記画像データのシェーディング補正量を算出するシェーディング補正量算出手段と、前記シェーディング補正量に従ってシェーディング補正を行うシェーディング補正手段とを備えたことを特徴とする。
【０００９】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因する輝度変化も補正された画像を得ることが可能となる。
【００１０】
また、前記シェーディング補正量算出手段により算出されるシェーディング補正量に基づいてノイズリダクション量を算出するノイズリダクション量算出手段と、前記ノイズリダクション量に従ってノイズ減衰を行うノイズリダクション手段とを備えたことを特徴とする。
【００１１】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因するシェーディングも補正され、さらにシェーディング補正に伴って生じたＳ／Ｎの劣化も補償された画像を得ることが可能となる。
【００１２】
また、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離に基づいて画像の輪郭補正量を算出する輪郭補正量算出手段と、前記輪郭補正量に従って輪郭補正を行う輪郭補正手段とを備えたことを特徴とする。
【００１３】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正によって発生する画像の尖鋭度劣化も改善された画像を得ることが可能となる。
【００１４】
また、前記画素傾き算出手段は、光学的画像中心から所定の一方向における画素毎の局所的な輝度の傾き量を算出するものであり、前記画素距離算出手段は、前記一方向における画素傾き量から全画素についての画像が歪まない場合の光学的画像中心からの距離を算出することを特徴とする。
【００１５】
上記構成によれば、光学的画像中心から一方向における画素毎の局所的な輝度の傾き量によって全画素についての光学的画像中心からの距離を算出して歪み補正ができるため、画像の幾何学的な歪みの補正を比較的少ない計算量で実行することが可能となる。
【００１６】
また、前記画像データを得る撮像手段に使用されたレンズを識別するためのレンズ識別情報を入力するレンズ情報入力手段と、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離を前記レンズ識別情報と対応付けて記憶するレンズ毎画素距離記憶手段とを備えたことを特徴とする。
【００１７】
上記構成によれば、一旦各画素の光学的画像中心からの距離を算出して補正量を演算したレンズについてはレンズ識別情報と共に画素距離を記憶するため、撮像手段のレンズ交換毎に画像歪み補正に関する演算を行うことなく、歪みが補正された画像を得ることが可能であり、操作性が向上する。
【００１８】
また、前記画像中心算出手段は、前記画像データにおける輝度の変化に基づいて画像中の極点を求めることによって画像の光学的中心を求めるものであることを特徴とする。
【００１９】
上記構成によれば、直交する直線の被写体などを用いることなく、輝度の変化に基づいて光学的画像中心を算出可能であり、簡便に画像歪み補正に関する処理を実行可能となる。
【００２０】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正方法であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力ステップと、前記画像データから画像の光学的中心を算出する画像中心算出ステップと、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出ステップと、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出ステップと、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構築する画像再構成ステップと、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間ステップと、を有することを特徴とする画像歪み補正方法を提供する。
【００２１】
上記手順によれば、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【００２２】
本発明は、上記のいずれかに記載の画像歪み補正装置の機能をコンピュータにより実行させるためのプログラムを提供する。
また、本発明は、上記のいずれかに記載の画像歪み補正装置の機能を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００２３】
上記構成により、コンピュータ上で上記記載の画像歪み補正装置の機能を実現でき、煩雑な手順や処理を用いることなく簡便で効果的に精度良く画像の歪みを補正することが可能となり、装置の低価格化を図れる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
本実施形態では、本発明に係る画像歪み補正装置の構成例及びその機能及び動作について説明するが、本発明に係る画像歪み補正方法は画像歪み補正装置の動作説明において示される。
【００２５】
［第１実施形態］
図１は本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。同図において、画像歪み補正装置は、被写体の画像を撮影してディジタル画像データを出力するカメラ１０、撮像したディジタル画像データを記憶するメモリ１１、画像の光学的中心を算出する画像中心算出手段として機能する画像中心算出部１２、画像内の位置に依存した輝度歪みに相当するシェーディング量から画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段として機能する画素傾き算出部１３、前記画素毎の輝度の傾きを逆展開することにより画像が歪まなかった場合における画素各々の光学的画像中心からの距離を算出する画素距離算出手段として機能する画素距離算出部１４、算出された画素の光学的画像中心からの距離（逆展開量）を直交座標であるＸＹ座標に変換して画像データを再構成する画像再構成手段として機能する画像再構成部１５、再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段として機能する画素補間部１６を備えている。カメラ１０及びメモリ１１は、歪み補正を行う画像データを入力する画像入力手段として機能する。
【００２６】
次に、以上のように構成された画像歪み補正装置の機能及び動作について、図３、図４及び図５を併せて参照しながら、図２に示すフローチャートの手順に従って説明する。
【００２７】
まず、ステップＳ２１において、カメラ１０により被写体を撮影して画像情報を取得する。このとき、撮像範囲の全領域で輝度が一様であるような平面状の被写体（白チャート）を、信号の飽和や黒つぶれがないように露光量（レンズ絞り）やシャッタ速度、ゲイン等を調整して撮影し、ディジタル信号に変換して出力する。この画像情報としては、カメラ信号処理の段階でシェーディングを起こしていないもの、映像信号オフセットを付加しない又は付加量０であるものを用いる。映像信号オフセットを調整できない場合、画像情報の輝度値から映像信号オフセットを差し引いたものを処理に用いる。すなわち、シェーディングがなく、黒レベルが０になっているか、黒レベルが０以上である場合は黒レベルオフセット値が判っているものを用いる。なお、カメラ以外の他の画像入力手段から画像データを入力することもできる。そして、ステップＳ２２において、メモリ１１にカメラ１０から出力されるディジタル信号を画像データとして格納し記憶する。
【００２８】
次に、ステップＳ２３において、画像中心算出部１２は、メモリ１１から画像データを読み出して光学的画像中心を算出する。ここで、光学的画像中心とは、カメラ１０による撮像部の構成をピンホールモデルとしたときのピンホールから、撮像面へおろした法線と撮像面との交点を意味することとする。
【００２９】
光学的画像中心を見つける方法としては、以下のようなものがある。第１の方法は、被写体が直線である場合、直線は画像の歪みによって全体として曲線に写るが、光学的画像中心を通る直線はそのまま直線として写るという性質を利用する。すなわち、直交する２直線を被写体として撮影し、２直線が直線のままの状態で交差して写る位置を探せば、この２直線の交点が光学的画像中心となる。
【００３０】
また光学的画像中心を見つける第２の方法として、使用するレンズの歪みが樽型に現れるならば光学的画像中心は最も明るくなることを利用する方法がある。
この場合、画像中心算出に用いるデータは、ディジタルデータであることや様々なノイズなどの要因を考慮し、レンズが樽型歪みを発生する場合、ある一定以上の輝度を持つ画素の座標について、輝度で重み付け平均をとるようにする。なおこの場合、計算を複数回行って平均値をとるなどしてもよい。この第２の方法では、直交直線被写体を用いずに、輝度の変化に基づいて画像中の極点を求めることによって光学的画像中心を算出できる。
【００３１】
次に、ステップＳ２４において、画素傾き算出部１３は、メモリ１１から読み出した画像データと、画像中心算出部１２により算出された光学的画像中心から画素毎の局所的な輝度の傾き量を算出する。
【００３２】
ここでは画像が歪むという現象を、撮影された画像が光学系を経由することによってある曲面に投影されると捉える。このとき、被写体が全領域において一様な輝度をもっていれば、投影された曲面に垂直な方向には一定の輝度をもつことになる。しかし、画像データを画素単位で見た場合、画素が投影された曲面における傾きに応じて輝度は減少するので、図３に示すように曲面に垂直な方向の輝度をＩとしたとき、傾きθにおける輝度はＩcosθになる。
【００３３】
以上の考え方に基づいて、画素傾き算出部１３は、図４に示すように、光学的画像中心画素とそれ以外の画素との輝度値の差から、画素が投影されている曲面の局所的傾きθを算出する。
【００３４】
次に、ステップＳ２５において、画素距離算出部１４は、画素各々について光学的画像中心からの距離を算出する。ここで、画像中心以外の画素が光学的歪みによって曲面に投影された場合、これを光軸方向から見ると、図５におけるＡ点で示すように画像中心からの距離は短くなる。そこで、これをＢ点で示すように平面に展開することを考える。１つの画素の長さをＬとするとき、画像中心からＡ点に見える画素までの曲面上の距離ｄは、中心画素の長さＬの１／２と、Ａ点に至るまでの画素各々の傾きθb 、θc の各余弦で画素の長さＬを除した値と、さらにθd の余弦でＡ点を含む画素の長さＬの１／２を除した値とを、合計することによって近似できる。すなわち、ｄ≒Ｌ・（１／２）＋Ｌ／cosθb ＋Ｌ／cosθc ＋Ｌ・（１／２）・（１／cosθd ）となり、この画素毎の逆展開によって画像中心からの距離が算出可能である。
【００３５】
次いで、ステップＳ２６において、画像再構成部１５は、画素距離算出部１４によって算出された極座標系で表される画素毎の光学的画像中心からの距離を、直交座標のＸＹ座標に変換するとともに、メモリ１１から画像データを読み出し、変換された座標に基づいて画像データをＸＹ平面上に配列して再構成する。
【００３６】
さらに、ステップＳ２７において、画素補間部１６は、再構成された画像データについて出力画面の座標位置に基づいて画素の補間を行い、出力用のディジタル画像データとして再構成して出力する。この補間の方法としては、画像再構成部１５によって算出された座標データの内、ディジタル画像としての座標から距離的に近いものを何点か用いて、距離による重み付け平均を算出すればよい。
【００３７】
以上説明したように、本実施形態では、画像の光学的歪みは曲面への投影（マッピング）であると捉え、投影された曲面の画素毎の局所的傾きを算出し、この輝度の傾き量に基づいて光学的画像中心からの距離を算出する。そして、この距離を平面に展開することによって、画像の歪みを補正している。
【００３８】
したがって、画像の歪み情報を得るために、従来のような市松模様等の特殊なパターンの使用や特徴点抽出、写像関数の近似的算出及び写像関数に基づく補正関数の算出などの煩雑な処理を必要とせず、また処理による近似誤差の発生と、それに起因する画像歪み精度の劣化を無くすことができる。よって本実施形態によれば、簡単な処理で精度良く画像の歪みを補正することが可能となり、また、装置構成や操作手順を簡略化でき、機器を安価に構成することができる。
【００３９】
［第２実施形態］
図６は本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第２実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出手段として機能するシェーディング補正量算出部３１と、シェーディング補正量に基づいて画像データの画素毎のシェーディングを補正するシェーディング補正手段として機能するシェーディング補正部３２とを備えている。図６では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４０】
次に、第２実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画像傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。そして、シェーディング補正部３２は、算出されたシェーディング補正量に基づいて画像データの画素毎のシェーディングを補正する。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量を掛け合わせることによって、画素毎のシェーディングを補正することができる。
【００４１】
このように、第２実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化（シェーディング）も補正された画像を得ることが可能となる。
【００４２】
［第３実施形態］
図７は本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第３実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出部３１と、シェーディング補正量からノイズ減衰のためのノイズリダクション量を算出するノイズリダクション量算出手段として機能するノイズリダクション量算出手段４１と、シェーディング補正量とノイズリダクション量とに基づいて画像データのシェーディング補正及びノイズの減衰を行うノイズリダクション手段として機能するシェーディング補正・ノイズ減衰部４２とを備えている。図７は第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４３】
次に、第３実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。シェーディング補正において付加されるゲイン量が大きい画素のＳ／Ｎは悪化するので、ノイズリダクション量算出手段４１は、算出したゲイン量（すなわちＳ／Ｎ悪化量）に従ってノイズリダクション量を算出する。そして、シェーディング補正・ノイズ減衰部４２は、算出されたシェーディング補正量に基づき、画像データの画素毎のシェーディングを補正するとともに、ノイズリダクション量に基づいてノイズを減衰させることにより、シェーディング補正によって生じたＳ／Ｎの劣化を改善する。
【００４４】
ここで、ノイズリダクション手法としては、例えばフレームメモリを用いた巡回型フィルタを構成することにより実現できる。ノイズリダクション量をフィルタの巡回係数として求めることによって、局所的なＳ／Ｎの劣化が少ない画像を得ることができる。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量と、このゲイン量に対応するノイズリダクション量とを掛け合わせることによって、画素毎のシェーディング補正とともにノイズ成分を減衰することができる。
【００４５】
このように、第３実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化も同時に補正し、さらにシェーディング補正に伴って生ずるＳ／Ｎの劣化も併せて補償された画像を得ることが可能となる。
【００４６】
［第４実施形態］
図８は本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第４実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きから輪郭補正量を算出する輪郭補正量算出手段として機能する輪郭補正量算出部５１と、輪郭補正量に従って画像データの輪郭を補正する輪郭補正手段として機能する輪郭補正部５２とを備えている。図８では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４７】
次に、第４実施形態における画像歪み補正装置の機能及び動作について説明する。第１実施形態において説明したように、画素距離算出部１４は画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５は算出された画素毎の光学的画像中心からの距離をＸＹ座標系に変換して各画素をＸＹ平面上に配列する。このとき、樽型歪みを補正するための画素配列は拡大に相当するので、樽型歪みがある部分は逆展開を行うと輝度の傾き量に従って画像の尖鋭度が劣化する。そこで、輪郭補正量算出部５１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾き量に従って、尖鋭度を強調するための輪郭補正量を算出する。例えば、画素配列による拡大率が大きくなるほど輪郭補正量を大きくとるようにする。そして、輪郭補正部５２は、輪郭補正量算出部５１によって算出された輪郭補正量に従って画像の輪郭を補正する。
【００４８】
このように、第４実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みの補正によって発生する画像の尖鋭度の劣化も改善された画像を得ることが可能となる。
【００４９】
［第５実施形態］
図９は本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第５実施形態は、図１における第１実施形態の画素傾き算出部１３及び画素距離算出部１４に代えて、光学的画像中心からある一方向のみにおける画素毎の局所的な輝度の傾き量を算出する一部分画素傾き算出部６１と、算出された一方向における輝度の傾き量を基に画素各々の光学的画像中心からの距離を算出する画素距離算出部６２とを備えている。図９では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５０】
次に、第５実施形態における画像歪み補正装置の機能及び動作について説明する。画像の歪みは、基本的に画像の光学的中心からの距離変動によって起こると考えられる。光学的画像中心を原点とした極座標系で考えたとき、原点からの距離成分は変わるが、角度成分は変動しない。ただし、この関係は撮像系と光学系との位置関係やレンズ等の光学系の構成や精度などによって、必ずしも保たれるとは限らない。このため歪み補正の際には、画像を構成する全画素に対して歪み補正量を算出することが望ましい。しかし、歪み補正についての要求精度が低い場合や、光学系の精度が高い場合には、上記関係を利用して歪み補正量の計算量を削減することが可能になる。
【００５１】
そこで、第５実施形態では、一部分画素傾き算出部６１において、光学的画像中心からある一方向（例えば、光学的画像中心から最大長さが得られる画像四隅のうちの一つ）についてのみ、第１実施形態に示したように画素が投影されている曲面の局所的傾きθを算出する。そして、画素距離算出部６２は、一部分画素傾き算出部６１により算出された一方向の輝度の傾き量に基づいて、画素各々について光学的画像中心からの距離を算出する。このとき、画像歪みを光学的画像中心を原点とした極座標系で考えた場合、原点からの距離成分は変わるが、角度成分は変動しないという関係を利用して、一方向のみの輝度の傾き量によって全画素について光学的画像中心からの距離を算出する。
【００５２】
このように、第５実施形態の構成によれば、光学的画像中心からある一方向のみの輝度の傾き量によって全画素の光学的画像中心からの距離を算出できるため、比較的少ない計算量で画像の歪みを補正することが可能となる。
【００５３】
［第６実施形態］
図１０は本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第６実施形態は、図１における第１実施形態の構成に加えて、画素距離算出部１４で算出された画像が歪まなかった場合における各画素の光学的画像中心からの距離をレンズ個体ごとに記憶するレンズ毎画素距離記憶手段として機能する画素距離記憶部７１と、画素距離を算出したレンズの識別情報を入力するレンズ情報入力手段として機能するレンズ情報入力部７２とを備えている。
図１０では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５４】
次に、第６実施形態における画像歪み補正装置の機能及び動作について説明する。レンズ情報入力部７２からレンズを個々に特定するためのレンズ個体識別データを入力する。レンズ識別データとしては、例えば製造番号や品番などの文字データ、電圧や抵抗値などの物理データなど、レンズ個体を識別可能な情報を用いる。画素距離記憶部７１は、画素距離算出部１４で算出された各画素の光学的画像中心からの距離をレンズ識別データと対応付けて記憶する。
【００５５】
これにより、一旦各画素の光学的画像中心からの距離を算出して歪み補正量を算出したレンズについては、レンズ情報入力部７２からレンズ識別データを入力すれば、レンズ識別データに対応したレンズに関する各画素の光学的画像中心からの距離データを画素距離記憶部７１から読み出すことで取得できる。したがって、第６実施形態の構成によれば、レンズ交換毎に歪み補正計算を行うことなく少ない処理手順で歪みが補正された画像を得ることが可能となる。
【００５６】
上述した第１ないし第６実施形態の説明においては、画像歪み補正装置の構成をブロック図で示し、その機能及び動作について説明したが、同様の画像歪み補正装置の機能及び画像歪み補正方法をコンピュータを用いて実現することが可能である。この場合、画像歪み補正装置の機能を実行するプログラムとして作成し、コンピュータが読み取り可能な記録媒体、例えば磁気ディスク、光磁気ディスク、ＲＯＭ等に記録する。そして、この記録媒体又は通信回線等からプログラムを読み込んでＭＰＵ等のプロセッサ及びメモリを備えたコンピュータ上で実行することにより、画像歪み補正装置の機能を実現することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、光学系等による画像の歪みを曲面上への投影として捉え、投影された曲面の画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離を平面に展開することで画像の歪みを補正することによって、市松模様などの特殊なパターンの被写体の使用や、特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。
【図２】本実施形態における画像歪み補正の手順を示すフローチャートである。
【図３】本実施形態の画像歪み補正において、画像に歪みがある場合の画素毎の局所的な輝度の傾きを示す模式図である。
【図４】本実施形態の画像歪み補正において、画像の各画素の配列と輝度値を示す模式図である。
【図５】本実施形態の画像歪み補正において、画素の光学的画像中心からの距離を示す模式図である。
【図６】本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図７】本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図８】本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図９】本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図１０】本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【符号の説明】
１０ カメラ
１１ メモリ
１２ 画像中心算出部
１３ 画素傾き算出部
１４，６２ 画素距離算出部
１５ 画像再構成部
１６ 画素補間部
３１ シェーディング補正量算出部
３２ シェーディング補正部
４１ ノイズリダクション量算出部
４２ シェーディング補正・ノイズ減衰部
５１ 輪郭補正量算出部
５２ 輪郭補正部
６１ 一部分画素傾き算出部
７１ 画素距離記憶部
７２ レンズ情報入力部
【発明の属する技術分野】
本発明は撮像装置によって撮影された画像の歪み補正に係り、特に光学系に起因する画像の歪みを補正する画像歪み補正装置及び方法に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは非常に身近な存在となり、パーソナルコンピュータ、ＰＤＡなどの携帯端末装置、自動車搭載用、監視装置、インターホンなど、さまざまな分野で使用されている。これらディジタルカメラでは、低価格化のために構成を単純化したレンズが使用されるが、撮影して得られる画像には幾何学的な歪みが含まれることが多い。
【０００３】
従来、画像の歪み補正方法として、特開平５−２７４４２６号公報に開示された技術が知られている。これでは、まず市松模様の特性パタ−ンをカメラで撮像し、撮像デ−タから特徴点を検出する。次に、画像中心付近の特徴点の配列と画面上の位置からカメラをピンホ−ルモデルとした場合に得られる写像関数を作成する。さらに、写像関数から画面全体についての特徴点の基準位置を算出し、実際の画面上の位置とを比較することによって補正関数を算出し、この補正関数に基づいて撮像した画像の歪みを補正していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、画像歪み補正装置によって画像の歪みを補正するために、市松模様といった特殊なパターンの被写体を必要とし、さらに特徴点の抽出と写像関数への近似といった煩雑な処理が必要であり、そのため一般ユーザには操作が困難で使いこなしにくく、また、機器を安価に構成するのが容易でないという問題点があった。
【０００５】
本発明は、上記事情に鑑みてなされたもので、特殊なパターンの被写体の使用や、煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正装置であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力手段と、前記画像データから画像の光学的中心を算出する画像中心算出手段と、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段と、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出手段と、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構成する画像再構成手段と、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段と、を備えたことを特徴とする画像歪み補正装置を提供する。
【０００７】
上記構成では、画像データにおける画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離をＸＹ座標などの直交座標平面に展開することで画像の歪みを補正する。これにより、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【０００８】
また、前記画素傾き算出手段によって算出される画素毎の局所的な輝度の傾き量に基づいて前記画像データのシェーディング補正量を算出するシェーディング補正量算出手段と、前記シェーディング補正量に従ってシェーディング補正を行うシェーディング補正手段とを備えたことを特徴とする。
【０００９】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因する輝度変化も補正された画像を得ることが可能となる。
【００１０】
また、前記シェーディング補正量算出手段により算出されるシェーディング補正量に基づいてノイズリダクション量を算出するノイズリダクション量算出手段と、前記ノイズリダクション量に従ってノイズ減衰を行うノイズリダクション手段とを備えたことを特徴とする。
【００１１】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因するシェーディングも補正され、さらにシェーディング補正に伴って生じたＳ／Ｎの劣化も補償された画像を得ることが可能となる。
【００１２】
また、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離に基づいて画像の輪郭補正量を算出する輪郭補正量算出手段と、前記輪郭補正量に従って輪郭補正を行う輪郭補正手段とを備えたことを特徴とする。
【００１３】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正によって発生する画像の尖鋭度劣化も改善された画像を得ることが可能となる。
【００１４】
また、前記画素傾き算出手段は、光学的画像中心から所定の一方向における画素毎の局所的な輝度の傾き量を算出するものであり、前記画素距離算出手段は、前記一方向における画素傾き量から全画素についての画像が歪まない場合の光学的画像中心からの距離を算出することを特徴とする。
【００１５】
上記構成によれば、光学的画像中心から一方向における画素毎の局所的な輝度の傾き量によって全画素についての光学的画像中心からの距離を算出して歪み補正ができるため、画像の幾何学的な歪みの補正を比較的少ない計算量で実行することが可能となる。
【００１６】
また、前記画像データを得る撮像手段に使用されたレンズを識別するためのレンズ識別情報を入力するレンズ情報入力手段と、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離を前記レンズ識別情報と対応付けて記憶するレンズ毎画素距離記憶手段とを備えたことを特徴とする。
【００１７】
上記構成によれば、一旦各画素の光学的画像中心からの距離を算出して補正量を演算したレンズについてはレンズ識別情報と共に画素距離を記憶するため、撮像手段のレンズ交換毎に画像歪み補正に関する演算を行うことなく、歪みが補正された画像を得ることが可能であり、操作性が向上する。
【００１８】
また、前記画像中心算出手段は、前記画像データにおける輝度の変化に基づいて画像中の極点を求めることによって画像の光学的中心を求めるものであることを特徴とする。
【００１９】
上記構成によれば、直交する直線の被写体などを用いることなく、輝度の変化に基づいて光学的画像中心を算出可能であり、簡便に画像歪み補正に関する処理を実行可能となる。
【００２０】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正方法であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力ステップと、前記画像データから画像の光学的中心を算出する画像中心算出ステップと、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出ステップと、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出ステップと、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構築する画像再構成ステップと、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間ステップと、を有することを特徴とする画像歪み補正方法を提供する。
【００２１】
上記手順によれば、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【００２２】
本発明は、上記のいずれかに記載の画像歪み補正装置の機能をコンピュータにより実行させるためのプログラムを提供する。
また、本発明は、上記のいずれかに記載の画像歪み補正装置の機能を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００２３】
上記構成により、コンピュータ上で上記記載の画像歪み補正装置の機能を実現でき、煩雑な手順や処理を用いることなく簡便で効果的に精度良く画像の歪みを補正することが可能となり、装置の低価格化を図れる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
本実施形態では、本発明に係る画像歪み補正装置の構成例及びその機能及び動作について説明するが、本発明に係る画像歪み補正方法は画像歪み補正装置の動作説明において示される。
【００２５】
［第１実施形態］
図１は本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。同図において、画像歪み補正装置は、被写体の画像を撮影してディジタル画像データを出力するカメラ１０、撮像したディジタル画像データを記憶するメモリ１１、画像の光学的中心を算出する画像中心算出手段として機能する画像中心算出部１２、画像内の位置に依存した輝度歪みに相当するシェーディング量から画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段として機能する画素傾き算出部１３、前記画素毎の輝度の傾きを逆展開することにより画像が歪まなかった場合における画素各々の光学的画像中心からの距離を算出する画素距離算出手段として機能する画素距離算出部１４、算出された画素の光学的画像中心からの距離（逆展開量）を直交座標であるＸＹ座標に変換して画像データを再構成する画像再構成手段として機能する画像再構成部１５、再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段として機能する画素補間部１６を備えている。カメラ１０及びメモリ１１は、歪み補正を行う画像データを入力する画像入力手段として機能する。
【００２６】
次に、以上のように構成された画像歪み補正装置の機能及び動作について、図３、図４及び図５を併せて参照しながら、図２に示すフローチャートの手順に従って説明する。
【００２７】
まず、ステップＳ２１において、カメラ１０により被写体を撮影して画像情報を取得する。このとき、撮像範囲の全領域で輝度が一様であるような平面状の被写体（白チャート）を、信号の飽和や黒つぶれがないように露光量（レンズ絞り）やシャッタ速度、ゲイン等を調整して撮影し、ディジタル信号に変換して出力する。この画像情報としては、カメラ信号処理の段階でシェーディングを起こしていないもの、映像信号オフセットを付加しない又は付加量０であるものを用いる。映像信号オフセットを調整できない場合、画像情報の輝度値から映像信号オフセットを差し引いたものを処理に用いる。すなわち、シェーディングがなく、黒レベルが０になっているか、黒レベルが０以上である場合は黒レベルオフセット値が判っているものを用いる。なお、カメラ以外の他の画像入力手段から画像データを入力することもできる。そして、ステップＳ２２において、メモリ１１にカメラ１０から出力されるディジタル信号を画像データとして格納し記憶する。
【００２８】
次に、ステップＳ２３において、画像中心算出部１２は、メモリ１１から画像データを読み出して光学的画像中心を算出する。ここで、光学的画像中心とは、カメラ１０による撮像部の構成をピンホールモデルとしたときのピンホールから、撮像面へおろした法線と撮像面との交点を意味することとする。
【００２９】
光学的画像中心を見つける方法としては、以下のようなものがある。第１の方法は、被写体が直線である場合、直線は画像の歪みによって全体として曲線に写るが、光学的画像中心を通る直線はそのまま直線として写るという性質を利用する。すなわち、直交する２直線を被写体として撮影し、２直線が直線のままの状態で交差して写る位置を探せば、この２直線の交点が光学的画像中心となる。
【００３０】
また光学的画像中心を見つける第２の方法として、使用するレンズの歪みが樽型に現れるならば光学的画像中心は最も明るくなることを利用する方法がある。
この場合、画像中心算出に用いるデータは、ディジタルデータであることや様々なノイズなどの要因を考慮し、レンズが樽型歪みを発生する場合、ある一定以上の輝度を持つ画素の座標について、輝度で重み付け平均をとるようにする。なおこの場合、計算を複数回行って平均値をとるなどしてもよい。この第２の方法では、直交直線被写体を用いずに、輝度の変化に基づいて画像中の極点を求めることによって光学的画像中心を算出できる。
【００３１】
次に、ステップＳ２４において、画素傾き算出部１３は、メモリ１１から読み出した画像データと、画像中心算出部１２により算出された光学的画像中心から画素毎の局所的な輝度の傾き量を算出する。
【００３２】
ここでは画像が歪むという現象を、撮影された画像が光学系を経由することによってある曲面に投影されると捉える。このとき、被写体が全領域において一様な輝度をもっていれば、投影された曲面に垂直な方向には一定の輝度をもつことになる。しかし、画像データを画素単位で見た場合、画素が投影された曲面における傾きに応じて輝度は減少するので、図３に示すように曲面に垂直な方向の輝度をＩとしたとき、傾きθにおける輝度はＩcosθになる。
【００３３】
以上の考え方に基づいて、画素傾き算出部１３は、図４に示すように、光学的画像中心画素とそれ以外の画素との輝度値の差から、画素が投影されている曲面の局所的傾きθを算出する。
【００３４】
次に、ステップＳ２５において、画素距離算出部１４は、画素各々について光学的画像中心からの距離を算出する。ここで、画像中心以外の画素が光学的歪みによって曲面に投影された場合、これを光軸方向から見ると、図５におけるＡ点で示すように画像中心からの距離は短くなる。そこで、これをＢ点で示すように平面に展開することを考える。１つの画素の長さをＬとするとき、画像中心からＡ点に見える画素までの曲面上の距離ｄは、中心画素の長さＬの１／２と、Ａ点に至るまでの画素各々の傾きθb 、θc の各余弦で画素の長さＬを除した値と、さらにθd の余弦でＡ点を含む画素の長さＬの１／２を除した値とを、合計することによって近似できる。すなわち、ｄ≒Ｌ・（１／２）＋Ｌ／cosθb ＋Ｌ／cosθc ＋Ｌ・（１／２）・（１／cosθd ）となり、この画素毎の逆展開によって画像中心からの距離が算出可能である。
【００３５】
次いで、ステップＳ２６において、画像再構成部１５は、画素距離算出部１４によって算出された極座標系で表される画素毎の光学的画像中心からの距離を、直交座標のＸＹ座標に変換するとともに、メモリ１１から画像データを読み出し、変換された座標に基づいて画像データをＸＹ平面上に配列して再構成する。
【００３６】
さらに、ステップＳ２７において、画素補間部１６は、再構成された画像データについて出力画面の座標位置に基づいて画素の補間を行い、出力用のディジタル画像データとして再構成して出力する。この補間の方法としては、画像再構成部１５によって算出された座標データの内、ディジタル画像としての座標から距離的に近いものを何点か用いて、距離による重み付け平均を算出すればよい。
【００３７】
以上説明したように、本実施形態では、画像の光学的歪みは曲面への投影（マッピング）であると捉え、投影された曲面の画素毎の局所的傾きを算出し、この輝度の傾き量に基づいて光学的画像中心からの距離を算出する。そして、この距離を平面に展開することによって、画像の歪みを補正している。
【００３８】
したがって、画像の歪み情報を得るために、従来のような市松模様等の特殊なパターンの使用や特徴点抽出、写像関数の近似的算出及び写像関数に基づく補正関数の算出などの煩雑な処理を必要とせず、また処理による近似誤差の発生と、それに起因する画像歪み精度の劣化を無くすことができる。よって本実施形態によれば、簡単な処理で精度良く画像の歪みを補正することが可能となり、また、装置構成や操作手順を簡略化でき、機器を安価に構成することができる。
【００３９】
［第２実施形態］
図６は本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第２実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出手段として機能するシェーディング補正量算出部３１と、シェーディング補正量に基づいて画像データの画素毎のシェーディングを補正するシェーディング補正手段として機能するシェーディング補正部３２とを備えている。図６では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４０】
次に、第２実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画像傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。そして、シェーディング補正部３２は、算出されたシェーディング補正量に基づいて画像データの画素毎のシェーディングを補正する。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量を掛け合わせることによって、画素毎のシェーディングを補正することができる。
【００４１】
このように、第２実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化（シェーディング）も補正された画像を得ることが可能となる。
【００４２】
［第３実施形態］
図７は本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第３実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出部３１と、シェーディング補正量からノイズ減衰のためのノイズリダクション量を算出するノイズリダクション量算出手段として機能するノイズリダクション量算出手段４１と、シェーディング補正量とノイズリダクション量とに基づいて画像データのシェーディング補正及びノイズの減衰を行うノイズリダクション手段として機能するシェーディング補正・ノイズ減衰部４２とを備えている。図７は第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４３】
次に、第３実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。シェーディング補正において付加されるゲイン量が大きい画素のＳ／Ｎは悪化するので、ノイズリダクション量算出手段４１は、算出したゲイン量（すなわちＳ／Ｎ悪化量）に従ってノイズリダクション量を算出する。そして、シェーディング補正・ノイズ減衰部４２は、算出されたシェーディング補正量に基づき、画像データの画素毎のシェーディングを補正するとともに、ノイズリダクション量に基づいてノイズを減衰させることにより、シェーディング補正によって生じたＳ／Ｎの劣化を改善する。
【００４４】
ここで、ノイズリダクション手法としては、例えばフレームメモリを用いた巡回型フィルタを構成することにより実現できる。ノイズリダクション量をフィルタの巡回係数として求めることによって、局所的なＳ／Ｎの劣化が少ない画像を得ることができる。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量と、このゲイン量に対応するノイズリダクション量とを掛け合わせることによって、画素毎のシェーディング補正とともにノイズ成分を減衰することができる。
【００４５】
このように、第３実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化も同時に補正し、さらにシェーディング補正に伴って生ずるＳ／Ｎの劣化も併せて補償された画像を得ることが可能となる。
【００４６】
［第４実施形態］
図８は本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第４実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きから輪郭補正量を算出する輪郭補正量算出手段として機能する輪郭補正量算出部５１と、輪郭補正量に従って画像データの輪郭を補正する輪郭補正手段として機能する輪郭補正部５２とを備えている。図８では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４７】
次に、第４実施形態における画像歪み補正装置の機能及び動作について説明する。第１実施形態において説明したように、画素距離算出部１４は画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５は算出された画素毎の光学的画像中心からの距離をＸＹ座標系に変換して各画素をＸＹ平面上に配列する。このとき、樽型歪みを補正するための画素配列は拡大に相当するので、樽型歪みがある部分は逆展開を行うと輝度の傾き量に従って画像の尖鋭度が劣化する。そこで、輪郭補正量算出部５１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾き量に従って、尖鋭度を強調するための輪郭補正量を算出する。例えば、画素配列による拡大率が大きくなるほど輪郭補正量を大きくとるようにする。そして、輪郭補正部５２は、輪郭補正量算出部５１によって算出された輪郭補正量に従って画像の輪郭を補正する。
【００４８】
このように、第４実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みの補正によって発生する画像の尖鋭度の劣化も改善された画像を得ることが可能となる。
【００４９】
［第５実施形態］
図９は本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第５実施形態は、図１における第１実施形態の画素傾き算出部１３及び画素距離算出部１４に代えて、光学的画像中心からある一方向のみにおける画素毎の局所的な輝度の傾き量を算出する一部分画素傾き算出部６１と、算出された一方向における輝度の傾き量を基に画素各々の光学的画像中心からの距離を算出する画素距離算出部６２とを備えている。図９では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５０】
次に、第５実施形態における画像歪み補正装置の機能及び動作について説明する。画像の歪みは、基本的に画像の光学的中心からの距離変動によって起こると考えられる。光学的画像中心を原点とした極座標系で考えたとき、原点からの距離成分は変わるが、角度成分は変動しない。ただし、この関係は撮像系と光学系との位置関係やレンズ等の光学系の構成や精度などによって、必ずしも保たれるとは限らない。このため歪み補正の際には、画像を構成する全画素に対して歪み補正量を算出することが望ましい。しかし、歪み補正についての要求精度が低い場合や、光学系の精度が高い場合には、上記関係を利用して歪み補正量の計算量を削減することが可能になる。
【００５１】
そこで、第５実施形態では、一部分画素傾き算出部６１において、光学的画像中心からある一方向（例えば、光学的画像中心から最大長さが得られる画像四隅のうちの一つ）についてのみ、第１実施形態に示したように画素が投影されている曲面の局所的傾きθを算出する。そして、画素距離算出部６２は、一部分画素傾き算出部６１により算出された一方向の輝度の傾き量に基づいて、画素各々について光学的画像中心からの距離を算出する。このとき、画像歪みを光学的画像中心を原点とした極座標系で考えた場合、原点からの距離成分は変わるが、角度成分は変動しないという関係を利用して、一方向のみの輝度の傾き量によって全画素について光学的画像中心からの距離を算出する。
【００５２】
このように、第５実施形態の構成によれば、光学的画像中心からある一方向のみの輝度の傾き量によって全画素の光学的画像中心からの距離を算出できるため、比較的少ない計算量で画像の歪みを補正することが可能となる。
【００５３】
［第６実施形態］
図１０は本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第６実施形態は、図１における第１実施形態の構成に加えて、画素距離算出部１４で算出された画像が歪まなかった場合における各画素の光学的画像中心からの距離をレンズ個体ごとに記憶するレンズ毎画素距離記憶手段として機能する画素距離記憶部７１と、画素距離を算出したレンズの識別情報を入力するレンズ情報入力手段として機能するレンズ情報入力部７２とを備えている。
図１０では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５４】
次に、第６実施形態における画像歪み補正装置の機能及び動作について説明する。レンズ情報入力部７２からレンズを個々に特定するためのレンズ個体識別データを入力する。レンズ識別データとしては、例えば製造番号や品番などの文字データ、電圧や抵抗値などの物理データなど、レンズ個体を識別可能な情報を用いる。画素距離記憶部７１は、画素距離算出部１４で算出された各画素の光学的画像中心からの距離をレンズ識別データと対応付けて記憶する。
【００５５】
これにより、一旦各画素の光学的画像中心からの距離を算出して歪み補正量を算出したレンズについては、レンズ情報入力部７２からレンズ識別データを入力すれば、レンズ識別データに対応したレンズに関する各画素の光学的画像中心からの距離データを画素距離記憶部７１から読み出すことで取得できる。したがって、第６実施形態の構成によれば、レンズ交換毎に歪み補正計算を行うことなく少ない処理手順で歪みが補正された画像を得ることが可能となる。
【００５６】
上述した第１ないし第６実施形態の説明においては、画像歪み補正装置の構成をブロック図で示し、その機能及び動作について説明したが、同様の画像歪み補正装置の機能及び画像歪み補正方法をコンピュータを用いて実現することが可能である。この場合、画像歪み補正装置の機能を実行するプログラムとして作成し、コンピュータが読み取り可能な記録媒体、例えば磁気ディスク、光磁気ディスク、ＲＯＭ等に記録する。そして、この記録媒体又は通信回線等からプログラムを読み込んでＭＰＵ等のプロセッサ及びメモリを備えたコンピュータ上で実行することにより、画像歪み補正装置の機能を実現することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、光学系等による画像の歪みを曲面上への投影として捉え、投影された曲面の画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離を平面に展開することで画像の歪みを補正することによって、市松模様などの特殊なパターンの被写体の使用や、特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。
【図２】本実施形態における画像歪み補正の手順を示すフローチャートである。
【図３】本実施形態の画像歪み補正において、画像に歪みがある場合の画素毎の局所的な輝度の傾きを示す模式図である。
【図４】本実施形態の画像歪み補正において、画像の各画素の配列と輝度値を示す模式図である。
【図５】本実施形態の画像歪み補正において、画素の光学的画像中心からの距離を示す模式図である。
【図６】本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図７】本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図８】本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図９】本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図１０】本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【符号の説明】
１０ カメラ
１１ メモリ
１２ 画像中心算出部
１３ 画素傾き算出部
１４，６２ 画素距離算出部
１５ 画像再構成部
１６ 画素補間部
３１ シェーディング補正量算出部
３２ シェーディング補正部
４１ ノイズリダクション量算出部
４２ シェーディング補正・ノイズ減衰部
５１ 輪郭補正量算出部
５２ 輪郭補正部
６１ 一部分画素傾き算出部
７１ 画素距離記憶部
７２ レンズ情報入力部
Claims (10)
- 撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正装置であって、
撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力手段と、
前記画像データから画像の光学的中心を算出する画像中心算出手段と、
前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段と、
前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出手段と、
前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構成する画像再構成手段と、
前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段と、
を備えたことを特徴とする画像歪み補正装置。 - 前記画素傾き算出手段によって算出される画素毎の局所的な輝度の傾き量に基づいて前記画像データのシェーディング補正量を算出するシェーディング補正量算出手段と、前記シェーディング補正量に従ってシェーディング補正を行うシェーディング補正手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。
- 前記シェーディング補正量算出手段により算出されるシェーディング補正量に基づいてノイズリダクション量を算出するノイズリダクション量算出手段と、前記ノイズリダクション量に従ってノイズ減衰を行うノイズリダクション手段とを備えたことを特徴とする請求項２記載の画像歪み補正装置。
- 前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離に基づいて画像の輪郭補正量を算出する輪郭補正量算出手段と、前記輪郭補正量に従って輪郭補正を行う輪郭補正手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。
- 前記画素傾き算出手段は、光学的画像中心から所定の一方向における画素毎の局所的な輝度の傾き量を算出するものであり、前記画素距離算出手段は、前記一方向における画素の傾き量から全画素についての画像が歪まない場合の光学的画像中心からの距離を算出することを特徴とする請求項１に記載の画像歪み補正装置。
- 前記画像データを得る撮像手段に使用されたレンズを識別するためのレンズ識別情報を入力するレンズ情報入力手段と、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離を前記レンズ識別情報と対応付けて記憶するレンズ毎画素距離記憶手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。
- 前記画像中心算出手段は、前記画像データにおける輝度の変化に基づいて画像中の極点を求めることによって画像の光学的中心を求めるものであることを特徴とする請求項１記載の画像歪み補正装置。
- 撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正方法であって、
撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力ステップと、
前記画像データから画像の光学的中心を算出する画像中心算出ステップと、
前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出ステップと、
前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出ステップと、
前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構築する画像再構成ステップと、
前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間ステップと、
を有することを特徴とする画像歪み補正方法。 - 請求項１〜７のいずれか一項に記載の画像歪み補正装置の機能をコンピュータにより実行させるためのプログラム。
- 請求項１〜７のいずれか一項に記載の画像歪み補正装置の機能を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001203738A JP4583670B2 (ja) | 2001-07-04 | 2001-07-04 | 画像歪み補正装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001203738A JP4583670B2 (ja) | 2001-07-04 | 2001-07-04 | 画像歪み補正装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018447A JP2003018447A (ja) | 2003-01-17 |
| JP4583670B2 true JP4583670B2 (ja) | 2010-11-17 |
Family
ID=19040318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001203738A Expired - Fee Related JP4583670B2 (ja) | 2001-07-04 | 2001-07-04 | 画像歪み補正装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4583670B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269373A (ja) | 2004-03-19 | 2005-09-29 | Fuji Photo Film Co Ltd | 映像信号処理システムおよび電子映像機器 |
| KR100808493B1 (ko) * | 2005-12-28 | 2008-03-03 | 엠텍비젼 주식회사 | 렌즈 셰이딩 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서 |
| KR100816301B1 (ko) | 2006-05-24 | 2008-03-24 | 엠텍비젼 주식회사 | 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체 |
| JP4661829B2 (ja) * | 2007-06-14 | 2011-03-30 | 株式会社富士通ゼネラル | 画像データ変換装置、及びこれを備えたカメラ装置 |
| JP4682181B2 (ja) * | 2007-11-19 | 2011-05-11 | シャープ株式会社 | 撮像装置および電子情報機器 |
| JP4629131B2 (ja) * | 2008-09-03 | 2011-02-09 | 大日本印刷株式会社 | 画像変換装置 |
| JP2010109667A (ja) * | 2008-10-30 | 2010-05-13 | Panasonic Corp | カメラシステム |
| JP5058962B2 (ja) | 2008-12-22 | 2012-10-24 | オリンパス株式会社 | 細胞画像解析装置、細胞画像解析方法、及びプログラム |
| KR102209866B1 (ko) * | 2020-03-03 | 2021-01-29 | 대한민국 | 지상기반 전운량 자동 산출을 위한 왜곡 영상 전처리 방법 |
| CN117455818B (zh) * | 2023-12-11 | 2024-04-30 | 深圳精智达技术股份有限公司 | 一种智能眼镜屏的校正方法、装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11261868A (ja) * | 1998-03-13 | 1999-09-24 | Fujitsu Ltd | 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法 |
| JPH11341340A (ja) * | 1998-05-28 | 1999-12-10 | Konica Corp | 電子カメラ |
| JP2000125174A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Photo Film Co Ltd | 画像情報における歪曲収差補正方法および装置 |
| JP2000184247A (ja) * | 1998-12-21 | 2000-06-30 | Olympus Optical Co Ltd | レンズ交換式デジタルカメラ |
| JP2000295516A (ja) * | 1999-04-09 | 2000-10-20 | Fuji Photo Film Co Ltd | 周辺減光補正方法および装置 |
| JP2001145012A (ja) * | 1999-11-12 | 2001-05-25 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
| JP2001167263A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 画像処理装置 |
-
2001
- 2001-07-04 JP JP2001203738A patent/JP4583670B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11261868A (ja) * | 1998-03-13 | 1999-09-24 | Fujitsu Ltd | 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法 |
| JPH11341340A (ja) * | 1998-05-28 | 1999-12-10 | Konica Corp | 電子カメラ |
| JP2000125174A (ja) * | 1998-10-12 | 2000-04-28 | Fuji Photo Film Co Ltd | 画像情報における歪曲収差補正方法および装置 |
| JP2000184247A (ja) * | 1998-12-21 | 2000-06-30 | Olympus Optical Co Ltd | レンズ交換式デジタルカメラ |
| JP2000295516A (ja) * | 1999-04-09 | 2000-10-20 | Fuji Photo Film Co Ltd | 周辺減光補正方法および装置 |
| JP2001145012A (ja) * | 1999-11-12 | 2001-05-25 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
| JP2001167263A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003018447A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276734B (zh) | 图像畸变校正方法和装置 | |
| JP5980294B2 (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
| KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
| US7990429B2 (en) | Imaging device with blur enhancement | |
| JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4513906B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| CN110264426B (zh) | 图像畸变校正方法和装置 | |
| US7970239B2 (en) | Hand jitter reduction compensating for rotational motion | |
| US10521891B2 (en) | Image processing apparatus, system, image processing method, and non-transitory recording medium | |
| US8463068B2 (en) | Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves | |
| JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
| CN102957845B (zh) | 图像处理程序、方法、装置和图像拾取装置 | |
| JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
| JP2006295626A (ja) | 魚眼像処理装置及びその方法並びに魚眼像撮像装置 | |
| JP4583670B2 (ja) | 画像歪み補正装置及び方法 | |
| US11334961B2 (en) | Multi-scale warping circuit for image fusion architecture | |
| Akyüz | Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction | |
| JP2004222231A (ja) | 画像処理装置および画像処理プログラム | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| KR20120020821A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| KR100887288B1 (ko) | 에지 방향성을 고려하여 이미지의 노이즈를 제거하는 방법 및 장치 | |
| US11798146B2 (en) | Image fusion architecture | |
| JP2004222233A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080702 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |