JP4583670B2

JP4583670B2 - Image distortion correction apparatus and method

Info

Publication number: JP4583670B2
Application number: JP2001203738A
Authority: JP
Inventors: 太郎樋爪; 一徳隅谷; 俊幸佐野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-07-04
Filing date: 2001-07-04
Publication date: 2010-11-17
Anticipated expiration: 2021-07-04
Also published as: JP2003018447A

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置によって撮影された画像の歪み補正に係り、特に光学系に起因する画像の歪みを補正する画像歪み補正装置及び方法に関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは非常に身近な存在となり、パーソナルコンピュータ、ＰＤＡなどの携帯端末装置、自動車搭載用、監視装置、インターホンなど、さまざまな分野で使用されている。これらディジタルカメラでは、低価格化のために構成を単純化したレンズが使用されるが、撮影して得られる画像には幾何学的な歪みが含まれることが多い。
【０００３】
従来、画像の歪み補正方法として、特開平５−２７４４２６号公報に開示された技術が知られている。これでは、まず市松模様の特性パタ−ンをカメラで撮像し、撮像デ−タから特徴点を検出する。次に、画像中心付近の特徴点の配列と画面上の位置からカメラをピンホ−ルモデルとした場合に得られる写像関数を作成する。さらに、写像関数から画面全体についての特徴点の基準位置を算出し、実際の画面上の位置とを比較することによって補正関数を算出し、この補正関数に基づいて撮像した画像の歪みを補正していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、画像歪み補正装置によって画像の歪みを補正するために、市松模様といった特殊なパターンの被写体を必要とし、さらに特徴点の抽出と写像関数への近似といった煩雑な処理が必要であり、そのため一般ユーザには操作が困難で使いこなしにくく、また、機器を安価に構成するのが容易でないという問題点があった。
【０００５】
本発明は、上記事情に鑑みてなされたもので、特殊なパターンの被写体の使用や、煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正装置であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力手段と、前記画像データから画像の光学的中心を算出する画像中心算出手段と、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段と、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出手段と、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構成する画像再構成手段と、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段と、を備えたことを特徴とする画像歪み補正装置を提供する。
【０００７】
上記構成では、画像データにおける画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離をＸＹ座標などの直交座標平面に展開することで画像の歪みを補正する。これにより、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【０００８】
また、前記画素傾き算出手段によって算出される画素毎の局所的な輝度の傾き量に基づいて前記画像データのシェーディング補正量を算出するシェーディング補正量算出手段と、前記シェーディング補正量に従ってシェーディング補正を行うシェーディング補正手段とを備えたことを特徴とする。
【０００９】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因する輝度変化も補正された画像を得ることが可能となる。
【００１０】
また、前記シェーディング補正量算出手段により算出されるシェーディング補正量に基づいてノイズリダクション量を算出するノイズリダクション量算出手段と、前記ノイズリダクション量に従ってノイズ減衰を行うノイズリダクション手段とを備えたことを特徴とする。
【００１１】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正に起因するシェーディングも補正され、さらにシェーディング補正に伴って生じたＳ／Ｎの劣化も補償された画像を得ることが可能となる。
【００１２】
また、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離に基づいて画像の輪郭補正量を算出する輪郭補正量算出手段と、前記輪郭補正量に従って輪郭補正を行う輪郭補正手段とを備えたことを特徴とする。
【００１３】
上記構成によれば、画像の幾何学的な歪みが補正されるだけでなく、歪み補正によって発生する画像の尖鋭度劣化も改善された画像を得ることが可能となる。
【００１４】
また、前記画素傾き算出手段は、光学的画像中心から所定の一方向における画素毎の局所的な輝度の傾き量を算出するものであり、前記画素距離算出手段は、前記一方向における画素傾き量から全画素についての画像が歪まない場合の光学的画像中心からの距離を算出することを特徴とする。
【００１５】
上記構成によれば、光学的画像中心から一方向における画素毎の局所的な輝度の傾き量によって全画素についての光学的画像中心からの距離を算出して歪み補正ができるため、画像の幾何学的な歪みの補正を比較的少ない計算量で実行することが可能となる。
【００１６】
また、前記画像データを得る撮像手段に使用されたレンズを識別するためのレンズ識別情報を入力するレンズ情報入力手段と、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離を前記レンズ識別情報と対応付けて記憶するレンズ毎画素距離記憶手段とを備えたことを特徴とする。
【００１７】
上記構成によれば、一旦各画素の光学的画像中心からの距離を算出して補正量を演算したレンズについてはレンズ識別情報と共に画素距離を記憶するため、撮像手段のレンズ交換毎に画像歪み補正に関する演算を行うことなく、歪みが補正された画像を得ることが可能であり、操作性が向上する。
【００１８】
また、前記画像中心算出手段は、前記画像データにおける輝度の変化に基づいて画像中の極点を求めることによって画像の光学的中心を求めるものであることを特徴とする。
【００１９】
上記構成によれば、直交する直線の被写体などを用いることなく、輝度の変化に基づいて光学的画像中心を算出可能であり、簡便に画像歪み補正に関する処理を実行可能となる。
【００２０】
本発明は、撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正方法であって、撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力ステップと、前記画像データから画像の光学的中心を算出する画像中心算出ステップと、前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出ステップと、前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出ステップと、前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構築する画像再構成ステップと、前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間ステップと、を有することを特徴とする画像歪み補正方法を提供する。
【００２１】
上記手順によれば、画像の歪み情報を得るための市松模様などの特殊なパターンの被写体の使用や、歪み補正のための特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とすることなく、簡便で効果的に精度良く画像の歪みを補正することができ、画像歪み補正機能を安価に実現可能となる。
【００２２】
本発明は、上記のいずれかに記載の画像歪み補正装置の機能をコンピュータにより実行させるためのプログラムを提供する。
また、本発明は、上記のいずれかに記載の画像歪み補正装置の機能を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００２３】
上記構成により、コンピュータ上で上記記載の画像歪み補正装置の機能を実現でき、煩雑な手順や処理を用いることなく簡便で効果的に精度良く画像の歪みを補正することが可能となり、装置の低価格化を図れる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
本実施形態では、本発明に係る画像歪み補正装置の構成例及びその機能及び動作について説明するが、本発明に係る画像歪み補正方法は画像歪み補正装置の動作説明において示される。
【００２５】
［第１実施形態］
図１は本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。同図において、画像歪み補正装置は、被写体の画像を撮影してディジタル画像データを出力するカメラ１０、撮像したディジタル画像データを記憶するメモリ１１、画像の光学的中心を算出する画像中心算出手段として機能する画像中心算出部１２、画像内の位置に依存した輝度歪みに相当するシェーディング量から画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段として機能する画素傾き算出部１３、前記画素毎の輝度の傾きを逆展開することにより画像が歪まなかった場合における画素各々の光学的画像中心からの距離を算出する画素距離算出手段として機能する画素距離算出部１４、算出された画素の光学的画像中心からの距離（逆展開量）を直交座標であるＸＹ座標に変換して画像データを再構成する画像再構成手段として機能する画像再構成部１５、再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段として機能する画素補間部１６を備えている。カメラ１０及びメモリ１１は、歪み補正を行う画像データを入力する画像入力手段として機能する。
【００２６】
次に、以上のように構成された画像歪み補正装置の機能及び動作について、図３、図４及び図５を併せて参照しながら、図２に示すフローチャートの手順に従って説明する。
【００２７】
まず、ステップＳ２１において、カメラ１０により被写体を撮影して画像情報を取得する。このとき、撮像範囲の全領域で輝度が一様であるような平面状の被写体（白チャート）を、信号の飽和や黒つぶれがないように露光量（レンズ絞り）やシャッタ速度、ゲイン等を調整して撮影し、ディジタル信号に変換して出力する。この画像情報としては、カメラ信号処理の段階でシェーディングを起こしていないもの、映像信号オフセットを付加しない又は付加量０であるものを用いる。映像信号オフセットを調整できない場合、画像情報の輝度値から映像信号オフセットを差し引いたものを処理に用いる。すなわち、シェーディングがなく、黒レベルが０になっているか、黒レベルが０以上である場合は黒レベルオフセット値が判っているものを用いる。なお、カメラ以外の他の画像入力手段から画像データを入力することもできる。そして、ステップＳ２２において、メモリ１１にカメラ１０から出力されるディジタル信号を画像データとして格納し記憶する。
【００２８】
次に、ステップＳ２３において、画像中心算出部１２は、メモリ１１から画像データを読み出して光学的画像中心を算出する。ここで、光学的画像中心とは、カメラ１０による撮像部の構成をピンホールモデルとしたときのピンホールから、撮像面へおろした法線と撮像面との交点を意味することとする。
【００２９】
光学的画像中心を見つける方法としては、以下のようなものがある。第１の方法は、被写体が直線である場合、直線は画像の歪みによって全体として曲線に写るが、光学的画像中心を通る直線はそのまま直線として写るという性質を利用する。すなわち、直交する２直線を被写体として撮影し、２直線が直線のままの状態で交差して写る位置を探せば、この２直線の交点が光学的画像中心となる。
【００３０】
また光学的画像中心を見つける第２の方法として、使用するレンズの歪みが樽型に現れるならば光学的画像中心は最も明るくなることを利用する方法がある。
この場合、画像中心算出に用いるデータは、ディジタルデータであることや様々なノイズなどの要因を考慮し、レンズが樽型歪みを発生する場合、ある一定以上の輝度を持つ画素の座標について、輝度で重み付け平均をとるようにする。なおこの場合、計算を複数回行って平均値をとるなどしてもよい。この第２の方法では、直交直線被写体を用いずに、輝度の変化に基づいて画像中の極点を求めることによって光学的画像中心を算出できる。
【００３１】
次に、ステップＳ２４において、画素傾き算出部１３は、メモリ１１から読み出した画像データと、画像中心算出部１２により算出された光学的画像中心から画素毎の局所的な輝度の傾き量を算出する。
【００３２】
ここでは画像が歪むという現象を、撮影された画像が光学系を経由することによってある曲面に投影されると捉える。このとき、被写体が全領域において一様な輝度をもっていれば、投影された曲面に垂直な方向には一定の輝度をもつことになる。しかし、画像データを画素単位で見た場合、画素が投影された曲面における傾きに応じて輝度は減少するので、図３に示すように曲面に垂直な方向の輝度をＩとしたとき、傾きθにおける輝度はＩcosθになる。
【００３３】
以上の考え方に基づいて、画素傾き算出部１３は、図４に示すように、光学的画像中心画素とそれ以外の画素との輝度値の差から、画素が投影されている曲面の局所的傾きθを算出する。
【００３４】
次に、ステップＳ２５において、画素距離算出部１４は、画素各々について光学的画像中心からの距離を算出する。ここで、画像中心以外の画素が光学的歪みによって曲面に投影された場合、これを光軸方向から見ると、図５におけるＡ点で示すように画像中心からの距離は短くなる。そこで、これをＢ点で示すように平面に展開することを考える。１つの画素の長さをＬとするとき、画像中心からＡ点に見える画素までの曲面上の距離ｄは、中心画素の長さＬの１／２と、Ａ点に至るまでの画素各々の傾きθb 、θc の各余弦で画素の長さＬを除した値と、さらにθd の余弦でＡ点を含む画素の長さＬの１／２を除した値とを、合計することによって近似できる。すなわち、ｄ≒Ｌ・（１／２）＋Ｌ／cosθb ＋Ｌ／cosθc ＋Ｌ・（１／２）・（１／cosθd ）となり、この画素毎の逆展開によって画像中心からの距離が算出可能である。
【００３５】
次いで、ステップＳ２６において、画像再構成部１５は、画素距離算出部１４によって算出された極座標系で表される画素毎の光学的画像中心からの距離を、直交座標のＸＹ座標に変換するとともに、メモリ１１から画像データを読み出し、変換された座標に基づいて画像データをＸＹ平面上に配列して再構成する。
【００３６】
さらに、ステップＳ２７において、画素補間部１６は、再構成された画像データについて出力画面の座標位置に基づいて画素の補間を行い、出力用のディジタル画像データとして再構成して出力する。この補間の方法としては、画像再構成部１５によって算出された座標データの内、ディジタル画像としての座標から距離的に近いものを何点か用いて、距離による重み付け平均を算出すればよい。
【００３７】
以上説明したように、本実施形態では、画像の光学的歪みは曲面への投影（マッピング）であると捉え、投影された曲面の画素毎の局所的傾きを算出し、この輝度の傾き量に基づいて光学的画像中心からの距離を算出する。そして、この距離を平面に展開することによって、画像の歪みを補正している。
【００３８】
したがって、画像の歪み情報を得るために、従来のような市松模様等の特殊なパターンの使用や特徴点抽出、写像関数の近似的算出及び写像関数に基づく補正関数の算出などの煩雑な処理を必要とせず、また処理による近似誤差の発生と、それに起因する画像歪み精度の劣化を無くすことができる。よって本実施形態によれば、簡単な処理で精度良く画像の歪みを補正することが可能となり、また、装置構成や操作手順を簡略化でき、機器を安価に構成することができる。
【００３９】
［第２実施形態］
図６は本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第２実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出手段として機能するシェーディング補正量算出部３１と、シェーディング補正量に基づいて画像データの画素毎のシェーディングを補正するシェーディング補正手段として機能するシェーディング補正部３２とを備えている。図６では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４０】
次に、第２実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画像傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。そして、シェーディング補正部３２は、算出されたシェーディング補正量に基づいて画像データの画素毎のシェーディングを補正する。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量を掛け合わせることによって、画素毎のシェーディングを補正することができる。
【００４１】
このように、第２実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化（シェーディング）も補正された画像を得ることが可能となる。
【００４２】
［第３実施形態］
図７は本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第３実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きからシェーディング補正量を算出するシェーディング補正量算出部３１と、シェーディング補正量からノイズ減衰のためのノイズリダクション量を算出するノイズリダクション量算出手段として機能するノイズリダクション量算出手段４１と、シェーディング補正量とノイズリダクション量とに基づいて画像データのシェーディング補正及びノイズの減衰を行うノイズリダクション手段として機能するシェーディング補正・ノイズ減衰部４２とを備えている。図７は第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４３】
次に、第３実施形態における画像歪み補正装置の機能及び動作について説明する。シェーディング補正量算出部３１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾きから、画像中心画素の輝度とそれ以外の画素の輝度との差を算出して、輝度差を補うためのゲイン量（シェーディング補正量）を算出する。シェーディング補正において付加されるゲイン量が大きい画素のＳ／Ｎは悪化するので、ノイズリダクション量算出手段４１は、算出したゲイン量（すなわちＳ／Ｎ悪化量）に従ってノイズリダクション量を算出する。そして、シェーディング補正・ノイズ減衰部４２は、算出されたシェーディング補正量に基づき、画像データの画素毎のシェーディングを補正するとともに、ノイズリダクション量に基づいてノイズを減衰させることにより、シェーディング補正によって生じたＳ／Ｎの劣化を改善する。
【００４４】
ここで、ノイズリダクション手法としては、例えばフレームメモリを用いた巡回型フィルタを構成することにより実現できる。ノイズリダクション量をフィルタの巡回係数として求めることによって、局所的なＳ／Ｎの劣化が少ない画像を得ることができる。以降は第１実施形態と同様に、画素距離算出部１４によって画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５によって算出された光学的画像中心からの距離に基づいて画素を配列することで、画像を再構成して補正を行う。この場合、シェーディング補正量として算出された輝度差を補うためのゲイン量と、このゲイン量に対応するノイズリダクション量とを掛け合わせることによって、画素毎のシェーディング補正とともにノイズ成分を減衰することができる。
【００４５】
このように、第３実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みを補正する一連の処理の中で、歪みに起因する輝度変化も同時に補正し、さらにシェーディング補正に伴って生ずるＳ／Ｎの劣化も併せて補償された画像を得ることが可能となる。
【００４６】
［第４実施形態］
図８は本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第４実施形態は、図１における第１実施形態の構成に加えて、画素毎の輝度の傾きから輪郭補正量を算出する輪郭補正量算出手段として機能する輪郭補正量算出部５１と、輪郭補正量に従って画像データの輪郭を補正する輪郭補正手段として機能する輪郭補正部５２とを備えている。図８では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００４７】
次に、第４実施形態における画像歪み補正装置の機能及び動作について説明する。第１実施形態において説明したように、画素距離算出部１４は画像の逆展開により各画素について光学的画像中心からの距離を算出し、画像再構成部１５は算出された画素毎の光学的画像中心からの距離をＸＹ座標系に変換して各画素をＸＹ平面上に配列する。このとき、樽型歪みを補正するための画素配列は拡大に相当するので、樽型歪みがある部分は逆展開を行うと輝度の傾き量に従って画像の尖鋭度が劣化する。そこで、輪郭補正量算出部５１は、画素傾き算出部１３により算出された画素毎の局所的な輝度の傾き量に従って、尖鋭度を強調するための輪郭補正量を算出する。例えば、画素配列による拡大率が大きくなるほど輪郭補正量を大きくとるようにする。そして、輪郭補正部５２は、輪郭補正量算出部５１によって算出された輪郭補正量に従って画像の輪郭を補正する。
【００４８】
このように、第４実施形態の構成によれば、画像の幾何学的な歪みが補正されるだけでなく、幾何学歪みの補正によって発生する画像の尖鋭度の劣化も改善された画像を得ることが可能となる。
【００４９】
［第５実施形態］
図９は本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第５実施形態は、図１における第１実施形態の画素傾き算出部１３及び画素距離算出部１４に代えて、光学的画像中心からある一方向のみにおける画素毎の局所的な輝度の傾き量を算出する一部分画素傾き算出部６１と、算出された一方向における輝度の傾き量を基に画素各々の光学的画像中心からの距離を算出する画素距離算出部６２とを備えている。図９では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５０】
次に、第５実施形態における画像歪み補正装置の機能及び動作について説明する。画像の歪みは、基本的に画像の光学的中心からの距離変動によって起こると考えられる。光学的画像中心を原点とした極座標系で考えたとき、原点からの距離成分は変わるが、角度成分は変動しない。ただし、この関係は撮像系と光学系との位置関係やレンズ等の光学系の構成や精度などによって、必ずしも保たれるとは限らない。このため歪み補正の際には、画像を構成する全画素に対して歪み補正量を算出することが望ましい。しかし、歪み補正についての要求精度が低い場合や、光学系の精度が高い場合には、上記関係を利用して歪み補正量の計算量を削減することが可能になる。
【００５１】
そこで、第５実施形態では、一部分画素傾き算出部６１において、光学的画像中心からある一方向（例えば、光学的画像中心から最大長さが得られる画像四隅のうちの一つ）についてのみ、第１実施形態に示したように画素が投影されている曲面の局所的傾きθを算出する。そして、画素距離算出部６２は、一部分画素傾き算出部６１により算出された一方向の輝度の傾き量に基づいて、画素各々について光学的画像中心からの距離を算出する。このとき、画像歪みを光学的画像中心を原点とした極座標系で考えた場合、原点からの距離成分は変わるが、角度成分は変動しないという関係を利用して、一方向のみの輝度の傾き量によって全画素について光学的画像中心からの距離を算出する。
【００５２】
このように、第５実施形態の構成によれば、光学的画像中心からある一方向のみの輝度の傾き量によって全画素の光学的画像中心からの距離を算出できるため、比較的少ない計算量で画像の歪みを補正することが可能となる。
【００５３】
［第６実施形態］
図１０は本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。第６実施形態は、図１における第１実施形態の構成に加えて、画素距離算出部１４で算出された画像が歪まなかった場合における各画素の光学的画像中心からの距離をレンズ個体ごとに記憶するレンズ毎画素距離記憶手段として機能する画素距離記憶部７１と、画素距離を算出したレンズの識別情報を入力するレンズ情報入力手段として機能するレンズ情報入力部７２とを備えている。
図１０では第１実施形態と異なる構成部分のみを示している。なお、第１実施形態と同一構成要素については同一符号を付して説明を省略する。
【００５４】
次に、第６実施形態における画像歪み補正装置の機能及び動作について説明する。レンズ情報入力部７２からレンズを個々に特定するためのレンズ個体識別データを入力する。レンズ識別データとしては、例えば製造番号や品番などの文字データ、電圧や抵抗値などの物理データなど、レンズ個体を識別可能な情報を用いる。画素距離記憶部７１は、画素距離算出部１４で算出された各画素の光学的画像中心からの距離をレンズ識別データと対応付けて記憶する。
【００５５】
これにより、一旦各画素の光学的画像中心からの距離を算出して歪み補正量を算出したレンズについては、レンズ情報入力部７２からレンズ識別データを入力すれば、レンズ識別データに対応したレンズに関する各画素の光学的画像中心からの距離データを画素距離記憶部７１から読み出すことで取得できる。したがって、第６実施形態の構成によれば、レンズ交換毎に歪み補正計算を行うことなく少ない処理手順で歪みが補正された画像を得ることが可能となる。
【００５６】
上述した第１ないし第６実施形態の説明においては、画像歪み補正装置の構成をブロック図で示し、その機能及び動作について説明したが、同様の画像歪み補正装置の機能及び画像歪み補正方法をコンピュータを用いて実現することが可能である。この場合、画像歪み補正装置の機能を実行するプログラムとして作成し、コンピュータが読み取り可能な記録媒体、例えば磁気ディスク、光磁気ディスク、ＲＯＭ等に記録する。そして、この記録媒体又は通信回線等からプログラムを読み込んでＭＰＵ等のプロセッサ及びメモリを備えたコンピュータ上で実行することにより、画像歪み補正装置の機能を実現することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、光学系等による画像の歪みを曲面上への投影として捉え、投影された曲面の画素毎の局所的な輝度の傾きを算出し、各画素毎の傾き量に基づいて光学的画像中心からの距離を算出して、この距離を平面に展開することで画像の歪みを補正することによって、市松模様などの特殊なパターンの被写体の使用や、特徴点算出、写像関数の近似的算出、写像関数に基づく補正関数の算出などの煩雑かつ誤差の入り込み易い処理を必要とせず、簡便に精度良く画像の歪みを補正することができ、安価に実現可能な画像歪み補正装置及び方法を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る画像歪み補正装置の構成を示すブロック図である。
【図２】本実施形態における画像歪み補正の手順を示すフローチャートである。
【図３】本実施形態の画像歪み補正において、画像に歪みがある場合の画素毎の局所的な輝度の傾きを示す模式図である。
【図４】本実施形態の画像歪み補正において、画像の各画素の配列と輝度値を示す模式図である。
【図５】本実施形態の画像歪み補正において、画素の光学的画像中心からの距離を示す模式図である。
【図６】本発明の第２実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図７】本発明の第３実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図８】本発明の第４実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図９】本発明の第５実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【図１０】本発明の第６実施形態に係る画像歪み補正装置の一部構成を示すブロック図である。
【符号の説明】
１０カメラ
１１メモリ
１２画像中心算出部
１３画素傾き算出部
１４，６２画素距離算出部
１５画像再構成部
１６画素補間部
３１シェーディング補正量算出部
３２シェーディング補正部
４１ノイズリダクション量算出部
４２シェーディング補正・ノイズ減衰部
５１輪郭補正量算出部
５２輪郭補正部
６１一部分画素傾き算出部
７１画素距離記憶部
７２レンズ情報入力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to distortion correction of an image taken by an imaging apparatus, and more particularly to an image distortion correction apparatus and method for correcting image distortion caused by an optical system.
[0002]
[Prior art]
In recent years, digital cameras have become very familiar and are used in various fields such as personal computer, PDA and other portable terminal devices, automobile installations, monitoring devices, and intercoms. In these digital cameras, a lens with a simplified configuration is used for cost reduction, but an image obtained by photographing often includes geometric distortion.
[0003]
Conventionally, a technique disclosed in Japanese Patent Laid-Open No. 5-274426 is known as a method for correcting image distortion. In this case, first, a checkered pattern characteristic pattern is imaged by a camera, and a feature point is detected from the imaging data. Next, a mapping function obtained when the camera is a pinhole model is created from the arrangement of feature points near the center of the image and the position on the screen. Furthermore, the reference position of the feature point for the entire screen is calculated from the mapping function, a correction function is calculated by comparing the actual position on the screen, and distortion of the captured image is corrected based on this correction function. It was.
[0004]
[Problems to be solved by the invention]
However, in the above prior art, in order to correct image distortion by the image distortion correction apparatus, a subject with a special pattern such as a checkered pattern is required, and complicated processing such as extraction of feature points and approximation to a mapping function is required. Therefore, it is difficult for general users to operate and use, and it is not easy to configure the device at a low cost.
[0005]
The present invention has been made in view of the above circumstances, and does not require the use of a subject with a special pattern or complicated and error-prone processing, can easily and accurately correct image distortion, and is inexpensive. An object of the present invention is to provide an image distortion correction apparatus and method that can be realized.
[0006]
[Means for Solving the Problems]
The present invention An image distortion correction apparatus that corrects a distorted image in which a captured image is projected onto a curved surface through an optical system, By imaging means When shooting a subject with uniform brightness in all areas Image input means for inputting image data, image center calculation means for calculating an optical center of an image from the image data, pixel inclination calculation means for calculating a local luminance inclination amount for each pixel from the image data, A pixel distance calculating means for calculating a distance from the optical image center when the image is not distorted for each pixel from the pixel inclination amount, and converting the distance from the optical image center of each of the pixels to an orthogonal coordinate, Image reconstruction means for reconstructing the image data based on orthogonal coordinates; and pixel interpolation means for performing pixel interpolation based on the coordinate position of the output screen for the reconstructed image data. An image distortion correction apparatus is provided.
[0007]
In the above configuration, the local luminance gradient for each pixel in the image data is calculated, the distance from the optical image center is calculated based on the amount of inclination for each pixel, and this distance is used as orthogonal coordinates such as XY coordinates. Image distortion is corrected by developing the image on a flat surface. This makes it possible to use a subject with a special pattern such as a checkered pattern to obtain image distortion information, calculate feature points for distortion correction, approximate calculation of mapping functions, calculation of correction functions based on mapping functions, etc. The image distortion can be corrected simply and effectively with high accuracy without requiring complicated and error-prone processing, and the image distortion correction function can be realized at low cost.
[0008]
Further, a shading correction amount calculation unit that calculates a shading correction amount of the image data based on a local luminance inclination amount for each pixel calculated by the pixel inclination calculation unit, and performs shading correction according to the shading correction amount. And a shading correction means.
[0009]
According to the above configuration, it is possible to obtain an image in which not only the geometric distortion of the image is corrected but also the luminance change caused by the distortion correction is corrected.
[0010]
The image processing apparatus further includes a noise reduction amount calculation unit that calculates a noise reduction amount based on the shading correction amount calculated by the shading correction amount calculation unit, and a noise reduction unit that performs noise attenuation according to the noise reduction amount. And
[0011]
According to the above configuration, not only the geometric distortion of the image is corrected, but also the shading caused by the distortion correction is corrected, and further, the S / N degradation caused by the shading correction is also compensated. Can be obtained.
[0012]
In addition, a contour correction amount calculating unit that calculates a contour correction amount of the image based on a distance from the optical image center when the image calculated by the pixel distance calculating unit is not distorted, and a contour correction according to the contour correction amount. It is characterized by comprising contour correction means for performing.
[0013]
According to the above configuration, it is possible to obtain an image in which not only the geometric distortion of the image is corrected but also the sharpness degradation of the image caused by the distortion correction is improved.
[0014]
In addition, the pixel inclination calculation unit calculates a local luminance inclination amount for each pixel in a predetermined direction from the optical image center, and the pixel distance calculation unit calculates the pixel inclination amount in the one direction. To calculate the distance from the center of the optical image when the image for all the pixels is not distorted.
[0015]
According to the above configuration, since the distance from the optical image center for all the pixels can be calculated by the amount of local luminance gradient for each pixel in one direction from the optical image center, distortion correction can be performed. It becomes possible to execute a general distortion correction with a relatively small amount of calculation.
[0016]
A lens information input unit that inputs lens identification information for identifying a lens used in the imaging unit that obtains the image data; and an optical image center when the image calculated by the pixel distance calculation unit is not distorted. And a lens-by-lens distance storage unit that stores a distance from the lens in association with the lens identification information.
[0017]
According to the above configuration, since the pixel distance is stored together with the lens identification information for the lens for which the correction amount is calculated by calculating the distance from the optical image center of each pixel, the image distortion correction is performed every time the lens of the imaging unit is replaced. It is possible to obtain an image in which distortion is corrected without performing the calculation relating to the above, and the operability is improved.
[0018]
Further, the image center calculating means is characterized in that an optical center of the image is obtained by obtaining a pole in the image based on a change in luminance in the image data.
[0019]
According to the above configuration, it is possible to calculate the optical image center based on the change in luminance without using an orthogonal straight subject or the like, and it is possible to easily execute processing relating to image distortion correction.
[0020]
The present invention An image distortion correction method for correcting a distorted image in which a captured image is projected onto a curved surface through an optical system, By imaging means When shooting a subject with uniform brightness in all areas An image input step for inputting image data, an image center calculation step for calculating an optical center of the image from the image data, and a pixel inclination calculation step for calculating a local luminance inclination amount for each pixel from the image data; A pixel distance calculating step of calculating a distance from the optical image center when the image is not distorted for each pixel from the pixel tilt amount, and converting the distance from the optical image center of each pixel into orthogonal coordinates, An image reconstruction step for reconstructing the image data based on orthogonal coordinates; and a pixel interpolation step for interpolating pixels based on the coordinate position of an output screen for the reconstructed image data. An image distortion correction method is provided.
[0021]
According to the above procedure, use of a subject with a special pattern such as a checkered pattern to obtain image distortion information, feature point calculation for distortion correction, approximate calculation of the mapping function, correction function based on the mapping function The image distortion can be corrected easily and effectively with high accuracy without requiring complicated processing such as calculation, which is easy to introduce errors, and the image distortion correction function can be realized at low cost.
[0022]
The present invention provides a program for causing a computer to execute the function of the image distortion correction apparatus described above.
The present invention also provides a computer-readable recording medium on which a program for executing the function of any of the image distortion correction apparatuses described above is recorded.
[0023]
With the above configuration, the functions of the above-described image distortion correction apparatus can be realized on a computer, and it is possible to correct image distortion simply and effectively without using complicated procedures and processes. Price can be achieved.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In the present embodiment, an example of the configuration of an image distortion correction apparatus according to the present invention and the function and operation thereof will be described. The image distortion correction method according to the present invention will be described in the operation description of the image distortion correction apparatus.
[0025]
[First Embodiment]
FIG. 1 is a block diagram showing the configuration of an image distortion correction apparatus according to the first embodiment of the present invention. In the figure, an image distortion correction apparatus includes a camera 10 that captures an image of a subject and outputs digital image data, a memory 11 that stores the captured digital image data, and an image center calculation unit that calculates the optical center of the image. A functioning image center calculation unit 12; a pixel inclination calculation unit 13 that functions as a pixel inclination calculation unit that calculates a local luminance inclination amount for each pixel from a shading amount corresponding to luminance distortion depending on a position in the image; A pixel distance calculation unit 14 that functions as a pixel distance calculation unit that calculates the distance from the optical image center of each pixel when the image is not distorted by reversely developing the luminance gradient for each pixel; Image reconstruction means for reconstructing image data by converting the distance (reverse development amount) from the optical image center into XY coordinates that are orthogonal coordinates Functional image reconstruction unit 15, a pixel interpolation unit 16 serving as a pixel interpolation means for performing interpolation of pixels based on the coordinate position of an output screen for the reconstructed image data. The camera 10 and the memory 11 function as image input means for inputting image data for performing distortion correction.
[0026]
Next, the function and operation of the image distortion correction apparatus configured as described above will be described according to the procedure of the flowchart shown in FIG. 2 with reference to FIGS. 3, 4 and 5 together.
[0027]
First, in step S21, a subject is photographed by the camera 10 to acquire image information. At this time, the exposure amount (lens aperture), shutter speed, gain, etc. should be adjusted so that there is no signal saturation or blackout in a flat subject (white chart) whose brightness is uniform in the entire imaging range. Adjust and shoot, convert to digital signal and output. As this image information, information that has not undergone shading at the stage of camera signal processing, information that does not add a video signal offset, or that has an addition amount of 0 is used. When the video signal offset cannot be adjusted, a value obtained by subtracting the video signal offset from the luminance value of the image information is used for processing. That is, when there is no shading and the black level is 0, or when the black level is 0 or more, the one whose black level offset value is known is used. Note that image data can also be input from image input means other than the camera. In step S22, the digital signal output from the camera 10 is stored and stored in the memory 11 as image data.
[0028]
Next, in step S23, the image center calculation unit 12 reads the image data from the memory 11 and calculates the optical image center. Here, the optical image center means an intersection of a normal line taken from the pinhole to the imaging surface and the imaging surface when the configuration of the imaging unit by the camera 10 is a pinhole model.
[0029]
There are the following methods for finding the center of the optical image. The first method uses the property that when the subject is a straight line, the straight line appears as a whole as a result of image distortion, but the straight line passing through the center of the optical image appears as a straight line. That is, if two orthogonal lines are photographed as a subject and the position where the two lines intersect with each other in a straight line is searched for, the intersection of the two lines becomes the optical image center.
[0030]
As a second method for finding the optical image center, there is a method using the fact that the optical image center becomes brightest if the distortion of the lens used appears in a barrel shape.
In this case, the data used for the calculation of the image center is digital data and various factors such as noise are taken into consideration. When the lens generates barrel distortion, the brightness of the coordinates of a pixel having a certain brightness or higher is used. To take a weighted average. In this case, the calculation may be performed a plurality of times to obtain an average value. In the second method, the optical image center can be calculated by obtaining the extreme point in the image based on the change in luminance without using the orthogonal straight subject.
[0031]
Next, in step S <b> 24, the pixel inclination calculation unit 13 calculates a local luminance inclination amount for each pixel from the image data read from the memory 11 and the optical image center calculated by the image center calculation unit 12. .
[0032]
Here, the phenomenon that the image is distorted is considered as a captured image projected onto a curved surface through an optical system. At this time, if the subject has uniform brightness in the entire region, the subject has constant brightness in the direction perpendicular to the projected curved surface. However, when the image data is viewed in units of pixels, the luminance decreases according to the inclination of the curved surface on which the pixels are projected. Therefore, when the luminance in the direction perpendicular to the curved surface is I as shown in FIG. The luminance at is Icosθ.
[0033]
Based on the above concept, as shown in FIG. 4, the pixel inclination calculation unit 13 calculates the local inclination of the curved surface on which the pixel is projected from the difference in luminance value between the optical image center pixel and the other pixels. θ is calculated.
[0034]
Next, in step S25, the pixel distance calculation unit 14 calculates the distance from the optical image center for each pixel. Here, when pixels other than the center of the image are projected onto the curved surface due to optical distortion, when viewed from the optical axis direction, the distance from the center of the image becomes short as indicated by point A in FIG. Therefore, consider developing this on a plane as shown by point B. When the length of one pixel is L, the distance d on the curved surface from the center of the image to the pixel that can be seen at the point A is ½ of the length L of the center pixel, and each of the pixels up to the point A It can be approximated by summing the value obtained by dividing the pixel length L by the cosines of the inclinations θb and θc and the value obtained by dividing 1/2 of the pixel length L including the point A by the cosine of θd. . That is, d≈L · (1/2) + L / cos θb + L / cos θc + L · (1/2) · (1 / cos θd), and the distance from the center of the image can be calculated by reverse development for each pixel.
[0035]
Next, in step S26, the image reconstruction unit 15 converts the distance from the optical image center for each pixel represented by the polar coordinate system calculated by the pixel distance calculation unit 14 into XY coordinates of orthogonal coordinates, Image data is read from the memory 11, and the image data is arranged on the XY plane and reconstructed based on the converted coordinates.
[0036]
Furthermore, in step S27, the pixel interpolation unit 16 performs pixel interpolation based on the coordinate position of the output screen for the reconstructed image data, and reconstructs and outputs the digital image data for output. As an interpolation method, the weighted average based on the distance may be calculated by using some of the coordinate data calculated by the image reconstruction unit 15 that are close to the coordinates as the digital image.
[0037]
As described above, in the present embodiment, the optical distortion of an image is regarded as projection (mapping) onto a curved surface, and the local gradient for each pixel of the projected curved surface is calculated, and the gradient amount of this brightness is calculated. Based on this, the distance from the optical image center is calculated. Then, the distortion of the image is corrected by developing this distance on a plane.
[0038]
Therefore, in order to obtain distortion information of an image, complicated processing such as the use of a special pattern such as a checkered pattern, extraction of feature points, approximate calculation of a mapping function, and calculation of a correction function based on the mapping function is required. This is not necessary, and it is possible to eliminate the occurrence of an approximation error due to the processing and the deterioration of the image distortion accuracy caused by it. Therefore, according to the present embodiment, it is possible to correct image distortion with a simple process with high accuracy, the apparatus configuration and the operation procedure can be simplified, and the apparatus can be configured at low cost.
[0039]
[Second Embodiment]
FIG. 6 is a block diagram showing a partial configuration of an image distortion correction apparatus according to the second embodiment of the present invention. In the second embodiment, in addition to the configuration of the first embodiment in FIG. 1, a shading correction amount calculation unit 31 that functions as a shading correction amount calculation unit that calculates a shading correction amount from the gradient of luminance for each pixel, and a shading correction And a shading correction unit 32 that functions as a shading correction unit that corrects shading for each pixel of the image data based on the amount. FIG. 6 shows only components that are different from the first embodiment. In addition, the same code | symbol is attached | subjected about the same component as 1st Embodiment, and description is abbreviate | omitted.
[0040]
Next, functions and operations of the image distortion correction apparatus according to the second embodiment will be described. The shading correction amount calculation unit 31 calculates a difference between the luminance of the center pixel of the image and the luminance of the other pixels from the local luminance gradient for each pixel calculated by the image inclination calculation unit 13, thereby obtaining a luminance difference. The amount of gain (shading correction amount) for compensating for is calculated. The shading correction unit 32 corrects shading for each pixel of the image data based on the calculated shading correction amount. Thereafter, as in the first embodiment, the pixel distance calculation unit 14 calculates the distance from the optical image center for each pixel by reverse development of the image, and calculates the distance from the optical image center calculated by the image reconstruction unit 15. By arranging pixels based on the distance, the image is reconstructed and corrected. In this case, the shading for each pixel can be corrected by multiplying the gain amount for compensating for the luminance difference calculated as the shading correction amount.
[0041]
Thus, according to the configuration of the second embodiment, not only the geometric distortion of the image is corrected, but also a luminance change (shading) caused by the distortion in a series of processes for correcting the geometric distortion. ) Can also obtain a corrected image.
[0042]
[Third Embodiment]
FIG. 7 is a block diagram showing a partial configuration of an image distortion correction apparatus according to the third embodiment of the present invention. In the third embodiment, in addition to the configuration of the first embodiment in FIG. 1, a shading correction amount calculation unit 31 that calculates a shading correction amount from a luminance gradient for each pixel, and noise for noise attenuation from the shading correction amount Noise reduction amount calculation means 41 that functions as noise reduction amount calculation means for calculating the reduction amount, and shading that functions as noise reduction means for performing shading correction of image data and noise attenuation based on the shading correction amount and the noise reduction amount And a correction / noise attenuation unit 42. FIG. 7 shows only components different from the first embodiment. In addition, the same code | symbol is attached | subjected about the same component as 1st Embodiment, and description is abbreviate | omitted.
[0043]
Next, functions and operations of the image distortion correction apparatus according to the third embodiment will be described. The shading correction amount calculation unit 31 calculates the difference between the luminance of the center pixel of the image and the luminance of the other pixels from the local luminance gradient for each pixel calculated by the pixel inclination calculation unit 13, and the luminance difference The amount of gain (shading correction amount) for compensating for is calculated. Since the S / N of a pixel with a large gain amount added in the shading correction is deteriorated, the noise reduction amount calculation unit 41 calculates the noise reduction amount according to the calculated gain amount (that is, the S / N deterioration amount). Then, the shading correction / noise attenuating unit 42 corrects the shading for each pixel of the image data based on the calculated shading correction amount, and attenuates the noise based on the noise reduction amount, thereby causing the shading correction. Improve S / N degradation.
[0044]
Here, the noise reduction technique can be realized, for example, by configuring a recursive filter using a frame memory. By obtaining the amount of noise reduction as the cyclic coefficient of the filter, an image with little local S / N degradation can be obtained. Thereafter, as in the first embodiment, the pixel distance calculation unit 14 calculates the distance from the optical image center for each pixel by reverse development of the image, and calculates the distance from the optical image center calculated by the image reconstruction unit 15. By arranging pixels based on the distance, the image is reconstructed and corrected. In this case, the noise component can be attenuated together with the shading correction for each pixel by multiplying the gain amount for compensating for the luminance difference calculated as the shading correction amount and the noise reduction amount corresponding to the gain amount. .
[0045]
As described above, according to the configuration of the third embodiment, not only the geometric distortion of the image is corrected, but also a luminance change caused by the distortion is simultaneously performed in a series of processes for correcting the geometric distortion. It is possible to obtain an image that has been corrected and further compensated for S / N degradation caused by shading correction.
[0046]
[Fourth Embodiment]
FIG. 8 is a block diagram showing a partial configuration of an image distortion correction apparatus according to the fourth embodiment of the present invention. In the fourth embodiment, in addition to the configuration of the first embodiment in FIG. 1, a contour correction amount calculation unit 51 that functions as a contour correction amount calculation unit that calculates a contour correction amount from a luminance gradient for each pixel, and a contour correction An outline correction unit 52 that functions as outline correction means for correcting the outline of the image data according to the amount is provided. FIG. 8 shows only the components different from the first embodiment. In addition, the same code | symbol is attached | subjected about the same component as 1st Embodiment, and description is abbreviate | omitted.
[0047]
Next, functions and operations of the image distortion correction apparatus according to the fourth embodiment will be described. As described in the first embodiment, the pixel distance calculation unit 14 calculates the distance from the optical image center for each pixel by reverse development of the image, and the image reconstruction unit 15 calculates the calculated optical image for each pixel. The distance from the center is converted into the XY coordinate system, and each pixel is arranged on the XY plane. At this time, since the pixel array for correcting barrel distortion corresponds to enlargement, the sharpness of the image is deteriorated according to the amount of inclination of luminance when the portion having barrel distortion is reversely developed. Therefore, the contour correction amount calculation unit 51 calculates a contour correction amount for enhancing sharpness according to the local luminance inclination amount for each pixel calculated by the pixel inclination calculation unit 13. For example, the contour correction amount is increased as the enlargement ratio by the pixel arrangement increases. The contour correction unit 52 corrects the contour of the image according to the contour correction amount calculated by the contour correction amount calculation unit 51.
[0048]
As described above, according to the configuration of the fourth embodiment, an image is obtained in which not only the geometric distortion of the image is corrected but also the sharpness degradation of the image caused by the correction of the geometric distortion is improved. It becomes possible.
[0049]
[Fifth Embodiment]
FIG. 9 is a block diagram showing a partial configuration of an image distortion correction apparatus according to the fifth embodiment of the present invention. In the fifth embodiment, instead of the pixel inclination calculation unit 13 and the pixel distance calculation unit 14 of the first embodiment in FIG. 1, the local luminance inclination amount for each pixel in only one direction from the optical image center is calculated. A partial pixel inclination calculation unit 61 for calculating, and a pixel distance calculation unit 62 for calculating a distance from the optical image center of each pixel based on the calculated luminance inclination amount in one direction. FIG. 9 shows only the components different from the first embodiment. In addition, the same code | symbol is attached | subjected about the same component as 1st Embodiment, and description is abbreviate | omitted.
[0050]
Next, functions and operations of the image distortion correction apparatus according to the fifth embodiment will be described. The image distortion is considered to be basically caused by a distance variation from the optical center of the image. Considering a polar coordinate system with the optical image center as the origin, the distance component from the origin changes, but the angle component does not change. However, this relationship is not always maintained depending on the positional relationship between the imaging system and the optical system and the configuration and accuracy of the optical system such as the lens. For this reason, it is desirable to calculate the distortion correction amount for all the pixels constituting the image when correcting the distortion. However, when the required accuracy for distortion correction is low, or when the accuracy of the optical system is high, it is possible to reduce the amount of calculation of the distortion correction amount using the above relationship.
[0051]
Therefore, in the fifth embodiment, in the partial pixel inclination calculation unit 61, only in one direction from the optical image center (for example, one of the four corners of the image from which the maximum length is obtained from the optical image center), As shown in the embodiment, the local inclination θ of the curved surface on which the pixels are projected is calculated. Then, the pixel distance calculation unit 62 calculates the distance from the optical image center for each pixel based on the amount of luminance gradient in one direction calculated by the partial pixel inclination calculation unit 61. At this time, when considering the image distortion in a polar coordinate system with the optical image center as the origin, the distance component from the origin changes, but the angle component does not change. To calculate the distance from the center of the optical image for all pixels.
[0052]
As described above, according to the configuration of the fifth embodiment, since the distance from the optical image center of all pixels can be calculated based on the luminance inclination amount in only one direction from the optical image center, the calculation amount is relatively small. Image distortion can be corrected.
[0053]
[Sixth Embodiment]
FIG. 10 is a block diagram showing a partial configuration of an image distortion correction apparatus according to the sixth embodiment of the present invention. In the sixth embodiment, in addition to the configuration of the first embodiment in FIG. 1, the distance from the optical image center of each pixel when the image calculated by the pixel distance calculation unit 14 is not distorted for each individual lens. A pixel distance storage unit 71 that functions as a pixel-by-lens pixel distance storage unit that stores therein and a lens information input unit 72 that functions as a lens information input unit that inputs lens identification information for which the pixel distance has been calculated are provided.
FIG. 10 shows only components that are different from the first embodiment. In addition, the same code | symbol is attached | subjected about the same component as 1st Embodiment, and description is abbreviate | omitted.
[0054]
Next, functions and operations of the image distortion correction apparatus according to the sixth embodiment will be described. Lens individual identification data for individually specifying lenses is input from the lens information input unit 72. As the lens identification data, for example, information capable of identifying a lens individual such as character data such as a manufacturing number or product number, or physical data such as voltage or resistance value is used. The pixel distance storage unit 71 stores the distance from the optical image center of each pixel calculated by the pixel distance calculation unit 14 in association with the lens identification data.
[0055]
As a result, once the lens correction data has been calculated by calculating the distance from the center of the optical image of each pixel, if lens identification data is input from the lens information input unit 72, the lens corresponding to the lens identification data is obtained. The distance data from the center of the optical image of each pixel can be acquired by reading from the pixel distance storage unit 71. Therefore, according to the configuration of the sixth embodiment, it is possible to obtain an image whose distortion is corrected with a small number of processing steps without performing distortion correction calculation every time the lens is replaced.
[0056]
In the above description of the first to sixth embodiments, the configuration of the image distortion correction apparatus is shown in a block diagram and the function and operation thereof have been described. It is possible to implement using In this case, the program is created as a program for executing the function of the image distortion correction apparatus, and is recorded on a computer-readable recording medium such as a magnetic disk, a magneto-optical disk, or a ROM. Then, the function of the image distortion correction apparatus can be realized by reading the program from the recording medium or the communication line and executing the program on a computer having a processor such as an MPU and a memory.
[0057]
【The invention's effect】
As described above, according to the present invention, image distortion due to an optical system or the like is regarded as projection onto a curved surface, a local luminance gradient for each pixel of the projected curved surface is calculated, and the gradient for each pixel is calculated. By calculating the distance from the center of the optical image based on the amount and correcting the distortion of the image by developing this distance on a flat surface, the use of a subject with a special pattern such as a checkered pattern and the calculation of feature points This eliminates the need for cumbersome and error-prone processes such as approximate calculation of mapping functions and calculation of correction functions based on mapping functions. There is an effect that it is possible to provide a distortion correction apparatus and method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image distortion correction apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a procedure of image distortion correction in the present embodiment.
FIG. 3 is a schematic diagram showing a local luminance gradient for each pixel when an image is distorted in the image distortion correction of the present embodiment.
FIG. 4 is a schematic diagram showing an array of pixels and a luminance value in an image distortion correction according to the present embodiment.
FIG. 5 is a schematic diagram showing a distance from the center of an optical image of a pixel in image distortion correction according to the present embodiment.
FIG. 6 is a block diagram showing a partial configuration of an image distortion correction apparatus according to a second embodiment of the present invention.
FIG. 7 is a block diagram showing a partial configuration of an image distortion correction apparatus according to a third embodiment of the present invention.
FIG. 8 is a block diagram showing a partial configuration of an image distortion correction apparatus according to a fourth embodiment of the present invention.
FIG. 9 is a block diagram showing a partial configuration of an image distortion correction apparatus according to a fifth embodiment of the present invention.
FIG. 10 is a block diagram showing a partial configuration of an image distortion correction apparatus according to a sixth embodiment of the present invention.
[Explanation of symbols]
10 Camera
11 memory
12 Image center calculator
13 Pixel inclination calculator
14,62 pixel distance calculation unit
15 Image reconstruction unit
16 pixel interpolation unit
31 Shading correction amount calculation unit
32 Shading correction
41 Noise reduction amount calculation unit
42 Shading correction and noise attenuation part
51 Contour correction amount calculation unit
52 Contour correction unit
61 Partial pixel inclination calculation unit
71 Pixel distance storage
72 Lens information input section

Claims

撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正装置であって、
撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力手段と、
前記画像データから画像の光学的中心を算出する画像中心算出手段と、
前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出手段と、
前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出手段と、
前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構成する画像再構成手段と、
前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間手段と、
を備えたことを特徴とする画像歪み補正装置。 An image distortion correction apparatus that corrects a distorted image in which a captured image is projected onto a curved surface through an optical system,
Image input means for inputting image data in a state in which a subject having a uniform brightness in all areas is captured by the imaging means;
Image center calculating means for calculating the optical center of the image from the image data;
Pixel inclination calculating means for calculating a local luminance inclination amount for each pixel from the image data;
Pixel distance calculation means for calculating a distance from the optical image center when the image is not distorted for each pixel from the pixel inclination amount;
Image reconstruction means for converting the distance from the optical image center of each of the pixels into orthogonal coordinates, and reconstructing the image data based on the orthogonal coordinates;
Pixel interpolation means for performing pixel interpolation based on the coordinate position of the output screen for the reconstructed image data;
An image distortion correction apparatus comprising:

前記画素傾き算出手段によって算出される画素毎の局所的な輝度の傾き量に基づいて前記画像データのシェーディング補正量を算出するシェーディング補正量算出手段と、前記シェーディング補正量に従ってシェーディング補正を行うシェーディング補正手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。 A shading correction amount calculating unit that calculates a shading correction amount of the image data based on a local luminance inclination amount for each pixel calculated by the pixel inclination calculating unit, and a shading correction that performs shading correction according to the shading correction amount. The image distortion correction apparatus according to claim 1, further comprising: means.

前記シェーディング補正量算出手段により算出されるシェーディング補正量に基づいてノイズリダクション量を算出するノイズリダクション量算出手段と、前記ノイズリダクション量に従ってノイズ減衰を行うノイズリダクション手段とを備えたことを特徴とする請求項２記載の画像歪み補正装置。 A noise reduction amount calculation unit that calculates a noise reduction amount based on a shading correction amount calculated by the shading correction amount calculation unit; and a noise reduction unit that performs noise attenuation according to the noise reduction amount. The image distortion correction apparatus according to claim 2.

前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離に基づいて画像の輪郭補正量を算出する輪郭補正量算出手段と、前記輪郭補正量に従って輪郭補正を行う輪郭補正手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。 Contour correction amount calculating means for calculating a contour correction amount of an image based on a distance from the optical image center when the image calculated by the pixel distance calculating means is not distorted, and a contour for performing contour correction according to the contour correction amount The image distortion correction apparatus according to claim 1, further comprising a correction unit.

前記画素傾き算出手段は、光学的画像中心から所定の一方向における画素毎の局所的な輝度の傾き量を算出するものであり、前記画素距離算出手段は、前記一方向における画素の傾き量から全画素についての画像が歪まない場合の光学的画像中心からの距離を算出することを特徴とする請求項１に記載の画像歪み補正装置。 The pixel inclination calculation means calculates a local luminance inclination amount for each pixel in a predetermined direction from the optical image center, and the pixel distance calculation means calculates the pixel inclination amount in the one direction. The image distortion correction apparatus according to claim 1, wherein a distance from the optical image center when the image for all pixels is not distorted is calculated.

前記画像データを得る撮像手段に使用されたレンズを識別するためのレンズ識別情報を入力するレンズ情報入力手段と、前記画素距離算出手段によって算出された画像が歪まない場合の光学的画像中心からの距離を前記レンズ識別情報と対応付けて記憶するレンズ毎画素距離記憶手段とを備えたことを特徴とする請求項１記載の画像歪み補正装置。 Lens information input means for inputting lens identification information for identifying a lens used in the image pickup means for obtaining the image data, and an optical image center when the image calculated by the pixel distance calculation means is not distorted. 2. The image distortion correction apparatus according to claim 1, further comprising a pixel-by-lens distance storage unit that stores a distance in association with the lens identification information.

前記画像中心算出手段は、前記画像データにおける輝度の変化に基づいて画像中の極点を求めることによって画像の光学的中心を求めるものであることを特徴とする請求項１記載の画像歪み補正装置。 2. The image distortion correction apparatus according to claim 1, wherein the image center calculation means calculates an optical center of the image by calculating a pole in the image based on a change in luminance in the image data.

撮影された画像が光学系を経由することによってある曲面に投影され、歪みを起こした画像を補正する画像歪み補正方法であって、
撮像手段により全領域において一様な輝度を持つ被写体を撮影した状態の画像データを入力する画像入力ステップと、
前記画像データから画像の光学的中心を算出する画像中心算出ステップと、
前記画像データから画素毎の局所的な輝度の傾き量を算出する画素傾き算出ステップと、
前記画素傾き量から画素各々について画像が歪まない場合の光学的画像中心からの距離を算出する画素距離算出ステップと、
前記画素各々の光学的画像中心からの距離を直交座標に変換し、この直交座標に基づいて前記画像データを再構築する画像再構成ステップと、
前記再構成された画像データについて出力画面の座標位置に基づいた画素の補間を行う画素補間ステップと、
を有することを特徴とする画像歪み補正方法。 An image distortion correction method for correcting a distorted image in which a captured image is projected onto a curved surface through an optical system,
An image input step of inputting image data in a state in which a subject having a uniform luminance in all areas is captured by the imaging means;
An image center calculating step for calculating an optical center of the image from the image data;
A pixel inclination calculating step for calculating a local luminance inclination amount for each pixel from the image data;
A pixel distance calculating step of calculating a distance from the optical image center when the image is not distorted for each pixel from the pixel inclination amount;
An image reconstruction step of converting a distance from the optical image center of each of the pixels into orthogonal coordinates, and reconstructing the image data based on the orthogonal coordinates;
A pixel interpolation step for interpolating pixels based on the coordinate position of the output screen for the reconstructed image data;
An image distortion correction method comprising:

請求項１〜７のいずれか一項に記載の画像歪み補正装置の機能をコンピュータにより実行させるためのプログラム。The program for making a computer perform the function of the image distortion correction apparatus as described in any one of Claims 1-7.

請求項１〜７のいずれか一項に記載の画像歪み補正装置の機能を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。Image distortion correction apparatus a computer-readable recording medium recording a program for executing functions according to any one of claims 1 to 7.