JP4960992B2 - 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置 - Google Patents

Description

本発明はメモリ空間を節約し、透視歪みを減らす魚眼補正及び透視歪み削減の画像処理方法及び画像処理装置に関し、特にメモリ空間を節約し、透視歪みを減らすことで、装置コストを削減する魚眼補正及び透視歪み削減の画像処理方法及び画像処理装置に関する。

デジタル画像処理システムの演算能力の向上に伴い、魚眼カメラで撮った画像は即時に処理できるようになっている。魚眼カメラで撮った画像はユーザーに提示され、画像中の被写体の判読に供する。魚眼カメラと関連のデジタル画像処理システムは、車載用のリアビューカメラシステム、建物用のドアフォンシステム(door phone)、または一般の防犯カメラシステムなどのアプリケーションで普及している。そのほか、デジタル記憶媒体に保存する画像やデジタルカメラで撮った画像にも、魚眼レンズで撮ったものがありうる。これも同様の方法で処理して表示することができる。魚眼画像は広画角の画像情報を含むので、画像中の被写体に程度の異なる歪みと変形が生じうる。復元処理がなされていない魚眼画像を閲覧するとき、ユーザーは画像中の被写体に困惑して被写体を識別できず、それで画像中の重要情報を見落としたり誤解したりすることがしばしばある。そのため、魚眼画像はデジタル画像処理システムで復元処理するのが必要である。

しかし、先行技術による魚眼画像の復元処理方法は、膨大なメモリ空間を要するほか、デジタル画像処理システムのコストが高く、深刻な画角歪みと透視歪み(perspective distortion)により画像中の被写体の比率が均一にならないという問題もある。

本発明の主な目的は、メモリ空間を節約して透視歪みを減らし、水平と垂直方向の画角を保留する魚眼画像の処理方法及び装置を提供することにある。

本発明では、メモリ空間を節約し、透視歪みを減らすための魚眼画像補正及び透視歪み削減の魚眼画像処理方法を開示する。同方法は、複数のピクセルを含む魚眼補正画像と魚眼原画像との間の座標変換関数に基づいて、当該複数のピクセルの各ピクセルに対して、当該各ピクセルのそれぞれに対応する魚眼原座標値を順次計算する段階と、魚眼原座標値に基づいて、魚眼原画像において補間法（interpolation）により魚眼補正画像の各ピクセルのピクセル値を計算する段階とを含む。座標変換関数は、魚眼座標補正変換と、透視歪み削減座標変換と、画像クロッピング及びスケーリング座標変換とを含む。

本発明では更に、メモリ空間を節約し、透視歪みを減らすための魚眼画像補正及び透視歪み削減の魚眼画像処理装置を開示する。同装置は、複数のピクセルを含む魚眼補正画像と魚眼原画像との間の座標変換関数に基づいて、当該複数のピクセルの各ピクセルに対して、当該各ピクセルのそれぞれに対応する魚眼原座標値を順次計算する座標計算ユニットと、魚眼原座標値に基づいて、魚眼原画像において補間法により魚眼補正画像の各ピクセルのピクセル値を計算する画像計算ユニットとを含む。座標変換関数は、魚眼座標補正変換と、透視歪み削減座標変換と、画像クロッピング及びスケーリング座標変換とを含む。

本発明は、逆計算で魚眼補正画像のうち任意のピクセルの二次元座標値に対して、魚眼原画像において同ピクセルに対応する座標値を計算することで、計算に必要なメモリ空間を大幅に節約し、計算効率を向上させ、デジタル画像処理システムの設置コストを削減する。また、ユーザーは個人の好みによって、画像歪みを減らすための補償係数をＧＵＩ(グラフィカルユーザーインターフェイス)で調整することできる。

本発明の実施例による魚眼画像の処理方法のフローチャートである。 図１に示すステップ１０２に用いられる座標変換を表す説明図である。 魚眼原画像に用いられる座標変換と関連画像を表す説明図である。 魚眼原画像と画像感知チップの相対関係を表す説明図である。 魚眼レンズで撮った原画像を表す説明図である。 魚眼座標補正の座標変換処理がなされた画像を表す説明図である。 画像クロッピング処理がなされた画像を表す説明図である。 透視歪み座標変換がなされていない画像を表す説明図である。 透視歪み座標変換がなされた画像を表す説明図である。 本発明による画像クロッピング処理がなされていない画像を表す説明図である。 本発明による画像クロッピング処理がなされた画像を表す説明図である。 本発明による魚眼原画像処理がなされていない画像を表す説明図である。 本発明による魚眼原画像処理がなされた画像を表す説明図である。 本発明の実施例による魚眼画像処理装置を表す説明図である。

本発明では魚眼補正画像と魚眼原画像との間の座標変換により魚眼画像の各ピクセルのピクセル値を計算し、魚眼画像をワンパスで復元することで、メモリ空間を節約して透視歪みを減らす。以下に本発明の実施例、原理、及び構成要件を詳述する。

本発明による魚眼画像の処理方法について、図１を参照する。図１は本発明の実施例による魚眼画像の処理方法１０のフローチャートである。同方法１０は以下のステップを含む。

ステップ１００：開始。

ステップ１０２：複数のピクセルを含む魚眼補正画像と魚眼原画像との間の座標変換関数に基づいて、当該複数のピクセルの各ピクセルに対して、当該各ピクセルのそれぞれに対応する魚眼原座標値を順次計算する。

ステップ１０４：前記魚眼原座標値に基づいて、魚眼原画像において補間法により魚眼補正画像の各ピクセルのピクセル値を計算する。

ステップ１０６：終了。

簡単に言えば、前記方法１０は魚眼補正画像の各ピクセルに基づいて、魚眼原画像において当該各ピクセルに対応する座標値を逐一計算し、更に魚眼画像中の座標値に基づいて、魚眼原画像において補間法により画像推定値を計算し、最後にこの画像推定値を魚眼補正画像のピクセルのピクセル値とする。また、魚眼補正画像に対して本発明による座標変換を行うことにより、画像の透視歪みを減らし、画像表示装置に応じて種々の解像度で出力することができる。

前記方法１０の動作を詳述するために、図１を参照する。前記ステップ１０２では、デジタル画像処理システムの所要メモリ空間を節約するために、本発明は複数の座標変換で、魚眼原画像において魚眼補正画像のピクセルに対応する座標値を逆計算する。図２Ａを参照する。図２Ａはステップ１０２に用いられる座標変換を表す説明図である。座標変換は、魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング（トリミングと拡縮）座標変換２０６とを含む。魚眼原画像に対して魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング座標変換２０６を実行することにより、ユーザーの識別に適合する魚眼補正画像が得られる。また、本発明はユーザーインターフェイス２００を含み、ユーザーは画像の閲覧時にそれを用いて前記座標変換２０２、２０４、２０６の座標変換係数を調整することができるので、画像識別は便利である。

図２Ｂを参照する。図２Ｂは魚眼原画像に用いられる座標変換と関連画像を表す説明図である。魚眼原画像を受信すると、まずは魚眼座標補正変換２０２で魚眼原画像を一次復元画像に変換する。次に、透視歪み削減座標変換２０４で一次復元画像を透視歪み削減画像に変換する。更に、画像クロッピング及びスケーリング座標変換２０６で透視歪み削減画像を魚眼補正画像に変換する。前記ステップ１０２では魚眼補正画像のそれぞれのピクセルの二次元座標値（px_r,py_r）に基づいて、魚眼補正画像の各ピクセルに対して逆計算を逐一実行することで、透視歪み削減画像の二次元座標値（px_n,py_n）を順次計算し、更に一次復元画像の二次元座標値（px_c,py_c）を順次求め、最後に魚眼原画像において対応する魚眼座標値（px_d,py_d）を求める。その後、前記ステップ１０４において、魚眼座標値（px_d,py_d）に対して、魚眼原画像において補間法により画像推定を行い、対応する画像推定値を取得し、魚眼補正画像の各ピクセルのピクセル値を計算する。したがって、座標逆変換を行えば、魚眼原画像から対応する座標点が得られる。それに加えて、魚眼原画像において画像推定を行えば、所要の画像推定値が得られる。そうすれば、魚眼補正画像は復元できる。

前記魚眼座標補正変換２０２を詳述するために、図３を参照する。図３は魚眼原画像と画像感知チップの相対関係を表す説明図である。魚眼原画像は一般に広画角の画像情報を含む。より精密に言えば、魚眼原画像は半球体の画角（水平と垂直の画角がいずれも１８０度に達している）を有する画像を含み、この広画角の画像は相対的に幅が小さい画像感知チップに集中投射される。画像感知チップ３００と、魚眼レンズで撮った半球体３０２との間の座標変換は、下記方程式に示すとおりである。

前記（px_c,py_c）は一次復元画像の二次元座標値を示し、（px_d,py_d）は魚眼原画像の二次元座標値を示し、ｒは一次復元画像のうち（px_c,py_c）と一次復元座標原点の距離を示し、Ｒａｄｉｕｓは魚眼原画像のうち（px_d,py_d）と魚眼座標原点の距離を示す。なお、Ｆは魚眼レンズの焦点距離を示し、逆正接関数ａｔａｎ（）とａｔａｎ２（）はθとφの角度値を計算するために用いられる。

前掲式を利用すれば、一次復元画像の二次元座標値（px_c,py_c）と魚眼原画像の二次元座標値（px_d,py_d）との間で座標変換を行うのが可能となる。座標変換の主な目的は、原画像において魚眼レンズにより変形・歪みが生じた部分を直すことにある。図４Ａと図４Ｂを参照する。図４Ａに示す画像は魚眼レンズで撮った原画像であり、図４Ｂに示す画像は魚眼座標補正の座標変換処理がなされた画像である。

図４Ｂを参照する。魚眼座標補正の座標変換がなされた画像に対して、画像クロッピング処理を行うのが必要である。画像クロッピング処理の目的は、長方形のスクリーンを有する一般のモニターで表示するために、魚眼座標補正の座標変換後に得られた画像から長方形の画像を切り出すことにある。図４Ｂに示す長方形の枠は、魚眼座標補正の座標変換がなされた画像から切り出される長方形領域を示している。図４Ｃに示す画像は画像クロッピング処理がなされた画像である。その後、画像スケーリング処理で、画像クロッピング処理がなされた長方形領域のアスペクト比をモニタースクリーンのアスペクト比に合わせて調整する。このようなデジタル画像処理システムによる復元処理を行えば、魚眼原画像において魚眼レンズにより変形・歪みが生じた画像を復元し、モニタースクリーンのアスペクト比に合わせて表示することができる。

本発明による透視歪み削減座標変換２０４は透視歪みを減らすために行われる。その主な機能は、魚眼座標補正変換２０２がなされた一次復元画像に対して、画像の中心部から境界部へ圧縮量を漸次増加することにある。これにより、画像の中心部に近い部分は圧縮比が小さくなり、画像の境界に近い部分は圧縮比が大きくなる。望ましくは、透視歪み削減座標変換２０４は二次元非線形座標変換であって、下記方程式に基づいて行われる。

前記（px_c,py_c）は一次復元画像の二次元座標値であり、（px_n,py_n）は非線形座標変換で画角補正がなされた画像の二次元座標値である。σ_xとσ_yはそれぞれ、水平と垂直方向の圧縮量を制御する補償係数である。透視歪み削減座標変換２０４は、魚眼補正画像の境界部と中心部の被写体サイズの一致性を向上させ、画像中の有用な情報の判断を容易にする効果がある。この二次元非線形座標変換方程式の中の補償係数σ_xとσ_yはあらかじめ所定値に設定されるか、或いは魚眼補正画像の閲覧時にユーザーの主観的な要求に応じて、ユーザーが満足するまでユーザーインターフェイス２００で調整できるものである。透視歪み削減座標変換２０４の変換効果について、図５Ａと図５Ｂを参照する。図５Ａでは透視歪み座標変換２０４がなされていない画像を示し、図５Ｂでは透視歪み座標変換２０４がなされた画像を示す。図５Ｂに示す境界部は適切に圧縮されているので、境界部と中心部の被写体サイズの一致性が高い。

本発明では更に、画像情報を最大限に保留できる画像クロッピング方法を実行する。図６Ａと図６Ｂを参照する。図６Ａでは本発明による画像クロッピング処理がなされていない画像を示し、図６Ｂでは本発明による画像クロッピング処理がなされた画像を示す。本発明による画像クロッピングはできるだけ水平と垂直方向に沿って、画像情報を最も多く含む矩形領域を切り出す。通常の場合、画像クロッピング処理で得られた矩形のアスペクト比はモニターのアスペクト比に等しくない。しかし、本発明では画像クロッピング及びスケーリング座標変換２０６で、画像クロッピング処理で得られた矩形をモニターのアスペクト比に合わせて水平か垂直方向に沿って拡縮するので、画像情報を最大限に保留できる。

また、前記ステップ１０４によれば、魚眼補正画像の魚眼補正画像座標値に対して、魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング座標変換２０６を行って計算した魚眼原画像座標の魚眼原座標値は通常、魚眼原画像のいずれか一つのピクセルにぴったりと一致しない。したがって、本発明では補間法を利用して魚眼原視座標値の画像推定値を計算する。補間法というのは、座標値の対応位置の周辺にあるピクセルに基づいて、近似して補間する方式でこの対応位置に対する画像推定値を計算する方法を言う。

魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング座標変換２０６の総合効果について、図７Ａと図７Ｂを参照する。図７Ａでは本発明による魚眼原画像処理がなされていない画像を示し、図７Ｂは本発明による魚眼原画像処理がなされた画像を示す。

注意すべきであることは、本発明のようなワンパス（one pass）座標変換ではなく、魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング座標変換２０６を個別に実行すれば、各ステップの処理中と処理後の画像を保存するために複数の画像メモリ空間が必要である。例えば、魚眼レンズで撮った魚眼原画像と、魚眼座標補正変換２０２がなされた画像と、透視歪み削減座標変換２０４がなされた画像と、画像クロッピング処理がなされた画像を保存するためのメモリ空間が必要である。したがって、座標変換を逐一実行する方法を採用すれば、膨大なメモリ空間が必要となり、デジタル画像処理システムの設置コストの増加も免れない。それに対して、本発明では、メモリ空間を占めない仮想の魚眼補正画像の各ピクセルに対して逐一逆計算を行い、魚眼原画像において対応する魚眼原画像座標値を計算し、更に画像推定を行って対応する画像推定値を取得することで、魚眼補正画像の復元動作全体を直接的に完成できるため、複数の計算を実行するために必要なメモリ空間がほとんど不要である。

前記方法１０の実施方式について、図８を参照する。図８は本発明の実施例による魚眼画像処理装置８０を表す説明図である。メモリ空間を節約できる魚眼画像処理装置８０は、座標計算ユニット８００と画像計算ユニット８０２を含む。座標計算ユニット８００は仮想の魚眼補正画像のうち任意のピクセルの二次元座標値に基づいて、座標逆変換で魚眼原画像において同ピクセルに対応する座標値を求める。前述のように、複数の座標変換は魚眼座標補正変換２０２と、透視歪み削減座標変換２０４と、画像クロッピング及びスケーリング座標変換２０６とを含む。画像計算ユニット８０２は座標計算ユニット８００により計算された魚眼原画像の座標値に基づいて、近似補間法で魚眼原画像において画像推定を行い、画像推定値を計算する。つまり、座標値の対応位置の周辺にあるピクセルの画像値に基づいて、同対応位置に対応する画像推定値を計算する。魚眼画像処理装置８０は前記方法１０を実行するために用いられる。前記各素子の動作について前述を参照すればよく、ここで説明を省略する。

注意すべきであることは、本発明では魚眼原画像において魚眼補正画像のピクセルに対応する座標値を逆計算することで、座標値の対応位置の画像推定値を計算するので、メモリ空間を節約できる。望ましくは、本発明ではメモリ空間を節約するために、座標計算ユニット８００で魚眼補正画像の各ピクセルの二次元座標値に対して、魚眼原画像においてそれに対応する座標値を逆計算し、更に画像計算ユニット８０２で、座標値の対応位置に対応する画像推定値を計算する。それに加えて、透視歪み削減座標変換２０４の水平・垂直方向への非線形座標変換は、透視歪みを減らして、魚眼補正がなされた画像全体の比率がより自然的に見られるようにすることができる。

本発明による透視歪み削減座標変換２０４の二次元非線形座標変換方程式に含まれる補償係数は、予め設定された所定値であってもよいが、ユーザーによる画像の判読を容易にするために、簡易なユーザーインターフェイス（好ましくは、グラフィカルユーザーインターフェイス（ＧＵＩ））で大きく又は小さく調整できるようになってもよい。後者の場合、ユーザーは魚眼補正画像の閲覧時に非線形方程式の補償係数値を調整できるので、異なるユーザーの閲覧習慣に合わせることができる。魚眼歪みのある写真を撮った後、複雑で高価な実験室環境で魚眼原画像を精密に補正する必要がなく、ユーザーがＧＵＩでパラメータを調整するだけですむ。また、補正後の画像は画像クロッピング及びスケーリング座標変換で、ユーザーが指定した大きさにすることができる。

まとめて言えば、本発明では逆計算で魚眼補正画像のうち任意のピクセルの二次元座標値に対して、魚眼原画像において同ピクセルに対応する座標値を計算することで、計算に必要なメモリ空間を大幅に節約し、計算効率を向上させ、デジタル画像処理システムの設置コストを削減する。また、ユーザーは個人の好みによって、画像歪みを減らすための補償係数をＧＵＩで調整することできる。

以上は本発明に好ましい実施例であって、本発明の実施の範囲を限定するものではない。よって、当業者のなし得る修正、もしくは変更であって、本発明の精神の下においてなされ、本発明に対して均等の効果を有するものは、いずれも本発明の特許請求の範囲に属するものとする。

本発明は、車載用のリアビューカメラシステム、建物用のドアフォンシステム、または一般の防犯カメラシステムなどのアプリケーションなどに利用することができる。

８０ 魚眼画像処理装置
２００ ユーザーインターフェイス
８００ 座標計算ユニット
８０２ 画像計算ユニット

Claims (8)

1. メモリ空間を節約し、透視歪みを減らすための魚眼画像補正及び透視歪み削減の魚眼画像処理方法であって、
   複数のピクセルを含む魚眼補正画像と魚眼原画像との間の座標変換関数に基づいて、当該複数のピクセルの各ピクセルに対して、当該各ピクセルのそれぞれに対応する魚眼原座標値を順次計算する段階と、
   前記魚眼原座標値に基づいて、前記魚眼原画像において補間法により前記魚眼補正画像の各ピクセルのピクセル値を計算する段階とを含み、
   前記座標変換関数は、魚眼座標補正変換と、透視歪み削減座標変換と、画像クロッピング及びスケーリング座標変換とを含み、
   前記画像クロッピング及びスケーリング座標変換、前記透視歪み削減座標変換、及び前記魚眼座標補正変換を、この順序で実行して、前記魚眼補正画像の各ピクセルのそれぞれに対応する前記魚眼原座標値を計算し、
   前記透視歪み削減座標変換は、画像の中心部から境界部へ圧縮量を漸次増加する透視歪み削減方程式系に基づいて行われることを特徴とする魚眼画像処理方法。
2. 前記魚眼原座標値に基づいて、魚眼原画像において補間法により魚眼補正画像の各ピクセルのピクセル値を計算する段階では、前記魚眼原画像において前記二次元魚眼原座標値に隣接した複数のピクセルに対して補間法を実行して、前記二次元魚眼補正画像の各ピクセルの座標値に対応する画像推定値を計算する、請求項１に記載の魚眼画像処理方法。
3. 前記透視歪み削減方程式系に含まれる、水平と垂直方向の圧縮量を制御する複数の補償係数は複数の所定値である、請求項１に記載の魚眼画像処理方法。
4. 前記透視歪み削減方程式系に含まれる、水平と垂直方向の圧縮量を制御する複数の補償係数は複数の外部入力値である、請求項１に記載の魚眼画像処理方法。
5. メモリ空間を節約し、透視歪みを減らすための魚眼画像補正及び透視歪み削減の魚眼画像処理装置であって、
   複数のピクセルを含む魚眼補正画像と魚眼原画像との間の座標変換関数に基づいて、当該複数のピクセルの各ピクセルに対して、当該各ピクセルのそれぞれに対応する魚眼原座標値を順次計算する座標計算ユニットと、
   前記魚眼原座標値に基づいて、前記魚眼原画像において補間法により前記魚眼補正画像の各ピクセルのピクセル値を計算する画像計算ユニットとを含み、
   前記座標変換関数は、魚眼座標補正変換と、透視歪み削減座標変換と、画像クロッピング及びスケーリング座標変換とを含み、
   前記座標計算ユニットは、前記画像クロッピング及びスケーリング座標変換、前記透視歪み削減座標変換、及び前記魚眼座標補正変換を、この順序で実行して、前記魚眼補正画像の各ピクセルのそれぞれに対応する前記魚眼原座標値を計算し、
   前記透視歪み削減座標変換は、画像の中心部から境界部へ圧縮量を漸次増加する透視歪み削減方程式系に基づいて行われることを特徴とする魚眼画像処理装置。
6. 前記画像計算ユニットは、前記魚眼原画像において前記二次元魚眼原座標値に隣接した複数のピクセルに対して補間法を実行し、前記二次元魚眼補正画像の各ピクセルの座標値に対応する画像推定値を計算する、請求項５に記載の魚眼画像処理装置。
7. 前記透視歪み削減方程式系に含まれる、水平と垂直方向の圧縮量を制御する複数の補償係数は複数の所定値である、請求項５に記載の魚眼画像処理装置。
8. 前記透視歪み削減方程式系に含まれる、水平と垂直方向の圧縮量を制御する複数の補償係数は複数の外部入力値である、請求項５に記載の魚眼画像処理装置。