JP4872890B2

JP4872890B2 - 画像の歪曲補正方法

Info

Publication number: JP4872890B2
Application number: JP2007302215A
Authority: JP
Inventors: 整久保田
Original assignee: Suzuki Motor Co Ltd
Current assignee: Suzuki Motor Co Ltd
Priority date: 2007-11-21
Filing date: 2007-11-21
Publication date: 2012-02-08
Anticipated expiration: 2027-11-21
Also published as: JP2009130546A

Description

本発明は、歪曲収差のあるレンズを用いたカメラによって撮影された画像について、歪曲を補正する画像の歪曲補正方法に関する。

一般的に、広角レンズを用いたカメラによって撮影した画像は歪曲を伴うので、撮影対象を正確に把握するには、歪曲を補正するための画像処理が必要となる。例えば、自動車の後方や側方等の視界を車室内で表示する種々の装置が提案され、市販されている。このような装置では、表示画像を見やすくするために種々の対策が講じられている。カメラに広角レンズが用いられている場合には、表示画像は歪曲を伴うため、これに対する対策が必要となる。例えば、駐車支援装置に関し、駐車案内のために自車の走行予想軌跡を撮影画像に重畳して表示する通称バックガイドモニタが市販されている。この中には、表示装置上に描画する走行予想軌跡の位置および形状を、レンズの歪曲特性に合わせて意図的に歪ませるように処理する装置もある。

このような装置に関連し、特許文献１には、車両の予想軌跡表示装置が開示されており、広角レンズによる歪曲を補正する方法が魚眼変換として提案されている。

また、特許文献２には、画像の歪曲を補正する方法が開示されており、歪曲補正関数としてｎ次のテイラー展開、すなわち、多項式近似による方法が提案されている。

さらに、特許文献３には、広角レンズを用いたカメラで撮影した画像の歪曲を補正する方法が開示されており、歪曲補正関数としてＭｏｒｇａｎ、ＭｅｒｃｅｒおよびＦｌｏｄｉｎの頭文字から成るＭＭＦモデル（Ｍｏｒｇａｎ−Ｍｅｒｃｅｒ−Ｆｌｏｄｉｎモデル）による方法が提案されている。

多項式近似による歪曲補正関数の係数は、実寸法（３次元座標値）が既知のターゲット（教示点）を配置した空間をカメラによって撮影し、この撮影した画像に投影されたターゲットの２次元座標値を抽出し、３次元座標値と２次元座標値とを対応付けた点群データをもとに非線形最適化手法によって推定する。
特開昭６４−１４７００号公報特開２００１−１３３２２３号公報特開２００６−１２７０８３号公報

特許文献１では、指数関数により広角レンズの歪曲特性をモデル化しているが、非球面で作られたレンズの特性を精度よく補正することには言及されていない。また、実際のレンズの歪曲特性に対し精度よく画像の歪曲を補正する方法については開示されていない。

特許文献２、３では、３次元座標値が既知のターゲットを配置した空間と、この空間を撮影した画像から抽出したターゲットの２次元座標値との点群データをもとに非線形最適化手法を用いて歪曲補正関数の係数の推定している。

しかし、広角レンズを用いたカメラは視野角が広いため、撮影する空間全体にターゲットを配置して画像を撮影することは困難である。すなわち、広角レンズを用いたカメラで撮影した画像では、ターゲットの存在する空間が画像の中央部に偏り、歪曲補正関数の係数の推定に用いる点群データも画像の中央部に偏ることになる。また、撮影する空間全体にターゲットを配置した画像を撮影して、画像の周辺部における点群データを得ることが出来たとしても、広角レンズでは歪曲収差が大きいため、歪曲補正関数の係数の推定に当たり解の収束が得られない場合がある。そうすると、歪曲補正関数の係数の推定に用いる点群データは、画像の中央部に偏ることになる。

特許文献２、３では、多項式近似による歪曲補正関数について、多項式の係数の推定に用いられる点群データが存する領域内の補正、すなわち内挿の精度を向上する方法が開示されているが、多項式の係数の推定に用いられる点群データが存しない領域の補正、すなわち外挿の精度を向上することはできず、かつ、この領域の補正方法について開示されるものではない。

例えばバックガイドモニタに用いられるカメラの画像の中央部は、車両の位置合せや衝突防止の観点から、運転者にとって距離感の把握し易い歪曲の少ない画像となっている。また、この画像の周辺部は、周囲に存する他の車両や人の様子を把握し易いように広い視野を確保できる歪曲の多い画像となっている。このような画像を得るために、バックガイドモニタのカメラに用いられるレンズは、中央部の歪曲は小さく、周辺部に行くほど歪曲が大きく形成されている。

このようなレンズで撮影された画像について、従来の画像処理方法およびその装置では、画像中央部の点群データを用いて歪曲補正関数である多項式の各係数を推定していたため、画像周辺部の歪曲を十分に補正することができない。

本発明は、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行う画像の歪曲補正方法を提供することを課題とする。

前記の課題を解決するため本発明では、歪曲のあるレンズを用いたカメラで撮影した画像を、前記カメラの光軸と前記画像面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、前記円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正することを特徴とする画像の歪曲補正方法を提供する。

本発明によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行う画像の歪曲補正方法を提供できる。

本発明に係る画像の歪曲補正方法について添付図面を参照して説明する。

先ず、カメラによって撮影する３次元空間中のある点の位置と、その点が画像面に投影された２次元画像面上での位置との関係を記述する座標系について説明する。

図１は、カメラによって撮影された画像と空間の幾何学的関係を説明する図である。

歪曲収差のない理想的なレンズを用いたカメラによる透視投影は、図１に示すようにモデル化できる。空間を表す３次元座標系として、カメラの光学中心を原点とし、Ｚ軸をカメラの光軸方向に一致させ、Ｘ軸とＹ軸は画像の横方向と縦方向に平行にとったものを用いる。このような座標系をカメラ座標系（ｃａｍｅｒａｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ）とよぶ。一方、画像面上の位置を表す座標系としては、カメラの光軸と画像面とが交わる交点を原点とし、面像の横方向と縦方向とに、それぞれｘ軸とｙ軸とを決める。このとき、空間の位置（Ｘ，Ｙ，Ｚ）と画像上の位置（ｘ，ｙ）との間には、［数１］の関係が成り立つ。ここでは焦点距離を１に正規化している。
［数１］
ｘ＝Ｘ／Ｚ
ｙ＝Ｙ／Ｚ

つぎに、空間と画像面との関係をより一般化する。一般に、空間を表す座標系は、空間中のある適当な位置に固定されたワールド座標系（ｗｏｒｌｄｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍ）を用いる。ワールド座標系で表された空間の位置を（Ｘｗ，Ｙｗ，Ｚｗ）とすれば、同じ点をカメラ座標系で表した位置（Ｘ，Ｙ，Ｚ）との間には［数２］の関係がある。

一方、画像面上の位置は、一般に、原点を画像面上のある適当な位置に定め、長さの単位としては画素（ｐｉｘｅｌ）を用いる。このような画像面上の位置を表す汎用的な座標を画像座標（ｉｍｅｇｅｃｏｏｒｄｉｎａｔｅｓ）（ｕ，ｖ）とし、これと区別するため座標（ｘ，ｙ）を正規化画像座標（ｎｏｒｍａｌｉｚｅｄｉｍａｇｅｃｏｏｒｄｉｎａｔｅｓ）とよぶ。このとき、正規化画像座標と画像座標との関係は、［数３］で表される。

［数１］から［数３］より、［数４］のように一般的なワールド座標（Ｘｗ，Ｙｗ，Ｚｗ）と画像座標（ｕ，ｖ）との間の関係が導かれる。

［数４］により、任意の空間の位置と、それが画像面に投影されたときの画像面上の位置との関係を表すことができる。ここで、カメラの焦点距離ｆ、横方向の画素の物理的な間隔δｕ、縦方向の画素の物理的な間隔δｖおよび画像中心（ｃ_ｕ，ｃ_ｖ）はカメラによって決まる定数であり、カメラの内部パラメータＫ（ｉｎｔｅｒｎａｌｐａｒａｍｅｔｅｒ、ｉｎｔｒｉｎｓｉｃｐａｒａｍｅｔｅｒ）とよぶ。一方、Ｒとｔとは、ワールド座標に対するカメラの位置と姿勢によって決まる定数であり、カメラの外部パラメータ（ｅｘｔｅｒｎａｌｐａｒａｍｅｔｅｒ、ｅｘｔｒｉｎｓｉｃｐａｒａｍｅｔｅｒ）とよぶ。また、カメラの内部パラメータと外部パラメータとを合わせてカメラパラメータ（ｃａｍｅｒａｐａｒａｍｅｔｅｒ）とよぶ。

図２はレンズの歪曲収差を説明する図であり、（Ａ）はレンズの半径方向歪曲収差を説明する図であり、（Ｂ）は実際の空間情報を示す図であり、（Ｃ）および（Ｄ）は歪曲収差の例を示す図である。

広角レンズでは、レンズの半径方向や接線方向の歪曲収差（ｄｉｓｔｏｒｔｉｏｎ）を考慮する必要がある。図２の（Ａ）に示すように、半径方向歪曲収差は物体Ａから出た光線が入射角θで光学中心を通るとき、出射角θ’が入射角θと等しくならないために生じる。接線方向歪曲収差は、レンズを構成する複数レンズ間の中心位置のずれや傾きによって発生する。接線方向歪曲収差は半径方向歪曲収差と比べて小さく、実用上は無視できることも多いため、説明の簡単のためにモデル化において省略する。

歪曲収差は、［数５］のようにモデル化できる。

３次元空間のある点を撮影して画像座標を得るとき、歪曲収差のない理想的なレンズでは画像座標で表した位置（ｕ，ｖ）に投影され、歪曲収差のあるレンズでは歪曲画像座標で表した位置（ｕ_ｄ，ｖ_ｄ）に投影される。κ_１、κ_２はレンズの歪曲を表す係数である。また、歪曲収差のない理想的なレンズで画像座標に投影した位置（ｕ，ｖ）を予測位置、歪曲収差のあるレンズで歪曲画像座標に投影した位置（ｕ_ｄ，ｖ_ｄ）を観測位置とよぶ。

図２（Ｂ）に示した正方形の格子を、半径方向歪曲収差があるレンズを用いたカメラで撮影した画像の例を図２（Ｃ）、（Ｄ）に示す。

なお、歪曲収差があるレンズを用いたカメラで撮影した画像を歪曲画像とよぶ。

図２（Ｃ）、（Ｄ）に示すような歪曲収差のあるレンズを用いたカメラの透視投影を［数５］のようにモデル化し、これに基づいたターゲットの予測位置と実際の観測位置との幾何学的距離（再投影誤差）の二乗和を最小化するようにパラメータを推定して、図２（Ｂ）に示すような実際の空間情報を歪曲収差のない理想的なレンズを用いたカメラによって透視投影した画像に補正する。このパラメータの推定において、［数６］によって表される非線形最小二乗法による推定をバンドル調整とよぶ。パラメータはカメラパラメータと、レンズの歪曲を表す係数であるκ_１、κ_２とから構成される。

ここで、歪曲補正関数の係数の推定、すなわちバンドル調整に使用する３次元座標値と２次元座標値とを対応付けた点群データは、３次元座標値が既知のターゲットを撮影し、画像面上に投影されたターゲットの２次元座標値を抽出し、３次元座標値と２次元座標値との各座標を対応付けることで得られる。

先ず、３次元座標値が既知のターゲットとして、例えば５００ｍｍ角のクロスカーペットを撮影空間の床面に配置し、カメラでこの空間を撮影して歪曲画像を取得する。次に、この歪曲画像からクロスカーペットの格子模様のそれぞれの格子の角（格子点）をターゲットとして、この２次元座標値を複数抽出する。次に、撮影空間が存する３次元空間での原点を、例えば画像面上の中央手前のクロスカーペットの格子点などのように決め、各格子点の３次元座標値を求める。この３次元座標値と２次元座標値とから、それぞれ対応する格子点を対応付けた点群データを得る。また、カメラと床面との距離を適宜変更して画像の上下方向についても各格子点の３次元座標値と２次元座標値とから、それぞれ対応する格子点を対応付けた点群データを得る。

この点群データをもとに非線形最適化手法によって歪曲補正関数の係数であるカメラの内部パラメータ、外部パラメータ、レンズの歪曲を表す係数を推定する。

ここで、３次元座標値が既知のターゲットが投影される画像面について、正規化画像座標に投影されたターゲットが存在する領域を包含する円Ｃの領域と、歪曲収差のあるレンズで投影された歪曲画像座標に投影されたターゲットが存在する領域を包含する円Ｃｄの領域とを考える。なお、ターゲットの存在する領域とは、多項式近似による歪曲補正関数において、多項式の係数を推定するに当たり非線形最小二乗法の解の収束を考慮して採用可能な点群データが存する領域をいう。

正規化画像座標に投影されたターゲットが存在する領域を包含する円Ｃの半径Ｒｍａｘは、ワールド座標系で表された位置（Ｘｗ，Ｙｗ，Ｚｗ）から［数２］によってカメラ座標系で表された位置（Ｘ，Ｙ，Ｚ）に変換され、この位置（Ｘ，Ｙ，Ｚ）から［数１］によって正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から求められる半径（ｘ^２＋ｙ^２）^１／２の最大値である。すなわち、歪曲収差のレンズで投影される歪曲画像面上では、正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から［数３］を変形して求められる画像座標に投影されたターゲットの位置（ｕ，ｖ）が求められ、この位置（ｕ，ｖ）から［数５］によって求められる歪曲画像座標の位置（ｕ_ｄ，ｖ_ｄ）から求められる半径｛（ｕ_ｄ−ｃ_ｕ）^２＋（ｖ_ｄ−ｃ_ｖ）^２｝^１／２の最大値である。この歪曲収差のあるレンズで投影された歪曲画像座標に投影されたターゲットが存在する領域を包含する円Ｃｄの半径｛（ｕ_ｄ−ｃ_ｕ）^２＋（ｖ_ｄ−ｃ_ｖ）^２｝^１／２を半径Ｒｄｍａｘとよぶ。

また、正規化画像座標に投影されたターゲットの位置（ｘ，ｙ）から求められる半径（ｘ^２＋ｙ^２）^１／２を正規化画像座標上の像高Ｄとよび、歪曲を有するレンズで投影された歪曲画像座標の位置（ｕ_ｄ，ｖ_ｄ）から求められる半径｛（ｕ_ｄ−ｃ_ｕ）^２＋（ｖ_ｄ−ｃ_ｖ）^２｝^１／２を歪曲画像座標上の像高Ｄｄとよぶ。

ここで、［数６］によって表される歪曲補正関数の非線形最小二乗法による推定例を説明する。

図３は、歪曲画像の一例を説明する図である。

図４は、図３に示された歪曲画像を多項式近似による歪曲補正関数によって補正した画像の一例を説明する図である。

図５は、図３に示された歪曲画像とターゲットが存在する領域を包含する円との関係を説明する図である。

図６は、多項式近似による歪曲補正関数と正規化画像座標に投影されたターゲットが存在する領域を包含する円との関係を説明する図である。

図３に示すように、歪曲画像では、３次元座標値が既知のターゲットとして、例えば５００ｍｍ角のクロスカーペットを撮影空間の床面に配置して画像を取得すると、各格子の略直線状の各辺が歪んで曲線状に投影される。この画像の歪曲は画像の周辺部で大きく観察され、特に画像の左右下端で顕著に観察される。

図４に示すように、歪曲画像について、［数６］によって表されるバンドル調整によって歪曲補正関数の係数を推定して補正した画像の中央部では、各格子の略直線状の各辺の歪曲が補正された自然な画像が得られる。しかしながら、図３に示された歪曲画像において歪曲が顕著な画像の左右下側では、格子の略直線状の辺の歪が十分に補正できていないことが観察できる。

なお、歪曲画像を歪曲補正関数によって補正した画像を補正画像とよぶ。

図５に示すように、図４において歪曲補正関数の係数の推定にあたり点群データとして使用したターゲットとしての格子点＋は歪曲画像の中央部に密集し、歪曲画像の周辺部にはターゲットとして使用できる格子点が存在しない。この格子点＋が存在する領域を包含する領域が半径Ｒｄｍａｘの円Ｃｄであり、円Ｃｄが正規化画像座標に投影される円Ｃの半径が半径Ｒｍａｘである。

図６に示すように、正規化画像座標において、ターゲットは半径Ｒｍａｘの円Ｃ内に存在する。ターゲット◇が投影される正規化画像座標上の２次元座標値から求められる像高Ｄを破線Ｔで表すと、ターゲット◇は破線Ｔ上に投影される。実線Ａは、多項式による歪曲補正関数を表し、ターゲット◇が存在する半径Ｒｍａｘの領域内では、多項式による歪曲補正関数が歪曲画像を適切に補正し、ターゲットの存在しない領域では、多項式による歪曲補正関数が歪曲画像を適切に補正できていないことが観察される。

なお、図６において横軸は正規化座標と光軸の交点とを原点とする半径（ｘ^２＋ｙ^２）^１／２の値、すなわち像高Ｄであり、縦軸は［数７］で表される歪曲画像座標における像高Ｄｄと補正画像における像高Ｄとの変化率ｈである。
［数７］
変化率ｈ＝［｛（ｕ_ｄ−ｃ_ｕ）^２＋（ｖ_ｄ−ｃ_ｖ）^２｝^１／２−｛（ｕ−ｃ_ｕ）^２＋（ｖ−ｃ_ｖ）^２｝^１／２］／｛（ｕ−ｃ_ｕ）^２＋（ｖ−ｃ_ｖ）^２｝^１／２
＝κ_１×ｒ^２＋κ_２×ｒ^４

図７は、本発明に係る画像の歪曲補正方法を説明するフローチャートである。

図７に示すように、本実施形態に係る画像の歪曲補正方法のステップＳ１では、広角レンズを用いたカメラで撮影した画像（歪曲画像）から、歪曲補正を行う画素位置（ｕ_ｄi，ｖ_ｄj）のうち、開始画素の位置（ｕ_ｄ１，ｖ_ｄ１）を指定する。

次に、ステップＳ２では、画素位置（ｕ_ｄi，ｖ_ｄj）が歪曲画像面上の点群データが存在する領域を包含する半径Ｒｄｍａｘの円Ｃｄに内包されるか否かを判断する。画素位置（ｕ_ｄi，ｖ_ｄj）が半径Ｒｄｍａｘの円Ｃｄに内包される場合はステップＳ３に進む。その他の場合はステップＳ４に進む。

次に、ステップＳ３では、ステップＳ２で半径Ｒｄｍａｘの円Ｃｄに内包されると判断された画素位置（ｕ_ｄi，ｖ_ｄj）について多項式近似による歪曲補正関数を適用して画像座標（ｕ_ｉ，ｖ_ｊ）を得る。

次に、ステップＳ４では、ステップＳ２で半径Ｒｄｍａｘの円Ｃｄに内包されないと判断された画素位置（ｕ_ｄi，ｖ_ｄj）について対数式近似による歪曲補正関数を適用して画像座標（ｕ_ｉ，ｖ_ｊ）を得る。

次に、ステップＳ５では、画素位置（ｕ_ｄi，ｖ_ｄj）が終了画素の位置（ｕ_{ｄiｍａｘ，}ｖ_{ｄjｍａｘ}）か否かを判断する。画素位置（ｕ_ｄi，ｖ_ｄj）が終了画素の位置（ｕ_{ｄiｍａｘ，}ｖ_{ｄjｍａｘ}）の場合は歪曲画像の補正を終了して補正画像を得る。その他の場合は、ステップＳ６に進む。

次に、ステップＳ６では、画素位置（ｕ_ｄi，ｖ_ｄj）をｕ軸方向またはｖ軸方向へ１画素分進ませて、画素位置（ｕ_{ｄi＋１，}ｖ_ｄj）または画素位置（ｕ_ｄi，ｖ_ｄj＋１）とする。例えば、画像の大きさが横６４０ｐｉｘｅｌ×縦４８０ｐｉｘｅｌの場合には、ｉｍａｘ＝６４０、ｊｍａｘ＝４８０であり、ステップＳ６に処理が至る毎に順次（ｕ_ｄ１，ｖ_ｄ２）、（ｕ_ｄ１，ｖ_ｄ３）、（ｕ_ｄ１，ｖ_ｄ４）、・・・・・・、（ｕ_{ｄ６４０，}ｖ_ｄ４７８）、（ｕ_{ｄ６４０，}ｖ_ｄ４７９）、（ｕ_{ｄ６４０，}ｖ_ｄ４８０）のように１画素分進ませる。

歪曲補正関数を近似する式の係数の推定は、一般的には非線形最適化手法であるＬｅｖｅｎｓｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法によって点群データから求める。

多項式の係数は、［数２］、［数３］、［数５］によって表されるカメラの焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃ_ｕ，ｃ_ｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔと、レンズの歪曲を表す係数κ_１、κ_２とから構成され、［数６］によって表されるバンドル調整により求める。

他方、対数式の係数は、［数２］、［数３］によって表されるカメラの焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃ_ｕ，ｃ_ｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔとともに、［数８］によって表されるレンズの歪曲を表す係数κ_ｌｎ１、κ_ｌｎ２とから構成され、バンドル調整により求める。

広角レンズの歪曲収差は、対数式によって［数８］にようにモデル化できる。

対数式近似による歪曲補正関数では、対数式によって歪曲収差のあるレンズを用いたカメラの透視投影を［数８］のようにモデル化し、これに基づいたターゲットの予測位置と実際の観測位置との幾何学的距離（再投影誤差）の二乗和を最小化するように係数κ_ｌｎ１、κ_ｌｎ２を推定する。このパラメータ推定について、［数９］によって表される最小二乗法による推定を行う。

図８は、本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数における対数式の係数の推定に用いる点群データの存する領域のしきい半径値Ｒｔｈと、対数式の係数を推定する方法を説明するフローチャートである。

図８に示すように、ステップＳ１１では、［数６］によって表される非線形最小二乗法によって多項式の係数の推定を行い、［数２］、［数３］、［数５］によって表される多項式の係数である焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃ_ｕ，ｃ_ｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔと、レンズの歪曲を表す係数κ_１、κ_２とを求める。

次に、ステップＳ１２では、しきい半径値Ｒｔｈを０とする。

次に、ステップＳ１３では、しきい半径値Ｒｔｈから半径Ｒｍａｘの領域に存する点群データを用いて、［数９］によって表される最小二乗法によって対数式の係数の推定を行い、［数８］によって表される対数式の係数κ_ｌｎ１、κ_ｌｎ２を求める。なお、焦点距離ｆと、横方向の画素の物理的な間隔δｕと、縦方向の画素の物理的な間隔δｖと、画像中心の画像座標系における座標（ｃ_ｕ，ｃ_ｖ）と、３×３の回転行列Ｒと、３次元の平行移動ベクトルｔとはステップＳ１１で［数６］によって表される非線形最小二乗法によって求められている。

次に、ステップＳ１４では、最小二乗法の決定係数ε^２としきい値ε^２ｔｈとを比較する。決定係数ε^２がしきい値ε^２ｔｈ以下の場合は、このときのしきい半径値Ｒｔｈにおける対数式の係数κ_ｌｎ１、κ_ｌｎ２を採用して処理を終了する。その他の場合は、ステップＳ１５に進む。決定係数ε^２のしきい値ε^２ｔｈは、歪曲補正関数によって補正画像の歪曲の良否を考慮して設定するものであり、例えばしきい値ε^２ｔｈ＝０．００１程度に設定する。

次に、ステップＳ１５では、しきい半径値Ｒｔｈに任意の値ΔＲｔｈを加算して、再度、ステップＳ１３へ戻る。任意の値ΔＲｔｈは、０より大きく正規化画像座標上の焦点距離である１以下であることが望ましく、例えば０．２〜０．３程度が好適である。

図９から図１４は、本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図である。

図９から図１４の（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈとの関係を説明する図であり、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図であり、（Ｃ）は（Ｂ）を変換して得た俯瞰図である。

なお、図９から図１４の（Ａ）において横軸は正規化座標と光軸の交点とを原点とする半径（ｘ^２＋ｙ^２）^１／２の値、すなわち像高Ｄであり、縦軸は［数７］および［数１０］で表される歪曲画像座標における像高Ｄｄと補正画像における像高Ｄとの変化率ｈである。
［数１０］
変化率ｈ＝κ_ｌｎ１×ｌｎ（ｒ^２）＋κ_ｌｎ２

図９から図１４の（Ａ）に示すように、しきい半径値Ｒｔｈを０から１．２５まで０．２５毎に変化させて対数式の係数を推定する。図９（Ａ）は、しきい半径値Ｒｔｈ＝０．０における対数式による近似とターゲット◇、□との関係を示した図であり、図１０（Ａ）は、しきい半径値Ｒｔｈ＝０．２５における対数式による近似とターゲット◇、□との関係を示した図であり、図１１（Ａ）は、しきい半径値Ｒｔｈ＝０．５０における対数式による近似とターゲット◇、□との関係を示した図であり、図１２（Ａ）は、しきい半径値Ｒｔｈ＝０．７５における対数式による近似とターゲット◇、□との関係を示した図であり、図１３（Ａ）は、しきい半径値Ｒｔｈ＝１．００における対数式による近似とターゲット◇、□との関係を示した図であり、図１４（Ａ）は、しきい半径値Ｒｔｈ＝１．２５における対数式による近似とターゲット◇、□との関係を示した図である。ターゲット□は、対数式の係数を推定するに当たり使用する点群データであり、その像高Ｄは、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの関係がある。

図１３（Ａ）に示すように、しきい半径値Ｒｔｈ＝１．００のときに決定係数ε^２＝０．０００３となり、しきい値ε^２ｔｈ＝０．００１以下となっている。このとき、対数式の係数κ_ｌｎ１、κ_ｌｎ２は、それぞれ−０．１７１、−０．１９３１となっている。この係数によって得られる対数式は、ターゲット◇、□の存する像高Ｄ＝０から２．３５の領域外、すなわち像高Ｄ＝２．３５から５程度の範囲で歪曲画像を補正する。補正画像が図９から図１４の（Ｂ）に示されている。図９から図１４の（Ｃ）に示すように、補正画像から変換して得られた俯瞰図を比較すると、画像の左右下部、すなわち、撮影された空間においてはカメラ近傍の左右の空間において、決定係数がしきい値ε^２ｔｈより大きい歪曲補正関数で得られた補正画像に比べて、決定係数がしきい値ε^２ｔｈ以下の歪曲補正関数で得られた補正画像のほうが、より理想的なレンズで得られる透視投影図に近いことが分かる。

なお、非線形最適化において、歪曲画像の周辺部を点群データに含めると最適化が収束しなくなる。このため、点群データを抽出する領域を歪曲画像の中央部に限定している。この領域の限定は経験的な値であり、本例では正規化画像座標における像高Ｄ＝２．３５の点まで与えている。すなわちＲｍａｘ＝２．３５となる。この値は、使用するレンズの焦点距離、歪曲度合いによって変わるため一意には決まらない。

すなわち、本実施形態に係る画像の歪曲補正方法は、歪曲補正関数の係数を推定するに当たって使用する３次元座標値が既知のターゲットが歪曲画像に投影される領域を包含する円Ｃｄに内包される領域、すなわち、カメラの光軸と歪曲画像面との交点を中心とする半径Ｒｄｍａｘの円Ｃｄに内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、円Ｃｄに内包されない領域では、ターゲットが正規化画像座標に投影された座標の像高Ｄが、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの範囲に存する点群データをもとに最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正して補正画像を得る。

図１５（Ａ）は本発明に係る画像の歪曲補正方法による補正画像の一例を示す図であり、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図であり、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図である。

図１６（Ａ）は多項式による歪曲補正関数を用いた歪曲補正方法による補正画像の一例を示す図であり、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図であり、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図である。

図１５（Ａ）および（Ｂ）と図１６（Ａ）および（Ｂ）とを比べると、本実施形態に係る画像の歪曲補正方法によれば、歪曲画像の周辺部、特に画像の左右下側の領域では、補正の精度が向上していることが明らかに観察できる。例えば、本実施形態に係る歪曲補正方法をバックガイドモニタに使用することで、自車の左右側方に近接した駐車場の白線や隣接するレーンに駐車された車両を歪曲の補正された自然な画像で確認することができる。

また、図１５（Ｃ）と図１６（Ｃ）とを比べると、バックガイドモニタに用いられるカメラが、自車の中央に配置できず、左右いずれかの方向にシフトさせて取り付けた場合、例えば自車の後方右側に寄せて取り付けた場合であっても、カメラから遠い自車の後方左側、すなわち、画像の右下側について、自車に近接した駐車場の白線や隣接するレーンに駐車された車両をより広範囲に歪曲の補正された自然な画像で確認することができる。

本実施形態に係る画像の歪曲補正方法によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行うことができる。

図１７は、本発明の実施形態に係る画像の歪曲補正装置の構成を示すブロック図である。

図１７に示すように、本実施形態に係る画像の歪曲補正装置１は、画像を撮影する撮影手段２と、撮影手段２によって撮影された画像の歪曲を補正する画像処理手段３とを備える。また、画像の歪曲補正装置１は、画像処理手段３によって歪曲が補正された画像を表示する表示手段４を備えることができる。すなわち、表示手段４は、画像処理手段３によって歪曲が補正された画像を表示するものである。表示手段４に換えて、歪曲が補正された画像を表示することなく次段の処理手段に供するように構成してもよい。

画像処理手段３は、歪曲補正部５を備える。歪曲補正部５は、本実施形態に係る画像の歪曲補正方法、すなわち、撮影手段２によって撮影された画像について、歪曲補正関数の係数を推定するに当たって使用する３次元座標値が既知のターゲットが歪曲画像に投影される領域を包含する円Ｃｄに内包される領域、すなわち、撮影手段２の光軸と歪曲画像面との交点を中心とする半径Ｒｄｍａｘの円Ｃｄに内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、円Ｃｄに内包されない領域では、ターゲットが正規化画像座標に投影された座標の像高Ｄが、しきい半径値Ｒｔｈ≦像高Ｄ≦半径Ｒｍａｘの範囲に存する点群データをもとに最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して画像の歪曲を補正する。

図１５（Ａ）および（Ｂ）と図１６（Ａ）および（Ｂ）とを比べると、本実施形態に係る歪曲補正装置１によれば、歪曲画像の周辺部、特に画像の左右下側の領域では、補正の精度が向上していることが明らかに観察できる。例えば、本実施形態に係る歪曲補正方法をバックガイドモニタに使用することで、自車の左右側方に近接した駐車場の白線や隣接するレーンに駐車された車両を歪曲の補正された自然な画像で確認することができる。

本実施形態に係る画像の歪曲補正装置によれば、歪曲を伴うレンズを用いたカメラによって撮影した画像について、歪曲補正を適切に行うことができる。

なお、本発明に係る画像の歪曲補正方法および歪曲補正装置は、車両等の移動体に搭載される装置に限定されるものではなく、広角レンズのカメラを用いた種々の画像処理装置に適用することができる。

カメラによって撮影された画像と空間の幾何学的関係を説明する図。レンズの歪曲収差を説明する図であり、（Ａ）はレンズの半径方向歪曲収差を説明する図、（Ｂ）は実際の空間情報を示す図、（Ｃ）および（Ｄ）は歪曲収差の例を示す図。歪曲画像の一例を説明する図。図３に示された歪曲画像を多項式近似による歪曲補正関数によって補正した画像の一例を説明する図。図３に示された歪曲画像とターゲットが存在する領域を包含する円との関係を説明する図。多項式近似による歪曲補正関数と正規化画像座標に投影されたターゲットが存在する領域を包含する円との関係を説明する図。本発明に係る画像の歪曲補正方法を説明するフローチャート。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数における対数式の係数の推定に用いる点群データの存する領域のしきい半径値Ｒｔｈと、対数式の係数を推定する方法を説明するフローチャート。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．００との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．２５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．５０との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝０．７５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝１．００との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。本発明に係る画像の歪曲補正方法のうち、対数式近似による歪曲補正関数の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈと、補正された画像との関係の具体例を説明する図であり、（Ａ）は対数式近似による歪曲補正関数と、対数式の係数を推定するに当たり使用する点群データのしきい半径値Ｒｔｈ＝１．２５との関係を説明する図、（Ｂ）はしきい半径値Ｒｔｈ毎に推定した歪曲補正関数によって補正された画像を示す図、（Ｃ）は（Ｂ）を変換して得た俯瞰図。（Ａ）は本発明に係る画像の歪曲補正方法による補正画像の一例を示す図、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図。（Ａ）は多項式による歪曲補正関数を用いた歪曲補正方法による補正画像の一例を示す図、（Ｂ）は（Ａ）の補正画像を変換して得た俯瞰図、（Ｃ）は（Ｂ）の俯瞰図の光軸を画像の左側に偏らせた俯瞰図。本発明の実施形態に係る画像の歪曲補正装置の構成を示すブロック図。

符号の説明

１歪曲補正装置
２撮影手段
３画像処理手段
４表示手段
５歪曲補正部

Claims

歪曲のあるレンズを用いたカメラで撮影した画像の歪曲を補正する歪曲補正方法において、
歪曲補正関数の係数の推定に使用するターゲットが前記画像面に投影された領域を包含する前記カメラの光軸と前記画像面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して画像の歪曲を補正し、
前記円に内包されない領域では、最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して画像の歪曲を補正することを特徴とする画像の歪曲補正方法。