JP2008283507A - 歪補正方法 - Google Patents

Abstract

【課題】 広角撮像装置の画像の歪補正情報を高精度に取得し、歪の小さい画像補正を行う歪補正方法を提供する。
【解決手段】 撮像ステップＳ３１では、広角レンズを有する撮像手段により錐体の内面を複数回撮影する。歪情報取得ステップＳ３２では、撮像ステップＳ３１にて撮影された夫々の画像について画素と前記画素に対応する前記錐体の内部の位置との関係を示す位置関係を取得する。歪補正情報取得ステップＳ３３では、夫々の前記画像について得られた前記位置関係に基づいて、前記画素に到達する光線の広角レンズ主軸に対する角度と、前記画素に到達する光線と前記広角レンズ主軸との交点の前記撮像手段の原点に対する高さと、を求める。
【選択図】図１１

Description

本発明は、広角撮像装置で取得した画像の歪補正方法に関し、特に校正用パターンを利用した歪補正方法に関するものである。

従来、広角画像表示装置は、広角撮像装置と、画像処理装置と、表示装置とからなり、広角撮像装置より画像を取得し、広角画像が有する歪を画像処理装置によって補正し、表示装置によって表示する。前記歪の補正方法としては、等角度間隔に配置されたマーカーが配置されたパターンを撮影することによって、広角撮像装置とマーカーの角度から補正条件を取得し、画像を補正する方法が知られている（特許文献１参照）。
また、広角撮像装置として、ガラスや樹脂等の透明な材料を成型し、一部にアルミ等の金属を蒸着させた反射面を有する広角レンズを利用した広角撮像装置が知られている（特許文献２参照）。
前記補正方法においては、広角レンズに入射する光線が、１点で交わることを前提にしている。
特開２００３−３０８５２６号公報 特開２００５−１０９７８５号公報

しかしながら、前記広角レンズに入射する光線が、実際の製品では１点で交わらずに、レンズ主軸との交点はレンズの入射角に対して変化するため、広角撮像装置の入力画像の広角歪が正しく補正されないという問題を有していた。また、マーカーのパターンの半径が変わると、校正結果も変わってしまうという問題を有していた。
更に、前記補正方法では、広角レンズの歪特性は広角レンズの方位角について対称であることが仮定されているが、広角レンズは、製造の際に生ずる材料の収縮や表面上の微細な凹凸と傷がある為に、広角撮像装置に対する方位角が変化すると、光線の光路と広角撮像装置における撮像素子上の光線に対応する像の位置も変化し、前記歪が正しく補正されないという問題を有していた。
本発明は、これらの問題に鑑みなされたものであり、広角撮像装置の画像の歪補正情報を高精度に取得し、歪の小さい画像補正を行う歪補正方法を提供するものである。

本発明は、請求項１に記載したように、広角レンズを有する撮像手段により錐体の内面を複数回撮影する撮像ステップと、前記撮像ステップにて撮影された夫々の画像について画素と前記画素に対応する前記錐体の内部の位置との関係を示す位置関係を取得する歪情報取得ステップと、夫々の前記画像について得られた前記位置関係に基づいて、前記画素に到達する光線の広角レンズ主軸に対する角度と、前記画素に到達する光線と前記広角レンズ主軸との交点の前記撮像手段の原点に対する高さと、を求める歪補正情報取得ステップと、を有するものである。

また、本発明は、請求項２に記載したように、前記撮像ステップにおいて、錐体頂点と前記撮像手段の間の距離を変化させて前記錐体の内面を撮影するものである。

また、本発明は、請求項３に記載したように、前記撮像ステップにおいて、内面に錐体頂点からの距離を示すマーカーが配置された前記錐体を撮影するものである。

また、本発明は、請求項４に記載したように、前記歪情報取得ステップにおいて、前記撮像ステップにて撮影した前記マーカーの画像に基づいて、前記角度及び前記高さを取得するものである。

また、本発明は、請求項５に記載したように、歪補正情報取得ステップにおいて、錐体頂点からの複数の距離情報と、前記画素に対応する前記光線の前記広角レンズ主軸となす角度と、前記光線の前記広角レンズ主軸との交点の前記撮像手段の原点に対する高さが満たす関係式に基づいて歪補正情報を取得するものである。

広角撮像装置の歪補正データを画素位置毎に高精度に取得し、その算出結果に基づいて歪補正を行うため、歪の小さい歪補正処理画像を得ることができる。

以下に、添付図面に基づいて、本発明の一実施形態を説明する。

広角画像表示装置は、広角撮像装置１と、画像処理装置２と、表示装置３とを備えている。広角画像表示装置は、広角撮像装置１によって画像入力を行い、入力された画像に対して画像処理装置２によって歪補正を行った後、表示装置３によって歪補正を行った画像を表示する（ステップＳ１１〜Ｓ１４）。

広角撮像装置１は、反射面を有する広角レンズ１ａと、ＣＣＤやＣＭＯＳ等からなる周知の撮像素子１ｂにより構成される（図３参照）。広角撮像装置１は、広角レンズ１ａに入射する光を曲面ミラーによる反射と入射面と出射面による屈折によって、撮像素子１ｂの撮像面に投影し、撮像素子１ｂは撮像画像５を出力する。

曲面ミラーによる広角レンズ１ａを利用した広角撮像装置１では、撮像画像５は一般に環状画像５ａとなる。広角撮像装置に正対する正方形平面を撮影した画像５ｂは、各辺が広角レンズ１ａによる歪により曲線に変形した像となる。
図５は、撮像画像５の歪を補正した補正画像６を示している。補正画像６における補正正方形像６ａは、画像処理した結果、歪の無い正方形に変換される。

図６は、画像処理装置２の構成を示すブロック図である。画像処理装置２は、所謂マイクロコンピュータからなるものであり、広角撮像装置１から出力される画像データを入力し、この画像データに対して歪補正を行い、広角歪が補正された画像に変換する。画像処理装置２は、ＣＰＵ２ａ，ＲＯＭ２ｂ，汎用メモリ２ｃ，ビデオメモリ２ｄ及び外部デバイスＩ／Ｆ２ｅを有する。

画像処理装置２のＣＰＵ２ａは、ＲＯＭ２ｂに予め記憶された前述した処理の所定プログラムを読み出し及び実行し、広角撮像装置１からの撮像画像５，補正画像６及び演算結果等を汎用メモリ２ｃに一時的に記憶させ、表示装置３に表示させるための処理画像をビデオメモリ２ｄに記憶させる。広角撮像装置１，表示装置３及び操作手段４は、外部デバイスＩ／Ｆ２ｅを介して画像処理装置２の各部に接続されている。

表示装置３は、ＴＦＴトランジスタ型液晶表示装置や有機ＥＬ表示装置、ＣＲＴディスプレイ等からなる周知の表示器が用いられる。操作手段４は、キーボードや操作スイッチ等の切換手段が用いられ、入力画像５から処理画像６へ表示形態を切り換える場合に用いられる。

図７は、歪補正処理のフローチャートである。画像処理装置２は、広角撮像装置１から入力した画像における全ての画素について、以下の処理を行う。入力画像は、Ｍ行Ｎ列の輝度値デジタルデータの並びであり、歪補正画像も同じ形式である。入力画像上の座標（ｘ，ｙ）を、後述する座標変換により、（ｘ’，ｙ’）を算出する。次に、式１で示すように、画素値を置き換える。

ここで、Ｉ（ｘ，ｙ）とＩ’（ｘ，ｙ）は、入力画像と歪補正画像の座標（ｘ，ｙ）における画素の画素値である。これらを、ｘ＝１，２，…Ｎ、ｙ＝１，２，…Ｍについて反復実行する（ステップＳ２１〜Ｓ２６）。

図８は、座標変換の説明図である。「ｈ」は、広角撮像装置基準点の基準面からの高さ、「ｈ０」は、画像上の各画素位置に対応する入射光線と広角レンズ主軸との交点の広角撮像装置基準点からの高さ、「θ」は、前記入射光線と広角レンズ主軸とが成す角度である。

図９は、座標変換に用いられる歪補正情報の一例を示す説明図である。図８及び図９を用いて、処理対象の画素の座標（ｘ，ｙ）から、変換座標（ｘ’，ｙ’）を算出する手順を説明する。図９で示すような、画像上の各画素の座標に対応する高さｈ０と角度θの関係が、後述する校正法によって、予め与えられているとする。広角撮像装置１の基準面からの高さｈは実測により与えられているとすると、式２により、広角レンズ主軸と基準面の交点と光線と基準面の交点間の距離ｄが算出される。

式２で求めた距離ｄより、変換座標（ｘ’，ｙ’）は式３で算出される。ここで、（ｘｃ，ｙｃ）は画像の中心点の座標、「ｋ」は実際の距離を画像上の画素単位に変換する定数である。

図１０は、校正パターン７の説明図である。校正パターン７は、不透明の樹脂や金属等の固体材料に対して切削加工等を施すことにより製作された錐体内面７ａと、錐体頂点からの距離が一定である線が等間隔で錐体内面７ａに配置された距離マーカー７ｂと、を有している。

図１１は、校正方法を示すフローチャートである。本実施形態の校正方法は、撮像ステップＳ３１と、歪情報取得ステップＳ３２と、歪補正情報取得ステップＳ３３と、から構成される。撮像ステップＳ３１において、錐体内面７ａを撮影し、広角撮像装置１の基準点と錐体の頂点との間の距離を、広角レンズ１ａの主軸方向に変化させ、これをＬ回反復実行する。撮像ステップＳ３１は、画像撮影ステップＳ４２と、高さ変化ステップＳ４３と、ループ制御処理Ｓ４１，Ｓ４４から構成される（図１２参照）。図１３は、撮像ステップＳ３１において取得される撮像画像８の例である。

図１４は、歪情報取得ステップＳ３２を示すフローチャートである。歪情報取得ステップＳ３２は、マーカー検出ステップＳ５４と、距離算出ステップＳ５５と、ループ制御Ｓ５１〜Ｓ５３，Ｓ５６〜Ｓ５８とから構成される。
図１５は、各画像上の注目画素Ｐと環状領域の中心Ｃを通る半直線ＰＣについて、半直線ＰＣ上の画素値（例えば輝度値）を示すグラフであり、横軸は、環状領域中心からの画素単位距離、縦軸は、画素値である。
図１６は、半直線ＰＣとマーカーの交点の関係を示すグラフであり、縦軸は、マーカーの錐体頂点からの距離、横軸は、環状領域中心からの画素単位距離である。

図１５と１６を用いて、歪情報取得ステップＳ３２において、撮影画像上の各画素と対応する錐体内面上の歪情報を取得する方法を説明する。各画像上の注目画素Ｐと環状領域の中心Ｃを通る半直線ＰＣ上の画素値は、マーカーの位置で画素値が変化するため、この変化点を検出することにより、マーカーの位置を検出できる。半直線ＰＣとマーカーの交点の関係は、図１６のように与えられる。線形補間等により、各入力画像から、注目画素Ｐの位置に対応するｌ１，ｌ２，ｌ３，…ｌＬを得る。

図１７は、歪補正情報取得ステップＳ３３のフローチャートである。歪補正情報取得ステップＳ３３は、係数行列生成ステップＳ６３と、歪補正情報算出ステップＳ６４と、光線角度算出ステップＳ６５と、テーブル設定ステップＳ６６と、ループ制御Ｓ６１，Ｓ６２，Ｓ６７，Ｓ６８と、から構成される。

図１８は、光線と錐体の関係を示す説明図である。図１８の関係から、式４が成立する。ここで、「β」は錐体の頂角の半分、「ｈｉ」は、ｉ番目の撮影画像に対応する、錐体頂点からの広角撮像装置原点の高さである。

式４は、ｉ＝１，２，…Ｌの撮影画像について成立するので、これらを行列表現すると、式５となる。

改めて書き直すと、式６となる。

ここで、ｘ，Ａ，ｂは、次のように置き換えた。

係数行列生成ステップＳ６３において、式８，式９に基づき、Ａ，ｂを生成する。式６の解は、式１０で与えられる。

歪補正情報算出ステップＳ６４において、式１０に基づき、ｘを算出する。ｘより、θの値は次式で与えられる。

これらを、入力画像上の全ての画素位置について反復実行する。

本実施形態によれば、広角撮像装置の歪補正データを画素位置毎に高精度に算出し、その算出結果に基づいて歪補正を行うため、歪の小さい歪補正処理画像を得ることができる。
なお、本実施形態では、錐体内面の距離情報は線を配置するものであったが、頂点からの距離に応じて、例えば縞模様に塗装したパターンであっても良い。また、本実施形態では、光線の入射角度θを算出したが、歪補正処理で必要なのは、ｔａｎθの値であるので、式１０の解から、式１２によってｔａｎθを算出し、それをテーブル値として設定しても良い。また、本実施形態では、広角撮像装置として反射型の撮像装置を使用したが、屈折レンズのみの広角撮像装置でも良い。

本発明の実施形態を示すブロック図。 同上実施形態の動作を示すフローチャート。 同上実施形態の広角撮像装置を示す断面図。 同上実施形態の広角撮像装置入力画像の画像例。 同上実施形態の歪補正画像の画像例。 同上実施形態の画像処理装置を示すブロック図。 同上実施形態の画像処理装置の動作を示すフローチャート。 同上実施形態の広角撮像装置と入射光線の関係を示す説明図。 同上実施形態の画像処理装置の歪補正情報テーブルの一例を示す説明図。 同上実施形態の校正用パターンを示す説明図。 同上実施形態の校正方法を示すフローチャート。 同上実施形態の校正方法における撮像ステップを示すフローチャート。 同上実施形態の校正方法における撮像ステップで取得した画像例。 同上実施形態の校正方法における歪情報取得ステップのフローチャート。 同上実施形態の校正方法における歪情報取得ステップのマーカー検出の説明図。 同上実施形態の校正方法における歪情報取得ステップの歪情報取得の説明図。 同上実施形態の校正方法における歪補正情報取得ステップのフローチャート。 同上実施形態の校正方法における歪補正情報取得ステップの説明図。

符号の説明

１ 広角撮像装置（撮像手段）
１ａ 広角レンズ
１ｂ 撮像素子
２ 画像処理装置
２ａ ＣＰＵ
２ｂ ＲＯＭ
２ｃ 汎用画像メモリ
２ｄ ビデオメモリ
２ｅ 外部デバイスＩ／Ｆ
３ 表示装置
４ 操作手段
５ 入力画像
５ａ 環状画像
５ｂ 補正前正方形像
６ 補正画像
６ａ 補正後正方形像
７ 校正用パターン
７ａ 錐体内面
７ｂ 距離マーカー
８ 校正用入力画像

Claims (5)

1. 広角レンズを有する撮像手段により錐体の内面を複数回撮影する撮像ステップと、
   前記撮像ステップにて撮影された夫々の画像について画素と前記画素に対応する前記錐体の内部の位置との関係を示す位置関係を取得する歪情報取得ステップと、
   夫々の前記画像について得られた前記位置関係に基づいて、前記画素に到達する光線の広角レンズ主軸に対する角度と、前記画素に到達する光線と前記広角レンズ主軸との交点の前記撮像手段の原点に対する高さと、を求める歪補正情報取得ステップと、
   を有することを特徴とする歪補正方法。
2. 前記撮像ステップにおいて、錐体頂点と前記撮像手段の間の距離を変化させて前記錐体の内面を撮影することを特徴とする請求項１に記載の歪補正方法。
3. 前記撮像ステップにおいて、内面に錐体頂点からの距離を示すマーカーが配置された前記錐体を撮影することを特徴とする請求項１に記載の歪補正方法。
4. 前記歪情報取得ステップにおいて、前記撮像ステップにて撮影した前記マーカーの画像に基づいて、前記角度及び前記高さを取得することを特徴とする請求項３に記載の歪補正方法。
5. 前記歪補正情報取得ステップにおいて、錐体頂点からの複数の距離情報と、前記画素に対応する前記光線の前記広角レンズ主軸となす角度と、前記光線の前記広角レンズ主軸との交点の前記撮像手段の原点に対する高さが満たす関係式に基づいて歪補正情報を取得することを特徴とする請求項１に記載の歪補正方法。

Images