JP4974765B2 - 画像処理方法及び装置 - Google Patents

Description

本発明は画像処理方法及び装置に係り、特に、魚眼レンズなどのように歪曲収差が非常に大きく、そのままでは撮像画像における周辺部に存在するものの判別が難しい画像を処理し、認識可能なようにする画像処理方法及び装置に関するものである。

一般にカメラ等に用いられる撮影レンズには、球面収差、非点収差、コマ収差などの様々な収差が存在する。その中で、撮影された画像が幾何学的に歪む収差が歪曲収差と云われ、この歪曲収差を少なくする方法としては、極力、歪曲収差を抑えたレンズ設計を行うのが一般的である。

しかしながら特殊な用途においては、こういった歪曲収差をそのまま残したレンズが用いられている。例えば車の後部に設置して後方確認のための撮像を行うモニタ撮像装置などでは、車のバック時、車の存在は認識していてもバックするなどと思わずに近寄ってくる歩行者などを確実に発見できるよう、超広角の非常に広範囲を撮像することができるように魚眼レンズなどが用いられる。また、玄関に設置して来訪者を撮像するモニタ撮像装置でも、例え不審者がモニタに表示されるのを嫌って撮像装置からは斜めとなるような位置にいても、この不審者を撮像できるように超広角の撮影範囲を有した魚眼レンズなどのレンズが使われている。

こういった用途に使われるレンズでは、超広角を撮像することが歪曲収差の補正より優先されているため、魚眼レンズのように大きな歪曲収差があってもそのままとすることが多い。しかしながら魚眼レンズでは、１８０°近くの視野を画面に納める関係上画像の周辺部のものが大きく歪曲し、周辺に映っているものが人なのか電柱なのかわかりにくい場合があるといった問題がある。

一方、撮像素子を用いてレンズにより結像された像を取り込む撮像装置では、銀塩式フィルムのカメラとは異なり、一度歪んでしまった画像をレンズではなく、データ上で補正することが可能である。すなわち撮影レンズが歪曲収差を有する場合、予め、被写体上の各点が歪曲収差によって実際に結像する位置と、歪曲収差がない場合に結像する位置との対応関係を調べ、撮像素子から得られる撮像データを収容した画像データ格納用メモリからそのデータを出力する際、出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを対応させれば、被写体上の各点における収差が補正されたデータとして出力できるかを算出することで、撮影レンズに起因する画像歪みを補正した出力画像データを得ることができる。

こういったことを行うため、例えば特許文献１には、魚眼レンズを用いた撮像装置を任意の設置アングルで取り付け、魚眼レンズを用いた撮像装置の設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を備え、等面積射影の魚眼レンズ像を高速に写像変換し、更に、魚眼レンズ画像内の領域に対応した重み付けを行って人物像等の特徴量を抽出し、表示エリアを抽出できるようにした、魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法が示されている。

魚眼レンズは、その射影方式によって得られる画像が異なり、一般的な魚眼レンズは等距離射影方式が用いられているが、魚眼レンズの射影方式にはこの他、正射影（等立体角射影）方式、等面積射影（立体射影）方式などがある。図４はこれらの射影方式のうち、（Ａ）が等距離射影方式の魚眼レンズにより得られる画像と、（Ｂ）が正射影方式の魚眼レンズにより得られる画像の説明図である。

この図４において、θは光線の入射する角度、Ｌは像高（魚眼レンズの置かれた原点Ｏからの距離）、Ｇは魚眼レンズによって結像面上に結像される画像の範囲を直径とした仮想の半球面、Ｏは魚眼レンズの置かれた原点、ｘ、ｙ、ｚは座標軸で、ｚが魚眼レンズの光軸方向となる。

まず図４（Ａ）に示した等距離射影方式では、魚眼レンズの置かれた原点Ｏから仮想の半球面Ｇを通して見える像をそのままこの仮想の半球面Ｇに貼り付け、光線の入射する角度θと像高Ｌとが比例するように結像面上に画像が形成される。それに対して図４（Ｂ）に示した正射影方式では、（Ａ）と同様、魚眼レンズの置かれた原点Ｏから仮想の半球面Ｇを通して見える像をそのままこの仮想の半球面Ｇに貼り付け、その半球面Ｇ上に貼り付けた３次元空間の像を、図のｘ軸及びｙ軸からなる２次元空間の平面上に、その平面に垂直に（ｚ軸方向から原点方向に）押し潰して貼り付けたようにして画像が形成される。

正射影方式の魚眼レンズは中心部の被写体が等距離射影方式に較べてより大きく映り、周辺部はよりひしゃげて小さく写る。しかし正射影方式の魚眼レンズは、画面に占める面光源の面積が撮影した場所での照度に比例するという特徴があり、照度測定や建築照明など、学術研究用途に用いられている。

図３は前記した特許文献１に示されている、正射影方式の魚眼レンズを用い、魚眼レンズ原点Ｏから撮影対象物へ向かう視線方向ベクトルＤＯＶ（Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ｖｉｅｗ）に直交する、仮想的な平面における画像の歪みを補正した画像３１を得る場合の説明図である。この図３において魚眼レンズは図４（Ｂ）の場合と同様、ｘ、ｙ、ｚ軸で示す３次元空間の原点Ｏにｚ軸の方向に向けて置かれているものとし、３１を歪み補正後の仮想画像フレーム、３２を魚眼レンズの位置（原点）からみた撮像範囲に対する仮想の半球面（図４のＧに相当）、３３を魚眼レンズにより撮像素子が撮像する撮像画面とする。

仮想の半球面３２は、魚眼レンズが正射影方式のレンズでその焦点距離がｆの場合、半径ｆの仮想的な半球の球面であり、この正射影方式の魚眼レンズによって映し出される像（魚眼レンズ画像）は、前記したように、魚眼レンズの置かれた位置（原点Ｏ）から仮想の半球面３２を通して見える像をそのままこの仮想の半球面３２に貼り付け、その半球面３２上に貼り付けた３次元空間の像を、図のｘ軸及びｙ軸からなる２次元空間の平面上に、その平面に垂直に（ｚ方向から原点方向に）押し潰して貼り付けた３３で示したような画像となる。

仮想の画像フレーム３１は、魚眼レンズの位置（原点Ｏ）から撮影対象物へ向かう視線方向ベクトルＤＯＶと直交する、仮想的な平面上のフレームで、モニタテレビ等の表示フレームの枠と同じ所定の大きさの枠を持ち、この枠内の映像が魚眼レンズ画像の歪みを補正しながら切り出されてモニタテレビ画面などに表示される。又、画像フレーム３１は、そのフレーム内に視線方向ベクトルＤＯＶと交差する点を原点とする２次元座標軸（ｐ，ｑ）を持ち、仮想画像フレーム３１内の点Ｐはこの座標の成分（ｐ，ｑ）によって表される。

そしてこの魚眼レンズにより結像された被写体の範囲を示す円３３は、その内側の画像が魚眼レンズで撮影された画像であり、外側の四角の枠は、撮像装置から得られる全体の撮像画面の外枠である。そのため前記したように、この３３で示される撮像データを画像データ格納用メモリに収容し、その撮像データを画像フレーム３１の出力画像データとして出力する際、画像フレーム３１における出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを対応させて読み出せば歪曲収差を補正したデータとなるかを算出することで、魚眼レンズによって得られた歪曲している撮像データにおける歪曲を補正し、３１に示したような画像を得ることができる。

この魚眼レンズによる歪曲の補正は、例えば、魚眼レンズで撮像された画像３３と、魚眼レンズの射影方式によって定まる演算式とを用い、前記した仮想の半球面３２に貼り付けられた３次元空間の像を再現し、その半球面３２上の各点と原点Ｏとを結ぶ線を画像フレーム３１まで延長させた場合を演算する、と考えると分かり易い。なお、実際には、魚眼レンズの画像は上下左右逆転した位置に像を結ぶが、像の歪曲の相対的な関係は変わらないので、説明を簡略化するため上記したように画像が結像されるものとする。

いま、魚眼レンズが向いているｚ軸の方向が鉛直線の上の方向であるとし、前記視線方向ベクトルＤＯＶがｚ軸と成す頂点角（天頂角）をθ、水平面の基準軸（ｘ軸又はｙ軸）と成す方位角をφ、焦点距離（魚眼レンズ画像の円の半径）をｆ、画像フレーム３１のｘｙ平面に対する回転角をω、拡大率をｍとすると、拡大率ｍは、魚眼レンズの位置（原点Ｏ）から画像フレーム３１内の原点までの距離をＨとしたとき、ｍ＝Ｈ／ｆとなる。

魚眼レンズ画像平面３３内の点（ｕ，ｖ）と画像フレーム３１内の点（ｐ，ｑ）との対応関係は、Ｒを半球面３２の半径、Ａ、Ｂ、Ｃ、Ｄを下記（１０）式で算出すると、下記（１１）式で表わすことができる。

またこの式（１１）は、前記したように正射影方式の魚眼レンズの位置（原点）から、撮影対象物へ向かう視線方向ベクトルＤＯＶと直交する、仮想的な平面上のフレーム３１の場合に魚眼レンズによる歪みを補正する式であるが、このＤＯＶが魚眼レンズの光軸ｚと一致し、画像フレーム３４が図３に示したように半球面３２と接している場合、画像フレーム３４におけるアドレス（ｘ，ｙ）から、撮像画面３３内のアドレス（ｕ，ｖ）を算出する式は、以下に説明するようになる。

まず、魚眼レンズが前記したように正射影方式の場合、像高Ｌは下記（１２）式で表される。

また、天頂角θと水平面の基準軸（ｘ軸又はｙ軸）と成す方位角φとは、Ｚ_０を基準倍率、Ｒ_０を基準円の半径とすると、それぞれ下記（１３）式、（１４）式で表される。

そしてｕ、ｖは下記（１５）式で算出できる。

なお、距離（像高）Ｌは、一般的に、魚眼レンズの射影方式が等距離射影方式の場合は下記（１６）式となり、等面積射影の場合は下記（１７）式となる。

特開平１１−２６１８６８号公報

しかしながらこの特許文献１に示された方法では、歪んだ画像の一部分を切り出して補正する場合には良いが、歪み補正後の出力画像で水平または垂直画角が１８０度を超えることは不可能である。すなわち、例えば水平画角が１８０度の場合を考えると、（１３）式における天頂角θは水平画角の半分なのでθ＝π／２（ｒａｄ）であり、出力アドレス（ｘ，ｙ）に対してθ＝π／２となる条件は、Ｚ_０＝０の場合だけであるから、任意の出力アドレス（ｘ，ｙ）に対して（１５）式から求められる入力画像のアドレス（ｕ，ｖ）は、ｕｖ平面における半径を、Ｌ＝ｆθ＝ｆπ／２とする円周上の点となる。しかしこれでは、座標変換後の画像は、結果として放射線の集合となってしまい、歪んだ画像を補正したことにはならない。

これは、前記したように魚眼レンズなどの撮影レンズで撮影された像を、原点Ｏから仮想の半球面３２を通して見える３次元空間の像として再現して半球面３２に貼り付け、その半球面３２上の各点と原点Ｏとを結ぶ線を、画像フレーム３４まで延長させることで魚眼レンズの歪曲収差に起因する歪みを補正した画像が得られると考えた場合、例えば図３の半球面３２におけるｘｙ平面に近い部位、即ち頂点角θが９０度に近い位置の点が画像フレーム３４と接するのは無限遠に近い場所となる。そのため、そういった場所も画像フレーム３１に表示しようとすると、原点Ｏ近くの画像は非常に小さなものとならざるを得なくなり、逆に判別が難しくなる。

従って撮像された画像から、この特許文献１の方法により映っているものを判別できるように歪曲収差を補正して表示するためには、例えば水平画角にして１４０度程度が限度であり、その場合は視野が限られるから、前記したように車の後部に設置して後方確認を行ったり、玄関に設置して来訪者を撮像する用途においては、車がバックすることに気づかずに近寄ってくる歩行者や、モニタに表示されるのを嫌って撮像装置からは斜めとなる位置に隠れた不審者を発見することができなくなる。

このような従来技術の問題点に鑑み、本発明においては、魚眼レンズのように歪曲収差の多い撮影レンズを用いても、必要な視野を確保しつつ、かつ、画像周辺部に存在するものの判別をも可能とする、画像処理方法及び装置を提供することが課題である。

上記課題を解決するため本発明になる画像処理方法は、
撮影レンズを介して得られた撮像データにおける、前記撮影レンズに起因する画像歪みを補正した出力画像データを得るための画像処理方法であって、
前記撮影レンズは魚眼レンズであり、前記出力画像データの画像歪みの補正は、前記撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の補正度合いを、他の方向の補正度合いより大きくし、
前記補正度合いを大きく補正した一の方向において、前記撮像データの端部側のデータは用いずに前記出力画像データを構成することにより表示する画角を制限することを特徴とする。

そして具体的には、前記画像歪みを補正した出力画像データは、前記出力画像データの各アドレスを用いて算出した対応する画像歪み補正前の撮像データのアドレスにより読み出した、前記撮像データを出力画像データとする。

また、この画像処理方法を実施するための画像処理装置は、
撮影レンズを介して得られた撮像データを出力する撮像手段を備え、前記撮像データにおける前記撮影レンズに起因する画像歪みを補正して出力画像データとする画像処理装置であって、
前記撮影レンズは魚眼レンズであり、Ａ／Ｄ変換器によりデジタルデータに変換された前記撮像データを格納する画像データ格納用メモリと、撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正を他の方向の歪みの補正度合いより大きく補正する演算式を記憶した補正演算式記憶手段と、該演算式記憶手段に記憶された演算式に基づき、前記出力画像データにおける前記一の方向のアドレスと他の方向のアドレスに対応した前記画像データ格納用メモリのアドレスを算出する補正量算出手段と、該補正量算出手段の算出した前記画像データ格納用メモリの一の方向と他の方向のアドレスとを用い、前記画像データ格納用メモリに格納された撮像データを読み出すアドレス補正手段とを備え、
前記撮像データにおける前記撮影レンズに起因する画像歪みのうち、一の方向の補正度合いを他の方向の補正度合いより大きくして出力画像データとし、
前記補正度合いを大きく補正した一の方向において、前記撮像データの端部側のデータは用いずに前記出力画像データを構成することにより表示する画角を制限することを特徴とする。

このように、撮影レンズにより撮像された撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを、他の方向の補正度合いより大きく補正して出力画像データとすることで、他の方向の画角は撮影レンズの画角が確保され、また、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示される。そのため、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決した画像処理方法及び装置を提供することができる。

そして具体的には、前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを（ｘ，ｙ）、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを（ｕ，ｖ）、撮影レンズ光軸に対する入射光束の入射角（頂点角または天頂角）をθ、補正倍率をＺ_０、前記撮影レンズに起因する画像歪みにより生じる基準円の半径（補正距離）をＲ_０、補正指数をｎ、頂点角θで入射した像が撮影レンズにより結像したときの光軸（原点）Ｏからの距離（像高）をＬ、ｕｖ平面上の光軸Ｏからの（ｕ，ｖ）座標の距離を導き出す関数をＦ（θ）としたとき、前記一の方向が垂直（ｙ軸）方向の場合は下記（１）式により、前記一の方向が水平（ｘ軸）方向の場合は下記（２）式により、それぞれｚを算出し、下記（３）式、（４）式でθとＬとを算出して、下記（５）式、（６）式で画像歪み補正前のアドレス（ｕ，ｖ）を算出する。

さらに、前記撮影レンズの焦点距離をｆ、収差係数をｋとしたとき、前記Ｆ（θ）の算出に、前記撮影レンズの射影方式に関連して下記（７）、（８）、（９）式のいずれかの式を用いて算出することで、どのような射影方式の魚眼レンズにおいても本発明を適用することができる。

また本発明に用いる前記撮影レンズは、長辺方向の画角が１６０°以上の魚眼レンズであり、前記一の方向における前記撮像データの端部側のデータは用いずに前記出力画像データを構成することが本発明の好適な実施形態である。

以上記載のごとく本発明になる画像処理方法及び装置は、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示され、しかも他の方向の画角はレンズの画角がそのまま確保されるから、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になる画像処理方法を実施する画像処理装置のブロック図であり、図２は本発明になる画像処理方法の考え方を説明するための図である。本発明を詳細に説明する前に、図２を用い、本発明になる画像処理方法の考え方を簡単に説明する。

前記図３で説明したように、特許文献１に示された従来の画像処理方法における歪み補正方法では、魚眼レンズなどの撮影レンズで撮影された３３で示したような撮像画像を、原点Ｏから仮想の半球面３２を通して見える３次元空間の像として再現して半球面３２に貼り付け、その半球面３２上の各点と原点Ｏとを結ぶ線を、画像フレーム３４まで延長させることで魚眼レンズの歪曲収差に起因する歪みを補正した画像が得られると説明した。

しかしこの方法では前記したように、例えば図３の半球面３２におけるｘｙ平面に近い部位、即ち頂点角θが９０度に近い位置の点が画像フレーム３４と接するのは無限遠に近い場所となる。そのため、そういった場所も画像フレーム３１に表示しようとすると、原点Ｏ近くの画像は非常に小さなものとならざるを得なくなり、逆に判別が難しくなる。そしてそれを避けるためには、画角を制限する必要があった。

そのため本発明においては、撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを他の方向の補正度合いより大きく補正すると共に、歪みの補正度合いを大きく補正した方向では表示する画角を制限するようにした。例えば一の方向が、画面における垂直方向の場合は垂直方向の歪みのみを補正し、水平方向の歪みは残すと共に、撮像データにおける垂直方向の端部側データを用いないよう垂直方向の画角を制限する。これは一の方向が水平方向の場合も同様であり、水平方向の歪みは補正して垂直方向の歪みは残すと共に、撮像データにおける水平方向の端部側データは用いないよう水平方向の画角を制限する。

これは図２に２１で示したように、原点Ｏに中心を持ち、例えばｘ軸方向（以下、他の方向と称する）は魚眼レンズの半径に対応した曲率を有してｙ軸方向（以下、一の方向と称する）に延びる仮想の半円柱を想定し、魚眼レンズなどの撮影レンズで撮影された図３に３３で示したような撮像画像を、原点Ｏからこの仮想の半円柱２１を通して見える３次元空間の像として再現して半円柱２１に貼り付け、その半円柱２１に貼り付けた３次元空間の像を、図の２２で示したｘｙ平面からなる２次元空間の歪み補正後の仮想画像面に、垂直に（ｚ軸方向から原点方向に）射影して画像を得るものである。

この場合、画像歪み補正後の出力画像データは、一の方向については出力画像データの各アドレスに対応させて算出した、画像歪み補正前の撮像データのアドレスであり、一の方向に対する他の方向については、出力画像データのアドレスに対応させて、一の方向より補正度合いを小さく算出した、画像歪み補正前の撮像データのアドレスである。なお、このとき、半円柱２１に貼り付けた３次元空間の像のうち、一の方向については上記したように用いる画角を制限し、原点Ｏ近くの画像が小さくならないようにするわけである。

このようにすることで、他の方向（この図２の例ではｘ軸方向）の画角は撮影レンズが有する画角が保持され、また、一の方向（この図２の例ではｙ軸方向）では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示される。そのため、例え出力画像における他の方向の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といったことの生じない画像処理方法及び装置を提供することができる。

以上が本発明になる画像処理方法の概略であるが、以下、本発明を更に詳細に説明する。前記従来技術において説明したと同様、撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを（ｘ，ｙ）、該アドレスに対応する前記撮像データの画像歪み補正前のアドレスを（ｕ，ｖ）、撮影レンズ光軸に対する入射光束の入射角（頂点角または天頂角）をθ、補正倍率をＺ_０、前記撮影レンズに起因する画像歪みにより生じる基準円の半径（補正距離）をＲ_０、補正指数をｎ、頂点角θで入射した像が撮影レンズにより結像したときの光軸（原点）Ｏからの距離（像高）をＬ、ｕｖ平面上の光軸Ｏからの（ｕ，ｖ）座標の距離を導き出す関数をＦ（θ）とする。

そしてまず、前記一の方向が垂直（ｙ軸）方向の場合は下記（１）式により、前記一の方向が水平（ｘ軸）方向の場合は下記（２）式により、それぞれｚを算出し、下記（３）式、（４）式で頂点角θと像高Ｌとを算出する。その上で下記（５）式、（６）式により、出力画像データにおけるアドレス（ｘ，ｙ）に対応する、画像歪み補正前の撮像データのアドレス（ｕ，ｖ）を算出し、そのアドレス（ｕ，ｖ）の撮像データを出力画像データにおけるアドレス（ｘ，ｙ）のデータとして出力することで、前記したように、撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正度合いを、他の方向の補正度合いより大きく補正した画像を得ることができる。

なお、歪みの補正度合いを他の方向の補正度合いより大きく補正した一の方向では、歪み補正の実施により、前記したように表示する画角を大きくすると、それだけ中心部の物体が小さく表示されることになるから、撮像データにおける両端部側を用いないよう画角を制限する。また、他の方向では画角が撮影レンズが有する画角となり、他の方向が例えばｘ方向であれば、出力画像データにおけるアドレスｘに対応させて、一の方向より補正度合いを小さく算出した画像歪み補正前の撮像データのアドレスｕを用いることは前記したとおりである。

また、撮影レンズが魚眼レンズの場合、焦点距離をｆ、収差係数をｋとすると、ｕｖ平面上における光軸Ｏからの（ｕ，ｖ）座標の距離を導き出す関数Ｆ（θ）は、射影方式に関連して下記（７）式、（８）式、（９）式のいずれかの式を用いることで算出できる。

このようにして撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向のみの歪曲収差の補正度合いを、他の方向の補正度合いより大きく補正して出力画像データを出力、または表示することで、例えば魚眼レンズを用いて歪曲収差の補正方向を垂直方向とした場合、水平方向には１８０度の画角を確保しながら垂直方向には歪みがなく、電柱は電柱として、人も直立して湾曲することなく表示されるから、それぞれ見誤ることなく表示されたものを正しく認識することができる。

図１は、以上説明してきたような画像処理方法を実施するための画像処理装置のブロック図である。図中、１は魚眼レンズなどの超広角ではあるが歪曲収差を有した撮影レンズ、２はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた撮像素子で、後記する撮像素子駆動手段１０により駆動されて撮影レンズ１により結像された像を撮像データとして出力する。

３は撮像素子２からのアナログ画像信号をデジタル画像信号に変換するアナログ、デジタル変換器（Ａ／Ｄ変換器）、４はデジタル画像信号に変換された撮像データを格納する画像データ格納用メモリで、これはフレームメモリでも、ラインメモリでも構わない。

５は撮影レンズ１の歪曲収差による画像歪みを補正するアドレス補正手段で、出力画像アドレスに対し、補正量算出手段８が補正演算式格納用メモリ９に格納されている演算式に基づいて算出した、画像歪みを補正した場合の画像データ格納用メモリ４のアドレスからデータを選択し、出力手段６に送る機能を有している。なお、このアドレス補正手段５は、必要に応じて画像データ格納用メモリ４のデータの補間処理も行う。

出力手段６は、アドレス補正手段５が選択した画像データ格納用メモリ４のデータや補完処理された出力画像データを出力する。このときの出力画像データは、デジタルデータでも、アナログデータでも構わない。７は表示手段と、例えばフラッシュメモリなどを含む外部記録装置を含む記録手段、９は補正演算式格納用メモリで、ＲＡＭまたはＲＯＭに歪み補正のため、予め定められた、または必要に応じて入力される、水平方向または垂直方向のいずれか一の方向の前記した（１）または（２）、または両方の演算式と、（３）から（６）までの演算式、及び魚眼レンズの場合はその射影方式に対応した（７）、（８）、（９）のうちのいずれかの演算式を補正演算式として格納している。１０は撮像素子駆動手段で、図示していない制御手段からの指示で、撮像素子２により被写体像の撮像データを出力させる。

撮像素子駆動手段１０により駆動される撮像素子２が、撮影レンズ１により結像された被写体像の撮像データをＡ／Ｄ変換器３に出力すると、その撮像データはアナログ、デジタル変換され、画像データ格納用メモリ４に格納される。この画像は、撮影レンズ１が魚眼レンズであれば例えば図３に３３で示したような画像となる。

一方、補正量算出手段８は撮影レンズ１の歪曲収差を補正するため、まず、出力画像データのアドレス（ｘ，ｙ）に対応し、補正演算式格納用メモリ９に格納されている、予め定められた、または必要に応じて入力される、水平方向または垂直方向のいずれか一の方向の前記した（１）または（２）の演算式によってｚの値を算出する。そして算出されたｚの値を用い、（３）式によってθの値が、また、魚眼レンズの射影方式によって対応して記憶された（７）、（８）、（９）のうちのいずれかの演算式により、Ｆ（θ）の値が算出されて、（４）式によってＬが算出される。

そして最後に（５）式、（６）式によって出力画像データのアドレス（ｘ，ｙ）に対応した画像データ格納用メモリ４のアドレス（ｕ，ｖ）が算出され、そのアドレスがアドレス補正手段５に送られて、対応したアドレスの撮像データが画像データ格納用メモリ４から読み出され、出力手段６に送られる。そして最終的に表示手段と記録手段７に読み出したデータを表示させると共に、必要に応じて記録手段に記録させる。

なお、前記したようにアドレス補正手段５は、例えば画像歪み補正のために算出したアドレスが小数点のついたアドレスなど、実際には読み出すことができないアドレスなどの場合、画像データ格納用メモリ４のデータの補間処理を行い、それによって正確に画像歪みを補正した出力画像データを出力するようにする。

このようにして撮像データにおける撮影レンズに起因する歪みを補正して出力画像データとして送り出すことで、一の方向では歪みが補正されて垂直なものが垂直に、あるいは水平なものが水平に表示され、しかも他の方向の画角はレンズの画角がほぼそのまま確保されるから、例え出力画像の周辺部分に存在するものでも、それが人であるのか電柱であるのかを容易に判別でき、従来技術のように、撮影レンズに起因する画像歪みを補正することで視野角が制限される、あるいは大きな視野角を確保することで中心部分に存在するものが非常に小さくなり、映っているものが判別できなくなる、といった問題を解決することができる。

本発明によれば、例え魚眼レンズのように歪曲収差が大きなレンズを用いても、必要な視野を確保しつつ、画像周辺部に存在するものの判別も可能となるから、自動車などの後方を撮像するモニタカメラ、玄関などに設置して来訪者を撮像するモニタ撮像装置などに応用して好適な画像処理方法及び装置を提供できる。

本発明になる画像処理装置のブロック図である。 本発明になる画像処理方法の考え方を説明するための図である。 正射影方式の魚眼レンズを用い、魚眼レンズ原点から撮影対象物へ向かう視線方向ベクトルＤＯＶに直交する、仮想的な平面における画像の歪みを補正する場合の説明図である。 （Ａ）は等距離射影方式の魚眼レンズにより得られる画像の説明図、（Ｂ）は正射影方式の魚眼レンズにより得られる画像の説明図である。

符号の説明

１ 撮影レンズ
２ 撮像素子
３ Ａ／Ｄ変換器
４ 画像データ格納用メモリ
５ アドレス補正手段
６ 出力手段
７ 表示手段と記録手段
８ 補正量算出手段
９ 補正演算式格納用メモリ
１０ 撮像素子駆動手段
２１ 仮想の半円柱
２２ 歪み補正後の仮想画像面
３１ 歪み補正後の仮想画像フレーム
３２ 原点からみた撮像範囲に対する仮想の半球面
３３ 撮像画面
３４ 歪み補正後の仮想画像フレーム

Claims (9)

1. 撮影レンズを介して得られた撮像データにおける、前記撮影レンズに起因する画像歪みを補正した出力画像データを得るための画像処理方法であって、
   前記撮影レンズは魚眼レンズであり、前記出力画像データの画像歪みの補正は、前記撮像データにおける撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の補正度合いを、他の方向の補正度合いより大きくし、
   前記補正度合いを大きく補正した一の方向において、前記撮像データの端部側のデータは用いずに前記出力画像データを構成することにより表示する画角を制限することを特徴とする画像処理方法。
2. 前記画像歪みを補正した出力画像データは、前記出力画像データの各アドレスを用いて算出した対応する画像歪み補正前の撮像データのアドレスにより読み出した、前記撮像データであることを特徴とする請求項１に記載した画像処理方法。
3. 前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを（ｘ，ｙ）、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを（ｕ，ｖ）、撮影レンズ光軸に対する入射光束の入射角（頂点角または天頂角）をθ、補正倍率をＺ_０、前記撮影レンズに起因する画像歪みにより生じる基準円の半径（補正距離）をＲ_０、補正指数をｎ、頂点角θで入射した像が撮影レンズにより結像したときの光軸（原点）Ｏからの距離（像高）をＬ、ｕｖ平面上の光軸Ｏからの（ｕ，ｖ）座標の距離を導き出す関数をＦ（θ）としたとき、前記一の方向が垂直（ｙ軸）方向の場合は下記（１）式により、前記一の方向が水平（ｘ軸）方向の場合は下記（２）式により、それぞれｚを算出し、下記（３）式、（４）式でθとＬとを算出して、下記（５）式、（６）式で画像歪み補正前のアドレス（ｕ，ｖ）を算出することを特徴とする請求項２に記載した画像処理方法。
   
   

   
4. 前記撮影レンズの焦点距離をｆ、収差係数をｋとしたとき、前記Ｆ（θ）の算出に、前記撮影レンズの射影方式に関連して下記（７）、（８）、（９）式のいずれかの式を用いることを特徴とする請求項３に記載した画像処理方法。
   

   
5. 前記撮影レンズは、長辺方向の画角が１６０°以上の魚眼レンズであることを特徴とする請求項１乃至４のいずれかに記載した画像処理方法。
6. 撮影レンズを介して得られた撮像データを出力する撮像手段を備え、前記撮像データにおける前記撮影レンズに起因する画像歪みを補正して出力画像データとする画像処理装置であって、
   前記撮影レンズは魚眼レンズであり、Ａ／Ｄ変換器によりデジタルデータに変換された前記撮像データを格納する画像データ格納用メモリと、撮影レンズに起因する画像歪みのうち、水平方向または垂直方向のいずれか一の方向の歪みの補正を他の方向の歪みの補正度合いより大きく補正する演算式を記憶した補正演算式記憶手段と、該演算式記憶手段に記憶された演算式に基づき、前記出力画像データにおける前記一の方向のアドレスと他の方向のアドレスに対応した前記画像データ格納用メモリのアドレスを算出する補正量算出手段と、該補正量算出手段の算出した前記画像データ格納用メモリの一の方向と他の方向のアドレスとを用い、前記画像データ格納用メモリに格納された撮像データを読み出すアドレス補正手段とを備え、
   前記撮像データにおける前記撮影レンズに起因する画像歪みのうち、一の方向の補正度合いを他の方向の補正度合いより大きくして出力画像データとし、
   前記補正度合いを大きく補正した一の方向において、前記撮像データの端部側のデータは用いずに前記出力画像データを構成することにより表示する画角を制限することを特徴とする画像処理装置。
7. 前記演算式記憶手段に記憶した演算式は、前記撮影レンズに起因する画像歪みを補正した出力画像データにおけるアドレスを（ｘ，ｙ）、該アドレスを用いて算出した対応する前記撮像データの画像歪み補正前のアドレスを（ｕ，ｖ）、撮影レンズ光軸に対する入射光束の入射角（頂点角または天頂角）をθ、補正倍率をＺ_０、前記撮影レンズに起因する画像歪みにより生じる基準円の半径（補正距離）をＲ_０、補正指数をｎ、頂点角θで入射した像が撮影レンズにより結像したときの光軸（原点）Ｏからの距離（像高）をＬ、ｕｖ平面上の光軸Ｏからの（ｕ，ｖ）座標の距離を導き出す関数をＦ（θ）としたとき、前記一の方向が垂直（ｙ軸）方向の場合は下記（１）式を、前記一の方向が水平（ｘ軸）方向の場合は下記（２）式を、また画像歪み補正前のアドレス（ｕ，ｖ）を算出するために下記（３）乃至（６）式を記憶していることを特徴とする請求項６に記載した画像処理装置。
   

   
8. 前記撮影レンズの焦点距離をｆ、収差係数をｋとしたとき、前記撮影レンズの射影方式に関連して下記（７）、（８）、（９）式のいずれかの式を、前記関数Ｆ（θ）の演算式として前記演算式記憶手段に記憶していることを特徴とする請求項７に記載した画像処理装置。
   

   
9. 前記撮影レンズは、長辺方向の画角が１６０°以上の魚眼レンズであることを特徴とする請求項６乃至８のいずれかに記載した画像処理装置。

Images