JP2005151122A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 撮像光学系に起因する画像の劣化を修復することができる画像処理装置を提供することを課題とする。
【解決手段】 撮像光学系の光軸と撮像面との交点を原点とする撮像面上の画像の座標を検出する座標検出手段（４）と、座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、座標が撮像面上の原点から離れている場合は座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出するエッジ検出手段（７）と、検出されたエッジ情報を基に画像処理を行う画像処理手段（８）とを有する画像処理装置が提供される。
【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、カメラ、内視鏡等の軸対称な撮像光学系を有する撮像装置からの信号を処理する画像処理装置及び画像処理方法に関する。

カメラ、内視鏡等の撮像装置では、一般に一つの光軸に対し、軸対称な形状を持つレンズ等の撮像光学系が用いられている。このような撮像光学系の結像特性は、撮像面上では画面の中心から動径方向への距離のみに関係し、変化するものとなり、具体的にはこれが、球面収差、非点収差、コマ収差、像面歪曲、色収差などになって画像の劣化として現れる。従来これらの収差による画像の劣化を補正するためには、レンズ等の撮像光学系を最適化し、これらの収差が最小となるように構成するとともに、色収差を極小化するために、分散の低い硝材を使うなどの技術が用いられてきた。また、画像処理においては、エッジ強調などの処理を行うことにより、画像のコントラストの劣化を防ぐ等の方法（例えば、特許文献１参照）がとられてきた。

しかしながら、撮像素子の小型化・高画素化に伴い、１画素当りのピッチが小さくなりつつあり、レンズの収差補正も困難なものになりつつある。このため、画面の中央付近では球面収差や軸上色収差が、画面の周辺に近付くにつれ、コマ収差や倍率色収差が発生し、画像の劣化が目立つようになる。このような画像の劣化は、画面の中央付近では被写体の構造に等方的に発生するものであり、画面の周辺では、画面の中央から動径方向に垂直な構造に対し、目立って発生するものであり、エッジ強調等の場所によらず一様な処理では修復しきることのできない性質のものである。

特開平２００３−２３３０００号公報

本発明の目的は、撮像光学系に起因する画像の劣化を修復することができる画像処理装置及び画像処理方法を提供することである。

本発明の画像処理装置は、撮像光学系の光軸と撮像面との交点を原点とする撮像面上の画像の座標を検出する座標検出手段と、前記座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、前記座標が撮像面上の原点から離れている場合は前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出するエッジ検出手段と、前記検出されたエッジ情報を基に画像処理を行う画像処理手段とを有することを特徴とする。
また、本発明の画像処理方法は、撮像光学系の光軸と撮像面との交点を原点とする撮像面上の画像の座標を検出する座標検出ステップと、前記座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、前記座標が撮像面上の原点から離れている場合は前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出するエッジ検出ステップと、前記検出されたエッジ情報を基に画像処理を行う画像処理ステップとを有することを特徴とする。

画像の座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、画像の座標が撮像面上の原点から離れている場合は座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出して画像処理することにより、撮像光学系に起因する画像の劣化を修復することができる。

以下添付図面を参照して本発明の好適な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態の構成を表すブロック図である。
図１に示す画像処理装置及び画像処理方法は、被写体を光軸に対称な撮像光学系1 により撮像部2内にある撮像素子に結像させる。撮像部2には、撮像素子からの信号を画像として出力するための様々なパラメータが記憶されているパラメータ記憶部3が設けられており、撮像面上の中心位置(x0，y0)を表す情報もこの中に含まれている。撮像部2は、撮像光学系1を介して撮像面上に結像される像を基に画像を生成する。

原点(x0，y0)は、撮像光学系の光軸と、撮像素子の撮像面との交点である。撮像部2より得られた信号は座標検出部4で、パラメータ記憶部3の中心位置(x0，y0)と画像信号のアドレスから、(x0，y0)の位置を原点とする撮像面上の画像の座標(x，y)が算出される。座標(x，y)は、動径方位角算出部5により、動径と方位角の大きさが判定（算出）される。ここで、動径と方位角は次の式により求められるものである。

動径：r=√(x²+y²)
方位角：φ=tan^-1(y/x)

これを動径の長さの２乗r²及び方位角の正接値tanφとすれば、次式となる。

r²=x²+y²
tanφ=y/x

動径方位角算出部5でこの値を求め、動径及び方位角の大きさを判定することにすれば、演算量を低減することができる。動径方位角算出部5で求められた動径及び方位角の大きさは、BPF（バンドパスフィルター）作成部6に入力され、これらの値から画像の座標(x，y)におけるエッジ検出に用いられるバンドパスフィルターが作成される。図２に本実施形態で用いられるエッジ検出用バンドパスフィルターの特性の例を示す。図２(A)は、座標(x，y)が原点である撮像面の中心にある場合のバンドパスフィルターの特性である。同図に示すように撮像面の中心付近では、バンドパスフィルターはリング状に全ての方向に均等な周波数特性により、方向によらず均等にエッジを検出する。

図２(B)、(C)は、座標(x，y)が撮像面の中心から右上に離れていった時のバンドパスフィルターの特性を示したものである。同図(B)は中心と右上周辺の中間付近、(C)は右上周辺付近のものである。図２(B)、(C)に示すように、座標(x，y)が撮像面の中心から右上周辺に離れて行くに従い、方向に均等な特性から徐々に動径方向と同じ方向の周波数にピークを持つバンドパスフィルターに切り替わるよう、BPF作成部6ではエッジ検出用バンドパスフィルターが作成される。BPF作成部6で作成されたエッジ検出用バンドパスフィルターはエッジ検出部7により、撮像面の中心付近では全ての方向に均等なエッジを、撮像面の中心から離れた座標位置ではその座標の方位角に従って中心からの動径方向に垂直な構造を持つエッジを、それぞれ検出するのに用いられる。

このように、撮像面の中心付近では等方的なエッジが、周辺では中心からの動径方向に垂直なエッジがエッジ検出部7で検出され、その結果を画像処理部8で用いることにより、撮像光学系1に起因する画像の劣化を補正することができる。

画像の座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、画像の座標が撮像面上の原点から離れている場合は座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出する。動径方位角算出部5は、座標を基に動径又は動径の２乗を算出する。そして、動径又は動径の２乗に応じて座標が原点の近傍か又は座標が原点から離れているかが判断される。また、動径方位角算出部5は、座標を基に座標の方位角又はその正接値を算出する。そして、座標が撮像面上の原点から離れている場合には座標の方位角又はその正接値に応じて原点からの動径方向に垂直な画像のエッジが検出される。

撮像光学系１は、一つの光軸に対し、軸対称な形状を持つレンズ等が用いられる。このような撮像光学系１の結像特性は、撮像面上では画面の中心から動径方向への距離のみに関係し、変化するものとなり、具体的にはこれが、球面収差、非点収差、コマ収差、像面歪曲、色収差などになって画像の劣化として現れる。画面の中央付近では球面収差や軸上色収差が、画面の周辺に近付くにつれ、コマ収差や倍率色収差が発生し、画像の劣化が目立つようになる。このような画像の劣化は、画面の中央付近では被写体の構造に等方的に発生するものであり、画面の周辺では、画面の中央から動径方向に垂直な構造に対し、目立って発生するものである。本実施形態では、撮像面の中心付近では等方的なエッジ、周辺では中心からの動径方向に垂直なエッジをエッジ検出部7で検出する。画像処理部８においては、検出されたエッジのエッジ強調やエッジ部で発生する色収差を抑制するなどの処理を行うことにより、コントラスト等画像の劣化を防ぐことができる。

（第２の実施形態）
図３は本発明の第２の実施形態を示したものである。
同図では、撮像面を中心付近Aと中心からの方位角の範囲によりB〜Qの16の領域に分割し、動径方位角算出部5で算出された動径の値がある値以下である場合はA領域であるとみなし、また方位角の値により、座標がB〜Qのどの範囲に入るかを判定する。方位角の判定には、方位角の値そのものではなく、方位角の正接値を用いることにすれば、演算量を低減することができる。座標が同図A領域にあると判定された場合には、エッジ検出用バンドパスフィルターとして、図２(A)のものが採用され、B〜Q領域であると判定された場合には、図２(C)の形状でB〜Q領域の方位角の方向にピークを持つように回転したバンドパスフィルターが採用され、エッジ検出部7で用いられる。このような構成をとることにより、BPF作成部の演算量・記憶量とも大幅に低減することができる。また、座標の方位角の正接値を用いると、B〜Q領域のうち中心に対称な領域、たとえばBとJ、FとN等は同じ正接値として判定されるが、これらの領域に用いるバンドパスフィルターは同じ特性で良いため、演算量を少なくして良好な判定を行うことができる。

（第３の実施形態）
図４は本発明の第３の実施形態を示したものである。
同図ではBPF作成部6の構成を簡素化するため、これを水平バンドパスフィルター41と垂直バンドパスフィルター42及び２つの乗算器43、44及び加算器45より構成している。水平バンドパスフィルター41は、画像のエッジの水平方向の成分を検出するためのものであり、例えば[-1/2， 0， 1， 0， -1/2]という係数を持つデジタルフィルターが用いられる。同様に垂直バンドパスフィルター42は、画像のエッジの垂直方向の成分を検出するためのものであり、水平バンドパスフィルター41と同様の係数を持つデジタルフィルターが用いられる。乗算器43、44では、図１に示された動径方位角算出部5により算出された、座標の動径と方位角の値に応じて、水平バンドパスフィルター41と垂直バンドパスフィルター42の出力に掛け算する係数が決定される。乗算器43は、水平バンドパスフィルター41の出力に係数ｋを乗算する。乗算器44は、垂直バンドパスフィルター42の出力に係数１−ｋを乗算する。加算器45は、乗算器43及び44の出力を加算する。

動径の値が小さく画面の中心付近と見なされる場合には、k=1/2すなわち双方の係数は等しくなり、動径の値が大きく方位角が水平に近い程kが1に近く、水平バンドパスフィルター41の出力がより大きく評価され、動径の値が大きく方位角が垂直に近い程kが0に近く、垂直バンドパスフィルター42の出力がより大きく評価される。動径の大きさの大小は、前述したように動径の長さrではなく、動径の長さの２乗r²で判定し、方位角の大きさは方位角φの正接値tanφで判定することにすれば、演算量を低減することができる。本実施形態の構成は、前述した２つの実施形態に比べ簡素であり、エッジ検出精度に比しハードウェア構成の簡略化が優先される場合に良好な構成である。

以上説明したように、上記実施形態に従えば、画面の中央から動径方向に変化する被写体の構造を検出でき、画面の中央では等方的なエッジを、画面の周辺では中央からの動径方向に垂直なエッジを検出することができ、これらのエッジで発生する撮像光学系に起因する画像の劣化を修復することができる。

すなわち、画面の中央付近では球面収差や軸上色収差が、画面の周辺に近付くにつれ、コマ収差や倍率色収差が発生し、画像の劣化が目立つようになる。このような画像の劣化は、画面の中央付近では被写体の構造に等方的に発生するものであり、画面の周辺では、画面の中央から動径方向に垂直な構造に対し、目立って発生するものである。上記実施形態では、撮像面の中心付近では等方的なエッジ、周辺では中心からの動径方向に垂直なエッジを検出する。画像処理部においては、検出されたエッジのエッジ強調やエッジ部で発生する色収差を抑制するなどの処理を行うことにより、コントラスト等画像の劣化を防ぐことができる。

本実施形態は、コンピュータがプログラムを実行することによって実現することもできる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態に従う画像処理装置及び画像処理方法の構成を示すブロック図である。 本発明の第１の実施形態で用いられるエッジ検出用バンドパスフィルターの特性を表す図である。 本発明の第２の実施形態のエッジ検出方法を説明する図である。 本発明の第３の実施形態の構成を説明する図である。

符号の説明

１ 撮像光学系
２ 撮像部
３ パラメータ記憶部
４ 座標検出部
５ 動径
６ バンドパスフィルター作成部
７ エッジ検出部
８ 画像処理部
４１ 水平バンドパスフィルター
４２ 垂直バンドパスフィルター
４３，４４ 乗算器
４５ 加算器

Claims (16)

1. 撮像光学系の光軸と撮像面との交点を原点とする撮像面上の画像の座標を検出する座標検出手段と、
   前記座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、前記座標が撮像面上の原点から離れている場合は前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出するエッジ検出手段と、
   前記検出されたエッジ情報を基に画像処理を行う画像処理手段と
   を有することを特徴とする画像処理装置。
2. さらに、光軸に対称な撮像光学系と、
   前記撮像光学系を介して撮像面上に結像される像を基に画像を生成する撮像手段と
   を有することを特徴とする請求項１記載の画像処理装置。
3. さらに、前記座標を基に動径を算出する動径算出手段を有し、
   前記エッジ検出手段は、前記動径に応じて前記座標が原点の近傍か又は前記座標が原点から離れているかを判断する請求項１又は２記載の画像処理装置。
4. さらに、前記座標を基に動径の２乗を算出する動径算出手段を有し、
   前記エッジ検出手段は、前記動径の２乗に応じて前記座標が原点の近傍か又は前記座標が原点から離れているかを判断する請求項１又は２記載の画像処理装置。
5. さらに、前記座標を基に前記座標の方位角を算出する方位角算出手段を有し、
   前記エッジ検出手段は、前記座標が撮像面上の原点から離れている場合には前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. さらに、前記座標を基に前記座標の方位角の正接値を算出する正接値算出手段を有し、
   前記エッジ検出手段は、前記座標が撮像面上の原点から離れている場合には前記座標の方位角の正接値に応じて原点からの動径方向に垂直な画像のエッジを検出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
7. 前記エッジ検出手段は、
   画像のエッジの水平方向成分を検出する水平方向エッジ検出手段と、
   画像のエッジの垂直方向成分を検出する垂直方向エッジ検出手段と、
   前記検出されたエッジの水平方向成分及び垂直方向成分に対してそれぞれ係数を乗算する乗算手段と
   を有することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段は、前記検出されたエッジ情報を基にエッジ強調処理を行うことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 撮像光学系の光軸と撮像面との交点を原点とする撮像面上の画像の座標を検出する座標検出ステップと、
   前記座標が撮像面上の原点の近傍である場合は全ての方向に均等に画像のエッジを検出し、前記座標が撮像面上の原点から離れている場合は前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出するエッジ検出ステップと、
   前記検出されたエッジ情報を基に画像処理を行う画像処理ステップと
   を有することを特徴とする画像処理方法。
10. さらに、光軸に対称な撮像光学系を介して撮像面上に結像される像を基に画像を生成する撮像ステップを有することを特徴とする請求項９記載の画像処理方法。
11. さらに、前記座標を基に動径を算出する動径算出ステップを有し、
    前記エッジ検出ステップは、前記動径に応じて前記座標が原点の近傍か又は前記座標が原点から離れているかを判断する請求項９又は１０記載の画像処理方法。
12. さらに、前記座標を基に動径の２乗を算出する動径算出ステップを有し、
    前記エッジ検出ステップは、前記動径の２乗に応じて前記座標が原点の近傍か又は前記座標が原点から離れているかを判断する請求項９又は１０記載の画像処理方法。
13. さらに、前記座標を基に前記座標の方位角を算出する方位角算出ステップを有し、
    前記エッジ検出ステップは、前記座標が撮像面上の原点から離れている場合には前記座標の方位角に応じて原点からの動径方向に垂直な画像のエッジを検出することを特徴とする請求項９〜１２のいずれか１項に記載の画像処理方法。
14. さらに、前記座標を基に前記座標の方位角の正接値を算出する正接値算出ステップを有し、
    前記エッジ検出ステップは、前記座標が撮像面上の原点から離れている場合には前記座標の方位角の正接値に応じて原点からの動径方向に垂直な画像のエッジを検出することを特徴とする請求項９〜１２のいずれか１項に記載の画像処理方法。
15. 前記エッジ検出ステップは、
    画像のエッジの水平方向成分を検出する水平方向エッジ検出ステップと、
    画像のエッジの垂直方向成分を検出する垂直方向エッジ検出ステップと、
    前記検出されたエッジの水平方向成分及び垂直方向成分に対してそれぞれ係数を乗算する乗算ステップと
    を有することを特徴とする請求項９〜１４のいずれか１項に記載の画像処理方法。
16. 前記画像処理ステップは、前記検出されたエッジ情報を基にエッジ強調処理を行うことを特徴とする請求項９〜１５のいずれか１項に記載の画像処理方法。