JP2016052104A - 撮像装置、カメラシステム、画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】撮影時の環境変化による画像劣化を低減可能な撮像装置、カメラシステム、画像処理装置および画像処理プログラムを提供すること。【解決手段】ピント面位置から撮影環境情報に基づいた補正量だけ撮影面位置を調整する制御手段と、調整された撮影面位置における撮影画像を出力する撮像素子と、撮影画像に対して、撮影面位置に対応した画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有する。【選択図】図１

Description

本発明は、撮像装置、カメラシステム、画像処理装置および画像処理プログラムに関する。

情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。

画像のぼけ成分は、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ，Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ぶ。これを画像ではぼけ成分と呼ぶ。画像のぼけと言うと例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上述の光学系の収差の影響でぼけてしまうものを指す。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの結像倍率の相違による位置ずれまたは位相ずれと言うことができる。

ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ，Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦは、それぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系の光学伝達関数ＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明がない限り色ずれを倍率色収差と同意義として記載することにする。

撮像光学系のＯＴＦの情報を用いて、ＭＴＦの劣化とＰＴＦの劣化を補正する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、画像回復の方法の一例として、光学伝達関数ＯＴＦの逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。特許文献１では、画像回復処理の高速化に関する発明を開示している。画像回復処理は、２次元フィルタである回復フィルタをコンボリューション処理するため、回復フィルタの大きさが処理速度に大きく影響する。そのため、像面湾曲等の軸外収差が大きい場合に、画面中心に合焦した状態の回復フィルタを生成すると、画面周辺部で回復フィルタが大きくなり処理が遅くなる。そこで、特許文献１では、全像高で回復フィルタが小さくなる位置に合焦面を移動させることにより、画面全体で回復フィルタを小さくし、画像回復処理の高速化を達成している。

特開２０１１−２０５２３１号公報

従来から公開されている画像回復処理に用いる画像回復フィルタは温度や湿度といった撮影環境の変化に対応しておらず、画像回復処理は撮影環境を一定として生成された回復フィルタにより行われている。そのため、投射レンズのようにランプのような高熱源近傍に配置される結像レンズや、温度、湿度により光学特性が大きく変化するプラスチックレンズを使用した光学系では、撮影環境により光学性能が大きく変化し、正しく画像回復処理を行うことができない。特許文献１では、撮影環境の変化による画像劣化の低減に関しての手法は開示されていない。

このような課題を鑑みて、本発明は、撮影時の環境変化による画像劣化を低減可能な撮像装置、カメラシステム、画像処理装置および画像処理プログラムを提供することを目的とする。

本発明の一側面としての撮像装置は、ピント面位置から撮影環境情報に基づいた補正量だけ撮影面位置を調整する制御手段と、調整された撮影面位置における撮影画像を出力する撮像素子と、前記撮影画像に対して、前記撮影面位置に対応した画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とする。

また、本発明の他の側面としてのカメラシステムは、撮像光学系と、ピント面位置から撮影環境情報に基づいた補正量だけ撮影面位置を調整する制御手段と、調整された撮影面位置における撮影画像を出力する撮像素子と、前記撮影画像に対して、前記撮影面位置に対応した画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理装置は、撮影画像、撮影環境情報および前記撮影環境情報に対応した画像回復フィルタを取得する取得手段と、前記撮影画像に対して、前記画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理プログラムは、撮影画像、撮影環境情報および前記撮影環境情報に対応した画像回復フィルタを取得するステップと、前記撮影画像に対して、前記画像回復フィルタを用いて、画像回復処理を行うステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、撮影時の環境変化による画像劣化を低減可能な撮像装置、カメラシステム、画像処理装置および画像処理プログラムを提供することができる。

実施例１のカメラシステムの構成を示すブロック図である。 実施例１の画像処理方法のフローチャートである。 一眼レフカメラの合焦処理のフローチャートである。 電子ビューファインダーを用いたカメラの合焦処理のフローチャートである。 画像回復フィルタの説明図である。 画像回復フィルタの説明図である。 点像分布関数の説明図である。 光学伝達関数の振幅成分と位相成分の説明図である。 数値実施例１の広角端における断面図である。 数値実施例１の広角端での縦収差図である。 数値実施例１の中間焦点距離での縦収差図である。 数値実施例１の望遠端での縦収差図である。 像面補正処理の説明図である。 実施例２の画像処理システムの構成図である。 実施例２の画像処理方法のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明する画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） (４)
ここで、Ｒ（ｘ，ｙ）は、画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）（５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図５および図６を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図５の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。図５では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図６に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図７および図８を参照して、画像回復の実空間と周波数空間での特性について説明する。図７は点像分布関数ＰＳＦの説明図であり、（ａ）は画像回復前の点像分布関数ＰＳＦ、（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図８は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図８（ａ））と位相成分ＰＴＦ（図８（ｂ））の説明図である。図８（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また、図８（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図７（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。

図１を参照して、本実施例のカメラシステムの構成について説明する。図１は、カメラシステムの構成を示すブロック図である。

被写体（不図示）からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。撮像光学系１０１は、変倍レンズ（不図示）、絞り１０１ａおよびフォーカスレンズ１０１ｂを有する。撮像光学系１０１は、少なくとも１枚のプラスチックレンズを有する。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更する。絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、オートフォーカス（ＡＦ）機構（不図示）やマニュアルフォーカス機構によって光軸方向の位置が制御される。なお、フォーカスレンズ１０１ｂの代わりに撮像素子１０２を駆動させ、合焦処理を行ってもよい。ピント補正処理の詳細に関しては後述する。

撮像素子１０２上に形成された被写体像は、撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部（画像処理手段）１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムにしたがって処理を実行する。画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、カラー入力画像に対して画像回復処理と幾何変換処理（歪曲補正処理）を行う画像回復／歪曲補正部１０４ｂを有する。処理後の出力画像は、画像記録媒体１０９に記録されたり、ＬＣＤ等により構成される表示部１０５に表示されたりする。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。

撮影状態検出部１０７は、フォーカスレンズ１０１ｂが被写体にピント調整を行った際の撮像光学系１０１の状態（以下、撮影状態という）の情報を検出する。撮影状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、撮影状態検出部１０７は、システムコントローラ１１０から撮影状態の情報を取得してもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から取得してもよい。

撮影環境検出部１１１は、フォーカスレンズ１０１ｂが被写体にピント調整を行った際の撮影環境を検出する。撮影環境とは、撮影時の気温や温度である。また、撮影環境検出部１１１を撮像光学系１０１内に取り付けることで、撮影のレンズや鏡筒の内部温度や内部湿度なども撮影環境として使用可能である。

記憶部１０８は、撮影状態と撮影環境に対応してフォーカス位置を補正するためのピント面補正値情報を記憶している。

システムコントローラ（制御手段）１１０は、撮影状態検出部１０７の撮影状態情報と撮影環境検出部１１１の撮影環境情報から、記憶部１０８内のピント面補正値情報を取得する。システムコントローラ１１０は、撮像光学系制御部１０６を制御し、フォーカスレンズ１０１ｂを駆動させることによりピント面補正を行い、撮影を行う。

画像回復／歪曲補正部１０４ｂは、撮影状態検出部１０７から撮影状態情報を取得し、撮影環境検出部１１１から撮影環境情報を取得する。そして、画像回復／歪曲補正部１０４ｂは、撮影状態と撮影環境に応じた画像回復フィルタを記憶部１０８から選択し、入力画像に対して画像回復処理を行う。また、画像回復／歪曲補正部１０４ｂは、撮影状態に応じた幾何変換条件を記憶部１０８から選択し、画像回復処理を受けた画像に対して幾何変換処理を行う。

図２は、本実施例の画像処理方法のフローチャートである。

ステップＳ０１１では、被写体に合焦するための撮影距離が検出される。

ステップＳ０１２では、撮影状態検出部１０７が撮影状態情報を検出し、また、撮影環境検出部１１１が撮影環境情報を検出する。

ステップＳ０１３では、システムコントローラ１１０は、撮影状態情報と撮影環境情報から記憶部１０８に記憶したピント面補正値を取得する。

ステップＳ０１４では、合焦処理を行う。合焦処理に関して、図３，４を用いて説明を行う。

図３は、一眼レフカメラの合焦処理のフローチャートである。

ステップＳ０２１では、シャッター（不図示）を半押しすることにより、合焦処理が開始される。

ステップＳ０２２では、ピント面補正を行わないで、システムコントローラ１１０が撮像光学系制御部１０６を制御し、フォーカスレンズ１０１ｂを駆動させることにより合焦処理を行う。ここで、ピント面補正を行うと、撮影者がピント合わせを行った被写体からピント面がずれ、ファインダーで観察した被写体がボケるため問題となる。そこで、ファインダー観察時は、ピント面補正を行わないで、被写体にピントを合わせた状態としておく。

ステップＳ０２３では、シャッターを全押しすることにより、撮影処理が開始される。

ステップＳ０２４では、クイックターンミラーが可動し、ファインダーで被写体が観察できなくなった状態で、ピント面補正を行う。図２のステップＳ０１３で取得したピント面補正値に基づいて、フォーカスレンズ１０１ｂは駆動する。この手順により、上述したファインダー観察時の問題を解決することが可能となる。なお、フォーカシングをオートフォーカスで説明を行ったが、マニュアルフォーカス時においても同様に、ファインダー観察時はピント面補正を行わず、撮影時にオートフォーカスに切り替えてピント面補正を行ってもよい。

ステップＳ０２５では、撮像素子１０２が画像を取得する。

図４は、電子ビューファインダーを用いたカメラの合焦処理のフローチャートである。

ステップＳ０３１では、シャッターを半押しすることにより、合焦処理が開始される。

ステップＳ０３２では、図２のステップＳ０１１で取得した被写体情報に基づく移動量と、図２のステップＳ０１３のピント面補正値に基づく移動量の合成量だけフォーカスレンズ１０１ｂを駆動する。電子ビューファインダー上に表示する画像は、ピントがずれた状態で結像している撮像面の画像を画像回復処理したものを表示することにより、撮影者にピントズレを感じさせないことが可能となる。

ステップＳ０３３では、シャッターを全押しすることにより撮影処理が開始される。

ステップＳ０３４では、撮像素子１０２が画像を取得する。

ここで、撮影状態情報と撮影環境情報からピント補正を行う処理の詳細を、数値実施例１を用いて説明する。数値実施例１の撮影光学系はズーム比３．７２倍のズームレンズである。図９は、広角端における断面図である。図１０は、広角端での縦収差図である。図１１は、中間焦点距離での縦収差図である。図１２は、望遠端での縦収差図である。

撮像光学系は、物体側から順に負の第１レンズ群Ｌ１、正の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、ガラスブロックＧＢから構成されている。また、撮影光学系の軽量化・低コスト化のため、第１レンズ群Ｌ１のＧ２および、第２レンズ群Ｌ２のＧ５にプラスチックレンズを使用している。プラスチックレンズは、ガラス材より構成されるレンズに比べ、温度や湿度といった環境の変化により、屈折率変化や形状変化を起こしやすい。そのため、環境変化により、ピント移動、収差変動が発生し撮影画像が劣化する。特に、プラスチックレンズの屈折力を強めた場合に顕著になる。

数値実施例１において、ｒｉは物体側より順に第ｉ番目のレンズ面の曲率半径、ｄｉは第ｉ番目のレンズ厚または空気間隔、ｎｄｉとｖｄｉは第ｉ番目のレンズの材質のｄ線の屈折率とアッベ数である。また、非球面形状はレンズ面の中心部の曲率半径をＲとし、光軸方向をＸ軸とし、光軸と垂直方向をＹ軸とし、非球面係数をＡｉ（ｉ＝１，２，３．．．）としたとき、
Ｘ＝ （１／Ｒ）Ｙ２
１＋｛１―（Ｋ＋１）（Ｙ／Ｒ）２｝１／２
＋Ａ４Ｙ４＋Ａ６Ｙ６＋Ａ８Ｙ８＋Ａ１０Ｙ１０＋・・・
と表すことができる。

［数値実施例１］
単位 mm

面データ
面番号 r d nd vd 有効径
1 -1805.122 0.50 1.72000 50.2 9.33
2 5.269 1.30 7.64
3* 7.292 1.40 1.63550 23.9 7.65
4* 15.124 (可変) 7.36
5(絞り) ∞ -0.30 3.67
6 4.706 1.77 1.88300 40.8 3.69
7 -8.802 0.40 1.80809 22.8 3.36
8 45.507 0.30 3.18
9* -250.351 0.70 1.60737 27.0 3.15
10* 6.460 (可変) 3.05
11 197.335 1.32 1.69680 55.5 8.21
12 -18.000 (可変) 8.34
13 ∞ 0.30 1.51633 64.1 10.00
14 ∞ 0.50 10.00
15 ∞ 0.30 1.51633 64.1 10.00
16 ∞ (可変) 10.00
像面 ∞

非球面データ
第3面
K = 7.38972e-001 A 4=-2.53332e-004 A 6=-3.26818e-005 A 8= 4.11113e-007

第4面
K =-1.71328e+000 A 4=-2.42496e-004 A 6=-3.15381e-005 A 8= 5.90158e-007

第9面
K = 0.00000e+000 A 4= 4.76613e-003 A 6=-5.53855e-004

第10面
K = 3.03527e-001 A 4= 1.03811e-002 A 6=-3.70138e-005 A 8=-1.41210e-005

各種データ
ズーム比 3.72
広角 中間 望遠
焦点距離 5.21 12.10 19.38
Fナンバー 3.14 4.87 6.69
画角 32.60 17.76 11.31
像高 3.33 3.88 3.88
レンズ全長 27.58 25.06 28.75
BF 0.53 0.53 0.53

d 4 11.70 3.06 0.58
d10 3.83 10.42 16.97
d12 3.04 2.56 2.18
d16 0.53 0.53 0.53

入射瞳位置 6.39 3.72 2.38
射出瞳位置 -11.91 -30.03 -100.28
前側主点位置 9.42 11.03 18.03
後側主点位置 -4.68 -11.57 -18.85

ズームレンズ群データ
群 始面 焦点距離 レンズ構成長 前側主点位置 後側主点位置
1 1 -11.75 3.20 -0.03 -2.44
2 5 8.47 2.87 -1.95 -2.98
3 11 23.73 1.32 0.71 -0.07
GB 13 ∞ 1.10 0.45 -0.45

単レンズデータ
レンズ 始面 焦点距離
1 1 -7.30
2 3 20.72
3 6 3.70
4 7 -9.10
5 9 -10.36
6 11 23.73
7 13 0.00
8 15 0.00

条件式対応表

第１レンズ群Ｌ１のＧ２および第２レンズ群Ｌ２のＧ５のプラスチックレンズの温度変化時の屈折率変化によるピント移動とメリジオナル像面湾曲の変化量を表１に示す。温度変化は、２０℃から４０℃に変化した場合を計算している。また、メリジオナル像面湾曲の変化量は、センサの最大像高に対し７割の位置における変化量を計算している。

プラスチックレンズは、温度変化による屈折率変化が大きいため、ピント移動や像面湾曲が大きく変化する。特に、望遠端においては、像面湾曲変化量に対してピント移動量が大きく変化するため、結果として、像面湾曲が大きく発生した状態となる。このような環境変化により像面湾曲が大きく発生した状態のＭＴＦの例を図１３に示す。この状態で、例えば画面中心の被写体にフォーカスを行うと画面周辺部での画質が大きく劣化してしまう。

従来から開示されている画像回復処理では、撮影時の環境変化を考慮せず、温度や湿度が一定として画像回復フィルタを生成し画像回復処理を行っていた。しかしながら、プラスチックレンズを使用した撮像光学系では、環境変化により像面湾曲が発生するため、従来のフィルタのように環境変化を考慮せずに生成した画像回復フィルタとは光学特性が大きく異なり、正しく画像回復処理を行うことができない。また、環境変化により像面湾曲が発生している状態で、画面中心の物体にフォーカスを行うと画面周辺部でＭＴＦが極端に小さくなり、回復処理そのものができないといった問題が発生する。

本実施形態では、ピント面位置から撮影時の撮影状態情報と撮影環境情報に基づいた補正量だけ画面中心のＭＴＦピーク位置と画面周辺部のＭＴＦピーク位置の中間領域の撮影面位置に調整し、撮影面位置における撮影画像を撮影している。このとき、ピント面位置を補正した撮影面位置における画像回復フィルタにて画像回復処理を行うことで、環境変化時の光学特性を反映した画像回復フィルタにて画像回復処理を行うことを可能としている。

図１３において、画面中心の被写体に合焦した場合、ピント補正処理により、画面周辺のＭＴＦピーク位置との中間領域にピント位置を補正するため、撮影被写体の画像は劣化する。しかしながら、ピント補正により劣化した画像は画像回復処理を行うことで高精細な画像にすることができる。画面周辺部では、ピント位置補正により画面周辺部のＭＴＦピーク位置側に撮影面を移動させるため、像面湾曲による極端な画質の低下を低減することができる。また、ピント補正後の撮像面位置で生成した回復フィルタを用いることで、高精度に画像回復処理を行うことができる。

表１に示すように、広角端や望遠端といった撮影条件により、環境変化時のピント移動量と像面湾曲の変化量が大きく変化するため、ピント補正値は撮影状態と撮影環境により決定している。広角端のように撮影環境による像面湾曲の変化が小さい領域では、ピント位置調整を省略することも可能である。本実施例では、撮影環境として温度での光学性能変化を説明したが、その他湿度による光学性能変化なども含まれる。

プラスチックレンズを使用する場合、プラスチックレンズの焦点距離をｆｐ、レンズ全系の望遠端における焦点距離をｆｔとするとき、以下の式（７）を満足するとよい。

０．４ ＜ ｜ｆｐ｜／ｆｔ （７）
式（７）は、プラスチックレンズの屈折力に関する条件式である。下限値を超えて、プラスチックレンズの屈折力が強くなると、温度環境変化時の像面湾曲量が大きくなりすぎるため、ピント補正を行っても画面周辺部でのＭＴＦが極端に小さくなり、画像回復処理ができなくなる。

また、望遠端におけるプラスチックレンズの屈折率変化に対するピント移動量をΔｐ、屈折率変化に対する像面移動量をΔｚとするとき、以下の式（８）を満足するとよい。

０．０２ ＜ ｜Δｚ/Δｐ｜ （８）
式（８）は、プラスチックレンズの環境変化時のピント移動量と像面湾曲変化量に関する条件式である。下限値を超えると、温度環境変化時の像面湾曲変化量が大きくなりすぎるため、ピント補正を行っても画面周辺部でのＭＴＦが極端に小さくなり、画像回復処理ができなくなる。

本実施例では、撮影環境変化に対する画質の劣化についてプラスチックレンズを例にして説明を行ったが、ガラス材からなるレンズにおいても高温多湿な環境や極寒の環境等での撮影ではプラスチックレンズと同様の問題が発生する。また、投射レンズのように高温となるランプの近傍等に配置される光学系などにおいても同様の問題が発生する。そのため、本実施形態は、プラスチックレンズを使用した光学系に限定するものではない。また、レンズを保持するレンズ鏡筒にも樹脂材料が使用されているため、環境変化により、光学系の配置が変化し、光学性能の劣化が生じる。そのため、環境変化による画質の劣化はレンズに限定するものではない。

次に、ステップＳ０１５では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を取得する。

ステップＳ０１６では、画像処理部１０４は、撮影状態検出部１０７から撮影状態情報を取得する。本実施例では、ズーム位置、絞り開口径、および被写体距離を撮影状態情報として取得する。また、画像処理部１０４は、撮影環境検出部１１１から撮影環境情報を取得する。本実施例では、撮影時の温度を撮影環境情報として取得する。画像処理部１０４は、取得した撮影状態情報および撮影環境情報に対応した画像回復フィルタを記憶部１０８から選択する。また、記憶部１０８が撮影状態や撮影環境ごとに画像劣化を補正するためのフィルタ係数を保持しておき、画像処理部１０４がフィルタ係数から画像回復フィルタを生成してもよい。なお、画像処理部１０４が撮影状態情報および撮影環境情報に対応した画像回復フィルタを保持し、撮影状態情報および撮影環境情報に応じて選択してもよい。

ステップＳ０１７では、画像処理部１０４は、ステップＳ０１５で取得した入力画像に対し、ステップＳ１０６で選択または生成された画像回復フィルタを用いて画像回復処理を実行する。

ステップＳ０１８では、画像処理部１０４は、画像回復処理が実行された画像を取得する。

ステップＳ０１９では、画像処理部１０４は、ステップＳ０１８で取得した画像に対し、画像回復処理以外の画像形成に必要なその他の処理を行い、出力画像を得る。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上述したフローの前後や中間に必要に応じて挿入することが可能である。

ステップＳ０２０では、画像処理部１０４は、ステップＳ０１９で取得した出力画像を表示部１０５および画像記録媒体１０９のうち少なくとも１つに出力する。また、出力先を画像処理部１０４に内蔵された記憶部とし、記憶部に出力画像データを保存してもよい。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファー）とを有する。上述した画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時的記憶部として、記憶部１０８を用いてもよい。

図１４は、本実施例の画像処理システムの構成図である。画像処理装置２０１は、コンピュータ機器により構成され、実施例１にて説明した撮像装置内の画像処理方法をコンピュータ機器に実行させるための画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像（撮影画像データ）を記憶する。出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタである表示機器２０４が接続されており、ユーザーは表示機器２０４を通して画像処理作業を行うとともに、補正画像を評価することができる。画像処理ソフトウェア２０６は、画像回復処理機能（位相劣化成分および振幅劣化成分の補正機能）および回復度合調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

図１５は、本実施例の画像処理方法のフローチャートである。

ステップＳ０４１では、画像処理装置２０１は、撮影画像を取得する。撮影画像には、撮影時の撮影状態情報と撮影環境情報が付加されている。画像処理装置２０１は、撮像装置２０２で撮影された画像をそのまま取得しても良いし、記憶媒体２０３に記録された画像を取得しても良い。

ステップＳ０４２では、画像処理装置２０１は、撮影画像に記録されている撮影状態情報と撮影環境情報を取得する。

ステップＳ０４３では、画像処理装置２０１は、ステップＳ０５２で取得した撮影状態情報および撮影環境情報に対応した画像回復フィルタを記憶媒体２０３から選択する。なお、記憶媒体２０３が撮影状態や撮影環境ごとにＯＴＦといった光学情報を保持しておき、画像処理部１０４が光学情報から画像回復フィルタを生成してもよい。

ステップＳ０４４では、画像処理装置２０１は、ステップＳ０４１で取得した撮影画像に対し、ステップＳ０４３で選択または生成された画像回復フィルタを用いて画像回復処理を実行する。

ステップＳ０４５では、画像処理装置２０１は、画像回復処理が実行された画像を取得する。

ステップＳ０４６では、画像処理装置２０１は、ステップＳ０４５で取得した画像に対し、画像回復処理以外の画像処理を行う。

ステップＳ０４７では、画像処理装置２０１は、画像処理を行った画像を出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。また、出力先を画像処理装置２０１に内蔵された記憶部とし、該記憶部に出力画像データを保存してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０２ 撮像素子
１０４ 画像処理部（画像処理手段）
１１０ システムコントローラ（制御手段）

Claims (11)

1. ピント面位置から撮影環境情報に基づいた補正量だけ撮影面位置を調整する制御手段と、
   調整された撮影面位置における撮影画像を出力する撮像素子と、
   前記撮影画像に対して、前記撮影面位置に対応した画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とする撮像装置。
2. 前記撮影環境情報は、撮影時の気温、湿度、撮影光学系の内部温度のうち少なくとも１つであることを特徴とする請求項１に記載の撮像装置。
3. 前記撮影面位置は、前記撮影環境情報および撮像光学系の撮影状態情報に基づいて決定されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮影状態情報は、撮影時の焦点距離、絞り開口径、被写体距離のうち少なくとも１つであることを特徴とする請求項３に記載の撮像装置。
5. 前記画像回復フィルタは、前記撮影面位置における光学情報に基づき生成されることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、被写体への合焦処理を行った後、前記補正量に基づいて前記撮影面位置を調整することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、被写体への合焦処理と同時に、前記補正量に基づいて前記撮影面位置を調整することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
8. 撮像光学系と、
   ピント面位置から撮影環境情報に基づいた補正量だけ撮影面位置を調整する制御手段と、
   調整された撮影面位置における撮影画像を出力する撮像素子と、
   前記撮影画像に対して、前記撮影面位置に対応した画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とするカメラシステム。
9. 前記撮像光学系は、少なくとも１枚のプラスチックレンズを有することを特徴とする請求項８に記載のカメラシステム。
10. 撮影画像、撮影環境情報および前記撮影環境情報に対応した画像回復フィルタを取得する取得手段と、
    前記撮影画像に対して、前記画像回復フィルタを用いて、画像回復処理を行う画像処理手段と、を有することを特徴とする画像処理装置。
11. 撮影画像、撮影環境情報および前記撮影環境情報に対応した画像回復フィルタを取得するステップと、
    前記撮影画像に対して、前記画像回復フィルタを用いて、画像回復処理を行うステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。