JP5388671B2

JP5388671B2 - 撮像装置及び画像変換方法

Info

Publication number: JP5388671B2
Application number: JP2009103890A
Authority: JP
Inventors: 健司大部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-04-22
Filing date: 2009-04-22
Publication date: 2014-01-15
Anticipated expiration: 2029-04-22
Also published as: JP2010258570A; US20100271496A1; US8537225B2

Description

本発明は、撮像装置及び画像変換方法に関し、例えばビデオカメラ、デジタルカメラ、ＴＶカメラ等に好適なものである。

ビデオカメラやデジタルカメラ等の撮像装置においては、振動や手ぶれ等による画像のぶれを補正する防振システムが利用されている。このうち、光学系の一部のレンズ群を光軸に対して垂直方向に駆動することによって画像ぶれを補正する光学防振システムが知られている（特許文献１）。また、撮像素子を光軸に対して垂直方向に駆動することによって画像ぶれを補正する撮像素子防振システムが知られている（特許文献２）。

特開２００１−３５６２７０号公報特開２００２−２９６６３３号公報

光学防振システムや撮像素子防振システムにおいては、一部のレンズ群や撮像素子を光軸に対して垂直方向に移動させたときに偏心収差が発生するため、防振を行わない基準状態に比べて像性能が劣化してしまう。つまり、従来の画像ぶれ抑制システムにおいては、画像のぶれを低減できる一方で、偏心収差によって像性能が劣化してしまうという課題があった。

本発明は、画像ぶれを補正したときに生ずる像性能の劣化を低減できる撮像装置および画像変換方法を提供することを目的とする。

本発明の撮像装置は、撮像光学系と、該撮像光学系によって形成される像を光電変換する撮像素子と、前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、該撮像装置の振動を検出する振動検出手段と、該振動検出手段の検出結果に基づいて、前記撮像光学系の一部により構成される防振レンズ群を前記撮像素子に対して偏心させる画像ぶれ補正手段を有し、前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴としている。

また、本発明の他の撮像装置は、撮像光学系と、該撮像光学系によって形成される像を光電変換する撮像素子と、前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、該撮像装置の振動を検出する振動検出手段と、該振動検出手段の検出結果に基づいて、前記撮像光学系の一部により構成される防振レンズ群を前記撮像素子に対して偏心させる画像ぶれ補正手段を有し、前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の各位置に基づいて計算される位置に対応する画像回復フィルタを用いて前記画像処理を行うことにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴としている。
また、本発明の他の撮像装置は、撮像光学系と、該撮像光学系によって形成される像を光電変換する撮像素子と、前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、該撮像装置の振動を検出する振動検出手段と、該振動検出手段の検出結果に基づいて、前記撮像素子を前記撮像光学系に対して偏心させる画像ぶれ補正手段を有し、前記画像処理手段は、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴としている。
また、本発明の他の撮像装置は、撮像光学系と、該撮像光学系によって形成される像を光電変換する撮像素子と、前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、該撮像装置の振動を検出する振動検出手段と、該振動検出手段の検出結果に基づいて、前記撮像素子を前記撮像光学系に対して偏心させる画像ぶれ補正手段を有し、前記画像処理手段は、撮影時の露光時間中における前記撮像素子の各位置に基づいて計算される位置に対応する画像回復フィルタを用いて前記画像処理を行うことにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴としている。

本発明の画像変換方法は、撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、撮影時の防振レンズ群の位置情報を取得する位置情報取得工程と、前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数に基づいて生成され、前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴としている。

本発明の他の画像変換方法は、撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、撮影時の防振レンズ群の位置情報を取得する位置情報取得工程と、前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の各位置に基づいて計算される位置に対応しており、前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴としている。
また、本発明の他の画像変換方法は、撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、撮影時の前記撮像素子の位置情報を取得する位置情報取得工程と、前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数に基づいて生成され、前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴としている。
また、本発明の他の画像変換方法は、撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の前記撮像素子の位置情報を取得する位置情報取得工程と、前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の各位置に基づいて計算される位置に対応しており、前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴としている。

本発明によれば、画像ぶれを補正したときに生ずる像性能の劣化を低減できる撮像装置および画像変換方法を提供することができる。

本発明の実施例１にかかる撮像装置の構成図本発明の実施例１にかかる画像処理方法のフローチャート本発明の実施例２にかかる画像処理方法のフローチャート本発明の実施例１にかかる画像回復フィルタの説明図本発明の実施例１にかかる画像回復フィルタの断面図偏心収差の説明図本発明の実施例１の位置情報取得工程に関する説明図本発明の実施例３にかかる撮像装置の構成図

本発明の各実施例の撮像装置は、被写体を撮像する撮像光学系１０１と、撮像光学系１０１によって形成される像を光電変換するＣＣＤ等の撮像素子１０２と、撮影画像の画像処理を行う画像処理部１０４を有している。また、撮像時に撮像装置に加わる振動を検出する手ぶれ検出手段（振動検出手段）１０６と、振動により生じる画像ぶれを補正するために防振レンズ群１０１ｂまたは撮像素子１０２を偏心させる画像ぶれ補正手段を有している。さらに、画像ぶれ補正手段によって駆動される防振レンズ群１０１ｂまたは撮像素子１０２の位置(例えば光軸に対して垂直方向の位置)を検出する位置検出手段１１１を有している。そして、画像処理手段１０４は画像ぶれ補正手段による防振レンズ群１０１ｂまたは撮像素子１０２の位置に対応する画像回復フィルタを用いて撮影画像の画像処理を行うことによって、撮像光学系１０１の偏心収差が良好に補正された画像を得ることができる。

ただし、位置検出手段１１１によって位置を検出しなくとも、画像ぶれ補正手段による防振レンズ群１０１ｂまたは撮像素子１０２の位置制御情報に基づいて適切な画像回復フィルタを選択することもできる。本発明の撮像装置における画像処理方法について説明する。デジタルカメラで被写体を撮影するとき、撮像光学系の収差によって画像が劣化してしまう。撮像光学系の収差としては、球面収差、コマ収差、像面湾曲、非点収差、歪曲、色収差等の諸収差がある。撮像光学系の諸収差に起因した画像の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像処理を行う方法が知られている。このように、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する画像処理を画像回復処理と呼ぶ。

以下に画像回復処理の概要を説明する。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、撮像光学系の光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。ここでＨは点像分布関数（ＰＳＦ）をフーリエ変換したものであるので光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像光学系で撮影された劣化画像からもとの画像を得るためには、以下のように両辺を光学伝達関数Ｈで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことによって、もとの画像ｆ（ｘ，ｙ）を得ることができる。

ここで、光学伝達関数Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様にもとの画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
この逆フーリエ変換Ｒ（ｘ，ｙ）を画像回復フィルタと呼ぶ。画像が２次元のとき、一般的にこの画像回復フィルタも画像の各画素に対応したセルを有する２次元フィルタとなる。また、画像回復フィルタＲ（ｘ，ｙ）のタップ数（セルの数）が多いほど画像回復の精度を向上できるため、要求される画質や画像処理能力や収差の特性等に応じて実現可能なタップ数に設定して用いる。この画像回復フィルタＲ（ｘ，ｙ）は、少なくとも収差の特性を反映している必要がある。このため、従来の水平垂直の各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは一線を隔する技術分野である。

また、実際の画像にはノイズ成分があるため上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタＲ（ｘ，ｙ）を用いると、劣化画像ｇ（ｘ，ｙ）とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については、例えばウィナーフィルターのように画像信号とノイズ信号の強度比（ＳＮ比）に応じた制御方法が知られている。この方法は周波数ごとに光学伝達関数（ＯＴＦ）の絶対値が小さいほどＳＮ比が悪いので増幅を抑制し、光学伝達関数（ＯＴＦ）の絶対値が大きいほどＳＮ比が良いので増幅を強く行う方法である。

画像の色ずれ成分の劣化を補正する方法として、上記の画像回復フィルタＲ（ｘ，ｙ）を色成分ごとに用意して、この画像回復フィルタに波長による位相ずれ成分を考慮することで位置ずれを補正することができる。また、倍率色収差に関しては画像上の位置ずれであることから幾何変換を用いて補正する方法が適用できる。また、ズーム位置、絞り径、撮影距離等の撮影状態や像高（画像の位置）に応じて光学伝達関数（ＯＴＦ）が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更することが好ましい。

次に、本発明の画像変換方法を用いた撮像装置の具体的な実施の形態を、図面を用いて説明する。図１は本発明の実施例１の撮像装置の構成図である。被写体ＯＢを撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２において光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部（画像処理手段）１０４に入力される。画像処理部１０４で所定の処理と併せて前述した画像回復処理が行われる。

ぶれ補正が有効であるときには以下の処理が行われる。ぶれ補正制御部（画像ぶれ補正手段）１０６には撮像装置のぶれ（振動）を検出する角速度センサ（振動検出手段）１１２からの情報と防振レンズ群１０１ｂの位置を検出する位置検出部（位置検出手段）１１１からの情報が入力される。ぶれ補正制御部（画像ぶれ補正手段）１０６は、これらの情報に基づいて計算された駆動量だけ、防振レンズ群１０１ｂを移動させる。撮像素子１０２で撮像され、Ａ／Ｄ変換器１０３を介して画像処理部１０４に入力される撮影画像は画像のぶれが補正された画像となる。

画像処理部１０４には、状態検知部１０７で得られた撮像光学系１０１に関するズーム位置、絞り径、フォーカスレンズ位置等の撮影情報が入力される。さらに、ぶれ補正が有効であるときは、位置検出部１１１により検出された防振レンズ群１０１ｂの位置情報がぶれ補正制御部１０６から状態検知部１０７を介して画像処理部１０４に入力される。ぶれ補正が無効であるときは、状態検知部１０７から得られる撮影情報に基づいて記憶部１０８に予め記憶されている画像回復フィルタが選択され、画像処理部１０４に入力される。ここで、撮影情報とは、撮影光学系１０１のズーム位置、絞り径、フォーカス位置等の撮影条件に関する情報をいう。

一方、ぶれ補正が有効であるときは、状態検知部１０７から得られる撮影情報に加えて、位置検出部１１１から得られる防振レンズ群１０１ｂの位置情報に基づいて、記憶部１０８に予め記憶されている画像回復フィルタが選択される。そして画像処理部１０４に入力される。画像処理部１０４では、撮像素子１０２で得られた撮影画像に対し、記憶部１０８から入力された画像回復フィルタを用いて前述した画像回復処理が行われる。

本実施例においては、画像ぶれ補正手段によって防振レンズ群１０１ｂを移動させる構成としたが、撮像光学系１０１の全体を移動させても良い。また、撮影光学系１０１が交換レンズである場合には、撮影光学系１０１が備える記憶部に記憶された画像回復フィルタを画像回復処理に利用することができる。

図２は、本実施例の画像変換方法に関するフローチャートである。最初の工程では、撮像素子１０２から画像を取得する（画像取得工程）。次に、状態検知部１０７から撮影情報を取得する（撮影情報取得工程）。次に、防振システムが有効であるか無効であるかを判別する。防振システムが無効であるとき、すなわち防振レンズ群１０１ｂと撮像素子１０２が同一の軸上にあって、互いに偏心していないときは、上記の撮影情報に基づいて画像回復フィルタが選択される（フィルタ選択工程）。一方、防振動作が有効であるとき、すなわち防振レンズ群１０１ｂが撮像素子１０２に対して互いに偏心しているときは、位置検出部１１１から取得した防振レンズ群１０１ｂの位置情報と撮影情報とに基づいて画像回復フィルタが選択される。（位置情報取得工程、フィルタ選択工程）。フィルタ選択工程においては、記憶部１０８に予め記憶された画像回復フィルタを選択する代わりに、予め記憶された複数の画像回復フィルタに所望の演算を施すことによって最適な画像回復フィルタを生成しても良い。最後に、フィルタ選択工程で選択または生成した画像回復フィルタを用いて画像回復処理が行なわれる（画像回復工程）。

図４は画像回復フィルタの説明図である。画像回復フィルタ４１のタップ数は撮像光学系１０１の収差量に応じて決定すれば良く、本実施例においては１１×１１タップの２次元フィルタを用いて説明する。画像回復工程においては、画像回復フィルタの各タップが各画素に対してコンボリューション処理される。図４のように画像回復フィルタ４１を１００以上の面積に分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、倍率色収差等について画像回復することができる。また、このような実空間での画像回復フィルタ４１を入力画像に対してコンボリューション処理することで、撮像装置中でフーリエ変換を行うことなく画像を回復することができる。

図５は、図４の画像回復フィルタ４１の一方向における断面図である。この画像回復フィルタ４１は、撮像光学系１０１の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるためウィナーフィルターや関連する画像回復フィルタの作成方法を選択して用いることができる。さらに、光学伝達関数（ＯＴＦ）は撮像光学系１０１のみならず、画像処理部１０４に入力される画像に対して、光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。

例えば、ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタ４１を作成することが望ましい。また、画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。つまり、色成分ごとに異なる画像回復フィルタを用いることによって撮像光学系１０１の色収差を補正することができる。なお、本実施例においては画像回復フィルタ４１を正方配列しているが、タップの配列方法は正方配列である必要はなく、自由に設定することができる。

次に、選択された画像回復フィルタ４１を用いて、撮像された入力画像に対して、画像回復工程でコンボリューション処理を行う。これにより撮像光学系の収差による画像のぼけ成分を除去若しくは低減することができる。図１を用いて本実施例の撮像装置の光学防振システムについて説明する。撮像光学系１０１に含まれる防振レンズ群１０１ｂは、画像ぶれを補正するために撮像光学系１０１の光軸に対して垂直方向の成分を持つ方向に駆動可能となっている。角速度センサ（振動検出手段）１１２はジャイロ等を用い、撮像装置のぶれに関する情報を、例えば加速度、角加速度、角速度、角変位等の形で取得することができる。角速度センサ１１２の検出結果は、ぶれ補正制御部１０６で目標位置信号に置き換えられる。そして、位置検出部１１１から得られる防振レンズ群１０１ｂの位置信号と目標位置信号との差が小さくなるように、ぶれ補正制御部１０６（像ぶれ補正手段）によって防振レンズ群１０１ｂを移動させる。

図６は防振レンズ群１０１ｂを移動させたときに発生する偏心収差を示している。具体的には、最大移動量を１に正規化したときの防振レンズ群１０１ｂの移動量に対して、マイナス像高、中心、プラス像高の３点での像面上での点像分布関数ＰＳＦを示している。各点像分布関数ＰＳＦの縦軸は像高方向、横軸は像高方向に垂直な方向を示している。正規化した防振レンズ群１０１ｂの移動量が０のとき、すなわち防振レンズ群１０１ｂが全系の光軸上に位置しているとき、撮像光学系１０１の全体が光軸に対して回転対称であるとする。このとき点像分布関数ＰＳＦは光軸に対して回転対称になる。ところが、防振レンズ群１０１ｂが光軸に対して直交する方向に移動すると、光軸に対して非対称な点像分布関数ＰＳＦに変化する。

本実施例の画像回復フィルタは、記憶部１０８において、像高、ズーム位置、絞り径、フォーカスレンズ位置等の撮影条件と撮影時の露光時間中に変化する防振レンズ群１０１の光軸に対する位置をパラメータとした多次元マトリクス形式で保持されている。位置検出部１１１は任意に設定されるサンプリング時間巾で防振レンズ群１０１ｂの位置を検出する。

［実施例１］
実施例１では、撮影時の露光時間における防振レンズ群１０１ｂの平均位置を求めている。露光時間中に防振レンズ群１０１ｂの位置が図７で示すように変化した場合、撮影画像に対しては、防振レンズ群１０１ｂの平均位置に対応した光学性能に基づく画像回復フィルタを選択し、画像処理部１０４で画像回復処理を実行している。このような画像回復処理をすることで、撮像光学系１０１の偏心収差による画像の劣化を補正できるため、画像ぶれが補正された上で且つ良好な画質を得ることができる。本実施例において多次元マトリクスに用意すべき情報は、画像回復フィルタである。

本実施例によれば、光学防振システムにおける防振レンズ群１０１ｂについて、撮影時の露光時間について平均化された位置に対応した画像回復フィルタを用いて画像処理を行うことにより、偏心収差による画像の劣化を良好に補正することができる。

［実施例２］
実施例２では、露光時間内の防振レンズ群１０１ｂの各位置に対応した点像分布関数ＰＳＦを平均化する演算によって新たな点像分布関数ＰＳＦを求めている。新たな点像分布関数ＰＳＦに基づいて画像回復フィルタを生成し、撮影画像に対して画像回復処理を実行している。本実施例において多次元マトリクスに用意すべき情報は、点像分布関数ＰＳＦである。以上のように本実施例では、光学防振システムにおける防振レンズ群１０１ｂの各位置に対応する点像分布関数ＰＳＦを平均化して求められる点像分布関数に基づいて、防振画像回復フィルタを生成している。図３は実施例２のフローチャートである。以上の構成により実施例１と同様の効果を得ている。

［実施例３］
図８は本発明の実施例３の要部概略図である。１１１は撮像素子１０２の光軸方向の位置を検出する位置検出部であって、他の構成は図１と同じである。実施例３では、撮像素子１０２を光軸に対して垂直方向の成分を持つ方向に移動させることによって画像ぶれを補正している撮像素子防振システムである点で実施例１、２とは相違している。実施例１、２と同様の画像回復フィルタを適用した画像処理を行うことによって、撮像素子を移動させて画像ぶれを補正したときの画像の劣化を低減することができる。本発明の各実施例によれば、画像ぶれを補正したときに生ずる像性能の劣化を低減できる撮像装置および画像変換方法を提供することができる。なお、画像回復工程においては１画素ごとに処理することが望ましいが、高速化等の目的に応じて複数の画素からなる領域ごとに行っても良い。そして、画像処理部１０４で画像回復処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は偏心収差によるぼけが画像回復処理により先鋭化された画像である。

一連の制御はシステムコントローラ１１０で行われ、防振レンズ群１０１ｂまたは撮像素子１０２の機械的な駆動はシステムコントローラ１１０の指示により、ぶれ補正制御部１０６で行われる。絞り１０１ａは、Ｆナンバーの撮影状態の設定として開口径が制御される。フォーカスレンズ１０１ｃは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系１０１にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。しかしながら、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には画像回復フィルタに反映させることが好ましい。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各点像分布関数ＰＳＦ、特にＲチャンネルの点像分布関数ＰＳＦに影響するため、赤外カットフィルタの有無を画像回復フィルタに反映させることが好ましい。

また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、画像回復処理を像高に応じて設定された領域ごとに異ならせることが望ましい。つまり、画像回復フィルタを画像上をコンボリューション処理をしながら走査させるときに、領域によって画像回復フィルタを順次変更すれば良い。

以上、本発明の画像処理方法を有した撮像装置に関する実施例を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、撮像装置での使用に限るものではない。例えばＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。

１０１：撮像光学系、１０１ａ：絞り、１０１ｂ：防振レンズ群、１０１ｃ：フォーカスレンズ群、１０２：撮像素子、１０３：Ａ／Ｄコンバータ、１０４：画像処理部、１０５：表示部、１０６：撮像光学系制御部、１０７：状態検知部、１０８：記憶部、１０９：画像記録媒体、１１０：システムコントローラ、１１１：位置検出部、１１２：角速度センサ

Claims

撮像光学系と、
該撮像光学系によって形成される像を光電変換する撮像素子と、
前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、
該撮像装置の振動を検出する振動検出手段と、
該振動検出手段の検出結果に基づいて、前記撮像光学系の一部により構成される防振レンズ群を前記撮像素子に対して偏心させる画像ぶれ補正手段を有し、
前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴とする撮像装置。
前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数を平均化することにより求められる点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことを特徴とする請求項１に記載の撮像装置。
撮像光学系と、
該撮像光学系によって形成される像を光電変換する撮像素子と、
前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、
該撮像装置の振動を検出する振動検出手段と、
該振動検出手段の検出結果に基づいて、前記撮像光学系の一部により構成される防振レンズ群を前記撮像素子に対して偏心させる画像ぶれ補正手段を有し、
前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の各位置に基づいて計算される位置に対応する画像回復フィルタを用いて前記画像処理を行うことにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴とする撮像装置。
前記画像処理手段は、撮影時の露光時間中における前記防振レンズ群の平均位置に対応する画像回復フィルタを用いて前記画像処理を行うことを特徴とする請求項３に記載の撮像装置。
前記防振レンズ群の位置を検出する位置検出手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
撮像光学系と、
該撮像光学系によって形成される像を光電変換する撮像素子と、
前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、
該撮像装置の振動を検出する振動検出手段と、
該振動検出手段の検出結果に基づいて、前記撮像素子を前記撮像光学系に対して偏心させる画像ぶれ補正手段を有し、
前記画像処理手段は、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴とする撮像装置。
前記画像処理手段は、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数を平均化することにより求められる点像分布関数に基づいて生成される画像回復フィルタを用いて前記画像処理を行うことを特徴とする請求項６に記載の撮像装置。
撮像光学系と、
該撮像光学系によって形成される像を光電変換する撮像素子と、
前記撮像素子によって得られた撮影画像の画像処理を行う画像処理手段を有する撮像装置において、
該撮像装置の振動を検出する振動検出手段と、
該振動検出手段の検出結果に基づいて、前記撮像素子を前記撮像光学系に対して偏心させる画像ぶれ補正手段を有し、
前記画像処理手段は、撮影時の露光時間中における前記撮像素子の各位置に基づいて計算される位置に対応する画像回復フィルタを用いて前記画像処理を行うことにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴とする撮像装置。
前記画像処理手段は、撮影時の露光時間中における前記撮像素子の平均位置に対応する画像回復フィルタを用いて前記画像処理を行うことを特徴とする請求項８に記載の撮像装置。
前記撮像素子の位置を検出する位置検出手段を有することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、
該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の防振レンズ群の位置情報を取得する位置情報取得工程と、
前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、
前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数に基づいて生成され、
前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴とする画像変換方法。
前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の各位置に対応する複数の点像分布関数を平均化することにより求められる点像分布関数に基づいて生成されることを特徴とする請求項１１に記載の画像変換方法。
撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、
該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の防振レンズ群の位置情報を取得する位置情報取得工程と、
前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、
前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の各位置に基づいて計算される位置に対応しており、
前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記防振レンズ群を前記撮像素子に対して偏心させることにより発生する収差を低減することを特徴とする画像変換方法。
前記画像回復フィルタは、撮影時の露光時間中における前記防振レンズ群の平均位置に対応する画像回復フィルタであることを特徴とする請求項１３に記載の画像変換方法。
撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、
該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の前記撮像素子の位置情報を取得する位置情報取得工程と、
前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、
前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数に基づいて生成され、
前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴とする画像変換方法。
前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の各位置に対応する複数の点像分布関数を平均化することにより求められる点像分布関数に基づいて生成されることを特徴とする請求項１５に記載の画像変換方法。
撮像光学系および撮像素子を用いて撮影された画像を取得する画像取得工程と、
該画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の前記撮像素子の位置情報を取得する位置情報取得工程と、
前記撮影情報と前記位置情報に基づいて決定される画像回復フィルタを用いて、前記画像取得工程において取得した画像を処理する画像回復工程を有し、
前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の各位置に基づいて計算される位置に対応しており、
前記画像回復工程において、前記画像回復フィルタを用いて前記画像を処理することにより、前記撮像素子を前記撮像光学系に対して偏心させることにより発生する収差を低減することを特徴とする画像変換方法。
前記画像回復フィルタは、撮影時の露光時間中における前記撮像素子の平均位置に対応する画像回復フィルタであることを特徴とする請求項１７に記載の画像変換方法。