JP4469309B2 - 手ぶれ補正方法、手ぶれ補正装置、及び撮像装置 - Google Patents

Description

本発明は、手ぶれ補正方法に関し、さらに詳しくは、デジタルスチルカメラ及び携帯情報端末装置の手ぶれを補正する技術に関するものである。

近年、デジタルスチルカメラにおいて、高画素化と小型化が進んでいる。それに伴い、手ぶれによる画質への影響が大きくなってきている。そこでこの手ぶれを補正する方法として、レンズやＣＣＤをメカ的にシフトする方法があるが、この方法はコストアップの要因となり、手ぶれ補正のために新たな機構を設けるため小型化を妨げる要因となっている。
従来技術として特許文献１には、連続して複数枚の撮影を行い、各々の撮影画像に対応するデジタル画像データのずれベクトルを検出し、検出されたずれベクトルを基に少なくとも１つ以上の画像データについて補正することにより手ぶれ補正を行う方法が開示されている。
また他の従来技術として特許文献２、３、４には、連続して複数枚の撮影を行い、各々の撮影画像に対応するデジタル画像データのずれベクトルを検出し、検出されたずれベクトルを補正し、合成することにより手ぶれ補正を行う方法が開示されている。
また、特許文献５には、ぶれ軌跡データに基づきＰＳＦを生成し、手ぶれ補正を行う方法が開示されている。
特開２００２−２４７４４４公報 特開２００４−２６６６４８公報 特開２０００−３４１５７７公報 特開２００３−０８７６４７公報 特開平１１−１３４４８１号公報

しかしながら、特許文献１に開示されている従来技術では、画像取得時間を短くすることのみで手ぶれによる画質への影響を抑えているので、補正誤差を十分に抑えることができない。
また特許文献２〜４に開示されている従来技術では、各々の画像データに対して手ぶれを抑えることができない。
また特許文献５に開示されている従来技術では、ぶれ軌跡データを取得する必要があるため、小型化を妨げるといった問題があり、推定されたＰＳＦの誤差による影響を十分に抑えることができない。
本発明は、かかる課題に鑑み、ずれベクトルを基にＰＳＦを算出して補正することにより、手ぶれによる画質への影響をさらに低減し、且つコストアップを抑えて小型化を可能とした手ぶれ補正方法及びそれを利用した撮像装置及び携帯情報端末装置を提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、連続して撮影された複数枚の画像データを取得する取得手順と、該取得手順により取得された画像データから参照データとして検出する参照データ検出手順と、該参照データ検出手順により検出された参照データとその他の画像データとのずれベクトルを検出するずれベクトル検出手順と、該ずれベクトル検出手順により検出されたずれベクトルに基づいて点広がり関数を推定するＰＳＦ推定手順と、該ＰＳＦ推定手順により推定した点広がり関数により前記各画像データを補正する補正手順と、該補正手順により補正された画像データと前記参照データとを合成する合成手順と、備えたことを特徴とする。
本発明での手ぶれ補正手順は、取得手順により複数枚の画像データを取得し、参照データ検出手順により取得した画像データの中から最も手ぶれの少ない画像データを参照データとする。そして参照データと他の画像データとのずれベクトルをずれベクトル検出手順により検出し、ＰＳＦ推定手順により検出されたずれベクトルを基にＰＳＦ推定を行なう。次に補正手順により推定したＰＳＦにより画像データをそれぞれ補正する。最後に合成手順により参照データと補正された画像データを合成する。尚、ＰＳＦとは点広がり関数（Point Spread Function）であり、一点から出た光がどのように広がるかを表す関数である。
請求項２は、前記ずれベクトル検出手順は、取得された情報を基に手ぶれ補正処理に利用する画像データを選択することを特徴とする。
請求項３は、前記ずれベクトル検出手順は、前記取得手順により取得された対象の画像データと当該対象の画像データの直前に取得された画像データとのずれベクトルや相互相関度の最大値を基に手ぶれ補正処理に利用する画像データを選択することを特徴とする。
本発明のずれベクトル検出手順の計算方法としては、相互相関度等がある。相互相関度で検出する場合、参照データとその他の画像データとの相互相関度の最大値の位置の差をずれベクトルとする。対象の画像データとその前に取得された画像データとのずれベクトルや相互相関度の最大値を基に手ぶれ補正処理に利用する画像データを選択することを行うことにより、手ぶれの大きい画像による影響を抑えることができる。

請求項４は、前記参照データ検出手順は、前記取得手順により取得された画像データのうち、手ぶれが最も小さい画像データを参照データとして検出することを特徴とする。
取得された画像データから最も手ぶれが小さい画像データを参照データとすることが望ましい。このことにより、より精度良くずれベクトル検出が可能となる。
請求項５は、前記参照データ検出手順は、前記取得手順により取得された画像データのうち、最もコントラストが高い画像データを参照データとして検出することを特徴とする。
手ぶれが最も小さい画像データを検出する方法として、最もコントラストが高い画像データを最も手ぶれが小さい画像データとすることが挙げられる。その理由は、手ぶれが大きい画像データほどコントラストが下がると考えることができるためである。このことにより、より精度良くずれベクトル検出が可能となる。
請求項６は、前記ずれベクトル検出手順は、前記画像データに含まれる一部の領域を対象としてずれベクトルを検出することを特徴とする。
ずれベクトル検出手順による検出範囲を限定することで高速化できるので、画像データに含まれる一部の領域を対象としてずれベクトルを検出するのが好ましい。
請求項７は、前記ずれベクトル検出手順および前記補正手順は、前記画像データを座標変換することを特徴とする。
画像データの座標変換を行うことにより、より精度良くずれベクトル検出がされ、より良いＰＳＦ推定が可能となる。画像データの手ぶれによる傾き変化に対して補正することができ、且つ超解像が実現できる可能性がある。

請求項８は、請求項１乃至７の何れか一項に記載の手ぶれ補正方法を備えたことを特徴とする。
本発明の手ぶれ補正方法を手ぶれ補正装置に備えることにより、装置の低コストや小型化が実現できる。
請求項９は、手ぶれ補正モードを設定した時に前記手ぶれ補正方法の処理を行うことを特徴とする。
本発明の手ぶれ補正装置は、通常モードの他に手ぶれ補正モードを備え、そのモードが設定されたときに手ぶれ補正方法の処理を行うものである。
請求項１０は、請求項８又は９に記載の手ぶれ補正装置を備えたことを特徴とする。
デジタルスチルカメラや携帯情報端末装置に本発明の手ぶれ補正装置を備えることにより、小型で低コストにも関わらず優れた手ぶれ補正を行うことができる。

請求項１の発明によれば、複数枚における１枚当たりの画像取得時間が短くなることにより手ぶれが１／ｎ倍になる。さらにずれベクトルを基にＰＳＦを推定することから、更に良く手ぶれを補正することができる。
請求項２、３の発明によれば、手ぶれの大きい画像データによる影響を抑えることができ、更に良く手ぶれを補正することができる。
請求項４、５の発明によれば、ずれベクトル検出精度を向上させることにより、更に良く手ぶれを補正することができる。
請求項６の発明によれば、検出領域を一部にすることにより、より速い補正を行うことができる。
請求項７の発明によれば、より精度良くずれベクトル検出がされることや傾き成分を補正することにより、更に良く手ぶれを補正することができ、且つ超解像が実現できる可能性がある。
請求項８、９の発明によれば、手ぶれ補正装置において、更に良く手ぶれを補正することができ、且つ低コスト化や小型化も実現できると共に、手ぶれ補正処理を行うか否かを選択することができる。
請求項１０の発明によれば、手ぶれ補正装置を有するデジタルスチルカメラまたは携帯情報端末装置において、更に良く手ぶれを補正することや低コスト化や小型化が実現できる。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
まず、本発明の手ぶれ補正方法に用いるＰＳＦについて以下に説明する。
ｆ(x、y)を理想画像データ、ｇ(x、y)を取得された画像データとしたとき、

の関係があるとする。ここで、ｈ(x、y、x’、y’)はＰＳＦ、ｎ(x、y)はランダムノイズである。ＰＳＦとは点広がり関数（Point Spread Function）であり、一点から出た光がどのように広がるかを表す。ここで、ＰＳＦが場所に依存しないと考えると、

となる。手ぶれは、シフトによる影響が大きいと考えられ、場所への依存度が小さいと言える。
本発明は、連続して撮影された複数枚の画像データを取得し、取得された画像データのうちの１枚を参照データとして検出し、参照データとその他の画像データとのずれベクトルを検出し、検出されたずれベクトルを基にＰＳＦを推定し、推定したＰＳＦにより画像データ各々を補正し、参照データと補正された画像データを合成することにより手ぶれを補正する方法である。

従来の特許文献２、３、４では、画像データ各々に対しての手ぶれを抑えることができない。しかし、本発明による手ぶれ補正方法ではＰＳＦを推定し画像データ各々に対して補正を行うため、手ぶれによる影響を抑えることができる。また、合成することにより推定したＰＳＦの誤差による影響を抑えることができると考えられる。
図１は画像１枚からのＰＳＦ推定と本発明による手ぶれ補正方法でのＰＳＦ推定による違いを示す図である。図１（ａ）は画像１枚からのＰＳＦ推定による図であり、画像１枚からのＰＳＦ推定では複雑であるため、推定が困難である。しかし、本発明による手ぶれ補正方法では複数枚取得した画像データ各々でＰＳＦを推定するため、図１の矢印１における範囲のＰＳＦを推定すれば良い。そのため、手ぶれが小さいので推定が容易である。また、ずれベクトルによりＰＳＦを推定するので、新たに機構を設ける必要はない。

図２は本発明による手ぶれ補正方法の手順の一例を示すフローチャートである。本発明の手ぶれ補正方法は、連続して撮影された複数枚の画像データを取得する取得手順と、この取得手段により取得された画像データのうちの１枚を参照データとして検出する参照データ検出手順と、この参照データ検出手順により検出された参照データとその他の画像データとのずれベクトルを検出するずれベクトル検出手順と、このずれベクトル検出手順により検出されたずれベクトルに基づいて点広がり関数を推定するＰＳＦ推定手順と、ＰＳＦ推定手順により推定した点広がり関数により各画像データを補正する補正手順と、この補正手順により補正された画像データと参照データとを合成する合成手順と、備えて構成される。
まず取得手順では、連続して撮影された複数枚の画像データを取得する（Ｓ１）。ｎ枚撮影する場合は１枚撮影する時と比べ、画像取得時間を１／ｎ倍、感度をｎ倍にする。そのため、複数枚における１枚の手ぶれは１／ｎ倍、ノイズはｎ倍となる。
次に参照データ検出手順では、取得された画像データから最も手ぶれが小さい画像データを参照データとして検出する（Ｓ２）。その方法として、最もコントラストが高い画像データを最も手ぶれが小さい画像データとすることが挙げられる。即ち、手ぶれが大きい画像データほどコントラストが下がると考えることができるためである。このことにより、より精度良くずれベクトル検出が可能となる。また、コントラストを基に手ぶれ補正処理に利用する画像データを選択することを行うことにより、手ぶれの大きい画像による影響を抑えることができる。
次にずれベクトル検出手順では、参照データとその他の画像データとのずれベクトルを検出する（Ｓ３）。計算方法としては、相互相関度等がある。相互相関度で検出する場合、参照データとその他の画像データとの相互相関度の最大値の位置の差をずれベクトルとする。対象の画像データとその前に取得された画像データとのずれベクトルや相互相関度の最大値を基に手ぶれ補正処理に利用する画像データを選択することを行うことにより、手ぶれの大きい画像による影響を抑えることができる。また、検出範囲を限定することで高速化できる。

次にＰＳＦ推定手順では、検出されたずれベクトルを基にＰＳＦを推定する（Ｓ４）。例えば、画像取得間隔を０として、画像取得時間が十分に短く、手ぶれを等速で線形であると仮定できるならば、図３に示す方法でＰＳＦを推定することができる。即ち図３により、

は求めたい対象の前に撮影された軌跡と参照データからのずれベクトルで、

は求めたい対象の軌跡と参照データからのずれベクトルである。検出される参照データからのずれベクトルは軌跡の中心であると考えられることから、求めたい対象の軌跡は、

・・・・・・（１）
となる。このように求めた軌跡よりＰＳＦを算出する。他にも、ずれベクトルを基にＰＳＦを推定するすべての方法が適用可能である。
次にずれベクトル補正手順では、推定したＰＳＦにより画像データ各々を補正する（Ｓ５）。例えば、推定したＰＳＦにより画像データ各々を擬似ウィナーフィルタで補正することを行う。擬似ウィナーフィルタの式は以下で与えられる。

・・・・・・（２）

は推定したＰＳＦの空間周波数、

は推定したＰＳＦの空間周波数の複素共役、

は定数である。式（２）と画像データの空間周波数の積をフーリエ変換すると補正される。他にも、推定したＰＳＦで補正されるすべての方法が適用可能である。
最後に合成手順では、参照データと補正された画像データを合成する（Ｓ６）。合成する方法として、平均化処理が挙げられる。合成することにより、ＰＳＦ推定誤差による影響を抑えることができる。
以上のように画像データの座標変換を行うことにより、より精度良くずれベクトル検出がされ、より良いＰＳＦ推定が可能となる。画像データの手ぶれによる傾き変化に対して補正することや、超解像も期待できる。また、カラーの場合はＲＧＢそれぞれにおいて補正処理を行い、それらの情報を統合して手ぶれ補正を行うこともできる。

図４は本発明の一実施形態にかかる手ぶれ補正装置の一例を示す図である。この手ぶれ補正装置１００は、連続して撮影された複数枚の画像データを取得する撮像装置１０と、撮像装置１０により取得された画像データを一旦蓄積するバッファメモリ１４と、画像データのうちの１枚を参照データとして検出する参照データ検出器１１と、参照データ検出器１１により検出された参照データとその他の画像データとのずれベクトルを検出するずれベクトル検出器１２と、ずれベクトル検出器１２により検出されたずれベクトルに基づいて点広がり関数を推定するＰＳＦ推定器１３と、ＰＳＦ推定器１３により推定した点広がり関数により各画像データを補正する補正器１５と、補正器１５により補正された画像データと参照データとを合成する合成器１６と、その合成画像を記憶するメモリ１７とを備えて構成される。
図５は、手ぶれ補正装置を有するデジタルスチルカメラの一例である。図５（Ａ）は正面図であり、図５（Ｂ）は背面図である。このデジタルスチルカメラ１１０は、カメラ本体５０と、レンズ５１、被写体を覗くファインダ５２と、被写体を閃光するフラッシュ５３と、シャッタボタン５４と、電源スイッチ５５と、手ぶれ補正処理選択ボタン５６と、ＬＣＤ等のディスプレイ５７と、メニュー選択ボタン５８と、画像を記憶するメモリを挿入するメモリスロット５９とを備えて構成される。尚、デジタルスチルカメラの動作については公知であるので、ここでは説明を省略する。

図６は本発明のずれベクトル検出手順から補正手順までの一実施例を示す図である。ｒ’、ｄ’は求めたい対象の前に撮影された軌跡と参照データからのずれベクトルで、ｒ、ｄは求めたい対象の軌跡と参照データからのずれベクトルである。
理想の画像データ（ａ）と参照画像データ（ｂ）と対象の前に撮影された画像データ（ｃ）と対象の画像データ（ｄ）が図のような状況であった場合、参照画像データ（ｂ）と対象の前に撮影された画像データ（ｃ）の相互相関度の最大値は１行３列目（符号２０）であり、参照画像データ（ｂ）と対象の画像データ（ｄ）の相互相関度の最大値は２行３列目（符号２１）であることから、参照データからのずれベクトルｄ’、ｄが求まる。対象の前に撮影された画像データ（ｃ）のＰＳＦと参照画像データ（ｂ）からのずれベクトルｄ’、ｄから、漸化式的に求めたい対象の軌跡ｒが求められる。軌跡ｒと相互相関度の分布等から、ＰＳＦを推定し、対象の画像データを補正する。この実施例では、補正された画像データ（ｇ）は理想の画像データ（ａ）となっている。合成することにより、ＰＳＦ推定誤差やノイズ等の影響を抑制することが可能となる。

画像１枚からのＰＳＦ推定と本発明による手ぶれ補正方法でのＰＳＦ推定による違いを示す図である。 本発明による手ぶれ補正方法の手順の一例を示すフローチャートである。 本発明のＰＳＦ推定する方法を説明する図である。 本発明の一実施形態にかかる手ぶれ補正装置の一例を示す図である。 手ぶれ補正装置を有するデジタルスチルカメラの一例を示す図である。 本発明のずれベクトル検出手順から補正手順までの一実施例を説明する図である。

符号の説明

１０ 撮像装置、１１ 参照データ検出器、１２ ベクトル検出器、１３ ＰＳＦ推定器、１４ バッファメモリ、１５ 補正器、１６ 合成器、１７ メモリ、５０ カメラ本体、５１ レンズ、５２ ファインダ、５３ フラッシュ、５４ シャッタボタン、５５ 電源スイッチ、５６ 手ぶれ補正処理選択ボタン、５７ ディスプレイ、５８ メニュー選択ボタン、５９ メモリスロット、１００ 手ぶれ補正装置、１１０ デジタルスチルカメラ

Claims (10)

1. 連続して撮影された複数枚の画像データを取得する取得手順と、該取得手順により取得された画像データから参照データとして検出する参照データ検出手順と、該参照データ検出手順により検出された参照データとその他の画像データとのずれベクトルを検出するずれベクトル検出手順と、該ずれベクトル検出手順により検出されたずれベクトルに基づいて点広がり関数を推定するＰＳＦ推定手順と、該ＰＳＦ推定手順により推定した点広がり関数により前記各画像データを補正する補正手順と、該補正手順により補正された画像データと前記参照データとを合成する合成手順と、備えたことを特徴とする手ぶれ補正方法。
2. 前記ずれベクトル検出手順は、取得された情報を基に手ぶれ補正処理に利用する画像データを選択することを特徴とする請求項１に記載の手ぶれ補正方法。
3. 前記ずれベクトル検出手順は、前記取得手順により取得された対象の画像データと当該対象の画像データの直前に取得された画像データとのずれベクトルや相互相関度の最大値を基に手ぶれ補正処理に利用する画像データを選択することを特徴とする請求項２に記載の手ぶれ補正方法。
4. 前記参照データ検出手順は、前記取得手順により取得された画像データのうち、手ぶれが最も小さい画像データを参照データとして検出することを特徴とする請求項１、２又は３に記載の手ぶれ補正方法。
5. 前記参照データ検出手順は、前記取得手順により取得された画像データのうち、最もコントラストが高い画像データを参照データとして検出することを特徴とする請求項４に記載の手ぶれ補正方法。
6. 前記ずれベクトル検出手順は、前記画像データに含まれる一部の領域を対象としてずれベクトルを検出することを特徴とする請求項１乃至５の何れか一項に記載の手ぶれ補正方法。
7. 前記ずれベクトル検出手順および前記補正手順は，前記画像データを座標変換することを特徴とする請求項１乃至６の何れか一項に記載の手ぶれ補正方法。
8. 請求項１乃至７の何れか一項に記載の手ぶれ補正方法を備えたことを特徴とする手ぶれ補正装置。
9. 手ぶれ補正モードを設定した時に前記手ぶれ補正方法の処理を行うことを特徴とする請求項８に記載の手ぶれ補正装置。
10. 請求項８又は９に記載の手ぶれ補正装置を備えたことを特徴とする撮像装置。

Images