JP4052348B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、撮像時の手ぶれや撮像系自体が動いたことによるぶれ等の影響を低減する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。本発明は、例えば、携帯電話装置やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の情報端末装置に搭載される撮像装置や、デジタルスチルカメラ、デジタルムービーカメラ等に適応可能である。

従来より、銀塩フィルムカメラやデジタルスチルカメラを手で持って被写体を撮影すると、手ぶれなどによりカメラが振れ、撮像画像が手ぶれ方向に流れた劣化を受ける現象が知られている。

このような、ぶれによる画像劣化を補正するために、光学系を駆動して撮像を行い、ぶれを低減する方法や、算出した手ぶれ量を用いて画像処理を行い、ぶれを低減する方法が提案されている。

例えば特許文献１には、画像処理により手ぶれを補正する手ぶれ補正装置について記載されている。特許文献１に記載の手ぶれ補正装置は、まず、画像データを構成するブロック毎に動きベクトルを求める。次に、各ブロックの動きベクトル中、所定数以上の動きベクトルが同様の方向、大きさの場合、画面全体が動いたと判断して、この動きベクトルを画面全体の動きベクトルとする。そして、画面全体の動きベクトルを用いて画像データの切り出し位置を変え、ぶれ補正画像データとして出力する。

特開平９−２６１５３０号公報（段落００３４−００３６、図１）

しかし、従来の手ぶれ補正装置では、各ブロックの動きベクトルの検出精度は考慮されていない。したがって、画面全体の動きベクトルを求める際に信頼性の低い動きベクトルを用いる場合があり、その結果、画面全体の動きベクトルを正しく求めることができない場合がある。

本発明は上記のような課題を解消するためになされたものであり、精度の高いぶれ補正処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、入力画像データを構成する領域毎に、前記入力画像データよりも時間的に前にある前画像データ内の参照領域の画像データと前記入力画像データの領域の画像データに基づいて求めた動きベクトルと、前記動きベクトル毎の信頼性を示す信頼性指標とを出力する第１の動きベクトル出力部と、前記領域毎の信頼性指標を該当する領域の動きベクトルに乗ずることにより重み付けを行い、前記領域毎の重み付けされた動きベクトルの平均を前記入力画像データの動きベクトルとして出力する第２の動きベクトル出力部と、前記入力画像データの動きベクトルに基づいて、前記入力画像データを画像処理する画像データ処理部とを備える。

本発明によれば、精度の高いぶれ補正処理を行うことができる。

この発明の実施の形態１に係る画像処理装置の構成を示す図である。 各ブロックの動きベクトルが検出された状態を示す図である。 動きベクトルが検出された場合のＳＡＤを示す図である。 この発明の実施の形態１における各ブロックの動きベクトル、ＳＡＤの最小値、信頼性指標を示す図である。 この発明の実施の形態１における画像処理を説明する図である。

符号の説明

１ 画像データ処理部、 ２ フレームメモリ、 ３ 第１の動きベクトル出力部、 ４ 第２の動きベクトル出力部、 ５ ぶれ判定部、 ８ 画像データ、 ９ ブロック、 １０ 各ブロックの動きベクトル、 １１ 最も左上のブロック、 １２ 最も右下のブロック、 １００ 画像処理装置、 １０１ 撮像素子、 １０２ 表示素子。

実施の形態１．
以下、この発明をその実施の形態を示す図に基づいて詳細に説明する。実施の形態１に係る画像処理装置１００は、画像データを構成する領域（以下、「ブロック」と記す。）毎に動きベクトルと、この動きベクトルの信頼性を示す信頼性指標とを検出し、検出された動きベクトルと信頼性指標に基づいて画像データ全体の動きベクトルを求める。

＜画像処理装置の構成＞
図１は、実施の形態１に係る画像処理装置１００の構成を示すブロック図である。図１において、実線矢印は画像データを、破線矢印は画像データ以外のデータをそれぞれ示している。

まず、ビデオカメラなどの撮像素子１０１から出力される画像データ（以下、「入力画像データ」と記す。）は、画像データ処理部１、フレームメモリ２、第１の動きベクトル出力部３に入力される。画像データ処理部１は、入力画像データの画像処理し、ぶれ補正画像データとして表示素子１０２等へ出力する。なお、図１では、ぶれ補正画像データを表示素子へ出力する例を示しているが、ハードディスクやＤＶＤ等の記録媒体に記録したり、通信手段により他の端末に送信してもよい。

フレームメモリ２は、撮像素子１０１から出力される入力画像データを蓄積する。第１の動きベクトル出力部３には、撮像素子１０１からの入力画像データと、フレームメモリ２に蓄積されている、入力画像データよりも時間的に前の画像データ（以下、「前画像データ」と記す。）が入力される。

第１の動きベクトル出力部３は、画像データを分割したブロック毎に動きベクトルを検出し、検出した各ブロックの動きベクトルを第２の動きベクトル出力部４に出力する。また、第１の動きベクトル出力部３は、各動きベクトルの信頼性を示す信頼性指標も検出し、検出した信頼性指標も第２の動きベクトル出力部４に出力する。

第２の動きベクトル出力部４は、第１の動きベクトル出力部３から出力された各ブロックの動きベクトルと信頼性指標から、入力画像データ全体の動きを示す動きベクトルを検出し、検出した動きベクトルをぶれ判定部５に出力する。

ぶれ判定部５は、第２の動きベクトル出力部４から出力された動きベクトルを解析し、この動きベクトルによって示される入力画像データの動きが、手ぶれ等のぶれによるものか否かを判定する。入力された動きベクトルがぶれによるものであると判定した場合、手ぶれ判定部５は、基準位置変更情報を画像データ処理部１に出力する。

画像データ処理部１は、ぶれ判定手部５から出力された基準位置変更情報に基づいて、ぶれ補正画像データとして表示素子１０２へ出力する画像データの基準位置を、撮像素子１０１から出力される入力画像データの基準位置から変更する。

＜第１の動きベクトル出力部＞
次に、画像処理装置１００を構成する各部の処理について、それぞれ詳細に説明する。まず、図２、図３、図４を用いて、第１の動きベクトル出力部３における動きベクトルと信頼性指標の検出処理について説明する。図２は、所定数（図では１２個）に分割された画像データの各ブロックにおける動きベクトルを示す図である。第１の動きベクトル出力部３は、入力画像データの各ブロックについて動きベクトル１０の検出を行う。なお、図２において、例えば、画像データ８の大きさは縦４８画素×横６４画素であり、ブロック９の大きさは縦１６画素×横１６画素である。

ここで、第１の動きベクトル出力部３における各ブロックの動きベクトル１０の検出処理について説明する。まず、フレームメモリ２に蓄積されている前画像データから、前画像データを構成する各ブロックの画像データを取得する。ここで、前画像データ内のブロックを「参照ブロック」と呼ぶ。さらに、入力画像データから、前記参照ブロックと同じ位置にあるブロックの画像データを取得する。これを「入力ブロック」と呼ぶ。そして、入力ブロックに対する参照ブロックの位置を上下左右に移動させながら、画像データの差分絶対値和（Ｓｕｍｍａｔｉｏｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を算出する。入力ブロックに対する参照ブロックの位置を（ｘ、ｙ）で表される量、移動したときのＳＡＤであるＳＡＤ（ｘ，ｙ）は、以下のように計算される。

なお、参照ブロックの移動量は１画素単位、あるいは複数画素単位のいずれでもよい。

図３にＳＡＤを示す。図３では、（ｘｍｉｎ、ｙｍｉｎ）のときにＳＡＤが最小値であるｓａｄｍｉｎの値を持つことを示している。ここで、ＳＡＤの値が小さいということは、参照ブロックの画像データと入力ブロックの画像データが非常に近似していることを示す。また、（ｘｍｉｎ、ｙｍｉｎ）のときにＳＡＤが最小値を取るということは、参照ブロックを（ｘｍｉｎ、ｙｍｉｎ）だけずらした時の画像データと、入力ブロックの画像データが最も近似していることを示している。したがって、図３に示す場合、第１の動きベクトル出力部３は、現在の入力ブロックの動きベクトルとして（ｘｍｉｎ、ｙｍｉｎ）を出力する。

第１の動きベクトル出力部３は、全てのブロックにおいて上記式数１の処理を行い、全てのブロックの動きベクトルを検出し、第２の動きベクトル出力部４に出力する。

次に、第１の動きベクトル出力部３における各ブロックの動きベクトルの信頼性指標の検出処理について説明する。

図４（ａ）は、実施の形態１における動きベクトル検出の様子を示しており、画像データ８、ブロック９、ブロック毎の動きベクトル１０は、上記で説明した図２と同じである。

ここで、各ブロックの中に示している数字は、図３において「ｓａｄｍｉｎ」として示されている値であり、動きベクトルを求めるときに得られた「ＳＡＤの最小値」である。例えば、図４（ａ）の最も左上のブロック１１では「ＳＡＤの最小値」として「１０」との値が示されており、最も右下のブロック１２では「ＳＡＤの最小値」として「５０」との値が示されている。

これは、入力ブロックであるブロック１１の画像データの値と、参照ブロックの画像データの値が近似していることを示している。すなわち、ブロック１１と参照ブロックの画像内容が近似していると考えることが可能である。

一方、入力ブロックであるブロック１２の画像データの値と、参照ブロックの画像データの値が比較的近似していないことを示している。すなわち、ブロック１２と参照ブロックの画像内容が、ブロック１１の場合と比較して近似していないと考えることが可能である。

つまり、ブロック１１の動きベクトル１０は、ブロック１２の動きベクトル１０よりも信頼性が高いことを示している。ここで、例えば、１００から「ＳＡＤの最小値」を引いた値を動きベクトルの信頼性を示すの信頼性指標とし、図４（ａ）に示した各ブロックの動きベクトル１０の信頼性指標を図４（ｂ）に示す。

図４（ｂ）に示すように、ブロック１１の動きベクトルの信頼性指標は「９０」であり、一方、ブロック１２の動きベクトルの信頼性指標は「５０」である。このように、第１の動きベクトル出力部３は、画像データを構成する各ブロックの動きベクトル１０と信頼性指標を検出し、第２の動きベクトル出力部４に出力する。

＜第２の動きベクトル出力部＞
次に、第１の動きベクトル出力部４における動きベクトルの検出処理について説明する。第２の動きベクトル出力部４は、第１の動きベクトル出力部３から出力されたブロック毎の動きベクトルと信頼性指標に基づいて、画像データ全体の動きベクトルを検出する。

第２の動きベクトル出力部４は、例えば、最も信頼性指標が高い動きベクトル１０を画像データ全体の動きベクトルとする。図４（ｂ）に示す場合、最も左上のブロックと最も左下のブロックの動きベクトルとの信頼性指標が最も高い値であり、かつ方向と大きさとも同じであるので、これら動きベクトル１０を画像データ８全体の動きベクトルとしてぶれ判定部５に出力する。

＜ぶれ判定部＞
ぶれ判定部５は、第２の動きベクトル出力部４から出力された動きベクトルを解析し、この動きベクトルが手ぶれ等のぶれによるものかどうかを判定する。例えば、第２の動きベクトル出力部４から出力された動きベクトルが一定時間同じ方向を向いていた場合、この動きが手ぶれではなくユーザが意図してカメラを動かしたために発生したものであると判断してもよい。また、第２の動きベクトル出力部４から出力された動きベクトルを一定時間観測した結果、画面の動きの周波数が一定の値以下のゆっくりしたものであった場合、この動きが手ぶれではなくユーザが意図してカメラを動かしたために発生したものであると判断してもよい。

入力された動きベクトルが手ぶれによるものであると判定した場合、手ぶれ判定部５は、基準位置変更情報を画像データ処理部１に出力する。入力された動きベクトルが手ぶれ以外によるものであると判定した場合、手ぶれ補正判定部５は、基準位置を変更しないという情報を画像データ処理部１に出力する。なお、基準位置を変更しないとの情報は出力しない構成としてもよい。

＜画像データ処理部＞
図６に、画像データ処理部１における画像処理を説明する図である。画像データ処理部１は、撮像素子１０１から出力される入力画像データ１３の基準位置を、基準位置変更情報に基づいて動きベクトル１５の方向に変更する。これにより、表示素子１０２に出力する画像データが、画像処理前の画像データ１６から画像処理後のぶれ補正画像データ１４となる。

すなわち、画像データ処理部１は、表示素子１０２に出力するぶれ補正画像データとして、撮像素子１０１から出力される入力画像データ１３の基準位置を中心とする画像データ１６から、画像データ全体の動きベクトル１５の方向に移動させたぶれ補正画像データ１４を出力する。

このように、本実施の形態１に係る画像処理装置１００によれば、各ブロックの動きベクトルから画像データ全体の動きベクトルを検出する際に、各動きベクトルの信頼性指標を参照するため、精度良く画像データ全体の動きベクトルを検出することができる。したがって、ぶれ補正処理を精度良く行うことができる。

なお、上記では、動きベクトルの信頼性指標として「ＳＡＤの最小値」を利用する方法について説明したが、これに限ることなく、動きベクトルの信頼性を示すものであればどのようなものでもよい。

例えば、図４（ａ）におけるブロック１１の動きベクトルは、周囲のブロックの動きベクトルと同じような方向を示しているため、信頼性が高いと考えられる。一方、ブロック１２の動きベクトルは、周囲のブロックの動きベクトルとは全く異なるため、信頼性が低いと思われる。このように、周囲のブロックの動きベクトルとの近似性を信頼性の指標として出力しても良い。

また、上記では、信頼性指標が最も高い動きベクトルから画像データ全体の動きベクトルを求める方法について説明したが、これに限られるものではない。例えば、信頼性指標が高い順番に動きベクトルに並べ、そのうちの上位の所定数の動きベクトルを用いてもよい。また、信頼性指標が所定値以上の動きベクトルを用いてもよい。

また、動きベクトルの信頼性指標を用いて動きベクトルに重み付けを行い、その後、重み付けされた動きベクトルの平均化処理を行う方法を用いてもよい。例えば、図４（ｂ）のブロック１１とブロック１２だけが全体の画像データとする。そして、ブロック１１の動きベクトルが（２、３）、ブロック１２の動きベクトルが（−１、−２）の方向を示しているとする。この場合、ブロック１１の動きベクトルの信頼性指標が「９０」、ブロック１２の動きベクトルの信頼性指標が「５０」であるので、（９０×（２、３）＋５０×（−１、−２））／（９０＋５０）＝（１３０、１７０）／１４０＝（０．９２９、１．２１４）となり、画像データ全体の動きベクトルは約（１、１）となる。

さらに他の方法として、動きベクトルの信頼性指標を「動きベクトルの出現頻度」として動きベクトルに重み付けを行う方法を用いてもよい。例えば、図４（ｂ）において、ブロック１１の動きベクトルの出現頻度を「９０」、ブロック１２の動きベクトル出現頻度を「５０」と考える。その他のブロックの出現頻度（信頼性指標）も確認し、同じベクトル毎に出現頻度の和をとる。そして、出現頻度の和が最も高いベクトルを画像データ全体の動きベクトルとする。

さらに、信頼性指標が一定の値よりも大きな値を持つブロックのみを抽出し、これらに対してのみ「重み付けされた動きベクトルの平均化処理」や「動きベクトルの出現頻度の和が最も高いベクトルの抽出処理」を行ってもよい。

また、構成として画像処理装置１００に撮像素子１０１と表示素子１０２を含めたが、これらが画像処理装置の外部にある構成としてもよい。さらに、フレームメモリ２が画像処理装置の外部にある構成としてもよい。

また、ＳＡＤの算出に用いる画像データは、画素毎の輝度信号、色差信号、ＲＧＢ信号等の画素データ、またはこれらの組合わせでもよい。

また、ブロック内のすべての画素の画素データを用いる場合に限らず、単数、あるいは複数の代表画素の画素データを用いてもよい。

また、ぶれ判定部５を経由することなく、第２の動きベクトル出力部４から出力された動きベクトルを画像データ処理部１に直接出力する構成としてもよい。

さらに、フレームメモリに蓄積される画像データや、撮像素子から出力される入力画像データはフレーム単位、ＶＯＰ単位であってもよい。また、複数のフレームあるいはＶＯＰを蓄積可能なフレームメモリを用意し、「参照ブロック」が入力画像データよりも時間的に前の画像データだけでなく、入力画像データよりも時間的に後の画像データにあるとしてもよい。また、両画像データを参照して動きベクトルを求めてもよい。

Claims (12)

1. 入力画像データを構成する領域毎に、前記入力画像データよりも時間的に前にある前画像データ内の参照領域の画像データと前記入力画像データの領域の画像データに基づいて求めた動きベクトルと、前記動きベクトル毎の信頼性を示す信頼性指標とを出力する第１の動きベクトル出力部と、
   前記領域毎の信頼性指標を該当する領域の動きベクトルに乗ずることにより重み付けを行い、前記領域毎の重み付けされた動きベクトルの平均を前記入力画像データの動きベクトルとして出力する第２の動きベクトル出力部と、
   前記入力画像データの動きベクトルに基づいて、前記入力画像データを画像処理する画像データ処理部と
   を備えたことを特徴とする画像処理装置。
2. 入力画像データを構成する領域毎に、前記入力画像データよりも時間的に前にある前画像データ内の参照領域の画像データと前記入力画像データの領域の画像データに基づいて求めた動きベクトルと、前記動きベクトル毎の信頼性を示す信頼性指標とを出力する第１の動きベクトル出力部と、
   前記信頼性指標を前記動きベクトルの出現頻度として、前記入力画像データを構成する全ての領域において動きベクトル毎に出現頻度を積算し、最も出現頻度の高い動きベクトルを前記入力画像データの動きベクトルとして出力する第２の動きベクトル出力部と、
   前記入力画像データの動きベクトルに基づいて、前記入力画像データを画像処理する画像データ処理部と
   を備えたことを特徴とする画像処理装置。
3. 前記第２の動きベクトル出力部は、信頼性指標が一定の値よりも大きな値を持つ領域のみを抽出し、前記領域毎の信頼性指標を該当する領域の動きベクトルに乗ずることにより重み付けを行い、前記領域毎の重み付けされた動きベクトルの平均を前記入力画像データの動きベクトルとして出力すること
   を特徴とする請求項１に記載の画像処理装置。
4. 前記第２の動きベクトル出力部は、信頼性指標が一定の値よりも大きな値を持つ領域のみを抽出し、前記信頼性指標を前記動きベクトルの出現頻度として、前記入力画像データを構成する全ての領域において動きベクトル毎に出現頻度を積算し、最も出現頻度の高い動きベクトルを前記入力画像データの動きベクトルとして出力すること
   を特徴とする請求項２に記載の画像処理装置。
5. 前記信頼性指標は、
   前記参照領域を構成する画素の画素データと、前記動きベクトルに対応する領域を構成する画素の画素データとの絶対値差分の総和であること
   を特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記入力画像データの動きベクトルに基づいて、前記入力画像データにおけるぶれの発生を判定するぶれ判定部を更に備え、
   前記ぶれ判定部は、前記入力画像データにぶれが発生していると判定した場合、前記入力画像データの動きベクトルに基づく基準位置変更情報を出力し、
   前記画像データ処理部は、前記基準位置変更情報に基づいて前記入力画像データを画像処理すること
   を特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 入力画像データを構成する領域毎に、前記入力画像データよりも時間的に前にある前画像データ内の参照領域の画像データと前記入力画像データの領域の画像データに基づいて求めた動きベクトルと、前記動きベクトル毎の信頼性を示す信頼性指標とを出力する第１の動きベクトル出力ステップと、
   前記領域毎の信頼性指標を該当する領域の動きベクトルに乗ずることにより重み付けを行い、前記領域毎の重み付けされた動きベクトルの平均を前記入力画像データの動きベクトルとして出力する第２の動きベクトル出力ステップと、
   前記入力画像データの動きベクトルに基づいて、前記入力画像データを画像処理する画 像データ処理ステップと
   を備えたことを特徴とする画像処理方法。
8. 入力画像データを構成する領域毎に、前記入力画像データよりも時間的に前にある前画像データ内の参照領域の画像データと前記入力画像データの領域の画像データに基づいて求めた動きベクトルと、前記動きベクトル毎の信頼性を示す信頼性指標とを出力する第１の動きベクトル出力ステップと、
   前記信頼性指標を前記動きベクトルの出現頻度として、前記入力画像データを構成する全ての領域において動きベクトル毎に出現頻度を積算し、最も出現頻度の高い動きベクトルを前記入力画像データの動きベクトルとして出力する第２の動きベクトル出力ステップと、
   前記入力画像データの動きベクトルに基づいて、前記入力画像データを画像処理する画像データ処理ステップと
   を備えたことを特徴とする画像処理方法。
9. 前記第２の動きベクトル出力ステップは、信頼性指標が一定の値よりも大きな値を持つ領域のみを抽出し、前記領域毎の信頼性指標を該当する領域の動きベクトルに乗ずることにより重み付けを行い、前記領域毎の重み付けされた動きベクトルの平均を前記入力画像データの動きベクトルとして出力すること
   を特徴とする請求項７に記載の画像処理方法。
10. 前記第２の動きベクトル出力ステップは、信頼性指標が一定の値よりも大きな値を持つ領域のみを抽出し、前記信頼性指標を前記動きベクトルの出現頻度として、前記入力画像データを構成する全ての領域において動きベクトル毎に出現頻度を積算し、最も出現頻度の高い動きベクトルを前記入力画像データの動きベクトルとして出力すること
    を特徴とする請求項８に記載の画像処理方法。
11. 前記信頼性指標は、
    前記参照領域を構成する画素の画素データと、前記動きベクトルに対応する領域を構成する画素の画素データとの絶対値差分の総和であること
    を特徴とする請求項７から１０のいずれかに記載の画像処理方法。
12. 前記入力画像データの動きベクトルに基づいて、前記入力画像データにおけるぶれの発生を判定するぶれ判定ステップを更に備え、
    前記ぶれ判定ステップは、前記入力画像データにぶれが発生していると判定した場合、前記入力画像データの動きベクトルに基づく基準位置変更情報を出力し、
    前記画像データ処理ステップは、前記基準位置変更情報に基づいて前記入力画像データを画像処理すること
    を特徴とする請求項７から１１のいずれかに記載の画像処理方法。

Images