JP4919165B2 - 画像合成装置及びプログラム - Google Patents

Description

本発明は、画像合成装置及びプログラムに関し、たとえば、デジタルカメラ等の撮影装置において、夜景等の撮影感度の向上技術の一つとして用いられている連写画像合成に適用できる画像合成装置及びプログラムに関する。

ＣＣＤやＣＭＯＳ等の半導体撮像デバイスを用いたデジタルカメラ等の撮影装置は、カメラ自体で撮影感度（半導体撮像デバイスの撮影感度のこと。ＩＳＯ感度ともいう。）を変更することが可能であり、暗所での撮影性能に優れているとされているが、ＩＳＯ感度を高くし過ぎると、半導体撮像デバイスのノイズが増加して画質が低下するという弊害がある。

そこで、下記の特許文献１では、低速シャッタスピード（たとえば、１／６０秒）と高速シャッタスピード（たとえば、１／１０００秒）で２枚の画像を連写し、それらの画像を合成することにより、半導体撮像デバイスのダイナミックレンジを実質的に拡大することができる技術が記載されている。

この技術のポイントは、低速シャッタスピードで撮影した画像（以下、低速画像という。）は、黒レベルの再現性に優れた画像であり、一方、高速シャッタスピードで撮影した画像（以下、高速画像という。）は、その逆に、白レベルの再現性に優れた画像であり、言い換えれば、低速画像では明るい部分が白く飛んだ「白飛び」の画像になりやすく、一方、高速画像では暗い部分が黒くつぶれた「黒つぶれ」の画像になりやすいという欠点を持つが、これら二つの画像を合成することにより、両画像の欠点（白飛びと黒つぶれ）を相互に補い合って、白飛びと黒つぶれのないダイナミックレンジの広い画像を得ることができるというものである。

さて、この特許文献１の技術においては、その画像合成について、単に白飛び部分と黒つぶれ部分とを検出し、それらの部分に他方側の画像の該当部分を充当しているだけのものに過ぎず、たとえば、動きのある被写体や、撮影時に手振れがあった場合に、正確な画像合成を行うことが困難になるという欠点がある。

これに対して、下記の特許文献２では、静止画撮影で生じる手振れを防止するために、防振モードにおいては、短い露光時間で複数回露光を行い、これら露光された結果得られた画像から輝度の高い画素からなる特徴点を抽出し、動きベクトルを求め、これらのデータに基づいて座標変換を行い画像合成する技術が開示されている。

特許第３１１０７９７号 特開２００４−３５７２０２号公報

しかしながら、特許文献２の技術においては、特徴点の検出対象が輝度の高い領域となっているため、たとえば、連続的に撮影された画像の構図そのものが異なる場合であっても、特徴点が一致してしまう可能性があり、不適切な画像合成が行われてしまうという問題があった。

本発明はこのような問題点に鑑みてなされたものであり、連続的に撮影された画像間の一致／不一致を判定し、より精度の高い画像合成を行うことができるようにする画像合成装置及びプログラムを提供することにある。

請求項１記載の発明は、連続的に複数の画像データを取得する画像取得手段と、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段と、この分割手段によって分割された各エリアから、特徴量の多い第１の画素ブロックの位置を夫々選択する位置選択手段と、この位置選択手段によって選択された第１の画素ブロックの位置を基準にし、前記複数の画像データのうちの第２の画像データから、前記第１のブロックの位置に対応した第２の画素ブロックの位置をサーチする第１のサーチ手段と、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記基準画像データの所定範囲で前記第２の画素ブロックに対応する第３の画素ブロックが存在するか否かを判断する判断手段と、この判断手段により、前記第３の画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置に対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択する動きベクトル選択手段と、この動きベクトル選択手段によって選択された所定数の組の動きベクトルに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段とを備えることを特徴とする。
また、請求項２記載の発明は、請求項１記載の発明において、前記第１のサーチ手段は、前記第１の画素ブロックの画素値と前記第２の画像データにおける指定検索領域内の画素値との間の差分二乗和または差分絶対値和を演算することで、前記第１の画素ブロックに対応する前記第２の画素ブロックをサーチし、前記判断手段は、前記第２の画素ブロックの画素値と前記基準画像データにおける前記指定検索領域内の画素値との間の差分二乗和または差分絶対値和を演算することで、前記第３の画素ブロックが存在するか否かを判断することを特徴とする。

請求項３記載の発明は、上記請求項１又は２記載の発明において、撮像手段を更に備え、前記画像取得手段は、この撮像手段を連続的に駆動させて複数の画像データを取得することを特徴とする。

請求項４記載の発明は、コンピュータを、連続的に複数の画像データを取得する画像取得手段、この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段、この分割手段によって分割された各エリアから、特徴量の多い第１の画素ブロックの位置を夫々選択する位置選択手段、この位置選択手段によって選択された第１のブロックの位置を基準にし、前記複数の画像データのうちの第２の画像データから、前記第１のブロックの位置に対応した第２の画素ブロックの位置をサーチする第１のサーチ手段、この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記基準画像データの所定範囲で前記第２の画素ブロックに対応する第３の画素ブロックが存在するか否かを判断する第１の判断手段、この第１の判断手段により、前記第３の画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置に対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択する動きベクトル選択手段、この動きベクトル選択手段によって選択された所定数の組の動きベクトルに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段として機能させることを特徴とする。

本発明では、連続的に撮影された画像間の一致／不一致を判定し、より精度の高い画像合成を行うことができる。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る撮影装置の構成図である。この図において、撮影装置１は、撮影レンズや絞り機構等を含む光学系２、機械的に光軸を遮断し得るシャッタ機構３、光学系２とシャッタ機構３を通過した光を結像して電気的な画像信号に変換するＣＣＤ４、ＣＣＤ４の出力をアナログからデジタルに変換するＡ／Ｄ変換器５、Ａ／Ｄ変換器５の出力を一時的に保持するＤＲＡＭ６、ＤＲＡＭ６に保持されている画像信号を所定の表示形式に変換して液晶表示画面８に出力する液晶表示コントローラ７、液晶表示コントローラ７から出力された画像を表示する液晶表示画面８、液晶表示画面８に表示されている画像が所望の構図になったときにユーザによって操作されるシャッタボタン９、当該撮影装置１のモードを通常撮影モードや連写撮影モードにしたり、あるいはそれらのモードから撮影済み画像の再生モードにしたりその逆にしたり又は所定のシステム設定モード等にしたりするためのモードボタン１０、集積回路部１１、撮影済み画像を保存する外部記憶メモリＭを備える。

集積回路部１１は、シャッタ機構３を制御するシャッタ制御部１２、ＣＣＤ４やＡ／Ｄ変換器５を制御する受光制御部１３、ＤＲＡＭ６に保存されている画像信号をＹＵＶ信号（色信号）と輝度信号に変換するデモザイク部１４、連写撮影モードで撮影された２枚の画像の特徴量を演算する特徴量演算部１５、特徴量演算やブロックマッチング及び画像合成の際のワークメモリとして用いられるＳＲＡＭ１６、連写撮影モードで撮影された２枚の画像のブロックマッチングを行うブロックマッチング部１７、そのブロックマッチングの結果に基づいて２枚の画像の画像変形及び合成加算処理を行う画像変形合成加算部１８、当該集積回路部１１の全体動作を制御するＣＰＵコア１９を含む。

図２、図３は、本実施形態における画像合成処理の概略フローを示す図である。このフローでは、まず、ユーザがモードボタン１０を操作して連写撮影モードにし、液晶表示画面８の表示を見ながら所望の構図に調整した上、シャッタボタン９を操作して２枚の画像を連写（ステップＳ０）すると、それらの２枚の画像データがＣＣＤ４からＡ／Ｄ変換器５を介してＤＲＡＭに取り込まれ、デモザイク部１４によって、２枚の画像のＹＵＶデータと輝度データが作られる。次いで、２枚の画像のうちの一方の画像を「基準画像」、他方の画像を「被追跡画像」とする（ステップＳ１）。

次に、基準画像を複数のエリアに分割し、各エリアを構成する所定画素数（ここでは、１６×１６画素）のブロックから、特徴量の多いブロックを選択する（ステップＳ２）。

図４は、基準画像の構造図である。この図において、基準画像２０は、画像の上下左右の縁部２０ａ〜２０ｄを除く部分を等分割し、各々の分割部分をエリアとしている。ここでは、一例として４×３分割し、各々をエリアＥ０〜Ｅ１１としている。また、各エリアＥ０〜Ｅ１１をさらに等分割（ここでは、３×３分割）し、各々を１６×１６画素の集まりであるブロックＢ０〜Ｂ８としている。

再びフローに戻り、ステップＳ２で、基準画像のブロックから特徴量の多いブロックを選択すると、次に、選択された基準画像における特徴量の多いブロックと、そのブロックに対応する被追跡画像における指定検索領域内で差分二乗和（または差分絶対値和）を演算する（ステップＳ３）。

図５は、ステップＳ３の概念図であり、（ａ）は基準画像の選択ブロックＢｉ（ｉは１、２、３、・・・・）と被追跡画像２１のサーチエリア２２（指定検索領域）の関係を示す図、（ｂ）は、ステップＳ３の演算結果（差分二乗和または差分絶対値和）が最小となる、被追跡画像のサーチエリア２２（指定検索領域）の位置を示す図である。

（ｂ）のように、ステップＳ３の演算結果（差分二乗和または差分絶対値和）が最小となる位置が得られると、次に、当該位置での、被追跡画像の対応ブロックＢｉ（１６×１６画素）で、対応する基準画像ブロック側とその周辺を含む指定検索領域内２２で、差分二乗和（または差分絶対値和）を演算する（ステップＳ４）。

図６は、ステップＳ４の概念図であり、Ｂｉ´は被追跡画像の対応ブロック、２３は対応する基準画像ブロック側とその周辺を含む指定検索領域である。

そして、ステップＳ４の演算の結果、探索結果の動きベクトル群それぞれについて“０”もしくは一定値以内である動きベクトルを複数選択し、これらの動きベクトル群を元に、たとえば、ＲＡＮＳＡＣ法により、基準画像と被追跡画像の関係を表す射影変換行列を求め（ステップＳ６）、その変換行列を用いて、被追跡画像が基準画像と同じ位置関係になるように被追跡画像を変形し、変形された被追跡画像を基準画像に加算して合成画像を生成（ステップＳ７）した後、フローを終了する。

ここで、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）とは、パラメータ推定の一手法であり、少数の点から求めたパラメータ推定の候補に対して、多数の点の中からその推定に適合する点の数や適合の正確性の度合い、すなわち、サポート数を算出し、サポート数の多い推定候補を最終の推定結果として採用する方法のことであり、本実施の形態においては、このＲＡＮＳＡＣによる推定結果、すなわち、サポート率を勘案して被追跡画像を射影変換行列により変形させる。

以上のとおり、本実施形態では、所定の分割されたエリア内の、特徴量が高いブロックで、通常のテンプレートマッチングを行い、そして、一度マッチングした位置から、基準画像と被追跡画像の役割を逆転させ、被追跡画像のマッチング位置のブロックで、基準画像のブロック周辺部をマッチングさせ、役割を逆転させてもマッチングの位置変動が一定値以内であれば、マッチングが成功したとみなして、テンプレートマッチングのデータ信頼性を向上させるようにしたので、大きな手振れや被写体振れ、または、視差の影響（見る角度によって見えたり見えなかったりすること）で原理的に追跡が不可能な場合の追跡失敗を検出するだけでなく、輝度値が低い暗所における追跡においても認識誤りを防ぐことができ、輝度値の低い画像を精度良く合成することにより、撮影画像に発生するノイズを抑えることができる。

なお、以上の実施形態では、差分和値が最小となる位置が求まった後に、求まった位置の被追跡画像側のブロックで、基準画像側をサーチするとしたが、以下のように改良してもよい。

図７は、実施形態の改良例（第１の改良例）を示す図である。この図に示すように、差分和値が最小となる位置が求まった後に、基準画像側ブロックＢｉのブロックサイズを小さくしたブロックで、求まった位置を中心として小範囲（被追跡画像側の検索範囲）で検索し、マッチング位置がずれなければ、マッチング成功するとしてもよい。

または、以下のように改良してもよい。
図８は、第２の改良例を示す図であり、この図は既出の図２、図３に相当する図である。なお、この図におけるステップ番号（ステップＳ０〜ステップＳ７）は、図２、図３のものと同じである。図２、図３との相違点は、ステップＳ３の後に「夜景モード撮影？」の判定（ステップＳ８）が入っていることにあり、この判定結果が“ＹＥＳ”の場合にのみ、ステップＳ４〜ステップＳ５を実行する点にある。すなわち、強制的に射影変換・画像合成を行う夜景モードが選択された際にのみ前記実施形態のプロセス（ステップＳ４〜ステップＳ５）を実行する。このようにすることにより、特徴点の一致ミスによる像ブレの影響が少ない、綺麗な静止画像データを得ることができる。

図９は、第３の改良例を示す図であり、この図も既出の図２、図３に相当する図である。同様に、この図におけるステップ番号（ステップＳ０〜ステップＳ７）も、図２、図３のものと同じである。図２、図３との相違点は、ステップＳ３の後に「低コントラストの画像撮影？」の判定（ステップＳ９）が入っていることにあり、この判定結果が“ＹＥＳ”の場合にのみ、ステップＳ４〜ステップＳ５を実行する点にある。すなわち、撮影した画像全体のコントラストが低い（特徴量が出にくい）画像を撮影し、射影変換・画像合成を行う場合にのみ前記実施形態のプロセス（ステップＳ４〜ステップＳ５）を実行する。このようにすることにより、特徴点の一致ミスによる像ブレの影響が少ない、綺麗な静止画像データを得ることができる。

実施形態に係る撮影装置の構成図である。 本実施形態における画像合成処理の概略フローを示す図（１／２）である。 本実施形態における画像合成処理の概略フローを示す図（２／２）である。 基準画像の構造図である。 ステップＳ３の概念図である。 ステップＳ４の概念図である。 第１の改良例を示す図である。 第２の改良例を示す図である。 第３の改良例を示す図である。

符号の説明

１ 撮影装置
４ ＣＣＤ
１５ 特徴量演算部
１７ ブロックマッチング部
１８ 画像変形合成加算部
１９ ＣＰＵコア

Claims (4)

1. 連続的に複数の画像データを取得する画像取得手段と、
   この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段と、
   この分割手段によって分割された各エリアから、特徴量の多い第１の画素ブロックの位置を夫々選択する位置選択手段と、
   この位置選択手段によって選択された第１の画素ブロックの位置を基準にし、前記複数の画像データのうちの第２の画像データから、前記第１のブロックの位置に対応した第２の画素ブロックの位置をサーチする第１のサーチ手段と、
   この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記基準画像データの所定範囲で前記第２の画素ブロックに対応する第３の画素ブロックが存在するか否かを判断する判断手段と、
   この判断手段により、前記第３の画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置に対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択する動きベクトル選択手段と、
   この動きベクトル選択手段によって選択された所定数の組の動きベクトルに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段と
   を備えることを特徴とする画像合成装置。
2. 前記第１のサーチ手段は、前記第１の画素ブロックの画素値と前記第２の画像データにおける指定検索領域内の画素値との間の差分二乗和または差分絶対値和を演算することで、前記第１の画素ブロックに対応する前記第２の画素ブロックをサーチし、
   前記判断手段は、前記第２の画素ブロックの画素値と前記基準画像データにおける前記指定検索領域内の画素値との間の差分二乗和または差分絶対値和を演算することで、前記第３の画素ブロックが存在するか否かを判断することを特徴とする請求項１記載の画像合成装置。
3. 撮像手段を更に備え、
   前記画像取得手段は、この撮像手段を連続的に駆動させて複数の画像データを取得することを特徴とする請求項１又は２に記載の画像合成装置。
4. コンピュータを、
   連続的に複数の画像データを取得する画像取得手段、
   この画像取得手段によって連続的に取得された複数の画像データのうちの第１の画像データを基準画像データとして、この基準画像データを複数のエリアに分割する分割手段、
   この分割手段によって分割された各エリアから、特徴量の多い第１の画素ブロックの位置を夫々選択する位置選択手段、
   この位置選択手段によって選択された第１のブロックの位置を基準にし、前記複数の画像データのうちの第２の画像データから、前記第１のブロックの位置に対応した第２の画素ブロックの位置をサーチする第１のサーチ手段、
   この第１のサーチ手段によるサーチの結果得られる前記第２の画素ブロックの位置を基準にし、前記基準画像データの所定範囲で前記第２の画素ブロックに対応する第３の画素ブロックが存在するか否かを判断する第１の判断手段、
   この第１の判断手段により、前記第３の画素ブロックが存在すると判断されたときに、前記第１の画素ブロックの位置と、この第１の画素ブロックの位置に対応する前記第２の画素ブロックの位置との間の動きベクトルの組を所定数選択する動きベクトル選択手段、
   この動きベクトル選択手段によって選択された所定数の組の動きベクトルに基づいて、前記第２の画像データを射影変換して前記第１の画像データと合成する合成手段
   として機能させることを特徴とするプログラム。
   

Images