JP4136044B2

JP4136044B2 - 画像処理装置及びその画像処理方法

Info

Publication number: JP4136044B2
Application number: JP35519997A
Authority: JP
Inventors: 正樹日暮
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1997-12-24
Filing date: 1997-12-24
Publication date: 2008-08-20
Anticipated expiration: 2017-12-24
Also published as: JPH11185018A

Description

【０００１】
【発明の属する技術分野】
本発明は、同一の被写体を異なる撮影条件で撮影した複数の画像から入力機器のダイナミックレンジや被写界深度を超えた画像を合成処理に係り、特に各画像を重ね合わせた際に被写体が一致するように位置合わせ補正を行う画像処理装置及びその画像処理方法に関する。
【０００２】
【従来の技術】
一般に、同一の被写体を異なる露出で撮影した複数の画像を合成することで、ＣＣＤ（Charge Coupled Device ）等の撮像素子の固有のダイナミックレンジ以上の範囲のダイナミックレンジを有する画像を作成する画像処理技術（例えば、特開昭６３−２３２５９１号公報）や、同一の被写体を異なる焦点位置で撮影した複数の画像を合成し、入力光学系の被写界深度よりも深い被写界深度を有する画像を作成する画像処理技術（特開平１−３０９４７８号公報）がある。
【０００３】
この広ダイナミックレンジ画像を作成する技術は、図１２（ａ）に示す構成で実現される。
図示される画像Ａ，Ｂは、それぞれ露出を変えて撮影した画像であり、撮像素子に入射する入射光量と、画像入力機器で得られる画像の信号値との関係は、図１２（ｂ）の“［Ａ］長時間露出”、“［Ｂ］短時間露出”のようになる。
【０００４】
加算器１１では画像Ａ，Ｂの画素値が加算され、図１２（ｂ）に“［Ｃ］加算信号”として示す値がフレームメモリ１２に記憶される。
この“［Ｃ］加算信号”の形状は、２枚の画像の露出比で決定されている。線形変換部１３では、加算信号値Ｓから入射光量Ｉを推定し、マトリクス回路１５ではＲ，Ｂ，Ｇ各色の信号値から輝度信号値Ｙに変換する。
【０００５】
そして輝度圧縮部１６では、推定入射光量が既定の階調数に収まるように輝度値を圧縮し、圧縮された輝度信号値Ｙ’が出力される。除算器１７では、Ｙ’／Ｙが計算され、線形変換部１６の出力であるＲ，Ｇ，Ｂそれぞれの信号と乗算器１８で掛け合わせられ、結果がフレームメモリ１９に格納される。
【０００６】
この画像処理技術は、複数の画像データを利用しているため、単に短時間露出画像をトーンカーブ処理した場合に比べて、色再現が良好でノイズの少ない画像を得ることができる。
【０００７】
また、前述した入力光学系の被写界深度よりも深い被写界深度を有する画像を作成する画像処理技術は、例えば図１３に示す構成で実現される。
まず、焦点位置を変えて撮影された画像は、加算器２１で重み付け加算され、フレームメモリ２２に記憶される。焦点位置を変えた画像を焦点位置に応じて重み付け加算すると、画像全体のボケが均一化されることが知られている。
【０００８】
そこで、回復フィルタ設定回路２５では、加算後の画像におけるボケの回復フィルタを決定し、マトリクス演算回路２３に出力する。ここで、ボケ回復フィルタの作成方法は、本発明の本質に関わる部分ではないため省略する。マトリクス演算回路２３では、加算画像に回復フィルタを作用させ、結果をフレームメモリ２４に格納する。
この結果、フレームメモリ２４に格納された画像は、撮像光学系より被写界深度の深い画像となっている。
【０００９】
【発明が解決しようとする課題】
前述した画像処理技術は、撮影した画像を一旦、画素ごとに加算または重み付け加算したのち、ダイナミックレンジ圧縮処理や回復処理といった一連の処理を行うものであった。そのため、加算の対象となる画像がお互いに位置ずれを起こしていると、加算したときにずれてしまい、正確な結果が得られなかった。
【００１０】
そのため、ダイナミックレンジ拡大処理の場合は、非破壊読み出しが可能なため、原理的に複数の露出で画像を撮影する間に位置ずれを起こすことの無いＣＭＤ（Charge Modurated Device ）素子を使った機器を利用する、また被写界深度拡大処理では、強固なステージが必要といったように、業務用の高価な装置が必要とされた。また、焦点位置を変えて撮影する場合は、焦点位置毎の微妙な倍率の変化も影響する。
【００１１】
それに対し、一般ユーザーが利用するようなデジタルカメラ、スキャナ、三脚などでは、業務用機器に比べて、精度は期待できない簡易的なものが大半を占めている。従って、前述した画像処理技術の利点を十分に生かすことができなかった。
【００１２】
例えば、三脚にデジタルカメラを載せて撮影する場合、シャッタを押すときにカメラが動いてしまったり、銀塩カメラで撮影した画像をフィルムスキャナで取り込む場合、フィルムの挿入の仕方により、互いにずれてしまうなどである。
【００１３】
そこで本発明は、ほぼ同一の構図で露出や焦点位置など撮影条件が異なる複数の画像間の位置関係を検出し、検出した位置関係を示すパラメータの値によって、正確に画像が重なるように補正する画像処理装置及びその画像処理方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は上記目的を達成するために、ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理装置であって、入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定手段と、前記各特徴点の探索領域から前記画像の特微量に基づいて、前記画像内を移動する物体が検出された分割領域の座標に関連する位置情報を除外した前記構図内の被写体の特徴的な位置情報を、前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出手段と、を備える画像処理装置を提供する。
さらに、ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理方法であって、入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定工程と、前記各特徴点の探索領域から前記画像の特徴量に基づいて、前記画像内を移動する物体が検出された分割領域の座標に関連する位置情報を除外した前記構図内の被写体の特徴的な位置情報を、前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出工程と、を備える画像処理方法を提供する。
【００１５】
以上のような構成の画像処理装置は、入力された複数の画像のうち１枚が選択され、この画像が複数の領域に分割されて、その分割領域の特徴量から特徴点を設定し、その特徴点の座標位置を記憶する。その特徴点の座標に基づき、選択されなかった別の各入力画像に対して、対応する点を探索し、その対応点の座標位置を抽出して、特徴点の座標と対応点座標から画像間の位置関係（平行移動量、回転角度）を算出し、一方または両方の画像を補正して被写体が合致するように位置合わせ補正を行った後、ダイナミックレンジ圧縮処理や被写界深度拡大処理等を施す。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１には、本発明による第１の実施形態としての画像処理装置の構成例を示し説明する。
【００１７】
本実施形態において、図示しないデジタルカメラで撮影された画像や銀塩カメラで撮影されスキャナ等で撮り込まれた画像はハードディスクや携帯可能なフロッピーディスク、メモリカード等の記憶媒体に記録されている。
【００１８】
本実施形態は、大別すると、前記ハードディスクやフロッピーディスク、メモリカード等に記録されている画像を読み出し、伸長等の処理を施す画像データ再生部３１と、画像データ再生部３１からの入力画像に後述する方法によって補間演算を施し画像の被写体の位置関係を補正する画像補正部３０と、前記画像補正部３０により位置関係が補正された画像に対して、前述したダイナミックレンジ拡大や被写界深度拡大を実行する画像合成部３９とで構成される。
【００１９】
また前記画像補正部３０は、画像データ再生部３１で伸長処理が行われた画像データを一時的に記憶するフレームメモリ３２と、選択された１つの画像に対して後述する複数の特徴点（座標）を設定する特徴点設定部３３と、その特徴点座標を記憶する特徴点位置メモリ３４と、特徴点座標及びテンプレートとして切り出された特徴点周辺の画像データから別の画像中において対応する点を探索する対応点探索部３５と、得られた対応点座標位置を記憶する対応点位置メモリ３６と、特徴点座標と対応点座標から２枚の画像間の位置関係（平行移動量、回転角度）を算出する補正パラメータ算出部３７と、入力された位置関係から、一方または両方の画像を補正して画像合成部３９に出力する補間演算部３８とで構成される。
【００２０】
このように構成された本実施形態の画像処理方法においては、前記ハードディスクやメモリカード等から読み出された画像が画像データ再生部３１で伸長等の処理が施されて、画像補正部３０のフレームメモリ３２に記憶される。ここで、画像データ再生部３１から出力されるデータは、画像の画素値だけではなく、画像サイズや色数やカラーマップ等の付加的なデータも含むものとする。
【００２１】
次に入力画像のうち１枚が選択され（ここでは画像Ａとする）、特徴点設定部３３に入力される。
この特徴点設定部３３では、後述する方法で複数の特徴点（座標）を設定し、特徴点座標が特徴点位置メモリ３４に入力される。設定された特徴点座標が対応点探索部３５にも入力され、同時に特徴点周辺の画像データがテンプレートとして切り出され、対応点探索部３５に入力される。
【００２２】
対応点探索部３５では、特徴点設定部３３に入力された画像とは別の画像中で（ここでは画像Ｂ）、入力されたテンプレートに対応する点を探索する。対応点を探索する方法は後述する。
【００２３】
その結果、対応点座標位置が対応点位置メモリ３６に出力される。補正パラメータ算出部３７では、特徴点位置メモリ３４の特徴点座標と、対応点位置メモリ３６の対応点座標を読み出し、２枚の画像間の位置関係（平行移動量、回転角度）を算出する。そして補間演算部３８では、入力された位置関係から、一方または両方の画像を補正して画像合成部３９に出力する。
【００２４】
この画像合成部３９では、前述したダイナミックレンジ拡大処理や被写界深度拡大処理を実行するが、対象とする画像が前段の画像補正部３０で位置あわせが行われた画像であるため、当然正確に重ね合わされた画像が結果画像として得られる。
【００２５】
図２には、前記特徴点設定部３３の構成を示し説明する。
この特徴点設定部３３では、複数の特徴点位置を決定するが、画像の一部に多くの特徴点が集中した場合、それ以外の部分で位置あわせの誤差が大きくなる場合がある。そこで領域分割部４１では、特徴点が画像中で適当に散らばるようにするため、画像を複数の領域に分割し、さらにその内部に特徴点探索領域を設定する。ここで、全体を均等に分割した例を図３（ａ）に示す。
【００２６】
この領域中でテンプレートの候補となる小領域を移動させ、特徴量が最大となる位置を特徴点の１つとして出力する。ただし、全体を探索すると非常に処理時間がかかってしまうため、図３（ａ）のように分割した領域より小さな特徴点探索領域を設定することが望ましい。この特徴点探索領域の大きさは、例えば画像サイズの５％というように、画像サイズを基準にして予め決めておく。または、分割された小領域の大きさを基準としても構わない。
【００２７】
次にテンプレート位置決定部４２では、特徴点探索領域内のテンプレート候補位置を決定し、その位置に基づいてテンプレート抽出部４３でテンプレート候補内の画像データを切り出す。このとき、テンプレート位置決定部４２では、特徴探索領域内で、テンプレート候補の位置を順に移動する。
【００２８】
位置的に近いテンプレート候補の特徴量変化は、あまり大きくない場合もあるので、このような場合はテンプレート候補の位置を１画素毎ずらすのではなく、数画素おきにずらすこともでき、結果的に計算量を削減することができる。
【００２９】
特徴量算出部４４では、テンプレート候補の特徴量を計算し、特徴量判定部４５で特徴量が最大となるテンプレート位置を決定する。テンプレート抽出部４６では、特徴量が最大となった位置周辺のデータを、テンプレートとして抽出する。このテンプレート抽出部４６は、テンプレート抽出部４３がその役割を兼ねても構わない。
この特徴量としては、例えば（１）式に示すような画素値分散を使うことができる。
【００３０】
【数１】

ここで、ａｉは画素値、Ａはテンプレート候補内の画素値平均であり、テンプレート候補内全体に対して和を取る。また、具体的な式は挙げないが、２次の画素値分散や、エッジ検出結果も特徴量として好ましい値である。このとき、前記値Ｔが次式、
【００３１】
【数２】

のように、ある規定値Ｔthより小さい場合は、信頼性が低いとして採用しない。例えば、図３（ｂ）における空の部分のように、画素値の変化が小さい部分では一般に後述するマッチングの精度が落ちるが、本発明の方法では（２）式のような値Ｔをもつ特徴点候補位置には特徴点が設定されず、位置関係パラメータの精度低下を防ぐことができる。
【００３２】
図４は、対応点探索部３５の構成を説明する図である。
サーチエリア設定部５１では、特徴点設定部３３から読み出した特徴点座標を基準に、対応点を探索する領域の位置と大きさを設定する。相関演算部５２では、サーチエリア設定部５１で設定されたサーチエリア内の情報に基づいて、特徴点設定部３３から入力されたテンプレートと同じ大きさを持つように対応点候補位置周囲の画像データをフレームメモリ３２ｂ中の画像データから切り出し、特徴点設定部３３から入力されたテンプレートデータとの相関値を計算する。
【００３３】
相関値判定部５３では、テンプレート抽出部４６で抽出されたテンプレートと最も相関が高い位置を判定し、結果を対応点位置として対応点位置メモリ３６に出力する。
【００３４】
このとき、一般に対応点候補は、１画素毎に移動して相関値を求めるが、画素以下の精度で対応点位置を検出するために、周囲の相関値を参照して補間により対応点位置を決定しても良い。その相関値としては、次の（３）式に示す差分の絶対値和、（４）式に示す相互相関、（５）式に示す正規化相互相関等を使うことができる。
【００３５】
【数３】

ここで、ｂｉ，Ｂは、画像Ｂのサーチエリア内で移動する小領域内の画素値とその平均であり、σ_A ，σ_B はテンプレートデータの標準偏差であり、σ_A ² ，σ_B ² がその分散値となる。
【００３６】
前記（２）〜（４）式を計算する場合、ある代表色のみについて計算すれば、高速に処理することができる。
また、Ｒ，Ｇ，Ｂ各色の相関値を加算して対応点を探索すればより高精度に対応点検索を行うことが可能になる。
【００３７】
そして補正パラメータ算出部３７では、特徴点座標データ及び、対応点座標データから、画像Ａ，Ｂ間の位置関係を決定する。求めるパラメータは（６）式の cosθ， sinθ，ｓｘ，ｓｙ，Ｍである。
【００３８】
【数４】

ここで、（ｘ，ｙ）は特徴点位置、（Ｘ，Ｙ）は対応点位置を示し、Ｍは画像間の相対的な倍率に相当する。
前記特徴点位置メモリ３４、対応点位置メモリ３６には、複数のデータが格納されているので、最小二乗的にパラメータを求めると、（７）式のようになる。
【００３９】
【数５】

ここで、Ｎは特徴点数。（８）式より、Ｍ， cosθ， sinθは（９）式の様に決定される。
【００４０】
【数６】

【００４１】
また、本来 cosθ， sinθは、 cos² θ＋ sin² θ＝１の関係があるため、対象画像に倍率変化が無いと仮定できる場合、（９）式の結果で、Ｍ＝１．０とし、（１０）式のような関係になった場合、（１１）式のように cosθ， sinθを補正したほうがよい。ｓｘ，ｓｙは補正した cosθ， sinθより計算する。
【００４２】
【数７】

【００４３】
前述した（６）〜（９）式は、任意の原点を画像の回転中心としたが、設定・探索された特徴点・対応点位置それぞれの重心は一致すると考えても構わない。特徴点の重心位置は（ /ｘ， /ｙ）（ここで、/ は、平均を意味する記号として用いている。尚、各式のイメージ情報にあるように、各式中では、この平均はオーバーバーとして表している）、対応点の重心位置は（ /Ｘ， /Ｙ）、で与えられ、 cosθ， sinθ，ｓｘ，ｓｙはそれぞれ（１２）、（１３）式で与えられる。
【００４４】
【数８】

【００４５】
以上説明したように、本実施形態は、画像中から特徴点を複数抽出し、自動的に位置あわせを行うため、業務用の高価な器材を用いることなく、一般ユーザーでもダイナミックレンジ拡大処理、被写界深度拡大処理の効果を最大限利用することができる。但し、処理の対象画像に歪曲収差が生じている場合には、任意の手法であらかじめ補正しておくことが必要となる。
【００４６】
次に、本発明による第２の実施形態について説明する。
本実施形態は、前述した第１の実施形態に比較して、特徴点設定部３３の内部の構成が異なるものである。
【００４７】
図５（ａ）は、特徴点設定部３３の概念的な構成を示す図である。この構成は、図１に示した構成に比べて領域指定部８１が加わっている点が異なる。
図５（ｂ）は、領域指定部８１の構成例を示す図である。この領域指定部８１では、入力された画像データに対し、領域指示部８３において、注目する領域を複数指示する。特徴点は、ここで指定された領域の内部に前述の方法で設定される。
【００４８】
この表示制御部８４では、指定された領域（後述する領域位置メモリ８５からのデータ）を、例えば、図６（ａ），（ｂ）のように入力画像データ上にオーバーレイし、表示部８２に、そのデータを表示する。この表示部８２は、ＰＣに付属のディスプレイでも構わないし、別に専用のものを設けても構わない。また領域指示部８３は、ＰＣに付属のマウスで指示しても構わないし、別に設けても構わない。前記表示制御部８４は、領域指定部８１の構成の一部として説明したが、パーソナルコンピュータ等のオペレーティングシステム（ＯＳ）の機能を利用するような構成でも構わない。
【００４９】
さらに、領域指示部８３では、画像中の座標で注目領域を指定しても構わない。そして領域位置メモリ部８５は、領域指示部８３で指示された領域の位置・サイズを記憶し、領域分割部４１に出力する。領域分割部４１では、領域位置メモリ部８５からの領域位置情報をもとに、指示された領域内部に前記した方法で特徴点を設定する。
【００５０】
本実施形態の構成により、ユーザーが注目したい部分の位置合わせ精度を上げことができると共に、あまり必要でない部分では特徴点探索を必要としないので、計算時間を短縮することができる。
【００５１】
また、人間や乗り物など、動く被写体が撮影画像に含まれた場合、動いた部分の画像を計算に用いると画像全体の位置合わせに誤差が生じるが、本実施例形態の構成では、そのような部分のデータを利用しないようにできる。
【００５２】
さらに、領域指示部８３で指示した複数領域のうち特定の領域を指示し、その内部だけ他の領域より多く特徴点を設定することで、その特定領域の位置合わせ精度を更に向上することが可能である。
【００５３】
また、ダイナミックレンジ拡大技術の場合は露出値の順に、被写界深度拡大技術の場合には焦点位置の順に画像を整列し、隣り合う画像間で上記の操作を実行することで、ランダムに画像を選択して実行する場合に比べて精度を向上することができる。
【００５４】
図７は、本発明の第３の実施形態を示す図である。
図７に示した画像補正部３０の構成は、図１に示した画像補正部３０の構成に加えて、表示部８２、表示制御部８４、特徴点指示部９０が含まれる。複数の特徴点位置は前述の方法で設定され、特徴点メモリ３４に記憶される。
【００５５】
この特徴点メモリ３４に記憶された特徴点座標は特徴点指示部９０に送られ、表示制御部８４を通して表示部８２に対象画像上にその位置がオーバーレイされる（例えば、図３（ｂ））
このとき、特徴点が人間・乗り物等動く被写体（移動物体）上に設定されていると、（６）〜（１０）式で計算する補正係数の誤差の原因となる。そこで、特徴点指示部９０では、移動物体が含まれている場合は、その物体を検出し、移動物体上に設定された特徴点は計算に使うデータから除外し、特徴点メモリ３４からデータを削除する。
【００５６】
この操作は、表示されたデータをユーザーが判断し、特徴点指示部９０から除外するデータを示するようにしてもよい。また、対応点探索後、特徴点メモリ３４と対応点メモリ３６のデータを同時に表示部８２に表示し、対応が取れていないとユーザーが判断した場合は、特徴点指示部９０により、そのデータを除外することを指示できる用にしても構わない。
【００５７】
次に図８を参照して、本発明による第４の実施形態について説明する。この第４の実施形態は、図５の領域指定部８１を図８に示すような構成に変更したものである。
【００５８】
図８に示される領域指定部８１は、領域指示部８３、領域位置メモリ８５、状態判定部１０１から構成される。
本実施形態では、画像の統計的・物理的な性質に基づいて特徴点設定領域に指定する範囲を決定する。
【００５９】
まず、画像全体を図９（ａ）のように予め決められた大きさに分割する。このとき分割するサイズは、特徴点設定部で切り出されるテンプレートより大きい範囲とする。
【００６０】
分割された各部分は状態判定部１０１に送られ、特徴点設定領域に指定するかどうかを判断する。状態判定部１０１では入力された画像データを走査し、飽和した画素が一定の割合を超えている場合は特徴点設定領域として適さないと判断する。
【００６１】
また、状態判定部１０１では、入力データの平均値がある閾値を超えている場合は、特徴点設定領域として適さないと判断しても構わない。
領域指示部８３は、図９（ｂ）のように、分割した領域の画像データを順番に状態判定部１０１に出力し、特徴点設定領域として適していると判断された場合は、その範囲を含むように領域位置メモリ８５に記録する。
【００６２】
前述した説明では、各分割領域ごとに判断したが、状態判定部に出力する画像データとして、領域位置メモリ８５に記録されている範囲全体にしても構わない。また、図９（ｃ）に示したように、領域指示部８３で、ユーザーがある分割領域を指定し、その周辺の領域から順番に特徴点指定領域に含んでいくようにしても良い。
【００６３】
さらに、図１０に示すように、領域指示部８３で、ユーザーがある１点を指定し、その周りに拡張した矩形を仮定し、その画像データを状態判定部１０１で判断するようにしてもよい。
【００６４】
また、飽和した画素値を判断基準に用いたが、状態判定部１０１では、入力した画像の離散フーリエ変換、離散コサイン変換といった直交変換を画像に施した時の高周波成分のパワーや、ウェーブレット変換の成分によって判断しても構わない。
【００６５】
さらに、状態判定部１０１では、入力されたデータのコントラストや画素値最大と最小の差を判断に用いても構わない。
次に図１１を参照して、本発明による第５の実施形態について説明する。
【００６６】
本実施形態は、３枚以上の画像が処理対象になっている例である。ここで、図示するうち、前述した図１と同等の構成部位には、同じ参照符号を付してその説明を省略する。
【００６７】
本実施形態において、画像データ再生部３１で再生された画像データは、画像選択指示部１１４の指示により切換動作する画像切替部１１１によっていずれかのフレームメモリ３２ａ，３２ｂに入力される。この画像選択指示部１１４は、入力された同一被写体が撮影された複数の画像を順次処理できるように装置の処理時間等を見計らって、２つのフレームメモリに対して交互に入力されるように画像切換部１１１を制御するものである。
【００６８】
前記フレームメモリ３２ａ，３２ｂに格納された画像から前述した方法で特徴点・対応点を検出し、補正パラメータ算出部３７で画像間の位置関係（平行移動量・回転角度・相対倍率）を算出する。補正パラメータ算出部３７で算出されたパラメーターは、画像ＩＤ、参照画像ＩＤと共に補正パラメータ記憶部１１３に記憶される。
【００６９】
前記補正パラメータ変換部１１２は、補正パラメータ記憶部１１３に記憶されたデータを読み出し、それぞれのデータを予め指定された補正の基準となる画像からみた平行移動量・回転角度に変換する。続いて、補間演算部３８では、補正パラメータ変換部１１２で補正基準画像からみたパラメータに従って画像を補正する。
【００７０】
ここで補正パラメータ変換部１１２でのデータ変換及び補間演算部３８での補正は、画像切替部１１１の操作毎に行っても構わないし、対象画像全てについて相対的な位置関係を算出した後、改めてフレームメモリ３２に画像を読み込んで行っても構わない。
【００７１】
また、本実施形態ではフレームメモリ３２を２つとし、信号切替部１１１により入力画像を切り替えるように説明したが、対象画像全てを格納できる数のフレームメモリを用意しても構わない。
【００７２】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
（１）撮影条件の異なる複数の画像において、
画像を複数の分割領域に分割し、前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設け、それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出し、前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索し、前記特徴的な位置情報及び対応する点の位置情報より補正パラメータ（画像間の回転・移動・倍率変化等）を検出し、前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像処理装置。
【００７３】
本発明は、第１の実施形態に対応する。
これにより、複数の画像を重ねる際に、より正確な画像の重ね合わせ行うことができるようになる。
（２）前記（１）項に記載の画像処理装置において、
前記回転・移動・倍率変化に基づいて画像を補正する際に特定の基準画像から見た回転・移動・倍率変化を表わすようにパラメータを変換してから補正することを特徴とする。
【００７４】
本発明は第５の実施形態に対応する。
これにより、複数の画像を重ねる際に、それぞれの画像に対して適当な任意の補正パラメータを設定でき、撮影者の意図に応じた、より正確な画像の重ね合わせを行うことができるようになる。
（３）前記複数の分割領域について、
分割する領域を画像の一部に制限することを特徴とする１に記載の画像処理装置。
【００７５】
本発明は、第２の実施形態に対応する。
これにより、複数の画像を重ねる際に、画像処理の速度が向上すると共に、それぞれの画像に対して適当な領域を設定でき、撮影者の意図に応じた、より正確な画像の重ね合わせを行うことができるようになる。
（４）前記（１）項または（３）項に記載の画像処理装置において、
前記画像の統計量に基づく被写体の特徴的な位置情報のうち、複数の画像間で位置が移動している被写体上に設定された位置情報は画像間の回転・移動・倍率変化の検出に用いないことを特徴とする。
【００７６】
本発明は、第３の実施形態に対応する。
これにより、複数の画像を重ねる際に、移動物体が存在する領域を排除しているので、より正確な画像の重ね合わせを行うことができるようになる。
（５）前記（３）項に記載の画像処理装置において、
分割する領域を画像の一部に制限する制限領域は、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、コントラストのいずれかの値を基準に制限されることを特徴とする。
【００７７】
本発明は、第４の実施形態に対応する。
これにより、複数の画像を重ねる際に、画像処理の速度が向上すると共に、それぞれの画像に対して適当な領域を自動的に設定することができ、撮影者の意図に応じた、より正確な画像の重ね合わせを行うことができるようになる。
（６）前記（５）項に記載の画像処理装置において、
特定点を中心に制限領域を広げていくことを特徴とする。
【００７８】
本発明は第４の実施形態に対応する。
これにより、複数の画像を重ねる際に、特定点を中心に、それぞれの画像に対して適当な領域を設定するので、より正確な画像の重ね合わせを行うことができるようになる。
【００７９】
【発明の効果】
以上詳述したように本発明によれば、ほぼ同一の構図で露出や焦点位置など撮影条件が異なる複数の画像間の位置関係を検出し、検出した位置関係を示すパラメータの値によって、正確に画像が重なるように補正する画像処理装置及びその画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態としての画像処理装置の構成例を示す図である。
【図２】図１に示した特徴点設定部の構成例を示す図である。
【図３】図３（ａ）は、画像を複数の分割した分割領域と、各分割領域に設定された特徴点探索領域を示す図、図３（ｂ）は、特徴点について説明するための図である。
【図４】図１に示した対応点探索部の構成例を示す図である。
【図５】図５（ａ）は、第２の実施形態としての画像処理装置の構成例を示す図、図５（ｂ）は、領域指定部の構成例を示す図である。
【図６】図６（ａ）は、画像上に表示された指定領域の一例を示す図、図６（ｂ）は、画像上に表示された注目位置を示す図である。
【図７】第３の実施形態としての画像処理装置の構成例を示す図である。
【図８】第４実施形態としての画像処理装置に用いられる領域指定部の構成例を示す図である。
【図９】図９（ａ）は、複数の分割領域に分割された入力画像を示す図、図９（ｂ）は、走査による特徴点設定領域の指定について説明するための図、図９（ｃ）は、拡張による特徴点設定領域の指定について説明するための図である。
【図１０】指定点から拡張した矩形を特徴点設定領域として指定することについて説明するための図である。
【図１１】第５実施形態としての画像処理装置の構成例を示す図である。
【図１２】従来の広ダイナミックレンジ画像を作成するための構成例を示す図である。
【図１３】従来の深い被写界深度を有する画像を作成するための構成例を示す図である。
【符号の説明】
３０…画像補正部
３１…画像データ再生部
３２…フレームメモリ
３３…特徴点設定部
３４…特徴点位置メモリ
３５…対応点探索部
３６…対応点位置メモリ
３７…補正パラメータ算出部
３８…補間演算部
３９…画像合成部

Claims

ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理装置であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定手段と、
前記各特徴点の探索領域から前記画像の特微量に基づいて、前記画像内を移動する物体が検出された分割領域の座標に関連する位置情報を除外した前記構図内の被写体の特徴的な位置情報を、前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出手段と、
を具備することを特徴とする画像処理装置。
前記位置情報抽出手段は更に、前記分割された画像以外の前記入力画像のそれぞれに対して前記特徴的な位置情報に対応する点を探索し、その探索により得られた対応する点をその画像に対する座標に関連させた位置情報として抽出することを特徴とする請求項１に記載の画像処理装置。
前記画像処理装置は更に、前記位置情報抽出手段で抽出された前記特徴的な位置情報及び前記対応する点の位置情報の各座標間のずれに基づく補正パラメータを検出する補正パラメータ検出手段と、
検出された補正パラメータに基づき、各画像の被写***置が一致するように画像を補正する画像補正手段と、
を具備することを特徴とする請求項２に記載の画像処理装置。
前記位置情報抽出手段は、前記画像内の各分割領域に対して、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、及びコントラストのうちのいずれかの値を基準として、前記入力した画像から所望の分割領域に対する座標関連位置情報を抽出することを特徴とする請求項３に記載の画像処理装置。
前記探索領域設定手段は、前記画像内の各分割領域に対して、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、及びコントラストのうちのいずれかの値を基準として、特徴点の探索を行う領域とするか否かを判定する状態判定部を有することを特徴とする請求項１乃至４のうちの何れか一つに記載の画像処理装置。
撮影条件の異なる複数の画像に対して補正を行う画像処理装置であって、
画像を複数の分割領域に分割する領域分割手段と、
前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定手段と、
前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出手段と、
前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索手段と、
前記画像の統計量に基づく被写体の特徴的な位置情報のうち、複数の画像間で位置の移動の無い被写体上に設定された位置情報を画像間の回転・移動・倍率変化の検出に用いて、前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出手段と、
前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正手段と、
を具備することを特徴とする画像処理装置。
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理装置であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割する領域分割手段と、
前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定手段と、
前記各特徴点の探索領域から前記画像の特微量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出手段と、
を具備し、
前記領域分割手段は、複数の分割領域に分割する際に、ユーザーの指定に基づく特定点を中心に、又はユーザーの指定に基づく分割領域を中心に、画像上に設定された分割可能の範囲を示す矩形枠を広げていくことを特徴とする画像処理装置。
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理方法であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割し、前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定工程と、
前記各特徴点の探索領域から前記画像の特徴量に基づいて、前記画像内を移動する物体が検出された分割領域の座標に関連する位置情報を除外した前記構図内の被写体の特徴的な位置情報を、前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出工程と、
を具備することを特徴とする画像処理方法。
撮影条件の異なる複数の画像に対して補正を行う画像処理方法であって、
画像を複数の分割領域に分割する領域分割工程と、
前記分割領域中におのおのの分割領域と同じまたは小さい特徴点探索領域を設ける特徴点探索領域設定工程と、
前記それぞれの特徴点探索領域から画像の統計量に基づいて被写体の特徴的な位置情報を抽出する特徴位置情報抽出工程と、
前記複数の画像のうち、被写体の特徴的な位置情報を抽出した画像とは異なる画像中で対応する点を探索する対応点探索工程と、
前記画像の統計量に基づく被写体の特徴的な位置情報のうち、複数の画像間で位置の移動の無い被写体上に設定された位置情報を画像間の回転・移動・倍率変化の検出に用いて、前記特徴的な位置情報及び対応する点の位置情報より画像間の回転・移動・倍率変化を含む補正パラメータを検出する補正パラメータ検出工程と、
前記補正パラメータとしての画像間の回転・移動・倍率変化に基づいて画像を補正する画像補正工程と、
を具備することを特徴とする画像処理方法。
前記画像補正工程は、前記補正パラメータの前記回転・移動・倍率変化に基づいて画像を補正する際に特定の基準画像から見た回転・移動・倍率変化を表すように、前記補正パラメータを変換してから補正することを特徴とする請求項９に記載の画像処理方法。
前記領域分割工程は、分割する領域を画像の一部に制限することを特徴とする請求項９に記載の画像処理方法。
前記領域分割工程は、直交変換したときの高周波成分の割合、飽和した画素の割合、画素値の平均値、最大及び最小の画素値の差、及びコントラストのうちのいずれかの値を基準に前記分割する領域を制限することを特徴とする請求項１１に記載の画像処理方法。
ほぼ同一の構図を異なる撮影条件で撮影した複数の画像間の位置合わせ処理を行う画像処理方法であって、
入力した画像の少なくとも１つの画像を複数の分割領域に分割する領域分割工程と、
前記各分割領域内に画像の特徴を表す特徴点の探索領域を設ける探索領域設定工程と、
前記各特徴点の探索領域から前記画像の特微量に基づいて、前記構図内の被写体の特徴的な位置情報を前記分割画像の各分割領域に対する座標に関連させて抽出する位置情報抽出工程と、
を具備し、
前記領域分割工程は、複数の分割領域に分割する際に、ユーザーの指定に基づく特定点を中心に、又はユーザーの指定に基づく分割領域を中心に、画像上に設定された分割可能の範囲を示す矩形枠を広げていくことを特徴とする画像処理方法。