JP5889383B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像データの処理装置および処理方法に関する技術であり、より具体的には複数の画像を合成する技術に関する。

従来より、動画像やカメラでの連写撮影によって得られた時間的に連続する複数の画像を合成し、高画質化を行う技術が知られている。しかし、それらの画像にはノイズが存在し得る。例えばデジタルビデオカメラでの動画撮影では、撮像素子で光を電気信号に変換する際にノイズが発生することが知られている。微弱なノイズであっても信号を増幅する工程を経ると目立ったノイズとなる可能性があり、信号の増幅を大きく行う暗いシーンでの撮影では、明るいシーンでの撮影に比べてノイズが目立つ画像となることが多い。

このようなノイズはランダムに発生するため、連続する複数の画像の位置を合わせて平均化することにより低減できる。特許文献1には、この原理を利用し、複数フレーム(画像)間の画素の合成によってノイズ除去を行う技術が記載されている。

この場合において、複数のフレームを１つの画像に合成する際、移動、回転、変形など、状態が変わった被写体が存在する事がある。このような状態が変わった被写体を1つの画像に合成すると、いわゆるゴーストが発生する事がある。また、基準となるフレームとその他のフレームの対応する位置関係を計算し、基準フレームの座標に合うようにその他のフレームを変形させてから合成する手段が知られているが、位置合わせに誤りが生じる事もある。以上のような理由から、基準となるフレームの画素とその他のフレームの対応する位置の画素とを比べ、画素の色が大きく異なるようであれば合成の比率を下げるあるいは合成しないという技術が知られている。

特開2002-223374号公報

上述した、基準となる画像とその他の画像との間で対応する位置の画素を比べ、画素の色の差に応じて合成比率を調整する手法では、画素毎に合成の比率にばらつきが生じる。特に合成する画像の数が多い場合には隣接画素間で合成画像数に大きな差が生じてしまう可能性がある。そして、このような合成画像数の差は合成後の画像で擬似輪郭となって現れる事があり、画像を劣化させる要因となる。また、撮影時にカメラが動くなどの要因で、基準となる画像の画素に対応する画素がその他の画像には存在しない場合にも隣接画素間で合成画像数に差が生じてしまう。このような問題については従来技術では対処できなかった。

本発明に係る画像処理装置は、基準画像と比較画像を比較することにより、当該基準画像と当該比較画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせの結果、前記基準画像と前記比較画像のそれぞれにおいて、他方の画像内に合成相手の領域が存在する第１の領域と当該合成相手の領域が存在しない第２の領域がある場合、当該基準画像における当該第１の領域と当該比較画像における当該第１の領域とを合成する合成手段と、前記合成手段による合成により得られた合成画像を出力する出力手段と、を有し、前記合成手段は、前記基準画像における前記第１の領域内の第１の画素と、前記比較画像における前記第１の領域内であり且つ当該基準画像の前記第２の領域との境界に対応する位置の第２の画素との合成を行う場合に、当該第１の画素を含む所定サイズの領域において当該比較画像内に合成相手の画素が存在する画素の数が第１の数である場合と第２の数の場合とで異なる合成比率に従って、当該第１の画素と当該第２の画素との合成を行うことを特徴とする。

本発明によれば、連続する複数の画像を合成する場合において、隣接画素間での合成画像数の差を小さくできる。これにより合成後の画像における擬似輪郭の発生を低減させることができる。

本実施形態に係る画像処理装置の構成を示すブロック図である。 本実施形態に係る、複数の画像の合成を実現する処理の流れを示すフローチャートである。 加重加算の処理の流れを示すフローチャートである。 仮画像内の画素について基準画像との色差が閾値を超えているか否かを判定する処理の概要を説明する図である。 本発明に係る合成処理で生成される合成結果画像と従来技術の合成処理で生成される合成結果画像とを対比した図である。 本発明に係る合成処理を説明する図である。本発明の画像処理における入力画像の位置関係の例を表す概念図である。 本発明に係る合成処理における仮画像の概念図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。

１０１は中央演算ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、以下に述べる各部の統括的な制御を行う。

１０２はブリッジ部であり、ＣＰＵ１０１と各部との間でデータのやり取りを制御する機能を提供している。

１０３はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、読み込み専用の不揮発メモリである。ＲＯＭ１０３には、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。なお、ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、周辺機器の基本入出力機能を制御する。

１０４はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、高速の読み／書き可能な記憶領域を提供する。

１０５は２次記憶装置であり、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ１０４または２次記憶装置１０５に格納される。

１０６は表示制御部であり、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。

１０８はＩ／Ｏ制御部であり、下記の入出力装置とのインターフェースを提供する。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。

１０９は入力装置であり、キーボードやマウスといったユーザの意思を入力する装置の他、デジタルカメラ、ＵＳＢメモリ、コンパクトフラッシュ（登録商標）メモリ、ＳＤメモリカードなどを接続することで、画像データを転送することも可能である。

１１０は出力装置としてのプリンタであり、本画像処理装置とネットワークで接続される。

なお、本実施形態においては、２次記憶装置１０５に格納されたアプリケーション（プログラム）がユーザの操作で起動し、ＣＰＵ１０１がこれを実行することにより本発明が実現される。

図２は、本実施形態に係る画像処理装置において、連続する複数の画像の合成を実現するアプリケーションの処理の流れを示すフローチャートである。

ステップ２０１において、アプリケーションは、複数の静止画像を取得し、合成の際の基準となる基準画像、および該基準画像と比較される画像であって該基準画像に所定の合成比率で合成される比較画像を決定する。取得する複数の静止画像は、動画像からフレーム切り出しを行ったものや連写撮影などの連続したシーンの画像が想定される。あるいは定点観測カメラや天体の動きを追う天体カメラなど、時間的には遠いが同じ被写体を連続で撮影して得られた複数の静止画像にも適用可能である。基準画像となる静止画像を取得する方法としては、たとえば動画像からの取得であれば動画を再生して表示装置に画像を表示し、ユーザが画像を確認しながら入力装置を用いて1つのフレームを選択するという方法等がある。この場合、選択されたフレームを静止画データとして切り出し、これを基準画像とする。静止画データへの切り出しは該動画像に対応したコーデックを用いるなどすればよい。基準画像として決定された静止画データは、たとえばＲＧＢ(レッド、グリーン、ブルー)信号で構成されたビットマップ形式で、ＲＡＭ１０４に格納される。

基準画像が決定するとアプリケーションは、選択されたフレーム（基準画像）の前後のフレームを静止画データとして切り出して、これらを比較画像とする。比較画像として決定された静止画データは、基準画像と同様にビットマップ形式で、ＲＡＭ１０４に格納される。なお、比較画像の数は任意であり、たとえば、基準画像とされたフレームの前後の２フレームを比較画像にする場合は、４つの比較画像を決定することになる。

上記のような方法以外にも、たとえば、アプリケーションに判別機能を持たせ、自動的に基準画像とその比較画像とを選択するようにしてもよい。

ステップ２０２において、アプリケーションは、画像加算の準備を行う。具体的には、ＲＡＭ１０４内に重み付き総和画像を格納するための領域、すなわち、基準画像および比較画像のそれぞれに重みを付け、加算をするデータと重みの総和を格納するためのメモリ領域が確保される。ＲＧＢ信号の画像の場合では、[Ｒ， Ｇ， Ｂ， 重み]の４つの要素があり、この順にメモリ領域に割り当てられる。これら４つの要素が基準画像の画素の数だけ必要となる。基準画像の画素と重み付き総和画像の画素とは同じ座標で対応する。

重み付き総和画像のための領域が確保されると、更に、メモリ領域に割り当てられた重み付き総和画像の全画素に関して、基準画像のＲ， Ｇ， Ｂ の信号が格納され、重みに1が格納される。たとえば、基準画像の座標（ｘ，ｙ）＝（０，０）の画素の信号値が、重み付き総和画像の座標（ｘ，ｙ）＝（０，０）の画素に格納される。全ての画素の重みに1が格納されるのは、基準画像の重みが1であることを示している。

ステップ２０３において、アプリケーションは、基準画像と比較画像との位置を合わせて仮画像を作成する。具体的には、基準画像の座標に対応する比較画像の座標（以下、「対応座標」と呼ぶ。）を求め、求めた対応座標に基づいて比較画像を基準画像の座標に合わせて変形させ、変形させた比較画像を仮画像としてＲＡＭ１０４内に格納する。対応座標の求め方としては、ブロックマッチング法や勾配法など、公知の技術を用いればよい。仮画像は、基準画像と同数の縦画素数、横画素数からなる画像であり、比較画像と同様にＲ，Ｇ，Ｂの３つの要素を持つ。基準画像の座標と仮画像の座標はそれぞれ対応している。

ここで、仮画像について、図７を用いて詳しく説明する。

７０１は基準画像であり、７０２は比較画像である。基準画像７０１に対し、比較画像７０２は撮影時にカメラが動いたなどの理由で被写体である木が右方向に傾いている。７０３は、基準画像７０１と比較画像７０２との位置合わせを行って得られた仮画像を示している。基準画像７０１に比較画像７０２の位置を合わせ変形させると破線で示される矩形７０４のようになる。仮画像は基準画像の座標に対応するように作成するため、実線で示される矩形７０３のようになる。ここで、仮画像７０３内の斜線領域７０５は、基準画像７０１に対して比較画像７０２の画素が存在しない領域である。仮画像７０３における該領域の画素にはＲ，Ｇ，Ｂの信号に負の値を入れるなどして画素が存在しない事が分かるようにする。

なお、用いる画像によっては上記の位置合わせや変形は必須ではない。カメラや被写体が動いていない事がわかっている場合には、比較画像をそのまま仮画像としてもよい。

ステップ２０４において、アプリケーションは、基準画像と仮画像との差分を算出する。そして、算出した差分情報を持った、基準画像と同じ画素数の画像（差分画像）を得て、ＲＡＭ１０４に格納する。差分画像の各座標は基準画像の各座標に対応し、色差の１要素のみを持つ。全ての画素で基準画像と仮画像との色差が算出され、差分画像の対応する座標の画素に算出された色差が格納される。ここで、色差はたとえば以下の式（１）で求められる。

この場合において、Rmain(レッド)、Gmain(グリーン)、Bmain(ブルー)は基準画像の信号値であり、Rsub(レッド)、Gsub(グリーン)、Bsub(ブルー)は仮画像の信号値である。

色差の求め方はこれに限らず、明度を算出して明度の差の絶対値としても良いし、Ｙ、Ｃｂ、Ｃｒの色空間で求めても良い。また、ＣＩＥＬａｂの色空間に変換し、ΔＥを求めても良い。また、画像が画素の色を示す情報を有さないモノクロ画像である場合には、各画素の輝度値を参照して、基準画像と仮画像との輝度の差分を算出すればよい。即ち、基準画像と仮画像のそれぞれに含まれる画素に割り当てられた画素値を、基準画像と仮画像とで比較し、差分を求めればよい。

尚、上述したようにカメラが動くなどの原因で基準画像に対応する比較画像の画素がない場合がある。この様な場合には、差分画像の該画素には後述する閾値を超える値を格納するようにする。或いは、差分画像の該画素には負値を格納し、後の合成度決定の際に対応画素の有無を判別するようにしても良い。

ステップ２０５において、アプリケーションは、加重加算を行う。図３は加重加算の処理の流れを示すフローチャートであり、以下、このフローチャートに沿って加重加算について説明する。

ステップ３０１において、アプリケーションは、仮画像内の画素について基準画像との色差が閾値を超えているか否かを判定する。この判定は、判定対象となる画素（以下、「注目画素」と呼ぶ。）を含む画素群（画素ブロック）を用い、画素群内の画素毎に行う。この場合において、注目画素以外の画素の少なくとも1つは注目画素に隣接している必要があり、画素群の中心に注目画素が位置している事が望ましい。

以下、図４を参照してステップ３０１における判定処理の詳細について説明する。

４０１は基準画像であり、４０２は仮画像を示している。ここでは基準画像４０１の斜線領域は（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，１２８)のグレーであるとする。仮画像４０２の斜線領域は（Ｒ，Ｇ，Ｂ）＝（１３８，１３８，１３８）のグレーであり、斜線以外の部分は（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５)の白であるとする。動画像など連続する画像で同じ被写体を撮影しても、光の当たり具合やカメラのホワイトバランス、天候の影響など様々な原因により色は若干変化し得る。基準画像４０１の斜線領域及び仮画像４０２の斜線領域は同じ被写体を撮影した部分を示しているものとする。仮画像４０２の白の部分は、被写体の回転や他者のストロボの影響、別のオブジェクトの混入などによって基準画像４０１では存在しなかった部分を示している。４０４及び４０６は、仮画像４０２内の領域４１４および４１６を拡大した図であり、それぞれ５（画素）×５（画素）の計２５個の画素からなる画素ブロックとなっている。画素ブロック４０４及び４０６のそれぞれ中心に位置する画素４０３及び４０５が注目画素を示している。注目画素４０３について判定を行う場合、アプリケーションは、注目画素４０３を含む画素ブロック４０４を用いる。判定処理に用いる画素ブロックの大きさは５×５に限られず、たとえば３×３、７×７、９×９などのサイズを用いても良い。また、矩形ではなく円形状の画素群を対象範囲としても良い。

上述のような画素ブロックを用いて[基準画像と仮画像との色差]が閾値を超えているか否かについて画素単位で判定される。ここで、閾値は、色差の上限を規定するものであり、想定されるノイズが発生させる色差の最大値を閾値として設定する事が望ましい。閾値として設定される値としては例えば２０などである。判定処理に際し、アプリケーションは、変数Ｔを用意しその初期値として０を設定し、注目画素を含む画素ブロックのたとえば左上の画素から順に、該画素における[基準画像と仮画像との色差]と閾値とを比較する。色差は差分画像における対応する座標の画素値として格納されているので、それを参照して比較を行う。比較の結果、色差が閾値以下であれば変数Ｔに1を加え、色差が閾値を超えていれば変数Ｔ に1を加えずそのままとする。このような処理を画素ブロック内のすべての画素について繰り返すことで、注目画素についての変数Ｔが取得される。この場合において、変数Ｔに1を加えないということは、当該注目画素の合成比率（重み）を減らす事を意味する。

図４に戻り、画素ブロック４０４を見ると、２５個ある画素の１つ１つに“○”又は“×”が記入されている。 “○”は閾値以下と判定された画素、“×”は閾値を超えると判定された画素を示している。画素ブロック４０４の場合、“○”の画素が１５個、“×”の画素が１０個であるので、注目画素４０３の変数Ｔの値は１５となる。同様に、注目画素４０５について見ると、“○”の画素が５個、“×”の画素が２０個であるので、変数Ｔの値は５となる。

このようにして、[基準画像と仮画像との色差]が閾値を超えているか否かの画素単位での判定が、注目画素を含んだ画素ブロックを用いて行われる。

ステップ３０２において、アプリケーションは、ステップ３０１での判定結果（取得された変数Ｔ）を用いて上記仮画像内の画素の重み（W）を算出する。ここで、重み（W）とは、基準画像に対する仮画像の合成比率であり、以下の式（２）で算出される。

W ＝ Ｔ ／ 画素ブロック内の画素数 ・・・式（２）
ここで、上記の注目画素４０３の重みを求めると、変数Ｔの値が１５、画素ブロック内の画素数は２５（５×５）であるから、１５÷２５ ＝ ０．６となる。同様に、注目画素４０５の重みは、５÷２５＝０．２となる。このようにして仮画像内の各画素の重みが算出される。

ステップ３０３において、アプリケーションは、重み付け加算処理を行う。具体的には、仮画像内の画素の信号値に、ステップ３０２で算出された重みをかけたものを、総和画像における対応する座標の値に加算して再格納する処理を行う。これを、式で表現すると以下のようになる。

Ｒｓ ← Ｒｔ × Ｗ ＋ Ｒｓ
Ｇｓ ← Ｇｔ × Ｗ ＋ Ｇｓ
Ｂｓ ← Ｂｔ × Ｗ ＋ Ｂｓ
Ｗｓ ← Ｗ + Ｗｓ

この場合において、Ｒｔ，Ｇｔ，Ｂｔは仮画像の画素の信号値、Ｗは重み、Ｒｓ，Ｇｓ，Ｂｓはそれぞれ、Ｒ，Ｇ，Ｂの信号値の重み付き総和、Ｗｓは重みの総和を表し、「←」は格納を意味する。つまり、右辺のＲｓ、Ｇｓ、Ｂｓはこの重み付け加算処理を行なう前の値を表しており、左辺のＲｓ、Ｇｓ、Ｂｓは重み付け加算処理後の更新された値を表している。なお、Ｒｓ、Ｇｓ、Ｂｓの初期値として基準画像のＲＧＢ信号値が格納されており、仮画像に重み付けを行なった値が順次加算されていくことにより、重み付き総和画像の値が更新されていく。

前述のとおり、基準画像と重み付き総和画像との間では座標が相互に対応しており、基準画像と仮画像との間でも座標は相互に対応している。すなわち、基準画像、重み付き総和画像及び仮画像の３つの画像間では全て同じ座標で対応が取れているため、相互の参照を容易に行うことができる。

ステップ３０４において、アプリケーションは、仮画像内のすべての画素について上記ステップ３０１〜３０３の各処理がなされたかどうかを判定する。すべての画素について終了していなければステップ３０１に戻り、次の画素についてのステップ３０１以下の処理を開始する。すべての画素について終了していればこの加重加算処理を終える。

ここで、図２のフローチャートに戻る。

ステップ２０５の加重加算処理が終わると、ステップ２０６において、アプリケーションは、すべての比較画像についてステップ２０３〜ステップ２０５の各処理が終了したかどうかを判定する。すべての比較画像について終了していなければステップ２０３に戻り、次の比較画像についてステップ２０３以下の処理を開始する。すべての比較画像について終了していれば、ステップ２０７へ進む。

ステップ２０７において、アプリケーションは加重平均処理を行って、基準画像と比較画像とが合成された出力画像（出力画像の１画素は色の信号値であるＲ，Ｇ，Ｂの３要素を持ち、その縦画素数および横画素数は基準画像と同じ数である。）を生成する。より具体的には、重み付き総和画像の画素毎に各信号の重み付き総和（Ｒｓ，Ｇｓ，Ｂｓ)を重みの総和（Ｗｓ）で割って得られた値を、出力画像の対応する座標の画素に格納することで出力画像が生成される。これを式で表現すると以下のようになる。

Ｒｏ ← Ｒｓ ／ Ｗｓ
Ｇｏ ← Ｇｓ ／ Ｗｓ
Ｂｏ ← Ｂｓ ／ Ｗｓ
この場合において、Ｒｏは出力画像のレッド信号の画素値、Ｇｏは出力画像のグリーン信号の画素値、Ｂｏは出力画像のブルー信号の画素値である。

すべての画素について、上記のような加重平均処理を行って出力画像が生成されると、合成処理が終了する。このようにして生成された出力画像は、各種出力（たとえば、ＢＭＰやＪＰＥＧなどの画像ファイルに保存、表示装置であるディスプレイに表示、プリンタに送信して印刷など）に供される。

図５は、本発明に係る合成処理で生成される合成結果画像と従来技術の合成処理で生成される合成結果画像とを対比した図である。

５０１は基準画像であり、５０２は第１の比較画像を基準画像に合わせて変形させた仮画像（１）であり、５０３は第２の比較画像を基準画像に合わせて変形させた仮画像（２）である。

図５の（ｂ）は従来技術による合成の様子を示している。従来技術では、仮画像の画素の重みを算出する際、本発明とは異なりその画素単体で閾値を超えているかどうかの比較がなされる。[基準画像と仮画像との画素の色差]が閾値以下であれば該画素の重みは1、閾値を超えれば重みは０とされる。このような処理によって画像が合成される結果、出力画像は５１０のようになる。グラフ５１５は出力画像５１０に対応しており、その縦軸は出力画像５１０の縦の座標位置を表し、その横軸は該座標位置における画素の合成画像数を表している。出力画像５１０において、斜線領域５１１は、基準画像５０１と仮画像５０２の斜線領域との平均値[たとえば、（Ｒ, Ｇ, Ｂ） ＝ （１３３, １３３, １３３）]となる。仮画像５０３の白領域については、基準画像との色差が大きく閾値を超えるため合成の重みは０となる。結果として、基準画像５０１と仮画像５０２が同等の重みを持ち、双方の平均値となる。斜線領域５１２は基準画像５０１、仮画像５０２、仮画像５０３の平均値[たとえば、（Ｒ, Ｇ, Ｂ） ＝ （１３５, １３５, １３５）]となる。斜線領域５１３は基準画像５０１と仮画像５０３の斜線領域の平均値[（たとえば、Ｒ, Ｇ, Ｂ） ＝ （１３３, １３３, １３３）]となる。

合成結果である出力画像５１０とそのグラフ５１５を参照すると、斜線領域５１１の合成画像数は２、斜線領域５１２の合成画像数は３、斜線領域５１３の合成画像数は２であることが分かる。つまり、斜線領域５１１と斜線領域５１２との間、斜線領域５１２と斜線領域５１３との間において、合成画像数が２から３へ、３から２へと急激に変化している。そのため領域の境界に位置する、隣り合う画素間で色に大きな差が生じ、その結果、観察者に擬似輪郭として認識される可能性がある。

図５の（ａ）は本発明による合成の様子を示している。前述のような加重加算処理を経て画像が合成される結果、出力画像は５０４のようになる。５１４は、縦軸に出力画像５０４の縦の座標位置を表し、横軸に該座標位置における画素の合成画像数を表したグラフである。出力画像５０４において、斜線領域５０５は合成画像数が２の領域であり、基準画像５０１と仮画像５０２の斜線領域との平均値の色となる。斜線領域５０９も合成画像数が２の領域であり、基準画像５０１と仮画像５０３の斜線領域との平均値の色となる。斜線領域５０７は合成画像数が３の領域であり、基準画像５０１、仮画像５０２の斜線領域および仮画像５０３の斜線領域の平均値の色となる。一方、斜線領域５０６では、合成画像数が２から３へと徐々に変化しており、該変化に応じた色となる。斜線領域５０８でも、合成画像数が３から２へと徐々に変化しており、該変化に応じた色となる。このように、本発明の場合、合成画素数が変化する境界部分において急激な変化が生じないので、境界部分の隣り合う画素の間における色の変化も小さくなる。

改めて本発明に係る合成処理を図６を用いて説明する。

図６の例では、基準画像６０１と比較画像６０２の２枚の画像の合成を行う。基準画像６０１に対し、比較画像６０２では被写体である木と建物が画像の左上にずれている。被写体を中心に双方の画像の位置を合わせると、基準画像６０１と比較画像６０２はそれぞれ図６に示すような位置関係となる。そして、比較画像６０２は基準画像６０１に合わせて変形され、仮画像として格納される。ここで、実線で示す矩形６０６は基準画像６０１のフレームを表しており、破線で示す矩形６０７は比較画像６０２のフレームを表している。斜線領域６０８は基準画像６０１のみに存在している領域であり、縦縞領域６０９は比較画像６０２のみに存在している領域である。また、６１０は基準画像６０１と比較画像６０２の両方に存在している領域である。仮画像は６０６の実線の画角を持ち、斜線領域６０８の画素には、比較画像６０２において該領域に対応する領域が存在しないことを意味する負の値が格納されている。

６０４は仮画像における領域６１４の画素ブロックを表している。画素ブロック６０４内の斜線の部分は比較画像６０２には存在しない領域である。前述の図２のフローチャートのステップ２０５において基準画像に対応する比較画像の画素がない場合、該画素には閾値を超える値が格納され、そういった画素は、前述の図３のステップ３０１において閾値を超えると判定される旨説明した。つまり、画素ブロック６０４の斜線部分の画素（“×”が記入されている画素）は閾値を超えると判定されるので、結果、仮画像内の注目画素６１５の合成の重みWは以下のように求められる。

Ｗ ＝ Ｔ ／（５×５） ＝ １５／２５ ＝ ０．６
コーナー領域６１３の画素ブロック６０３についても同様に処理がなされ、仮画像内の注目画素６１６の合成の重みWが以下のように求められる。

Ｗ ＝ Ｔ ／（５×５） ＝ ９／２５ ＝ ０．３６

このようにして、仮画像内のすべての画素について同様の処理を行って合成の重みＷを求め、最終的に基準画像６０１と比較画像６０２とを合成した出力画像が得られる。

６０５は、合成された出力画像の領域６１４における合成画像数を表すグラフである。グラフ６０５では合成画像数が１から２へ徐々に変化しており、そのため当該領域においては色の変化が小さくなることから、擬似輪郭の発生が低減される。

（その他の実施例）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (18)

1. 基準画像と比較画像を比較することにより、当該基準画像と当該比較画像の位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段による位置合わせの結果、前記基準画像と前記比較画像のそれぞれにおいて、他方の画像内に合成相手の領域が存在する第１の領域と当該合成相手の領域が存在しない第２の領域がある場合、当該基準画像における当該第１の領域と当該比較画像における当該第１の領域とを合成する合成手段と、
   前記合成手段による合成により得られた合成画像を出力する出力手段と、
   を有し、
   前記合成手段は、前記基準画像における前記第１の領域内の第１の画素と、前記比較画像における前記第１の領域内であり且つ当該基準画像の前記第２の領域との境界に対応する位置の第２の画素との合成を行う場合に、当該第１の画素を含む所定サイズの領域において当該比較画像内に合成相手の画素が存在する画素の数が第１の数である場合と第２の数の場合とで異なる合成比率に従って、当該第１の画素と当該第２の画素との合成を行う
   ことを特徴とする画像処理装置。
2. 前記第１の数は前記第２の数より大きく、
   前記合成手段は、前記所定サイズの領域において前記比較画像内に合成相手の画素が存在する画素の数が前記第１の数の場合に、当該数が前記第２の数の場合よりも前記第２の画素の合成比率が高くなるように、前記第１の画素と前記第２の画素との合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画素は、前記所定のサイズの領域の中心に対応する位置の画素であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定のサイズの領域は、矩形の領域であることを特徴とする請求項３に記載の画像処理装置。
5. 基準画像と比較画像を比較することにより、当該基準画像と当該比較画像の位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段による位置合わせの結果、前記基準画像と前記比較画像のそれぞれにおいて、他方の画像内に合成相手の領域が存在する第１の領域と当該合成相手の領域が存在しない第２の領域がある場合、当該基準画像における当該第１の領域と当該比較画像における当該第１の領域とを合成する合成手段と、
   前記合成手段による合成により得られた合成画像を出力する出力手段と、
   を有し、
   前記合成手段は、前記基準画像における前記第１の領域内の第１の画素と、前記比較画像における前記第１の領域内であり且つ当該基準画像の前記第２の領域との境界に対応する位置の第２の画素との合成を行う場合に、当該第２の画素が当該比較画像の前記第１の領域のコーナーに対応する位置の画素である場合の当該第２の画素の合成比率が、当該第２の画素が当該比較画像の前記第１の領域のコーナーに対応せず当該第１の領域の辺に対応する位置の画素である場合の当該第２の画素の合成比率よりも低くなるように、当該第１の画素と当該第２の画素の合成を行うことを特徴とする画像処理装置。
6. 動画像に含まれる２つのフレームを前記基準画像と前記比較画像として取得する取得手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、ユーザによる指示に応じて前記動画像から選択されたフレームを前記基準画像として取得し、当該選択されたフレームに基づき当該動画像から選択されたフレームを前記比較画像として取得することを特徴とする請求項６に記載の画像処理装置。
8. 前記合成手段は、前記基準画像に対応する合成比率が前記比較画像の合成比率以上になるように、前記合成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記位置合わせ手段による位置合わせに基づき、前記比較画像の前記第１の領域と、前記基準画像の前記第２の領域に対応し且つ前記比較画像には存在しない領域であることを示す領域を含む仮画像を作成する作成手段を有し、
   前記合成手段は、前記作成手段により作成された前記仮画像に含まれる、前記比較画像の前記第１の領域を、前記基準画像の前記第１の領域に合成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記作成手段により作成された前記仮画像に基づき合成比率を算出する算出手段を有し、
    前記合成手段は、前記算出手段により算出された合成比率に従って、前記基準画像における前記第１の領域と前記比較画像における前記第１の領域とを合成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記合成手段は、前記比較画像の前記第１の領域に含まれる画素ごとに合成比率を算出し、当該算出された合成比率に基づいて前記比較画像の前記第１の領域に含まれる画素ごとに重み付けを行うことにより、前記基準画像の前記第１の領域と前記比較画像の前記第１の領域とを合成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記出力手段は、前記合成画像を含む画像ファイルを保存することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記出力手段は前記合成画像を表示装置に表示させることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
14. 前記出力手段は前記合成画像を印刷装置に印刷させることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
15. 前記出力手段は、前記合成手段による合成により得られ且つ前記比較画像における前記第２の領域が除かれている合成画像を出力することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 基準画像と比較画像を比較することにより、当該基準画像と当該比較画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程における位置合わせの結果、前記基準画像と前記比較画像のそれぞれにおいて、他方の画像内に合成相手の領域が存在する第１の領域と当該合成相手の領域が存在しない第２の領域がある場合、当該基準画像における当該第１の領域と当該比較画像における当該第１の領域とを合成する合成工程と、
    前記合成工程における合成により得られた合成画像を出力する出力工程と、
    を有し、
    前記合成工程では、前記基準画像における前記第１の領域内の第１の画素と、前記比較画像における前記第１の領域内であり且つ当該基準画像の前記第２の領域との境界に対応する位置の第２の画素の合成を行う場合に、当該第１の画素を含む所定サイズの領域において当該比較画像内に合成相手の画素が存在する画素の数が第１の数である場合と第２の数の場合とで異なる合成比率に従って、当該第１の画素と当該第２の画素との合成を行う
    ことを特徴とする画像処理方法。
17. 基準画像と比較画像を比較することにより、当該基準画像と当該比較画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程における位置合わせの結果、前記基準画像と前記比較画像のそれぞれにおいて、他方の画像内に合成相手の領域が存在する第１の領域と当該合成相手の領域が存在しない第２の領域がある場合、当該基準画像における当該第１の領域と当該比較画像における当該第１の領域とを合成する合成工程と、
    前記合成工程における合成により得られた合成画像を出力する出力工程と、
    を有し、
    前記合成工程では、前記基準画像における前記第１の領域内の第１の画素と、前記比較画像における前記第１の領域内であり且つ当該基準画像の前記第２の領域との境界に対応する位置の第２の画素との合成を行う場合に、当該第２の画素が当該比較画像の前記第１の領域のコーナーに対応する位置の画素である場合の当該第２の画素の合成比率が、当該第２の画素が当該比較画像の前記第１の領域のコーナーに対応せず当該第１の領域の辺に対応する位置の画素である場合の当該第２の画素の合成比率よりも低くなるように、当該第１の画素と当該第２の画素の合成を行う
    ことを特徴とする画像処理方法。
18. コンピュータを請求項１乃至１５のいずれか１項に記載の画像処理装置が備える各手段として機能させるための、又は請求項１６または１７に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images