JP2004056359A - 画像合成装置及び画像合成プログラム - Google Patents

Abstract

【課題】連続撮影された複数枚の画像から良質な多重露光画像を得ることができるようにする。
【解決手段】連続撮影されたｎ枚の画像からそれぞれ主要被写体を抽出し（ステップＳ１５）、これらの主要被写体のみ画素値をもつ画像を、時系列順に順次メモリ上に上乗せマッピングし、上乗せ画像（合成画像）を作成する（ステップＳ１６）。主要被写体のみ画素値をもつｎ枚の画像の上乗せ合成が終了すると（ステップＳ１７）、その上乗せ画像を背景画に上乗せ合成する（ステップＳ１９）。
【選択図】　　　　　図２

Description

【０００１】
【発明の属する技術分野】本発明は画像合成装置及び画像合成プログラムに係り、特に連続撮影された複数枚の画像を合成して合成画像を作成する技術に関する。
【０００２】
【従来の技術】
従来、撮影した撮影画像とメモリに記録した記録画像とを合成したり、メモリに記録した２枚の記録画像を合成して多重露光合成やクロマキー合成する電子カメラが提案されている（特開平６−１８９２５５号公報）。
【０００３】
また、連続撮影された複数枚の画像からそれぞれ主要被写体を抽出し、これらの抽出した各フレーム間の主要被写体の画像の変化部分（差分画像）を求めてメモリに記録し、これらの差分画像を合成することで、少ないメモリ容量で多重露光画像（合成画像）を得る電子カメラが提案されている（特開２００１−２８７２６号公報）。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平６−１８９２５５号公報に記載の電子カメラは、２枚の画像を合成（加算による合成又はクロマキー合成）するものであり、動画のような連続撮影された複数枚の画像を合成するものではない。また、加算による画像合成の場合、加算枚数が多くなると、主要被写体などの動きによって画像がぼけ、良質な画像が得られないという問題がある。
【０００５】
また、特開２００１−２８７２６号公報に記載の電子カメラは、主要被写体の差分画像をとるため、動き部分が薄まり、それを加算して電子的に多重露光画像合成するため、更にぼけた画像となり、良質な画像が得られないという問題がある。
【０００６】
本発明はこのような事情に鑑みてなされたもので、連続撮影された複数枚の画像から良質な多重露光画像を得ることができる画像合成装置及び画像合成プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
前記目的を達成するために請求項１に係る画像合成装置は、連続撮影された複数枚の画像から主要被写体を抽出する抽出手段と、前記抽出手段によって抽出した主要被写体のみの複数の画像を時系列順に順次上乗せ合成してなる上乗せ画像を作成する画像合成手段と、を備えたことを特徴としている。
【０００８】
即ち、複数の画像を加算した通常の多重露光画像を得るのではなく、連続撮影された複数枚の画像からそれぞれ抽出した主要被写体のみの複数の画像を、時系列順に順次上乗せ合成することで、上乗せ画像（合成画像）を作成するようにしている。これにより主要被写体の動きが明瞭に分かる合成画像を作成することができる。
【０００９】
請求項２に示すように前記画像合成手段は、前記主要被写体のみの複数の画像の同一座標位置の画素を相対的にずらして、又はずらさずにメモリ上に上乗せマッピングすることにより前記上乗せ画像を作成することを特徴としている。即ち、主要被写体の画像を同位置で上乗せ合成するだけでなく、主要被写体の画像を適宜ずらしながら上乗せ合成するようにしてもよい。後者の場合は、主要被写体の画像の重なる部分を少なくすることができ、連続する個々の主要被写体の画像がより明瞭になる。
【００１０】
請求項３に示すように前記画像合成手段は、前記上乗せ画像を所定の背景画に上乗せ合成してなる合成画像を作成することを特徴としている。
【００１１】
請求項４に係る発明は、連続撮影された複数枚の画像を合成してなる合成画像を作成するための画像合成プログラムであって、コンピュータに、前記連続撮影された複数枚の画像から主要被写体を抽出する機能と、前記抽出した主要被写体のみの複数の画像を時系列順に順次上乗せ合成してなる上乗せ画像を作成する画像合成機能と、を実現させることを特徴としている。
【００１２】
前記画像合成プログラムは、連続撮影が可能な電子カメラ内のアプリケーションソフトとして使用され、又は連続撮影された画像の保存や表示等が可能なパソコン等のアプリケーションソフトとして使用される。
【００１３】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像合成装置及び画像合成プログラムの好ましい実施の形態について詳説する。
【００１４】
図１は本発明に係る画像合成プログラムを有するパーソナル・コンピュータ（以下、「パソコン」という）のハードウェア構成例を示すブロック図である。
【００１５】
図１に示すようにパソコン１は、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１０と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１２と、パソコン１のオペレーティングシステム（ＯＳ）、パソコン１に接続された周辺機器のデバイスドライバ、本発明に係る画像合成プルグラムを含む各種のアプリケーションソフト、ユーザの画像等が格納されるハードディスク装置１４と、ＣＤ−ＲＯＭドライブ１６と、表示用データを一時記憶する表示メモリ１８と、この表示メモリ１８からの画像データ、文字データ等により画像や文字等を表示するＣＲＴモニタや液晶モニタ等のモニタ装置２０と、キーボード２２と、位置入力装置としてのマウス２４と、マウス２４の状態を検出してモニタ装置２０上のマウスポインタの位置やマウス２４の状態等の信号をＣＰＵ１０に出力するマウスコントローラ２６と、デジタルカメラ２と接続して画像データ等の入力が可能なＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などのインターフェース２７と、上記各構成要素を接続するバス２８とから構成されている。
【００１６】
尚、上記構成のパソコン１は、ハードディスク装置１４に格納されている、本発明に係る画像合成処理を行うための画像合成プログラムを除いて周知のものであるため、各構成要素の詳細な説明については省略する。この画像合成プログラムは、例えば、デジタルカメラ２の購入時に同梱されているＣＤ−ＲＯＭなどに記録されており、このＣＤ−ＲＯＭをパソコン１のＣＤ−ＲＯＭドライブ１６にセットすることにより、パソコン１にインストールすることができる。また、図示しない通信手段を介して画像合成プログラムを提供するサーバからダウンロードすることもできる。
【００１７】
次に、上記パソコン１に接続されるデジタルカメラ２による撮影からパソコン１へのデータ転送について説明する。
（ステップＳ１）
デジタルカメラ２を三脚等に固定し、被写体の入っていない静止画を撮影する。この撮影した静止画を、背景画としてカメラ内のメモリカードにＪＰＥＧ形式などの静止画ファイル形式で保存する。
（ステップＳ２）
ステップＳ１での静止画の撮影に引き続き、デジタルカメラ２を固定した状態で被写体をフレーム撮像にて動画撮影を行う。撮影した動画を、カメラ内のメモリカードにＭｏｔｉｏｎ　ＪＰＥＧ　形式などの動画ファイル形式、もしくは連続する静止画ファイル形式で保存する。
（ステップＳ３）
撮影終了後のデジタルカメラ２を図１に示すようにパソコン１に接続し、デジタルカメラ２内のメモリカードに保存した静止画ファイル、動画ファイルをパソコン１に転送してハードディスク装置１４に保存する。
【００１８】
次に、パソコン１での画像合成処理について、図２に示すフローチャートを参照しながら説明する。
【００１９】
まず、本発明に係る画像合成処理プログラムを起動すると、パソコン１のモニタ装置２０には、背景画となる静止画ファイルや、画像合成する動画ファイルを選択するための画面が表示され（図示せず）、この画面上で所望の静止画ファイルと動画ファイルとを選択する（ステップＳ１０、Ｓ１１）。
【００２０】
続いて、ステップＳ１１で選択した動画ファイルから処理対象となるｎ枚の静止画を選択し、この選択したｎ枚の静止画を、動画ファイルから切り出して連続する静止画として再保存する（ステップＳ１２、Ｓ１３）。尚、ｎ枚の静止画は、任意の数値ｎを入力し、動画ファイルからｎ枚の静止画を等間隔で自動的に選択するようにしてもよいし、動画の各コマ画像を見ながら手動で１枚ずつ選択するようにしてもよい。あるいは、動画中のある期間を指定し、その期間内のすべてのコマ画像を選択するようにしてもよい。
【００２１】
次に、ｎ枚の静止画のうちの処理する静止画の番号ｉを１（ｉ＝１）にする（ステップＳ１４）。尚、ｎ枚の静止画は、時系列順に１〜ｎの番号が付されているものとする。
【００２２】
処理対象のｉ番目の静止画から主要被写体を抽出する（ステップＳ１５）。主要被写体の抽出は、ステップＳ１０で選択した背景画に基づいて行う。即ち、ｉ番目の静止画と背景画の同位置の画素間の色空間距離（それぞれの画素のＲ、Ｇ、Ｂデータの差分値の合計）を算出し、算出結果が規定値以上の画素を主要被写体候補画素として抽出する。
【００２３】
このようにして抽出した主要被写体候補画素群に対し、連結化等の画像処理を施し、ノイズ画素除去を行って主要被写体のみの画像を得る。この主要被写体のみの画像を、元の静止画と同じ画素サイズにして主メモリ１２に保存する。即ち、元の静止画の主要被写体以外の領域は、画素値をもたない画素（例えば、Ｒ、Ｇ、Ｂ＝（−１，−１，−１））　で埋めて元の静止画と同じ画素サイズにする。
【００２４】
次に、ステップＳ１５で抽出した主要被写体のみ画素値をもつ画像を、主メモリ１２の１フレーム分の合成画像用のメモリ領域に上乗せマッピングして主要被写体の上乗せ合成を行う（ステップＳ１６）。即ち、連続するｉ番目の画像ｉとｉ＋１番目の画像（ｉ＋１）のそれぞれ同じ座標　（ｘ，ｙ）　の画素が重なるようにマッピングした後、両画像の画素の画素値が重なる部分に関しては、画像（ｉ＋１）の画素値が採用されるように上乗せ後の画素値を決める。尚、１番目の静止画から抽出した主要被写体のみの画像の場合には、そのままメモリ上にマッピングする。
【００２５】
上記上乗せ合成のアルゴリズムを以下に示す。
【００２６】
画像ｉと画像（ｉ＋１）の各画素をスキャンし、上乗せ後の合成画像ｃｏｍｐの各画素値（Ｒｃｏｍｐ，Ｇｃｏｍｐ，Ｂｃｏｍｐ）　を決める。便宜上、ここでは主要被写体の画素以外の画素値を（Ｒ，Ｇ，Ｂ）　＝（−１　、−１、−１）　と定義する。
【００２７】
画像ｉの画素と画像（ｉ＋１）の同位置の画素がともに主要被写体の画素値を持つ場合には、画像（ｉ＋１）の画素値を採用する。即ち、
（Ｒｉ，Ｇｉ，Ｂｉ）≠（−１　、−１、−１）　かつ（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）≠（−１　、−１、−１）　の画素
→（Ｒｃｏｍｐ，Ｇｃｏｍｐ，Ｂｃｏｍｐ）　＝（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）
画像ｉの画素が主要被写体の画素値を持たず、画像（ｉ＋１）の同位置の画素が主要被写体の画素値を持つ場合には、画像（ｉ＋１）の画素値を採用する。即ち、
（Ｒｉ，Ｇｉ，Ｂｉ）＝（−１　、−１、−１）　かつ（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）≠（−１　、−１、−１）　の画素
→（Ｒｃｏｍｐ，Ｇｃｏｍｐ，Ｂｃｏｍｐ）　＝（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）
画像ｉの画素が主要被写体の画素値を持ち、画像（ｉ＋１）の同位置の画素が主要被写体の画素値を持たない場合には、画像ｉの画素値を採用する。即ち、
（Ｒｉ，Ｇｉ，Ｂｉ）≠（−１　、−１、−１）　かつ（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）＝（−１　、−１、−１）　の画素
→（Ｒｃｏｍｐ，Ｇｃｏｍｐ，Ｂｃｏｍｐ）　＝（Ｒｉ，Ｇｉ，Ｂｉ）
画像ｉの画素と画像（ｉ＋１）の同位置の画素がともに主要被写体の画素値を持たない場合には、上乗せ後も画素値を持たない値（−１　、−１、−１）　にする。即ち、
（Ｒｉ，Ｇｉ，Ｂｉ）＝（−１　、−１、−１）　かつ（Ｒｉ＋１，Ｇｉ＋１，Ｂｉ＋１）＝（−１　、−１、−１）　の画素
→（Ｒｃｏｍｐ，Ｇｃｏｍｐ，Ｂｃｏｍｐ）　＝（−１　、−１、−１）
上記のようにしてｉ番目の画像の主要被写体の上乗せ合成が終了すると、ｎ枚分の上乗せ合成が終了したか否かを判別し（ステップＳ１７）、終了していない場合（ｉ＜ｎ）には、ｉを１だけインクリメントし（ステップＳ１８）、ステップＳ１５に戻る。これにより、時系列順の次の静止画に対して上記と同様な主要被写体の抽出処理、及び主要被写体の上乗せ合成が行われる。
【００２８】
ｎ枚分の上乗せ合成が終了した場合（ｉ＝ｎ）には、上乗せ画像を背景画に上乗せ合成する（ステップＳ１９）。即ち、上乗せ画像中の画素値がない部分を、すべて背景画の画素で埋める。
【００２９】
このようにして作成された合成画像は、ハードディスク装置１４に保存され、又はモニタ装置２０に表示され、あるいは図示しないプリンタによってプリント出力される。
【００３０】
図３は上記のようにして作成された合成画像の作成イメージ図である。
【００３１】
次に、主要被写体の画像の上乗せ合成の他の実施の形態について説明する。
【００３２】
まず、ｎ枚の静止画からそれぞれ主要被写体を抽出するまで処理は、上記と同様にして行う。このようにして抽出した主要被写体の画像を内側に含む最小矩形を算出し、この最小矩形内の画像（矩形画像）をメモリ上に保存する。
【００３３】
図４（Ａ）及び（Ｂ）に示す画像は、それぞれｉ番目の矩形画像ｉとｉ＋１番目の矩形画像（ｉ＋１）である。
【００３４】
次に、矩形画像ｉの座標（ｘ_ｉ，ｙ_ｉ）と、矩形画像（ｉ＋１）の座標（ｘ_ｉ＋１，ｙ_ｉ＋１）が重なるように画素をマッピングする。
【００３５】
例えば、各矩形画像の下側で揃え、矩形画像ｉの右側半分に矩形画像（ｉ＋１）が重なるように上乗せ合成する際には、矩形画像ｉの横幅をＭａｘ−ｘｉとすると、矩形画像（ｉ＋１）の各画素の座標（ｘ_ｉ＋１，ｙ_ｉ＋１）のｘ座標にＭａｘ−ｘｉ／２を加算して、右側にずれた座標（ｘ_ｉ＋１＋Ｍａｘ−ｘｉ／２_，ｙ_ｉ＋１）に変換する。その後、同じ座標の画素が重なるようにマッピングした後、両画像の画素の画素値が重なる部分に関しては、画像（ｉ＋１）の画素値が採用されるように上乗せ後の画素値を決める。
【００３６】
このようにして図４（Ａ）に示す矩形画像ｉに対して同図（Ｂ）に示す矩形画像（ｉ＋１）を右側にずらして上乗せ合成することにより、同図（Ｃ）に示す合成画像が得られる。
【００３７】
このような上乗せ合成をｎ枚の矩形画像（１〜ｎ）に対して順次行うことにより、図５に示すような合成画像を作成することができる。
【００３８】
尚、この実施の形態では、動画とは別に、主要被写体の入っていない静止画（背景画）を撮影するようにしたが、これに限らず、主要被写体の入っていない動画を撮影し、その動画の１コマを背景画として採用してもよい。また、動画から複数枚の静止画を取得するようにしたが、これに限らず、連続する複数枚の画像は、所定のインターバルで連続的に撮影する連写モードで撮影された複数枚の静止画でもよい。
【００３９】
また、画像から主要被写体を抽出する方法としては、例えば、ブルーバックなどの特定色のスクリーンを背景にして主要被写体を撮影し、この撮影した画像から特定色に基づいて主要被写体を抽出するクロマキー処理によって抽出する方法を採用してもよいし、画像中の主要被写体の画素の１つをポイントし、そのポイントされた画素の連続性等から主要被写体の輪郭を求め、その輪郭に基づいて主要被写体を抽出する方法を採用してもよい。これらの主要被写体の抽出方法の場合には、主要被写体を抽出するために主要被写体が入っていない背景画を別途撮影する必要がない。
【００４０】
更に、本発明に係る画像合成処理装置は、上記画像合成処理プログラムを有するパソコンに限らず、デジタルカメラ内の画像合成処理機能として追加されたものでもよい。
【００４１】
【発明の効果】
以上説明したように本発明によれば、複数の画像を加算した通常の多重露光画像を得るのではなく、連続撮影された複数枚の画像からそれぞれ抽出した主要被写体のみの複数の画像を、時系列順に順次上乗せ合成して上乗せ画像（合成画像）を作成するようにしたため、主要被写体の動きが明瞭に分かる良質な合成画像を作成することができる。
【００４２】
また、主要被写体の画像をずらさずに上乗せ合成する場合の他に、適宜ずらしながら上乗せ合成してもよく、この場合には、主要被写体の画像の重なる部分を少なくすることができ、連続する個々の主要被写体の画像がより明瞭になる。
【図面の簡単な説明】
【図１】本発明に係る画像合成プログラムを有するパソコンのハードウェア構成例を示すブロック図
【図２】本発明に係る画像合成処理手順の一例を示すフローチャート
【図３】複数の主要被写体の画像をそれぞれ同位置で上乗せ合成した合成画像の作成イメージ図
【図４】主要被写体の画像をずらして上乗せ合成する方法を説明するために用いた図
【図５】複数の主要被写体の画像をそれぞれずらして上乗せ合成した合成画像の作成イメージ図
【符号の説明】
１…パソコン、２…デジタルカメラ、１０…中央処理装置、１２…主メモリ、１４…ハードディスク装置、２０…モニタ装置、２２…キーボード、２４…マウス、２７…インターフェース

Claims (4)

1. 連続撮影された複数枚の画像から主要被写体を抽出する抽出手段と、
   前記抽出手段によって抽出した主要被写体のみの複数の画像を時系列順に順次上乗せ合成してなる上乗せ画像を作成する画像合成手段と、
   を備えたことを特徴とする画像合成装置。
2. 前記画像合成手段は、前記主要被写体のみの複数の画像の同一座標位置の画素を相対的にずらして、又はずらさずにメモリ上に上乗せマッピングすることにより前記上乗せ画像を作成することを特徴とする請求項１の画像合成装置。
3. 前記画像合成手段は、前記上乗せ画像を所定の背景画に上乗せ合成してなる合成画像を作成することを特徴とする請求項１又は２の画像合成装置。
4. 連続撮影された複数枚の画像を合成してなる合成画像を作成するための画像合成プログラムであって、コンピュータに、
   前記連続撮影された複数枚の画像から主要被写体を抽出する機能と、
   前記抽出した主要被写体のみの複数の画像を時系列順に順次上乗せ合成してなる上乗せ画像を作成する画像合成機能と、
   を実現させることを特徴とする画像合成プログラム。

Images