JP2005086228A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】様々な合成画像を簡単に作成でき、撮影後でもシャッター速度を変えた画像を得ることのできる撮像装置を提供する。
【解決手段】連写モードにより被写体を所定の時間間隔で連続的に撮影し、そのときに得られた所定コマ数分の画像を時系列順にバッファメモリに保持しておく。ここで、合成操作画面６１のスライドバー６２にて前記各画像に対して合成開始位置と合成終了位置を指定可能とし、その指定範囲内の各画像をバッファメモリから読み出して合成処理する。この場合、スライドバー６２による合成範囲の変更操作により、あたかもシャッター速度を変えたような画像が合成結果として合成結果表示部６７に表示される。
【選択図】 図７

Description

本発明は、例えばデジタルカメラなどの撮像装置に係り、特に複数枚の画像を合成可能な機能を備えた撮像装置、画像処理方法及びプログラムに関する。

従来、例えばデジタルカメラなどの撮像装置では、画像合成機能を備えたものがある。例えば、特許文献１では、人物（中心被写体）とその後に存在する風景（背景被写体）といったように、遠近差のある被写体を撮影する際に、それぞれの被写体に合わせてストロボ発光量を変えて撮影することで、各画像の中から明るさの最適な部分を抽出して合成画像を作成することが開示されている。

また、特許文献２では、このような合成画像を作成するための多重撮影に関し、先に撮影された被写体のファインダ内の位置を明示しておくことで、次に撮影する被写体との重なりを防止することについて開示されている。
特開平１１−２０５６６６号公報 特開平 ５−２２４２８５号公報

上述したような従来の撮像装置では、個別に撮影された所定数（通常２枚）の画像を単に組み合わせて合成するだけであり、連写によって得られた複数コマの画像の中から任意コマ数分の画像を選択して様々な合成画像を作り出すようなことはできなかった。

一方、この種の撮像装置では、シャッター速度を任意に調整して撮影することができるが、一度決めたシャッター速度で被写体を撮影した場合には、そのときのシャッター速度で撮影された画像しか得ることはできない。

本発明は前記のような点に鑑みなされたもので、連写によって得られた複数の画像を用いて様々な合成画像を簡単に作成することができると共に、撮影後でもシャッター速度を変えた画像を得ることのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の撮像装置は、被写体を所定の時間間隔で連続的に撮影する撮影手段と、この撮影手段によって得られた所定コマ数分の画像を時系列順に保持する保持手段と、前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する合成範囲指定手段と、この合成範囲指定手段によって指定された合成開始位置から合成終了位置までの各画像を前記保持手段から読み出して、これらを合成処理する合成処理手段と、この合成処理手段によって得られた合成画像を表示する表示手段と、確定指示があったときに、前記表示手段に表示された合成画像を所定のメモリに記録する記録制御手段とを具備して構成される。

このような構成の撮像装置によれば、連写によって得られた各画像の中で任意コマ数分の画像を範囲指定して、様々な合成画像を簡単に作成することができる。また、合成画像を画面上で確認しながら、必要に応じてメモリに記録することができ、さらに、合成する画像のコマ数を変更すれば（つまり、合成開始位置から合成終了位置の合成範囲を変更することにより）、撮影後でも、あたかもシャッター速度を変えたような画像を合成結果として得ることができる。

本発明の撮像装置は、被写体を所定の時間間隔で連続的に撮影する撮影手段と、この撮影手段によって得られた所定コマ数分の画像を時系列順に保持する保持手段と、前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する合成範囲指定手段と、画像中の任意のエリアを指定するエリア指定手段と、前記合成範囲指定手段によって指定された合成開始位置から合成終了位置までの各画像を前記保持手段から読み出し、これらの画像の中の前記エリア指定手段によって指定されたエリアだけを対象にして合成処理する合成処理手段と、この合成処理手段によって得られた合成画像を表示する表示手段と、確定指示があったときに、前記表示手段に表示された合成画像を所定のメモリに記録する記録制御手段とを具備して構成される。

このような構成の撮像装置によれば、連写によって得られた各画像の中で任意コマ数分の画像を範囲指定し、その際に画像中の任意のエリアを指定することにより、その指定エリアの部分だけを対象に各画像を合成処理して、様々な合成画像を簡単に作成することができる。また、合成画像を画面上で確認しながら、必要に応じてメモリに記録することができ、合成する画像のコマ数を変更すれば（つまり、合成開始位置から合成終了位置の合成範囲を変更することにより）、さらに、撮影後であっても、前記エリア指定により部分的にシャッター速度を変えたような画像を合成結果として得ることができる。

また、前記撮像装置において、前記合成範囲指定手段は、前記所定コマ数分の画像を時間軸上で指定可能な長さを有するスライドバーからなり、そのスライドバー上で合成開始位置と合成終了位置を指定することを特徴とする。

このような構成によれば、スライドバー形式で合成開始位置から合成終了位置の合成範囲を簡単に指定することができる。

また、前記撮像装置において、複数の異なる合成方法の中の１つを選択する合成方法選択手段を備え、前記合成処理手段は、前記合成方法選択手段によって選択された合成方法で前記各画像を合成処理することを特徴とする。

このような構成によれば、合成方法を変えて様々な合成画像を作成することができる。なお、前記複数の異なる合成方法には、各画像の輝度信号を画素単位で加算して合成する方法（「加算」方法）、各画像の輝度信号を画素単位で平均して合成する方法（「平均」方法）、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も大きいものを選択して合成する方法（「最大」方法）、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も小さいものを選択して合成する方法（「最小」方法）などが含まれ、これらを任意選択的に設定して合成処理を行うことができる。

また、前記撮像装置において、前記撮影手段による連写の時間間隔を任意に設定する連写間隔設定手段を備えたことを特徴とする。

このような構成によれば、連写の時間間隔で変更して連続撮影を行うことができ、例えば時間間隔を短く設定しておけば、単位時間当たりに撮影される画像のコマ数を増やして、密度の高い合成画像を得ることができる。

本発明によれば、連写によって得られた複数の画像を用いて様々な合成画像を簡単に作成することができ、その合成画像を画面上で確認しながら、必要な合成画像のみを効率的にメモリに保存していくことができる。

また、合成する画像のコマ数を変更することにより、撮影後であってもシャッター速度を変えたような画像を合成結果として得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示すもので、図１（Ａ）が主に前面の構成、図１（Ｂ）が主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディの前面に撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、ストロボ発光部５が設けられ、上面の一端側（ユーザにとって右端側）には電源キー６及びシャッタキー７が設けられている。電源キー６は、電源をオン／オフするためのキーである。シャッタキー７は、撮影モード時に撮影タイミングを指示するためのキーである。

また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）８、メニューキー９、十字キー１０、連写キー１１などの各種操作キーが設けられていると共に、光学ファインダ１２、ストロボチャージランプ１３及び表示部１４が設けられている。

モードスイッチ８は、例えばスライドキースイッチにより構成され、基本モードである記録モード「Ｒ」と再生モード「Ｐ」とを切換える。メニューキー９は、各種メニュー項目等を選択させる際に操作する。十字キー１０は、上下左右各方向へのカーソル移動用のキーが一体に形成されたものであり、表示されているメニュー項目等を移動させる際に操作する。連写キー１１は、被写体を所定の時間間隔で連続的に撮影するための連写モードを指定するためのキーである。

ストロボチャージランプ１３は、光学ファインダ１２に近接して配設されたＬＥＤランプからなり、ユーザが光学ファインダ１２を覗いている場合と表示部１４を見ている場合のいずれであってもストロボのチャージ状態等をユーザに視認させる。

表示部１４は、例えばバックライト付きのカラー液晶パネルで構成されるもので、記録モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。なお、この表示部１４の表示画面上には、ポインティングデバイスであるタッチパネル１５が配設されており、ペン操作によりメニュー項目の選択や範囲指定などを行う可能な構造を有する。

また、特に図示しないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２は前記デジタルカメラ１の電子回路の構成を示すブロック図である。
同図で、基本モードである記録モードにおいては、モータ（Ｍ）２１の駆動により、撮影レンズ２を構成するレンズ光学系２２の合焦位置や絞り位置が移動される。このレンズ光学系２２の撮影光軸後方に撮像素子であるＣＣＤ２３が配置されている。ＣＣＤ２３は、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換信号を出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換され、カラープロセス回路２８で画素補間処理及びγ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

前記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後、このデジタルカメラ１の主制御回路である制御部３２は、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して前記表示部１４に出力する。

この表示部１４は、上述した如く記録モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

なお、表示部１４の表示画面上にタッチパネル１５が配設されている場合には、この表示画面上でペンにて指定した位置が検出され、その位置の座標情報が制御部３２に入力される。

ここで、表示部１４にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影を行いたいタイミングでキー入力部３６を構成する前記シャッタキー７を操作すると、トリガ信号を発生する。制御部３２は、このトリガ信号に応じてその時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして、得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着されるフラッシュメモリ３８に書込む。

そして、１フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

なお、前記キー入力部３６は、上述したシャッタキー７の他に、電源キー８、モードスイッチ８、メニューキー９、十字キー１０及び連写キー１１などを含み、これらのキー操作に伴う信号は直接制御部３２へ送出される。このうち、連写キー１１が操作された場合には、制御部３２は時間間隔Δｔに従って連続撮影を実行し、その連続撮影によって得られた所定コマ数分（ｎコマ）の画像（静止画像）を順次フラッシュメモリ３８に書き込んでいく。

一方、静止画像ではなく動画像の撮影時においては、キー入力部３６のシャッタキー７が操作され続けている間、上述した静止画像データをＪＰＥＧ回路３７でデータ圧縮した静止画データファイルのフラッシュメモリ３８への記録を時間的に連続して実行し、該シャッタキー７の操作が終わるか、または所定の制限時間、例えば３０秒が経過した時点でそれら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイルとして設定し直す。

また、基本モードである再生モード時には、制御部３２がフラッシュメモリ３８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路３７で圧縮されている画像データを伸長し、伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読出してビデオ信号を発生し、前記表示部１４で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画像データの再生を時間的に連続して実行し、すべての静止画像データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画像データのみを用いて再生表示する。

図３は前記制御部３２の構成を示すブロック図である。
この制御部３２は、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３を含むマイクロコンピュータによって構成される。ＣＰＵ４１は、デジタルカメラ１全体の制御動作を司るものであって、プログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。ＲＯＭ４２には、このＣＰＵ４１で実行されるプログラムなどが記憶されている。

また、ＲＡＭ４３は、ワークメモリとして使用される。このＲＡＭ４３には、連写の時間間隔Δｔ（図４参照）や、合成開始位置Ｓｍｉｘ、合成終了位置Ｅｍｉｘ、合成方法（「加算」／「平均」／「最大値」／「最小値」）といった合成操作情報（図７参照）が記憶されると共に、後述する第２の実施形態で用いられる指定エリアＰｍｉｘ（図１１参照）を記憶する。

次に、本発明によって実現される合成画像の作成方法について説明する。
図４はデジタルカメラ１の連写モードによって時系列で得られる各画像を模式的に示す図、図５はその連写モードの時間間隔を設定するための画面の一例を示す図、図６は合成結果として得られる画像の一例を示す図である。

上述したように、このデジタルカメラ１には、連写キー１１の操作によって起動される連写モードが備えられている。この連写モードにより被写体を撮影すると、図４に示すように、所定コマ数分（ｎコマとする）の画像が得られる。このときの連写の時間間隔をΔｔとすると、隣り合った各コマ同士の間の撮影時間間隔がそれぞれΔｔであるような、ｎコマの連写画像が得られることになる。

次に、これらの画像の中で任意コマ数の画像を用いて合成画像を作成するべく、その合成対象となる各画像を後述するスライドバー形式により範囲指定する。このときの合成開始位置をＳｍｉｘ、合成終了位置をＥｍｉｘとすると、合成開始位置Ｓｍｉｘから合成終了位置Ｅｍｉｘまでの各画像が合成対象として選出され、これらの画像からなる合成画像が作成される。図４の例では、３コマ目の画像である「画像３」が合成開始位置Ｓｍｉｘに、（ｎ−１）コマ目の画像である「画像（ｎ−１）」が合成終了位置Ｅｍｉｘに、それぞれ指定されており、「画像３」から「画像（ｎ−１）」までの各画像が合成されることになる。

ここで、前記連写の時間間隔Δｔは、例えば図５に示すような連写間隔設定画面５１にてユーザが任意に変更することができる。この連写間隔設定画面５１は時間入力部５２を有し、そこに例えば十字キー１０の上下キーの操作によって任意の時間間隔を設定するように構成されている。図５の例では、Δｔ＝［０．３］秒に設定されており、これは、各コマ同士の間の時間間隔を０．３秒として、連続的に撮影することを意味する。

この場合、Δｔを長くして、動いている被写体を連写したとすれば、図６に示すように被写体が飛び飛びに写っているような合成画像が得られる。一方、Δｔを短くして、Δｔ→０（ゼロに近づける）とすると、単位時間当たりのコマ数が増えるため、合成画像としての密度が高くなり、動いている被写体は連続的に繋がっているように見えるので、擬似的にシャッター速度を変えていることと同じようになる。

図７は実際にユーザが合成画像を作成するときに用いられる合成操作画面の構成を示す図である。

上述した連写モードによりｎコマ分の画像が得られると、図７に示すような合成操作画面６１が表示部１４に表示される。この合成操作画面６１は、合成範囲を指定するためのスライドバー６２、画像合成方法を選択するためのＭＩＸボタン６３〜６６、合成結果を表示するための合成結果表示部６７、確定指示を行うための確定ボタン６８などから構成される。

スライドバー６２は、連写モードによって得られたｎコマ分の画像を時間軸上で指定するためのバーであって、そのバー上に設けられた合成開始位置指定用のポインタ６２ａと合成終了位置指定用のポインタ６２ｂを例えば十字キー１０の左右キー等の操作により移動させることで、合成に用いる画像のコマ数を範囲指定するように構成されている。このスライドバー６２上にはｎ等分に区分された目盛り６２ｃが付記されており、ユーザはこの目盛り６２ｃを目印にして、どこからどこまでの画像を合成するのかをポインタ６２ａ、６２ｂにより指定することができる。

なお、前記スライドバー６２は、画像のコマ数でなく、時間幅を指定するような構成であっても良い。この場合、前記目盛り６２ｃは所定の時間毎に付され、ユーザはそれを目印にして、何秒目から何秒目までの画像を合成するのかをポインタ６２ａ、６２ｂにより指定することになる。

また、本実施形態では、「加算」、「平均」、「最大値」、「最小値」といった複数の合成方法が用意されており、これらのうちの１つをＭＩＸボタン６３〜６６によって選択することができる。ＭＩＸボタン６３は「加算」方法を選択するためのボタン、ＭＩＸボタン６４は「平均」方法を選択するためのボタン、ＭＩＸボタン６５は「最大値」を選択するためのボタン、ＭＩＸボタン６５は「最小値」方法を選択するためのボタンである。なお、これらのＭＩＸボタン６３〜６６、そして、確定ボタン６８は、例えば十字キー１０やタッチパネル１５用のペンにて操作される。

ＭＩＸボタン６３によって選択される「加算」方法とは、各画像の輝度信号を画素単位で加算して合成する方法である。ＭＩＸボタン６４によって選択される「平均」方法とは、各画像の輝度信号を画素単位で平均して合成する方法である。ＭＩＸボタン６５によって選択される「最大値」方法とは、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も大きいものを選択して合成する方法である。ＭＩＸボタン６６によって選択される「最小値」方法とは、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も小さいものを選択して合成する方法である。

合成結果表示部６７には、スライドバー６２によって指定された合成範囲の各画像がＭＩＸボタン６３〜６６によって選択された合成方法で合成処理された結果（合成画像）が表示される。この合成結果表示部６７に表示された合成画像でよければ、確定ボタン６８を押すことで、その合成画像が画像記録用のメモリ（ここではフラッシュメモリ３８）に記録される。この確定ボタン６８を押すまでは記録動作は行われず、スライドバー６２、ＭＩＸボタン６３〜６６の操作により様々な合成画像を作成し、これを合成結果表示部６７で確認することができる。

次に、本発明の第１の実施形態としての動作を説明する。
図８及び図９は本発明の第１の実施形態におけるデジタルカメラ１の処理動作を示すフローチャートである。なお、このフローチャートで示される各処理は、主制御回路である制御部３２を構成するＣＰＵ４１がＲＯＭ４２などに記憶されたプログラムを読み込むことにより実行される。

まず、モードスイッチ８が記録モード「Ｒ」（撮影モード）に切り換えられている状態で、ユーザが連写キー１１を押下して連写モードを設定すると（ステップＡ１１）、ＣＰＵ４１は、図５に示すような連写間隔設定画面５１を初期設定画面として表示部１４に表示する（ステップＡ１２）。上述したように、この連写間隔設定画面５１にて連写の時間間隔Δｔを任意に設定することができ、その設定値が図３に示すＲＡＭ４３の所定の領域に保持される。

ここで、シャッタキー７が押下されると（ステップＡ１３のＹｅｓ）、ＣＰＵ４１は前記設定されたΔｔの時間間隔で連続撮影を行って、所定コマ数分（ｎコマ）の画像を得る（ステップＡ１４）。なお、記録モード時の撮影動作については図２で既に説明済みであるため、ここでは省略する。このときの連写モードによって得られたｎコマの画像は、バッファメモリであるＤＲＡＭ３１の所定領域に時系列の順に一時的に保持される（ステップＡ１５）。

次に、ＣＰＵ４１は、図７に示すような合成操作画面６１を表示部１４に表示して、ユーザの指示を待つ（ステップＡ１６）。初期状態では、合成開始位置Ｓｍｉｘおよび合成終了位置Ｅｍｉｘは例えばそれぞれ１コマ目の画像に設定されている。また、合成方法は「平均」方法に設定されている。

この合成操作画面６１において、ユーザがスライドバー６２上のポインタ６２ａを移動させると、その移動先の位置に応じて合成開始位置Ｓｍｉｘが変更される（ステップＡ１７，Ａ１８）。同様に、スライドバー６２上のポインタ６２ｂを移動させると、その移動先の位置に応じて合成終了位置Ｅｍｉｘが変更される（ステップＡ１９，Ａ２０）。また、ＭＩＸボタン６３〜６６のいずれかを選択すると、その選択されたボタンに応じた合成方法に変更される（ステップＡ２１，Ａ２２）。

このようなユーザの合成操作に伴い、ＣＰＵ４１はスライドバー６２で指定された各画像を対象として、これらの画像をＭＩＸボタン６３〜６６で指定された合成方法にて合成処理する（ステップＡ２３）。

詳しくは、図１０のフローチャートに示すように、まず、ＣＰＵ４１は、ＤＲＡＭ３１に保持されているｎコマの画像の中でスライドバー６２上のポインタ６２ａによって指定された合成開始位置Ｓｍｉｘに対応した画像と、ポインタ６２ｂによって指定された合成終了位置Ｅｍｉｘに対応した画像を検索し、その間の各画像を合成対象として読み出す（ステップＢ１１）。

そして、ＣＰＵ４１は、現在設定されている合成方法をチェックし、それが「加算」方法であれば（ステップＢ１２のＹｅｓ）、前記合成対象として読み出された各画像の輝度信号を画素単位で加算し、その算出結果として得られた画像を合成画像としてＶＲＡＭ３４に展開する（ステップＢ１３）。この場合、各画像毎に輝度信号が加算されるので、全体的に明るい画像が合成画像として生成される。なお、加算値は予め決められた最大値を超えないように制御される。

また、「平均」方法であれば（ステップＢ１４のＹｅｓ）、ＣＰＵ４１は、前記合成対象として読み出された各画像の輝度信号を画素単位で平均化した値を算出し、その算出結果として得られた画像を合成画像としてＶＲＡＭ３４に展開する（ステップＢ１５）。この場合には、輝度信号が平均化されるので、全体的に明るさの変化を抑えた画像が合成画像として生成されることになる。

また、「最大値」方法であれば（ステップＢ１６のＹｅｓ）、ＣＰＵ４１は、前記合成対象として読み出された各画像の輝度信号を画素単位で比較し（ステップＢ１７）、その中の最大値を選択した画像を合成画像としてＶＲＡＭ３４に展開する（ステップＢ１８）。この場合には、輝度信号の高いデータが選択されるので、各画像の中で明るい部分を優先した画像が合成画像として生成されることになる。

また、「最小値」方法であれば（ステップＢ１９のＹｅｓ）、ＣＰＵ４１は、前記合成対象として読み出された各画像の輝度信号を画素単位で比較し（ステップＢ２０）、その中の最小値を選択した画像を合成画像としてＶＲＡＭ３４に展開する（ステップＢ２１）。この場合には、輝度信号の低いデータが選択されるので、各画像の中で暗い部分を優先した画像が合成画像として生成されることになる。

なお、各画像の輝度信号だけでなく、ＲＧＢの色素別に合成処理を行うことも可能である。この場合、「加算」方法であれば、各画素毎にＲＧＢの色信号が加算され、「平均」方法であれば、各画素毎にＲＧＢの色信号の平均値が算出される。また、「最大値」方法であれば、各画素毎にＲＧＢの色信号の最大値が算出され、「最小値」方法であれば、各画素毎にＲＧＢの色信号の最小値が算出される。

また、このようなＲＧＢだけの合成処理では画像の色相が変わってしまうため、例えば「最大値」方法では、上述のように、各画像の比較対象画素の中から輝度の最も高いものを決定して、その画素が有する輝度および色をそのままその画素の値として決定したり、「最小値」方法では、これとは逆に輝度の最も低い画素の有する輝度および色をそのままその画素の値にする、といった方法でも良い。

また、色信号の加算や平均値の算出にあたっては、ベクトル加算による算出を行っても良いし、成分毎のスカラー加算によって求めても良い。

このようにして生成された合成画像は、ＶＲＡＭコントローラ３３を通じて表示部１４に出力され、合成操作画面６１の合成結果表示部６７に表示される（ステップＡ２４）。この合成結果表示部６７にて、ユーザはどのような合成画像が出来上がるのかを確認することができ、さらに、前記同様の操作により合成範囲（合成開始位置Ｓｍｉｘや合成終了位置Ｅｍｉｘ）を変更したり、合成方法（「加算」、「平均」、「最大値」、「最小値」）を変えることで様々な合成画像を簡単に得ることができる。

意図する合成画像が表示された状態で、ユーザが合成操作画面６１に設けられた確定ボタン６８を押下操作すると（ステップＡ２５のＹｅｓ）、ＣＰＵ４１は、現在表示されている合成画像を記録用メモリであるフラッシュメモリ３８に記録する（ステップＡ２６）。

このように、第１の実施形態によれば、連写モードによってｎコマの画像を撮影しておき、その中で任意コマ数分の画像を範囲指定し、さらに、そのときの被写体の撮影条件などに応じて最適な合成方法を指定して様々な合成画像を簡単に作成することができる。この場合、どのような合成画像になるのかを画面上で確認することができるので、必要な合成画像のみを効率的にメモリに保存していくことができる。

また、特に各コマ同士の間の時間間隔Δｔを充分短く設定して撮影を行った場合は、合成する画像のコマ数を変更することで、近似的にシャッター速度を変えたような画像を得ることができる。

すなわち、例えば図７のスライドバー６２上でポインタ６２ａとポインタ６２ｂの間隔を広くして、合成する画像のコマ数を多く取るように指定すれば、シャッター速度を遅くして撮影した場合と同様の画像が合成結果として擬似的に得ることができる。一方、スライドバー６２上でポインタ６２ａとポインタ６２ｂの間隔を狭くして、合成する画像のコマ数を少なく取るように指定すれば、シャッター速度を速くして撮影した場合と同様の画像が合成結果として擬似的に得ることができる。また、Δｔを長くすれば、コマ送り画像を合成したような画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、画像全体を対象にして合成処理を行うようにしたが、第２の実施形態では、画像の中の指定エリアのみを部分的に合成処理することを特徴とするものである。

図１１は本発明の第２の実施形態におけるデジタルカメラ１の合成操作画面６１の構成を示す図である。基本的な構成は図７に示したものと同様である。すなわち、合成範囲を指定するためのスライドバー６２、画像合成方法を選択するためのＭＩＸボタン６３〜６６、合成結果を表示するための合成結果表示部６７、確定指示を行うための確定ボタン６８などから構成され、スライドバー６２上のポインタ６２ａとポインタ６２ｂを移動させて合成範囲（合成開始位置Ｓｍｉｘ、合成終了位置Ｅｍｉｘ）を指定すると共に、ＭＩＸボタン６３〜６６により合成方法（「加算」、「平均」、「最大値」、「最小値」）を指定する。

これらの指定操作に伴い、合成結果として得られた合成画像が合成結果表示部６７に表示され、そして、確定ボタン６８の押下操作にて現在表示されている合成画像が所定のメモリ（フラッシュメモリ３８）に記録される。

ここで、第２の実施形態では、合成結果表示部６７に表示された画像（初期画面では１コマ目の画像）に対し、合成したい部分を例えばタッチパネル１５上のペン操作により任意に指定することができる。図中のＰｍｉｘがその指定エリアを示しており、図１１の例では滝の流れている部分が合成部分として指定されている。

また、前記第１の実施形態と同様、図５に示す連写間隔設定画面５１にて連写の時間間隔Δｔを指定することも可能である。この場合、Δｔの間隔で得られた各画像の中の指定エリアＰｍｉｘに対応した部分が合成処理されることになる。この指定エリアＰｍｉｘの情報は前記合成操作の情報と共に図３に示すＲＡＭ４３に保持される。

次に、本発明の第２の実施形態としての動作を説明する。
図１２及び図１３は本発明の第２の実施形態におけるデジタルカメラ１の処理動作を示すフローチャートである。なお、このフローチャートで示される各処理は、主制御回路である制御部３２を構成するＣＰＵ４１がＲＯＭ４２などに記憶されたプログラムを読み込むことにより実行される。

前記第１の実施形態と同様に、連写モードを設定すると（ステップＣ１１）、図５に示すような連写間隔設定画面５１が初期設定画面として表示部１４に表示され、この連写間隔設定画面５１にて連写の時間間隔Δｔを任意に設定することができ、その設定値が図３に示すＲＡＭ４３の所定の領域に保持される（ステップＣ１２）。

ここで、シャッタキー７が押下されると（ステップＣ１３のＹｅｓ）、ＣＰＵ４１は前記設定されたΔｔの時間間隔で連続撮影を行って、所定コマ数分（ｎコマ）の画像を得る（ステップＣ１５）。このときの連写モードによって得られたｎコマの画像は、バッファメモリであるＤＲＡＭ３１の所定領域に時系列の順に一時的に保持される（ステップＣ１５）。

次に、ＣＰＵ４１は、図７に示すような合成操作画面６１を表示部１４に表示して、ユーザの指示を待つ（ステップＣ１６）。初期状態では、合成開始位置Ｓｍｉｘおよび合成終了位置Ｅｍｉｘはそれぞれ１コマ目の画像、合成方法は「平均」方法に設定されている。また、指定エリアＰｍｉｘは全面（画像全体）に設定されている。

この合成操作画面６１において、ユーザがスライドバー６２上のポインタ６２ａを移動させると、その移動先の位置に応じて合成開始位置Ｓｍｉｘが変更される（ステップＣ１７，Ｃ１８）。同様に、スライドバー６２上のポインタ６２ｂを移動させると、その移動先の位置に応じて合成終了位置Ｅｍｉｘが変更される（ステップＣ１９，Ｃ２０）。また、ＭＩＸボタン６３〜６６のいずれかを選択すると、その選択されたボタンに応じた合成方法に変更される（ステップＣ２１，Ｃ２２）。

さらに、画像中の任意のエリアの輪郭などをペン操作等により指定すると（ステップＣ２３）、その指定エリアＰｍｉｘの情報がＲＡＭ４３に記憶保持され、また、その指定されたエリアが画面上に明示される（ステップＣ２４）。

このようなユーザの操作に伴い、ＣＰＵ４１はスライドバー６２で指定された各画像の中の前記指定エリアＰｍｉｘの部分だけを対象にして、これらの画像をＭＩＸボタン６３〜６６で指定された合成方法にて合成処理する（ステップＣ２５）。このときの合成処理については、前記指定エリアＰｍｉｘの部分だけを対象にして行うことを除いて、図１０と同様であるため、ここではその説明を省略する。

このようにして生成された合成画像は、ＶＲＡＭコントローラ３３を通じて表示部１４に出力され、合成操作画面６１の合成結果表示部６７に表示される（ステップＣ２６）。この合成結果表示部６７にて、ユーザはどのような合成画像が出来上がるのかを確認することができ、さらに、前記同様の操作により合成範囲（合成開始位置Ｓｍｉｘや合成終了位置Ｅｍｉｘ）を変更したり、合成方法（「加算」、「平均」、「最大値」、「最小値」）を変えることで様々な合成画像を簡単に得ることができる。

また、指定エリアＰｍｉｘを変更することも可能であり、その場合には変更後の指定エリアＰｍｉｘの部分を合成した結果が得られる。

意図する合成画像が表示された状態で、ユーザが合成操作画面６１に設けられた確定ボタン６８を押下操作すると（ステップＣ２７のＹｅｓ）、ＣＰＵ４１は、現在表示されている合成画像を記録用メモリであるフラッシュメモリ３８に記録する（ステップＣ２８）。

このように、第２の実施形態によれば、上述した第１の実施形態の効果に加え、画像中の指定したエリアだけを対象に合成方法を変えて様々な合成画像を簡単に得ることができる。

さらに、スライドバー６２による合成範囲の変更操作により、あたかも部分的にシャッター速度を変えたような画像を得ることができる。すなわち、図１１に示すような滝の画像であれば、滝が流れている部分を指定しておくことにより、その指定部分（指定エリアＰｍｉｘ）だけを対象にして各画像を合成した結果が合成結果表示部６７に表示される。この場合、指定部分（指定エリアＰｍｉｘ）以外の部分は、その指定操作を行ったときに表示されていた画像（初期画面では１コマ目）がそのまま合成画像として利用されることになる。つまり、滝が流れている部分は各連写画像を合成した画像から構成され、他の背景部分は１コマ目の画像から構成されるといったような写真を得ることができる。

また、前記第１の実施形態と同様に、スライドバー６２による合成範囲の変更操作により、合成する画像のコマ数を多く取るように指定すれば、シャッター速度を遅くして撮影した場合と同じような画像（滝が流れているような画像）が部分的に得られることになる。一方、合成する画像のコマ数を少なく取るように指定すれば、シャッター速度を速くして撮影した場合と同じような画像（滝の流れが止まっているような画像）が部分的に得られることになる。すなわち、本発明によれば、一枚の写真中で、領域ごとにシャッター速度を変えて撮影したような画像を得ることができるのである。

このように、動きのある被写体などを撮影するような場合において、最初からその被写体の動きに合わせて最適なシャッター速度を設定しておかなくとも、撮影後に部分的にシャッター速度を変えた画像を得ることできる。

なお、ここでは指定エリアＰｍｉｘ内の部分（図１１の例では滝が流れている部分）を合成対象としたが、例えば指定エリアＰｍｉｘ内の部分を非合成とし、指定エリアＰｍｉｘ外の部分を合成対象とすることでも良い。

また、前記各実施形態では、デジタルカメラを例にして説明したが、例えばカメラ付き携帯電話など、カメラ機能を備えた電子機器であれば、その全てに本発明を適用することができる。

また、上述の各実施形態においては、ユーザによる各種の操作がキー入力部からのキー入力によって行われるもの等を例示したが、例えば、合成開始位置指定用ポインタ６２ａや合成終了位置指定用ポインタ６２ｂの操作は、十字キー１０によらずとも、例えば、タッチパネルによって操作するようにしても良いし、あるいは、本発明に係るデジタルカメラにマウス等のポインティングデバイスが接続可能であれば、そのような装置によって操作してもよく、さらには、ＰＣなどを接続して、ＰＣの入力デバイスを用いて間接的に操作するように構成することも可能である。第２の実施形態における、画像の合成を行いたい部分の指定操作等、他の操作においても同様である。

また、上述の各実施形態で述べた、合成開始位置、合成終了位置は、いずれか一方だけが変更できるようになっていても良いし、また、合成方法については、あらかじめ機器で定められた合成方法に固定されていても良い。

また、上述の各実施形態では、図５のような画面で各コマ同士の連写の時間間隔Δｔを設定するステップを、ユーザによって連写モードが設定された際に行うこととしているが、連写モードが設定された際に毎回行わなければならないというものではなく、例えば、これとは別の設定モードで図５のような画面によって設定することができるようにしておくことも勿論可能である。

また、連写撮影時は、Δｔとしてユーザによって指定された時間間隔で撮影を行うのではなく、常に高速で撮影するようにしておき、その後、ユーザによってΔｔが指定された場合には、その指定されたΔｔに応じて当該撮影画像の各コマを間引きすることにより、合成する各コマの時間間隔を調整することも可能である。このようにすることで、後から、撮影した画像の各コマの時間間隔も変更することができ、一度の撮影で様々な写真を得ることが可能であるとともに、設定の不備による撮影ミスをさらに減少させることが可能になる。

要するに、本発明は前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態で示される全構成要件から幾つかの構成要件が削除されても、「発明が解決しようとする課題」で述べた効果が解決でき、「発明の効果」の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

また、前述したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体の他にも、例えば、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（Ｒ）やＡＯＤ(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ Ｌａｓｅｒ ＤＶＤなど、今後開発される種々の大容量記録媒体を用いて本発明を実施することが可能である。

本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す斜視図。 前記デジタルカメラの電子回路の構成を示すブロック図。 前記デジタルカメラに主制御回路として設けられた制御部の構成を示すブロック図。 前記デジタルカメラの連写モードによって時系列で得られる各画像を模式的に示す図。 前記デジタルカメラの連写モードの時間間隔を設定するための画面の一例を示す図。 前記デジタルカメラの合成結果として得られる画像の一例を示す図。 前記デジタルカメラの合成操作画面の構成を示す図。 本発明の第１の実施形態におけるデジタルカメラの処理動作を示すフローチャート。 本発明の第１の実施形態におけるデジタルカメラの処理動作を示すフローチャート。 前記デジタルカメラにおける画像合成処理を示すフローチャート。 本発明の第２の実施形態におけるデジタルカメラの合成操作画面の構成を示す図。 本発明の第２の実施形態におけるデジタルカメラの処理動作を示すフローチャート。 本発明の第２の実施形態におけるデジタルカメラの処理動作を示すフローチャート。

符号の説明

１…デジタルカメラ、２…撮影レンズ、３…セルフタイマランプ、４…光学ファインダ窓、５…ストロボ発光部、６…電源キー、７…シャッタキー、８…モードスイッチ（ＳＷ）、９…メニューキー、１０…十字キー、１１…連写キー、１２…光学ファインダ、１３…ストロボチャージランプ、１４…表示部、１５…タッチパネル、２１…モータ（Ｍ）、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…垂直ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…フラッシュメモ、４１…ＣＰＵ、４２…ＲＯＭ、４３…ＲＡＭ、５１…連写間隔設定画面、５２…時間入力部、６１…合成操作画面、６２…スライドバー、６２ａおよび６２ｂ…ポインタ、６３〜６６…ＭＩＸボタン、６７…合成結果表示部、６８…確定ボタン。

Claims (13)

1. 被写体を所定の時間間隔で連続的に撮影する撮影手段と、
   この撮影手段によって得られた所定コマ数分の画像を時系列順に保持する保持手段と、
   前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する合成範囲指定手段と、
   この合成範囲指定手段によって指定された合成開始位置から合成終了位置までの各画像を前記保持手段から読み出して、これらを合成処理する合成処理手段と、
   この合成処理手段によって得られた合成画像を表示する表示手段と、
   確定指示があったときに、前記表示手段に表示された合成画像を所定のメモリに記録する記録制御手段と
   を具備したことを特徴とする撮像装置。
2. 被写体を所定の時間間隔で連続的に撮影する撮影手段と、
   この撮影手段によって得られた所定コマ数分の画像を時系列順に保持する保持手段と、
   前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する合成範囲指定手段と、
   画像中の任意のエリアを指定するエリア指定手段と、
   前記合成範囲指定手段によって指定された合成開始位置から合成終了位置までの各画像を前記保持手段から読み出し、これらの画像の中の前記エリア指定手段によって指定されたエリアだけを対象にして合成処理する合成処理手段と、
   この合成処理手段によって得られた合成画像を表示する表示手段と、
   確定指示があったときに、前記表示手段に表示された合成画像を所定のメモリに記録する記録制御手段と
   を具備したことを特徴とする撮像装置。
3. 前記合成範囲指定手段は、前記所定コマ数分の画像を時間軸上で指定可能な長さを有するスライドバーからなり、そのスライドバー上で合成開始位置と合成終了位置を指定することを特徴とする請求項１または２記載の撮像装置。
4. 複数の異なる合成方法の中の１つを選択する合成方法選択手段を備え、
   前記合成処理手段は、前記合成方法選択手段によって選択された合成方法で前記各画像を合成処理することを特徴とする請求項１または２記載の撮像装置。
5. 前記複数の異なる合成方法には、各画像の輝度信号を画素単位で加算して合成する方法が含まれることを特徴とする請求項４記載の撮像装置。
6. 前記複数の異なる合成方法には、各画像の輝度信号を画素単位で平均して合成する方法が含まれることを特徴とする請求項４記載の撮像装置。
7. 前記複数の異なる合成方法には、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も大きいものを選択して合成する方法が含まれることを特徴とする請求項４記載の撮像装置。
8. 前記複数の異なる合成方法には、各画像の輝度信号を画素単位で比較し、その中で輝度信号の最も小さいものを選択して合成する方法が含まれることを特徴とする請求項４記載の撮像装置。
9. 前記撮影手段による連写の時間間隔を任意に設定する連写間隔設定手段を備えたことを特徴とする請求項１または２記載の撮像装置。
10. 撮像装置によって撮影された各画像を合成処理するための画像処理方法であって、
    被写体を所定の時間間隔で連続的に撮影するステップと、
    この連続撮影によって得られた所定コマ数分の画像をバッファメモリに時系列順に保持するステップと、
    前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定するステップと、
    前記合成開始位置から合成終了位置までの各画像を前記バッファメモリから読み出して、これらを合成処理するステップと、
    この合成処理によって得られた合成画像を表示画面上に表示するステップと、
    確定指示があったときに、前記表示画面上に表示された合成画像を所定のメモリに記録するステップと
    を備えたことを特徴とする画像処理方法。
11. 撮像装置によって撮影された各画像を合成処理するための画像処理方法であって、
    被写体を所定の時間間隔で連続的に撮影するステップと、
    この連続撮影によって得られた所定コマ数分の画像をバッファメモリに時系列順に保持するステップと、
    前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定するステップと、
    画像中の任意のエリアを指定するステップと、
    前記合成開始位置から合成終了位置までの各画像を前記バッファメモリから読み出し、これらの画像の中の前記画像中で任意に指定されたエリアだけを対象にして合成処理するステップと、
    この合成処理によって得られた合成画像を表示画面上に表示するステップと、
    確定指示があったときに、前記表示画面上に表示された合成画像を所定のメモリに記録するステップと
    を備えたことを特徴とする画像処理方法。
12. 撮像装置に搭載されたコンピュータによって実行される画像処理用のプログラムであって、
    前記コンピュータに、
    被写体を所定の時間間隔で連続的に撮影する機能と、
    この連続撮影によって得られた所定コマ数分の画像をバッファメモリに時系列順に保持する機能と、
    前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する機能と、
    前記合成開始位置から合成終了位置までの各画像を前記バッファメモリから読み出して、これらを合成処理する機能と、
    この合成処理によって得られた合成画像を表示画面上に表示する機能と、
    確定指示があったときに、前記表示画面上に表示された合成画像を所定のメモリに記録する機能と
    を実現させるためのプログラム。
13. 撮像装置に搭載されたコンピュータによって実行される画像処理用のプログラムであって、
    前記コンピュータに、
    被写体を所定の時間間隔で連続的に撮影する機能と、
    この連続撮影によって得られた所定コマ数分の画像をバッファメモリに時系列順に保持する機能と、
    前記所定コマ数分の画像に対し、合成開始位置と合成終了位置を指定する機能と、
    画像中の任意のエリアを指定する機能と、
    前記合成開始位置から合成終了位置までの各画像を前記バッファメモリから読み出し、これらの画像の中の前記画像中で任意に指定されたエリアだけを対象にして合成処理する機能と、
    この合成処理によって得られた合成画像を表示画面上に表示する機能と、
    確定指示があったときに、前記表示画面上に表示された合成画像を所定のメモリに記録する機能と
    を実現させるためのプログラム。

Images