JP2010245686A - 撮像装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

【課題】２枚の画像データを合成して、合成画像を得る際に、処理時間がかかる。
【解決手段】撮影６１ｂにより得られたＲＡＷデータに対して、同時化された画像データを得るためのＹＣ処理６２ｂを行い、ＹＣ処理６２ｂにより得られた画像データと、１つ前の撮影６１ａ後にローパスフィルタ処理６５ａが行われた画像データとを合成する処理６３ｂを行い、ＬＣＤに表示する（表示処理６４ｂ）。この後、ＹＣ処理６２ｂ後の画像データに対して、ローパスフィルタ処理６５ｂが施される。ローパスフィルタ処理６５ｂが施された画像データは、次の撮影６１ｃにより得られたＲＡＷデータに対してＹＣ処理６２ｃが施された画像データと合成する処理６３ｃが行われる。
【選択図】図６

Description

本発明は、複数の画像を合成する技術に関する。

銀塩カメラによる撮影の際に、撮影レンズの前に光学フィルタを配置することで、輪郭はある程度はっきりしているが、全体的にフレアっぽいソフトフォーカス効果を有する画像を撮影することができる。一方、デジタルカメラでは、そのような光学フィルタを配置することなく、撮影した画像データを画像処理することにより、銀塩カメラのソフトフォーカスと同様な効果を再現する方法が提案されている。特許文献１では、撮影した画像データに対してフィルタ処理を施した画像データと、元の画像データとを合成することにより、ソフトフォーカスを実現する手法が提案されている。

特開平０９−２５１５３２号公報

ライブビュー表示や動画撮影時において、画像を撮影してから画像処理を行って表示または記録するまでの時間は、フレームレートにより制限を受ける。そのため、フレームレートを高くするほど、画像処理を行う時間も制限される傾向にある。

一方、ソフトフォーカスのように、画像データに対してフィルタ処理を行って元の画像と合成する場合には、画像サイズが大きくなると処理時間が長くなる。そのため、上述したライブビュー表示や動画撮影においては、これらの処理時間を確保するために、画像サイズを小さくしたり、フレームレートを下げたりする必要があった。

本発明は、ライブビュー表示や動画記録時に、複数の画像を合成する処理を行う場合に、撮影から合成処理までに要する時間を短縮する技術を提供することを目的とする。

本発明のある態様に係る撮像装置は、被写体を撮像してＲＡＷ画像データを得る撮像部と、前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得る画像処理部と、前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成する画像合成部と、前記合成画像データを表示する表示部と、を備えることを特徴とする。

本発明の別の態様に係る画像処理方法は、被写体を撮像することにより得られるＲＡＷ画像データを入力するステップと、前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得るステップと、前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成するステップと、を備えることを特徴とする。

本発明のさらに別の態様に係る画像処理プログラムは、被写体を撮像することにより得られるＲＡＷ画像データを入力するステップと、前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得るステップと、前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成するステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、複数の画像を合成する処理を行う場合に、撮影から合成処理までに要する時間を短縮することができる。

図１は、一実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。 一実施形態に係る撮像装置としてのデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。 静止画の撮影・記録動作の詳しい処理内容を示すフローチャートである。 動画の撮影・記録動作の詳しい処理内容を示すフローチャートである。 ライブビュー表示の詳しい処理内容を示すフローチャートである。 図６（ａ）は、一実施の形態における撮像装置によって行われるライブビュー表示および動画撮影時のタイムチャートを示す図であり、図６（ｂ）は、従来技術によるライブビュー表示および動画撮影時のタイムチャートを示す図である。

図１は、一実施形態における撮像装置であるデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１と交換式レンズ２から構成される。

交換式レンズ２は、レンズ１０１０と、Ｆｌａｓｈメモリ１０１１と、マイクロコンピュータ１０１２と、ドライバ１０１３と、絞り１０１４と、を有している。交換式レンズ２は、Ｉ／Ｆ９９９を介して、カメラ本体１と通信可能に接続されている。

カメラ本体１は、メカシャッター１０１と、撮像素子１０２と、アナログ処理部１０３と、アナログ/デジタル変換部１０４（以下、Ａ/Ｄ変換部１０４）と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリインターフェース１１１（以下、メモリＩ/Ｆ１１１）と、記録媒体１１２と、ＬＣＤドライバ１１３と、ＬＣＤ１１４と、マイクロコンピュータ１１５と、操作部１１６と、Ｆｌａｓｈメモリ１１７と、ローパスフィルタ部１１８と、画像合成部１１９と、を有している。

レンズ１０１０は、被写体の光学像を撮像素子１０２に集光させる。レンズ１０１０は、単焦点レンズであってもよいし、ズームレンズであってもよい。

マイクロコンピュータ１０１２は、Ｉ／Ｆ９９９、Ｆｌａｓｈメモリ１０１１、および、ドライバ１０１３と接続されていて、Ｆｌａｓｈメモリ１０１１に記憶されている情報の読み込み・書き込みを行うとともに、ドライバ１０１３を制御する。マイクロコンピュータ１０１２は、さらに、Ｉ／Ｆ９９９を介して、マイクロコンピュータ１１５と通信することができ、様々な情報をマイクロコンピュータ１１５へ送信し、また、マイクロコンピュータ１１５から絞り値等の情報を受信する。

ドライバ１０１３は、マイクロコンピュータ１０１２の指示を受けて、レンズ１０１０を駆動させて、焦点距離やフォーカス位置の変更を行うとともに、絞り１０１４を駆動する。絞り１０１４は、レンズ１０１０の近傍に設けられ、被写体の光量を調節する。

メカシャッター１０１は、マイクロコンピュータ１１５の指示を受けて駆動し、撮像素子１０２に被写体を露光する時間を制御する。

撮像素子１０２は、各画素を構成するフォトダイオードの前面に、ベイヤー配列のカラーフィルタが配置された撮像素子である。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。この撮像素子１０２は、レンズ１０１０により集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてアナログ処理部１０３へ出力する。なお、撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。

アナログ処理部１０３は、撮像素子１０２から読み出された電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるように、ゲインアップを行う。Ａ/Ｄ変換部１０４は、アナログ処理部１０３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス１０５は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０５は、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＡＥ処理部１０８と、ＡＦ処理部１０９と、ＪＰＥＧ処理部１１０と、メモリＩ/Ｆ１１１と、ＬＣＤドライバ１１３と、マイクロコンピュータ１１５と、ローパスフィルタ部１１８と、画像合成部１１９に接続されている。

Ａ/Ｄ変換部１０４から出力される画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１１０、ローパスフィルタ部１１８、画像合成部１１９において処理された画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、オプティカルブラック減算部１０７１（以下、ＯＢ減算部）、ホワイトバランス補正部１０７２（以下、ＷＢ補正部１０７２）、同時化処理部１０７３、ガンマ・色再現処理部１０７４、カラーマトリクス演算部１０７５、エッジ強調処理部１０７６、および、ノイズ低減処理部１０７７（以下、ＮＲ処理部１０７７）を含み、ＳＤＲＡＭ１０６から読み出した画像データに対して様々な画像処理を施す。

ＯＢ減算部１０７１は、画像データに対して、オプティカルブラック減算処理（以下、ＯＢ減算処理）を行う。ＯＢ減算処理は、画像データを構成する各画素の画素値から、撮像素子１０２の暗電流等に起因するオプティカルブラック値（以下、ＯＢ値）を減算する処理である。

ＷＢ補正部１０７２は、画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。ホワイトバランスモードは、晴天、曇天、電球、蛍光灯などの光源に応じて、ユーザが設定可能である。

同時化処理部１０７３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。ガンマ・色再現処理部１０７４は、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

カラーマトリクス演算部１０７５は、画像データに対して、カラーマトリクスを乗じる線形変換を行って、画像データの色を補正する。エッジ強調処理部１０７６は、画像データから、エッジを抽出し、抽出したエッジのデータに所定のゲインを乗じてから、画像データに加算することにより、画像データのエッジを強調する処理を行う。ＮＲ処理部１０７７は、高周波を低減するフィルタを用いた処理や、コアリング処理等により、ノイズを低減する処理を行う。

画像処理部１０７は、必要に応じて、内部に備えた各部１０７１〜１０７７を選択して、各処理を行う。画像処理部１０７によって各処理が行われた後の画像データは、ＳＤＲＡＭ１０６に記憶される。

ＡＥ処理部１０８は、画像データから被写体輝度を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。ＡＦ処理部１０９は、画像データから高周波成分の信号を取り出し、ＡＦ（Auto Focus）積算処理により、合焦評価値を取得する。

ローパスフィルタ部１１８は、ＳＤＲＡＭ１０６に記憶されている画像データの高周波成分を低減するローパスフィルタ処理を行うことにより、全体にボケた画像を生成する。ローパスフィルタ処理を施した画像では、輪郭も失われてしまっている。

画像合成部１１９は、ローパスフィルタ部１１８でローパスフィルタ処理が行われた画像と、ローパスフィルタ処理が行われていない画像とを所定の割合で合成することにより、全体的にボケているが、輪郭ははっきりとしている画像を生成する。ここでは、合成割合をα（０≦α≦１）、ローパスフィルタ処理が行われた画像の画素値をａ、ローパスフィルタ処理が行われていない画像の対応画素の画素値をｂとした場合に、合成画像の対応画素の画素値をα×ａ＋（１−α）×ｂとする。

ＪＰＥＧ処理部１１０は、画像データの記録時には、ＳＤＲＡＭ１０６から画像データを読み出し、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮して、圧縮したＪＰＥＧ画像データを、ＳＤＲＡＭ１０６に一旦記憶する。マイクロコンピュータ１１５は、ＳＤＲＡＭ１０６に記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、作成したＪＰＥＧファイルを、メモリＩ/Ｆ１１１を介して記録媒体１１２に記録する。記録媒体１１２は、例えばカメラ本体１に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

ＬＣＤドライバ１１３は、ＬＣＤ１１４に画像を表示させる。画像の表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体１１２に記録されたＪＰＥＧファイルの再生表示、および、ライブビュー表示等の動画の表示が含まれる。記録媒体１１２に記録されたＪＰＥＧファイルを再生する場合、ＪＰＥＧ処理部１１０は、記録媒体１１２に記録されているＪＰＥＧファイルを読み出して伸張処理を施した上で、伸張した画像データを一旦ＳＤＲＡＭ１０６に記憶させる。ＬＣＤドライバ１１３は、伸張された画像データをＳＤＲＡＭ１０６から読み出し、読み出した画像データを映像信号へ変換した後でＬＣＤ１１４へ出力して、画像の表示を行う。

制御部としての機能を有するマイクロコンピュータ１１５は、デジタルカメラ本体１の各種シーケンスを統括的に制御する。マイクロコンピュータ１１５には、操作部１１６およびＦｌａｓｈメモリ１１７が接続されている。

操作部１１６は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部１１６の何れかの操作部材が操作されることにより、マイクロコンピュータ１１５は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイクロコンピュータ１１５は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ１１５は、撮影シーケンスを実行して撮影を行う。

Ｆｌａｓｈメモリ１１７は、ホワイトバランスモードに応じたホワイトバランスゲインやローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、および、デジタルスチルカメラを特定するための製造番号などを記憶している。また、Ｆｌａｓｈメモリ１１７は、マイクロコンピュータ１１５にて実行する各種プログラムも記憶している。マイクロコンピュータ１１５は、Ｆｌａｓｈメモリ１１７に記憶されているプログラムに従い、またＦｌａｓｈメモリ１１７から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

図２は、一実施形態に係る撮像装置であるデジタルスチルカメラで行われるメインの処理フローを示すフローチャートである。ユーザにより電源ボタンが押されて、デジタルスチルカメラの電源がオンになると、マイクロコンピュータ１１５は、ステップＳ２０１の処理を開始する。

ステップＳ２０１では、撮影を行うか否か、すなわち、レリーズボタンが押されたか否かを判定する。レリーズボタンが押されたと判定すると、ステップＳ２０２に進む。

ステップＳ２０２では、撮影モードが静止画撮影モードに設定されているか否かを判定する。撮影モードには、静止画撮影モードと動画撮影モードとがあり、ユーザが操作部１１６の操作部材を操作することにより設定することができる。撮影モードが静止画撮影モードに設定されていると判定するとステップＳ２０３に進み、動画撮影モードに設定されていると判定すると、ステップＳ２０４に進む。

ステップＳ２０３では、静止画の撮影・記録動作を行う。静止画の撮影・記録動作については、図３に示すフローチャートを用いて後述する。

ステップＳ２０４では、動画の撮影・記録動作を行う。動画の撮影・記録動作については、図４に示すフローチャートを用いて後述する。

一方、ステップＳ２０１において、レリーズボタンが押されていないと判定すると、ステップＳ２０５に進む。ステップＳ２０５では、ライブビュー表示を行う。ライブビュー表示の詳細な処理については、図５に示すフローチャートを用いて後述する。

図３は、図２に示すフローチャートのステップＳ２０３で行う静止画の撮影・記録動作の詳しい処理内容を示すフローチャートである。ステップＳ３０１からステップＳ３０３までの処理は、ファーストレリーズにて行われる処理であり、ステップＳ３０４以後の処理は、セカンドレリーズにて行われる処理である。

ステップＳ３０１では、ＡＦ処理部１０９において、合焦評価値を算出する。マイクロコンピュータ１１５は、合焦評価値に基づいて、レンズ１０１０を駆動させる指令をドライバ１０１３に出す。

ステップＳ３０２では、ＡＥ処理部１０８において、被写体輝度を算出する。ステップＳ３０３では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ３０４では、ユーザによってレリーズボタンが全押しされて、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされていないと判定すると、ステップＳ３０５に進む。ステップＳ３０５では、レリーズボタンが戻されたか否かを判定する。レリーズボタンが半押しされている状態から戻されたと判定すると、撮影・記録動作を終了し、レリーズボタンが戻されていないと判定すると、ステップＳ３０４に戻る。

一方、ステップＳ３０４でセカンドレリーズスイッチがオンされたと判定すると、ステップＳ３０６に進む。ステップＳ３０６では、撮影を行う。撮影に関しては、従来から用いられている手法と同様である。ドライバ１０１３は、マイクロコンピュータ１０１２の指示に基づいて、設定された絞り値になるように絞り１０１４を駆動させる。そして、算出したシャッター速に基づいて、メカシャッター１０１を制御して撮影を行い、画像データを得る。

ステップＳ３０７では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。

ステップＳ３０８では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。なお、ホワイトバランスモードは、ユーザが操作部１１６に含まれる入力キーを操作することによって、１回の撮影ごとに設定することができる。マイクロコンピュータ１１５は、ユーザによる操作部１１６の操作に基づいて、ホワイトバランスモードを設定する。また、デジタルスチルカメラがホワイトバランスを自動的に調整するオートホワイトバランス機能を備えている場合、マイクロコンピュータ１１５は、撮影時の光源に応じたホワイトバランスモードを自動的に設定する。

ステップＳ３０９では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ３１０では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ３１１では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。

ステップＳ３１２では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。

ステップＳ３１３では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。

ステップＳ３１４では、ローパスフィルタ部１１８により、ステップＳ３１３でノイズ低減処理が行われた画像データに対して、ローパスフィルタ処理を行うことにより、全体的にボケた画像を生成する。

ステップＳ３１５では、画像合成部１１９により、ステップＳ３１３でノイズ低減処理が行われた画像データ、すなわち、ローパスフィルタ処理が行われていない画像データと、ステップＳ３１４でローパスフィルタ処理が行われた画像データとを合成割合αで合成し、合成画像を生成する。

ステップＳ３１６では、ＪＰＥＧ処理部１１０において、ステップＳ３１５で生成された合成画像データに対して、ＪＰＥＧ圧縮を行う。ステップＳ３１７では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、作成したファイルヘッダ情報を、ＪＰＥＧ圧縮された画像データに付加して、メモリＩ／Ｆ１１１を介して、記録媒体１１２に記録する。

図４は、図２に示すフローチャートのステップＳ２０４で行う動画の撮影・記録動作の詳しい処理内容を示すフローチャートである。

ステップＳ４０１では、ＡＥ処理部１０８において、被写体輝度を算出する。ステップＳ４０２では、被写体輝度に基づいて、Ｆｌａｓｈメモリ１１７に記憶された絞り値およびシャッター速決定テーブルを参照することにより、絞りとシャッター速を算出する。

ステップＳ４０３では、撮影を行う。ここでは、動画撮影のため、いわゆる電子シャッターによる撮影を行う。電子シャッターによる撮影については、従来から用いられている手法と同様であるため、ここでは詳しい説明を省略する。

ステップＳ４０４では、ＯＢ減算部１０７１により、撮影により得られた画像データから、撮像時に得られたＯＢ値を減算するＯＢ減算処理を施す。ステップＳ４０５では、ＷＢ補正部１０７２により、ＯＢ減算処理が施された画像データに対して、ホワイトバランスモードに応じたホワイトバランスゲインを乗じて、ホワイトバランスを補正する処理を行う。

ステップＳ４０６では、同時化処理部１０７３により、ホワイトバランス補正処理が施された画像データに対して、同時化処理を施す。ステップＳ４０７では、カラーマトリクス演算部１０７５により、同時化処理が施された画像データに対して、ホワイトバランスモードに応じたカラーマトリクスを乗じるカラーマトリクス演算を行う。

ステップＳ４０８では、ガンマ・色再現処理部１０７４により、カラーマトリクス演算が行われた画像データに対して、ガンマ補正処理、および、画像の色味を変化させる色再現処理を行う。ステップＳ４０９では、エッジ強調処理部１０７６により、ガンマ補正処理および色再現処理が行われた画像データに対して、エッジ強調処理を行う。

ステップＳ４１０では、ＮＲ処理部１０７７により、エッジ強調処理が行われた画像データに対して、ノイズを低減する処理を行う。ノイズ低減処理は、コアリングパラメータに基づいたコアリング処理、または、ノイズ低減パラメータ（以下、ＮＲパラメータ）に基づいて、高周波を低減するフィルタを用いた処理を行う。

ステップＳ４１１では、直前に撮影された画像がＳＤＲＡＭ１０６に格納されているか否かを判定する。動画撮影の間、ステップＳ４０１からステップＳ４１７までの処理は繰り返し行われる。直前に撮影された画像とは、前回の撮影時に後述するステップＳ４１６で格納された画像である。従って、動画撮影を開始した直後の１回目の撮影処理時には、直前に撮影された画像がＳＤＲＡＭ１０６に格納されていないことになる。直前に撮影された画像がＳＤＲＡＭ１０６に格納されていないと判定するとステップＳ４１５に進み、格納されていると判定すると、ステップＳ４１２に進む。

ステップＳ４１２では、画像合成部１１９により、ステップＳ４１０でノイズ低減処理が行われた画像データと、ステップＳ４１６でＳＤＲＡＭ１０６に格納された画像データとを合成割合αで合成し、合成画像を生成する。ステップＳ４１６でＳＤＲＡＭ１０６に格納された画像データは、後述するようにローパスフィルタ処理が施された画像データである。

ステップＳ４１３では、ＬＣＤドライバ１１３により、ステップＳ４１２で生成された合成画像をＬＣＤ１１４に表示させる。

ステップＳ４１４では、ステップＳ４１２で生成された合成画像を、記録媒体１１２に記録する。

ステップＳ４１５では、ローパスフィルタ部１１８により、ステップＳ４１０でノイズ低減処理が行われた画像データに対して、ローパスフィルタ処理を行うことにより、全体的にボケた画像を生成する。

ステップＳ４１６では、ステップＳ４１５でローパスフィルタ処理が施された画像データをＳＤＲＡＭ１０６に格納する。

ステップＳ４１７では、処理を終了するか否かを判定する。ユーザによってレリーズボタンが再び押されたか、または、電源ボタンが押されると、動画撮影・記録の処理を終了する。一方、処理を終了しないと判定すると、ステップＳ４０１に戻る。

なお、上述した処理では、最初の１フレームはＬＣＤ１１４に表示されず、２フレーム目以降が表示されることになるが、撮影間隔が極短時間（例えば、１／３０秒）であるため、表示上、問題となることはない。

図５は、図２に示すフローチャートのステップＳ２０５で行うライブビュー表示の詳しい処理内容を示すフローチャートである。図５に示すフローチャートの処理のうち、図４に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付している。図５に示すフローチャートの処理は、図４に示すフローチャートの処理に対して、ステップＳ４１４およびステップＳ４１７の処理が省略されている。すなわち、ステップＳ４１３で合成画像をＬＣＤ１１４に表示すると、合成画像データを記録媒体１１２に記録する処理は行わずに、ステップＳ４１５に進む。また、ステップＳ４１６の処理を終了すると、図５に示すフローチャートの処理を終了する。ステップＳ４１４およびステップＳ４１７の処理が省略されている以外は、図４に示すフローチャートの処理と同じであるため、図５に示すフローチャートの処理の詳しい説明は省略する。

図６（ａ）は、一実施形態における撮像装置によって行われるライブビュー表示および動画撮影時のタイムチャートを示す図であり、図６（ｂ）は、従来技術によるライブビュー表示および動画撮影時のタイムチャートを示す図である。

まず始めに、従来技術によるタイムチャートについて説明する。図６（ｂ）に示すように、従来の技術では、撮影により得られたＲＡＷ画像データに基づいて、同時化された画像データを生成するとともに、同時化された画像データに対してローパスフィルタ処理を施す。そして、ローパスフィルタ処理を施す前の画像データと、ローパスフィルタ処理を施した画像データとを合成する画像処理を行い、合成画像をＬＣＤに表示し、動画撮影時には動画記録される。この従来技術による方法では、これ以上撮影間隔Δｔ２を短くすることはできず、フレームレートを上げることはできない。

続いて、一実施形態における撮像装置によるタイムチャートについて説明する。図６（ａ）において、撮影６１ｂにより得られたＲＡＷ画像データに対して、図４または図５のステップＳ４０４からステップＳ４１０までの処理（図６（ａ）のＹＣ処理６２ｂ）を行うと、ＹＣ処理６２ｂにより得られた画像データと、１つ前の撮影６１ａ後にローパスフィルタ処理６５ａが行われた画像データとを合成する処理６３ｂを行う。合成後の画像データは、ＬＣＤ１１４に表示され、動画撮影時には動画記録される（表示・記録処理６４ｂ）。

この後、ＹＣ処理６２ｂ後の画像データに対して、ローパスフィルタ処理６５ｂが施され、ＳＤＲＡＭ１０６に格納される。そして、ローパスフィルタ処理６５ｂが施された画像データを用いて、次の撮影６１ｃにより得られたＲＡＷ画像データに対してＹＣ処理６２ｃが施された画像データと合成する処理６３ｃが行われる。ローパスフィルタ処理６５ｂが施された画像データは、次の撮影６１ｃ後の画像データと合成するため、今回の撮影６１ｂ後の表示処理６４ｂおよび次の撮影処理６１ｃと並行して行うことができる。

なお、一般的に、フレーム間の相関は非常に高いため、１つ前の撮影により得られた画像データを用いて合成処理を行っても、それほど合成画像が不自然なものになることはない。

すなわち、一実施形態における撮像装置では、ＹＣ処理後の画像データに対して、直前の撮影後にローパスフィルタ処理が施された画像データと合成する処理を行うとともに、表示処理および撮影処理と並行して、ＹＣ処理後の画像データに対してローパスフィルタ処理を施す。これにより、撮影から合成、表示までの処理時間を短縮することができる。図６（ａ）および（ｂ）に示すように、一実施形態における撮像装置の撮影間隔Δｔ１は、従来技術の撮影間隔Δｔ２より短い。なお、図６（ｂ）に示す「画像処理」のブロックの長さ（処理時間）は、図６（ａ）に示す「ＹＣ」、「合成」、「ＬＰ」の各ブロックを足し合わせた長さ（処理時間）と同じである。

以上、一実施形態における撮像装置によれば、ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得て、第１の画像データおよび第２の画像データを合成して合成画像データを生成する。合成に用いる第２の画像データを、第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに基づいて生成することにより、撮影から合成画像データの生成、表示または記録までの時間を短縮することができる。

また、第２の画像処理は、第１の画像処理後に第３の画像処理を行うものであり、第３の画像処理の少なくとも一部を、表示処理、および、第１の時刻より後の時刻において行われる撮像処理のうちの少なくとも一方の処理と並行して行うので、撮影から合成画像データの生成、表示または記録までの時間を短縮することができる。

さらに、第２の画像データは、連続して入力されるＲＡＷ画像データのうち、第１のＲＡＷ画像データの直前に得られたＲＡＷ画像データとすることにより、相関がより高いＲＡＷ画像データを用いて、より自然な合成画像データを得ることができる。

なお、上述した一実施の形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、合成画像データを生成するために、ローパスフィルタ処理を施した画像データを用いたが、ローパスフィルタ処理以外の画像処理を施した画像データを用いるものにも、本発明を適用することができる。

合成画像データは、第１の時刻に得られた第１のＲＡＷ画像データに基づいて生成された第１の画像データと、第１のＲＡＷ画像データの直前に得られた第２のＲＡＷ画像データに基づいて生成された第２の画像データとを合成することにより生成した。しかし、第２のＲＡＷ画像データは、第１のＲＡＷ画像データの直前に得られたものに限定されることはなく、第１の時刻より前の時刻に得られたものであればよい。

また、ライブビュー表示の最終フレームから、静止画撮影までの間隔が短い場合に、ライブビュー表示の最終フレーム画像にローパスフィルタ処理を施して得られた画像データと、静止画撮影により得られた画像データとを合成することにより、合成画像データを生成することもできる。これにより、静止画撮影時においても、撮影から合成画像データの生成までの時間を短縮することができる。

ここで、ライブビュー画像データに対して複数の特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の特殊効果画像データを生成し、生成した複数の特殊効果画像データを時系列的に自動切り替えして、ＬＣＤ１１４に表示させる際に、切り替え対象の特殊効果画像データの合成画像データを生成して表示させることにより、複数の特殊効果画像データが徐々に切り替わるように表示する技術が考えられる。このような表示技術においても、第１の時刻に得られた第１のＲＡＷ画像データに対して第１の特殊効果処理を施すことにより第１の画像データを得るとともに、第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の特殊効果処理を施すことにより第２の画像データを得て、第１の画像データおよび第２の画像データを合成して合成画像データを生成し、表示することができる。これにより、表示・撮影と画像処理の並列処理ができる場合に、処理時間を短くすることができる。

１…カメラ本体
２…交換式レンズ
１０１…メカシャッター
１０２…撮像素子
１０３…アナログ処理部
１０４…アナログ/デジタル変換部
１０６…ＳＤＲＡＭ
１０７…画像処理部
１０８…ＡＥ処理部
１０９…ＡＦ処理部
１１０…ＪＰＥＧ処理部
１１２…記録媒体
１１４…ＬＣＤ
１１５…マイクロコンピュータ
１１６…操作部
１１７…Ｆｌａｓｈメモリ
１１８…ローパスフィルタ部
１１９…画像合成部
１０１０…レンズ
１０１２…マイクロコンピュータ
１０７１…ＯＢ減算部
１０７２…ホワイトバランス補正部
１０７３…同時化処理部
１０７４…ガンマ・色再現処理部
１０７５…カラーマトリクス演算部
１０７６…エッジ強調処理部
１０７７…ノイズ低減処理部

Claims (7)

1. 被写体を撮像してＲＡＷ画像データを得る撮像部と、
   前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得る画像処理部と、
   前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成する画像合成部と、
   前記合成画像データを表示する表示部と、
   を備えることを特徴とする撮像装置。
2. 前記合成画像データを記録する記録部、
   をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画像処理は、前記第１の画像処理後に第３の画像処理を行うものであり、前記第２の画像データは、前記第１の画像データに前記第３の画像処理を行ったものであることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記画像処理部は、前記第３の画像処理の少なくとも一部を、前記表示部による表示処理、および、前記第１の時刻より後の時刻における前記撮像部による撮像処理のうちの少なくとも一方の処理と並行して行うことを特徴とする請求項３に記載の撮像装置。
5. 前記第２の画像データは、連続して入力されるＲＡＷ画像データのうち、前記第１のＲＡＷ画像データの直前に得られたＲＡＷ画像データであることを特徴とする請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 被写体を撮像することにより得られるＲＡＷ画像データを入力するステップと、
   前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得るステップと、
   前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成するステップと、
   を備えることを特徴とする画像処理方法。
7. 被写体を撮像することにより得られるＲＡＷ画像データを入力するステップと、
   前記ＲＡＷ画像データを連続して入力し、少なくとも第１の時刻に得られた第１のＲＡＷ画像データに対して第１の画像処理を施すことにより第１の画像データを得るとともに、前記第１の時刻より前の第２の時刻に得られた第２のＲＡＷ画像データに対して第２の画像処理を施すことにより第２の画像データを得るステップと、
   前記第１の画像データおよび前記第２の画像データを合成して合成画像データを生成するステップと、
   をコンピュータに実行させるための画像処理プログラム。

Images