JP4639965B2 - 撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に移動体を被写体として流し撮りなどを行う場合に用いて好適な撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

例えば、電車や自動車などの移動体を撮影する場合に、所謂「流し撮り」という技法が用いられる。これは、シャッタ速度を通常よりも遅く設定した状態で、撮影者が移動体の動きに合わせてカメラをパンニング（移動）することにより、背景を流して移動体のスピード感を強調した画像を得る方法である。

従来、このような流し撮り画像を効果的に得るための提案がなされている。例えば、特許文献１では、手ぶれ補正機能を備えた電子カメラにおいて、撮影者が流し撮りを行った場合に、その流し撮りの方向に応じて手ぶれ補正のための画像処理を変更することで、背景を自然に流した画像を得ることが開示されている。
特開２００２−３０５６８２号公報

しかしながら、流し撮りは高度なテクニックを要し、なかなか撮影者の意図した画像を得ることはできない。この場合、前記特許文献１のように、流し撮りの方向に応じて手ぶれ補正を変更する技術を用いたとしても、移動体の動きとカメラの動きが合っていない場合には、移動体がぶれて撮影されたり、メインでない背景の方がぶれずに撮影されてしまうことになる。

そこで、本発明の目的は、移動体の動きにカメラを的確に合わせて撮影しなくとも、その移動体の動きを強調した流し撮り画像を簡単に得ることのできる撮像装置、画像処理方法及びプログラムを提供することにある。

本発明の請求項１に係る撮像装置は、被写体を連続的に撮影して複数の画像データを取得する撮影手段と、前記撮影手段により取得される複数の画像データの比較により移動体を特定する特定手段と、前記撮影手段により取得される複数の画像データの中で前記特定手段により特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択手段と、前記選択手段により選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成手段と、を具備したことを特徴とする。

また、請求項２に係る発明は更に、前記合成手段は、前記抽出した部分画像を前記移動体を含まない画像データの中央に合成することを特徴とする。

また、請求項３に係る発明は更に、前記選択手段により選択された前記移動体を含まない画像データに対してぼかし処理を施す画像処理手段を更に備え、前記合成手段は、前記抽出した部分画像を前記画像処理手段によりぼかし処理が施された前記移動体を含まない画像データに合成することを特徴とする。

また、請求項４に係る発明は更に、前記特定手段により特定された移動体の移動方向を検出する検出手段を更に備え、前記画像処理手段は、前記移動体を含まない画像データに対して前記移動体の移動方向のぼかし処理を施すことを特徴とする。

また、請求項５に係る発明は更に、前記特定手段により特定された移動体の移動速度を検出する検出手段を更に備え、前記画像処理手段は、前記移動体を含まない画像データに対して前記移動体の移動速度に応じた量のぼかし処理を施すことを特徴とする。

本発明の請求項６に係る撮像装置は、被写体を連続的に撮影して複数の画像データを取得する撮影手段と、前記撮影手段により取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出手段と、前記検出手段により移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択手段と、前記選択手段により選択された被写体部分に対してシャープ化処理を施す画像処理手段と、を具備したことを特徴とする。

また、請求項７に係る発明は更に、流し撮り撮影時の動作モードとして、カメラ追従モードとカメラ固定モードとを選択するモード選択手段と、前記選択手段は、前記カメラ追従モードが設定されている場合には最も移動速度の遅い被写体部分を選択し、前記カメラ固定モードが設定されている場合には最も移動速度の速い被写体部分を選択し、前記画像処理手段は、前記カメラ追従モードが設定されている場合には前記選択手段により選択された被写体部分に対してシャープ化処理を施し、前記カメラ固定モードが設定されている場合には前記選択手段により選択された被写体部分に対してぼかし処理を施すことを特徴とする。

また、請求項８に係る発明は更に、前記カメラ追従モードが設定されている場合にはシャッター速度を所定以下に設定して撮影を行い、前記カメラ固定モードが設定されている場合にはシャッター速度を所定以上に設定して撮影を行うことを特徴とする。

本発明の請求項９に係る画像処理方法は、被写体を連続的に撮影して複数の画像データを取得する撮影ステップと、前記撮影ステップにより取得される複数の画像データの比較により移動体を特定する特定ステップと、前記撮影ステップにより取得される複数の画像データの中で前記特定ステップにより特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択ステップと、前記選択ステップにより選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成ステップと、を含むことを特徴とする。

本発明の請求項１０に係る画像処理方法は、被写体を連続的に撮影して複数の画像データを取得する撮影ステップと、前記撮影ステップにより取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出ステップと、前記検出ステップにより移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択ステップと、前記選択ステップにより選択された被写体部分に対してシャープ化処理を施す画像処理ステップと、を含むことを特徴とする。

本発明の請求項１１に係るプログラムは、撮像装置に搭載されたコンピュータを、被写体を連続的に撮影して複数の画像データを取得する撮影手段と、前記撮影手段により取得される複数の画像データの比較により移動体を特定する特定手段と、前記撮影手段により取得される複数の画像データの中で前記特定手段により特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択手段と、前記選択手段により選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成手段と、して機能させることを特徴とする。

本発明の請求項１２に係るプログラムは、撮像装置に搭載されたコンピュータを、被写体を連続的に撮影して複数の画像データを取得する撮影手段と、前記撮影手段により取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出手段と、前記検出手段により移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択手段と、前記選択手段により選択された被写体部分に対してシャープ化処理を施す画像処理手段と、して機能させることを特徴とする。

以上のように本発明によれば、移動体をメイン被写体として撮影する場合において、その移動体の動きにカメラを的確に合わせて撮影しなくとも、その移動体の動きを強調した流し撮り画像を簡単に得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、流し撮りモードを含む各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、そして、ワークメモリ３２ａとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。

輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後、この制御部３２は、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。

次に、本発明の第１の実施形態の動作について説明する。

今、例えば自動車などの移動体をメイン被写体として流し撮りを行う場合を想定する。通常、流し撮りを行う場合には、移動体の動きに合わせてカメラをパンニングしながらシャッタキーを押下するといった高度なテクニックを必要とする。本発明では、このような高度なテクニックを必要とせずに、移動体の動きを強調した流し撮り画像を簡単に得る方法を提案する。

図３乃至図５を参照して、その方法を簡単に説明する。

（１）まず、図３に示すように、デジタルカメラ１を移動体（この例では自動車）に向けて三脚等で固定し、スルー画像が表示された状態とする。

図４は移動体が一方向（この例では右から左方向）に移動している場合に順次得られる各フレームの画像データの一例を表している。なお、図中のＰ１〜Ｐ４は移動体の位置を示しており、Ｐ２がデジタルカメラ１の正面位置とする。これらの画像データは、スルー画像として表示部１９にモニタ表示される。

（２）スルー画像表示中に順次得られる各フレームの画像データを比較し、輝度や色信号の変化から移動体を特定すると共に、その移動体の移動方向を検出する。

（３）ここで、移動体がデジタルカメラ１の正面に来たとき、つまり、Ｐ２の位置に来たときに撮影者がシャッタキー９を押下したときのタイミングで、図５に示すように、移動体を含んだ画像［Ａ］を取得する。

（４）画像［Ａ］の記録後もフレーム間の比較を行いながら移動体を監視する。この間に移動体がＰ４の位置まで進み、フレームアウトしたことを確認したときに、図５に示すように、背景のみの画像［Ｂ］を取得する。

（５）後処理として、図６に示すように画像［Ａ］から移動体部分［Ｃ］の画像を抽出する。また、背景画像である画像［Ｂ］に対して、移動体の移動方向にぼかし処理を施す。

（６）最後に、ぼかし処理後の画像［Ｄ］と移動体部分［Ｃ］の画像とを合成する。これにより、合成後の画像［Ｅ］を流し撮り画像として得ることができる。

以下に、このような方法によって流し撮り画像を作成するための具体的な処理について詳しく説明する。なお、以下の各フローチャートで示される処理は、マイクロコンピュータである制御部３２がＲＯＭやＲＡＭ等の記録媒体に記録された所定のプログラムを読み込むことにより実行される。

図７および図８は第１の実施形態におけるデジタルカメラ１の流し撮り撮影処理を示すフローチャートである。この流し撮り撮影処理は、例えばメニューキー１６の操作により流し撮りモードが設定されたときに実行される。

流し撮りモードが設定されると、デジタルカメラ１に備えられた制御部３２は、まず、ＣＣＤ２３から順次得られる各フレームの画像データをスルー表示すると共に、これらの画像を取り込んでワークメモリ３２ａに一時的に記憶する（ステップＡ１１，Ａ１２）。そして、制御部３２は、ワークメモリ３２ａから直前の２フレーム分の画像データを取り出して各画素を比較することにより（ステップＡ１３）、輝度や色信号が所定値以上に変化する画素部分を移動体として特定すると共に（ステップＡ１４）、その画素変化の情報に基づいて移動体の移動方向を検出する（ステップＡ１５）。

なお、輝度や色信号が所定値以上に変化する画素部分が多数存在する場合には、その中で最も大きな割合を占める画素部分を移動体として特定するものとする。

ここで、画像中の移動体が確認されている状態で、撮影者によりシャッタキー９が押下操作されると（ステップＡ１６、Ａ１７のＹｅｓ）、制御部３２は、予め設定されたシャッタースピード（露光時間）に従って撮影された画像データを取り込み、これを画像［Ａ］としてメモリ３８に記録する（ステップＡ１８，Ａ１９）。図５に示すように、画像［Ａ］とは、メイン被写体である移動体を含んだ画像データである。

また、前記同様にして、制御部３２は、スルー画像表示中における各フレームの画像データをワークメモリ３２ａに順次取り込みながら（ステップＡ２０，Ａ２１）、直前の２フレーム分の画像データの各画素を比較して移動体の有無を判断する（ステップＡ２２〜２４）。そして、移動体がフレームアウトして画像データから消えたことを確認すると（ステップＡ２５のＮｏ）、制御部３２は、ステップＡ１８の処理と同様に予め設定されたシャッタースピード（露光時間）に従って撮影された画像データを取り込み、これを画像［Ｂ］としてメモリ３８に記録する（ステップＡ２６）。図５に示すように、画像［Ｂ］とは、背景のみの画像データである。

このようにして、画像［Ａ］と画像［Ｂ］が得られると、制御部３２は、画像［Ａ］から移動体部分［Ｃ］のデータを抽出する（ステップＡ２７）。この移動体部分［Ｃ］のデータ抽出は、画像［Ａ］と画像［Ｂ］を比較することで行う。

続いて、制御部３２は、背景画像である画像［Ｂ］に対し、移動体の移動方向にぼかし処理を施して画像［Ｄ］を作成する（ステップＡ２８）。このときのぼかし量としては、固定量であっても良いし、例えば図９に示すようなぼかし量選択画面５１にてユーザ（撮影者）が任意に設定することでも良い。図９の例では、項目５２〜５４をカーソル等により選択することで、レベル１〜３の間でぼかし量を任意に設定できるようになっている。この場合、レベル１〜３の順にぼかし量が多くなるものとすると、ぼかし量が多いほど、背景の流し効果は高くなり、移動体が速く移動しているように見える。

次に、制御部３２は、ぼかし処理後の画像［Ｄ］に移動体部分［Ｃ］のデータを重ね合わせることで画像［Ｅ］を作成し（ステップＡ２９）、その画像［Ｅ］を流し撮り画像としてメモリ３８に記録する（ステップＡ３０）。図６に示すように、画像［Ｅ］は移動体と背景画像を合成したものであり、背景画像については移動方向のぼかし処理が施されている。

このように、本発明の第１の実施形態によれば、メイン被写体となる移動体の動きにカメラを的確に合わせて撮影しなくとも、背景を流して移動体を動きを強調したような流し撮り画像を簡単に得ることができる。

なお、前記第１の実施形態では、画像［Ａ］（移動体を含んだ画像）、画像［Ｂ］（背景画像）、画像［Ｅ］（流し撮り画像）のそれぞれをメモリ３８に記録するものとして説明したが、必ずしもこれらの画像を記録する必要はない。例えば、シャッタータイミングで得られた画像［Ａ］のみをメモリ３８に記録し、画像［Ｂ］と画像［Ｅ］についてはワークメモリ３２ａに一時的に記憶しておき、必要に応じて画面に表示するなどしてから、ユーザの指示に従いメモリ３８に選択的に記録することでも良い。

また、ユーザがシャッタキー９を押下して移動体（メイン被写体）の位置を決めていたが、例えば画像の中心位置に移動体が来たことを判断し、そのときの画像を画像［Ａ］として自動的に取得するような構成としても良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、背景画像のぼかし量を固定あるいはユーザが任意に指定するものとしたが、第２の実施形態では、移動体の移動速度に応じて最適なぼかし量を決定することを特徴とする。

図１０および図１１は第２の実施形態におけるデジタルカメラ１の流し撮り撮影処理を示すフローチャートである。この流し撮り撮影処理は、例えばメニューキー１６の操作により流し撮りモードが設定されたときに実行される。

基本的な処理の流れは前記第１の実施形態（図７および図８）と同様である。すなわち、流し撮りモードが設定されると、デジタルカメラ１に備えられた制御部３２は、まず、ＣＣＤ２３から順次得られる各フレームの画像データをスルー表示すると共に、これらの画像を取り込んでワークメモリ３２ａに一時的に記憶する（ステップＢ１１，Ｂ１２）。そして、制御部３２は、ワークメモリ３２ａから直前の２フレーム分の画像データを取り出して各画素を比較することにより（ステップＢ１３）、輝度や色信号が所定値以上に変化する部分を移動体として特定する（ステップＢ１４）。

なお、輝度や色信号が所定値以上に変化する画素部分が多数存在する場合には、その中で最も大きな割合を占める画素部分を移動体として特定するものとする。

ここで、第２の実施形態では、画素変化の情報に基づいて移動体の移動方向を検出すると共に、さらに画角やＡＦ（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓｉｎｇ）によるメイン被写体までの距離の情報に基づいて、移動体の移動速度を演算することを含む（ステップＢ１５）。

画像中の移動体が確認されている状態で、撮影者によりシャッタキー９が押下操作されると（ステップＢ１６、Ｂ１７のＹｅｓ）、制御部３２は、予め設定されたシャッタースピード（露光時間）に従って撮影された画像データを取り込み、これを画像［Ａ］としてメモリ３８に記録する（ステップＢ１８，Ｂ１９）。図５に示すように、画像［Ａ］とは、メイン被写体である移動体を含んだ画像データである。

また、前記同様にして、制御部３２は、スルー画像表示中における各フレームの画像データをワークメモリ３２ａに順次取り込みながら（ステップＢ２０，Ｂ２１）、直前の２フレーム分の画像データの各画素を比較して移動体の有無を判断する（ステップＢ２２〜２４）。そして、移動体がフレームアウトして画像データから消えたことを確認すると（ステップＢ２５のＮｏ）、制御部３２は、ステップＢ１８の処理と同様に予め設定されたシャッタースピード（露光時間）に従って撮影された画像データを取り込み、これを画像データを画像［Ｂ］としてメモリ３８に記録する（ステップＢ２６）。図５に示すように、画像［Ｂ］とは、背景のみの画像データである。

このようにして、画像［Ａ］と画像［Ｂ］が得られると、制御部３２は、画像［Ａ］から移動体部分［Ｃ］のデータを抽出する（ステップＢ２７）。この移動体部分［Ｃ］のデータ抽出は、画像［Ａ］と画像［Ｂ］を比較することで行う。

ここで、制御部３２は、図１２に示すようなぼかし制御テーブル６１を参照して、移動体の移動速度に応じた最適なぼかし量を選択する（ステップＢ２８）。このぼかし制御テーブル６１には、移動速度に対する最適なぼかし量が予め設定されている。なお、このぼかし制御テーブル６１は、例えば制御部３２内のＲＡＭなどに設けられる。そして、制御部３２は、背景画像である画像［Ｂ］に対し、桁移動体の移動方向と前記選択されたぼかし量に応じたぼかし処理を施して画像［Ｄ］を作成する（ステップＢ２９）。

次に、制御部３２は、ぼかし処理後の画像［Ｄ］に移動体部分の［Ｃ］のデータを重ね合わせることで画像［Ｅ］を作成し（ステップＢ３０）、その画像［Ｅ］を流し撮り画像としてメモリ３８に記録する（ステップＢ３１）。図６に示すように、画像［Ｅ］は移動体と背景画像を合成したものであり、背景画像については移動方向のぼかし処理が施されている。

このように、本発明の第２の実施形態によれば、メイン被写体となる移動体の移動方向だけでなく、移動速度の要素を含めて背景画像のぼかすことで、移動体のスピード感をより効果的に表現した流し撮り画像を得ることができる。

なお、ここでは画角や被写体までの距離に基づいて移動体の実際の移動速度を算出したが、単に、画素変化の情報に基づいて画像データ上におけるメイン被写体部分の移動速度を算出しても良い。

また、前記第１の実施形態で説明したように、画像［Ａ］（移動体を含んだ画像）、画像［Ｂ］（背景画像）、画像［Ｅ］（流し撮り画像）は必ずしも記録する必要はなく、例えば、シャッタータイミングで得られた画像［Ａ］のみをメモリ３８に記録し、画像［Ｂ］と画像［Ｅ］についてはユーザの指示に従いメモリ３８に選択的に記録することでも良い。

また、ユーザがシャッタキー９を押下して移動体（メイン被写体）の位置を決めなくても、例えば画像の中心位置に移動体が来たことを判断し、そのときの画像を画像［Ａ］として自動的に取得するような構成としても良い。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

前記第１および第２の実施形態では、カメラを固定して撮影を行うものとしたが、第３の実施形態では、カメラを固定せずにパンニングしながら撮影を行う場合なども含めて、撮影者の意図した流し撮り画像を簡単に得ることのできる方法を提案する。

図１３は第３の実施形態で用いられる流し撮りモード選択画面の一例を示す図である。例えばメニューキー１６の操作により流し撮りモードを設定したときに、図１３のような流し撮りモード選択画面７１が表示される。この流し撮りモード選択画面７１には、流し撮りモードとして、「カメラ追従モード」、「カメラ固定モード」、「自由モード」のいずれかを選択するための項目７２〜７４が設けられている。

「カメラ追従モード」とは、撮影者が移動体の動きに合わせてカメラをパンニングして撮影する場合を想定したモードである。「カメラ固定モード」とは、前記第１および第２の実施形態と同様に、カメラを固定して移動体を撮影する場合を想定したモードである。「自由モード」とは、カメラを固定せずに通常のカメラ操作で移動体を撮影する場合を想定したモードである。

図１４および図１５は第３の実施形態におけるデジタルカメラ１の流し撮り撮影処理を示すフローチャートである。この流し撮り撮影処理は、例えばメニューキー１６の操作により流し撮りモードが設定されたときに実行される。この流し撮りモードの設定に伴い、図１３に示すような流し撮りモード選択画面７１が表示される。撮影者は、この流し撮りモード選択画面７１上で「カメラ追従モード」、「カメラ固定モード」、「自由モード」のいずれかを選択し、その選択したモードに対応した撮影方法で移動体の撮影を行うものとする。

デジタルカメラ１に備えられた制御部３２は、まず、前記流し撮りモード選択画面７１で選択されたモードを判断する（ステップＣ１１）。「カメラ追従モード」であれば、シャッタ速度を所定値以下になるように露出条件を決定する（ステップＣ１２）。また、「カメラ固定モード」であれば、シャッタ速度を所定値以上になるように露出条件を決定する（ステップＣ１３）。なお、「自由モード」であれば、撮影者が設定したシャッタ速度に従うものとする。

撮影が開始されると、制御部３２は、前記決定された露出条件に従ってＣＣＤ２３から順次得られる各フレームの画像データをスルー表示すると共に、最新のものを所定数（例えば２フレーム分）だけをワークメモリ３２ａに循環的に記憶する（ステップＣ１４）。そして、撮影者がシャッタキー９を押下すると（ステップＣ１５のＹｅｓ）、制御部３２は、そのシャッタータイミングで得られる画像データを含め、所定数分の画像データをワークメモリ３２ａに追加記憶した後（ステップＣ１６）、以下のようなメイン被写体を特定するための処理を行う。

すなわち、まず、制御部３２は、前記ワークメモリ３２ａに記憶された各フレームの画像データを比較し、画素値およびその配置パターンが所定面積以上に亘って連続的に類似している領域部分を抽出する（ステップＣ１７）。そして、これらの領域部分の画像内の各画素の移動ベクトル（速度および方向）を算出し（ステップＣ１８）、画像上で移動ベクトル（速度および方向）の異なる領域部分を実際に移動速度の異なる別々の被写体部分として識別する（ステップＣ１９）。

続いて、これらの被写体部分の中でメインとなる被写体を特定する。メインとなる被写体とは、撮影者が着目している移動体のことであり、その移動体の動きはカメラの撮影状態によって異なる。つまり、カメラを固定して撮影している場合には、メイン被写体である移動体は画像上では最も速く移動しているのに対し、カメラをパンニングしながら撮影している場合には画像上では最も遅く移動していることになる。

そこで、制御部３２は、現在設定されている流し撮りモードの種別を判断する（ステップＣ２０）。その結果、「カメラ追従モード」が設定されていれば、最も移動速度の遅い被写体部分の画像をメイン被写体として決定すると共に（ステップＣ２１）、そのメイン被写体部分に対してシャープ化処理を施すことを決定する（ステップＣ２２）。一方、「カメラ固定モード」が設定されていれば、最も移動速度の速い被写体部分の画像をメイン被写体として決定すると共に（ステップＣ２３）、そのメイン被写体部分に対してぼかし処理を施すことを決定する（ステップＣ２４）。

また、「自由モード」が設定されていれば、制御部３２は、ファインダ内のターゲット領域（画面中心）に最も近い被写体部分の画像をメイン被写体として決定すると共に（ステップＣ２５）、そのメイン被写体部分に対してシャープ化処理、その他の部分に対してぼかし処理を施すことを決定する（ステップＣ２６）。さらに、「カメラ固定モード」と「自由モード」では、ぼかし処理を行う部分に対し、その方向と強度（ぼかし量）を当該メイン被写体部分の移動方向と移動量に基づいて決定する（ステップＣ２７）。

次に、制御部３２は、ワークメモリ３２ａ内の各フレームの画像データの中から前記決定されたメイン被写体（移動体）が中央に存在する画像データを検索する（ステップＣ２８）。該当する画像データがあれば（ステップＣ２８のＹｅｓ）、制御部３２は、それを元画像として採用する（ステップＣ２９）。ここで言う元画像とは、流し撮り画像の元になる画像のことであり、図５に示した画像［Ａ］に相当する。

該当する画像データがない場合には（ステップＣ２８のＮｏ）、以下のようにしてメイン被写体（移動体）を中央に含んだ元画像を作成する。

すなわち、制御部３２は、ワークメモリ３２ａ内の各フレームの画像データの中からメイン被写体が写っていない画像データを背景画像として選択すると共に（ステップＣ３０）、メイン被写体の全体が写っている画像データを選択し、そのメイン被写体部分の画像を切り出す（ステップＣ３１）、そして、この切り出したメイン被写体部分を前記背景画像として選択した画像データの中央に合成し、この合成画像を元画像とする（ステップＣ３２）。

メイン被写体（移動体）を中央に含んだ元画像を取得すると、制御部３２は、その元画像のメイン被写体部分とその他の部分に対して、前記モード種別に応じて決定された画像処理（シャープ化処理／ぼかし処理）を別々に施す（ステップＣ３３）。

すなわち、「カメラ追従モード」であれば、制御部３２は、元画像のメイン被写体部分に一定のシャープ化処理を施す。これにより、撮影者が実際に移動体の動きに合わせてカメラをパンニングしながら撮影した場合において、移動体の動きにカメラが合わないことにより移動体がぶれて撮影されたとしても、その移動体部分のぶれが自動補正される。その結果、移動体を静止させたような撮り画像を得ることができる。なお、シャープ化処理については一定としたが、ぼかし処理と同様に移動体の移動方向および移動量に応じて変化させるようにしても良い。

また、「カメラ固定モード」であれば、制御部３２は、元画像のメイン被写体部分以外の背景部分に移動体の移動方向および移動量に応じたぼかし処理を施す。これにより、前記第１および第２の実施形態のように、カメラを固定して移動体を撮影するだけで、背景部分の画像を流した流し撮り画像を得ることができる。

また、「自由モード」であれば、制御部３２は、元画像のメイン被写体部分にシャープ化処理、その他の部分に移動体の移動方向および移動量に応じたぼかし処理を施すことになる。これにより、撮影者が移動体を自由に撮影した場合において、移動体の動きにカメラが合わないことにより移動体がぶれて撮影されたり、移動体以外の背景の方がぶれずに撮影されたとしても、これらが自動補正される。その結果、移動体を静止させると共に、移動体以外の部分を移動方向に流したような流し撮り画像を得ることができる。

つまり、メイン被写体部分にシャープ化処理を施す場合であっても、その他の背景部分にぼかし処理を施す場合であっても、メイン被写体部分とその他の背景部分のぼけやぶれの量が相対的に異なる状態となるので、移動体の動きが強調された合成画像を得ることができる。

なお、シャープ化処理やぼかし処理については様々な方法が周知技術として知られているので詳細は記載しないが各々どの方法を用いてもよい。

また、指定されたぼかし方向や量に基づいてぼかし処理を行うことや、シャープ化処理を行う場合に、予め画像のぶれやぼけの方向や量が特定されている場合に、この特定された情報を用いてより精度良くぶれやぼけのない状態に復元させる技術も知られている。例えば、ＰＳＦ（Point Spred Function：点像分布関数）法は、ぶれやぼけの方向や量の情報に基づいて、より精度良くぶれやぼけのない状態に復元させることのできる技術の１つである。

このようにして、各モードに応じて生成された流し撮り画像は、例えば画面に表示された後、ユーザの指示に従ってメモリ３８に記録保存される。

以上のように、本発明の第３の実施形態によれば、前記第１および第２の実施形態と同様にカメラを固定した状態で簡易に流し撮り画像を得ることができ、さらに、カメラを固定せずに移動体を撮影した場合でも、その移動体の動きにカメラを的確に合わせたような流し撮り画像を簡単に得ることができる。

また、前記各実施形態では、デジタルカメラを例にして説明したが、本発明はこれに限る者ではなく、例えばデジタルムービカメラの他、同様の撮像機能を備えた携帯電話やＰＤＡ（Personal Digital Assistant）などにも適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図である。 図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。 図３は同実施形態における移動体の撮影方法を説明するための図である。 図４は同実施形態におけるスルー画像表示中のフレーム画像の一例を示す図である。 図５は同実施形態における移動体を含んだ撮影画像と背景画像の一例を示す図である。 図６は同実施形態における移動体部分の画像とぼかし処理後の背景画像と、その合成画像である流し撮り画像の一例を示す図である。 図７は同実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。 図８は同実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。 図９は同実施形態におけるぼかし量選択画面の一例を示す図である。 図１０は本発明の第２の実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。 図１１は同実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。 図１２は同実施形態におけるぼかし制御テーブルの一例を示す図である。 図１３は本発明の第３の実施形態における流し撮りモード選択画面の一例を示す図である。 図１４は同実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。 図１５は同実施形態におけるデジタルカメラの流し撮り撮影処理を示すフローチャートである。

符号の説明

１…デジタルカメラ、２…ボディ、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２０ａ，２０ｂ…ズームキー、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…画像処理回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…ワークメモリ、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…メモリ、３９…音声処理部、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…ストロボ駆動部、５１…ぼかし量選択画面、６１…ぼかし制御テーブル、７１…流し撮りモード選択画面。

Claims (12)

1. 被写体を連続的に撮影して複数の画像データを取得する撮影手段と、
   前記撮影手段により取得される複数の画像データの比較により移動体を特定する特定手段と、
   前記撮影手段により取得される複数の画像データの中で前記特定手段により特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択手段と、
   前記選択手段により選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成手段と、
   を具備したことを特徴とする撮像装置。
2. 前記合成手段は、前記抽出した部分画像を前記移動体を含まない画像データの中央に合成することを特徴とする請求項１記載の撮像装置。
3. 前記選択手段により選択された前記移動体を含まない画像データに対してぼかし処理を施す画像処理手段を更に備え、
   前記合成手段は、前記抽出した部分画像を前記画像処理手段によりぼかし処理が施された前記移動体を含まない画像データに合成することを特徴とする請求項１または２記載の撮像装置。
4. 前記特定手段により特定された移動体の移動方向を検出する検出手段を更に備え、
   前記画像処理手段は、前記移動体を含まない画像データに対して前記移動体の移動方向のぼかし処理を施すことを特徴とする請求項３記載の撮像装置。
5. 前記特定手段により特定された移動体の移動速度を検出する検出手段を更に備え、
   前記画像処理手段は、前記移動体を含まない画像データに対して前記移動体の移動速度に応じた量のぼかし処理を施すことを特徴とする請求項３または４記載の撮像装置。
6. 被写体を連続的に撮影して複数の画像データを取得する撮影手段と、
   前記撮影手段により取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出手段と、
   前記検出手段により移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択手段と、
   前記選択手段により選択された被写体部分に対してシャープ化処理を施す画像処理手段と、
   を具備したことを特徴とする撮像装置。
7. 流し撮り撮影時の動作モードとして、カメラ追従モードとカメラ固定モードとを選択するモード選択手段と、
   前記選択手段は、前記カメラ追従モードが設定されている場合には最も移動速度の遅い被写体部分を選択し、前記カメラ固定モードが設定されている場合には最も移動速度の速い被写体部分を選択し、
   前記画像処理手段は、前記カメラ追従モードが設定されている場合には前記選択手段により選択された被写体部分に対してシャープ化処理を施し、前記カメラ固定モードが設定されている場合には前記選択手段により選択された被写体部分に対してぼかし処理を施すことを特徴とする請求項６記載の撮像装置。
8. 前記カメラ追従モードが設定されている場合にはシャッター速度を所定以下に設定して撮影を行い、前記カメラ固定モードが設定されている場合にはシャッター速度を所定以上に設定して撮影を行うことを特徴とする請求項６または７記載の撮像装置。
9. 被写体を連続的に撮影して複数の画像データを取得する撮影ステップと、
   前記撮影ステップにより取得される複数の画像データの比較により移動体を特定する特定ステップと、
   前記撮影ステップにより取得される複数の画像データの中で前記特定ステップにより特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択ステップと、
   前記選択ステップにより選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
10. 被写体を連続的に撮影して複数の画像データを取得する撮影ステップと、
    前記撮影ステップにより取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出ステップと、
    前記検出ステップにより移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択ステップと、
    前記選択ステップにより選択された被写体部分に対してシャープ化処理を施す画像処理ステップと、
    を含むことを特徴とする画像処理方法。
11. 撮像装置に搭載されたコンピュータを、
    被写体を連続的に撮影して複数の画像データを取得する撮影手段と、
    前記撮影手段により取得される複数の画像データの比較により移動体を特定する特定手段と、
    前記撮影手段により取得される複数の画像データの中で前記特定手段により特定された移動体を含む画像データと該移動体を含まない画像データとを選択する選択手段と、
    前記選択手段により選択された前記移動体を含む画像データから該移動体に対応する部分画像を抽出し、この抽出した部分画像を前記移動体を含まない画像データに合成する合成手段と、
    して機能させることを特徴とするプログラム。
12. 撮像装置に搭載されたコンピュータを、
    被写体を連続的に撮影して複数の画像データを取得する撮影手段と、
    前記撮影手段により取得される複数の画像データの比較により各被写体部分の移動速度を検出する検出手段と、
    前記検出手段により移動速度が検出された複数の被写体部分の中で、最も移動速度の遅い被写体部分を選択する選択手段と、
    前記選択手段により選択された被写体部分に対してシャープ化処理を施す画像処理手段と、
    して機能させることを特徴とするプログラム。

Images