(第1の実施の形態)
以下、本発明の一実施の形態を図に従って説明する。図1は、本発明の一実施の形態に係るカメラシステムを示すシステム構成図であり、このカメラシステムは相互に無線通信可能なデジタルカメラ1と装着体としてのバッジ5とで構成されている。バッジ5は、撮影者が撮影しようとする被写体である主被写体Mの首に装着するための首紐51を備えている。
図2は、デジタルカメラ1の回路構成を示すブロック図であり、このデジタルカメラ1は、後述するブレ補正機能とともにAE、AWB等の一般的な機能をも有するものである。すなわち、レンズブロック11には、ズームレンズ、フォーカスレンズ等の主光学系と、ブレを補正するための補正光学系及び各光学系を駆動するための駆動機構が含まれている。前記主光学系は、駆動機構に設けられているモーター12によって駆動され、前記補正光学系は、駆動機構に設けられているアクチュエーター13によって駆動される。なお、本実施の形態において、前記AFは、フォーカスレンズを光軸方向に移動させながら、各位置で撮像した中央部の被写体のAF評価値(コントラスト値)を検出し、AF評価値のピーク位置を合焦位置とするコントラスト検出方式である。
デジタルカメラ1全体を制御するCPU14には、バス15及びタイミング発生器(TG:Timing Generator)16を介してモータードライバ17とアクチュエータードライバ18が接続されており、両ドライバ17、18は、CPU14の命令に従いタイミング発生器16が発生するタイミング信号に基づき、モーター12とアクチュエーター13とを駆動する。
また、このデジタルカメラ1は撮影領域を画するCCD19を有している。CCD19は、レンズブロック11の光軸上に配置されており、被写体は、レンズブロック11によってCCD19の受光面に結像される。CCD19は、CPU14の命令に従いタイミング発生器16が生成するタイミング信号に基づき垂直及び水平ドライバ20によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路21に出力する。ユニット回路21は、CCD19の出力信号に含まれるノイズを相関二重サンプリングによって除去するCDS回路や、ノイズが除去された撮像信号をデジタル信号に変換するA/D変換器等から構成され、デジタルに変換した撮像信号を画像処理部22へ出力する。
画像処理部22は、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度(Y)信号及び色差(UV)信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。画像処理部22で変換されたYUVデータは順次SDRAM23に格納されるとともに、スルー画撮影モードでは1フレーム分のデータ(画像データ)が蓄積される毎にビデオ信号に変換され、バックライト(BL)24を備える液晶モニタ(LCD)25へ送られてスルー画像として画面表示される。
そして、静止画撮影モードにおいては、シャッターキー操作をトリガとして、CPU14は、CCD19、垂直及び水平ドライバ20、ユニット回路21、及び画像処理部22に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ、SDRAM23に一時記憶された画像データは、CPU14により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ26に記録される。また、ムービー録画モードにおいては、録画開始ボタン操作と録画終了ボタン操作との間に、SDRAM23に順次記憶される複数の画像データがCPU14により順次圧縮され、動画ファイルとして外部メモリ26に記録される。この外部メモリ26に記録された静止画ファイル及び動画ファイルは、PLAY・モードにおいてユーザーの選択操作に応じてCPU14に読み出されるとともに伸張され、YUVデータとしてSDRAM23に展開された後、液晶モニタ25に表示される。
フラッシュメモリ27には、CPU14に前記各部を制御させるための各種のプログラム、例えばAE、AF、AWB制御用のプログラムや、データ通信用プログラム、撮影時の適正な露出値(EV)に対応する絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータ、EV値表、さらにはCPU14を本発明のブレ補正手段、取得手段、認識手段、及び制御手段等として機能させるためのプログラム等の各種のプログラムが格納されている。
また、デジタルカメラ1は、電源スイッチ、モード選択キー、シャッターキー、ズームキー、カーソルキー、録画開始ボタンと終了ボタン等の複数の操作キー及びスイッチを含むキー入力部28、ニッケル水素電池等の充電可能なバッテリー29、このバッテリー29の電力を各部に供給するための電源制御回路30、及びこれらを制御するマイコン31を有している。マイコン31は、キー入力部28における前記操作キーの操作の有無を定常的にスキャンしており、ユーザーによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をCPU14へ送る。
また、このデジタルカメラ1は、前記ムービー録画モードにおいて、周囲音を記録する録音機能を備えており、CPU14には、音声処理回路を有する音声チップ33を介して、スピーカ(SP)34と、マイクロホン(MIC)35とが接続されている。音声チップ33は、ムービー録画モード時には、マイクロホン35から入力された音声波形を処理して、音声波形データをCPU14に入力する。そして、CPU14は、ムービー録画モードにおいて録画開始ボタン操作と録画終了ボタン操作との間に、音声チップ33から入力された音声波形データを圧縮し、この圧縮周囲音データと圧縮動画データとを含む音声付き動画ファイルを生成して外部メモリ26に記録する。この外部メモリ26に記録された音声付き動画ファイルは、PLAY・モードにおいて動画データが再生される際に、周囲音データが音声チップ33で音声波形に変換されてスピーカ34により再生される。
さらに、CPU14には、バス15を介してジャイロセンサー36と無線送受信部37とが接続されている。ジャイロセンサー36は、このデジタルカメラ1の角速度をブレとして検出する角速度センサーである。無線送受信部37は、CPU14により制御されて前記バッジ5と無線通信を行うものであり、アンテナ38を有している。
図3は、前記バッジ5の回路構成を示すブロック図である。このバッジ5全体を制御するCPU52には、バス53を介してフラッシュメモリ54、RAM55、ジャイロセンサー56、無線送受信部57が接続されている。フラッシュメモリ54には、CPU52にこのバッジ5全体を制御させるためのプログラムが格納されており、CPU52はこのプログラムに基づき、RAM55をワークエリアとして使用しつつ制御を実行する。ジャイロセンサー56は、このバッジ5の角速度を主被写体Mのブレとして検出する角速度センサーである。無線送受信部37は、CPU52により制御されて前記デジタルカメラ1と無線通信を行うものであり、アンテナ58を有している。
以上の構成に係る本実施の形態において、撮影者は図1に示すように、イベント等に参加する主被写体Mに首紐51によってバッジ5を装着する。この状態において、バッジ5側のCPU52は前記プログラムに基づき、図4(A)のフローチャートに示すような処理を実行する。すなわち、主被写体Mの動作に伴うバッジ5の角速度をジャイロセンサー56が検出すると、これを被写体側振動データとして出力させる(ステップA101)。また、無線送受信部57を制御して、ジャイロセンサー56から出力された被写体側振動データをアンテナ58より外部に無線送信させ(ステップA102)、以降このステップA101とA102の動作を繰り返す。
一方、デジタルカメラ1のCPU14は、前記プログラムに基づき、図4(B)のフローチャートに示すような処理を実行する。スルー画撮影モードが設定されている撮影待機状態において、先ずスルー画像表示処理を開始し(ステップB101)、液晶モニタ25にスルー画像を表示させる。次に、シャッターキーが押下されたか否かを判断し(ステップB102)、シャッターキーが押下されるまで待機する。シャッターキーが押下されたならば、コントラストAF処理を実行して、撮影領域内において中央部の被写体が合焦するように、フォーカスレンズを駆動する(ステップB103)。さらに、このステップB103で駆動したフォーカスレンズの位置に基づき、被写体までの距離を算出する(ステップB104)。したがって、撮影者が主被写体Mを画像中央部にしてシャッターキーを押下する(AFロックする)ことにより、主被写体Mまでの距離が算出されることとなる。
なお、本実施の形態においてはコントラストAFを用いるようにしたが、位相差AFを用いるようにしてもよく、この場合ステップB104では、距離センサから出力される距離情報を取得する処理を行うことになる。
次に、垂直及び水平ドライバ20を制御してCCD19を駆動することにより、露光を開始する(ステップB105)。さらに、無線送受信部37を制御して、前記ステップA102での処理によりバッジ5側から送信された被写体振動データを無線受信するとともに(ステップB106)、ジャイロセンサー36を制御して、カメラ側の振動データを出力させる(ステップB107)。
引き続き、このステップB107で出力させたカメラの振動データに対応するカメラのブレ量と、前記ステップB106で受信した被写体振動データに対応する被写体のブレ量、及び前記ステップB104で算出した被写体までの距離から、主被写体Mとデジタルカメラ1との相対的なブレ量を算出する(ステップB108)。そして、このステップB108で算出したブレ量に基づき、ブレを補正する為のレンズ駆動処理を実行する(ステップB109)。つまり、アクチュエータードライバ18を制御して、アクチュエーター13を動作させることにより、レンズブロック11内の補正光学系を算出したブレ量に基づき駆動する。
次に、露光が終了したか否かを判断し(ステップB110)、露光が終了するまでステップB106からの処理を繰り返す。そして、シャッタースピードに応じた露光時間が経過して、露光が終了すると、画像記録処理を実行し、SDRAM23に一時記憶された画像データを圧縮して、最終的には所定のフォーマットの静止画ファイルとして外部メモリ26に記録する(ステップB111)。これにより、外部メモリ26には、主被写体側のブレ及びデジタルカメラ1側のブレが共に補正された画像を外部メモリ26に記録することができる。
なお、本実施の形態においてはフローチャートに示したように、静止画撮影時における露光期間中においてのみブレ補正を行うようにしたが、スルー画像表示中や動画撮影中においても、前述と同様の露光期間中におけるブレ補正(静止画撮影用のブレ補正)や、動画撮影処理と平行して露光期間中であるか否かに関係なく常に本発明のブレ補正処理を実行する動画撮影用のブレ補正を行うようにしてもよい。また、ステップB109で実行するブレ補正に関しても、光学系の一部を駆動してブレを補正する光学式ブレ補正に限らず、露光を複数に分割して行い、各露光で得られた画像をブレ量に応じてずらして合成することにより、ブレ補正された画像を得る電子式ブレ補正を用いるようにしてもよい。
また、本実施の形態においては、バッジ5側から一方向的に振動データを送信するようにしたが、デジタルカメラ1側から無線送受信部37を介して例えば露光期間を示すデータを送信し、これをバッジ5側が無線送受信部57で受信し、露光期間中においてのみ振動データを送信するようにしてもよい。これにより、無用な振動データの送信を回避することができる。
また、本実施の形態においては、バッジ5を首紐51により主被写体に装着するようにしたが、これに限らずピン等により係着したり、粘着剤により接着させる等、他の装着手段を用いたり、腕時計等の各種携帯機器に内蔵させるようにしてもよい。
さらに、本実施の形態においては、シャッターキーの押下に応答して露光を行いブレ補正を行うようにしたが、ブレ補正を行うことなく、バッジ5から所定以上の被写体側振動データが送信されてくる間は露光を禁止し、主被写体Mのブレがある程度収束して、被写体側振動データが所定以下となった時点で露光を許容するようにしてもよい。
また、本実施の形態においては、ズーム機能を有していないデジタルカメラに本発明を適用した場合について説明したが、光学ズーム機能や電子ズーム機能を有しているデジタルカメラに本発明を適用するようにしてもよい。この場合、前記ステップB107で出力させたカメラの振動データに対応するカメラのブレ量、前記ステップB106で受信した被写体振動データに対応する被写体のブレ量、前記ステップB104で算出した被写体までの距離、及びズーム量(画角)から、主被写体Mとデジタルカメラ1との相対的なブレ量を算出する必要がある。
加えて、本実施の形態においては、主被写体Mのブレを当該主被写体に装着されたバッジ5により検出して、被写体側振動データを送信するようにしたが、例えば固定カメラを用いてその画像の変化に基づき主被写体のブレを検出して、被写体側振動データを送信するようにしてもよい。
(第2の実施の形態)
図5〜図8は、本発明の第2の実施の形態を示すものであり、予め登録した形状に基づき主被写体を認識してブレ補正を行うようにしたものである。なお、本実施の形態においては、前記バッジ5を用いることなくデジタルカメラ1のみを用いる。
すなわち、キー入力部28に設けられているモード選択キーを操作して「前処理」モードを選択すると、CPU14は、前記プログラムに基づき、図5のフローチャートに示すような処理を実行する。まず、キー入力部28での機能キー等の操作に応じて選択された撮影の画像データをフラッシュメモリ27から読み出し、液晶モニタ25に表示させる(ステップS201)。次に、キー入力部28でのカーソルキー等の操作に応じて、液晶モニタ25に表示されている画像から認識させたい形状部分をトリミングし(ステップS202)、このトリミングした形状部分の画像をフラッシュメモリ27に設けられているMyパターンマッチング領域に登録する(ステップS203)。
したがって、図6(A)に示したように帽子を被った主被写体Mが液晶モニタ25に表示されている状態で所望の領域のトリミングを行うことにより、同図(B)に示すように、帽子部分の形状Fを登録することができる。また、この「前処理」を複数回実行することにより、Myパターンマッチング領域に複数の認識させたい形状部分を登録することができる。
そして、ムービー録画モードを設定すると、CPU14は、図7のフローチャートに示すような処理を実行する。まず、前記Myパターンマッチング領域から登録されている形状部分データを読み出す(ステップS211)。このとき、Myパターンマッチング領域に複数の形状部分データが登録されている場合には、これらを液晶モニタ25に一覧表示して、その中からキー入力部28での操作により選択された形状部分データを読み出す。また、前述と同様にしてスルー画像を液晶モニタ25に表示させる(ステップS212)。
次に、録画開始ボタンが押下されたか否かを判断し(ステップS213)、録画開始ボタンが押下されるまで待機する。録画開始ボタンが押下されたならば、動画撮影処理を開始するとともに(ステップS214)、パターンマッチングにより被写体を認識する(ステップS215)。つまり、CCD19が駆動されることによりSDRAM23に取り込まれた被写体画像と、前記ステップS211で読み出した形状部分データが示す形状部分とを比較して、被写体画像中における当該形状部分を有する被写体を主被写体として認識する。
引き続き、この動画撮影中においてSDRAM23に順次記憶される複数の画像データにおける時間的に隣接する画像に基づき、ステップS215で特定された主被写体の移動量(移動量と移動方向とを含む動きベクトル)を検出する(ステップS216)。また、この検出した移動量に応じて、アクチュエータードライバ18を制御し、アクチュエーター13を動作させることにより、レンズブロック11内の補正光学系を駆動する(ステップS217)。次に、録画撮影が終了となったか否か、つまり録画終了ボタンを押下したか否か及び外部メモリ26が一杯になったか否かを判断し(ステップS218)、動画撮影が終了となるまでステップS215からの処理を繰り返す。そして、録画終了ボタンの押下が検出されるか、外部メモリ26が一杯になった時点で動画撮影を終了する。
これにより撮影された動画にあっては、前述のように認識した被写体の移動量に応じて、レンズブロック11内の補正光学系を駆動しつつ撮影されたものであることから、デジタルカメラ1に手ブレが生じたり主被写体が移動してもこれに左右されることなく、ブレのない主被写体が撮影された静止画とすることができる。
なお、本実施の形態においては前記フローチャートのステップS217に示したように、光学系の一部を駆動してブレを補正する光学式ブレ補正を行うようにしたが、動画撮影処理により得られる各フレーム画像の切り出し範囲(トリミング範囲)をブレ量に応じてずらす(変更する)ことにより、ブレ補正された動画像を得る電子式ブレ補正を行うようにしてもよい。
図8は、本実施の形態における静止画撮影時の処理手順を示すフローチャートである。まず、前記Myパターンマッチング領域から登録されている形状部分データを読み出す(ステップS221)。このとき、Myパターンマッチング領域に複数の形状部分データが登録されている場合には、前述と同様にこれらを液晶モニタ25に一覧表示させて、その中からキー入力部28での操作により選択された形状部分データを読み出す。そして、スルー画像を液晶モニタ25に表示させる(ステップS222)。
次に、シャッターキーが押下されたか否かを判断し(ステップS223)、シャッターキーが押下されるまで待機する。シャッターキーが押下されたならば、高速での静止画撮影処理(高速シャッター処理)を実行する(ステップS224)。この高速での静止画撮影処理においては、前記絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータに基づくシャッタースピード、つまり当該画像を撮影する際の本来のシャッタースピードを、10分割した高速シャッタースピードを算出する。そして、この高速シャッタースピードでCCD19を駆動することにより、1/10時間のシャッタースピードで静止画撮影を行い、その画像データをSDRAM23に格納する。
さらに、パターンマッチングにより被写体を認識する(ステップS225)。つまり、高速静止画撮影によりSDRAM23に格納した被写体画像と、前記ステップS221で読み出した形状部分データが示す形状部分とを比較して、被写体画像中における当該形状部分を有する被写体を主被写体として認識する。
引き続き、ステップS226、S227の処理を実行するが、これらの処理は1枚目の高速静止画撮影時においてはスキップする。また、ステップS227に続くステップS228では、10枚の高速静止画撮影が終了したか否かを判断し、終了するまでステップS224からの処理を繰り返す。そして、ステップS224からの処理が再度実行されることにより、2枚目以降の高速静止画撮影が行われると、スキップすることなくステップS226の処理を実行し、SDRAM23に今回格納された被写体画像における主被写体と前回格納された被写体画像における主被写体とを比較することにより、当該主被写体の移動量(移動方向を含む)を検出する(ステップS226)。そして、この検出した移動量分だけずらして、前回までの被写体画像に今回の被写体画像を合成する(ステップS227)。したがって、ステップS228の判断がYESとなるまで、つまり10枚の高速静止画撮影が終了するまでに、ステップS226及びS227の処理が9回行われることとなり、10枚の高速静止画撮影した静止画を順次合成した1枚の静止画が生成される。
そして、10枚の高速静止画撮影が終了したならば、合成画像つまり10枚の高速静止画撮影した静止画を順次合成した1枚の静止画を外部メモリ26に記録する(ステップS229)。この静止画にあっては、前述のようにパターンマッチングにより認識した被写体である主被写体の移動量を検出して、検出した移動量分だけずらして画像合成したものであることから、デジタルカメラ1に手ブレが生じたり主被写体が移動してもこれに左右されることなく、ブレのない主被写体が撮影された静止画とすることができる。
また、合成された10枚の静止画は、絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータに基づくシャッタースピードを、10分割したシャッタースピードで撮影されたものである。したがって、このシャッタースピードで撮影された10枚の静止画が合成されることにより、画像の明るさも適切となる。よって、画像の明るさも適切であって、かつ、主被写体にブレのない静止画とすることができる。
なお、本実施の形態においては、前記フローチャートに示したように、10枚の高速静止画撮影を行いつつ、静止画撮影毎に認識した被写体の移動量を検出する処理(ステップS226)と検出した移動量分だけずらして画像合成する処理(ステップS227)とを行うようにしたが、10枚の高速静止画撮影終了後にこれらの各処理を行うようにしてもよい。
また、本実施の形態においては、Myパターンマッチング領域に複数の認識させたい形状部分のトリミング画像を登録するようにしたが、画像認識により形状を認識し、この認識結果データを登録するようにし、その後、動画撮影処理あるいは高速静止画撮影処理により得られる被写体画像に対して画像認識処理を実行することにより認識結果データを得るようにし、この認識結果データと登録されている認識結果データとを比較して、略一致した認識結果データが得られた部分の被写体を主被写体として認識するようにしてもよい。
(第3の実施の形態)
図9、10は、本発明の第3の実施の形態を示すものであり、予め登録した特徴色部分(色や模様)に基づき主被写体を認識してブレ補正を行うようにしたものである。この実施の形態にあっては、「前処理」モードにおいて図9のフローチャートに示すような処理を実行する。まず、キー入力部28での機能キー等の操作に応じて選択された撮影の画像データをフラッシュメモリ27から読み出し、液晶モニタ25に表示させる(ステップS301)。次に、キー入力部28でのカーソルキー等の操作に応じて、液晶モニタ25に表示されている画像から認識させたい特徴色部分をトリミングし(ステップS302)、このトリミングした特徴色部分の画像をフラッシュメモリ27に設けられているMyパターンマッチング領域に登録する(ステップS303)。
したがって、図10(A)に示したように帽子を被った主被写体Mが液晶モニタ25に表示されている状態で所望の領域のトリミングを行うことにより、同図(B)に示すように、帽子の特徴色部分Cを登録することができる。また、この「前処理」を複数回実行することにより、Myパターンマッチング領域に複数の認識させたい特徴色部分を登録することができる。
そして、ムービー録画モードが設定された場合には、前述した図7に示すフローチャートに従って処理を実行する。つまり、ステップS215においてパターンマッチングにより被写体を認識する際に、CCD19が駆動されることによりSDRAM23に取り込まれた被写体画像に含まれている各種の色と、前記ステップS211で読み出した特徴色部分データが示す色とを比較して、略一致した色部分の被写体を主被写体として認識する。これにより、前述のようにデジタルカメラ1に手ブレが生じたり主被写体Mが移動しても、ブレのない主被写体が撮影された動画とすることができる。
また、静止画撮影モードが設定された場合には、前述した図8に示すフローチャートに従って処理を実行する。つまり、ステップS225においてパターンマッチングにより被写体を認識する際に、CCD19が駆動されることによりSDRAM23に取り込まれた被写体画像に含まれている各種の色と、前記ステップS221で読み出した特徴色部分データが示す色とを比較して、略一致した色部分の被写体を主被写体として認識する。これにより、前述のようにデジタルカメラ1に手ブレが生じたり主被写体Mが移動しても、ブレのない主被写体が撮影された静止画とすることができるとももに、画像の明るさも適切となる。よって、画像の明るさも適切であって、かつ、主被写体にブレのない静止画を撮影することができる。
また、本実施の形態においては、Myパターンマッチング領域に複数の認識させたい特徴色部分のトリミング画像を登録するようにしたが、画像認識により色を認識し、この色認識結果データを登録するようにし、その後、動画撮影処理あるいは高速静止画撮影処理により得られる被写体画像に対して色認識処理を実行することにより色認識結果データを得るようにし、この色認識結果データと登録されている色認識結果データとを比較して、略一致した色認識結果データが得られた部分の被写体を主被写体として認識するようにしてもよい。
(第4の実施の形態)
図11は、本発明の第4の実施の形態を示すものであり、予め選択した形状に基づき主被写体を認識してブレ補正を行うようにしたものである。この実施の形態にあっては、「前処理」モードにおいて図11のフローチャートに示すような処理を実行する。まず、フラッシュメモリ27に格納されているマッチングリストを液晶モニタ25に表示させる(ステップS401)。このマッチングリストは、「○」「△」「×」・・・等の複数種の形状を表示させるデータからなり、したがって、このステップS401により、液晶モニタ25には、「○」「△」「×」・・・等の複数種の形状が表示される。次に、キー入力部28でのカーソルキー等の操作に応じて、液晶モニタ25に表示されているマッチングリストから主被写体に付いている特徴的な形状(主被写体の形状に近いものでもよい)を選択し(ステップS402)、この選択した形状をフラッシュメモリ27に設けられているMyパターンマッチング領域に登録する(ステップS403)。例えば、主被写体が他の被写体とは異なり「○」を特徴的な形状として有しているならば、「○」を選択する。
そして、ムービー録画モードが設定された場合には、前述した図7に示すフローチャートに従って処理を実行する。これにより、「○」を特徴的な形状として有する主被写体が移動したりデジタルカメラ1に手ブレが生じても、当該主被写体にブレのない動画とすることができる。また、静止画撮影モードが設定された場合には、前述した図8に示すフローチャートに従って処理を実行する。これにより、デジタルカメラ1に手ブレが生じたり、「○」を特徴的な形状として有する主被写体が移動しても、ブレのない主被写体が撮影された静止画とすることができるとともに、画像の明るさも適切となる。よって、画像の明るさも適切であって、かつ、主被写体にブレのない静止画を撮影することができる。
なお、本実施の形態においては、マッチングリストに複数種の形状を記憶しておき、いずれかの形状を選択させるようにしたが、複数種の色を記憶しておいていずれかの色を選択させ、第3の実施の形態と同様にカラーマッチングにより主被写体を認識するようにしてもよい。また、図11のフローチャートにおいては、マッチングリストから選択された形状をMyパターンマッチング領域に登録するようにしたが(ステップS403)、Myパターンマッチング領域を設けることなく、マッチングリスト内において選択された形状に識別子を付して、当該形状が選択されていることを判別できるようにしてもよい。
また、以上に説明した第2〜第4の実施の形態においては、図5、図9、図11のフローチャートに示したように、各々異なる単一の前処理を行うようにしたが、全ての前処理を実行可能とし、ユーザがいずれかの前処理を選択できるようにしてもよい。
(第5の実施の形態)
図12及び図13は、本発明の第5の実施の形態を示すものであり、AFロックさせた被写体の輪郭を予め抽出し、この抽出した輪郭に基づき主被写体を認識してブレ補正を行うようにしたものである。
ムービー録画モードを設定すると、CPU14は、図12のフローチャートに示すような処理を実行する。まず、スルー画像を液晶モニタ25に表示させる(ステップS501)。このとき、CPU14は、モータードライバ17を制御してモーター12を駆動させることにより、フォーカスレンズを光軸方向に移動させながら、撮影領域内において中央部の被写体が合焦するようにコントラストAFを行っている。
この状態において、キー入力部28での操作によるAFロック指示があったか否かを判断し(ステップS502)、AFロック指示があるまでAFを継続する。そして、主被写体が撮影領域の中央部に位置するようにデジタルカメラ1の向きを調整し、主被写体にピントが合った時点でAFロック指示を行うと、ステップS502の判断がYESとなり、フォーカスレンズを現在位置に固定することにより、撮影対象に向けて、AFロックを行う(ステップS503)。なお、AFロック指示があるまでAFを行わずにAFロック指示によりAFを行った後、フォーカスレンズを固定するようにしてもよい。次に、AFされた部分を中心に輪郭を抽出する処理を実行する(ステップS504)。すなわち、AFされた部分は撮影領域の中央部であることから、この撮影領域の中央部を中心にして所定範囲内における画像の輪郭を抽出する。したがって、前述のように主被写体が撮影領域の中央部に位置するようにデジタルカメラ1の向きを調整しておくことにより、主被写体の輪郭が抽出されることとなる。その後、使用者は、撮影領域の中央部に位置していた主被写体が撮影領域内の所望位置に移動するようにデジタルカメラ1の向きを調整した後、録画開始ボタンを押下することにより動画撮影処理を開始することになる。
次に、録画開始ボタンが押下されたか否かを判断し(ステップS505)、録画開始ボタンが押下されるまで待機する。録画開始ボタンが押下されたならば、動画撮影処理を開始するとともに(ステップS506)、パターンマッチングにより被写体を認識する(ステップS507)。つまり、CCD19が駆動されることによりSDRAM23に取り込まれた被写体画像における輪郭と、前記ステップS504で抽出した輪郭とを比較して、被写体画像中における当該略一致した輪郭を有する被写体を主被写体として認識する。
引き続き、この動画撮影中においてSDRAM23に順次記憶される複数の画像データにおける時間的に隣接する画像に基づき、前記ステップS507で主被写体として認識した被写体の移動量(移動量と移動方向とを含む動きベクトル)を検出する(ステップS508)。また、この検出した移動量に応じて、アクチュエータードライバ18を制御し、アクチュエーター13を動作させることにより、レンズブロック11内の補正光学系を駆動する(ステップS509)。次に、録画撮影が終了となったか否か、つまり録画終了ボタンを押下したか否か及び外部メモリ26が一杯になったか否かを判断し(ステップS510)、動画撮影が終了となるまでステップS507からの処理を繰り返す。そして、録画終了ボタンの押下が検出されるか、外部メモリ26が一杯になった時点で動画撮影を終了する。
これにより撮影された動画にあっては、前述のように認識した被写体の移動量に応じて、レンズブロック11内の補正光学系を駆動しつつ撮影されたものであることから、主被写体が移動したり、デジタルカメラ1に手ブレが生じても、主被写体にブレのない動画とすることができる。
なお、本実施の形態においても前記フローチャートのステップS509に示したように、光学系の一部を駆動してブレを補正する光学式ブレ補正を行うようにしたが、露光を複数に分割して行い、各露光で得られた動画撮影処理により得られる各フレーム画像の切り出し範囲(トリミング範囲)をブレ量に応じてずらす(変更する)ことにより、ブレ補正されたフレーム画像を得る電子式ブレ補正を行うようにしてもよい。
図13は、本実施の形態における静止画撮影時の処理手順を示すフローチャートである。まず、スルー画像を液晶モニタ25に表示させる(ステップS511)。このとき、CPU14は、モータードライバ17を制御してモーター12を駆動させることにより、フォーカスレンズを光軸方向に移動させながら、撮影領域内において中央部の被写体が合焦するようにコントラストAFを行っている。
この状態において、キー入力部28での操作(シャッターキーの半押し操作)によるAFロック指示があったか否かを判断し(ステップS512)、AFロック指示があるまでAFを継続する。そして、主被写体が撮影領域の中央部に位置するようにデジタルカメラ1の向きを調整し、主被写体にピントが合った時点でAFロック指示を行うと、ステップS512の判断がYESとなり、フォーカスレンズを現在位置に固定することより、撮影対象に向けて、AFロックを行う(ステップS513)。なお、AFロック指示があるまでAFを行わずにAFロック指示によりAFを行った後、フォーカスレンズを固定するようにしてもよい。
次に、前述したステップS504の処理と同様に、AFされた部分を中心に輪郭を抽出する処理を実行した後(ステップS514)、シャッターキーが押下(シャッターキーが全押し操作)されたか否かを判断し(ステップS515)、シャッターキーが押下されるまで待機する。なお、使用者は、撮影領域の中央部に位置していた主被写体が撮影領域内の所望位置に移動するようにデジタルカメラ1の向きを調整した後、シャッターキーを押下することにより静止画撮影処理を開始することになる。シャッターキーが押下されたならば、高速での静止画撮影処理(高速シャッター処理)を実行する(ステップS516)。この高速での静止画撮影処理においては、前述のように、絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータに基づくシャッタースピード、つまり当該画像を撮影する際の本来のシャッタースピードを、10分割した高速シャッタースピードを算出し、この高速シャッタースピードでCCD19を駆動することにより、1/10時間のシャッタースピードで静止画撮影を行い、その画像データをSDRAM23に格納する。
さらに、パターンマッチングにより被写体を認識する(ステップS517)。つまり、高速静止画撮影によりSDRAM23に格納した被写体画像における輪郭と、前記ステップS514で抽出した輪郭とを比較して、被写体画像中における当該略一致した輪郭を有する被写体を主被写体として認識する。
引き続き、ステップS518、S519の処理を実行するが、これらの処理は1枚目の高速静止画撮影時においてはスキップする。また、ステップS519に続くステップS520では、10枚の高速静止画撮影が終了したか否かを判断し、終了するまでステップS516からの処理を繰り返す。そして、ステップS516からの処理が再度実行されることにより、2枚目以降の高速静止画撮影が行われると、スキップすることなくステップS526の処理を実行し、SDRAM23に今回格納された被写体画像における主被写体と前回格納された被写体画像における主被写体とを比較することにより、当該主被写体の移動量(移動方向を含む)を検出する(ステップS518)。そして、この検出した移動量分だけずらして、前回までの被写体画像に今回の被写体画像を合成する(ステップS519)。したがって、ステップS520の判断がYESとなるまで、つまり10枚の高速静止画撮影が終了するまでに、ステップS518及びS519の処理が9回行われることとなり、10枚の高速静止画撮影した静止画を順次合成した1枚の静止画が生成される。
そして、10枚の高速静止画撮影が終了したならば、合成画像つまり10枚の高速静止画撮影した静止画を順次合成した1枚の静止画を外部メモリ26に記録する(ステップS521)。この静止画にあっては、前述のようにパターンマッチングにより認識した被写体である主被写体の移動量を検出して、検出した移動量分だけずらして画像合成したものであることから、デジタルカメラ1に手ブレが生じたり主被写体が移動してもこれに左右されることなく、ブレのない主被写体が撮影された静止画とすることができる。また、合成された10枚の静止画は、絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータに基づくシャッタースピードを、10分割したシャッタースピードで撮影されたものであることから、このシャッタースピードで撮影された10枚の静止画が合成されることにより、画像の明るさも適切となる。よって、画像の明るさも適切であって、かつ、主被写体にブレのない静止画とすることができる。
なお、本実施の形態においても、前記フローチャートに示したように、10枚の高速静止画撮影を行いつつ、静止画撮影毎に認識した被写体の移動量を検出する処理(ステップS518)と検出した移動量分だけずらして画像合成する処理(ステップS519)とを行うようにしたが、10枚の高速静止画撮影終了後にこれらの各処理を行うようにしてもよい。
また、以上に説明した第2〜第4の実施の形態においては、パターンマッチングにより認識した主被写体のブレを補正するブレ補正に本発明を用いるようにしたが、本発明をAFに用いて、認識した主被写体を合焦させるAFを行うようにしてもよい。