JP4637045B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に用いられる、サムネイル生成装置に関する。また、本発明は、そのサムネイル生成装置を備えた撮像装置に関する。

デジタルビデオカメラ等の撮像装置には、サムネイル画像を表示するモードが設けられていることが多い。動画用のサムネイル画像は、通常、動画の先頭画像等を縮小した画像となっている。ユーザは、このサムネイル画像を頼りに、録画した複数の動画の内から再生しようとする動画を選び出す。図１４に、従来のサムネイル画像の生成手順を表すフローチャートを示す。

特開２００１−１１１９６３号公報 特開２００５−２２９２３６号公報 特開平８−２５１５４０号公報

上記のように、従来の動画用のサムネイル画像は、撮影した動画の内容と関係なく、適当なタイミングにおける画像を基に生成される。このため、従来の撮像装置において、サムネイル画像は撮影した動画の特徴を表していないことが多く、所望の動画ファイルを効率的に選択して再生することが困難である、という問題があった。

そこで本発明は、動画の特徴を良く表した動画用のサムネイル画像の生成を可能とするサムネイル生成装置及びこれを備えた撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係るサムネイル生成装置は、動画撮影が可能な撮像装置に備えられた撮像手段からの被写体に応じた撮像信号に基づき、撮影した動画に関連付けられたサムネイル画像を生成するサムネイル生成装置において、予め定められたタイミングにおける前記撮像信号に基づいて、前記サムネイル画像の候補としての第１の候補サムネイル画像を生成する第１生成手段を備え、前記動画の撮影中において、所定のトリガ条件が成立した際、前記トリガ条件成立時を基準とした所定タイミングにおける前記撮像信号を用いて、前記第１の候補サムネイル画像と異なる第２の候補サムネイル画像を生成し、該第２の候補サムネイル画像を前記サムネイル画像として前記動画に関連付けることを特徴とする。

上記のように構成し、トリガ条件を適切に設定すれば、動画の特徴を良く表した動画用のサムネイル画像を生成することが可能となる。このため、再生時の動画ファイル選定の容易化が期待できる。

具体的には例えば、前記撮像装置は、前記撮像手段による撮影の画角の変更を可能とするための画角変更手段を備え、前記トリガ条件は、前記画角を減少させるズームインの後、所定時間以上継続して、前記画角変更手段による前記画角の変更が行われないという条件を含む。

また具体的には例えば、前記撮像装置は、前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段を備え、前記トリガ条件は、前記位置の変動の大きさが、所定時間以上継続して、所定の閾値内に収まるという条件を含む。

また具体的には例えば、前記撮像装置は、前記撮像信号に基づいて、動き検出領域内の画像の動きを検出する動き検出手段を備え、前記動き検出領域は、前記動画を構成する撮影画像内に設けられ、前記トリガ条件は、検出された前記動きの大きさが、所定時間以上継続して、所定の閾値内に収まるという条件を含む。

また具体的には例えば、前記撮像装置は、前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段を備え、前記トリガ条件は、検出された前記顔領域の大きさが所定の閾値以上であるという条件を含む。

また具体的には例えば、前記撮像装置は、外部から音の入力を受ける音入力手段を備え、前記トリガ条件の成立は、前記動画の撮影中に入力された前記音の強さ又は大きさに基づいて判断され、前記音の強さ若しくは大きさ又は前記音の所定帯域の周波数成分の強さ若しくは大きさが前記動画の撮影中において最大となったタイミングを基準とした所定タイミングにおける前記撮像信号を用いて、前記第２の候補サムネイル画像を生成する。

また例えば、前記動画の撮影中において、前記トリガ条件が成立した際、前記トリガ条件成立時を含むフレームまたはその近傍のフレームにおける前記撮像信号に基づいて、前記第２の候補サムネイル画像を生成する。

「その近傍のフレーム」とは、例えば、前記トリガ条件成立時を含むフレームの数フレーム前または数フレーム後のフレームである。但し、前記トリガ条件成立時を含むフレームの数１０フレーム前または数１０フレーム後のフレームなどであってもよい。

また例えば、前記動画の撮影中に前記トリガ条件が一度も成立しなかった場合には、前記第１の候補サムネイル画像を前記サムネイル画像として前記動画に関連付ける。

また、上記目的を達成するために本発明に係る撮像装置は、動画撮影が可能な撮像装置において、上記の撮像手段と上記のサムネイル生成装置と、を備える。

本発明によれば、動画の特徴を良く表した動画用のサムネイル画像を生成することが可能となる。このため、再生時の動画ファイル選定の容易化が期待でき、ユーザに使いやすい環境を提供できる。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付す。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路（ビデオ出力回路）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

バス２４には、撮像部１１、ＡＦＥ１２、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９、映像出力回路２０、音声出力回路２１及びＣＰＵ２３が接続されている。バス２４に接続された各部位は、バス２４を介して、各種の信号（データ）のやり取りを行う。

バス２５には、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＳＤＲＡＭ１７に接続されている。バス２５に接続された各部位は、バス２５を介して、各種の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じて、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。メモリカード１８は、撮像装置１に対して着脱自在となっている。メモリカード１８の記録内容は、メモリカード１８の端子を介して又は撮像装置１に設けられた通信用コネクタ部（不図示）を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

撮像素子３３は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子３３を構成する各画素には、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の何れかのカラーフィルタ（不図示）が設けられている。尚、撮像素子３３として、３板式の撮像素子を採用することも可能である。

ＡＦＥ１２は、撮像部１１の出力信号（即ち、撮像素子３３の出力信号）であるアナログの上記電気信号を増幅する増幅回路（不図示）と、増幅された電気信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換回路（不図示）と、を備える。ＡＦＥ１２によってデジタル信号に変換された撮像部１１の出力信号は、順次、映像信号処理部１３に送られる。また、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、被写体に応じた信号を、撮像信号と呼ぶ。

図３は、映像信号処理部１３の内部ブロック図である。映像信号処理部１３は、動画／静止画処理部４１と、ＡＦ評価値検出部４２と、ＡＥ評価値検出部４３と、動き検出部４４と、サムネイル生成部４５と、顔領域検出部４６と、を備える。

動画／静止画処理部４１は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。動画／静止画処理部４１は、動画の映像信号の生成と静止画の映像信号の生成の双方を行う。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３（動画／静止画処理部４１）からの映像信号を、所定の圧縮方式を用いて圧縮する。動画に対しては、例えば、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮方式を用いて映像信号の圧縮を行い、静止画に対しては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式を用いて映像信号の圧縮を行う。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。

尚、例えば、動画を構成する各撮影画像の画像サイズは、動画／静止画処理部４１等において、必要に応じ、間引き処理等を介して縮小されている。静止画に対しては、例えば、そのような縮小処理は施されない（施してもよい）。

また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、ＡＡＣ（Advanced Audio Coding）等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。１つのフレームにて１つのフレーム画像が得られる。各フレームの長さは、例えば１／６０秒である。この場合、１／６０秒の周期にて順次取得されるフレーム画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。再生モードには、メモリカード１８に格納された動画または静止画に関連付けられたサムネイル画像を表示部２７に再生表示するサムネイル画像表示モードが、含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像（即ちフレーム画像）が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。尚、共通の回路を時分割で利用して、動画に関する信号処理と静止画に関する信号処理を別個のタイミングで行うようにしてもよい。例えば、静止画に関する信号処理を動画撮影終了後に行う。この場合、例えば、事後的に行うその信号処理に必要な撮像信号（撮影画像）をＳＤＲＡＭ１７に一時記憶させておけばよい。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

尚、外部のテレビジョン等に表示部２７及びスピーカ２８が備えられていると考えることもできる。この場合、映像出力回路２０の出力する映像信号及び音声出力回路２１の出力する音声信号は、図示されないコネクタを介して外部のテレビジョン等に供給される。

次に、図２及び図３を参照して、撮像部１１及び映像信号処理部１３の機能について更に説明する。撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面（受光面）に結像させる」所謂オートフォーカス制御機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点が撮像素子３３の撮像面上の点と一致する。

オートフォーカス制御機能は、様々な手法によって実現可能である。例えば、映像信号中の輝度信号から所定の高域周波数成分を抽出し、その高域周波数成分のレベル（大きさ）に応じてフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面に結像させる。測距センサ（不図示）等を用いてオートフォーカス制御機能を実現するようにしてもよい。

オートフォーカス制御は、主として、図３のＡＦ評価値検出部４２と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。ドライバ３４は、上記高域周波数成分のレベル（大きさ）を最大値（付近）に保つためにＣＰＵ２３から送られてくるフォーカス制御信号に基づいて、フォーカスレンズ３１を撮像面に鉛直な軸である光軸に沿って移動させることにより、被写体（撮像対象）の光学像を撮像素子３３の撮像面（受光面）に結像させる。

図４は、ＡＦ評価値検出部４２の内部ブロック図である。ＡＦ評価値検出部４２は、抽出部５１、ＨＰＦ（ハイパスフィルタ）５２及び積算部５３を、有して構成される。

抽出部５１は、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号より輝度信号を抽出する。この際、画像内の、予め設定されたフォーカス検出領域内の輝度信号のみを抽出する。フォーカス検出領域は、例えば、画像の一部の領域であり、該一部の領域は画像内の中央付近に設けられる。ＨＰＦ５２は、抽出部５１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。

積算部５３は、ＨＰＦ５２によって抽出された高域周波数成分を積算することにより、フォーカス検出領域内の画像のコントラスト量に応じたＡＦ評価値を求める。ＡＦ評価値は、フレーム毎に算出され、ＣＰＵ２３に逐次伝達される。ＡＦ評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。

ＣＰＵ２３は、逐次与えられるＡＦ評価値を一時記憶し、ＡＦ評価値が最大値（付近）に保たれるように、所謂山登り演算を用いて、ドライバ３４を介してフォーカスレンズ３１の位置を制御する。フォーカスレンズ３１が移動するに従い、画像のコントラストは変化し、ＡＦ評価値も変化する。ＣＰＵ２３は、ＡＦ評価値が大きくなる方向にドライバ３４を介してフォーカスレンズ３１の位置を制御する。この結果、同一の光学像に対する、フォーカス検出領域内の画像のコントラスト量は最大値（付近）に保たれる。

また、撮像装置１は、撮影画像の明るさを（略）一定に保つための所謂オートアイリス制御機能を備えている。オートアイリス制御は、主として、図３のＡＥ評価値検出部４３と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。

ＡＥ評価値検出部４３は、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号より輝度信号を抽出する。ここで抽出される輝度信号は、例えば、画像の全体における輝度信号である。ＡＥ評価値検出部４３は、抽出した輝度信号を１枚の画像全体で積算することにより、画像の明るさに比例したＡＥ評価値を求める。ＡＥ評価値は、フレーム毎に算出され、ＣＰＵ２３に逐次伝達される。

ＣＰＵ２３は、逐次与えられるＡＥ評価値が、一定値に保たれるように、ドライバ３４を介して絞り３２の開口量（開口部の大きさ）を制御する。光学系３５に入射する光学像が同じである場合、絞り３２の開口量が大きくなるに従って、撮像素子３３への単位時間当たりの入射光量は増大し、輝度信号の値は増大する。尚、絞り３２の開口量を最大にしてもＡＥ評価値が上記一定値未満にしかならない場合は、ＡＦＥ１２の増幅回路の増幅度を調整してＡＥ評価値を一定値に保つ。

また、操作キー２６ｃに対する所定の操作に従って、ＣＰＵ２３は、ドライバ３４を介してズームレンズ３０を光軸に沿って移動させることにより、撮像部１１による撮影の画角を変更する（換言すれば、撮像素子３３の撮像面上に形成される被写体の像を拡大または縮小する）。

また、図１の映像信号処理部１３は、動き検出部４４をも含む（図３参照）。動き検出部４４は、撮像信号に基づいて、各画像間に存在する被写体の動きを検出する。この検出には、例えば周知の代表点マッチング法を用いる。検出された動き（動きベクトルなど）に基づいて、所謂手ぶれ補正などが実施される。

図３のサムネイル生成部４５は、静止画を撮影する際、ＣＰＵ２３の制御の下、静止画の撮影タイミングにおける撮像信号に基づいて静止画についてのサムネイル画像を生成する。このサムネイル画像は、撮影及び記録された１枚の静止画（静止画像）を、間引き処理等によって縮小した縮小画像である。静止画についてのサムネイル画像は、撮影した静止画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した静止画と関連付けられた上記サムネイル画像を、静止画用サムネイル画像と呼ぶ。

また、サムネイル生成部４５は、動画を撮影する際、ＣＰＵ２３の制御の下、所定タイミングにおける撮像信号に基づいて動画についてのサムネイル画像を生成する。このサムネイル画像は、例えば、動画撮影中の何れかのフレームの画像（１フレーム分の画像）を、間引き処理等によって縮小した縮小画像である。動画についてのサムネイル画像は、（原則として）撮影した動画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した動画に関連付けて記録するために生成された上記サムネイル画像を、動画用サムネイル画像と呼ぶ。尚、動画の画像サイズが比較的小さい場合などにおいては、撮影された動画を構成する１枚の画像そのものを、動画用サムネイル画像としても構わない。

また、動画用サムネイル画像が実際に生成されるタイミングは任意である。動画撮影中にＡＦＥ１２からの撮像信号を受けて動画用サムネイル画像を生成するようにしても良いし、動画撮影時に動画用サムネイル画像の基となる画像を選んでおき、後から（例えば、表示部２７に表示する際に）その画像を用いて動画用サムネイル画像を生成するようにしてもよい。いずれにしても、同一の動画用サムネイル画像の生成の基となる撮像信号は同じである。本実施形態は、動画撮影時に、動画用サムネイル画像を生成してメモリカード１８に格納しておく場合を例とする。同様に、静止画用サムネイル画像が実際に生成されるタイミングも任意である。

サムネイル画像表示モードにおいて、メモリカード１８に格納された動画用及び静止画用サムネイル画像は、伸張処理部１９による伸張処理及び映像出力回路２０による変換処理を介して、表示部２７に表示される。

図５に、サムネイル画像表示モードにおける表示部２７の表示画面の表示例を示す。図５では、表示部２７の表示エリアは４分割され、表示エリアの左上、右上、左下及び右下に、それぞれ、サムネイル画像ＴＮ１、ＴＮ２、ＴＮ３及びＴＮ４が表示されている。メモリカード１８に、他のサムネイル画像が格納されている場合は、操作キー２６ｃに所定の操作を施すことにより、上記他のサムネイル画像が表示される。サムネイル画像ＴＮ２及びＴＮ３に付されたマーク７１は、そのサムネイル画像が動画用のサムネイル画像であることを示している。従って、サムネイル画像ＴＮ２及びＴＮ３は動画用サムネイル画像であり、サムネイル画像ＴＮ１及びＴＮ４は静止画用サムネイル画像である。

図５において、７２は表示画面上のカーソルである。カーソル７２は、操作キー２６ｃに対する操作により表示画面上を移動する。図５は、サムネイル画像ＴＮ３がカーソル７２によって選択されている状態を示している。各サムネイル画像の右下に表示されている「００１」等の番号は、各サムネイル画像のファイル番号を示している。

カーソル７２によって或るサムネイル画像を選択している状態において、所定のキー操作を行うと、そのサムネイル画像に関連付けられた動画または静止画がメモリカード１８から読み出される。そして、読み出された動画または静止画が表示部２７の表示画面全体を使って表示される。例えば、サムネイル画像ＴＮ３に対応する動画が再生されるようにキー操作を施した場合、表示部２７の表示画面は図５に示す状態から図６に示す状態に遷移し、サムネイル画像ＴＮ３に対応する動画が表示部２７の表示画面全体を使って再生表示される。この状態で、再生を停止するためのキー操作を施すと、表示画面は図５に示す状態に戻る。

［動画用サムネイル画像の生成手法］
次に、動画用サムネイル画像の生成手法について説明する。図７は、動画用サムネイル画像の生成手順を表すフローチャートである。以下、特に記述しない限り、或る１つの動画に着目して説明を行う。

撮像装置１に設けられた電源スイッチ（不図示）に対する操作によって撮像装置１内の各部に対する電源が起動すると、ＴＧ２２は、垂直同期信号を所定の周期（例えば１／６０秒）にて逐次生成する。まず、ステップＳ１では、ＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点でＴＧ２２から出力される。

垂直同期信号の出力が確認されていない場合は（ステップＳ１のＮｏ）ステップＳ１の処理が繰り返され、垂直同期信号の出力が確認された場合は（ステップＳ１のＹｅｓ）、ステップＳ２にて撮像装置１が録画中（動画撮影中）であるかが判断される。録画中である場合は（ステップＳ２のＹｅｓ）ステップＳ７に移行する一方、録画中でない場合は（ステップＳ２のＮｏ）ステップＳ３に移行する。ステップＳ３では、録画モードにて録画ボタン２６ａが押下されたかが確認される。録画モードにて録画ボタン２６ａが押下されたことが確認された場合は（ステップＳ３のＹｅｓ）、ステップＳ４に移行するが、そうでない場合は（ステップＳ３のＮｏ）、ステップＳ１に戻る。このように、録画が開始されるまではステップＳ１、Ｓ２及びＳ３から成るループ処理が繰り返し実行される。

ステップＳ４において、ＣＰＵ２３は、０又は１の値をとる２つのフラグＦ０及びＦ１を定義し、双方のフラグＦ０及びＦ１に０を代入する（即ち、リセットする）。フラグＦ０は、録画が開始される度にリセットされる。フラグＦ１の役割については、後述の説明から明らかとなる。

ステップＳ４を終えて移行するステップＳ５において、サムネイル生成部４５は、現在ＡＦＥ１２から出力される１枚の画像分の撮像信号に基づいて、動画用サムネイル画像を生成する。ステップＳ５に続くステップＳ６では、ＣＰＵ２３がヘッダファイルを作成する。該ヘッダファイルには、ステップＳ５にて生成された動画用サムネイル画像の他、撮影日時、ファイル番号等の諸情報が格納される。作成されたヘッダファイルは、ＳＤＲＡＭ１７に記録される。本実施形態では、１つのヘッダファイルに、１つの動画用サムネイル画像が格納される場合を例に挙げる。

ステップＳ６を終えるとステップＳ１に戻り、再度、垂直同期信号の発生を待機する。ステップＳ４〜Ｓ６を介した後にステップＳ２に至った場合、撮像装置１は録画中であるためステップＳ７に移行する（ステップＳ２のＹｅｓ）。

ステップＳ７において、ＣＰＵ２３は、撮影した動画を表す画像の集まり（即ちストリーム画像）を格納するためのストリーム画像ファイルを作成し、該ストリーム画像ファイルをメモリカード１８に記録する。ストリーム画像ファイルには、動画撮影中の各フレームの撮影画像を表す映像信号（圧縮映像信号）及びそれに対応する音声信号（圧縮音声信号）が順次追記される。録画が終了すると最終的に、ストリーム画像ファイルには、録画開始から録画終了までの各フレームの撮影画像を表す映像信号及びそれに対応する音声信号が格納されることになる。

ステップＳ７の処理を終えて移行するステップＳ８では、再度ユーザが録画ボタン２６ａを押下したか、即ち、録画停止が指示されたかを確認する。録画停止が指示されていない場合（ステップＳ８のＮｏ）は、ステップＳ１０に移行する。録画停止が指示されるまでは、ステップＳ１０〜Ｓ１５のステップ群と、ステップＳ１、Ｓ２、Ｓ７及びＳ８と、から成るループ処理が繰り返し実行される。このループ処理は、フレームごとに１回行われることになる。

ステップＳ８において、録画停止の指示が確認された場合は（ステップＳ８のＹｅｓ）、ステップＳ９に移行し、ステップＳ６で作成したヘッダファイルをステップＳ７で作成したストリーム画像ファイルに追記する。これにより、両ファイルが関連付けられ、ステップＳ５で生成した動画用サムネイル画像とストリーム画像ファイル内の動画とが関連付けられる、或いは（後述の説明から明らかとなるように）、後述のステップＳ１３にて生成された動画用サムネイル画像とストリーム画像ファイル内の動画とが関連付けられる。ステップＳ９の処理を終えると、ステップＳ１に戻り、撮像装置１の状態は、他の動画の撮影開始を受け付ける状態に遷移する。

本発明の特徴部である、ステップＳ１０〜Ｓ１５の処理について説明する。

ステップＳ１０では、フラグＦ０がセットされているか、即ち、フラグＦ０が１であるかが判断される。フラグＦ０が１である場合は（ステップＳ１０のＹｅｓ）、ステップＳ１に戻り、フラグＦ０が０である場合は（ステップＳ１０のＮｏ）、ステップＳ１１に移行する。１つの動画の撮影において、ステップＳ１３及びＳ１４の処理を一度実行するとステップＳ１０の判断は常に肯定（Ｙｅｓ）となる。

ステップＳ１１では、ＣＰＵ２３が、所定のトリガ条件が成立するか否かを判断する。このトリガ条件については、後に詳説する。フラグＦ０が０である場合、ステップＳ１１の処理は、動画撮影中の各フレームにおいて行われる。トリガ条件が成立しない場合は（ステップＳ１１のＮｏ）ステップＳ１５に移行してフラグＦ１にゼロを代入してからステップＳ１に戻る。一方、トリガ条件が成立する場合には（ステップＳ１１のＹｅｓ）、ステップＳ１２に移行し、フラグＦ１が１であるか否かが判断される。フラグＦ１が１である場合は（ステップＳ１２のＹｅｓ）ステップＳ１に戻る一方、フラグＦ１が０である場合は（ステップＳ１２のＮｏ）ステップＳ１３に移行する。

ステップＳ１３では、現在、ＡＦＥ１２から出力される１枚の画像分の撮像信号に基づいて、動画用サムネイル画像が生成される。これにより、ステップＳ１１のトリガ条件が成立したタイミングを含むフレーム或いはその次のフレームの撮像信号（撮影画像）に基づいて、動画用サムネイル画像が生成されることになる。尚、トリガ条件成立時の数フレーム前や数フレーム後のフレームの撮像信号（撮影画像）に基づいて、ステップＳ１３で生成されるべき動画用サムネイル画像を生成するようにしても構わない。

ステップＳ１３に続くステップＳ１４では、ステップＳ６で作成したヘッダファイルに既に格納されている動画用サムネイル画像を、ステップＳ１３にて生成した動画用サムネイル画像に置き換える。更に、フラグＦ０及びＦ１の双方に１を代入してから、ステップＳ１に戻る。

尚、ステップＳ１０の処理を省略することも可能である。この場合、ステップＳ８において、録画停止が指示されていないと判断された場合（ステップＳ８のＮｏ）は、ステップＳ１１に直接移行することになる。ステップＳ１０の処理を省略した場合、ステップＳ１３及びＳ１４の処理が行われた後であっても、トリガ条件が不成立となったことに起因してステップＳ１５の処理を経ることにより、再度ステップＳ１３及びＳ１４の処理の実行が許容される。この場合、２回目以降のステップＳ１４の処理において、ヘッダファイルに既に格納されている動画用サムネイル画像は、ステップＳ１３にて生成した「最新の」動画用サムネイル画像に置き換えられることになる。

上記の処理手順から理解されるように、ステップＳ５及びＳ１３にて生成された各動画用サムネイル画像は、撮影した動画に関連付けられるべき動画用サムネイル画像の候補となる。１つの動画の撮影期間中において、仮にトリガ条件が１回も成立しなかった場合は、ステップＳ５にて生成された動画用サムネイル画像が、最終的に、動画に関連付けられた動画用サムネイル画像となる。

ステップＳ１１にてトリガ条件が成立した場合は、ステップＳ１３にて生成された動画用サムネイル画像が、最終的に、撮影した動画に関連付けられる。ステップＳ１０の処理を省略した場合は、ステップＳ１３にて生成された最新の動画用サムネイル画像が、最終的に、撮影した動画に関連付けられる。

ステップＳ１３にて生成される動画用サムネイル画像が撮影した動画の特徴を良く表すように、上記トリガ条件は定められる。以下、ステップＳ１１のトリガ条件の成立／不成立の判断手法として、第１、第２、第３、第４及び第５判断手法を例示する。図８は、第１〜第５判断手法におけるトリガ条件の典型例を示している。

［第１判断手法］
まず、第１判断手法について説明する。第１判断手法を採用した場合におけるステップＳ１１のトリガ条件を、第１トリガ条件と呼ぶ。第１トリガ条件が成立する場合にはステップＳ１２に移行し、不成立の場合にはステップＳ１５に移行する。

第１判断手法を採用する場合、ステップＳ１１では、例えば、「直近のズームインが行われた後、所定の時間Ｔ１以上継続して、ズームインまたはズームアウトによる画角の変更が行われていない（即ち、画角が固定されている）」という第１トリガ条件の成立／不成立が判断される。この判断は、現時点（現フレーム）を基準にして行われる。尚、時間Ｔ１は、例えば数秒（１〜２秒など）である。

例えば図９に示す如く、動画の撮影開始後、１回目のズームインの直後に時間Ｔ１の経過を待つことなくズームアウトが行われ、その後に２回目のズームインが行われた場合は、２回目のズームイン（「直近のズームイン」に相当）終了時点を起算点として上記時間Ｔ１の経過が判断される。

ズームインとは、撮像素子３３の撮像面上に形成される被写体の像を拡大させる動作であり、この動作に伴って撮像部１１による撮影の画角は減少する。ズームアウトとは、撮像素子３３の撮像面上に形成される被写体の像を縮小させる動作であり、この動作に伴って撮像部１１による撮影の画角は増加する。ズームイン及びズームアウトは、操作キー２６ｃに対する所定の操作に応じて実行される。

ユーザは、しばしば、着目している人物等の被写体をズームインによって拡大撮影する。ユーザが、このズームインによって適切な画角が設定されたと判断すると、ユーザは画角の変更を停止する。この状態で撮影された画像は、ユーザが着目している被写体を大きく捉えた特徴的な画像であることが多い。このため、第１判断手法を採用することにより、動画の特徴を良く表したサムネイル画像を取得することが可能となり、この結果、所望の動画の探索の容易化が図られる。

尚、第１トリガ条件を、「直近のズームアウトが行われた後、所定の時間Ｔ１以上継続して、ズームインまたはズームアウトによる画角の変更が行われていない（即ち、画角が固定されている）」という条件に変更することも可能である。

［第２判断手法］
次に、第２判断手法について説明する。第２判断手法を採用した場合におけるステップＳ１１のトリガ条件を、第２トリガ条件と呼ぶ。第２トリガ条件が成立する場合にはステップＳ１２に移行し、不成立の場合にはステップＳ１５に移行する。

第２判断手法を採用する場合、ステップＳ１１では、ピントが合って、フォーカスが（略）ロックされている状態が一定時間以上継続しているかが判断される。より詳細には、ステップＳ１１では、例えば、「フォーカスレンズ３１の位置の変動の大きさが、所定の時間Ｔ２以上継続して、所定の閾値内に収まっている」という第２トリガ条件の成立／不成立が判断される。この判断は、現時点（現フレーム）を基準にして行われる。尚、時間Ｔ２は、例えば数秒（１〜２秒など）である。

上述したように、逐次算出されるＡＦ評価値に基づいて、被写体を表す光学像が撮像素子３３の撮像面（受光面）に結像するように、ＣＰＵ２３は、ドライバ３４を介してフォーカスレンズ３１の位置を調整する。このため、ＣＰＵ２３は、フォーカスレンズ３１の位置を当然に認識している。フォーカスレンズ３１の位置とは、例えば、撮像素子３３の撮像面を基準としたフォーカスレンズ３１の位置である。

図１０を参照して、上記の第２トリガ条件の成立／不成立の判断手法例について詳細に説明する。図１０の曲線７５及び７６は、それぞれ、動画撮影中における、ＡＦ評価値とフォーカスレンズ３１の位置（例えば、フォーカスレンズ３１と撮像面との距離）の時間変化を表している。図１０は、タイミングｔ１で、ＡＦ評価値が概ね山登り曲線の最大値をとり、その状態がタイミングｔ２まで維持されている状態を示しいている。タイミングｔ１とｔ２の間の時間は、時間Ｔ２に一致する。

タイミングｔ２において、ＣＰＵ２３は、タイミングｔ１からｔ２までの期間中におけるフォーカスレンズ３１の位置の変動の大きさ（変動範囲の大きさ）と、予め定められた基準値Ｂ_REFとを比較する。そして、前者が後者（Ｂ_REF）以下となっている場合に第２トリガ条件は成立していると判断し、そうでない場合に第２トリガ条件は不成立と判断する。上記の判断が可能なように、ＣＰＵ２３は、時間Ｔ２分の過去のフォーカスレンズ３１の位置を特定する情報を、ＳＤＲＡＭ１７に逐次記録させている。

尚、ピントが合っている状態にてフォーカスレンズ３１の位置が完全に止まる場合は、基準値Ｂ_REFをゼロとすることもできる。この場合、第２トリガ条件は、「フォーカスレンズ３１の位置が、所定の時間Ｔ２以上継続して、固定されている」と表記される。ＡＦ評価値の変動が或る範囲（その範囲の大きさは、例えば後述の閾値Ａ_REF）内に収まっている場合は、フォーカスレンズ３１の位置を固定する、という位置制御手法を採用可能であり、その場合、閾値Ｂ_REFはゼロとされる。

また、図１０にも示すように、通常、ＡＦ評価値とフォーカスレンズ３１の位置は、連動している。このため、ＡＦ評価値に基づいてステップＳ１１の分岐判断を行っても良い。つまり、例えば、タイミングｔ２において、ＣＰＵ２３は、タイミングｔ１からｔ２までのＡＦ評価値の変動の大きさ（変動範囲の大きさ）と、予め定められた基準値Ａ_REFとを比較する。そして、前者が後者（Ａ_REF）以下となっている場合にステップＳ１１からステップＳ１２に移行するようにし、そうでない場合にステップＳ１１からステップＳ１５に移行するようにする。この場合、上記の判断が可能なように、ＣＰＵ２３は、時間Ｔ２分の過去のＡＦ評価値を、ＳＤＲＡＭ１７に逐次記録させる。

このように、「ＡＦ評価値の変動の大きさが、所定の時間Ｔ２以上継続して、所定の基準値Ａ_REF内に収まる」という条件の成立／不成立を、ステップＳ１１にて判断するようにしてもよい。ＡＦ評価値とフォーカスレンズ３１の位置が連動していることを考慮すれば、この条件は上記の第２トリガ条件と等価である、と言える。

動画撮影開始後、ユーザは、撮影の構図を考えながら撮像装置１を頻繁に動かすことが多い。撮影の構図が確定すると、ユーザは撮像装置１を被写体に対して（略）固定する。この状態では、フォーカスは通常ロックする一方で、撮像装置１はユーザが着目している被写体を捉える。このため、第２判断手法を採用することにより、動画の特徴を良く表したサムネイル画像を取得することが可能となり、この結果、所望の動画の探索の容易化が図られる。

［第３判断手法］
次に、第３判断手法について説明する。第３判断手法を採用した場合におけるステップＳ１１のトリガ条件を、第３トリガ条件と呼ぶ。第３トリガ条件が成立する場合にはステップＳ１２に移行し、不成立の場合にはステップＳ１５に移行する。

第３判断手法を採用する場合、ステップＳ１１では、撮影画像内の動きが（略）停止している状態が一定時間以上継続しているかが判断される。より詳細には、ステップＳ１１では、例えば、「動き検出領域内の動きの大きさが、所定の時間Ｔ３以上継続して、所定の閾値内に収まる」という第３トリガ条件の成立／不成立が判断される。この判断は、現時点（現フレーム）を基準にして行われる。動き検出領域は、動画を構成する各フレームの撮像画像内に設けられる。動き検出領域は、撮像画像の全体または一部の領域である（撮像素子３３の撮像領域の全体または一部の領域と捉えることもできる）。尚、時間Ｔ３は、例えば数秒（１〜２秒など）である。

図１１を参照して、第３トリガ条件の成立／不成立の判断手法例について、詳細に説明する。図１１は、図３の動き検出部４４にて定義される、撮影画像内の検出ブロックを表している。動き検出部４４は、各フレームの撮影画像内に９つの検出ブロックＢＬ１〜ＢＬ９を設ける。９つの検出ブロックＢＬ１〜ＢＬ９は、上記の「動き検出領域」を形成する。

そして、動き検出部４４は、逐次取得される撮影画像間の対比に基づき、周知の代表点マッチング法を用いて、検出ブロックＢＬ１〜ＢＬ９ごとに動きベクトルを検出する。この動きベクトルの検出は、フレームごとに行われる。検出ブロックＢＬ１の動きベクトルは、検出ブロックＢＬ１内の画像の動きを示すベクトルである。検出ブロックＢＬ２〜ＢＬ９の動きベクトルについても同様である。また、検出ブロックＢＬ１〜ＢＬ９にて検出された動きベクトルを、夫々、動きベクトルＶＣ１〜ＶＣ９と表記する。

ＣＰＵ２３は、フレームごとに検出された、動きベクトルＶＣ１〜ＶＣ９の大きさに基づく動き評価値に基づいて、第３トリガ条件の成立／不成立を判断する。動き評価値は、フレームごとに算出される。動き評価値は、例えば、動きベクトルＶＣ１〜ＶＣ９の大きさの平均値または積算値である。尚、動きベクトルＶＣ１〜ＶＣ９の大きさそのものを、動き評価値としてもよい。この場合、１つのフレームに関し、動き評価値は９つの値から構成されることになる。

図１２の曲線７７は、動画撮影中における、動き評価値の時間変化を表している。タイミングｔ３で、動き評価値が予め定められた基準値Ｃ_REF超から基準値Ｃ_REF以下となり、その後、動き評価値が継続してタイミングｔ４まで基準値Ｃ_REF以下に保たれている状態を想定する。タイミングｔ３とｔ４の間の時間は、時間Ｔ３に一致する。

タイミングｔ４において、ＣＰＵ２３は、タイミングｔ３からｔ４までの各動き評価値と、基準値Ｃ_REFとを比較する。そして、タイミングｔ３からｔ４の期間において、常に前者が後者（Ｃ_REF）以下に保たれている場合に第３トリガ条件は成立していると判断し、そうでない場合に第３トリガ条件は不成立と判断する。上記の判断が可能なように、ＣＰＵ２３は、時間Ｔ３分の過去の動き評価値を、ＳＤＲＡＭ１７に逐次記録させている。

上記の説明から理解されるように、第３トリガ条件は、「動画の動き検出領域内の動きの大きさに応じた動き評価値が、所定の時間Ｔ３以上継続して、所定の閾値内に収まる」という条件である、とも換言できる。

動画の撮影画像内の動きが一定時間以上停止している状態は、例えば、着目している人物等の被写体を静止した状態で捉えている状態と一致している、と推測することができる。このため、第３判断手法を採用することにより、動画の特徴を良く表したサムネイル画像を取得することが可能となり、この結果、所望の動画の探索の容易化が図られる。

尚、撮像装置１を手で支持する場合は、所謂手ぶれによって、画像内の被写体は若干動く。この手ぶれに起因する動きによって、全く第３トリガ条件が成立しなくなるといったことが回避されるように、上記の閾値は実機による実験等を介して適切に設定される。

また、動き検出領域内の動き（動きの大きさ）を検出する手法として、代表点マッチング法を用いる手法を例示したが、他の様々な検出手法を採用することも可能である。

例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに明るさ（輝度信号）を比較し、各検出ブロックにおける明るさの変化に基づいて動き検出領域内の動き（動きの大きさ）を検出するようにしてもよい。また例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに色（色は映像信号から特定される）を比較し、各検出ブロックにおける色の変化に基づいて動き検出領域内の動き（動きの大きさ）を検出するようにしてもよい。

［第４判断手法］
次に、第４判断手法について説明する。第４判断手法を採用した場合におけるステップＳ１１のトリガ条件を、第４トリガ条件と呼ぶ。第４トリガ条件が成立する場合にはステップＳ１２に移行し、不成立の場合にはステップＳ１５に移行する。

第４判断手法では、各フレームの撮影画像内に存在する人物の顔領域を検出する顔領域検出機能が利用される。この顔領域検出機能を実現するために必要となる顔領域検出部４６が、映像信号処理部１３に設けられている（図３参照）。そして、第４判断手法を採用する場合、ステップＳ１１では、例えば、「検出された顔領域の大きさが所定の閾値（基準サイズ）以上である」という第４トリガ条件の成立／不成立が判断される。

顔領域検出の手法として、様々な手法を採用することが可能である。顔領域検出部４６は、例えば、周知の如く、撮影画像の肌色を抽出することによって顔領域の大きさを判断する。つまり、例えば、動画を構成する各フレームの撮影画像から肌色に分類される映像信号を有する領域を顔領域として抽出し、抽出した領域の大きさ（例えば面積）に基づいて、顔領域の大きさを求める（検出する）。上記の抽出及び顔領域の大きさの検出は、フレームごとに行われる。尚、どのような映像信号を肌色と分類するかは、予め定められている。

また、周知の如く、パターンマッチング法を用いて顔領域の大きさを検出するようにしても良い。この際、様々な顔領域のパターンに関する情報を撮像装置１内のメモリに格納しておき、それらのパターンと撮影画像とを比較することによって、顔領域を検出すると共に顔領域の大きさを検出する。

実際の処理では、例えば、顔領域検出部４６が顔領域の大きさに応じた顔領域値をフレームごとに算出して、ＣＰＵ２３に逐次伝達する。ＣＰＵ２３は、逐次伝達された顔領域値が所定の閾値以上である場合に第４トリガ条件が成立すると判断し、そうでない場合に第４トリガ条件は不成立であると判断する。この顔領域値は、検出された顔領域の大きさが増大するにつれて増加する値である。

画像内における顔の大きさが比較的大きくなっている状態は、ユーザが着目している人物の顔が大きく映し出されている状態と一致する、と推測することができる。このため、第４判断手法を採用することにより、動画の特徴を良く表したサムネイル画像を取得することが可能となり、この結果、所望の動画の探索の容易化が図られる。

尚、第４トリガ条件を成立せしめる顔領域の大きさまたは顔領域値に、上限を定めても良い。即ち、「検出された顔領域の大きさまたは顔領域値が所定の第１閾値以上であって且つ第２閾値以下である」場合、換言すれば、「検出された顔領域の大きさまたは顔領域値が所定の範囲内にある」場合に、ステップＳ１２に移行し、そうでない場合はステップＳ１５に移行するようにしてもよい。但し、第２閾値は、第１閾値よりも大きな値を有する。

画像内を占める顔の大きさが大き過ぎる画像を基にサムネイル画像を生成すると、かえって動画の特徴が捉えにくくなることもある。これを考慮し、上記の如く上限を定めるようにしてもよい。

［第５判断手法］
次に、第５判断手法について説明する。第５判断手法を採用した場合におけるステップＳ１１のトリガ条件を、第５トリガ条件と呼ぶ。第５トリガ条件が成立する場合にはステップＳ１２に移行し、不成立の場合にはステップＳ１５に移行する。尚、第５判断手法を採用する場合、ステップＳ１０の処理は省略される。

第５判断手法では、動画撮影中においてマイク１４を介して入力された音の強さに着目する。音声信号処理部１５は、動画撮影中においてマイク１４を介して入力された、音の強さ或いは音の所定帯域の周波数成分の強さを逐次検出する機能を備える。検出された音の強さ或いは音の所定帯域の周波数成分の強さは、音強度値として、逐次、ＣＰＵ２３に伝達される。

また、音の強さの代わりに音の大きさを検出するようにし、検出された音の大きさ或いは音の所定帯域の周波数成分の大きさに応じた値を音強度値としてもよい。この場合、下記の「音の強さ」及び「音の所定帯域の周波数成分の強さ」は、それぞれ、「音の大きさ」及び「音の所定帯域の周波数成分の大きさ」に読み替えられる。

音強度値は、例えば、検出された音の強さの、１フレーム分の平均値又は該フレームにおけるピーク値である。或いは、音強度値は、例えば、検出された音の所定帯域の周波数成分の強さの、１フレーム分の平均値若しくは該フレームにおけるピーク値である。従って、音検出値は、１フレームごとに検出される。音強度値は、音の強さが増大するにつれて大きくなる。上記の所定帯域の周波数成分とは、例えば、人の音声の周波数帯域成分または可聴周波数帯域成分である。音声信号処理部１５は、バンドパスフィルタ等を用いて、マイク１４を介して入力された音声信号から上記所定帯域の周波数成分を抽出する。

ＣＰＵ２３は、動画の撮影開始時点のフレームから現フレームまでの音強度値の中で、現フレームの音強度値が最大であるかを判断する。そして、現フレームの音強度値が最大である場合に、第５トリガ条件が成立すると判断し、そうでない場合に第５トリガ条件は不成立であると判断する。

音楽会やパーティ会場の様子を撮影している場合において、音の強さが大きくなっている状態は、撮影現場が盛り上がっている状態と一致している、と考えることができる。このため、第５判断手法を採用することにより、動画の特徴を良く表したサムネイル画像を取得することが可能となり、この結果、所望の動画の探索の容易化が図られる。

尚、第５判断手法を採用する場合は、図７のフローチャートで示される動画用サムネイル画像の生成手順に代えて、図１３のフローチャートで示される動画用サムネイル画像の生成手順を採用することも可能である。

この図１３に示す生成手順について説明する。図７と図１３において、同一記号が付されたステップにおける処理は同一である。つまり、図１３におけるステップＳ１〜Ｓ３、Ｓ５〜Ｓ９及びＳ１３では、図７におけるそれらと同じ処理が行われる。図１３に示す手順では、図７のステップＳ４の代わりにステップＳ２１が、図７のステップＳ１０〜Ｓ１２及びＳ１５の代わりにステップＳ２２及びＳ２３が、図７のステップＳ１４の代わりにステップＳ２４が実行される。

ステップＳ３において、録画モードにて録画ボタン２６ａが押下されたことが確認されると、ステップＳ２１に移行する。ステップＳ２１において、変数Ｓｍａｘに初期値Ｓｉｎｉｔ（例えば０）を代入し、ステップＳ５に移行する。ステップＳ８において、録画停止が指示されていないと判断されると（ステップＳ８のＮｏ）、ステップＳ２２に移行する。録画停止が指示されるまでは、ステップＳ２２、Ｓ２３及びＳ１３及びＳ２４のステップ群と、ステップＳ１、Ｓ２、Ｓ７及びＳ８と、から成るループ処理が繰り返し実行される。このループ処理は、フレームごとに１回行われることになる。

ステップＳ２２では、現フレームの音強度値Ｓｉｎが、変数Ｓｍａｘよりも大きいかが判断される。不等式：Ｓｉｎ＞Ｓｍａｘ、が成立する場合は（ステップＳ２２のＹｅｓ）ステップＳ２３に移行し、成立しない場合は（ステップＳ２２のＮｏ）ステップＳ１に戻る。ステップＳ２３において、現フレームの音強度値Ｓｉｎを変数Ｓｍａｘに代入し、ステップＳ１３に移行する。ステップＳ１３にて動画用サムネイル画像が生成された後、ステップＳ２４に移行する。ステップＳ２４の処理は、図７のステップＳ１４の処理からフラグＦ０及びＦ１に対する処理を除いたものである。ステップＳ２４の処理を終えると、ステップＳ１に戻る。

［付加的条件の追加］
上に例示した第１〜第５トリガ条件の夫々に対して、任意の付加的条件を追加するようにしてもよい。つまり、例えば、上述した第ｋトリガ条件の成立に加えて（ｋは１〜５の範囲内の任意の整数）、付加的条件が更に成立した場合にのみステップＳ１２に移行するようにし、第ｋトリガ条件が成立していても付加的条件が不成立の場合はステップＳ１５に移行するようにしてもよい。

例えば、上述の第１トリガ条件に対して、「撮像装置１がパンまたはチルトしていないこと」という付加的条件を追加してもよい。つまり、上述の第１判断手法において、「直近のズームインが行われた後、所定の時間Ｔ１以上継続して、ズームインまたはズームアウトによる画角の変更が行われておらず且つ撮像装置１がパンまたはチルトしていない」場合に、ステップＳ１２に移行するようにし、そうでない場合はステップＳ１５に移行するようにしてもよい。

パンまたはチルトがなされていない状態で取得した画像、即ち撮像装置１を固定した状態で取得した画像の方が、ユーザが着目している被写体をより適切に写し出している、と考えられるからである。

パン（パンニング）とは、撮像装置１の筐体（不図示）を左右方向に振ることを意味し、チルト（チルティング）とは、撮像装置１の筐体を上下方向に振ることを意味する。

撮像装置１の動きの状態（撮像装置１の筐体の動きの状態）は、撮像装置１の筐体が静止している静止状態と、手の震え等によって撮像装置１の筐体が任意の方向に細かく振動している手振れ状態と、撮像装置１に対してパン操作（パンを行う操作）が行われているパン状態と、撮像装置１に対してチルト操作（チルトを行う操作）が行われているチルト状態と、に大別される。このため、上記付加的条件は、「撮像装置１が静止状態または手振れ状態にあること」とも言い換えられる。

上記付加的条件の成立／不成立を判断する際、ＣＰＵ２３は、撮像装置１の動きの状態が、静止状態、手振れ状態、パン状態及びチルト状態の何れであるかを判別する動き検出手段として機能する。

例えば、ＣＰＵ２３は、周知の如く、撮像装置１の筐体の角速度を検出する角速度センサ（ジャイロセンサ；不図示）からの、該角速度を示す出力信号に基づいて、上記の判別を行う。

例えば、パン方向に対して考え、角速度センサの出力信号が、撮像装置１の筐体が左方向に振られた時に正の値をとり、右方向に振られた時に負の値をとり、固定された時にゼロの値をとる場合を考える。この場合、角速度センサの出力信号がゼロまたは実質的にゼロの場合は静止状態にあると判別し、角速度センサの出力信号が小刻みに振動しながら正と負の値をとる場合は手振れ状態にあると判別し、所定時間内の角速度センサの出力信号が正または負の値をとり続けた場合はパン状態であると判別する。チルト方向に対しても同様である。

また、周知の如く、図３の動き検出部４４による画像の動きの検出結果に基づいて、撮像装置１の動きの状態を判別するようにしてもよい。例えば、ＣＰＵ２３は、第３判断手法にて述べた動きベクトルＶＣ１〜ＶＣ９を参照する。例えば、動きベクトルＶＣ１〜ＶＣ９の夫々の向きが、所定時間以上継続して同一の向き（例えば左向き）を維持している場合はパン状態またはチルト状態であると判別し、そうでない場合は手振れ状態または静止状態にあると判別する。

また例えば、「撮像装置１がパンまたはチルトしていないこと」という付加的条件を、上述の第２トリガ条件に対して追加するようにしてもよい。つまり、上述の第２判断手法において、「フォーカスレンズ３１の位置の変動の大きさが、所定の時間Ｔ２以上継続して、所定の閾値内に収まっており且つ撮像装置１がパンまたはチルトしていない」場合に、ステップＳ１２に移行するようにし、そうでない場合はステップＳ１５に移行するようにしてもよい。尚、遠方の景色などを撮影している場合は、パン状態であってもフォーカスはロックすることが多い。

＜＜変形等＞＞
尚、ステップＳ１１において採用されるトリガ条件を如何なるトリガ条件とするかを、ユーザが設定できるようにしてもよい。例えば、ステップＳ１１におけるトリガ条件として、上記の第１〜第５トリガ条件の何れを採用するかをユーザが設定できるようにしてもよい。この設定は、例えば、操作部２６への操作を介して行われる。

また、上述の第１〜第５判断手法の内、任意の２以上の判断手法を自由に組み合わせることも可能である。例えば、第１判断手法と第２判断手法を組み合わせる場合、ステップＳ１１において、第１トリガ条件と第２トリガ条件の成立／不成立を判断する。そして、第１及び第２トリガ条件の内の何れか一方のトリガ条件が成立している場合はステップＳ１２に移行するようにし、双方が不成立である場合にのみステップＳ１５に移行するようにする。或いは、第１及び第２トリガ条件の双方が成立している場合にのみステップＳ１２に移行するようにし、そうでない場合はステップＳ１５に移行するようにする。

また、ヘッダファイルに１つの動画用サムネイル画像を格納し、格納された１つの動画用サムネイル画像を１つの動画に関連付ける例を上述したが、ヘッダファイルに複数の動画用サムネイル画像を格納し、格納された複数の動画用サムネイル画像を１つの動画に関連付けるようにしても構わない。この場合、ステップＳ１４では、ヘッダファイルに既に格納されている動画用サムネイル画像をステップＳ１３で生成した（最新の）動画用サムネイル画像にて置き換えるのではなく、ステップＳ１３で生成した動画用サムネイル画像をヘッダファイルに追加するようにする。

複数の動画用サムネイル画像を１つの動画に関連付けた場合において、例えば図５におけるカーソル７２をサムネイルＴＮ３の部分に移動させると、その複数の動画用サムネイル画像を構成する各動画用サムネイル画像が、所定の間隔を置きつつ順を追ってサムネルＴＮ３の部分に更新表示される。

これに関連するが、動画用サムネイル画像は動画（以下、サムネイル動画という）であっても構わない。撮影した動画に対応する音声信号に基づいてサムネイル音声を作成し、サムネイル動画を表示する際、そのサムネイル音声をスピーカ２８を介して同時に出力するようにしてもよい。尚、サムネイル画像が静止画である場合においても、上記サムネイル音声の出力は可能である。

また、１つの動画の撮影期間中において、仮にトリガ条件が１回も成立しなかった場合、ステップＳ５にて生成された動画用サムネイル画像（第１の候補サムネイル画像）が、最終的に、動画に関連付けられた動画用サムネイル画像となる例を上述した。この動画用サムネイル画像は、動画の撮影開始タイミング（撮影開始フレームまたは撮影開始直前のフレーム）における撮像信号に基づいて作成されることになる。

１つの動画の撮影期間中においてトリガ条件が１回も成立しなかった場合に動画に関連付けられる動画用サムネイル画像は、上記に限定されない。その動画用サムネイル画像は、予め定められた任意のタイミング（フレーム）における撮像信号に基づいて生成されればよい。例えば、動画撮影直前もしくは直後における撮像信号、または動画撮影中の何れかのフレームの撮像信号に基づいて生成されればよい。

上述したように、メモリカード１８の記録内容は、外部のパーソナルコンピュータ等によって自在に読み出し可能となっている。メモリカード１８の記録内容を表示部２７及びスピーカ２８にて再生（映像表示及び音声出力）することができると上述したが、メモリカード１８の記録内容の再生は、表示部とスピーカを備えたパーソナルコンピュータ等によっても同様に実現可能である。

本実施形態において、画角変更手段として機能する部位は、ドライバ３４を含む。図１の操作キー２６ｃ及び／又はＣＰＵ２３、或いは、図２のズームレンズ３０も画角変更手段の構成要素である、と捉えることも可能である。また、オートフォーカス制御手段は、主として、図３のＡＦ評価値検出部４２と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。

本実施形態において、サムネイル生成装置は、主としてサムネイル生成部４５（又はそれを含む映像信号処理部１３）及びＣＰＵ２３によって形成される。これに加えて、画角変更手段、オートフォーカス制御手段、動き検出手段（図３の動き検出部４４に対応）、顔領域検出手段（図３の顔領域検出部４６に対応）及び音入力手段（図１のマイク１４に対応）の内の何れか１以上を、サムネイル生成装置の構成要素と捉えることも可能である。尚、図７及び図１３のステップＳ５において、サムネイル生成部４５は、第１生成手段として機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の映像信号処理部の内部ブロック図である。 図３のＡＦ評価値検出部の内部ブロック図である。 サムネイル画像表示モードにおける、図１の表示部の表示画面の表示例を示す図である。 図５の表示画面から遷移しうる、動画の再生表示画面を示す図である。 図１の撮像装置における、動画用サムネイル画像の生成手順を示すフローチャートである。 図７のステップＳ１１におけるトリガ条件を例示した図である。 図７のステップＳ１１におけるトリガ条件の成立／不成立に関する、第１判断手法を説明するための図である。 図７のステップＳ１１におけるトリガ条件の成立／不成立に関する、第２判断手法を説明するためのである。 図７のステップＳ１１におけるトリガ条件の成立／不成立に関する、第３判断手法を説明するための図である。 図７のステップＳ１１におけるトリガ条件の成立／不成立に関する、第３判断手法を説明するための図である。 図７のステップＳ１１におけるトリガ条件の成立／不成立に関する、第５判断手法を説明するための図である。 従来の撮像装置における、動画用サムネイル画像の生成手順を示すフローチャートである。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
１４ マイク
１５ 音声信号処理部
２６ 操作部
２６ａ 録画ボタン
２６ｂ シャッタボタン
２６ｃ 操作キー
４１ 動画／静止画処理部
４２ ＡＦ評価値検出部
４３ ＡＥ評価値検出部
４４ 動き検出部
４５ サムネイル生成部
４６ 顔領域検出部

Claims (4)

1. 撮像手段と、
   前記撮像手段からの被写体に応じた撮像信号に基づき、撮影した動画に関連付けられたサムネイル画像を生成するサムネイル生成手段と、
   予め定められたタイミングにおける前記撮像信号に基づいて、前記サムネイル画像の候補としての第１の候補サムネイル画像を生成する第１生成手段と、
   前記動画の撮影中において、所定のトリガ条件が成立した際、前記トリガ条件成立時を基準とした所定タイミングにおける前記撮像信号を用いて、前記第１の候補サムネイル画像と異なる第２の候補サムネイル画像を生成する第２生成手段と、
   前記第２の候補サムネイル画像を前記サムネイル画像として前記動画に関連付ける関連付け手段と、
   前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段と、
   を備え、
   前記トリガ条件が、前記オートフォーカス制御手段により前記被写体にピントが合わされた状態が、所定時間以上継続するという条件を含むことを特徴とする撮像装置。
2. 撮像手段と、
   前記撮像手段からの被写体に応じた撮像信号に基づき、撮影した動画に関連付けられたサムネイル画像を生成するサムネイル生成手段と、
   予め定められたタイミングにおける前記撮像信号に基づいて、前記サムネイル画像の候補としての第１の候補サムネイル画像を生成する第１生成手段と、
   前記動画の撮影中において、所定のトリガ条件が成立した際、前記トリガ条件成立時を基準とした所定タイミングにおける前記撮像信号を用いて、前記第１の候補サムネイル画像と異なる第２の候補サムネイル画像を生成する第２生成手段と、
   前記第２の候補サムネイル画像を前記サムネイル画像として前記動画に関連付ける関連付け手段と、
   前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段と、
   を備え、
   前記トリガ条件が、検出された前記顔領域の大きさが所定の閾値以上であるという条件を含むことを特徴とする撮像装置。
3. 前記第２生成手段は、前記前記動画の撮影中において、前記トリガ条件が成立した際、前記トリガ条件成立時を含むフレームまたはその近傍のフレームにおける前記撮像信号に基づいて、前記第２の候補サムネイル画像を生成することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記関連付け手段は、前記動画の撮影中に前記トリガ条件が一度も成立しなかった場合には、前記第１の候補サムネイル画像を前記サムネイル画像として前記動画に関連付ける
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。