JP2009094585A - 撮像装置、撮像方法、および、プログラム - Google Patents

Abstract

【課題】大容量の映像記録の中から所望される映像を的確に効率良く検出する。
【解決手段】被写体を撮像し、撮像された映像信号をディスク１０９に記録し、この記録された上記映像信号を表示部１１４に表示する撮像装置において、映像信号の代表点を示すインデックスに関する複数の判定要素として撮像時の複数のカメラ設定情報を検出し、検出された複数のインデックス判定要素に基づいてインデックスを設定するインデックス管理部１３４を備える。インデックス管理部１３４は、インデックスと映像信号との関連を示すインデックステーブル３００とインデックスに対応する時点の縮小画像をインデックス情報としてディスク１０９に記録する。これにより、撮像者の意図の反映した映像代表点を示すインデックスを設定する。
【選択図】図１０

Description

本発明は、撮像装置、撮像方法、および、プログラムに関し、特に、撮像された映像記録の中から目的とする映像を効率良く検出する撮像装置、撮像方法、および、当該方法をコンピュータに実行させるプログラムに関する。

デジタルビデオカメラなどのような撮像装置においては、記録媒体の高密度小型化、バッテリの性能向上等により、ハードディスクドライブ（ＨＤＤ）搭載モデルなどのように長時間撮像記録が行えるものが登場している。このため、撮像された大容量の映像記録の中から所望の映像記録を効率良く探し出す方法が望まれている。

このような映像記録を検出する方法としては、例えば、新規の記録の開始を示す記録開始情報や、複数のカメラの切り替え等によるシーンチェンジを検出して再生時の頭出しに使用する技術が知られている（例えば、特許文献１参照。）。

また、例えば、記録時にユーザが所望のビデオデータにその都度マーキングを行い、そのマークされたビデオデータからインデックスピクチャを作成し、これに基づいてビデオデータの編集を行う技術や（例えば、特許文献２参照。）、記録された画像から再生時に縮小画像を作成する技術が開示されている（例えば、特許文献３参照。）。
特開２０００−１１５６６５号公報（図１） 特開平０９−２００６８０号公報（図１） 特開２００３−３１９２２９号公報（図６）

しかしながら、上述の従来技術では、例えば動画再生中に静止画撮像操作を同時に行う場合、撮像者が後から静止画に対応した映像を探す操作を行う可能性があるため、再生時に頭出しされるのが望ましいが、シーンチェンジのみを検出する方法では、シーン自体に変化が無いため静止画に対応した映像を検出できない。また、撮像時にマーキングを行う方法は、撮像者は常にマーキングを意識しながら操作を行う必要があるため、操作性に問題がある。また、再生時に代表画像を作成する方法は、代表画像を作成しながら再生を行うため操作に対する応答が遅れるという問題がある。

そこで、本発明は、このような従来の実情に鑑みて提案されたものであり、大容量の映像記録の中から所望される映像を的確に効率良く検出する撮像装置を提供することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、操作手段からの操作入力に従い被写体を撮像して映像信号を映像記録手段に記録する撮像手段と、上記映像記録手段に記録された上記映像信号を表示する表示手段と、上記映像信号の代表点を示すインデックスを判定する複数の判定要素として上記撮像時の複数のカメラ設定情報を検出するインデックス判定要素検出手段と、上記複数のインデックス判定要素に基づいてインデックスを設定して当該インデックスと上記映像信号との関連付けを示すインデックス情報をインデックス記録手段に記録するインデックス設定手段とを具備することを特徴とする撮像装置およびその撮像方法ならびにプログラムである。これにより、撮像者の意図が表れる機器操作とカメラ情報とに基づいてインデックス判定要素を作成して、撮像者の意図の反映した映像代表点を示すインデックス判定を行わせるという作用をもたらす。

また、この第１の側面において、上記複数のインデックス判定要素に関する重み付け演算パラメータを保持して当該重み付けパラメータを使用して重み付け演算を行う重み付け演算手段をさらに具備し、上記インデックス設定手段は、上記重み付け演算された上記複数のインデックス判定要素に基づいてインデックスを設定するようにしてもよい。これにより、インデックス判定のための各判定要素の重みが修正され、撮像者の嗜好を反映したインデックス判定を行わせるという作用をもたらす。

また、この第１の側面において、上記インデックス判定要素検出手段は、上記撮像時にフォーカス距離変化を検出するフォーカス距離検出手段と、上記撮像時にズーム位置変化を検出するズーム位置検出手段と、上記撮像時に上記撮像装置の水平方向加速度変化と垂直方向加速度変化を検出する加速度検出手段と、上記撮像時に操作入力の有無を検出する操作入力検出手段とを備え、上記重み付け演算手段は、上記フォーカス距離変化情報と、上記ズーム位置変化情報と、上記水平方向加速度変化情報と、上記垂直方向加速度変化情報と、上記操作入力発生情報とを上記インデックス判定要素として上記重み付け演算を行うようにしてもよい。これにより、撮像者の意図が表れるフォーカス距離変化情報と、ズーム位置変化情報と、水平方向加速度変化情報と、上記垂直方向加速度変化情報と、上記操作入力発生情報とに基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス情報は、上記インデックスと上記映像信号との関連を示すインデックステーブルと、当該インデックスの時点における映像信号の縮小画像であり、上記インデックス設定手段は、上記表示手段に、上記インデックス記録手段に記録された上記縮小画像を表示させるとともに、それぞれの上記縮小画像の一部に何れのインデックス判定要素によりインデックスが判定されたかを示すアイコンを表示させるようにしてもよい。これにより、縮小画像とともに何れのインデックス判定要素によりインデックスが判定されたかを示すという作用をもたらす。

また、この第１の側面において、上記インデックス設定手段は、上記縮小画像が表示されている場合において上記操作手段から上記縮小画像の何れかに関する選択決定入力がなされると当該選択された上記縮小画像に対応するインデックスの時点における上記映像信号を上記表示手段に表示させ、上記操作手段から上記縮小画像の何れかに関する選択削除入力がなされると当該選択された上記縮小画像に対応するインデックスの上記インデックス情報を上記インデックス記録手段から削除するようにしてもよい。これにより、撮像者の選択、削除操作等により、撮像者の意図の反映した映像代表点を示すインデックスを選択させるという作用をもたらす。

また、この第１の側面において、上記操作手段からインデックスの選択決定入力がなされた場合には選択されたインデックス判定要素に対応する上記重み付け演算パラメータを増加させ、インデックスの削除入力がなされた場合には削除されたインデックス判定要素に対応する上記重み付け演算パラメータを減少させる学習手段をさらに具備してもよい。これにより、撮像者の選択、削除操作等により、インデックス判定のための各判定要素の重みを修正させるという作用をもたらす。

また、この第１の側面において、上記インデックス設定手段は、上記撮像中にインデックスが判定された場合には撮像中の映像信号の一部に何れのインデックス判定要素によりインデックスが判定されたかを示すアイコンを上記表示手段に表示させてもよい。これにより、撮像中に何れのインデックス判定要素によりインデックスが判定されたかを示すという作用をもたらす。

また、この第１の側面において、上記インデックス設定手段は、上記撮像中にインデックスが発生し、上記操作手段からインデックスの取消入力がなされた場合には上記インデックス記録手段に記録された当該インデックス情報を削除し、上記学習手段は、上記削除されたインデックス情報に対応するパラメータを減少させてもよい。これにより、撮像者の選択、削除操作等により、インデックス判定のための各判定要素の重みを修正させるという作用をもたらす。

また、この第１の側面において、上記重み付け演算手段は、上記重み付け演算パラメータの複数の初期設定値を予め保持し、上記操作手段からの選択入力により上記複数の初期設定値のうちの一つを選択して当該選択された初期設定値に基づいて上記重み付け演算を行うようにしてもよい。これにより、インデックス判定のための各判定要素を重み付け演算パラメータにより修正させるという作用をもたらす。

また、この第１の側面において、上記インデックス判定要素検出手段は、上記撮像時に撮像者の脈拍変化を検出する脈拍検出手段をさらに備え、上記重み付け演算手段は、さらに上記脈拍変化情報を上記インデックス判定要素として上記重み付け演算を行うようにしてもよい。これにより、撮像者の意図が表れる脈拍変化情報に基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス判定要素検出手段は、上記撮像時に撮像者の表情の変化を検出する撮像者表情検出手段をさらに備え、上記重み付け演算手段は、さらに上記撮像者表情変化情報を上記インデックス判定要素として上記重み付け演算を行うようにしてもよい。これにより、撮像者の意図が表れる撮像者表情変化情報に基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス判定要素検出手段は、上記撮像時に映像から被写体の顔を検出する顔検出手段をさらに備え、上記重み付け演算手段は、上記フォーカス距離変化情報からの変化情報に変化がない場合には、上記顔判別結果を上記インデックス判定要素として上記重み付け演算を行うようにしてもよい。これにより、撮像者の意図が表れる顔判別結果に基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス設定手段は、上記重み付け演算された上記複数のインデックス判定要素がそれぞれ変化した後に再び変化のない状態に戻る直前の時刻をインデックスとして設定するようにしてもよい。これにより、撮像者の意図が表れる機器操作とカメラ情報とに基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス設定手段は、上記重み付け演算された上記複数のインデックス判定要素がそれぞれ変化のない状態から変化した直後の時刻をインデックスとして設定するようにしてもよい。これにより、撮像者の意図が表れる機器操作とカメラ情報に基づいてインデックス判定要素を作成させるという作用をもたらす。

また、この第１の側面において、上記インデックス記録手段および上記映像記録手段は、同一の記録媒体に記録されるようにしてもよい。これにより、インデックス記録手段および映像記録手段における管理を一元的にするという作用をもたらす。

本発明によれば、撮像者の意図が表れる機器操作とカメラ情報とに基づいてインデックス判定要素を作成するため、撮像者の意図の反映した映像代表点を示すインデックスの設定を行うことができ、これにより大容量の映像記録の中から所望される映像を的確に効率良く検出することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

まず、本発明の第１の実施形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態における撮像装置の一例としてデジタルビデオカメラ１００の記録側構成例を示す図である。

デジタルビデオカメラ１００の記録側は、カメラ部１０１と、アナログ／デジタル変換部（以下、「ＡＤＣ」と略す。）１０２と、ビデオエンコード部１０３と、マイク部１０４と、ＡＤＣ１０５と、オーディオエンコード部１０６と、マルチプレクサ１０７と、バッファ１０８と、ディスク１０９と、メモリ１１０と、デジタル／アナログ変換部（以下、「ＤＡＣ」と略す。）１１１と、メモリ１１２と、ＤＡＣ１１３と、表示部１１４と、操作部１１５と、ファイルシステム１１６と、バッファ１１７と、制御部１２０と、縮小画像作成部１３１と、画像圧縮部１３２と、バッファ１３３と、インデックス管理部１３４とを備える。

カメラ部１０１は、制御部１２０からの制御情報に従い、被写体からの入射光を取り込み、その入射光を映像アナログ電気信号に変換し、ＡＤＣ１０２に供給するものである。ＡＤＣ１０２は、カメラ部１０１から供給された映像のアナログ信号をＡ／Ｄ（Analog to Digital）変換し、その変換された信号をビデオエンコード部１０３と、メモリ１１０と、縮小画像作成部１３１とに供給するものである。ビデオエンコード部１０３は、制御部１２０からの制御情報に従い、ＡＤＣ１０２から供給されたデジタル化された映像データを例えばＭＰＥＧ２（Moving Picture Experts Group phase 2）などに符号化し、マルチプレクサ１０７に供給する。

マイク部１０４は、制御部１２０からの制御情報に従い、被写体からの音声を取り込み、アナログ電気信号に変換し、ＡＤＣ１０５に供給するものである。ＡＤＣ１０５は、マイク部１０４から供給された音声のアナログ信号をＡ／Ｄ変換し、その変換された信号をオーディオエンコード部１０６とメモリ１１２とに供給する。オーディオエンコード部１０６は、制御部１２０からの制御情報に従い、ＡＤＣ１０５から供給されたデジタル化された音声信号を例えばＡＣ３（Audio Code number 3）などに符号化し、マルチプレクサ１０７に供給する。

マルチプレクサ１０７は、ビデオエンコード部１０３で符号化された映像信号と、オーディオエンコード部１０６で符号化された音声信号とを組み合わせ、ＡＶストリームを生成し、このＡＶストリームをバッファ１０８に供給する。バッファ１０８は、ディスク１０９に記録するＡＶストリームを一時的に保存するものである。ディスク１０９は、バッファ１０８から供給されるＡＶストリーム、後述するバッファ１１７から供給されるＡＶストリーム情報、および、後述するバッファ１３３から供給される縮小画像を記録する装置であり、例えば、ＨＤＤ（Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）などが使用される。

メモリ１１０は、ＡＤＣ１０２から供給されたデジタル化された映像データを記録するものである。ＤＡＣ１１１は、メモリ１１０に記録されたデジタル化された映像データをＤ／Ａ（Digital to Analog）変換し、モニタ信号として表示部１１４に供給する。メモリ１１２は、ＡＤＣ１０５から供給されたデジタル化された音声データが記録される。ＤＡＣ１１３は、メモリ１１２に記録されたデジタル化された音声データをＤ／Ａ変換し、モニタ信号として表示部１１４に供給する。

表示部１１４は、制御部１２０からの制御情報に従い、ＤＡＣ１１１とＤＡＣ１１３とから供給されたモニタ信号を出力し、さらに制御部１２０から供給されるユーザインタフェース情報をモニタ出力信号に重畳して出力する。操作部１１５は、ユーザからの各種操作入力を受け付け制御部１２０に供給する。

ファイルシステム１１６は、制御部１２０からの制御情報に従い、マルチプレクサ１０７によって生成されたＡＶストリームのＡＶストリーム情報を管理しており、必要に応じてバッファ１１７を介してディスク１０９にＡＶストリーム情報を記録する。このＡＶストリーム情報は、チャプタ（ここでは、１回の記録開始から記録終了までの区間映像をいう。）に対応するＡＶストリームのディスク上の位置や、後述するインデックス管理部１３４で指定されるインデックスの位置情報等を含む。バッファ１１７は、ディスク１０９に記録するＡＶストリーム情報を一時的に保存するものである。

制御部１２０は、デジタルビデオカメラ１００全体の動作制御等を行う中枢部分となっており、デジタルビデオカメラ１００の各部材の駆動を有機的に制御して、動作を統括制御するものである。制御部１２０は、ユーザに示すメッセージを表示部１１４に表示させるように制御し、操作部１１５からユーザの操作入力を受け付ける。制御部１２０は、操作部１１５から電源ＯＮの指示を受け付けた場合にはカメラ部１０１およびマイク部１０４のミュートを解除し、操作部１１５から記録開始指示を受け付けた場合にはビデオエンコード部１０３およびオーディオエンコード部１０６の符号化開始を実行する。また、制御部１２０は、ファイルシステム１１６の情報管理を行う。

縮小画像作成部１３１は、制御部１２０からの制御情報に従い、ＡＤＣ１０２から供給されたデジタル化された映像データのうち指定された画像について縮小画像を作成する。この縮小画像は画像圧縮部１３２に供給される。画像圧縮部１３２は、縮小画像作成部１３１で作成された縮小画像を符号化し、バッファ１３３を介してディスク１０９に記録する。バッファ１３３は、ディスク１０９に記録する符号化された縮小画像を一時的に保存するものである。

インデックス管理部１３４は、制御部１２０からの制御情報に従い、ＡＶストリームの代表点を示すインデックスを設定する。このインデックスの設定については後述する。インデックス管理部１３４は、このインデックスの位置情報をファイルシステム１１６と制御部１２０に通知する。この通知を受け付けると、制御部１２０では縮小画像作成部１３１に通知されたインデックスのタイミングで縮小画像を作成するように制御する。また、インデックス管理部１３４は、制御部１２０からの制御情報に従い、後述するインデックステーブルを作成する。このインデックステーブルは、ファイルシステム１１６とバッファ１１７とを介してディスク１０９に記録される。また、インデックス管理部１３４は、後述するように操作部からインデックスの削除入力またはその取消入力があると、インデックステーブルからインデックスの削除を行う。

図２は、本発明の第１の実施形態における撮像装置の一例としてデジタルビデオカメラ１００の再生側構成例を示す図である。

デジタルビデオカメラ１００の再生側は、バッファ１０８と、ディスク１０９と、メモリ１１０と、ＤＡＣ１１１と、メモリ１１２と、ＤＡＣ１１３と、表示部１１４と、操作部１１５と、ファイルシステム１１６と、バッファ１１７と、制御部１２０と、デマルチプレクサ１２１と、ビデオデコード部１２２と、ＤＡＣ１２３と、ライン出力部１２４と、オーディオデコード部１２５と、ＤＡＣ１２６と、ライン出力部１２７と、インデックス管理部１３４と、バッファ１４１と、画像伸張部１４２とを備える。なお、図１に示した構成要素と同一の構成要素には、同一の符号を付し説明を省略する。

デマルチプレクサ１２１は、ディスク１０９に記録されたＡＶストリームをバッファ１０８を介して読み出し、映像ストリームと音声ストリームに分離する。分離された映像ストリームと音声ストリームは、それぞれビデオデコード部１２２とオーディオデコード部１２５に供給される。

ビデオデコード部１２２は、制御部１２０からの制御情報に従い、入力された映像ストリームを復号し、復号された映像ストリームをＤＡＣ１２３と、セレクタ１２８の端子ａに供給する。ＤＡＣ１２３は、復号された映像信号にＤ／Ａ変換を行い、映像のアナログ信号を生成し、ライン出力部１２４に出力する。ライン出力部１２４は、制御部１２０からの制御情報に従い、入力された映像のアナログ信号をビデオ信号として出力する。

オーディオデコード部１２５は、制御部１２０からの制御情報に従い、入力された音声ストリームを復号し、復号された音声ストリームをＤＡＣ１２６と、メモリ１１２に供給する。ＤＡＣ１２６は、復号された音声信号にＤ／Ａ変換を行い、音声のアナログ信号を生成し、ライン出力部１２７に出力する。ライン出力部１２７は、制御部１２０からの制御情報に従い、入力された音声のアナログ信号を音声信号として出力する。

セレクタ１２８は、端子ａ、ｂおよびｃを備えるセレクタスイッチである。セレクタ１２８は、通常、端子ａと端子ｃが接続され、この場合にはビデオデコード部１２２で復号された映像ストリームがメモリ１１０に入力され、ＤＡＣ１１１でＤ／Ａ変換がされた後、表示部１１４において映像のモニタ信号が表示される。また、制御部１２０からの制御情報に従い、セレクタ１２８の端子ｂと端子ｃが接続されると、後述する画像伸張部１４２で復号された縮小画像がメモリ１１０に供給される。供給された縮小画像がメモリ１１０に必要数蓄積されると、その蓄積された縮小画像は、ＤＡＣ１１３に供給されてＤ／Ａ変換された後、表示部１１４に供給され、表示部１１４において図８に示すインデックス表示画面として表示される。

オーディオデコード部１２５から供給されメモリ１１２に記録された、復号された音声ストリームは、ＤＡＣ１１３でＤ／Ａ変換された後、表示部１１４に供給され、表示部１１４において音声のモニタ信号として出力される。

バッファ１４１は、ディスク１０９に記録された縮小画像を、一時的に保存するものである。画像伸張部１４２は、制御部１２０からの制御情報に従いディスク１０９からバッファ１４１を介して縮小画像を読み出し、縮小画像を１枚ずつ復号する。復号された縮小画像データは、セレクタ１２８を介して、メモリ１１０に記録される。

ファイルシステム１１６は、制御部１２０からの制御情報に従い、ディスク１０９に記録されたＡＶストリーム情報をバッファ１１７を介して読み出し、制御部１２０とインデックス管理部１３４に供給する。

制御部１２０は、ファイルシステム１１６から供給されたＡＶストリーム情報に基づき、ディスク１０９に記録されたＡＶストリームが読み出されるように制御を行う。制御部１２０は、操作部１１５から電源ＯＮの指示を受け付けた場合には、ライン出力部１２４および１２７のミュートを解除し、操作部１１５から再生開始指示を受け付けた場合には、ビデオデコード部１２２およびオーディオデコード部１２５の符号化開始を実行する。

インデックス管理部１３４は、制御部１２０からの制御情報に従い、ディスク１０９からバッファ１１７とファイルシステム１１６を介してインデックステーブルを読み出す。

図３は、本発明の実施形態を具現する撮像装置の機能構成例を示す図である。

ここでは、操作部２０１と、撮像部２０２と、重み付け演算部２０３と、インデックス設定部２０４と、映像記録部２０５と、インデックス記録部２０６と、表示部２０７と、学習部２０８と、インデックス判定要素検出部２１０とを備えることを想定している。

操作部２０１は、ユーザの操作入力を受け付けるものである。この操作部２０１は、受け付けた操作入力を撮像部２０２と、インデックス設定部２０４とに供給する。この操作部２０１は、図１および図２に示すデジタルビデオカメラ１００の操作部２０１に対応する。

撮像部２０２は、操作部２０１からの操作入力に従って、被写体を撮像するものである。この撮像部２０２は、撮像された映像信号を映像記録部２０５に記録し、また、インデックス設定部２０４に供給する。この撮像部２０２は、図１および図２に示すデジタルビデオカメラ１００のカメラ部１０１およびマイク部１０４等に対応する。

インデックス判定要素検出部２１０は、上記映像信号の代表点を示すインデックスに関する複数の判定要素として上記撮像時の複数のカメラ設定情報を検出し、重み付け演算部２０３に供給するものである。インデックス判定要素検出部２１０は、フォーカス距離検出部２１１と、ズーム位置検出部２１２と、加速度検出部２１３と、操作入力検出部２１４と、脈拍変化検出部２１５と、撮像者表情検出部２１６と、顔検出部２１７とを備えることを想定している。

重み付け演算部２０３は、複数のインデックス判定要素に関する重み付け演算パラメータを保持し、当該重み付けパラメータを使用して重み付け演算を行い、インデックス設定部２０４に供給するものである。重み付け演算部２０３は、図１および図２に示すデジタルビデオカメラ１００のインデックス管理部１３４に対応する。

インデックス設定部２０４は、重み付けされた複数のインデックス判定要素に基づいてインデックスを設定し、上記映像信号との関連付けを示すインデックス情報を生成し、インデックス記録部２０６に記録する。このインデックス情報は、インデックスと映像信号との関連を示すインデックステーブルと、当該インデックスの時点における映像信号の縮小画像である。また、インデックス設定部２０４は、再生時には、インデックス記録部２０６からインデックステーブルと、当該インデックス時点の映像信号の縮小画像を読み出し、表示部２０７に表示させる。インデックス設定部２０４は、インデックス管理部１３４および縮小画像作成部１３１等に対応する。

映像記録部２０５は、撮像部２０２により撮像された映像信号を記録し、記録された映像信号を表示部２０７に表示するものである。映像記録部２０５は、図１および図２に示すデジタルビデオカメラ１００のディスク１０９に対応する。

インデックス記録部２０６は、インデックス設定部２０４によって生成されたインデックス情報を映像信号と関連づけて記録するものである。インデックス記録部２０６は、図１および図２に示すデジタルビデオカメラ１００のディスク１０９に対応する。

表示部２０７は、映像記録部２０５に記録された映像信号と、インデックス設定部２０４で生成されたインデックス情報とを表示するものである。表示部２０７は、図１および図２に示すデジタルビデオカメラ１００の表示部１１４に対応する。

学習部２０８は、操作部２０１からインデックスの選択決定入力がなされた場合には上記重み付け演算パラメータのうち選択されたインデックス判定要素に対応する重み付け演算パラメータを増加させ、インデックス削除入力がなされた場合には上記重み付け演算パラメータのうち削除されたインデックス判定要素に対応する重み付け演算パラメータを減少させるものである。学習部２０８は、図１および図２に示すデジタルビデオカメラ１００のインデックス管理部１３４に対応する。

フォーカス距離検出部２１１は、撮像時のフォーカス距離の変化状態を検出するものである。このフォーカス距離検出部２１１は、フォーカス距離の変化状態をフォーカス距離変化情報として重み付け演算部２０３に供給する。フォーカス距離検出部２１１は、図１および図２に示すデジタルビデオカメラ１００の制御部１２０に対応する。

ズーム位置検出部２１２は、撮像時のズーム位置の変化状態を検出するものである。このズーム位置検出部２１２は、ズーム位置の変化状態をズーム位置変化情報として重み付け演算部２０３に供給する。ズーム位置検出部２１２は、図１および図２に示すデジタルビデオカメラ１００の制御部１２０に対応する。

加速度検出部２１３は、撮像時に撮像部の水平加速度の変化状態と、垂直加速度の変化状態とを検出するものである。この加速度検出部２１３は、水平加速度の変化状態を水平方向加速度変化情報として、垂直加速度の変化状態を垂直方向加速度変化情報として重み付け演算部２０３に供給する。加速度検出部２１３は、図１および図２に示すデジタルビデオカメラ１００のカメラ部１０１と制御部１２０に対応する。

操作入力検出部２１４は、撮像時に操作入力の有無を検出するものである。この操作入力検出部２１４は、操作入力の有無を操作入力発生情報として重み付け演算部２０３に供給する。操作入力検出部２１４は、図１および図２に示すデジタルビデオカメラ１００の制御部１２０に対応する。

脈拍変化検出部２１５は、撮像時に撮像者の脈拍数の変化状態を検出するものである。脈拍変化検出部２１５は、撮像者の脈拍数の変化状態を脈拍変化情報として重み付け演算部２０３に供給する。脈拍変化検出部２１５は、図１５に示すデジタルビデオカメラ６００の制御部１２０およびリストバンド６０４に対応する。

撮像者表情検出部２１６は、撮像時に撮像者の表情の変化状態を検出するものである。この撮像者表情検出部２１６は、撮像者の表情の変化状態を撮像者表情変化情報として重み付け演算部２０３に供給する。撮像者表情検出部２１６は、図１５に示すデジタルビデオカメラ６００の制御部１２０と撮像者自身を撮像するカメラ６０３に対応する。

顔検出部２１７は、撮像時に映像から被写体の顔を検出するものである。この顔検出部２１７は、この被写体の顔の検出結果に基づいて顔を判別し顔判別結果として重み付け演算部２０３に供給する。顔検出部２１７は、図１および図２に示すデジタルビデオカメラ１００のカメラ部１０１および制御部１２０に対応する。

図４は、本発明の第１の実施形態におけるインデックス管理部１３４で使用される重み付けヒストグラムの一例を示す図である。

図４において、横軸はパラメータ名（ｐ０、ｐ１、ｐ２、ｐ３、ｐ４）を示し、縦軸は各パラメータに対する重み付けの重みの度合いに応じた度数（ｈ０、ｈ１、ｈ２、ｈ３、ｈ４）を示す。このときの重みｗｉは、以下の式１で示される。

インデックス管理部１３４は、図４に示される重み付けヒストグラムを使用して、インデックスの設定を行う。本実施形態では、パラメータｐ０乃至ｐ４として以下の項目が使用される。すなわち、ｐ０は、カメラのフォーカス距離の変化量を示す。また、ｐ１は、ズーム位置の変化量を示す。また、ｐ２は、加速度センサより得られる水平方向加速度の変化量を示す。また、ｐ３は、加速度センサより得られる垂直方向加速度の変化量を示す。また、ｐ４は、特定のユーザ操作情報の発生の有無を示す。

制御部１２０は、上記パラメータｐ０乃至ｐ４の情報を受け取ると、以下の式２に従い特定の基準値により正規化を行う。なお、ユーザ操作についてはその有無を対象としているため、ｐ４の正規化は不要である。

ここで、ａ０はフォーカス距離の特定の基準値を示し、ａ１はズーム位置最大変化位置を示し、ａ２は水平方向の検出可能な最大加速度を示し、ａ３は垂直方向の検出可能な最大加速度を示し、ｑ０乃至ｑ４はそれぞれパラメータの正規化した値を示す。このｑ０乃至ｑ４に、上述した重み（ｗ０乃至ｗ４）を乗算し、判定要素ｅ０乃至ｅ４を式３のように定義する。

これらの判定要素ｅ０乃至ｅ４を定期的にサンプリングし、後述するインデックス判定フローに基づき、インデックスの判定が行われる。また、重み（ｗ０乃至ｗ４）は後述する学習フローにより管理される。

図５において、図５（ａ）はフォーカス距離の変化を示し、図５（ｂ）は重み付けされたフォーカス距離変化判定要素ｅ０を示し、横軸は時間の変化を示す。この図からも分かるように、フォーカス距離の変化量は、結果的に加速度を示すことになる。

図５（ｂ）において、ｔ０とｔ３、ｔ４とｔ７の間の時間はフォーカス距離が変化している時間であり、ｔ１、ｔ２、ｔ５、ｔ６は、重み付きフォーカス距離変化要素が閾値と一致する時間を示す。このとき、ｔ１、ｔ２、ｔ５、ｔ６はインデックスとして判定され、後述するインデックステーブルに記録される。

このフォーカス距離変化判定要素ｅ０は、上述のように重み付け演算された値であるため、閾値を変化させずに、重みを増減することにより、インデックス発生の頻度を変化させることができる。例えば、重み付けの重みを減少させることにより、フォーカス距離変化要素が閾値を越えない場合には、インデックスの発生の頻度は減少する。

なお、フォーカス距離変化だけでなく、他のインデックス判定要素（例えば、水平方向加速度、垂直方向加速度、ズーム位置等）、または、これらの組み合わせの変化でも、同様の判定がなされる。

なお、ここでは、閾値と一致する時点をインデックスと判定したが、これに限らず、判定要素が変化した後再び０に戻る直前の時点、すなわちこの例ではｔ２、ｔ６のみをインデックスと判定してもよく、また判定要素が０から変化した直後の時点、すなわちこの例ではｔ１、ｔ５のみをインデックスと判定してもよい。

図６は、本発明の第１の実施形態におけるユーザ操作からインデックスが判定される場合を説明する説明図である。

図６において、図６（ａ）は注目している特定のユーザ操作が発生したことをパルス状の信号で示し、図６（ｂ）は重み付けユーザ操作要素を示す。

ユーザ操作は、発生の有無のみであるため、発生したタイミングで１となり、それ以外は０となり、重み付けユーザ操作要素も同様の値を示す。この例では、閾値と、重み付けユーザ操作要素ｅ４とを比較して時刻ｔ０、ｔ１、ｔ２がインデックスと判定される。

なお、この特定のユーザ操作は、録画中に操作されるものであり、例えば、ナイトショット機能ＯＮ／ＯＦＦ、マニュアルフォーカス操作ＯＮ／ＯＦＦ、ホワイトバランス選択、逆光補正操作ＯＮ／ＯＦＦ、動画撮像中の静止画撮像、手ぶれ補正操作ＯＮ／ＯＦＦ、エフェクトを入れた撮像ＯＮ／ＯＦＦ等が上げられる。また、ズーム操作はズーム位置検出部２１２により検出されるため、この例ではユーザ操作として取り扱わないものとする。

図７は、本発明の第１の実施形態におけるインデックステーブル３００の一例を示す図である。

インデックステーブル３００の１行目は、チャプタ番号を示す。チャプタは、１回の記録スタートから記録ストップまでを示し、この例では、ディスクにチャプタがＧ０、Ｇ１、…、Ｇｕまで作成されていることを示す。

２行目は、図１０に示すインデックス判定フローによりインデックスと判定されたチャプタ内のＰＴＳ（Presentation Time Stamp）値を示し、この例では、チャプタＧ０中ではｔ０、ｔ１、…、ｔ３で、チャプタＧ１中ではｔ４、…、ｔ６、ｔ７で、チャプタＧｕ中ではｔｍ、…、ｔｎでインデックスと判定されたことを示す。なお、このＰＴＳは、動画再生時の同期に用いられるタイムスタンプである。

３行目乃至７行目は、それぞれフォーカス距離変化判定要素ｅ０、ズーム位置の変化判定要素ｅ１、水平方向加速度変化判定要素ｅ２、垂直方向加速度変化判定要素ｅ３、撮像者操作の発生判定要素ｅ４を示し、ＰＴＳ ｔ０時点の値は、それぞれＤ０、Ｚ０、Ｈ０、Ｖ０、Ｏ０であり、それぞれの判定要素は、判定要素ｅ０、ｅ１、ｅ２、ｅ３、ｅ４に対応する。

次に８行目は、検出要因ｆ０を示す。この検出要因ｆ０はビットフィールドで示され、この例では、検出要因が５つあるため、５ビットのビットフィールドで表現される。それぞれのビットは図１０に示すインデックス判定フローにおいて、閾値を超えた場合に１となり、そうでなければ０となる。各検出要因は独立であるため、複数が１となる場合もある。この検出要因を参照することにより、インデックスが何れの要因で設定されたのかが分かる。

次に９行目、１０行目は、縮小画像位置Ａ０と縮小画像情報量Ｓ０を示す。これはＰＴＳ ｔ０時点での縮小画像のディスク上の位置と画像サイズを示す。このようにして以下ＰＴＳ ｔｉ時点での、判定要素はそれぞれＤｉ、Ｚｉ、Ｈｉ、Ｖｉ、Ｏｉであり、検出要因、縮小画像位置、縮小画像情報量はそれぞれｆｉ、Ａｉ、Ｓｉであるものとする。

なお、縮小画像に関する情報は、物理アドレスである縮小画像位置Ａ０と縮小画像情報量Ｓ０で指定するものとしたが、論理アドレスで指定するものとしてもよい。

図８は、本発明の第１の実施形態における再生時のインデックス表示画面４００を示す図である。

再生時のインデックス表示画面４００には、縮小画像４１０乃至４６０と、操作用アイコン４７０とが表示される。

縮小画像４１０乃至４６０は、記録時に縮小画像作成部１３１で作成され、画像圧縮部１３２とバッファ１３３とを介してディスク１０９に記録されたものを、再生時に画像伸張部１４２がバッファ１４１を介してディスク１０９から読み出したものである。

縮小画像４１０には、アイコン４１１が表示され、以下同様に、縮小画像４２０にはアイコン４２１、縮小画像４３０にはアイコン４３１および４３２、縮小画像４４０にはアイコン４４１および４４２、縮小画像４５０にはアイコン４５１、縮小画像４６０にはアイコン４６１が、それぞれ表示される。

それぞれのアイコンは、それぞれの縮小画像に対応するインデックスの判定要因となったインデックス判定要素を示す。つまり、アイコン４１１、４３２、４４２は、縮小画像４１０、４３０、４４０がフォーカス距離変化判定要素ｅ０によりインデックス判定されたことを示し、アイコン４２１は、縮小画像４２０がズーム位置変化判定要素ｅ１によりインデックス判定されたことを示し、アイコン４４１は、縮小画像４４０が水平方向加速度変化判定要素ｅ２によりインデックス判定されたことを示し、アイコン４３１、４５１は、縮小画像４３０、４５０が垂直方向加速度変化判定要素ｅ３によりインデックス判定されたことを示し、アイコン４６１は、縮小画像４６０が操作者操作の発生判定要素ｅ４によりインデックス判定されたことを示す。

操作用アイコン４７０には、前頁アイコン４７１と、再生アイコン４７２と、削除アイコン４７３と、次頁アイコン４７４とが表示される。

縮小画像４２０には、太線が付されて表示される。これは縮小画像４２０がユーザに選択されていることを示す。ユーザは、前頁アイコン４７１と次頁アイコン４７４とを選択することによって縮小画像の選択を移動させることができる。この状態において、ユーザが再生アイコン４７２を選択すると、縮小画像４２０に対応するインデックスの示すＰＴＳから映像が再生され、ユーザが削除アイコン４７３を選択すると、縮小画像４２０に対応するインデックスが削除される。

このインデックスの再生と削除の情報は、制御部１２０からインデックス管理部１３４に通知され、後述する学習フローが開始される。

図９は、本発明の第１の実施形態における撮像時のモニタリング画面５００を示す図である。

撮像時のモニタリング画面５００には、アイコン５０１が表示される。アイコン５０１は、図８に示したアイコン４１１と同じものであり、撮像中に、フォーカス距離変化判定要素ｅ０によりインデックスが判定された場合に表示される。ここでは、アイコン５０１一つが表示さえているが、複数のアイコンが表示されることもある。

ここでモニタリング画面５００に表示されるモニタリング画像は、撮像とともに変化するため、インデックスの時点における画像自身は一瞬で表示が終了されるが、アイコン５０１は、一定の期間表示され続ける。アイコン５０１の表示が終了されると、インデックスとして設定され、図７のインデックステーブルに登録され、インデックス時点の縮小画像がディスク１０９に保存される。

ユーザは、アイコン５０１が表示されている間に、操作部１１５を操作して、インデックス取り消し操作を行うことにより、図７のインデックステーブルへのインデックス設定が中止される。このとき、アイコン５０１の表示は、取り消し操作の瞬間に終了され、ユーザからインデックスの設定が中止されたことがわかるようにする。また同時に、このインデックス取り消し情報は、制御部１２０からインデックス管理部１３４に通知され、後述する学習フローが開始される。

次に本発明の第１の実施形態におけるデジタルビデオカメラ１００の動作について図面を参照して説明する。

図１０は、本発明の第１の実施形態におけるインデックス判定処理を示すフローチャートである。

まず、ステップＳ９１１において、上述したように判定要素（ｅ０乃至ｅ４）が検出される。次に、制御変数ｉが０に初期化され（ステップＳ９１２）。ｉがパラメータ数に達したか否かが判定される（ステップＳ９１３）。この場合、パラメータ数は５であるため、ｉが５に達したか否が判定され、ｉが５に達した場合には、処理が終了される。

ｉが５に達していない場合には、判定要素ｅｉが算出され（ステップＳ９１４）、判定要素ｅｉとそれに対応する閾値ｅｉｔｈとが比較される（ステップＳ９１５）。判定要素ｅｉが閾値ｅｉｔｈより大きければ、インデックスが作成され（ステップＳ９１６）、制御変数ｉが１増加され（ステップＳ９１７）、ステップＳ９１３に進み、処理が繰り返される。

インデックスの作成は、具体的には、図７に示すインデックステーブル３００に新たなインデックスが記録されることと、縮小画像作成部１３１においてインデックス時点の縮小画像が作成されることにより実現される。また、同時に２つ以上の判定要素によりインデックスが判定される場合には、インデックスを複数設定せずに、図７のインデックステーブル３００に示した検出要因ｆ０の対応するビットフィールドを「１」にすることによって設定を行う。

ステップＳ９１５において、判定要素ｅｉが閾値ｅｉｔｈより小さければ、制御変数ｉが「１」増加され（ステップＳ９１７）、ステップＳ９１３に進み、処理が繰り返される。

図１１は、本発明の第１の実施形態における学習処理を示すフローチャートである。

まず、図８の再生時のインデックス表示画面において、ユーザが再生動作を行ったか否かが判定される（ステップＳ９３１）。再生操作が行われた場合には、対象判定要素について度数を上げる処理を行い（ステップＳ９５０）、処理を終了する。ここで対象判定要素とは、例えば、図８の再生時のインデックス表示画面４００で選択した縮小画像の一部に表示されているアイコンに対応する判定要素である。つまり、ユーザが図８の縮小画像４２０に対応するインデックスを再生したのであれば、アイコン４２１に対応する判定要素であるズーム位置の変化判定要素を示す。

次に、図８の再生時のインデックス表示画面において、ユーザが削除動作を行ったか、あるいは、図９の記録時のインデックス表示画面において、ユーザが取消動作を行ったか否かが判定される（ステップＳ９３２）。削除動作、あるいは、取消動作が行われた場合には、判定要素について度数を下げる処理を行い（ステップＳ９７０）、処理を終了する。また、ステップＳ９３２において、削除動作も登録動作も行われなかった場合には、処理を終了する。

例えば、ユーザが図８の縮小画像４２０に対応するインデックスを再生したのであれば、アイコン４２１に対応するズーム位置の変化判定要素をユーザが好んでいると推測できる。このため、このユーザの意図を学習させるために、これに対する図４のパラメータｐ１の度数ｈ１を（ｈ１＋１）とし、この新しい度数に基づき、次の撮像に先立って各パラメータ（ｐ０乃至ｐ４）に対する重みを式１により再計算する。

これにより、ステップＳ９１５において閾値ｅ１ｔｈは変わらないのに対して、ｗ１が増えるためにパラメータｐ１の判定要素によって判定されるインデックスが、同じ画像を同様に撮像した場合に増加したことになる。同時に、他のパラメータの閾値ｅ０ｔｈ、ｅ２ｔｈ、ｅ３ｔｈ、ｅ４ｔｈは変化しないが、ｈ１が増加することで、式１より算出される重みｗ０、ｗ２、ｗ３、ｗ４が減少するために、ｐ０、ｐ２、ｐ３、ｐ４の各判定要素によって判定されるインデックスが、同じ画像を同様に撮像した場合に減少することになる。このようにして、ユーザの意図が学習される。

これに対し、削除動作、取消動作が行われた場合には、対象判定要素の度数を下げる。例えば、ユーザが図８の縮小画像４２０に対応するインデックスを削除したのであれば、アイコン４２１に対応するズーム位置の変化判定要素は、ユーザがインデックスとして必要ないと判断したと考えられる。このため、このユーザの意図を学習させるために、これに対する図４のパラメータｐ１の度数ｈ１を（ｈ１−１）とし、この新しい度数に基づき、次の撮像に先立って各パラメータ（ｐ０乃至ｐ４）に対する重みを式１により再計算しておく。

これにより、ステップＳ９１５において閾値ｅ１ｔｈは変わらないのに対して、ｗ１が減少するためにパラメータｐ１の判定要素によって判定されるインデックスが、同じ画像を同様に撮像した場合に減少したことになる。同時に、他のパラメータの閾値ｅ０ｔｈ、ｅ２ｔｈ、ｅ３ｔｈ、ｅ４ｔｈは変化しないが、ｈ１が減少することで、式１より算出される重みｗ０、ｗ２、ｗ３、ｗ４が増加するために、ｐ０、ｐ２、ｐ３、ｐ４の各判定要素によって判定されるインデックスが、同じ画像を同様に撮像した場合に増加することになる。このようにして、ユーザの意図が学習される。

なお、図８の縮小画像４３０のように複数の判定要素により判定されたインデックスの場合、それぞれの判定要素の度数がそれぞれ「１」ずつ増減され、同様に重みｗｉが再計算されることにより、ユーザの意図が学習される。

また、ここでは、インデックスの再生、取消、削除などの操作により、重みｗｉが増減されるものとして説明したが、これに限らず、ユーザが操作部１１５から直接各判定要素を選択して、それぞれの重みを増減できるものとしてもよい。

図１２は、本発明の第１の実施形態におけるインデックスの対象判定要素の度数をあげる処理を示すフローチャートである。このインデックスの判定要素の度数を上げる処理は、図１１のステップＳ９５０に対応する。

まず、ループ変数ｉを０に初期化し（ステップＳ９５１）、ループ変数ｉが判定要素数に達したか否を判定する(ステップＳ９５２）。判定要素数に達していれば、処理を終了し、判定要素数に達していなければ、判定要素ｐｉが度数操作の対象であるか否かを判定する（ステップＳ９５３）。

判定要素ｐｉが対象判定要素でない場合には、ループ変数ｉを「１」増加し（ステップＳ９６１）、ステップＳ９５２に進み処理を繰り返す。判定要素ｐｉが度数操作の対象である場合には、度数が上限値に達しているか否が判定される（ステップＳ９５４）。度数が上限値に達していなければ、度数を増加できるため、度数ｈｉを「１」増加し（ステップＳ９５６）、ループ変数ｉを「１」増加し（ステップＳ９６１）、ステップＳ９５２に進み処理を繰り返す。

ステップＳ９５４において、度数が上限値に達している場合には、新たなループ変数ｊを初期化し（ステップＳ９５５）、ループ変数ｊが判定要素数に達したか否かを判定する（ステップＳ９５７）。ループ変数ｊが判定要素数に達した場合には、ループ変数ｉを「１」増加し（ステップＳ９６１）、ステップＳ９５２に進み処理を繰り返す。ループ変数ｊが判定要素数に達していない場合には、度数ｈｊが下限値に達しておらずかつｉ≠ｊか否かを判定する（ステップＳ９５８）。判定が真であれば度数ｈｊを「１」減少し（ステップＳ９５９）、判定が偽であればループ変数ｊを「１」増加し（ステップＳ９６０）、ステップＳ９５７に進み処理を繰り返す。

ここで下限値は１以上であることが望ましい。下限値を０とすると、式３で算出される重みが０になり、重みを乗じた判定要素値も０になってしまうためである。

図１３は、本発明の第１の実施形態におけるインデックスの対象判定要素の度数を下げる処理を示すフローチャートである。このインデックスの対象判定要素の度数を下げる処理は、図１１に示すステップＳ９７０の処理に対応する。

まず、ループ変数ｉを０に初期化し（ステップＳ９７１）、ループ変数ｉが判定要素数に達したか否を判定する(ステップＳ９７２）。判定要素数に達していれば、処理を終了し、判定要素数に達していなければ、判定要素ｐｉが度数操作の対象であるか否かを判定する（ステップＳ９７３）。

判定要素ｐｉが対象判定要素でない場合には、ループ変数ｉを「１」増加し（ステップＳ９８１）、ステップＳ９７２に進み処理を繰り返す。判定要素ｐｉが度数操作の対象である場合には、度数が下限値に達しているか否が判定される（ステップＳ９７４）。度数が下限値に達していなければ、度数を減少できるため、度数ｈｉを「１」減少し（ステップＳ９７６）、ループ変数ｉを「１」増加し（ステップＳ９８１）、ステップＳ９７２に進み処理を繰り返す。

ステップＳ９７４において、度数が下限値に達している場合には、新たなループ変数ｊを初期化し（ステップＳ９７５）、ループ変数ｊが判定要素数に達したか否かを判定する（ステップＳ９７７）。ループ変数ｊが判定要素数に達した場合には、ループ変数ｉを「１」増加し（ステップＳ９８１）、ステップＳ９７２に進み処理を繰り返す。ループ変数ｊが判定要素数に達していない場合には、度数ｈｊが上限値に達しておらずかつｉ≠ｊか否かを判定する（ステップＳ９７８）。判定が真であれば度数ｈｊを「１」増加し（ステップＳ９５９）、判定が偽であればループ変数ｊを「１」増加し（ステップＳ９８０）、ステップＳ９７７に進み処理を繰り返す。

ここで下限値は１以上であることが望ましい。下限値を０とすると、式３で算出される重みが０になり、重みをかけた判定要素値も０になってしまうためである。

このように、本発明の第１の実施形態によれば、撮像者の意図が表れる機器操作とカメラ情報とに基づいてインデックス判定要素を作成するため、撮像者の意図の反映した映像代表点を示すインデックスの設定を行うことができる。

また、撮像者の選択、削除操作等により、インデックス判定のための各判定要素の重みが修正され、これにより撮像者の嗜好を反映したインデックス判定を行うことができる。

また、撮像者の嗜好を反映したインデックス判定の重みの書き出しや、読み込みが行えるため、カメラの使用者に応じてデータを入れ替えることができ、カメラの使用者の嗜好にあったインデックス判定を行うことができる。

インデックス時点でのみ縮小画像およびインデックス判定要素を記録するため、ユーザ操作、カメラ情報、センサ情報の全てを記録する場合に比べて記録されるデータを少なくすることができる。

次に、本発明の第２の実施形態について図面を参照して詳細に説明する。

本発明の第２の実施形態において、重み付け演算部２０３は、図４に示す重み付けヒストグラムについて、様々なバリエーションを有する複数のプリセット値を予め備えている。その他の構成については、第１の実施形態と同じであるため、ここでは説明を省略する。

図１４は、本発明の第２の実施形態における重み付けヒストグラムのバリエーションを示す図である。

図１４（ａ）は、全ての重みを均等に扱うためのプリセットヒストグラムであり、すべての度数が同じ値に設定されている。図１４（ｂ）は、フォーカス変化の検出を優先的に行うためのプリセットヒストグラムであり、フォーカス距離変化判定要素ｅ０算出のもとになる度数ｈ０が他の度数に比べて高く設定されている。図１４（ｃ）は、ズーム位置変化の検出を優先的に行うためのプリセットヒストグラムであり、ズーム位置の変化判定要素ｅ１算出のもとになる度数ｈ１が他の度数に比べて高く設定されている。図１４（ｄ）は、水平方向加速度変化の検出を優先的に行うためのプリセットヒストグラムであり、水平方向加速度変化判定要素ｅ２算出のもとになる度数ｈ２が他の度数に比べて高く設定されている。図１４（ｅ）は、垂直方向加速度変化の検出を優先的に行うためのプリセットヒストグラムであり、垂直方向加速度変化判定要素ｅ３算出のもとになる度数ｈ３が他の度数に比べて高く設定されている。図１４（ｆ）は、撮像者操作の発生の検出を優先的に行うためのプリセットヒストグラムであり、撮像者操作の発生判定要素ｅ４算出のもとになる度数ｈ４が他の度数に比べて高く設定されている。

このように、本発明の第２の実施形態によれば、撮像者がいくつかのバリエーションを有する複数のプリセットヒストグラムを選択できるため、撮像者の嗜好を反映したインデックスの設定を行うことができる。

次に、本発明の第３の実施形態について図面を参照して詳細に説明する。

図１５は、本発明の第３の実施形態における撮像装置の一例として撮像者自身を撮像するカメラ６０３とリストバンド６０４とを備えるデジタルビデオカメラ６００の外観図を示す図である。

デジタルビデオカメラ６００は、カメラレンズ部６０１と、表示パネル６０２と、撮像者自身を撮像するカメラ６０３と、リストバンド６０４と、信号伝送線６０５とを備える。その他の構成については、第１の実施形態のデジタルビデオカメラ１００と同じであるため、ここでは説明を省略する。

カメラレンズ部６０１は、撮像者により被写体に向けられ、被写体の撮像を行う。

表示パネル６０２は、回転可能にデジタルビデオカメラ６００に取り付けられ、カメラレンズ部６０１で撮像された撮像画面がモニタ表示される。撮像者はこのモニタ表示を見ながら撮像を行う。

撮像者自身を撮像するカメラ６０３は、表示パネル６０２の上部に取り付けられる。表示パネル６０２は、撮像者により見やすい角度に回転させられ、必然的に撮像者の方向を向くように調整される。このため表示パネル６０２の上部に取り付けられた撮像者自身を撮像するカメラ６０３は、撮像者の表情を撮像するのに適した方向に向くことになる。

撮像者自身を撮像するカメラ６０３は、撮像者の表情を撮像し、撮像者が笑っているという確からしさの度合い、パネルを凝視している確からしさの度合い、パネルを普通に見ている確からしさの度合いを検出する。なお、この度合いとしては、認識結果の確からしさ等が使用される。これらの撮像者の表情の変化をインデックス判定要素の１つとして組み込む。

リストバンド６０４は、撮像者の腕６１０に取り付けられ、撮像者の脈拍数を検出し、信号伝送線６０５を介してデジタルビデオカメラ６００に脈拍数を伝送する。この脈拍数の変化をインデックス判定要素の１つとして組みこむ。

図１６は、本発明の第３の実施形態におけるインデックステーブル７００の一例を示す図である。

インデックステーブル７００は、図７に示すインデックステーブル３００に、上述した撮像者自身を撮像するカメラ６０３による撮像者表情の変化判定要素Ｆｉと、上述したリストバンド６０４による撮像者脈拍変化判定要素Ｐｉとを同時に組み込んだものである。検出要因ｆ０は、この例では、検出要因が７つあるため、７ビットのビットフィールドで表現される。その他の構成については、第１の実施形態と同じであるため、説明を省略する。

このように、本発明の第３の実施形態によれば、撮像者の表情の変化と、撮像者の脈拍の変化からインデックスの検出が行えるため、撮撮像者の嗜好を反映したインデックスの設定を行うことができる。

次に、本発明の第４の実施形態について図面を参照して詳細に説明する。

本発明の第４の実施形態において、インデックス判定要素検出部２１０は、顔検出部２１７を備えるものとする。その他の構成については、第１の実施形態と同じであるため、ここでは説明を省略する。

図１７は本発明の第４の実施形態における顔判別とフォーカス距離からインデックスが判定される場合を説明する説明図である。

図１７において、図１７（ａ）はフォーカス距離の変化を示し、図１７（ｂ）は重み付けされたフォーカス距離変化判定要素ｅ０を示し、図１７（ｃ）は被写体を撮像した時の撮像映像イメージを示し、横軸は時間の変化を示す。

図１７（ｂ）において、ｔ０とｔ３、ｔ４とｔ７の間の時間はフォーカス距離が変化している時間であり、ｔ１、ｔ２、ｔ５、ｔ６は、重み付きフォーカス距離変化判定要素が閾値と一致する時間を示し、この時点でインデックス判定が行われたことを示す。また、ｔ０までの区間を区間Ａとし、ｔ０からｔ３までの区間を区間Ｂとし、ｔ３からｔ４までの区間を区間Ｃとし、ｔ４からｔ７までの区間を区間Ｄとし、ｔ７からの区間を区間Ｅとする。

図１７（ｃ）において、画像８０１乃至８０５は、それぞれ図１７（ｂ）の区間Ａ乃至区間Ｅに対応する撮像映像を示す。撮像映像がダブって表示される場合（画像８０２、８０４）は、フォーカスが合っていないことを示す。

ここで、撮像映像から顔部分を検出し、顔が検出された場合をインデックス判定要素とする場合を考慮すると、撮像映像自体が合焦していない状態でインデックスが設定されるよりも、フォーカスが合った時点でインデックスが設定された方がよい。この場合に、例えば、図１７（ｂ）中の区間ＢとＤの間は、顔検出は行わないこととすればよい。すなわち、フォーカス距離変化が閾値より上であることを検出し、ｔ１からｔ２の間、ｔ５からｔ６の間は、フォーカス距離が変化中であると判定し、顔検出を行わないこととすれば、フォーカスの合っていない画像８０２、８０４を使用した顔検出は行われなくなる。

このように、本発明の第４の実施形態によれば、顔検出とフォーカス距離とを組み合わせてインデックスの検出を行うことにより、効率的に撮撮像者の嗜好を反映したインデックスの設定を行うことができる。

以上のように本発明によれば、撮像者の意図が表れる機器操作とカメラ情報とに基づいてインデックス判定要素を作成するため、撮像者の意図の反映した映像代表点を示すインデックスの設定を行うことができ、これにより大容量の映像記録の中から所望される映像を的確に効率良く検出させることができるという優れた効果を奏し得る。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、操作手段は例えば操作部２０１に対応する。また、撮像手段は例えば撮像部２０２に対応する。また、インデックス設定手段は例えばインデックス設定部２０４に対応する。また、映像記録手段は例えば映像記録部２０５に対応する。また、インデックス記録手段は例えばインデックス記録部２０６に対応する。また、表示手段は例えば表示部２０７に対応する。また、インデックス判定要素検出手段は例えばインデックス判定要素検出部２１０に対応する。

また、請求項２において、重み付け演算手段は例えば重み付け演算部２０３に対応する。

また、請求項３において、フォーカス距離検出手段は例えばフォーカス距離検出部２１１に対応する。また、ズーム位置検出手段は例えばズーム位置検出部２１２に対応する。また、加速度検出手段は例えば加速度検出部２１３に対応する。また、操作入力検出手段は例えば操作入力検出部２１４に対応する。

また、請求項６において、学習手段は例えば学習部２０８に対応する。

また、請求項１０において、脈拍検出手段は例えば脈拍検出部２１５に対応する。

また、請求項１１において、撮像者表情検出手段は例えば撮像者表情検出部２１６に対応する。

また、請求項１２において、顔検出手段は例えば顔検出部２１７に対応する。

また、請求項１６または１７において、映像信号の代表点を示すインデックスを判定する複数の判定要素として撮像時の複数のカメラ設定情報を検出する手順は例えばステップＳ９１１に対応する。また、複数のインデックス判定要素に基づいてインデックスを設定して当該インデックスと映像信号との関連付けを示すインデックス情報をインデックス記録手段に記録する手順はステップＳ９１２乃至ステップＳ９１７に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の第１の実施形態における撮像装置の一例としてデジタルビデオカメラ１００の記録側構成例を示す図である。 本発明の第１の実施形態における撮像装置の一例としてデジタルビデオカメラ１００の再生側構成例を示す図である。 本発明の実施形態を具現する撮像装置の機能構成例を示す図である。 本発明の第１の実施形態におけるインデックス管理部１３４で使用される重み付けヒストグラムの一例を示す図である。 本発明の第１の実施形態におけるフォーカス距離からインデックスが判定される場合を説明する説明図である。 本発明の第１の実施形態におけるユーザ操作からインデックスが判定される場合を説明する説明図である。 本発明の第１の実施形態におけるインデックステーブル３００の一例を示す図である。 本発明の第１の実施形態における再生時のインデックス表示画面４００を示す図である。 本発明の第１の実施形態における撮像時のモニタリング画面５００を示す図である。 本発明の第１の実施形態におけるインデックス判定処理を示すフローチャートである。 本発明の第１の実施形態における学習処理を示すフローチャートである。 本発明の第１の実施形態におけるインデックスの対象判定要素の度数を上げる処理を示すフローチャートである。 本発明の第１の実施形態におけるインデックスの対象判定要素の度数を下げる処理を示すフローチャートである。 本発明の第２の実施形態における重み付けヒストグラムのバリエーションを示す図である。 本発明の第３の実施形態における撮像装置の一例として撮像者自身を撮像するカメラ６０３とリストバンド６０４を備えるデジタルビデオカメラ６００の外観図を示す図である。 本発明の第３の実施形態におけるインデックステーブル７００の一例を示す図である。 本発明の第４の実施形態における顔判別とフォーカス距離からインデックスが判定される場合を説明する説明図である。

符号の説明

１００ デジタルビデオカメラ
１０１ カメラ部
１０２、１０５ ＡＤＣ
１０３ ビデオエンコード部
１０４ マイク部
１０６ オーディオエンコード部
１０７ マルチプレクサ
１０８、１１７、１３３、１４１ バッファ
１０９ ディスク
１１０、１１２ メモリ
１１１、１１３、１２３、１２６ ＤＡＣ
１１４ 表示部
１１５ 操作部
１１６ ファイルシステム
１２０ 制御部
１２１ デマルチプレクサ
１２２ ビデオデコード部
１２４、１２７ ライン出力部
１２５ オーディオデコード部
１２８ セレクタ
１３１ 縮小画像作成部
１３２ 画像圧縮部
１３４ インデックス管理部
１４２ 画像伸張部
２０１ 操作部
２０２ 撮像部
２０３ 重み付け演算部
２０４ インデックス設定部
２０５ 映像記録部
２０６ インデックス記録部
２０７ 表示部
２０８ 学習部
２１０ インデックス判定要素検出部
２１１ フォーカス距離検出部
２１２ ズーム位置検出部
２１３ 加速度検出部
２１４ 操作入力検出部
２１５ 脈拍変化検出部
２１６ 撮像者表情検出部
２１７ 顔検出部
３００、７００ インデックステーブル
４１０、４２０、４３０、４４０、４５０、４６０ 縮小画像

Claims (17)

1. 操作手段からの操作入力に従い被写体を撮像して映像信号を映像記録手段に記録する撮像手段と、
   前記映像記録手段に記録された前記映像信号を表示する表示手段と、
   前記映像信号の代表点を示すインデックスを判定する複数の判定要素として前記撮像時の複数のカメラ設定情報を検出するインデックス判定要素検出手段と、
   前記複数のインデックス判定要素に基づいてインデックスを設定して当該インデックスと前記映像信号との関連付けを示すインデックス情報をインデックス記録手段に記録するインデックス設定手段と
   を具備することを特徴とする撮像装置。
2. 前記複数のインデックス判定要素に関する重み付け演算パラメータを保持して当該重み付けパラメータを使用して重み付け演算を行う重み付け演算手段をさらに具備し、
   前記インデックス設定手段は、前記重み付け演算された前記複数のインデックス判定要素に基づいてインデックスを設定することを特徴とする請求項１記載の撮像装置。
3. 前記インデックス判定要素検出手段は、前記撮像時にフォーカス距離変化を検出するフォーカス距離検出手段と、前記撮像時にズーム位置変化を検出するズーム位置検出手段と、前記撮像時に前記撮像装置の水平方向加速度変化と垂直方向加速度変化を検出する加速度検出手段と、前記撮像時に操作入力の有無を検出する操作入力検出手段とを備え、
   前記重み付け演算手段は、前記フォーカス距離変化情報と、前記ズーム位置変化情報と、前記水平方向加速度変化情報と、前記垂直方向加速度変化情報と、前記操作入力発生情報とを前記インデックス判定要素として前記重み付け演算を行うことを特徴とする請求項２記載の撮像装置。
4. 前記インデックス情報は、前記インデックスと前記映像信号との関連を示すインデックステーブルと、当該インデックスの時点における映像信号の縮小画像であり、
   前記インデックス設定手段は、前記表示手段に、前記インデックス記録手段に記録された前記縮小画像を表示させるとともに、それぞれの前記縮小画像の一部に何れのインデックス判定要素によりインデックスが判定されたかを示すアイコンを表示させることを特徴とする請求項２記載の撮像装置。
5. 前記インデックス設定手段は、
   前記縮小画像が表示されている場合において前記操作手段から前記縮小画像の何れかに関する選択決定入力がなされると当該選択された前記縮小画像に対応するインデックスの時点における前記映像信号を前記表示手段に表示させ、
   前記操作手段から前記縮小画像の何れかに関する選択削除入力がなされると当該選択された前記縮小画像に対応するインデックスの前記インデックス情報を前記インデックス記録手段から削除することを特徴とする請求項４記載の撮像装置。
6. 前記操作手段からインデックスの選択決定入力がなされた場合には選択されたインデックス判定要素に対応する前記重み付け演算パラメータを増加させ、インデックスの削除入力がなされた場合には削除されたインデックス判定要素に対応する前記重み付け演算パラメータを減少させる学習手段をさらに具備することを特徴とする請求項５記載の撮像装置。
7. 前記インデックス設定手段は、前記撮像中にインデックスが判定された場合には撮像中の映像信号の一部に何れのインデックス判定要素によりインデックスが判定されたかを示すアイコンを前記表示手段に表示させることを特徴とする請求項５記載の撮像装置。
8. 前記インデックス設定手段は、前記撮像中にインデックスが発生し、前記操作手段からインデックスの取消入力がなされた場合には前記インデックス記録手段に記録された当該インデックス情報を削除し、
   前記学習手段は、前記削除されたインデックス情報に対応するパラメータを減少させることを特徴とする請求項７記載の撮像装置。
9. 前記重み付け演算手段は、前記重み付け演算パラメータの複数の初期設定値を予め保持し、前記操作手段からの選択入力により前記複数の初期設定値のうちの一つを選択して当該選択された初期設定値に基づいて前記重み付け演算を行うことを特徴とする請求項２記載の撮像装置。
10. 前記インデックス判定要素検出手段は、前記撮像時に撮像者の脈拍変化を検出する脈拍検出手段をさらに備え、
    前記重み付け演算手段は、さらに前記脈拍変化情報を前記インデックス判定要素として前記重み付け演算を行うことを特徴とする請求項３記載の撮像装置。
11. 前記インデックス判定要素検出手段は、前記撮像時に撮像者の表情の変化を検出する撮像者表情検出手段をさらに備え、
    前記重み付け演算手段は、さらに前記撮像者表情変化情報を前記インデックス判定要素として前記重み付け演算を行うことを特徴とする請求項３記載の撮像装置。
12. 前記インデックス判定要素検出手段は、前記撮像時に映像から被写体の顔を検出する顔検出手段をさらに備え、
    前記重み付け演算手段は、前記フォーカス距離変化情報からの変化情報に変化がない場合には、前記顔判別結果を前記インデックス判定要素として前記重み付け演算を行うことを特徴とする上記請求項３に記載の撮像装置。
13. 前記インデックス設定手段は、前記重み付け演算された前記複数のインデックス判定要素がそれぞれ変化した後に再び変化のない状態に戻る直前の時刻をインデックスとして設定することを特徴とする請求項３記載の撮像装置。
14. 前記インデックス設定手段は、前記重み付け演算された前記複数のインデックス判定要素がそれぞれ変化のない状態から変化した直後の時刻をインデックスとして設定することを特徴とする請求項３記載の撮像装置。
15. 前記インデックス記録手段および前記映像記録手段は、同一の記録媒体に記録されることを特徴とする請求項１記載の撮像装置。
16. 操作手段からの操作入力に従い被写体を撮像して映像信号を映像記録手段に記録する撮像手段と、前記映像記録手段に記録された前記映像信号を表示する手順とを具備する撮像装置であって、
    前記映像信号の代表点を示すインデックスを判定する複数の判定要素として前記撮像時の複数のカメラ設定情報を検出する手順と、
    前記複数のインデックス判定要素に基づいてインデックスを設定して当該インデックスと前記映像信号との関連付けを示すインデックス情報をインデックス記録手段に記録する手順と
    を具備することを特徴とする撮像方法。
17. 操作手段からの操作入力に従い被写体を撮像して映像信号を映像記録手段に記録する撮像手段と、前記映像記録手段に記録された前記映像信号を表示する手順とを具備する撮像装置であって、
    前記映像信号の代表点を示すインデックスを判定する複数の判定要素として前記撮像時の複数のカメラ設定情報を検出する手順と、
    前記複数のインデックス判定要素に基づいてインデックスを設定して当該インデックスと前記映像信号との関連付けを示すインデックス情報をインデックス記録手段に記録する手順と
    をコンピュータに実行させることを特徴とするプログラム。

Images