JP2011119936A

JP2011119936A - 撮影装置及び再生方法

Info

Publication number: JP2011119936A
Application number: JP2009274909A
Authority: JP
Inventors: Sunako Asayama; 砂子朝山; Yoshihiro Morioka; 芳宏森岡; Hiroyuki Kamezawa; 裕之亀澤; Masashi Nosaka; 昌史野阪
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2011-06-16

Abstract

【課題】自動的に撮影された静止画像を再生する場合に、所望する静止画像を効率的に選択して再生する。
【解決手段】動画像の撮影中に静止画像を撮影し、撮影した静止画像を再生する撮影装置の一例であるビデオカメラ１００であって、動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する撮像部１１０と、撮像部１１０によって撮影された動画像及び静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報を生成する属性情報生成部１２０と、撮像部１１０によって撮影された静止画像と、属性情報生成部１２０によって生成された属性情報とを対応付けてメモリ１６０に記録する記録部１３０と、属性情報の種類を選択するための指示を受け付ける受付部１４０と、受付部１４０によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像をメモリ１６０から読み出して再生する再生部１５０とを備える。
【選択図】図３Ａ

Description

本発明は、動画と静止画との両方を撮影する撮影装置に関するものであり、特に、動画撮影中に撮影した静止画を再生する技術に関するものである。

ビデオカメラ等の撮影装置において、動画撮影中に並行して静止画を撮影する機能が実現されている。このような撮影装置では、ユーザーが動画撮影中に静止画撮影ボタン等を押すことで、動画と共に静止画も同時に撮影、及び記録することができる。

また、動画撮影中に、静止画を自動的に撮影する機能も考案されている。
例えば、特許文献１には、連続して撮像された複数の画像を評価し、評価結果に基づいて画像を記録するか否かを判断する撮像装置が開示されている。特許文献１に記載の撮像装置によれば、例えば、外部の閃光等の影響を受けた画像を自動的に除外して、残りの画像を記録することができる。

また、特許文献２には、動画像の撮影時に実行されるズーム操作情報、加速度センサによる検出情報によって解析されるパン・ティルト処理情報、入力音声信号のレベル情報、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）から入力する位置情報、クロック情報に基づいて識別される特定の記念日などの情報、又は、静止画撮影情報などの情報に基づいて重要シーン部分を判定し、重要シーン部分を識別可能なハイライトポイント情報を生成して、撮影画像データに対応付けて記録する撮像装置が開示されている。特許文献２に記載の撮像装置によれば、撮影後にハイライトポイント情報を利用して、重要シーン部分の再生を容易に行うことができる。

特開２００７−３０６２２５号公報特開２００７−１３４７７０号公報

しかしながら、上記従来技術によって動画撮影中に自動的に撮影された静止画を再生する場合、必ずしも視聴者が見たい静止画ばかりを再生することができるとは限らないという課題がある。

例えば、特許文献１及び２に記載の撮像装置によれば、様々な要因に基づいて画像を記録している。したがって、自動撮影された全ての静止画を順に再生する場合、撮影した静止画にはカメラワークが優れていて撮影されたカテゴリーの静止画、及び、笑顔認識されて撮影されたカテゴリーの静止画等が混在しているため、視聴者が見たいと考えるカテゴリーの静止画ばかりとは限らない。また、撮影した静止画の枚数が多い場合には、視聴者が所望する以上に再生時間が長くなってしまう場合もある。こういう状況は、自動撮影で保存したい静止画と、再生したい静止画とは必ずしも一致しないために起こるものである。

また、視聴者が、所望する静止画のみを見ようとして、従来実現されている静止画一覧等から再生したい静止画を選択して再生する再生方法を用いることもできる。しかしながら、視聴者は見たい静止画を静止画一覧から１枚ずつ選択する必要があるため使い勝手が良くない。

そこで、本発明は、上記課題を解決するためになされたものであって、所望する静止画像を効率良く選択して再生することができる撮影装置を提供することを目的とする。

上記課題を解決するために、本発明に係る撮影装置は、動画像の撮影中に静止画像を撮影し、撮影した静止画像を再生する撮影装置であって、前記動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する撮像部と、前記撮像部によって撮影された動画像及び静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報を生成する属性情報生成部と、前記撮像部によって撮影された静止画像と、前記属性情報生成部によって生成された属性情報とを対応付けてメモリに記録する記録部と、前記属性情報の種類を選択するための指示を受け付ける受付部と、前記受付部によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を前記メモリから読み出して再生する再生部とを備える。

これにより、ユーザーが所望する属性情報の種類の選択を受け付け、該当する属性情報に対応付けられた静止画像を再生するので、ユーザーが所望する静止画像を効率良く再生することができる。したがって、ユーザーが所望する静止画像を１枚ずつ選択させることを強いることなく、ユーザーが所望する静止画像を効率良く再生することができる。

また、前記属性情報生成部は、前記撮像部によって撮影された静止画像の撮影状況を示す属性情報をフレーム毎に生成してもよい。

これにより、静止画像１枚１枚に属性情報を対応付けて記録することができるので、ユーザーが所望する静止画像を的確に選択することができる。

また、前記属性情報は、前記動画像及び前記静止画像の少なくとも一方の撮影中における、前記撮影装置の動作を示す動作情報と、被写体の特徴を示す被写体情報と、前記動作情報及び前記被写体情報の評価値との少なくとも１つを含み、前記受付部は、前記動作情報と前記被写体情報と前記評価値との少なくとも１つを選択するための指示を受け付けてもよい。

これにより、撮影装置の動作、被写体の特徴、及びこれらの評価が静止画像に対応付けられるので、より多くの情報に基づいて静止画像の選択を行うことが可能となり、よりユーザーが所望する静止画像を的確に選択することができる。

また、前記受付部は、前記評価値が予め定められた閾値より高い静止画像を選択するための第１指示を受け付け、前記再生部は、前記受付部が前記第１指示を受け付けた場合、前記閾値より高い評価値が対応付けられた静止画像を再生してもよい。

これにより、評価値が高い静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記属性情報は、前記被写体情報として、対応付けられた静止画像に人物が写っていることを示す人物情報を含み、前記受付部は、人物が写っている静止画像を選択するための第２指示を受け付け、前記再生部は、前記受付部が前記第２指示を受け付けた場合、前記人物情報が対応付けられた静止画像を再生してもよい。

これにより、人物が写っている静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記記録部は、さらに、前記撮像部によって撮影された静止画像に、予め定められた人物を示す特定人物情報を対応付けて、前記メモリに記録し、前記受付部は、前記第２指示を受け付けた場合、さらに、予め定められた１人の人物を選択するための第３指示を受け付け、前記再生部は、前記人物情報が対応付けられた静止画像のうち、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像を再生してもよい。

これにより、特定の人物が写っている静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記記録部は、さらに、前記撮像部によって撮影された静止画像に、予め定められた複数の人物を示す複数の特定人物情報を対応付けて、前記メモリに記録し、前記受付部は、前記第２指示を受け付けた場合、さらに、予め定められた複数の人物を選択するための第４指示を受け付け、前記再生部は、前記人物情報に対応付けられた静止画像のうち、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像を再生してもよい。

これにより、複数の特定の人物が写っている静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記再生部は、前記受付部によって受け付けられた第４指示に対応する特定人物情報が対応付けられた静止画像のうち、複数の人物間の距離が所定の距離より小さい静止画像を再生してもよい。

これにより、写っている人物の距離が近い静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。人物間の距離が近い静止画像は、例えば、集合写真などのユーザーにとって重要度の高い画像である可能性が高いためである。

また、前記再生部は、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像のうち、前記予め定められた人物が予め定められた表情である静止画像を再生してもよい。

これにより、写っている人物が特定の表情（例えば、笑顔、又は目蓋が閉じられていない顔）である静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記受付部は、前記動画像の属性情報に基づいて静止画像を選択するための第５指示を受け付け、前記再生部は、前記受付部が前記第５指示を受け付けた場合、前記動画像の属性情報が予め定められた条件を満たしている期間に撮影された静止画像を抽出してもよい。

これにより、静止画像の属性情報だけでなく、当該静止画像が含まれる動画像の属性情報も所定の条件を満たす静止画像を選択することができるので、よりユーザーが所望する静止画像を選択することができる。

また、前記撮影装置は、さらに、前記属性情報が対応付けられた１つ以上のメニュー項目を表示する表示部を備え、前記受付部は、前記表示部に表示された１つ以上のメニュー項目の選択を前記指示として受け付けてもよい。

これにより、選択のためのメニュー項目を表示することで、ユーザーが属性情報を容易に選択することができ、利便性が向上する。

また、本発明に係る再生方法は、動画像の撮影中に撮影した静止画像をメモリから読み出して再生する再生方法であって、前記メモリには、前記動画像の撮影中撮影された静止画像と、前記動画像及び前記静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報とが対応付けて記憶され、前記再生方法は、前記属性情報の種類を選択するための指示を受け付ける受付ステップと、前記受付ステップにおいて受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を前記メモリから読み出して再生する再生ステップとを含む。

本発明に係る撮影装置によれば、自動的に撮影された静止画像を再生する場合に、ユーザーが所望する静止画像を効率的に選択して再生することができる。

動画及び静止画像を撮影する撮影装置の一例であるビデオカメラの外観図である。本発明の実施の形態に係るビデオカメラ内部のハードウェア構成の概略を示す図である。本発明の実施の形態に係るビデオカメラの機能構成の一例を示すブロック図である。本発明の実施の形態に係るビデオカメラの詳細な機能構成の一例を示すブロック図である。本発明の実施の形態に係るビデオカメラが撮影した動画の構成を示す図である。本発明の実施の形態に係るシーンを識別する情報の一例を示す図である。本発明の実施の形態に係る属性情報と評価との関係の一例を示す図である。本発明の実施の形態に係るシーン解析部が各シーンに評価を割り当てた結果を示す図である。本発明の実施の形態に係る再生情報の情報内容の一例を示す図である。本発明の実施の形態に係る静止画像抽出用の属性情報と評価との関係の一例を示す図である。本発明の実施の形態に係るビデオカメラの動作のうち、動画像の撮影中に静止画像を撮影する動作の一例を示すフローチャートである。本発明の実施の形態に係る静止画像抽出の観点から撮影したフレームを評価した結果を示す図である。本発明の実施の形態に係る静止画像の評価に用いられた属性情報のうち評価点が高かった属性情報の一覧を示す図である。本発明の実施の形態に係る撮影された静止画像を再生する際の操作メニュー画面の一例を示す図である。本発明の実施の形態に係る各メニュー項目に対応する選択条件の一例を示す図である。本発明の実施の形態に係る特定人物を選択する際の操作メニュー画面の一例を示す図である。本発明の実施の形態に係る撮影された静止画像と人物フラグとを対応付けた表の一例を示す図である。本発明の実施の形態に係る特定の人物が写っている静止画像を選択するための操作メニューの画面遷移の一例を示す図である。本発明の実施の形態に係る特定人物、人物間の距離、表情の指定を選択するための操作メニュー画面の一例を示す図である。本発明の実施の形態に係る静止画像抽出の観点からフレームを評価した結果に閾値の一例を追記した図である。本発明の実施の形態に係る静止画像抽出の観点からフレームを評価した結果に動画の再生情報の一例を追記した図である。本発明の実施の形態に係るビデオカメラの動作のうち、静止画像を再生する動作の一例を示すフローチャートである。

以下では、本発明に係る撮影装置の実施の形態について、図面を用いて詳細に説明する。

本実施の形態に係る撮影装置は、動画像の撮影中に静止画像を撮影し、撮影した静止画像を再生する撮影装置であって、動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する撮像部と、撮像部によって撮影された動画像及び静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報を生成する属性情報生成部と、撮像部によって撮影された静止画像と属性情報生成部によって生成された属性情報とを対応付けてメモリに記録する記録部と、属性情報の種類を選択するための指示を受け付ける受付部と、受付部によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を前記メモリから読み出して再生する再生部とを備えることを特徴とする。

これにより、ユーザーが所望する属性情報の種類の選択を受け付け、該当する属性情報に対応付けられた静止画像を再生するので、本実施の形態に係る撮影装置は、ユーザーが所望する静止画像を効率良く再生することができる。したがって、ユーザーに所望の静止画像を１枚ずつ選択させることを強いることなく、ユーザーが所望する静止画像を効率良く再生することができる。

＜撮影装置の構成＞
まず、本実施の形態に係る撮影装置の構成について説明する。

図１は、動画像及び静止画像を撮影する撮影装置の一例であるムービーカメラ又はビデオカメラ１００の外観図である。本実施の形態では、このビデオカメラ１００を用いて説明を行う。

図２は、ビデオカメラ１００内部のハードウェア構成の概略を示す図である。
ビデオカメラ１００は、レンズ群２００と、撮像素子２０１と、映像ＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）２０２と、映像信号変換回路２０３と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０４と、クロック２０５と、レンズ制御モジュール２０６と、姿勢検出センサ２０７と、入力ボタン２０８と、ディスプレイ２０９と、スピーカー２１０と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１と、圧縮伸張回路２１２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１３と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１４と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）２１５と、音声ＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）２１６と、マイクロフォン２１７とを構成要素として備える。

レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整する１つ以上のレンズの集合である。具体的には、レンズ群２００は、焦点距離及びズーム（動画の拡大倍率）を、様々な特性を持つ複数のレンズ間の距離を変化させることで、調整する。これらの調整は、ビデオカメラ１００の撮影者が手動で調整してもよく、あるいは、後述するレンズ制御モジュール２０６を通じてＣＰＵ２０４等からの制御により自動的に調整してもよい。

撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換する光電変換部である。撮像素子２０１には、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、及びＣ−ＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを利用することが可能である。

映像ＡＤＣ２０２は、撮像素子２０１が出力するアナログの電気信号をデジタルの電気信号（デジタル信号）に変換する。デジタル信号は、映像信号変換回路２０３へ出力される。

映像信号変換回路２０３は、映像ＡＤＣ２０２が出力するデジタル信号を、ＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅ）又はＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｎｇＬｉｎｅ）などの所定の規格の動画信号に変換する。

ＣＰＵ２０４は、ビデオカメラ１００全体を制御する制御部である。制御の種類としては、例えば、レンズ制御モジュール２０６を介して前述のレンズの焦点距離及びズームの制御を行うことで、撮像素子２０１への入射光を制御するレンズ制御がある。また、入力ボタン２０８及び姿勢検出センサ２０７等からの外部入力に対する入力制御、あるいは、圧縮伸張回路２１２の動作制御等がある。ＣＰＵ２０４は、これらの制御アルゴリズムをソフトウェア等で実行する。

クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に処理動作の基準となるクロック信号を出力する。なお、クロック２０５は、利用する集積回路又は扱うデータによって、単一又は複数のクロック信号を出力することも可能である。また、クロック２０５は、１つの発振子のクロック信号を任意の倍数に乗ずることで、単一又は複数のクロック信号を出力してもよい。

レンズ制御モジュール２０６は、レンズ群２００の状態を検出し、ＣＰＵ２０４からの制御に基づいて、レンズ群２００に含まれる１つ以上のレンズを動作させる。レンズ制御モジュール２０６は、レンズ制御用モータ２０６ａとレンズ位置センサ２０６ｂとを備える。

レンズ位置センサ２０６ｂは、レンズ群２００を構成する複数のレンズ間の距離又は位置関係等を検出する。レンズ位置センサ２０６ｂが検出した複数のレンズ間の位置情報等は、ＣＰＵ２０４に送信される。ＣＰＵ２０４は、レンズ位置センサ２０６ｂからの情報、及び撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための信号をレンズ制御用モータ２０６ａに送信する。

レンズ制御用モータ２０６ａは、ＣＰＵ２０４から送信された制御信号に基づいてレンズを動作させるモータを駆動する。この結果、レンズ群２００の複数のレンズ間の距離が変更され、レンズの焦点距離、及びズームを調整することができる。これにより、レンズ制御モジュール２０６は、レンズ群２００を通過した入射光を撮像素子２０１上に集光させ、正確に被写体像を結ぶことができる。

なお、ＣＰＵ２０４は、上記以外にも、ビデオカメラ１００で動画撮影時の手振れをレンズ位置センサ２０６ｂ又は後述する姿勢検出センサ２０７等で検出し、レンズ制御用モータ２０６ａを駆動する制御を行ってもよい。これにより、ＣＰＵ２０４は、手振れ防止の動作を、レンズ制御モジュール２０６を介して実行させることも可能である。

姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出する。姿勢検出センサ２０７は、加速度センサ２０７ａ、角速度センサ２０７ｂ、及び仰角・俯角センサ２０７ｃ等を備える。これらの各種センサにより、ビデオカメラ１００がどのような状態で撮影を行っているかを、ＣＰＵ２０４は検出する。なお、これらのセンサは、好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向（ｚ軸）、水平方向（ｘ軸、ｙ軸）等）についてそれぞれ検出できることが望ましい。

入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの１つである。これにより、撮影者が撮影の開始及び終了、並びに、ビデオ撮影中の動画にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。また、入力ボタン２０８は、ビデオカメラ１００で撮影した動画像又は静止画像を再生する際に、動画像又は静止画像を再生するための情報を入力し、あるいは、動画像又は静止画像を選択することが可能である。

ディスプレイ２０９は、ビデオカメラ１００が撮影した動画を見るため、及び、撮影ファインダー等として利用するために設けられた表示部である。これにより、撮影者は、撮影した動画をその場で確認することが可能となる。また、上記以外にも、ディスプレイ２０９は、ビデオカメラ１００の各種情報を表示することで、撮影情報等、及び機器情報等のより詳細な情報を撮影者に伝えることが可能となる。

スピーカー２１０は、撮影した動画を再生する際の音声出力に使用される。これ以外にも、スピーカー２１０は、ビデオカメラ１００が出力する警告を音で撮影者へ伝えることも可能である。

出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した動画を外部機器へ出力するために用いられる。具体的には、出力Ｉ／Ｆ２１１は、外部機器とビデオカメラ１００とをケーブルで接続する場合のケーブルインタフェースである。あるいは、出力Ｉ／Ｆ２１１は、撮影した動画をメモリカードに記録する場合のメモリカードインタフェース等などである。これにより、撮影した動画をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。

圧縮伸張回路２１２は、撮影した動画又は音声を所定のデジタルデータ形式に変更する符号化処理を行う回路である。具体的には、撮影した動画及び音声データに、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）又はＨ．２６４等の規格に従って符号化処理を行い、所定のデジタルデータ方式に変換（圧縮）する。また、圧縮伸張回路２１２は、撮影したデータの再生時には、所定のデジタルデータ形式の動画データを伸張してディスプレイ２０９等に表示する復号処理を行う回路である。

ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラム、及び、プログラムを動作させるための各種データを記録するメモリの一例である。

ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用されるメモリの一例である。また、ＣＰＵ２０４は、圧縮伸張回路２１２と共用でＲＡＭ２１４を使用してもよい。

ＨＤＤ２１５は、圧縮伸張回路２１２が符号化した動画像データ、及びその他撮影した静止画像データを蓄積等する目的で利用される記録媒体の一例である。なお、ＨＤＤ２１５は、動画像データ及び静止画像データ以外にも、後述する再生情報のデータ等を記録することも可能である。

音声ＡＤＣ２１６は、マイクロフォン２１７が外部から取得した音声のアナログの電気信号をデジタルの電気信号に変換する。

マイクロフォン２１７は、ビデオカメラ１００外部の音声をアナログの電気信号に変換して出力する。

上記の通り、図２を用いてビデオカメラ１００のハードウェア構成について説明したが、本発明では、上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２及び映像信号変換回路２０３等を単一の集積回路として実現することも可能である。あるいは、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を用いてハードウェアとして実現することも可能である。

次に、ビデオカメラ１００の機能構成について図３Ａ及び図３Ｂを用いて説明する。図３Ａは、ビデオカメラ１００の機能構成の一例を示すブロック図である。

図３Ａに示すように、ビデオカメラ１００は、撮像部１１０と、属性情報生成部１２０と、記録部１３０と、受付部１４０と、再生部１５０とを備える。

撮像部１１０は、動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する。撮像部１１０は、図２のレンズ群２００と、撮像素子２０１と、映像ＡＤＣ２０２と、映像信号変換回路２０３となどに相当する。

属性情報生成部１２０は、撮像部１１０によって撮影された動画像及び静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報を生成する。属性情報生成部１２０は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムに相当する。

記録部１３０は、撮像部１１０によって撮影された動画像及び静止画像と、属性情報生成部１２０によって生成された属性情報とを対応付けてメモリ１６０に記録する。具体的には、記録部１３０は、属性情報生成部１２０によって生成された静止画像の撮影状況を示す属性情報と、当該静止画像とを対応付けて記録する。

また、記録部１３０は、属性情報生成部１２０によって生成された動画像の撮影状況を示す属性情報と、当該動画像とを対応付けて記録する。あるいは、記録部１３０は、属性情報生成部１２０によって生成された動画像の撮影状況を示す属性情報と、当該動画像に含まれる静止画像とを対応付けて記録してもよい。記録部１３０は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムに相当する。

なお、メモリ１６０は、図３Ａに示すように、ビデオカメラ１００が備えていなくてもよい。ビデオカメラ１００がメモリ１６０を備えている場合は、メモリ１６０は、図２のＲＡＭ２１４及びＨＤＤ２１５に相当する。

受付部１４０は、属性情報の種類を選択するための指示を受け付ける。受付部１４０は、図２の入力ボタン２０８に相当する。

再生部１５０は、受付部１４０によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像をメモリ１６０から読み出して再生する。また、再生部１５０は、受付部１４０によって受け付けられた指示に対応する種類の属性情報に対応付けられた動画像に含まれる静止画像をメモリ１６０から読み出して再生してもよい。再生部１５０は、図２に示すＣＰＵ２０４でソフトウェア処理されるアルゴリズム、圧縮伸張回路２１２、ディスプレイ２０９、スピーカー２１０及び出力Ｉ／Ｆ２１１に相当する。

以下では、ビデオカメラ１００のより詳細な機能構成について図３Ｂを用いて説明する。図３Ｂは、ビデオカメラ１００の詳細な機能構成の一例を示すブロック図である。

ビデオカメラ１００は、機能的な構成要素として、レンズ部３００と、撮像部３０１と、映像ＡＤ変換部３０２と、信号処理部３０３と、映像信号圧縮部３０４と、撮像制御部３０５と、映像解析部３０６と、レンズ制御部３０７と、姿勢検出部３０８と、属性情報生成部３０９と、シーン解析部３１０と、再生情報生成部３１１と、音声解析部３１２と、音声信号圧縮部３１３と、多重化部３１４と、記憶部３１５と、表示部３１８と、音声ＡＤ変換部３２１と、マイク部３２２と、外部入力部３２３と、静止画像解析部３２４と、静止画像信号伸張部３２５と、静止画像抽出部３２６とを備える。

レンズ部３００は、被写体から入射した光の焦点距離、ズーム倍率（動画の拡大倍率）を調整する。この調整は、レンズ制御部３０７からの制御により行われる。レンズ部３００は、図２のレンズ群２００に相当する。

撮像部３０１は、レンズ部３００を透過した光を電気信号に変換する。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを動画データとして出力する。また、撮像部３０１は、動画データ以外にも、３原色点の色空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、及び、３原色又は輝度信号のガンマ情報等の情報も出力することが可能である。これらの情報は、撮像制御部３０５を介して属性情報生成部３０９へ出力する。撮像部３０１は、図２の撮像素子２０１に相当する。

映像ＡＤ変換部３０２は、撮像部３０１からの動画データを示す電気信号を、所定の処理内容に従ってアナログ・デジタル変換を行う。映像ＡＤ変換部３０２は、図２の映像ＡＤＣ２０２に相当する。

信号処理部３０３は、映像ＡＤ変換部３０２が出力したデジタル信号を所定のフォーマットの動画信号に変換する。例えば、所定のフォーマットの動画信号は、ＮＴＳＣで規定された水平線の数、走査線の数、フレームレートに準拠したフォーマットの動画信号である。信号処理部３０３は、図２の映像信号変換回路２０３に相当する。

映像信号圧縮部３０４は、信号処理部３０３が出力したデジタル動画信号に所定の符号化処理を行い、データ量の圧縮等を実現する。具体例としては、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４の符号化方式がある。映像信号圧縮部３０４は、図２の圧縮伸張回路２１２の圧縮機能に相当する。

撮像制御部３０５は、撮像部３０１の動作を制御する。具体的には、撮像制御部３０５は、撮像部３０１に対して、撮影時の露出量、撮影速度、及び感度等を制御する。また、これらの制御情報は、属性情報生成部３０９へも併せて出力される。撮像制御部３０５は、図２のＣＰＵ２０４でソフトウェア処理される制御アルゴリズムの１つである。

映像解析部３０６は、撮影された動画信号から動画の特徴を抽出する。本実施の形態では、映像解析部３０６は、色情報（例えば、動画に含まれる色の分布を検出する）、及びホワイトバランス等の情報を抽出する。また、映像解析部３０６は、動画に人物の顔が含まれている場合には、顔検出を行う等、動画信号を解析することで、動画の特徴を抽出する。なお、色分布の検出は、動画信号を形成するデータに含まれる色情報を確認することで実現可能である。また、顔検出については、パターンマッチング等を用いることにより実現可能である。映像解析部３０６は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの１つである。

レンズ制御部３０７は、レンズ部３００の動作を制御する。レンズ制御部３０７には、ズーム制御部３０７ａ、フォーカス制御部３０７ｂ、及び手振れ補正制御部３０７ｃ等を有する。レンズ制御部３０７は、レンズ部３００を制御するとともに、レンズ部３００の制御に関する制御情報を属性情報生成部３０９へ出力する。レンズ制御部３０７は、図２のレンズ制御モジュール２０６に相当する。

姿勢検出部３０８は、加速度センサ３０８ａ、角速度センサ３０８ｂ、及び仰角・俯角センサ３０８ｃを備え、ビデオカメラ１００の加速度、角速度、仰角・俯角等を検出する。検出した情報は、ビデオカメラ１００の姿勢及びその変化状況を検出する目的等に用いられる情報である。なお、加速度及び角速度については、垂直（ｚ軸）及び水平（ｘ軸及びｙ軸の２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図２の姿勢検出センサ２０７に相当する。

マイク部３２２は、周囲の音を電気信号に変換して音声信号として出力する。マイク部３２２は、図２のマイクロフォン２１７に相当する。

音声ＡＤ変換部３２１は、マイク部３２２が出力したアナログの音声信号をデジタル形式の音声データに変換する。音声ＡＤ変換部３２１は、図２の音声ＡＤＣ２１６に相当する。

音声解析部３１２は、音声データから特徴のある音を抽出する。ここで、特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、銃声等である。これらの音の識別は、これらの音（音声）が持つ特有の周波数を予め登録しておき、登録しておいた周波数との比較結果で判別するなどの方法を用いることで行われる。これにより、音声解析部３１２は、特徴のある音を抽出することができる。また、音声解析部３１２は、マイク部３２２が捕捉した音の入力レベル等の特徴も検出する。音声解析部３１２は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの１つである。

音声信号圧縮部３１３は、音声ＡＤ変換部３２１が出力した音声データを所定の符号化アルゴリズムで変換する。音声の符号化アルゴリズムには、ＭＰ３（ＭＰＥＧＡｕｄｉｏＬａｙｅｒ−３）及びＡＡＣ（ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１３は、図２の圧縮伸張回路２１２での圧縮機能の１つである。

外部入力部３２３は、動画撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、及び、外部から通信経由で受信した撮影インデックス情報等を出力するインタフェースである。なお、撮影インデックス情報とは、例えば、映画撮影時における、撮影場面を識別する番号、及び、撮影回数を示す番号等のそれぞれの撮影を識別するために用いられる識別番号などである。

また、外部入力部３２３は、動画像又は静止画像を再生する際に、動画像又は静止画像を選択するための情報の入力や、動画像又は静止画像を選択するためのボタン入力等を受け付けるインタフェースでもある。外部入力部３２３は、図２の入力ボタン２０８等に相当する。

属性情報生成部３０９は、動画像又は静止画像撮影時の撮影情報、外部入力情報及びその他の情報を属性情報（メタデータ）として生成する。属性情報の一例として、以下のような情報が考えられる。

・ホワイトバランス情報
・露出情報
・焦点距離情報
・撮影速度情報
・ズーム倍率情報
・感度情報
・３原色点の色空間情報
・３原色のうち少なくとも２つのゲイン情報
・色温度情報
・色分布情報
・顔検出情報、顔認識情報
・カメラ姿勢情報（加速度、角速度、仰角・俯角等）
・撮影時刻情報（撮影開始時刻、終了時刻）
・撮影インデックス情報
・ユーザー入力情報
・フレームレート情報
・サンプリング周波数情報

なお、属性情報には、上記の撮影時の各種情報から算出される動画シーンを特徴づける新たな情報（撮影時の各種情報等を組み合わせ、組み合わせた情報を分析等することで算出される情報等）も含まれる。例えば、属性情報生成部３０９は、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報から、ビデオカメラ１００の撮影時におけるパン、ティルト等のカメラワークを算出することが可能となる。また、属性情報生成部３０９は、焦点距離、及びズーム倍率の情報をそのまま、属性情報として出力することが可能である。属性情報生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、及び算出等して属性情報を生成する。

シーン解析部３１０は、属性情報生成部３０９が生成した属性情報に基づいて、動画を構成する複数のシーンのそれぞれを評価する。つまり、シーン解析部３１０は、シーン毎に、該当する１つ以上の属性情報を割り当て、割り当てた１つ以上の属性情報に基づいて対象シーンを評価する。そして、シーン解析部３１０は、評価結果に基づいて再生すべきシーンを選択する。シーンの評価及び選択方法等について後に詳細に説明する。

再生情報生成部３１１は、シーン解析部３１０が選択した再生すべきシーンを示す再生情報を生成する。再生情報の生成についても後述する。

属性情報生成部３０９、シーン解析部３１０、及び再生情報生成部３１１は、図２のＣＰＵ２０４においてソフトウェアとして処理される。

多重化部３１４は、映像信号圧縮部３０４からの符号化動画データ、音声信号圧縮部３１３からの符号化音声データ、及び、再生情報生成部３１１からの再生情報を多重化して出力する。多重化部３１４は、図２のＣＰＵ２０４で実行されるソフトウェアであってもよく、あるいは、圧縮伸張回路２１２で、処理されてもよい。

記憶部３１５は、多重化部３１４から出力された符号化動画データ、符号化音声データ及び再生情報が多重化されたデータ、並びに静止画像のデータを一時的に保持又は長期的に保持する。記憶部３１５は、図２のＨＤＤ２１５又はＲＡＭ２１４等に相当する。

静止画像解析部３２４は、属性情報生成部３０９が生成等した情報又はシーン解析部３１０が解析したシーン情報に基づいて、撮影した動画から好適な画面を静止画像として抽出する。具体的な抽出方法等については後述する。抽出した静止画像は、必要に応じて画像圧縮等の処理を行い、記憶部３１５に記録される。静止画像解析部３２４は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの１つである。

静止画像信号伸張部３２５は、記憶部３１５に記録されている静止画像のデータを読み出し、読み出した画像を表示部３１８に表示する。なお、記憶部３１５に記録されている静止画像は、必ずしも画像圧縮等の処理を施されてなくてもよい。記憶部３１５に記録されている静止画像が圧縮されている場合、静止画像信号伸張部３２５は、静止画像のデータを読み出し、読み出した静止画像のデータを伸張して表示部３１８に出力する。静止画像信号伸張部３２５は、図２の圧縮伸張回路２１２の機能の１つである。

静止画像抽出部３２６は、静止画像の再生時に、外部入力部３２３から出力された情報に基づいて再生する静止画像を選択し、選択された静止画像を記憶部３１５から読み出して静止画像信号伸張部３２５へ出力する。外部入力部３２３から入力された情報とは、１つ又は複数の静止画像を特定する情報であり、静止画像抽出部３２６は、外部入力部３２３から入力された情報に基づいて、該当する静止画像を記憶部３１５から読み出して表示部３１８に出力する。静止画像抽出部３２６は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの１つである。

表示部３１８は、静止画像及び動画像を表示する。表示部３１８は、図２のディスプレイ２０９に相当する。

上記の構成により、ビデオカメラ１００で動画撮影中に撮影された静止画像は、ユーザーが入力した情報に応じて好適な静止画像を選択して再生することが可能となる。

なお、図３Ａに示す撮像部１１０は、例えば、図３Ｂに示すレンズ部３００、撮像部３０１、映像ＡＤ変換部３０２、及び信号処理部３０３に相当する。属性情報生成部１２０は、例えば、属性情報生成部３０９、シーン解析部３１０及び静止画像解析部３２４の一部に相当する。また、記録部１３０は、例えば、静止画像解析部３２４の一部に相当する。受付部１４０は、例えば、外部入力部３２３に相当する。再生部１５０は、例えば、静止画像抽出部３２６及び静止画像信号伸張部３２５に相当する。なお、以上の対応関係は、これに限定するものではない。

また、図２のハードウェア構成図、並びに、図３Ａ及び図３Ｂの機能ブロック図は、本発明に係る撮影装置を実施するための一態様であり、これに限定されるものではない。例えば、図３Ｂにおいて、シーン解析部３１０及び再生情報生成部３１１は、記憶部３１５にデータを記録する前に処理されているが、記憶部３１５に圧縮された動画信号と、圧縮された音声信号と、撮影時の属性情報とを多重化して一度記録し、記録したデータを記憶部３１５から読み出した後にシーン解析、及び再生情報の生成等を行うものであってもよい。

また、図２のハードウェア構成と図３Ａ及び図３Ｂの機能構成との対応関係は、上記記載に限定するものではない。上記の説明は、本発明に係る撮影装置を実施するための一形態として示すものであって、機能構成とハードウェア構成とが異なる関係であってもよい。

＜撮影したシーンの解析、及び再生情報の生成＞
続いて、撮影した動画像のシーンの解析、及び、再生情報の生成処理について説明する。

図４は、ビデオカメラ１００が撮影する動画の構成を示す図である。撮影者が撮影開始を指示し、撮影の終了又は撮影の一時停止を指示するまでに撮影された動画の単位を「クリップ（Ｃｌｉｐ）」とする。撮影者が撮影の開始、撮影の終了又は一時停止を何度も繰り返すと、クリップが複数生成される。この場合、図４に示すように、各クリップには、クリップ番号（Ｃｌｉｐ＃１〜＃ｎ）が付与される。

１つのクリップは１つ又は複数の「シーン（Ｓｃｅｎｅ）」から構成される。シーンは、論理的につながりのある一続きの動画である。シーンは、シーン解析部３１０が任意に設定することが可能である。例えば、１つのクリップを１つのシーンとして、すなわち、「１クリップ」＝「１シーン」と設定してもよい。また、画面が大きく変わることを境としてシーンを設定してもよい。この場合には、映像解析部３０６がフレーム間の動きベクトルを算出し、「動き」の大きさ（変化）が所定の値より大きい場合を、シーンの切り替え部分としてもよい。

また、その他の撮影情報等に基づいてシーンを区切ってもよい。例えば、撮影者からのボタン入力によりシーンを区切ってもよい。この場合に、撮影者の明確な意図でクリップ内のシーンを構成することが可能となる。１つのクリップに複数のシーンが含まれる場合、図４に示すように、各シーンには、シーン番号（Ｓｃｅｎｅ＃１〜＃ｎ）が付与される。

シーンは、１つ又は複数の「フレーム（Ｆｒａｍｅ）」から構成される。フレームは、動画を構成する個々の静止画像である。図４に示すように、各フレームには、フレーム番号（Ｆｒａｍｅ＃１〜＃ｎ）が付与される。

図５は、シーン解析部３１０が、クリップ内を複数のシーンに分割した場合の例を示す図である。シーン解析部３１０は、上述の通り属性情報等に基づいてクリップを分割する。図５では、それぞれのシーンを「開始時刻」と「終了時刻」とで定めているが、フレーム番号等でシーンの開始と終了とを定めてもよい。

なお、図５に示す「代表時刻」は、各シーンに含まれる複数のフレームのうち、代表的なフレームの時刻を示している。例えば、シーンをサムネイル表示する場合などに、代表時刻のフレームが表示される。

図６は、シーン解析部３１０が、それぞれのシーンを評価する際に用いる属性情報と評価との関係例を示した図である。例えば、クリップイン（撮影の開始部分）及びクリップアウト（撮影の終了前部分）部分については、動画の導入部分及び重要部分と考えることができ、撮影された動画が持つ論理的な意味が高いと推論される。したがって、図６に示す例では、「クリップイン」の“Ａ”及び「クリップアウト」の“Ｆ”は、評価点が１００となっている。

その他にも、撮影時のカメラワークとして「ズームアップ」の“Ｄ”及び「ズームダウン」の“Ｇ”についても、特定の被写体への注目度を高めるとの観点から評価点が３０として定められている。このように、シーン解析部３１０は、予め属性情報それぞれに対する数値化された評価を記憶している。

なお、図６の例では、評価点が高いほど高い評価（好ましい）として表現している。シーン解析部３１０は、このような図６の属性情報と評価との関係に基づいて各シーンを評価する。

なお、１つのシーンに複数の属性情報が与えられている場合は、それぞれの属性情報に割り当てられている評価（評価点）を加算してもよい。また、１つのシーンに複数の属性情報が与えられている場合、その属性情報の中から最も評価の高い属性が持つ評価（評価点）を当該シーンの評価点としてもよい。さらに、シーン内に含まれる種々の属性を考慮するのであれば、複数の属性の評価点の平均値を評価としてもよい。さらに、より詳細に評価を行う場合には、シーンに含まれるフレーム毎に評価をしてもよい。

なお、評価は好ましいシーンだけに行う必要はない。例えば、撮影時の手振れは、動画の視聴者に見づらい動画となる可能性があるので、こういった属性を持つシーンには減点（マイナス点）の評価を行ってもよい。図６の例では、「手振れ」の“Ｉ”に対する評価は−２０、「地面（垂直下方向）撮影」の“Ｊ”に対する評価は−１０として定められている。

なお、図６の属性情報と評価との関係は、１つに限定するものではない。例えば、複数の属性情報と評価との組み合わせデータを、ビデオカメラ１００の撮影者が撮影するモード（例えば、風景の撮影、人物（ポートレート）撮影、静物撮影等）によって切り換えてもよい。また、予め複数の組み合わせデータを備えておき、撮影モードによって、複数のデータを合成（それぞれの評価の値を一定の比率で加算等）してもよい。この場合には、合成の比率を変えることで、動的に属性情報と評価との組み合わせデータを変更することが可能となる。

さらには、ユーザーが、外部入力部３２３などを利用して、属性情報の項目及び評価点を変更してもよい。これにより、ユーザーがより重要と考えている属性に対する評価を高めることができるので、シーン解析部３１０は、よりユーザーの意向に沿った評価を行うことができる。

なお、シーンの評価は、優先度を示している。すなわち、評価点が高いシーンは、ユーザー又はビデオカメラ１００が重要であると判断したシーンであり、評価点が低いシーンより優先してユーザーが再生を望むシーンである。

図７は、シーン解析部３１０が、各シーンに評価（優先度）を割り当てた結果を示す図である。図７は、横軸に時間（シーン）を、縦軸に各シーンの評価（優先度）を示している。

図７の時間０付近にある“Ａ”の符号が付けられているシーンは、撮影を開始した直後であるため「クリップイン」の属性を持つ。図６に従えば、「クリップイン」の属性は、評価（優先度）１００を持つ。

“Ｂ”の符号が付けられているシーンは、「特定音声の抽出」の属性を持つ。「特定音声の抽出」の属性は、上述の音声解析部３１２等により得られた音声情報に基づいてシーン解析部３１０によって、対象シーンに割り当てられる。図６に従えば、「特定音声の抽出」の属性は、評価（優先度）７０を持つ。

“Ｃ”の符号が付けられているシーンは、「（カメラワーク後に）静止して撮影」の属性を持つ。つまり、“Ｃ”のシーンは、撮影者がパン、ティルト等のビデオカメラ１００本体を動かして撮影した後に、静止して撮影することを意味する属性を示す。“Ｃ”のシーンは、静止して撮影する際の被写体に動画としての価値が高いと判断できることが考えられる。図６に従えば、「（カメラワーク後に）静止して撮影」の属性は、評価（優先度）４０を持つ。

“Ｄ”の符号が付けられているシーンは、「ズームアップ」の属性を持つ。つまり、“Ｄ”のシーンは、ビデオカメラをズームアップして撮影しているシーンである。図６では、「ズームアップ」の属性は、評価（優先度）３０を持つ。

なお、図６に示すように「ズームダウン」の属性も、評価（優先度）３０を持つ。ただし、ズームアップとズームダウンとで評価の値を異ならせることも可能である。例えば、ズームアップ“Ｄ”をズームダウン“Ｇ”よりも評価を高く設定することで、ズームアップで撮影されるシーン、つまり、動画の拡大倍率が大きくなるシーン（拡大されて撮影される被写体があるシーン）について高い評価（優先度）を割り当てることができる。逆に、動画の拡大倍率が小さくなるシーンについては、比較的低い評価（優先度）を割り当てることも可能である。

“Ｅ”の符号が付けられているシーンは、「パン、ティルト」の属性を持つ。つまり、“Ｅ”のシーンは、ビデオカメラ１００がパン、ティルト等の動きを伴った撮影（カメラワーク）を行ったシーンである。図６では、「パン、ティルト」の属性は、評価（優先度）２５を持つ。

“Ｉ”の符号が付けられているシーンは、「手振れ」の属性を持つ。つまり、“Ｉ”のシーンは、撮影時に手振れを伴って撮影されているシーンを示している。図６では、「手振れ」の属性は、評価（優先度）−２０を持つ。これは、“Ｉ”のシーンについては、動画を視聴した際に画面が揺れる等、見づらいシーンとなっている可能性があり、減点したためである。

“Ｊ”の符号が付けられているシーンは、「地面（垂直下方向）撮影」の属性を持つ。つまり、“Ｊ”のシーンは、撮影者が、撮影を停止又は一時中断せずに誤ってビデオカメラ１００を持ったまま移動等している場合に起こりやすい、地面を撮影し続けているようなシーンを示す。図６では、「地面（垂直下方向）撮影」の属性は、評価（優先度）−１０を持つ。

以上のように、シーン解析部３１０は、各シーンについて評価（優先度）を割り当てる。なお、図７の例では、シーンを単位として評価を割り当てたが、シーン解析部３１０はクリップ単位、又は、フレーム単位で上記の評価割り当てを行ってもよい。

シーン解析部３１０は、さらに、各シーンに割り当てた評価に基づいて、好ましいシーンのみを抽出する。具体的には、シーン解析部３１０は、評価の高いシーンのみを抽出する。図７の例では、シーン解析部３１０は、（ｉ）〜（ｖ）の部分のシーンのみを抽出する。

なお、抽出方法については、抽出されたシーンの合計再生時間が所定の時間以内であること、又は、シーンの評価が一定以上であること等、様々な観点で抽出をすることが可能である。

再生情報生成部３１１は、シーン解析部３１０が抽出したシーンに従って、動画再生の手順及び方法を記した再生情報を生成する。再生情報は、抽出したシーンを特定するための情報であり、再生時に再生情報を参照することで、容易に、かつ、素早く所望のシーンのみをダイジェスト再生することができる。

再生情報は、例えば、図８に示すような、再生対象となるシーンの開始時刻と終了時刻とで示されてもよい。この場合、各シーンにおける代表的な動画画面（シーン中における最も評価の高い動画画面等）の時刻を代表時刻として別途記録しておくと、参照用画面の検索にも有効である。

また、シーンを特定するための別の方法として、動画を記録した記憶部３１５の記憶方法に従ったシーン特定方法であってもよい。具体的には、各シーンが記憶部３１５にファイル単位で記録されている場合等は、このファイルを識別することで、特定のシーンのみを選択して再生することが可能となる。

なお、再生情報の管理は上記の内容に限られず、他の方法であってもよい。例えば、フレーム番号での指定などでも可能である。また、再生情報生成部３１１が生成した再生情報を、ＭＰＥＧ等のＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）として多重化部３１４で多重化する場合等には、多重化時に用いられる時刻情報（例えば、ＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）又はＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）の時刻情報）等を用いて再生情報を記録することも可能である。Ｈ．２６４の場合にも同様に所定の多重化時の時刻情報を用いてもよい。

さらに、一部のビデオカメラのデータ記録方式として用いられているＡＶＣＨＤ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｅｃＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）等の規格を用いて動画データを記録する場合には、ＰｌａｙＬｉｓｔファイル等に再生情報を記録する方法を用いてもよい。

以上により、撮影した動画からダイジェスト動画（要約された動画）を自動的に生成することが可能となる。

＜静止画像の自動抽出について＞
続いて、本発明に係るビデオカメラ１００の特徴である静止画像の自動抽出について説明する。まず、撮影した動画をダイジェスト再生するために用いる評価を利用して、静止画像を自動的に抽出する技術について説明する。

静止画像解析部３２４は、シーン解析部３１０からシーン毎の評価を取得し、その評価に基づいて静止画像を決定する。具体的には、まず、静止画像解析部３２４は、シーン解析部３１０がシーン毎に行った図７の評価を取得する。静止画像解析部３２４は、シーン解析部３１０が評価するシーン毎の評価結果に基づいて、評価が所定の値より大きいシーンを静止画像取得対象のシーンとして決定する。

図７の例では、例えば、評価５０以上のシーンを静止画像取得の対象シーンとすると、“Ａ”又は“Ｂ”の符号が付されたシーンが対象となる。この場合、静止画像解析部３２４は、これらのシーンの中から、“Ａ”又は“Ｂ”の符号が付されたフレームを特定し、特定したフレームを静止画像として抽出する。静止画像解析部３２４は、抽出した静止画像を記憶部３１５に静止画像データとして記録する。

なお、静止画像解析部３２４は、抽出対象となる静止画像のデータを信号処理部３０３が出力したデータ又は映像信号圧縮部３０４が出力したデータのいずれからも取得することが可能である。しかし、静止画像解析部３２４が、映像信号圧縮部３０４が出力したデータ、すなわち、符号化した後の映像データから静止画像データを抽出した場合、符号化の際に一部のデータ（画像に関わるデータ）が削除される場合がある。このため、好ましくは、符号化される前のデータである、信号処理部３０３が出力したデータから静止画像データを抽出することが望ましい。

また、静止画像解析部３２４は、抽出した静止画像データをＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃｓＥｘｐｅｒｔｓＧｒｏｕｐ）等の静止画像圧縮技術を用いて記憶部３１５に記録してもよい。この場合には、非圧縮の場合と比較してデータ量を削減できるため、記憶部３１５に比較的高速に記録処理を行うことが可能となる。

静止画像信号伸張部３２５は、記憶部３１５に記録された静止画像データを読み出し、ＪＰＥＧ等の圧縮処理が施されている場合は、読み出した静止画像データを伸張処理して表示部３１８に出力する。

以上により、本実施の形態に示した構成により、ビデオカメラ１００は映像を撮影しながら、シーン毎の評価を行い、ダイジェスト（要約）再生用の再生情報を生成するとともに、好適なシーンの自動抽出も行うことが可能となる。

続いて、ダイジェスト再生用などの動画用の評価とは独立した評価を行うことで、静止画像を抽出する技術について説明する。

つまり、静止画像解析部３２４は、静止画像の抽出に、シーン解析部３１０がシーン毎に評価した評価結果を用いていたが、シーン解析部３１０とは独立した評価を行ってもよい。

例えば、図６の“Ｂ”「特定音声の抽出」は、動画には有効な情報であるが、静止画像の抽出には有効であるとは限らない。このような場合には、静止画像解析部３２４は、シーン解析部３１０とは異なる方法で静止画像を評価する。静止画像解析部３２４が、シーン解析部３１０とは異なる方法で静止画像を評価した場合、属性情報の種類と評価点との関係は図９のようになる。

例えば、“Ｂ”「特定音声の抽出」に対する評価点は、図６では７０としていたが、図９では１０としている。

静止画像解析部３２４は、静止画像を評価する際は、図６に示した属性情報の種類と評価点との関係を用いる代わりに、図９の属性情報の種類と評価点との関係を用いてもよい。

図１０は、本実施の形態に係るビデオカメラ１００の動作のうち、動画像の撮影中に静止画像を撮影する動作の一例を示すフローチャートである。

まず、ビデオカメラ１００は、動画像の撮影を開始する（Ｓ１０１）。具体的には、外部入力部３２３が、ユーザーから動画像の撮影開始の指示を受け付けた場合、撮像制御部３０５の制御に基づいて撮像部３０１は、動画像を撮影する。

動画像の撮影が開始されると、属性情報生成部３０９は、シーン又はフレーム毎に属性情報を生成する（Ｓ１０２）。そして、属性情報生成部３０９が生成した属性情報に基づいて、シーン解析部３１０は動画像のシーン解析を行うとともに、静止画像解析部３２４は、静止画像の評価を行う。例えば、シーン解析部３１０は、図６に示す表を参照して動画像のシーン解析を行い、静止画像解析部３２４は、図９に示す表を参照して静止画像の解析を行う。

次に、静止画像解析部３２４は、静止画像又は動画像の解析の結果が所定の条件を満たすか否かを判定する（Ｓ１０３）。例えば、静止画像解析部３２４は、静止画像又は動画像に対応付けられた属性情報の評価が所定の閾値を超えているか否かを判定する。

属性情報の評価が所定の閾値を超えている場合（Ｓ１０３でＹｅｓ）、静止画像解析部３２４は、対応する静止画像を、属性情報及び属性情報の評価値と対応付けて記憶部３１５に記録する（Ｓ１０４）。属性情報の評価が所定の閾値を超えていない場合（Ｓ１０３でＮｏ）、属性情報の生成処理（Ｓ１０２）から繰り返す。

以上の処理を、ビデオカメラ１００は、動画像の撮影を終了するまで、繰り返す（Ｓ１０５）。

以上のようにして、本実施の形態に係るビデオカメラ１００は、動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する。

＜静止画像の再生について＞
以下では、具体的にビデオカメラ１００で撮影された静止画像を再生する際の操作について説明する。

ビデオカメラ１００で撮影したフレームを静止画像抽出の観点から評価した結果を図１１に示す。

図１１において、静止画像解析部３２４は、評価が閾値（４０）より大きいシーンから静止画像を抽出している。静止画像を抽出する対象となるシーンは、図１１の期間（ａ）、期間（ｂ）、期間（ｃ）となり、静止画像解析部３２４は、それぞれの期間から所定の条件に基づいて静止画像を抽出している。

実際に、図１１のシーンで静止画像が抽出された時点を丸記号で表す。図１１に示した例では、期間（ａ）からは、Ｐ１からＰ４の４枚、期間（ｂ）からはＰ５からＰ９の５枚、期間（ｃ）からはＰ１０からＰ２６の１７枚、合計２６枚の静止画像が抽出されたことになる。これらの静止画像は、ビデオカメラ１００で動画が撮影されたときに同時に作成され、記憶部３１５に記憶されている。

次に、ビデオカメラ１００で撮影されたＰ１からＰ２６の２６枚の各静止画像について、評価に用いられた属性情報のうち評価点が高かった属性情報の一覧を図１２に示す。図１２は、静止画像の評価に用いられた属性情報のうち評価点が高かった属性情報の一覧を示す図である。図１２に示すように、静止画像毎に、評価点と属性情報とを示している。

例えば、静止画像Ｐ２、Ｐ４、Ｐ８、Ｐ１２、Ｐ２５など、属性情報に“Ｃ”と書かれている静止画像は、カメラワーク後に静止して撮影されて抽出されている。また、静止画像Ｐ４、Ｐ８、Ｐ２５など、属性情報に“Ｚ”と書かれている静止画像は、さらに、顔検出されて抽出されたことになる。

なお、図１２に示す属性情報は、静止画像の評価に用いられた属性情報のうち評価点が高かった属性情報のみを示している。このため、図１２に示す属性情報と評価点との関係と、図９に示す属性情報と評価点との関係とは一致していない（例えば、図１２ではＰ１について評価点が５７となっているが、図９では属性情報“Ｇ”の評価点は２０）。つまり、図１２に示す評価点は、図１２に示す属性情報以外の属性情報の評価点なども考慮に入れて算出された点数である。

図１２に示した静止画像と、評価点と、評価点が高かった属性情報との一覧は、例えば図１２に示したような表として記憶部３１５に記憶されていてもよい。あるいは、静止画像の再生時に作成され、一時的に参照できてもよい。

次に、ビデオカメラ１００で撮影された静止画像を再生する際の操作メニュー画面の一例を図１３Ａに示す。

操作メニューＭ５００は、例えば、ビデオカメラ１００の表示部３１８に表示されるメニュー画面の一例である。

操作メニューＭ５００は、メニュー項目Ｍ５０１、Ｍ５０２、Ｍ５０３、Ｍ５０４、Ｍ５０５、Ｍ５２１及びＭ５２２から構成されている。メニュー項目Ｍ５０１、Ｍ５０２、Ｍ５０３、Ｍ５０４、Ｍ５０５は、ユーザーが再生したい静止画像を選択する条件に対応するアイコンや文字が表示されている。ユーザーは、これらのメニュー項目の１つ又は複数を選択することにより、再生したい静止画像を選択することが可能である。

図１３Ａでは、静止画像を選択する条件に対応するアイコンを表示させたが、メニューのデザインはこの限りではない。メニュー項目Ｍ５２１は、選択すると、静止画像の選択を取り消すことができる。メニュー項目Ｍ５２２は、選択すると、静止画像の選択を決定し再生を開始することができる。

操作メニューＭ５００は、カーソルを具備し、ユーザーが上下左右決定等の入力が可能な入力手段（図示せず）を用いて選択可能であってもよい。あるいは、表示部３１８がタッチパネル画面になっており、ユーザーが選択したいメニューに直接触れることで選択可能であってもよい。ユーザーは、外部入力部３２３から選択に必要な情報を入力することができる。

図１３Ｂは、各メニュー項目の静止画像選択条件の一例を示す図である。
メニュー項目Ｍ５０１は、１人の人物が写っている静止画像を選択するための指示を示している。メニュー項目Ｍ５０１が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、属性情報が“Ｚ”「顔検出」を含む静止画像を選択する。なお、属性情報“Ｚ”は、顔が検出されたために撮影された静止画像に対応付けられる人物情報の一例である。

さらに、静止画像抽出部３２６は、外部入力部３２３を介して入力されるユーザーからの指示に基づいて、選択された静止画像の中から、特定の人物が検出された静止画像を選択する。したがって、図１３Ａに示すメニュー項目Ｍ５０１は、選択すると、記憶部３１５に記憶された静止画像から、特定の人物の顔が検出された静止画像を選択することができる。

メニュー項目Ｍ５０２は、複数の人物が写っている静止画像を選択するための指示を示している。メニュー項目Ｍ５０２が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、属性情報が“Ｚ”「顔検出／顔識別」を含む静止画像を選択する。

さらに、静止画像抽出部３２６は、外部入力部３２３を介して入力されるユーザーからの指示に基づいて、選択された静止画像の中から、複数の特定の人物が検出された静止画像を選択する。したがって、図１３Ａに示すメニュー項目Ｍ５０２は、選択すると、記憶部３１５に記憶された静止画像から、特定の複数の人物の顔が検出された静止画像を選択することができる。

メニュー項目Ｍ５０３は、カメラワーク後に静止して撮影された静止画像を選択するための指示を示している。メニュー項目Ｍ５０３が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、属性情報が“Ｃ”「（カメラワーク後に）静止して撮影」を含む静止画像を選択する。したがって、図１３Ａに示すメニュー項目Ｍ５０３は、選択すると、記憶部３１５に記憶された静止画像から、カメラワーク後に静止して撮影された静止画像を選択することができる。

メニュー項目Ｍ５０４は、パン、ティルトなどのカメラワーク中に撮影された静止画像を選択するための指示を示している。メニュー項目Ｍ５０４が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、属性情報が“Ｅ”「パン、ティルト」を含む静止画像を選択する。したがって、図１３Ａに示すメニュー項目Ｍ５０４は、選択すると、動画撮影時に、パン、ティルト操作がされた時刻に撮影された静止画像を選択することができる。

メニュー項目Ｍ５０５は、ズームアップして撮影された静止画像を選択するための指示を示している。メニュー項目Ｍ５０５が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、属性情報が“Ｄ”「ズームアップ」を含む静止画像を選択する。したがって、図１３Ａに示すメニュー項目Ｍ５０５は、選択すると、ズームアップして撮影された静止画像を選択することができる。

メニュー項目Ｍ５０６は、評価値が予め定められた閾値より高い静止画像を選択するための指示を示している。メニュー項目Ｍ５０６が選択された場合、静止画像抽出部３２６は、図１２に示す静止画像と属性情報との対応関係を示す一覧表を参照して、評価点が所定の閾値以上の静止画像を選択する。

したがって、図１３Ａに示すメニュー項目Ｍ５０６は、選択すると、動画撮影時に撮影された静止画像の評価点を解析し、予め定められた評価点以上の静止画像を抽出して選択することができる。例えば、撮影時は、評価点が４０以上のシーンから静止画像を抽出していたが、再生するときには評価点が８０以上のシーンから抽出した静止画像のみを再生することができる。

メニュー項目Ｍ５０７は、動画像の属性情報に基づいて静止画像を選択するための指示を示している。具体的には、メニュー項目Ｍ５０７は、動画像の属性情報が予め定められた条件を満たしている期間に撮影された静止画像を選択するための指示である。例えば、メニュー項目Ｍ５０７は、動画像の評価値が所定の閾値より高い期間に撮影された静止画像を選択するための指示である。

メニュー項目Ｍ５０７が選択された場合、静止画像抽出部３２６は、メニュー項目Ｍ５０７は、選択すると、撮影された静止画像の撮影時間に対応する動画撮影時間が、動画の代表区間に含まれている場合にその静止画像を抽出して選択することができる。ここで、代表区間は、動画像の属性情報の評価値が所定の閾値より高い期間であり、例えば、図８に示す再生情報の開始時刻と終了時刻とで定められる動画像のダイジェスト再生期間である。

以上のように、静止画像抽出部３２６は、ユーザーに提示するメニュー項目と、属性情報、評価点及び撮影時刻などの撮影情報の少なくとも１つとを対応付けて記憶しておく。これにより、静止画像抽出部３２６は、外部入力部３２３を介して入力されるユーザーからの指示に基づいて、ユーザーが選択したメニュー項目に対応付けられた属性情報などを有する静止画像を選択することができる。

以下では、ユーザーが動画撮影時に撮影された静止画像を再生する際のビデオカメラ１００の動作について、メニュー項目毎に説明する。

＜特定の人物の顔が検出された静止画像の再生＞
まず、ユーザーが動画撮影時に撮影された静止画像を再生する際、特定の人物の顔が検出された静止画像のみを選択して再生する手順を説明する。

まず、ユーザーは、表示部３１８に再生する静止画像を選択するための操作メニューＭ５００を表示させる。具体的には、操作メニュー画面を表示させる旨のユーザーからの指示を外部入力部３２３が受け付けた場合、制御部（図３Ｂには示していない。ＣＰＵ２０４に相当）は、当該指示に従って、メニュー画面を表示部３１８に表示させる。

次に、ユーザーは、特定の人物の顔が検出された静止画像を選択するために、外部入力部３２３から必要な情報を入力してメニュー項目Ｍ５０１を選択する。例えば、ユーザーは、操作メニューＭ５００に表示されたフォーカスを上下左右決定ボタン等で選択してもよく、あるいは、表示部３１８がタッチパネル画面である場合には、メニュー項目Ｍ５０１をタッチして選択してもよい。

外部入力部３２３へメニュー項目Ｍ５０１を選択する情報が入力されると、外部入力部３２３は、メニュー項目Ｍ５０１が選択されたことを示す情報を静止画像抽出部３２６へ出力する。

静止画像抽出部３２６は、外部入力部３２３から、メニュー項目Ｍ５０１が選択されたことを示す情報が入力されると、図１２に示された静止画像と評価点が高かった属性情報との一覧表を参照し、選択されたメニュー項目Ｍ５０１に対応する属性情報を持つ静止画像を選択する。メニュー項目Ｍ５０１が選択された場合、属性情報の「顔検出／顔識別」の“Ｚ”の評価点が高かった静止画像が該当するので、静止画像抽出部３２６は、“Ｚ”が付されている静止画像を選択することになる。図１２の場合、Ｐ４、Ｐ８、Ｐ９、Ｐ１６、Ｐ２２、Ｐ２５、Ｐ２６の７枚が該当することになる。

静止画像抽出部３２６は、再生する静止画像を特定すると、該当する静止画像を記憶部３１５から読み出して、静止画像信号伸張部３２５へ出力する。静止画像信号伸張部３２５は、入力された静止画像を伸張して表示部３１８へ出力する。そして、表示部３１８は、静止画像信号伸張部３２５から入力された静止画像を表示する。

これにより、ユーザーは、選択した条件に該当する静止画像のみ、すなわち、特定の人物の顔が映っている静止画像のみを見ることができる。

＜特定の人物の顔をズームアップして撮影された静止画像の再生＞
次に、複数の条件を選択して再生する場合の例として、ビデオカメラ１００において、ユーザーが動画撮影時に撮影された静止画像を再生する際、特定の人物の顔が検出され、さらに、ズームアップして撮影された静止画像のみを選択して再生する手順を説明する。

まず、ユーザーは、表示部３１８に再生する静止画像を選択するための操作メニューＭ５００を表示させる。

次に、ユーザーは、外部入力部３２３から必要な情報を入力してメニュー項目Ｍ５０１及びメニュー項目Ｍ５０４を選択する。例えば、ユーザーは、操作メニューＭ５００に表示されたフォーカスを上下左右決定ボタン等で選択してもよく、あるいは、表示部３１８がタッチパネル画面である場合には、メニュー項目Ｍ５０１及びメニュー項目Ｍ５０４をタッチして選択してもよい。

外部入力部３２３へメニュー項目Ｍ５０１及びメニュー項目Ｍ５０４を選択する情報が入力されると、外部入力部３２３は、メニュー項目Ｍ５０１、及び、メニュー項目Ｍ５０４が選択されたことを示す情報を静止画像抽出部３２６へ出力する。

静止画像抽出部３２６は、外部入力部３２３から、メニュー項目Ｍ５０１及びメニュー項目Ｍ５０４が選択されたことを示す情報が入力されると、図１２に示された静止画像と評価点が高かった属性情報との一覧表を参照し、選択されたメニュー項目Ｍ５０１及びＭ５０４に対応する属性情報を持つ静止画像を選択する。メニュー項目Ｍ５０１が選択された場合、属性情報の「顔検出／顔識別」の“Ｚ”の評価点が高かった静止画像が該当し、また、メニュー項目Ｍ５０４が選択された場合は、属性情報の「ズームアップ」の“Ｄ”の評価点が高かった静止画像が該当する。このため、静止画像抽出部３２６は、“Ｄ”及び“Ｚ”が記述されている静止画像を選択する。図１２の場合、Ｐ３、Ｐ１６、Ｐ２５の３枚が該当することになる。

静止画像抽出部３２６は、再生する静止画像を特定すると、該当する静止画像を記憶部３１５から読み出して静止画像信号伸張部３２５へ出力する。静止画像信号伸張部３２５は、入力された静止画像を伸張して表示部３１８へ出力する。そして、表示部３１８は、静止画像信号伸張部３２５から入力された静止画像を表示する。

これにより、ユーザーは、選択した条件に該当する静止画像のみ、すなわち、特定の人物の顔が写っていて、さらにズームアップで撮影された静止画像のみを見ることができる。

以下では、特定の人物が写っている静止画像を選択するためのメニュー画面と、静止画像に対応付けられている情報とについて説明する。

図１４Ａは、特定人物を選択する際の操作メニュー画面の一例を示す図である。図１４Ｂは、撮影された静止画像と人物フラグとを対応付けた表の一例を示す図である。

図１４Ａに示す操作メニューＭ６１０は、メニュー項目Ｍ６１１、Ｍ６１２、Ｍ６１３、Ｍ６１４、Ｍ６１５、Ｍ６１６及びＭ６１７から構成される。メニュー項目Ｍ６１１、Ｍ６１２、Ｍ６１３、Ｍ６１４、Ｍ６１５及びＭ６１６は、予め定められた１人又は複数の人物を選択するための指示を示しており、予め登録しておいた人物を特定するためのアイコン、静止画像及び人物の名前などが表示されている。これらのメニュー項目は、予め登録している人数に応じて増減する。

図１４Ａに示す例では、愛子ちゃん、里奈ちゃん、あゆみちゃん、一郎くん、健太郎くん、裕子ちゃんの６人が予め登録されており、６人のそれぞれに相当するメニュー項目Ｍ６１１〜Ｍ６１６が表示されている。なお、メニュー項目Ｍ６１７は、選択すると、人物の選択を決定し、再生を開始することができる。

また、記憶部３１５に記録されている静止画像には、図１４Ｂに示すように、登録されている人物が写っているか否かを示す特定人物情報（人物フラグ）が各静止画像に対応付けられている。なお、記憶部３１５は、静止画像の全てに人物フラグを対応付けていてもよく、あるいは、“Ｚ”の属性情報を有する静止画像のみに人物フラグを対応付けて記憶してもよい。

例えば、図１４Ｂに示す例では、静止画像Ｐ３には、愛子ちゃんとあゆみちゃんとが写っていることを示している。また、静止画像Ｐ９には、登録されている特定人物の全員が写っていることを示している。

人物フラグの対応付けは、例えば、静止画像を撮像する際に行われる顔検出及び顔識別機能を利用する。例えば、静止画像解析部３２４は、撮像された静止画像に、楕円検出又はテンプレートマッチングなどを行うことで、人物の顔を検出する。さらに、静止画像解析部３２４は、検出された顔に、より精度の高いテンプレートマッチングなどを行うことで、検出された顔が、それぞれ予め登録された人物に該当するか否かと、該当する場合はどの人物であるかとを検出する。

以下では、具体的に特定の人物が写っている静止画像を選択する手順について説明する。図１５は、特定の人物が写っている静止画像を選択するための操作メニューの画面遷移の一例を示す図である。

例えば、図１３Ａの操作メニューＭ５００でメニュー項目Ｍ５０１又はメニュー項目Ｍ５０２が選択された場合などに、図１５に示したような操作メニューを表示させて、ユーザーが操作することで人物を選択することが可能である。

特定の人物が写っている静止画像を選択する場合、操作メニューＭ６００において、ユーザーは、メニュー項目Ｍ６０１の「顔の指定あり」を選択し、メニュー項目Ｍ６０３の「決定」を選択する。なお、メニュー項目Ｍ６０１は、予め定められた１人又は複数の特定人物の選択を開始するための指示を示している。

操作メニューＭ６００において、メニュー項目Ｍ６０３「決定」が選択されると、図１４Ａにも示した操作メニューＭ６１０が表示部３１８に表示される。

操作メニューＭ６１０では、実際に静止画像に撮影された人物の代表的な顔写真又は画像、及び／又は、人物の名前又はあだ名などの文字列が表示される。例えば、メニュー項目Ｍ６１１は、愛子ちゃんを示す顔写真又は画像と、名前又はあだ名とが表示されている。

愛子ちゃんと健太郎くんとが写っている静止画像を再生したい場合、ユーザーは、愛子ちゃんに相当するメニュー項目Ｍ６１１と健太郎くんに相当するメニュー項目Ｍ６１５とを選択し、メニュー項目Ｍ６１７の「決定」を選択する。外部入力部３２３は、メニュー項目Ｍ６１１、Ｍ６１５及びＭ６１７が選択されたことを受け付け、メニュー項目Ｍ６１１及びＭ６１５が選択されたことを示す情報を、静止画像抽出部３２６に出力する。

操作メニューＭ６１０で、再生したい人物が指定されて決定が選択されると、静止画像抽出部３２６は、該当する静止画像を記憶部３１５から読み出して、静止画像の枚数及び予め設定されている１枚の静止画像あたりの再生時間等を基に、選択された静止画像の再生時間を算出する。

操作メニューＭ６１０で、再生したい人物が指定されてメニュー項目Ｍ６１７の「決定」が選択されると、操作メニューＭ６２０が表示部３１８に表示される。

操作メニューＭ６２０は、操作メニューＭ６１０で選択された人物の静止画像を記憶部３１５から抽出するまでの待ち時間に表示される。

静止画像抽出部３２６が、選択された静止画像の再生時間を算出すると、操作メニューＭ６３０が表示部３１８に表示される。

操作メニューＭ６３０では、操作メニューＭ６２０で選択された人物が写っている静止画像の再生時間を表示される。なお、ここでは１枚の静止画像は４秒間再生されるとする。

例えば、愛子ちゃんが写っている静止画像の再生時間は、メニュー項目Ｍ６３１に示すように２分３０秒、また、健太郎くんが写っている静止画像の再生時間は、メニュー項目Ｍ６３２に示すように１分２０秒である。そして、愛子ちゃんと健太郎くんとのいずれか、又は、両方が写っている静止画像の合計の再生時間は、メニュー項目Ｍ６３３に示すように３分１０秒となる。メニュー項目Ｍ６３３が示す合計の再生時間が、愛子ちゃん、及び健太郎くんのそれぞれが写っている静止画像の再生時間（メニュー項目Ｍ６３１が示す２分３０秒とメニュー項目Ｍ６３２が示す１分２０秒）の合計よりも短くなっているのは、愛子ちゃんと健太郎くんの両方が１枚の静止画像に写っている場合も含まれるためである。

以上の操作により、特定の人物を選択して再生することが可能になる。
なお、静止画像解析部３２４は、顔検出及び顔識別を行う際に、複数の顔が検出された場合は、複数の顔のそれぞれの距離を算出してもよい。そして、静止画像解析部３２４は、算出した距離情報も人物フラグと同様に静止画像に対応付けて記憶部３１５に記録する。

再生時には、外部入力部３２３は、例えば、図１６のメニュー項目Ｍ６０４及びＭ６０５に示すような距離の指定の有無の選択を受け付ける。メニュー項目Ｍ６０４の「距離の指定あり」が選択された場合、静止画像抽出部３２６は、複数の人物が検出された静止画像の中から、静止画像に写っている人物間の距離が所定の閾値より小さい静止画像を選択する。

また、静止画像解析部３２４は、顔検出及び顔識別を行う際に、複数の顔が検出された場合は、複数の顔のそれぞれの表情も検出してもよい。例えば、静止画像解析部３２４は、目が開いているか否か、すなわち、目蓋が閉じられていないかを検出する。あるいは、静止画像解析部３２４は、口元又は目尻などの傾き具合などから顔が笑顔であるか否かを検出する。そして、静止画像解析部３２４は、検出した表情を示す情報も人物フラグと同様に静止画像に対応付けて記憶部３１５に記録する。

再生時には、外部入力部３２３は、例えば、図１６のメニュー項目Ｍ６０６及びＭ６０７に示すような表情の指定の有無の選択を受け付ける。メニュー項目Ｍ６０６の「表情の指定あり」が選択された場合、静止画像抽出部３２６は、複数の人物が検出された静止画像の中から、静止画像に写っている人物の表情が所定の条件（例えば、目蓋が閉じられていない、又は笑顔）に該当する静止画像を選択する。

＜評価点が予め定めた閾値より高い静止画像の再生＞
次に、ビデオカメラ１００において、ユーザーが動画撮影時に撮影された静止画像を再生する際、撮影した静止画像のうち、評価点の高い静止画像のみを選択して再生する手順を説明する。

次に、外部入力部３２３から必要な情報を入力してメニュー項目Ｍ５０６を選択する。例えば、ユーザーは、操作メニューＭ５００に表示されたフォーカスを上下左右決定ボタン等で選択してもよく、あるいは、表示部３１８がタッチパネル画面である場合には、メニュー項目Ｍ５０６をタッチして選択してもよい。

外部入力部３２３へメニュー項目Ｍ５０６を選択する情報が入力されると、外部入力部３２３は、メニュー項目Ｍ５０６が選択されたことを示す情報を静止画像抽出部３２６へ出力する。

静止画像抽出部３２６は、外部入力部３２３から、メニュー項目Ｍ５０６が選択されたことを示す情報が入力されると、図１２に示された静止画像と静止画像の評価点との一覧表を参照し、予め定められた閾値以上の評価値を有する静止画像を選択する。例えば、メニュー項目Ｍ５０６が選択された場合には、評価点が閾値（８０）以上の静止画像が再生されるとした場合の静止画像の評価点と閾値とを図１７に示す。図１７の場合、Ｐ３、Ｐ４、Ｐ９、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５、Ｐ１６、Ｐ１７、Ｐ２１、Ｐ２２の１１枚が該当することになる。

これにより、ユーザーは、選択した条件に該当する静止画像のみ、すなわち、撮影された静止画像のうち、評価点が予め定めた閾値以上の値を持つ静止画像のみを視聴することができる。

なお、本実施の形態では、メニュー項目Ｍ５０６は、選択すると、動画撮影時に撮影された静止画像の評価点を解析し、予め定められた評価点以上の静止画像を抽出して選択するとしたが、予め再生する枚数を定めておき、その枚数に対応するように再生する静止画像の評価点の下限を決めてもよい。例えば、静止画像抽出部３２６は、評価点の高い静止画像から順に選択し、選択した静止画像の枚数が予め定められた枚数に達した場合に、選択を終了する。

また、予め再生する時間と１枚を表示する時間とを定めておき、これらから算出される合計時間に対応するように、再生する静止画像の評価点の下限を決めてもよい。もちろん、上記の手順で静止画像を選択するためのメニュー項目をメニュー項目Ｍ５０６と別に設けてもよい。

＜動画の再生区間に撮影された静止画像の再生＞
次に、ビデオカメラ１００において、ユーザーが動画撮影時に撮影された静止画像を再生する際、動画の再生区間に撮影された静止画像のみを選択して再生する手順を説明する。

次に、ユーザーは、外部入力部３２３から必要な情報を入力してメニュー項目Ｍ５０７を選択する。例えば、ユーザーは、操作メニューＭ５００に表示されたフォーカスを上下左右決定ボタン等で選択してもよく、あるいは、表示部３１８がタッチパネル画面である場合には、メニュー項目Ｍ５０７をタッチして選択してもよい。

外部入力部３２３へメニュー項目Ｍ５０７を選択する情報が入力されると、外部入力部３２３は、メニュー項目Ｍ５０７が選択されたことを示す情報を静止画像抽出部３２６へ出力する。

静止画像抽出部３２６は、外部入力部３２３から、メニュー項目Ｍ５０７が選択されたことを示す情報が入力されると、図８に示したシーンの開始時刻、及び終了時刻と、図１１に示した各静止画像の撮影時刻とを参照し、静止画像の撮影時刻が図８に示されたシーンのいずれかに含まれる静止画像を抽出する。

撮影フレームを静止画像の観点で評価した図１１のグラフに、図８で示した動画の再生区間を記入した図を図１８に示す。図１８に示したように、動画の再生区間に含まれる静止画像を抽出すると、Ｐ１、Ｐ５、Ｐ６、Ｐ８が該当する。

これにより、ユーザーは、動画の再生区間に含まれる静止画像のみを視聴することができる。

なお、操作メニューＭ５００は、ユーザーが外部入力部３２３からメニューを表示させる何らかのコマンドが入力された場合に表示部３１８に表示されてもよい。あるいは、操作メニューＭ５００は、ビデオカメラ１００が、撮影モードと再生モードとを具備し、何らかの入力によって撮影モードから再生モードに切り換えられたときに表示部３１８に自動的に表示されてもよい。

また、再生する静止画像を選択する情報は、実施例では再生の際に入力したが、予め再生用の設定項目等で優先的に行いたい再生条件が設定できるようになっていてもよい。その場合は、静止画像の再生を実行すると、予め定められた設定内容に応じて、自動的に該当する静止画像が選択されて再生される。

図１９は、本実施の形態に係るビデオカメラ１００の動作のうち、静止画像を再生する動作の一例を示すフローチャートである。

まず、外部入力部３２３は、ユーザーからの指示を受け付ける（Ｓ２０１）。具体的には、表示部３１８は、再生処理が開始されると、図１３Ａに示すような操作メニューＭ５００を表示し、外部入力部３２３は、メニュー項目の選択をユーザーからの指示として受け付ける。

次に、静止画像抽出部３２６は、外部入力部３２３によって受け付けられた指示に基づいて、静止画像を抽出する（Ｓ２０２）。つまり、静止画像抽出部３２６は、外部入力部３２３によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を抽出する。静止画像の抽出の具体例については、上述した通りである。抽出された静止画像は、静止画像信号伸張部３２５によって必要に応じて伸張される。

そして、表示部３１８は、抽出された静止画像のみを表示する（Ｓ２０３）。
以上のようにして、本実施の形態に係るビデオカメラ１００は、ユーザーが所望する属性情報の種類の選択を受け付け、該当する属性情報に対応付けられた静止画像を再生するので、ユーザーが所望する静止画像を効率良く再生することができる。したがって、ユーザーに所望の静止画像を１枚ずつ選択させることを強いることなく、ユーザーが所望する静止画像を効率良く再生することができる。

以上、本発明に係る撮影装置及び再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

なお、本発明は、上述したように、撮影装置及び再生方法として実現できるだけではなく、本実施の形態の再生方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、撮影装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）から構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

本発明に係る撮影装置及び再生方法は、自動的に撮影された静止画像から再生したい静止画像を効率良く選択することが可能となるという効果を奏し、ビデオカメラなどに利用することができる。

１００ビデオカメラ
１１０、３０１撮像部
１２０、３０９属性情報生成部
１３０記録部
１４０受付部
１５０再生部
１６０メモリ
２００レンズ群
２０１撮像素子
２０２映像ＡＤＣ
２０３映像信号変換回路
２０４ＣＰＵ
２０５クロック
２０６レンズ制御モジュール
２０６ａレンズ制御用モータ
２０６ｂレンズ位置センサ
２０７姿勢検出センサ
２０７ａ、３０８ａ加速度センサ
２０７ｂ、３０８ｂ角速度センサ
２０７ｃ、３０８ｃ仰角・俯角センサ
２０８入力ボタン
２０９ディスプレイ
２１０スピーカー
２１１出力Ｉ／Ｆ
２１２圧縮伸張回路
２１３ＲＯＭ
２１４ＲＡＭ
２１５ＨＤＤ
２１６音声ＡＤＣ
２１７マイクロフォン
３００レンズ部
３０２映像ＡＤ変換部
３０３信号処理部
３０４映像信号圧縮部
３０５撮像制御部
３０６映像解析部
３０７レンズ制御部
３０７ａズーム制御部
３０７ｂフォーカス制御部
３０７ｃ手振れ補正制御部
３０８姿勢検出部
３１０シーン解析部
３１１再生情報生成部
３１２音声解析部
３１３音声信号圧縮部
３１４多重化部
３１５記憶部
３１８表示部
３２１音声ＡＤ変換部
３２２マイク部
３２３外部入力部
３２４静止画像解析部
３２５静止画像信号伸張部
３２６静止画像抽出部
Ｍ５００、Ｍ６００、Ｍ６１０、Ｍ６２０、Ｍ６３０操作メニュー
Ｍ５０１、Ｍ５０２、Ｍ５０３、Ｍ５０４、Ｍ５０５、Ｍ５０６、Ｍ５０７、Ｍ５２１、Ｍ５２２、Ｍ６０１、Ｍ６０２、Ｍ６０３、Ｍ６０４、Ｍ６０５、Ｍ６０６、Ｍ６０７、Ｍ６１１、Ｍ６１２、Ｍ６１３、Ｍ６１４、Ｍ６１５、Ｍ６１６、Ｍ６１７、Ｍ６３１、Ｍ６３２、Ｍ６３３メニュー項目

Claims

動画像の撮影中に静止画像を撮影し、撮影した静止画像を再生する撮影装置であって、
前記動画像を撮影するとともに、当該動画像の撮影中に静止画像を撮影する撮像部と、
前記撮像部によって撮影された動画像及び静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報を生成する属性情報生成部と、
前記撮像部によって撮影された静止画像と、前記属性情報生成部によって生成された属性情報とを対応付けてメモリに記録する記録部と、
前記属性情報の種類を選択するための指示を受け付ける受付部と、
前記受付部によって受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を前記メモリから読み出して再生する再生部とを備える
撮影装置。
前記属性情報生成部は、前記撮像部によって撮影された静止画像の撮影状況を示す属性情報をフレーム毎に生成する
請求項１記載の撮影装置。
前記属性情報は、前記動画像及び前記静止画像の少なくとも一方の撮影中における、前記撮影装置の動作を示す動作情報と、被写体の特徴を示す被写体情報と、前記動作情報及び前記被写体情報の評価値との少なくとも１つを含み、
前記受付部は、前記動作情報と前記被写体情報と前記評価値との少なくとも１つを選択するための指示を受け付ける
請求項２記載の撮影装置。
前記受付部は、前記評価値が予め定められた閾値より高い静止画像を選択するための第１指示を受け付け、
前記再生部は、前記受付部が前記第１指示を受け付けた場合、前記閾値より高い評価値が対応付けられた静止画像を再生する
請求項３記載の撮影装置。
前記属性情報は、前記被写体情報として、対応付けられた静止画像に人物が写っていることを示す人物情報を含み、
前記受付部は、人物が写っている静止画像を選択するための第２指示を受け付け、
前記再生部は、前記受付部が前記第２指示を受け付けた場合、前記人物情報が対応付けられた静止画像を再生する
請求項３記載の撮影装置。
前記記録部は、さらに、前記撮像部によって撮影された静止画像に、予め定められた人物を示す特定人物情報を対応付けて、前記メモリに記録し、
前記受付部は、前記第２指示を受け付けた場合、さらに、予め定められた１人の人物を選択するための第３指示を受け付け、
前記再生部は、前記人物情報が対応付けられた静止画像のうち、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像を再生する
請求項５記載の撮影装置。
前記記録部は、さらに、前記撮像部によって撮影された静止画像に、予め定められた複数の人物を示す複数の特定人物情報を対応付けて、前記メモリに記録し、
前記受付部は、前記第２指示を受け付けた場合、さらに、予め定められた複数の人物を選択するための第４指示を受け付け、
前記再生部は、前記人物情報に対応付けられた静止画像のうち、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像を再生する
請求項５記載の撮影装置。
前記再生部は、前記受付部によって受け付けられた第４指示に対応する特定人物情報が対応付けられた静止画像のうち、複数の人物間の距離が所定の距離より小さい静止画像を再生する
請求項７記載の撮影装置。
前記再生部は、前記受付部によって受け付けられた第３指示に対応する特定人物情報が対応付けられた静止画像のうち、前記予め定められた人物が予め定められた表情である静止画像を再生する
請求項６記載の撮影装置。
前記受付部は、前記動画像の属性情報に基づいて静止画像を選択するための第５指示を受け付け、
前記再生部は、前記受付部が前記第５指示を受け付けた場合、前記動画像の属性情報が予め定められた条件を満たしている期間に撮影された静止画像を抽出する
請求項１記載の撮影装置。
前記撮影装置は、さらに、
前記属性情報が対応付けられた１つ以上のメニュー項目を表示する表示部を備え、
前記受付部は、前記表示部に表示された１つ以上のメニュー項目の選択を前記指示として受け付ける
請求項１記載の撮影装置。
動画像の撮影中に撮影した静止画像をメモリから読み出して再生する再生方法であって、
前記メモリには、前記動画像の撮影中撮影された静止画像と、前記動画像及び前記静止画像の少なくとも一方の撮影状況を示す１種類以上の属性情報とが対応付けて記憶され、
前記再生方法は、
前記属性情報の種類を選択するための指示を受け付ける受付ステップと、
前記受付ステップにおいて受け付けられた指示に対応する種類の属性情報に対応付けられた静止画像を前記メモリから読み出して再生する再生ステップとを含む
再生方法。