JP5022370B2 - コンテンツ撮影装置 - Google Patents

Description

本発明は、コンテンツ撮影装置に関し、さらに詳しくは、ムービー撮影時のカメラワークや収録音声など多数のメタデータから、ダイジェスト再生などに適した適正な数のシーン表現メタデータを生成できるコンテンツ撮影装置に関する。

従来、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットで構成されている。監督はシナリオに従って演出を行ない、俳優、女優、およびエキストラなどの出演者はシナリオの記述に従って演技する。生本番の舞台やコンサート等においては、シナリオに示されたシーンの順番通りに演じられる。一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。

つまり、それぞれのカット映像は、前後のカット映像とは違った状況や状態で撮影されることが多くなる。その結果、カット映像が前後でつながりのない不自然でおかしな映像になってしまうことがある。時にはこういうつながりの無さを見逃すという編集ミスが作品（映画）を台無しにしてしまうこともある。そこで、編集ミスを防ぐため、シーン撮影の記録をとり、撮影シーン情報を正しく管理する必要がある。

シーン撮影後の編集は、非常に多くの手間と時間を要する作業である。具体的には、シーン映像が記録されているマスター媒体に蓄積されたオリジナルコンテンツ（映像、音声、データ）が、先ずスクリプターやアシスタントディレクタ等が手書きで記録した撮影シーン情報に基づいて、コンテンツ制作者の意図に応じて選択される。マスター媒体としては、フィルム、テープ、光ディスク、あるいはフラッシュメモリを用いたカードなどが用いられる。

次に、選択されたオリジナルコンテンツは、合成などの編集加工が施される。そして、編集加工されたコンテンツがつなぎ変えられて映画やドラマが完成される。このように、撮影後の編集は、非常に多くの手間と時間を要する作業である。そのために、編集作業効率の改善が要望されている。

編集作業効率改善の要望に応えるべく、特許文献１には、メタデータ入力方法および編集システムが提案されている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって、メタデータが効率よく付与できる。また、メタデータをキーワードで検索することによって、シーン検索もできる。

また、シナリオ情報を解析する装置としては、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部、および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出し、出力部に出力する。

このように構成されたシナリオ情報解析装置は、シナリオに含まれるデータおよびそのデータに関係付けられた参照情報に基づいて、適切な撮影スケジュール等の出力情報を自動的に算出し出力すると共に、シナリオ情報を解析できる。結果、撮影スケジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了できるので、撮影費用を低減できる。
特許第３７８１７１５号公報 特開２００４−３６２６１０号公報

上述した特許文献１および特許文献２に代表される従来の方法、装置、およびシステムにおいては、ムービー撮影時のクリップ記録の開始から終了までの間に、パンやズームなどのカメラワークパターン、収録音、およびユーザ操作等により、特徴のある場面でメタデータが生成される。生成されたメタデータはリスト化される。そしてクリップ記録の終了後にリスト中のメタデータを用いて関連したクリップで構成されるダイジェストが作成できる。

本来、カメラワークパターン、収録音声、およびユーザ操作等の多数のトリガにより生成されたメタデータは単独では大きな意味を成さない。また生成されるメタデータの数も膨大になるため、撮影によって生じたメタデータの数は適正に修正されるべきである。しかしながら、上述の技術を含めて従来より、メタデータの数を動的かつ柔軟に設定する概念はない。すなわち、個々のメタデータが適正に生成されている場合でも、メタデータ数が多い場合、その多数のメタデータが放置されたままである。

そのために、ユーザがコンテンツ撮影装置を用いて被写体を撮影した時に生成されたメタデータの数は膨大なものになる。そして、メタデータに基づいてダイジェスト再生を行う場合に、どのメタデータを選べばよいのか分からないという問題がある。
よって、本発明は撮影された画像に対して生成された多数のメタデータから、ダイジェスト再生などに適した適正な数のシーン表現メタデータを生成できるコンテンツ撮影装置を提供することを目的とする。

上記目的を達成するため本発明のコンテンツ撮影装置は、映像、音声またはデータの何れかを含むコンテンツデータを、シーンを表す第１のシーン情報を参照して生成される第１のメタデータと組み合わせて情報記憶媒体に記録し、前記第１のシーン情報（ＳＩ）を参照して別途生成する第２のシーン情報を参照してコンテンツデータの特定部分へのアクセスを可能とするコンテンツ撮影装置であって、
被写体を撮影して前記コンテンツデータを生成する撮影手段と、
前記撮影手段の動きを検出するカメラワーク検出手段と、
前記検出された動きを所定値と比較して、前記第１のメタデータを生成する第１のメタデータ生成手段と、
所定の特定窓期間において発生する１つ以上の前記第１のメタデータを所定の関数によりフィルタリングしてシーン種別、優先度、開始時刻、終了時刻、および代表時刻の何れかのパラメータを含む第２のメタデータを生成するシーン情報生成手段とを具備する。

前記所定の関数は、所定幅の窓期間中に発生するメタデータの優先度の合計値を演算することが好ましい。

前記所定の関数は、所定幅の窓期間中に発生する前記第１のメタデータの中で最大の優先度（ＳＰ）を有するものを選別することが好ましい。

前記所定の関数は、所定期間以上の間隔毎にパラメータを１つずつ設定することが好ましい。

前記所定の関数は、所定期間内でパラメータが選択されなかった場合に、前記所定期間毎に１つ以上のパラメータを強制的に付加することが好ましい。

前記コンテンツ撮影装置は、前記第２のメタデータに含まれるシーン種別、優先度、開始時刻、終了時刻、および代表時刻のパラメータの少なくとも１つを参照して、複数のシーンを組み合わせてプレイリストを生成するプレイリスト生成手段をさらに具備することが好ましい。

前記コンテンツ撮影装置は、前記優先度を参照して、前記第２のメタデータに含まれるパラメータを指定された個数以内に選別するパラメータ選別手段をさらに具備することが好ましい。

前記コンテンツ撮影装置は、前記第２のメタデータで構成される特徴あるシーン区間を指定順序で再生する場合に、当該シーン区間の再生時にその特徴の説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備えることが好ましい。

前記コンテンツ撮影装置は、外部から与えられるダイジェスト再生時間を越えない様に前記パラメータに関連付けられたコンテンツの構成部分を選択するコンテンツ選択手段をさらに具備することが好ましい。

前記コンテンツ撮影装置は、
ダイジェスト化する特徴あるシーンの優先度、種別、ダイジェスト時間長、およびコンテンツのダイジェストへの縮小率の少なくとも一つに対する指定を受け付けるダイジェスト生成方式指定手段と、
前記コンテンツデータの再生時参照ファイルの補助データである第２優先度リストを参照し、前記指定されたダイジェスト生成方式に従って当該再生時参照ファイルを生成する手段と、
前記再生時参照ファイルを再生オブジェクトリストに登録する登録手段とをさらに備えることが好ましい。

前記シーン情報生成手段は、
特徴を持つ音を検出して、その発生時刻と前記特徴を持つ音の識別情報とを含む特徴音メタデータを生成する特徴音メタデータ生成手段と、
前記特徴音メタデータ生成手段の出力を保持するメタデータ選択メモリとを具備することが好ましい。

前記パラメータは、カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、およびシャッタ速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくとも何れかを表すレンズ部の動作データ、またはユーザの入力コマンドデータ、または、前記動作データにあらかじめ決めた演算処理をカメラ制御手段で行って得たデータの何れかであることが好ましい。

前記シーン情報生成手段は、
前記コンテンツデータ（Ｓａｖ）の記録動作中または記録終了後に、ユーザによる入力コマンドにより当該コンテンツデータ（Ｓａｖ）の採用の可否および保留かの何れかの意味を持つ収録結果タグを生成する収録結果タグ生成手段と、
前記収録結果タグ生成手段の出力を保持するメタデータ選択メモリとを具備することが好ましい。

前記コンテンツ撮影装置は、
コンテンツの撮影開始の前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を収録情報タグとして前記撮影装置内のメモリに入力するデータ入力手段と、
前記撮影されたコンテンツの記録動作中に、特徴を有する音を検出して、その発生時刻と当該特徴を持つ音の識別情報とを含む特徴音発生タグを生成する特徴音発生タグ生成手段と、
前記特徴音発生タグを前記コンテンツのメタデータとして前記情報記憶媒体に記録する手段とをさらに具備することが好ましい。

前記特徴を有する音とは、カチンコを鳴らした音、ピストル発射音、および太鼓を鳴らした音の何れかであることが好ましい。

前記コンテンツ撮影装置は、前記情報記憶媒体に記録されたコンテンツの内で収録結果タグが採用のコンテンツを、前記シーン番号、前記カット番号、および前記テーク番号の何れかの番号の小さい方より並べ替える手段をさらに具備することが好ましい。

前記コンテンツ撮影装置は、
コンテンツの名前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を新しい名前として登録する手段と、
該コンテンツの元の名前を該コンテンツのメタデータとして登録する手段とをさらに具備することが好ましい。

前記コンテンツ撮影装置は、コンテンツの撮影毎に、前記パラメータに対する優先度が異なる所定数の動作モードを具備し、当該所定数の選択モードのうち少なくとも１つを選択する毎に当該パラメータに対する優先度を表すテーブルを選択する手段をさらに具備することが好ましい。

本発明にかかるコンテンツ撮影装置は、撮影された画像に対して生成された多数のメタデータからダイジェスト再生などに適した適正な数のシーン表現メタデータを生成できる。

図１を参照して、本発明の第１の実施の形態に係るコンテンツ撮影装置について説明する。図１においては、コンテンツ撮影装置Ａｃｃ１は、カメラ１０１ａにおいて記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータとを生成し、生成されたメタデータに基づいて無効シーン削除やダイジェスト生成などの編集機能を備えるシステムモデルの一例として表されている。コンテンツ撮影装置Ａｃｃ１は、好ましくは、カメラ１０１ａおよびテレビ１０９を含む。テレビ１０９はカメラ１０１ａに接続されて、映像表示および／あるいは音声再生が可能な手段であれば何でもよい。

カメラ１０１ａは、レンズ部１０２、およびマイク１０３を含む。カメラ１０１ａは、ユーザによるリモコン１０４の操作に応答して、撮影対象１０５の撮影を行う。撮影対象１０５は、たとえば、風景や人やペットなどの動物、車、および建造物などの被写体である。なお、カメラ１０１ａはリモコン１０４に相当する機能を有する操作装置を備えていてもよい。撮影された画像に基づいて、カメラ撮影データ１０６が生成される。カメラ撮影データ１０６は、撮影画像の映像／音声データであるＡＶストリームデータファイルとメタデータを含む。

なお、カメラ１０１ａからテレビ１０９への信号送信は接続ケーブル１０７を介して行われ、テレビ１０９からカメラ１０１ａへの信号送信は接続ケーブル１０８を介して行われる。ユーザは、カメラ１０１ａから離れた場所でリモコン１０４を操作して、信号ケーブル１０７を経由して、ダイジェストを構成する重要シーンの代表画面のサムネイル表示や、無効部を削除したコンテンツの再生や、ダイジェスト（または、要約コンテンツ）の再生をテレビ１０９で行うことができる。

図１において、テレビ１０９における表示例としてサムネイルＴＭ＃１、サムネイルＴＭ＃２、およびサムネイルＴＭ＃３が示されている。これらのサムネイルＴＭのそれぞれに対応する有効シーンＳｅおよび無効シーンＳｖの分類概念（シーン分類概念ＳＣＣ）が図示されている。分類概念ＳＣＣにおいて、横軸は時刻Ｔであり、有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）と無効部（無効シーンＳｖ１、Ｓｖ２、およびＳｖ３）が時間軸上に表示されている。有効シーンＳｅ１および無効シーンＳｖ１がサムネイルＴＭ＃１に対応し、有効シーンＳｅ２および無効シーンＳｖ２がサムネイルＴＭ＃２に対応し、そして有効シーンＳｅ３および無効シーンＳｖ３がサムネイルＴＭ＃３に対応している。つまり、時刻Ｔｓにカメラ１０１ａによる撮影が開始され、時刻Ｔｅに撮影が終了している。

図１において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻のフレーム画像をそれぞれ、ＧＯＰ構造において時間的に最も近い位置にあるＩピクチャーに置き換えるとクリップ処理を簡単にできる。
たとえば、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻をそれぞれ、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）
とすると、図１のシーンの並び方では、
（Ｓｅ１の終了時刻）＝（Ｓｅ１ｅ）＝（Ｓｖ１の開始時刻）＝（Ｓｖ１ｓ）
（Ｓｖ１の終了時刻）＝（Ｓｖ１ｅ）＝（Ｓｅ２の開始時刻）＝（Ｓｅ２ｓ）
（Ｓｅ２の終了時刻）＝（Ｓｅ２ｅ）＝（Ｓｖ２の開始時刻）＝（Ｓｖ２ｓ）
（Ｓｖ２の終了時刻）＝（Ｓｖ２ｅ）＝（Ｓｅ３の開始時刻）＝（Ｓｅ３ｓ）
（Ｓｅ３の終了時刻）＝（Ｓｅ３ｅ）＝（Ｓｖ３の開始時刻）＝（Ｓｖ３ｓ）
となる。

有効部（有効シーンＳｅ）は、たとえば、
・パンやズーム後のフィックスシーン、および
・歓声や拍手などの音声で特徴付けられるシーン等からなる。
一方、無効部（無効シーンＳｖ）は、たとえば、
・カメラの揺れによる画像の振れ（一般に、「グラグラ」）が大きいシーン、
・ピンボケのシーン、パン／ティルト／ズームが早すぎるシーン、
・逆光になって画面が黒くなっているシーン、
・ハウリングがあるシーン、
・地面を撮影しているシーン、および
・カメラのキャップが閉まっているシーン等からなる。

上述の無効部（無効シーンＳｖ）の画像は、一般常識的な感性や感情を持った人であれば、ほぼ万国共通に再生不要と認識されるものである。これは、受け入れがたいものに対する価値観は、一般に人の生理的な知覚や認知メカニズムに基づくところが多く、ほぼ万国共通であるためと考えられる。そのために、ダイジェスト再生時などに、無効部（無効シーンＳｖ）は省略されることが望ましい。

なお、無効シーンＳｖの数はコンテンツ長に応じて、予め決めておくこともできる。たとえば、無効シーンＳｖは、１分当たり５個以内で、かつ、最大１００個と決めることができる。また、無効シーンＳｖの種別指定や、コンテンツ毎に縮小率を指定できる。また、３脚などを用いて安定した映像を撮影している場合は、無効シーンの検出機能を手動でＯＦＦにして撮影することもできる。

以下に、重要シーン検出例について説明する。撮影クリップのはじめ（ＣＬＩＰ−ＩＮ）、または、クリップのおわり（ＣＬＩＰ−ＯＵＴ）における、１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、音検出のメタデータ（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ部分）を重要部分（シーン）として抽出するアルゴリズムを作成できる。

また、カメラ１０１ａに内蔵されているジャイロセンサからの出力に基づいて、カメラ１０１ａのパンやティルト後のフィックス（静止）シーンを検出できる。フィックスシーン（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）を抽出できる。また、カメラ１０１ａのズーム値の時間変化をモニタして、ズームアップ、ズームダウンした部分（シーン）を検出できる。

より詳細には、ズームアップやズームダウンの前後における１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、ジャイロセンサの出力に基づいて、カメラ１０１ａのパンやティルト時の撮影シーンを検出できる。また、撮像素子から得られる撮影映像を複数のブロックに分割し、各ブロックの色相や色度が、あらかじめ決めた色相や色度の範囲内にあるか否かを表す情報が検出できる。たとえば、検出ブロックの大きさと形状、および肌色度から人の顔を検出できる。さらに、パン、ティルトやズームの後のフィックス映像の検出ブロックの形状および肌色度から人の顔をより精度よく検出できる。

注意すべき点は、上述の状態は一般的な感性・感情を持った人でも、撮影の素人と撮影のカメラワークに慣れた人では重要シーンとして認識するレベルが人によって少し異なる場合がありえることである。すなわち、撮影に慣れた人は映像撮影技法に準拠したカメラワークを意識して撮影するが、素人はそのような知識がないのでカメラワークを考えないで被写体を撮影することが往々にしてある。ただ、素人でも撮影しているうちに、アドバイスを受けたり、自分で気づいたりしながら、次第に一般に良いとされるカメラワークを習熟していくことが通例である。

また、高優先度シーンの選別は、まず低優先度シーンを除外したコンテンツより高優先度シーンを選別することにより、より安定したシーンの選別が可能となる。たとえば、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、ピンボケになっている場合があり、そのような低優先度シーンを優先的に除外できる。

同様に、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、逆光になって画面が真っ黒になっている場合がある。そのような低優先度シーンを優先的に除外できる。また、運動会のカケッコにおけるピストルの発射音が検出できていて高優先度シーンとしては有効であっても、ズームアップが早すぎたり、パンが早すぎたりして見るに耐えないシーンなどは、低優先度シーンとして優先的に除外できる。

上述のように、まず第１段階として、低優先度シーンを除外した安定的に撮影されているシーンにより構成されるプレイリストを生成する。次に、第２段階として、安定したシーンより高優先度シーンを選別する。たとえば、第１段階で作成したプレイリストに高優先度シーンを追加して無効部が除かれたコンテンツから重要シーンを選別する。以上の段階を経ることにより、揺れピンボケなどのない、視覚的にもより安定した、重要シーンの選別が可能となる。

無効シーンのメタデータは、無効というマイナスの意味を持つことから、符号にマイナスを付けて処理してもよい。なお、高優先度のシーン（重要シーン）と低優先度のシーン（無効シーン）の中間の値をもつシーンは普通のシーン（一般的なシーン）として取り扱える。

図１に示した例では、テレビ１０９の一覧表示において３つある有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）は、それぞれの代表クリップ（サムネイルＴＭ＃１、＃２、および＃３）として画面上に表示されている。これらの代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。また、それぞれの有効部と無効部には、それぞれ優先度が付与されていて、特定の優先度のシーンだけを選択してダイジェストを生成することもできる。

次に、図２を参照してカメラ１０１ａの内部構成と動作について説明する。カメラ１０１ａの内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６ａ、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０ａ、撮像信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。

カメラマイコン２０６ａは、タイムコード発生部２０６ｋ、カメラワーク検出部２０６ｓ、判定閾値設定部２０６ｔ、撮像手段の動作モード処理部２０６ｕ、コンテンツ分類部２０６ｗ、およびシーン情報生成部２０６ｉ（Ｉｎｄｅｘ生成手段）をソフトウエアのアルゴリズムとして内蔵している。シーン情報生成部２０６ｉは、撮像装置のパン、ティルト、ズーム、フォーカス、および音声入力レベルなどのデータに関して、それぞれに特定の演算を行うことによって無効シーンや重要シーンの検出を行う。

なお、紙面の都合上、タイムコード発生部は「ＴＣＧ」と表示され、カメラワーク検出部は「ＣＷＤ」と表示され、判定閾値設定部は「ＡＴＳ」と表示され、撮像手段の動作モ処理部は「ＯＰＤ」と表示され、コンテンツ分類部は「ＣＣ」と表示され、そしてシーン情報生成部は「ＳＩＧ」と表示されている。

ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３はレンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７はカメラ１０１ａの水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１ａの水平／垂直方向の角速度を検出する。加速度センサ２０９はカメラ１０１ａの前後／左右／垂直の加速度を検出する。

ユーザ入力系２１０ａは、ボタンなどでユーザ操作を受け付けて指示信号を生成する。また、撮像信号処理部２１１は、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣなどのエンコード手段を内蔵している。なお、Ｈ．２６４／ＡＶＣ方式については、たとえば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などの書籍に詳述されている。また、ＭＰＥＧ−ＴＳ信号はＩＥＣ ６１８８３−４で規定されている。

ＭＰＥＧ−ＴＳのＰＡＴやＰＭＴなど、ＴＳ（トランスポートストリーム）に関する参考文献としては、たとえば、ＣＱ出版社、ＴＥＣＨ Ｉ Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。また、ＰＳＩやＳＩの階層構造、処理手順の例、選局処理の例として、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ、２００４、第７４号、３１ページから４４ページでも解説されている。

角速度センサ２０８は、一般にジャイロセンサにより構成されており、３つの回転軸に対して、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、およびヨー（ｙａｗ）の回転加速度を検出する。回転加速度の検出感度の較正は重要である。最近では、たとえば、電源投入後、数秒間で自動較正（Ａｕｔｏ Ｃａｌｉｂｒａｔｉｏｎ）されるジャイロセンサも商品化されている。

ジャイロセンサを搭載したカメラにおける検出感度の較正は、センサデバイスの個体間でのばらつき、温度によるばらつき、および電源電圧変動のばらつきを考慮して行われる。予め決めた条件下で予め決めた大きさの振動を与え、その時のセンサ出力の期待値との誤差を許容値以下に追い込むことにより較正を行う。このような較正は工場などで行うことができる。

自動較正の方法として、揺れがある場合の出力振幅を較正用の標準振動に対するセンサ出力が一定になるようにアンプゲインが調整される。較正用の標準振動を与える例としては、振動レベルを保証した振動体が利用できる。振動体としては、携帯電話のサイレントモードの呼び出しなどで使用されている振動デバイスなどでも振動レベルが規定できれば利用できる。このように振動レベルが既知の振動源であれば較正手段として使えるのはいうまでもない。なお、複数の振動レベル（たとえば、大、中、小の３レベル）で較正すれば、より高精度な較正ができる。

撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報と、白色の座標と、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報との少なくとも１つに関する撮像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。

なお、３原色点の色度空間情報が分かれば、色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。色温度検出用の専用センサを具備して、そのセンサから色温度情報を受け取るように構成してもよい。

レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６ａにおいてメタデータＤｍ（カメラメタと呼ぶ）として取り扱われる。

撮像素子２０４で撮影された情報である画像データは、撮像信号処理部２１１による画素単位あるいは複数の画素により構成されるブロック単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４／ＡＶＣ方式のエンコーダなどで圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３で生成されたＡＶ信号Ｓａｖと、カメラマイコン２０６ａで生成されたカメラメタＤｍは、出力インタフェース２１５よりそれぞれ出力される。

次に、カメラ１０１ａによるムービー撮影時に作成されるカメラメタＤｍについて説明する。Ｈ．２６４ストリームのＳＥＩにマッピングされるリアルタイムメタデータの例としては、たとえば、
・ムービーなどのカメラで撮影したＡＶコンテンツに関連付けたメタデータ、
・撮像データなど一般的なデータをメタデータ化したメタデータ、
・デジタル放送のＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）より得るメタデータ、
・ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ、および
・Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ
などがある。

カメラで撮影したＡＶコンテンツに関連付けたメタデータとして、たとえば、
・重要シーンでユーザが押したボタンを表す情報（ナンバーなど識別情報を付加できる）
・撮影データ、
・タイムコード（映像フレーム、音声フレーム）、
・撮影フレームレート、記録フレームレートなどの映像や音声のフォーマット情報、
・映像ブロックの輝度情報および色情報、および
・音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）
などがある。

なお、撮影データには、撮像素子の動作モード、逆光補正、絞り・露出情報、フォーカス、シャッタ速度情報、色温度、ホワイトバランス、ズーム、仰角、地面撮影、グラグラした揺れ、グラグラ、パン／ティルト／ズーム（ＰＴＺと略す）の状態、ハウリングの状態、カメラのキャップ閉まり状態、およびカメラの姿勢状態（水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、および前後／左右／垂直の加速度情報など）が含まれる。

また、ノン（非）リアルタイムメタデータとしては、たとえば、
・メニュー情報、
・タイトルリスト（代表イベント、ユーザが登録したイベント）、
・シーン番号、カット番号、テーク番号、その収録テークの採用／不採用／保留などに関する情報、
・画像認識データ（顔、人、ペットなどの検出、認識）、
・音声認識データ、
・撮像素子の３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）などの撮像システムの動作データ、
・外部との通信で入力されたファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルとして外部インタフェースより入力）、
・３原色または輝度信号のガンマ情報、
・静止画、および
・サムネイル
などがある。

上述のメタデータのうちで必要なものが選択されて使用される。メタデータの記述形式としては、ＵＰｎＰやＵＰｎＰ−ＡＶで導入されているプロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）がある。これらは、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、テキストやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）の利用を意識した設計を行うと効率的な運用ができる。

なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは対象とするメタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。

以下に、録画機器と録画条件に関する情報について一例を説明する。これらの情報には、ムービーの機器メーカー識別ＩＤ、機種識別ＩＤ、ムービーなどの撮影者名、およびコンテンツ制作者名が含まれる。さらに、コンテンツの著作権者が作成して、そして登録するメタデータの価値が高く使用許諾が必要とコンテンツ著作権者が考える場合に、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んで構成をすることによって効率的な運用ができる。

この場合、撮影者は撮影した動画コンテンツを暗号化したファイルに作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにそのファイルをアップロードして公開してもよい。また、暗号化したファイルをアップロード・告知して、気にいった人に購入してもらう構成もとれる。ハプニング映像などニュース価値があるコンテンツが録画できた場合には、複数の放送局間でオークションにかけることもできる。メタデータの活用により、増大するコンテンツの分類および検索が効率的に行える。

図３、および図４を参照して、シーン情報生成部２０６ｉについて説明する。図３に示すように、シーン情報生成部２０６ｉには、カメラが動作時に使用または生成されるパラメータＤ、判定の閾値Ｔｈを表す閾値情報Ｔｉ、およびカメラの動作モード情報Ｏｐが入力される。そして、シーン情報生成部２０６ｉは入力されたパラメータおよび情報に基づいて、シーン情報生成アルゴリズムに従いインデックス情報Ｒｉ（シーン情報）を生成して出力する。つまり、インデックス情報Ｒｉは、シーン情報（ＳＩ）がマッピングされた情報である。

シーン情報生成アルゴリズムは、撮影された画像に対して生成された多数のメタデータをマージして、ダイジェスト再生などに適した適正な数のシーン表現メタデータを生成するものである。撮影時に存在するメタデータとしては、従来よりカメラワークに関するデータ、収録音声、およびユーザ操作など多数のメタデータがある。しかしながら、これら従来のメタデータは単独で大きな意味を成さないし、生成されるメタデータの数も膨大になるため、撮影によって生じたメタデータは適正に処理されて少数で意味のあるメタデータに変換されるべきである。そのため、本実施の形態においては撮影中に生成された多数のメタデータをマージして、ダイジェスト再生などに適した適正な数のシーン表現メタデータを生成する。

図４に、シーン情報生成部２０６ｉの構成例として、インデックスマージ機能を持ったシーン情報生成部２０６ｉの構成を示す。シーン情報生成部２０６ｉは、インデックス計算部３０１ｉおよびインデックスマージ部４０１を含む。インデックス計算部３０１ｉには、カメラが動作時に使用または生成されるカメラの動作パラメータＤ、判定の閾値情報Ｔｉ、およびカメラの動作モード情報Ｏｐが入力される。インデックス計算部３０１ｉは、入力されたパラメータおよび情報に基づいて、シーン情報生成アルゴリズムに従いインデックス情報Ｒｉを生成してインデックスマージ部４０１に出力する。

インデックスマージ部４０１には、インデックスのマージ用にフィルタ（窓関数）の指定情報Ｗｄが入力される。インデックスマージ部４０１は、インデックス情報Ｒｉと指定情報Ｗｄに基づいて、インデックスマージ用にフィルタを指定するインデックスマージ情報Ｒｉｍを生成して出力する。なお、インデックス情報Ｒｉおよびインデックスマージ情報Ｒｉｍは、インデックスデータＤｉとして、出力インタフェース２１５から出力される

図５を参照して、撮影クリップにおいて生成した複数の第１のメタデータと、第１のメタデータより、ダイジェスト生成用の第２のメタデータを設定する方法について説明する。図５の上段には、コンテンツ撮影装置Ａｃｃ１で撮影されて生成された複数の第１のメタデータが示されている。そして、下段には第１のメタデータから生成される第２のメタデータが示されている。

第２のメタデータを、少数の特徴のあるシーンを表すシーン表現メタデータと呼ぶ。図５において、横軸は時間軸であり、各時刻は映像のフレーム番号で表されている。縦軸は生成したメタデータの優先度を表し、最大値を１００としている。メタデータの種別（Ｔｙｐ）としては、たとえば、以下のＡ〜Ｅがある。

種別Ａには、クリップのはじめ（ＣＬＩＰ−ＩＮ）およびクリップのおわり（ＣＬＩＰ−ＯＵＴ）が含まれる。クリップのはじめとクリップのおわりにおける１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる。
種別Ｂには、音検出のメタデータ（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ）が含まれる。メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、および歓声などを検出したメタデータ部分を重要部分として抽出するアルゴリズムを作成できる。
種別Ｃには、フィックス部分（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）が含まれる。
種別Ｄには、ズームアップした部分およびズームダウンした部分が含まれる。ズームアップやズームダウンの前後における１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる。
種別Ｅには、パンした部分およびティルトした部分が含まれる。ズームと同様、パンやティルトした部分の前後における１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる。

上述の種別（Ｔｙｐ）はそれぞれ、単にＡ、Ｂ、Ｃ、Ｄ、およびＥと表示されている。所定の一定期間の窓Ｗをクリップのはじめから最後まで動かして第２のメタデータが選択される。そして、選択されたメタデータを用いてダイジェスト再生を行うことができる。本例では、窓Ｗの中で最大の優先度を持つメタデータがダイジェスト生成のために用いる第２のメタデータとして選択されている。具体的には、約４７０フレームに存在する、種別Ｃのフィックス状態を表すＩｎｔｅｒｅｓｔメタデータが選択される。

また、図５の下段に示す例においては、一定期間の窓Ｗの中で優先度を持ったメタデータの合計値（優先度（ＳＰ）の重み付き合計値）が、予め設定している値（たとえば、２５０）を超えた場合にのみ、第２のメタデータの選択を行うように設定するモードを追加することもできる。また、最小インデックス発生間隔Ｔｍｉｎを設定して、所定時間以上特徴シーンが検出できない場合等に、強制的に一定間隔でインデックスを生成させることができる。最小インデックス発生間隔Ｔｍｉｎは、ブラウジングなどにより映像の内容確認を数秒毎に行う等の用途に有用である。たとえば、最小インデックス発生間隔Ｔｍｉｎ＝５秒に設定すれば、少なくとも５秒毎に、何が起こって（記録されて）いるか表示されて、ユーザはそれを知ることができる。

図５の上段に示されたメタデータは、図５の下段に示すＮｏ．１〜Ｎｏ．６までの６つのメタデータにマージされる。なお、メタデータＮｏ．１は種別Ａで優先度は約５０であり、メタデータＮｏ．２は種別Ｂで優先度は約８０であり、メタデータＮｏ．３は種別Ｃで優先度は約１０２であり、メタデータＮｏ．４は種別Ｃで優先度は約９８であり、メタデータＮｏ．５は種別Ｂで優先度は約７５であり、メタデータＮｏ．６は種別Ｂで優先度は約７５である。よって、本例においては、メタデータＮｏ．３およびメタデータＮｏ．４が重要シーンとして認定される。なお、メタデータの数が２個の場合には、メタデータＮｏ．３はズームアップ後のフィックス区間での撮影画像であり、メタデータＮｏ．４はズームダウン後のフィックス区間での撮影画像である。

図６を参照して、撮影コンテンツより上述のズームアップ後のフィクス区間（Ｎｏ．３）およびズームダウン後のフィックス区間（Ｎｏ．４）を抽出して、１つのダイジェストを構成する方法について説明する。同図において、上から順番にグラフＧ１、Ｇ２、Ｇ３、およびＧ４が示されている。グラフＧ１において、縦軸は撮像されたズームレベルＬｚを表し、横軸は時刻ｔを表して、実線Ｌｚｔは時刻ｔに対するズームレベルＬｚの変化を示している。

なお、グラフＧ１において、時刻ｔは左から右へ進行し、ズームレベルＬｚが大きいほどズームアップの程度が大きいことを示している。つまり、実線Ｌｚｔが下から上方向に変化すればズームアップされており、上から下方向に変化すればズームダウンされている。グラフＧ１においては、図５に示したメタデータＮｏ．３（ズームアップ後のフィックスを代表点として選び、メタデータＮｏ．３としている）、およびＮｏ．４（ズームダウン後のフィックスを代表点として選び、メタデータＮｏ．４としている）に対応する部分が明示されている。

グラフＧ２において、縦軸は手ぶれレベルＬｖを表し、横軸は時刻ｔを表し、実線Ｌｖｔは、時刻ｔに対する手ぶれレベルＬｖの変化を示している。なお、グラフＧ２において、手ぶれレベルＬｖが大きいほど、カメラの変位量が大きい。実線Ｌｖｔが上下に大きく変動するほど、手ぶれは酷いことを示している。つまり、撮影の初期、半ば、および終盤、つまり撮影動作の開始／終了そしてズーム方向が逆転する場合に手ぶれは大きくなる。ズームアップ後のフィックス時やズームダウン後のフィックス時の手振量は小さい。

グラフＧ３は、撮影された映像（メタデータ）のシーケンスを表している。グラフＧ３において、それぞれ３枚のメタデータ（１）および（２）が、グラフＧ１における重要シーン（メタデータＮｏ．３およびＮｏ．４）の区間に含まれる。

グラフＧ４に、グラフＧ３に示された映像シーケンスから抜き出された、シーン表現メタデータ（１）および（２）によるダイジェスト映像シーケンスが示されている。この様にして、撮影映像シーケンス（Ｇ３）から重要シーン（Ｎｏ．３およびＮｏ．４）が抜き出されてダイジェストが構成できる。

このように、グラフＧ１の画像は、その優先度に応じて、グラフＧ４のダイジェスト映像シーケンスに抜き出される。具体的には、上述のズームアップ後のフィックス区間（Ｎｏ．３）では、時刻ｔｓに抜き出しが開始され、時刻ｔｅに抜き出しが終了する。なお、時刻ｔｒにおける画像は、当該フィックス期間（Ｎｏ．３）における代表するものである。これらの時刻を、それぞれ開始時刻ｔｓ、終了時刻ｔｅ、および代表時刻ｔｒと呼ぶ。つまり、ダイジェストに抜き出された画像は、シーンの種別（ｔｙｐ）はズームアップ、優先度（ＳＰ）は７２、開始時刻はｔｓ、終了時刻はｔｅ、代表時刻はｔｒと表現される。

ところで、手振れ映像の分析結果に基づき、横方向、あるいは縦方向の並進パラメータに関しては、約０．５Ｈｚから２Ｈｚの周波数成分、特に、水平方向の０．３５Ｈｚから１Ｈｚのパンが映像酔いを引き起こすといわれている。回転については、１秒当たり３０度から７０度の動きでより大きな映像酔いを引き起こすといわれている。

１方向の回転運動については、ロール、ピッチ、ヨーの順番に酔いが生じやすい。具体的には、ロールは大振幅で１秒間に６０度以下の回転、ピッチは１秒間に６０度程度の回転、そしてヨーは１秒間に９０度以上の回転で映像酔いが生じやすいといわれている。よって、これらの回転を検出して、その状態を表すメタデータが生成できる。そして、無効シーンが指定できる。

動画像でブランクなしに運動方向の変化が急激に生じる場合、映像酔いが起こりやすい。一方、ブランクを挿入してやれば運動方向が変わる場合にも映像酔いは起こりにくい。よって、ひどい像振れ（手振れ）を検出した場合は、一方向の映像だけを検出して表示するようにプレイリストを生成すれば、映像酔いを軽減できる。

また、映像酔いを誘発しそうな像ぶれ（手振れ）などのカメラワークを検出すれば、そのカメラワークの度合いに応じて、撮影者にカメラの揺れが多いことなどを音や光の点滅でアラームとして知らせることができる。

また、動画では視野角が大きいと映像酔いが生じやすい。そこで、ジャイロセンサのロール、ピッチ、およびヨーの回転加速度を表す信号を用いてカメラの手振れを検出し、パン、ティルト、ズーム、ロ−ルなどのカメラの運動パターンの急激な変化により生じる映像のグローバルモーションを算出する。そして、グローバルモーションの時間周波数成分や想定するディスプレイ上の視野角での運動の速度を算出する。次に、電子的に手振れ除去を行ない、映像表示の縦と横の画素数を少なくすることにより、視野角は小さくなるが映像酔いを軽減できる。

なお、視聴する画面サイズ（たとえば、３２インチ）と視距離（たとえば、２ｍ）とを仮定し、横および縦の平行移動の速度の閾値Ｔｈｖ（たとえば、１フレームあたり１０ピクセル以内の移動速度）と周波数の閾値Ｔｈｆ（たとえば、０．５Ｈｚ）を設定して、画像の検出される振れ量がこれら２つの閾値ＴｈｖおよびＴｈｆを超える場合、映像酔いが発生する危険な状態と設定できる。なお、これらの閾値ＴｈｖおよびＴｈｆは、撮影モードや撮影イベント別に変更できる。

よって、手振れやパン、ティルトの検出においては、代表的な視野角（または、画面の大きさと視距離）に対する映像酔い検出の閾値を複数決め、これらの閾値に対して手振れやパン、ティルトの検出を行なうことができる。これにより、視聴時に視野角（または、画面の大きさと視距離）を指定すれば、その視野角に対して映像酔いを誘発しない設定ができる。

次に、図７を参照して、Ｈ．２６４／ＡＶＣのファイル構成例について説明する。左側の四角枠内にディレクトリ構成Ｓｄを示し、右側の四角枠内にファイル構成Ｓｆを示す。これらの構成は、ＳＤカードやＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、およびＢＤ−ＲＥなどの情報記録メディア上に構築される。

ディレクトリ構成Ｓｄでは、ｒｏｏｔ下には、参照ファイル（ｒｅｆ．ｆｉｌｅ）と、「ＰｌａｙＬｉｓｔ」、「ＣＬＩＰ」、および、「ＳＴＲＥＡＭ」ディレクトリが存在する。「ＰｌａｙＬｉｓｔ」ディレクトリ下には、プレイリスト（ファイル）である「＊．ｐｌｓ」ファイルが存在する。また、「ＣＬＩＰ」（クリップ）ディレクトリには、クリップファイルであるである「＊．ｃｌｐ」ファイルが存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ａｔｓ」ファイルが存在する。

ファイル構成Ｓｆでは、参照ファイル（ｒｅｆ．ｆｉｌｅ）は、コンテンツのタイトル情報（Ｔｉｔｌｅ＃ｎ）を管理し、複数のチャプタ情報（Ｃｈａｐｔｅｒ＃１、Ｃ＃２、Ｃ＃３、Ｃ＃４、・・・）を管理する。プレイリスト（ＰｌａｙＬｉｓｔ＃１）は、複数の再生パート情報（ＰｌａｙＩｔｅｍ＃１、Ｐ＃２、Ｐ＃３、・・・）を管理する。また、クリップファイル（Ｃｌｉｐ＃１、Ｃｌｉｐ＃２、Ｃｌｉｐ＃３、・・・）は、ＥＰマップ（ＥＰ＿Ｍａｐ）を持つ。ＥＰマップはＰＴＳとストリームファイルを構成するＡＴＳパケットのＡＴＳ連番の相互対照マップテーブルであり、タイムコードとデータ位置の相互変換を行うものであり、プレイリスト再生やストリームファイル編集において不可欠のものである。

上述のように、タイトルはプレイリストファイル、プレイリストファイルはクリップファイル、そして、クリップファイルはＡＴＳパケットによるストリームファイルと、それぞれ関連付けられる。

上述のリアルタイムメタデータやノンリアルタイムメタデータは、ＳＥＩにマッピングされた後に、ＡＴＳのストリームファイルに変換される。また、リアルタイムあるいはノンリアルタイムのメタデータに基づく演算により生成されたメタデータをクリップのシーン情報（ＳＩ）として、プレイリストのパート情報や補助エリアＡＡに付加情報としてマッピングする。すなわち、優先度をもったリストを撮影コンテンツの再生時に参照するプレイリストファイルの補助データとしてマッピングする。

これにより、プレイリストファイルのデータを見るだけで、クリップのシーン情報メタデータ（インデックス情報）を参照できるという大きな特徴を持つ。なお、ＭＰＥＧの場合には、リアルタイムメタデータやノンリアルタイムメタデータはｐｒｉｖａｔｅ ｐａｃｋｅｔやＰＭＴに挿入できる。

ＤＶＤ−Ｒ方式やＢＤ−ＲＥ／ＲＯＭ方式、あるいはＡＶＣＨＤ方式においては、揺れのあるシーン、すなわち、映像酔いを誘発するシーンをスキップして再生できる。つまり、上述の揺れの多いシーンをメタデータとしてタイムコードと関連つけしてプレイリストのマーカーとして登録する。そして、上述の方式のメディアのプレーヤーにおいて、プレイリストのマーカー情報あるいはマーカーの付加情報を参照して、揺れのあるシーンをスキップして再生する。

タイムコードＴＣと関連つけしたメタデータをプレイリストの情報として記述することにより、コンテンツの再生機器でプレイリストに記述された情報を参照して無効シーンや重要シーンなど撮影コンテンツ中のイベントの開始点または代表点に即座にアクセス（スキップ）できる。また、再生時に参照するプレイリストファイルの補助データであるメタデータのリストを参照することにより、指定したイベント区間（イベントの開始点から終了点までを参照して生成したイベント区間）を順番に再生できる。

図６において、グラフＧ４として示される重要シーンにより構成されるダイジェストを生成する場合には、シーンの優先度の指定、またはシーン種別（Ｔｙｐ）の指定、またはダイジェスト時間長の指定、またはダイジェストへの縮小率指定を入力するダイジェスト方式指定手段や、プレイリストの補助データであるシーンのリストを参照して、新たなプレイリストファイルを生成することもできる。

図１に示したサムネイル表示例に関しては、重要シーンにより構成されるダイジェストのプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
の３つの有効シーンを含む。

さらに、プレイリストを参照することにより、以下に述べるようなモードを含む多様な再生が可能となる。例えば、
・重要シーンとして指定される区間は通常再生を行い、それ以外のシーンは高速速度で再生する。
・無効シーンとして指定される区間は高速再生を行い、それ以外のシーンは通常速度で再生する。
・無効シーンとして指定される区間は検出した代表シーンや予め撮影して登録した静止画を３秒ずつ表示する再生を行い、それ以外のシーンは通常速度で再生する。

さらに、図１に示したサムネイル表示例に関しては、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では５倍速の高速再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生；
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）、５倍速再生；
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生；
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、５倍速再生；
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生；および
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、５倍速再生
と表現できる。

特に、子供の音楽会などの撮影コンテンツに対しては、揺れていたりピンボケになっていたりする無効な映像は見たくないが、ピアノや合唱などの演奏は連続して聞きたいというような要望を考慮して、再生する映像は代表シーンや予め撮影して登録してある映像（青空、建物、花、子供の顔など）に切り替えて、音声のみ連続再生することもできる。

図１に示したサムネイル表示例に関しては、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では登録映像の再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生；
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）、登録映像の再生；
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生；
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、登録映像の再生、
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生；および
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、登録映像の再生
と表現できる。

プレイリストを参照することにより、無効シーンとして指定される区間ではカメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する手段により、画像の揺れを取り除いた映像を表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。

また、上述したデータ分類の閾値ＴｈｖおよびＴｈｆを複数レベルの閾値に拡張することによりそれぞれのレベルの閾値に対して異なる長さの再生時間（切りだし期間）の表示ができる。たとえば、閾値を５段階とした場合、閾値Ｔｈｖ＿１〜Ｔｈｖ＿５（または、Ｔｈｆ＿１〜Ｔｈｆ＿５でも同様）のレベルが真ん中（Ｔｈｖ＿３）の時には、撮影クリップ毎の再生時間を表示させる。そして再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈｖを変更する。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈｖを変更する。

さらにきめ細かい設定を行う場合には、クリップを構成するシーンのそれぞれに対して、５段階ある閾値Ｔｈｖ＿１〜Ｔｈｖ＿５のレベルが真ん中（Ｔｈｖ＿３）の時に、そのシーンの再生時間を表示させる。そして、再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈｖを変更できる。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈｖを変更できる。

また、クリップやクリップの集合体であるプレイリストに対して、トータルの再生時間を与えると、それぞれのクリップやシーンの閾値を自動で設定するプログラムを組むことにより、指定する再生時間に近いプレイリストを生成できる。

プレイリストを参照することにより、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるプレイリストを新たに生成して、タイトルに登録してもよい。

プレイリストを参照することにより、各シーンの種別（Ｔｙｐ）に応じたＢＧＭを生成して再生し、シーンの切り替わり付近でＢＧＭのメロディー、音色、テンポを変え、より芸術性、文化度の高いコンテンツの再生を行うこともできる。

上述のように、コンテンツ撮影装置Ａｃｃ１は、カメラ１０１で被写体１０５を撮影して映像、音声またはデータの何れかを含むコンテンツデータであるＡＶ信号Ｓａｖを生成する。そして、カメラマイコン２０６ａ（カメラワーク検出部２０６ｓ）でカメラ１０１の動きを検出し、シーンを表す第１のシーン情報（ＳＩ）を参照すると共に検出された動きを所定値Ｔｈ（閾値情報Ｔｉ）と比較して、第１のメタデータであるインデックスデータＤｉおよびカメラメタＤｍを生成する。ＡＶ信号Ｓａｖは第１のメタデータと組み合わされて、記録メディア２１４に記録される。

カメラマイコン２０６ａ（シーン情報生成部２０６ｉ）は、さらに所定の特定窓期間（Ｗ）に発生する１つ以上の第１のメタデータ（Ｄｉ，Ｄｍ）を所定の関数によりフィルタリングしてシーン種別Ｔｙｐ、優先度ＳＰ、開始時刻ｔｓ、終了時刻ｔｅ、および代表時刻ｔｒの何れかのパラメータを含む第２のメタデータとしてインデックスデータＤｉおよびカメラメタＤｍを生成する。カメラマイコン２０６ａは、なおさらに第１のシーン情報ＳＩを参照して第２のメタデータ（Ｄｉ，Ｄｍ）の第２のシーン情報であるインデックス情報Ｒｉを生成し、インデックス情報Ｒｉを参照してコンテンツ（ＡＶ信号Ｓａｖ）の特定部分へのアクセスを可能としている。

なお、カメラマイコン２０６ａは、上述の所定の関数の一例として、所定幅の窓期間Ｗ中に発生するメタデータの優先度ＳＰの重み付き合計値を演算するものや、所定幅の窓期間Ｗ中に発生する第１のメタデータ（ＤｉおよびＤｍ）の中で最大の優先度ＳＰを有するものを選別するものや、所定期間Ｔｍｉｎ以上の間隔毎にパラメータを１つずつ設定するものや、所定期間Ｗ中にパラメータが選択されなかった場合には所定期間Ｔｍｉｎ毎に１つ以上のパラメータを強制的に付加するものを用いることができる。

カメラマイコン２０６ａは、上述の機能の他に、第２のメタデータであるインデックスデータＤｉおよびカメラメタＤｍに含まれるシーン種別Ｔｙｐ、優先度ＳＰ、開始時刻ｔｓ、終了時刻ｔｅ、および代表時刻ｔｒのパラメータの少なくとも１つを参照して、複数のシーンを組み合わせてプレイリストを生成する機能を有するように構成される。

カメラマイコン２０６ａは、さらに、優先度ＳＰを参照して、第２のメタデータであるインデックスデータＤｉおよびカメラメタＤｍに含まれるパラメータを指定された個数以内に選別する機能を有するように構成される。

カメラマイコン２０６ａは、なおさらに、第２のメタデータであるインデックスデータＤｉおよびカメラメタＤｍで構成される特徴あるシーン区間を指定順序で再生する場合に、当該シーン区間の再生時にその特徴の説明をテロップとして再生映像に重畳する機能を有するように構成される。

カメラマイコン２０６ａは、外部から与えられるダイジェスト再生時間を越えない様にパラメータに関連付けられたコンテンツの構成部分を選択する機能を有するように構成される。

また、カメラマイコン２０６ａは、ダイジェスト化する特徴あるシーンの優先度ＳＰ、種別Ｔｙｐ、ダイジェスト時間長、およびコンテンツのダイジェストへの縮小率の少なくとも一つに対する指定を受け付けて、コンテンツデータ（Ｓａｖ）の再生時参照ファイルの補助データである第２優先度リストを参照し、指定されたダイジェスト生成方式に従って当該再生時参照ファイルを生成し、再生時参照ファイルを再生オブジェクトリストに登録する機能を有するように構成される。

（第２の実施の形態）
以下に、図８、図９、および図１０を参照して、本発明の第２の実施の形態にかかるコンテンツ撮影装置について説明する。図８に示すように、本実施の形態にかかるコンテンツ撮影装置Ａｃｃ２は、図１に示したコンテンツ撮影装置Ａｃｃ１と基本的に同様の構成を有している。上述のように、第１の実施の形態にかかるコンテンツ撮像装置においては、データ分類の閾値Ｔｈのレベルを変えて、それぞれの閾値に関して再生時間の表示ができる。しかしながら、コンテンツ撮影装置Ａｃｃ２は、カメラの動作モードにより、図５で説明したパン、ティルトやフィックスなどのカメラワーク、音声の収録に対して与える優先度をコンテンツ撮影装置の撮影モードに基づいて変更する機能を有している。

図９に示すように、コンテンツ撮影装置Ａｃｃ２においては、コンテンツ撮影装置Ａｃｃ１におけるカメラ１０１ａがカメラ１０１ｂに置き換えられている。なお、カメラ１０１ｂにおいては、カメラ１０１ａにおけるマイコン２０６ａがマイコン２０６ｂに置き換えられ、ユーザ入力系２１０ａがユーザ入力系２１０ｂに置き換えられ、ＲＯＭ２２０が追加されている。

本例におけるユーザ入力系２１０ｂは、上述のユーザ入力系２１０ａの機能に加えて、ユーザの操作によって、コンテンツ撮影装置Ａｃｃ２の撮影モードをカメラマイコン２０６ｂに知らせる機能を有している。カメラマイコン２０６ｂは、ユーザ入力系２１０ｂから入力される撮影モードに応じて、ＲＯＭ２２０から撮影シーンに対して与える優先度を選択的に読み出して、カメラメタＤｍを生成する。

以下に、図１０を参照して、本実施の形態における撮影モードと優先度の関係について説明する。図１０には、ＲＯＭ２２０に格納される撮影モード／優先度表Ｔ２２０の一例が示されている。同表において、上の行には、コンテンツ撮影装置Ａｃｃの撮影モードが表されている。左端の列には、ユーザによるコンテンツ撮影装置Ａｃｃ２の操作、いわゆるカメラワークの種類が表されている。

本例においては、撮影モードの一例として、「通常」、「ポートレート」、「スポーツ」、「ローライト」、「スポットライト」、および「ナイトビュー」が設定れている。カメラワークとしては、「ＲＥＣ開始」、「ＲＥＣポーズ」、「パン」、「ティルト」、「ズームアップ」、「ズームダウン」、「フィックスショット」、および「音声入力」が設定されている。カメラマイコン２０６ｂは、ユーザの操作によりユーザ入力系２１０ｂを介して入力される「撮影モード」と、絶対傾きセンサ２０７、角速度センサ２０８、および加速度センサ２０９から入力される信号に基づいて検出される「カメラワーク」とに基づいて、ＲＯＭ２２０の撮影モード／優先度表Ｔ２２０から、カメラワークＣＷと撮影モードＣＭの組み合わせに対して一義的に割り当てられているスコア（１５〜７０）ＳＰを優先度として読み出す。

このように、通常モード、ポートレートモード、スポーツモード、ローライトモード、スポットライトモード、ナイトビューモードなど、撮影の各シーンモードに応じて、カメラワーク（含む音声の収録）毎に与える優先度が変更される。

たとえば、被写体の動きがより早いスポーツモードでは、パンやティルトのインデックスに対する得点を通常モードよりも大きくする。また、通常よりも暗い環境での撮影となるローライトモードでは、ズームアップやズームダウンのインデックスに対する得点も通常モードよりも大きくする。

そこで、個々のインデックスに対する得点が変わるので、マージしたインデックスの得点も変えることができる。これにより、撮影におけるシーンモードそれぞれに適した重要シーンの抽出ができる。なお、図１０に示した、カメラワーク、撮影モード、および各スコア（優先度）は一例であって、必要に応じて任意に設定できる。

上述のように、コンテンツ撮影装置Ａｃｃ２において、カメラマイコン２０６ｂ（シーン情報生成部２０６ｉ）は、特徴を持つ音を検出して、その発生時刻（Ｔｂ）と特徴を持つ音の識別情報とを含む特徴音メタデータを生成し、生成された特徴音メタデータを保持するメタデータ選択メモリとして機能するように構成される。

カメラマイコン２０６ｂは、コンテンツの撮影毎にパラメータに対する優先度が異なる所定数の動作モードを具備し、当該所定数の動作モードのうち少なくとも１つを選択する毎に当該パラメータに対する優先度を表す撮影モード／優先度表Ｔ２２０を選択する機能を有するように構成されている。

コンテンツ撮影装置Ａｃｃ２において、上述のパラメータは、カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、およびシャッタ速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくとも何れかを表すレンズ部の動作データ、またはユーザの入力コマンドデータ、または、前記動作データにあらかじめ決めた演算処理をカメラ制御手段で行って得たデータの何れかである。

（第３の実施の形態）
以下に、図１１、図１２、図１３、図１４、および図１５を参照して、本発明の第３の実施の形態にかかるコンテンツ撮影装置について説明する。図１１に示すように、本実施の形態にかかるコンテンツ撮影装置Ａｃｃ３は、図１に示したコンテンツ撮影装置Ａｃｃ１と基本的に同様の構成を有している。しかしながら、コンテンツ撮影装置Ａｃｃ３においては、マイク１０３でキャッチされる特定の音声に応答して、クリップを特定するタイムコードと関連付けた（マーキングした）メタデータとして登録できる機能を有している。特定の音声の例としては、カチンコ１１０を鳴らした音や、運動会のかけっこのピストル発射音などが挙げられるが、撮影者が任意に決めることができる。なお、本実施の形態においては、カチンコ１１０がそのような音源として用いられる場合について説明する。

図１１に示すように、コンテンツ撮影装置Ａｃｃ３においては、コンテンツ撮影装置Ａｃｃ１におけるカメラ１０１ａがカメラ１０１ｃに置き換えられている。カメラ１０１ｃには、好ましくは、電子ビューファインダー（以降、「ＥＶＦ」）１１１が取り付けられてる。なお、ＥＶＦ１１１の代わりに、カメラ１０１ｃ付属の液晶モニターあるいはテレビ１０９を用いてもよい。

図１２に示すように、カメラ１０１ｃは、カメラ１０１ａにおけるマイコン２０６ａがマイコン２０６ｃに置き換えられていると共に、カチンコ入力系１１０が新たに設けられている。また、マイコン２０６ｃは、マイコン２０６ａに、ソフトウエアのアルゴリズムで構成されるクリップ特定部（図１２において、「ＣＢ」と表示）２０６ｆが追加されている。マイコン２０６ｃにおいては、カチンコ入力系１１０から入力されるカチンコ信号に基づいて、カチンコが鳴らされた時に撮影されるシーンに対して、タイムコード発生部２０６ｋおよびクリップ特定部２０６ｆによってタイムコードとシーン記述のメタデータが関連づけられる。

たとえば、カチンコ１１０に記入されている撮影日時、シーンＮｏ．、カットＮｏ．、テークＮｏ．、そのテークが採用か不採用か保留か（通常、撮影現場の監督により指示される）、などのシーン情報（ＳＩ）を、撮影クリップにおけるカチンコ１１０を鳴らした時刻のタイムコードに関連付ける。本例においては、撮影の開始から撮影の終了までをクリップと呼ぶ。これにより、撮影クリップの有効部の先頭部分のタイムコードとシーン情報（ＳＩ）を関連付けできる。

シーン情報（ＳＩ）を使って、カメラの録画開始からカチンコ１１０を鳴らした時刻までの間の不要な収録データの削除や、収録結果が採用のクリップを選別、さらに選別された撮影クリップのシーンＮｏ．、カットＮｏ．、テークＮｏ．の並べ替えが簡単にできる。つまり、図７に示したプレイリストフォルダ（ＰｌａｙＬｉｓｔ）に記述された複数のプレイリストに記述されたテークＮｏ．に基づいて、複数のプレイリストの並べ替えが簡単にできる。たとえば、運動会の撮影において、かけっこ（短距離競争）、リレーなどの長距離競争、綱引き、および玉入れ等の開始タイミングにおけるフレーム画像もすぐに呼び出すことができる。

次に、図１３を参照して、撮影クリップの有効部分と無効部分について説明する。図１３において、横軸は時刻ｔを表し、実線Ｌは映像シーケンスを表す。具体的には、符号Ｔａはカムコーダ（カメラ１０１）による記録開始時刻を示し、符号Ｔｂはカチンコ１１０が１回鳴らされた本番撮影開始時刻を示し、符号Ｔｃはカチンコ１１０が２回鳴らされた本番撮影終了時刻を示し、符号Ｔｄはカムコーダ（カメラ１０１ｃ）の記録終了時刻を示している。

本例においては、記録開始時刻Ｔａと本番撮影開始時刻Ｔｂとの時間間隔Ｐ１は１０秒、本番撮影終了時刻Ｔｃと記録終了時刻Ｔｄとの時間間隔Ｐ２は１２秒と設定されている。この場合、撮影クリップの代表画像としては、たとえば、カチンコが１回鳴らされた本番撮影開始時刻Ｔｂの画像を選択できる。そして、本番撮影開始時刻Ｔｂのクリップを表す、例えば、（Ｓｃｅｎｅ０１２＿Ｃｕｔ０３＿Ｔａｋｅ０２＿ＯＫ）というメタファイルが生成されて、同クリップの本番撮影開始時刻Ｔｂのサムネイルを代表サムネイルに設定する。この場合、本番撮影開始時刻Ｔｂは代表時刻と呼ばれる。

本番撮影開始時刻Ｔｂは撮影監督が指示したカット先頭の時刻であり、本番撮影終了時刻Ｔｃは撮影監督が指示したカット末尾の時刻である。撮影クリップの保存データとしては、たとえば、本番撮影開始時刻Ｔｂの３秒前の時刻Ｔｅから、カチンコが２回鳴らされた本番撮影終了時刻Ｔｃの３秒後の時刻Ｔｆまでのコンテンツが選択できる。これにより撮影クリップ（コンテンツ）の保存容量を減らすことができる。

一般にＡＶコンテンツの編集においては、別のシーンとのつなぎを自然にするためにフェードインやフェードアウト処理を行う場合がある。クリップの先頭あるいは末尾には３秒程度の余裕を持たせると、後々、コンテンツにいろいろな特殊効果を施すことができるのでより質の高いコンテンツを制作することができる。

上述の時間間隔Ｐ１を前期無効本番撮影期間と呼び、時間間隔Ｐ２を後期無効本番撮影期間と呼び、本番撮影開始時刻Ｔｂと本番撮影終了時刻Ｔｃとの時間間隔を、有効本番撮影期間Ｐｅと呼ぶ。時刻Ｔｅから本番撮影開始時刻ＴｂまでをＰｒｅ本番撮影期間Ｐｒと呼び、本番撮影終了時刻Ｔｃから時刻ＴｆまでをＰｏｓｔ本番撮影期間Ｐｐと呼ぶ。そして、時刻Ｔｅから時刻Ｔｆまでの、Ｐｒｅ本番撮影期間Ｐｒ、有効本番撮影期間Ｐｅ、およぶＰｏｓｔ本番撮影期間Ｐｐを併せて、クリップ保存期間Ｐｃと呼ぶ。

図７に例示した、クリップファイルのディレクトリに存在する各クリップファイルに記されたシナリオのシーン番号、カット番号、およびテーク番号は撮影の順番、すなわち撮影時刻の順番で並んでいる。しかしながら、前述した様に時間的には順番通りであっても、シナリオに記載されているシーン番号、カット番号、およびテーク番号の順番にはなっていない。よって、このままでは、シナリオの流れに沿った再生を行うことができない。本実施の形態においては、このようなクリップファイルも以下に述べる２種類の方法でシナリオの流れに沿って再生させることができる。

先ず、第１の方法について説明する。この方法においては、ユーザがカメラ部マイコン２０６ｃ対して、シナリオのシーン番号、およびカット番号の順番とおりに、収録テークの採用のカットだけを並べるコマンドを発行する。同コマンドに応答して、クリップファイルがシナリオのシーン番号、カット番号の順番とおりに並べてＥＶＦ１１１上に表示される。ＥＶＦ１１１に表示される映像は、ＴＶなど外部のモニタにも表示可能である。そうすることにより、シナリオのシーン番号、カット番号の順番とおりの編集など映画制作およびポスプロ作業を効率的に行うことができる。なお、ＥＶＦ１１１の代わりにカメラ付属の液晶モニタやテレビ１０９を用いてもよい。

第２の方法においては、ユーザがカメラ部マイコン２０６ｃに対して、収録テークの採用ＯＫのカットに対して、シナリオのシーン番号、カット番号、およびテーク番号を抜き出し、これらの連結した符号を新たなファイル名に書き換える（ｒｅｎａｍｅ）よう指示する。元のファイル名は、クリップファイルのメタデータ、（ＸＭＬの表記では＜ｏｒｉｇｉｎａｌ ｆｉｌｅｎａｍｅ＞として表す）として保存する。そして、ファイル名の変更は、図７に記した全てのディレクトリに存在する同名のファイルに対して行うものとする。

上述のように、ファイル名がシナリオのシーン番号、カット番号、およびテーク番号を
表しているので、ＥＶＦ１１１上にシナリオのシーン番号、カット番号の順番とおりに並べた場
合、視覚的にシナリオとの対比が簡単に行える。たとえば、シーン番号が３２、カット番号が５、およびテーク番号が２のカットのクリップファイル名は、“Ｓ０３２＿Ｃ０５＿Ｔ０２．ｃｌｐｉ”と表される。なお、ＥＶＦ１１１に表示される映像は、ＴＶなど外部のモニタにも表示可能であり、シナリオのシーン番号、カット番号の順番とおりの編集など映画制作およびポスプロ作業を効率的に行える。

また、シナリオには書かれていないが、新たなカットの差し込み追加を行う必要に迫られることがある。この場合、カット番号とテーク番号の間に差し込みを表す記号、１、２、３やａ、ｂ、ｃ（小文字の絵字）などを記入することにより対応できる。前述のクリップファイル、“Ｓ０３２＿Ｃ０５＿Ｔ０２．ｃｌｐｉ”に新たなカット“ｂ”を差し込んだ場合、そのファイル名を、たとえば、“Ｓ０３２＿Ｃ０５ｂ＿Ｔ０２．ｃｌｐｉ”と表わす。以上により新たなカットの差し込み追加も可能である。

次に、図１４を参照して、ＥＶＦ表示に基づいて、撮影シーン情報ＳＩ（シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する）を登録する方法について説明する。同図において、符号Ｅｘ＿１は、ユーザがリモコンを用いてシーン番号、カット番号、およびテーク番号を設定した時のＥＶＦの表示例を示している。同例においては、ユーザによる設定事項ＳＳとして、「Ｓｃｅｎｅ＝０２３：Ｃｕｔ＝０３＿Ｔａｋｅ＝０２」が、カメラ１０１ｃによる撮影映像ＰＩを背景として、ＥＶＦの中央に表示される。

符号Ｅｘ＿２は、撮影中のＥＶＦの表示例を示している。同例においては、撮影中にも
シーン番号、カット番号、およびテーク番号をモニタできるように、これら設定情報ＳＳとして「Ｓ０２３：Ｃ０３：Ｔ０２」が撮影映像ＰＩを背景に、ＥＶＦの端に表示される様子が表されている。本例においては、ＥＶＦの端に表示されることを考慮して、設定事項ＳＳは符号Ｅｘ＿１の例に比べて、簡略化されている。

符号Ｅｘ＿３は、撮影テークが採用の場合の確認画面例を示している。同例においては、設定事項ＳＳとしては、「シーン番号、カット番号、およびテーク番号」の後に採用「ＯＫ」が追加表示される。

符号Ｅｘ＿４は、撮影テークが不採用の場合の確認画面例を示している。同例においては、設定事項ＳＳとしては、「シーン番号、カット番号、およびテーク番号」の後に不採用「ＮＧ」が追加表示される。

図１５を参照して、台本、記録メディア、シーン番号、カット番号、テーク番号、テー
ク採用可否情報、ＰｌａｙＬｉｓｔ、およびＰｌａｙＩｔｅｍの関係について説明する。同図において、グラフＲ１は、撮影の台本（シナリオ）と記録メディアの関係を示す。グラフＲ１から読み取れるように、１つの台本毎に１つの記録メディアが割り当てられている場合と、複数の台本毎に１つの記録メディアしか割り当てられていない場合とがある。

グラフＲ２は、特定の撮影日（収録日）における、収録（記録）順序と台本番号、シーン番号、カット番号、カット内特徴部分、カット内特徴部分の長さ、特徴部分のメタデータ種別、およびダイジェスト生成式の情報からなるテーブルを示す。なお、図示されていないが、同テーブルには、好ましくは、テーク番号および各カットで採用したテークを識別するカット採用可否情報も含まれる。

グラフＲ３は、台本番号、シーン番号、カット番号、テーク番号、および各カットで採用したテークと上述のＰｌａｙＩｔｅｍとの関係を示す。本例においては、ＰｌａｙＬ
ｉｓｔは３つのＰｌａｙＩｔｅｍより構成され、各々のＰｌａｙＩｔｅｍはシーン番号、
カット番号、テーク番号、および各カットの採用可否情報と関連付けられている。

マイコン２０６ｃは、ユーザの操作により撮影クリップの保存データとしては、図１１に例示したカチンコ１１０を１回鳴らした本番撮影開始前の任意の時刻Ｔｅから、カチンコ１１０を２回鳴らした本番撮影終了後の任意の時刻Ｔｆまでのコンテンツを選択できる。これにより本番撮影コンテンツの保存容量（クリップ保存期間Ｐｃ）をより柔軟に管理運用できる。

Ｐｒｅ本番撮影期間ＰｒやＰｏｓｔ本番撮影期間Ｐｐをメタデータとしてパーソナルコンピュータ上で動く編集アプリケーションよりカメラ１０１ｂが受け取って運用することもできる。逆にカメラ１０１ｂが編集アプリケーションに、Ｐｒｅ本番撮影期間ＰｒやＰｏｓｔ本番撮影期間Ｐｐをメタデータとして渡して編集アプリケーションを運用することもできる。なお、カチンコ１１０の代わりに、たとえばピストルの発射音を約１００ｍ離れた場所から聞く場合には、音速（１秒間に約３５０ｍ進む）による音の遅延も考慮して、本番撮影開始時刻Ｔｂや本番撮影終了時刻Ｔｃを算出してコンテンツを管理する必要がある。

たとえば、運動会の撮影では、短距離競争、長距離競争、綱引き、および玉入れ等で使用されるピストルの発射音や太鼓の音を検出して、そのピストルの発射音や太鼓の音を検出したタイミングを用いてかけっこ（短距離競争）、リレーなどの長距離競争、綱引き、玉入れや演技などを表現するメタデータを生成できる。また、カチンコやピストルの音の発生タイミングをフレーム単位（ＮＴＳＣの場合は３３．３ｍｓｅｃが１フレーム）よりも微細に検出するために、該フレームの音声信号（たとえば、ＷＡＶＥ信号）を解析してより精密な時刻を算出できる。

撮影クリップへのメタデータ関連付けは、携帯電話などの携帯端末で撮影中の場所、天気、役者の表情、調子などをリアルタイムで文字入力し、それらの情報を撮影状況のメタデータとして赤外線などでカムコーダ（カメラ１０１ｃ）に伝送することにより実現することもできる。

ユーザは、携帯端末で文字入力を開始した時点でまずカメラにマーカを送り、その開始時点の時刻を覚えておく。この時点でカメラからＩＤ番号を携帯端末に返信するのが望ましい。そして、携帯端末で文字入力が完了した時点でカメラに前記ＩＤ情報と入力完了文字情報を送り、その入力開始時点でのメタデータとしてカメラ内の記録メディアに登録する。これによりメタデータの入力が必要と思った時刻の本番コンテンツにより正確にメタデータを付けることができる。

上述のように、本発明にかかるコンテンツ撮影装置は、ムービー撮影において、パン、ズームなどのカメラワークを一定時間モニタすることにより、メタデータ生成のための閾値を適正に較正できる。さらに、手持ちや三脚固定などのカメラの固定状況を自動的に判定し、カメラワークが正常あるいは異常であることを判定する閾値を自動的に設定できる。これにより、手持ちや三脚固定などカメラワークの品質に応じて、有効シーンや無効シーンの分類がきめ細かくできるようになり、ミスシューティング部である無効部の削除や、撮影の重要な部分であるダイジェスト生成がより高品位に実現できる。また、カチンコなどに連動してタイムコード等の情報をシーンに付与することによって、目的のコンテンツにメタデータを付けることができる。

上述のコンテンツ撮影装置Ａｃｃ３においては、カメラマイコン２０６ｃ（シーン情報生成部２０６ｉ）は、コンテンツデータであるＡＶ信号Ｓａｖの記録動作中または記録終了後に、ユーザによる入力コマンドによりコンテンツデータ（Ｓａｖ）の採用の可否および保留かの何れかの意味を持つ収録結果タグを生成し、収録結果タグを保持するメタデータ選択メモリとして機能するように構成される。

カメラマイコン２０６ｃはさらに、
コンテンツの撮影開始の前に、コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、および撮影プログラム情報の少なくとも何れかを含む情報を収録情報タグとして前記撮影装置内のメモリに入力し、
撮影されたコンテンツの記録動作中に、特徴を有する音を検出してその発生時刻（Ｔｂ）と当該特徴を持つ音の識別情報とを含む特徴音発生タグを生成し、
特徴音発生タグを前記コンテンツのメタデータとして記録メディア２１４に記録する機能を有するように構成される。なお、特徴を有する音とは、カチンコを鳴らした音、ピストル発射音、および太鼓を鳴らした音の何れかである。

カメラマイコン２０６ｃは、記録メディア２１４に記録されたコンテンツの内、収録結果タグが採用（ＯＫ）のコンテンツを、前記シーン番号、前記カット番号、および前記テーク番号の何れかの番号の小さい方より並べ替える機能を有するように構成される。

カメラマイコン２０６ｃは、コンテンツの名前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を新しい名前として登録し、コンテンツの元の名前をコンテンツのメタデータとして登録する機能を有するように構成される。

本発明は、ムービー画像の撮影等に用いられるコンテンツ撮影装置に利用できる。

図１は、本発明の第１の実施の形態に係るコンテンツ撮影装置の説明図である。 図２は、図１に示すカメラの内部構成の説明図である。 図３は、インデックス情報を出力するシーン情報生成部の説明図である。 図４は、インデックスマージ情報を出力するシーン情報生成部の構成を示すブロック図である。 図５は、撮影に関する多数のメタデータと、少数の特徴のあるシーンを表すシーン表現メタデータとの説明図である。 図６は、図５に示したシーン表現メタデータ生成の説明図である。 図７は、ディレクトリ構成とファイル構成の説明図である。 図８は、本発明の第２の実施の形態に係るコンテンツ撮影装置の説明図である。 図９は、図８に示すカメラの内部構成の説明図である。 図１０は、図９に示すＲＯＭに格納されるテーブルの説明図である。 図１１は、本発明の第３の実施の形態に係るコンテンツ撮影装置の説明図である。 図１２は、図１１に示すカメラの内部構成の説明図である。 図１３は、撮影クリップの有効部分と無効部分についての説明図である。 図１４は、ＥＶＦ表示の説明図である。 図１５は、台本、記録メディア、シーン番号、カット番号、テーク番号、テーク採用可否情報、ＰｌａｙＬｉｓｔ、およびＰｌａｙＩｔｅｍの関係図である。

符号の説明

Ａｃｃ１、Ａｃｃ３、Ａｃｃ３ コンテンツ撮影装置
１０１ａ、１０１ｂ、１０１ｃ カメラ
１０２ レンズ部
１０３ マイク
１０４ リモコン
１０５ 撮影対象
１０６ カメラ撮影データ
１０７ 接続ケーブル
１０８ 接続ケーブル
１０９ テレビ
２０１ ズーム制御部
２０２ フォーカス制御部
２０３ 露出制御部
２０４ 撮像素子
２０５ シャッタ速度制御部
２０６ａ、２０６ｂ、２０６ｃ カメラマイコン
２０６ｆ クリップ特定部
２０６ｉ シーン情報生成部
２０６ｋ タイムコード発生部
２０６ｓ カメラワーク検出部
２０６ｔ 判定閾値設定部
２０６ｕ 撮像手段の動作モード処理部
２０６ｗ コンテンツ分類部
２０７ 絶対傾きセンサ
２０８ 角速度センサ
２０９ 加速度センサ
２１０ａ、２１０ｂ、２１０ｃ ユーザ入力系
２１１ 撮像信号処理部
２１２ 音声処理系
２１３ Ｈ．２６４方式エンコーダ
２１４ 記録メディア
２１５ 出力インタフェース
２２０ ＲＯＭ

Claims (22)

1. 映像、音声またはデータの何れかを含むコンテンツデータを、シーンを表す第１のシーン情報を参照して生成される第１のメタデータと組み合わせて情報記憶媒体に記録し、前記第１のシーン情報を参照して別途生成する第２のシーン情報を参照してコンテンツデータの特定部分へのアクセスを可能とするコンテンツ撮影装置であって、
   被写体を撮影して前記コンテンツデータを生成する撮影手段と、
   前記撮影手段の動きを検出するカメラワーク検出手段と、
   前記検出された動きを所定値と比較して、前記第１のメタデータを生成する第１のメタデータ生成手段と、
   所定の特定窓期間において発生する１つ以上の前記第１のメタデータを所定の関数によりフィルタリングしてシーン種別、優先度、開始時刻、終了時刻、および代表時刻の何れかのパラメータを含む第２のメタデータを生成するシーン情報生成手段とを具備するコンテンツ撮影装置。
2. 前記所定の関数は、所定幅の窓期間中に発生するメタデータの優先度の重み付き合計値を演算することを特徴とする請求項１に記載のコンテンツの撮影装置。
3. 前記所定の関数は、所定幅の窓期間中に発生する前記第１のメタデータの中で最大の優先度を有するものを選別することを特徴とする請求項１に記載のコンテンツの撮影装置。
4. 前記所定の関数は、所定期間以上の間隔毎にパラメータを１つずつ設定することを特徴とする請求項１に記載のコンテンツの撮影装置。
5. 前記所定の関数は、所定期間内でパラメータが選択されなかった場合に、前記所定期間毎に１つ以上のパラメータを強制的に付加することを特徴とする請求項４に記載のコンテンツの撮影装置。
6. 前記第２のメタデータに含まれるシーン種別、優先度、開始時刻、終了時刻、および代表時刻のパラメータの少なくとも１つを参照して、複数のシーンを組み合わせてプレイリストを生成するプレイリスト生成手段をさらに具備することを特徴とする請求項１に記載のコンテンツ撮影装置。
7. 前記優先度を参照して、前記第２のメタデータに含まれるパラメータを指定された個数以内に選別するパラメータ選別手段をさらに具備する請求項１に記載のコンテンツ撮影装置。
8. 前記第２のメタデータで構成される特徴あるシーン区間を指定順序で再生する場合に、当該シーン区間の再生時にその特徴の説明をテロップとして再生映像に重畳するテロップ表示手段をさらに備える請求項６に記載のコンテンツ撮影装置。
9. 外部から与えられるダイジェスト再生時間を越えない様に前記パラメータに関連付けられたコンテンツの構成部分を選択するコンテンツ選択手段をさらに具備する請求項１に記載のコンテンツの撮影装置。
10. ダイジェスト化する特徴あるシーンの優先度、種別、ダイジェスト時間長、およびコンテンツのダイジェストへの縮小率の少なくとも一つに対する指定を受け付けるダイジェスト生成方式指定手段と、
    前記コンテンツデータの再生時参照ファイルの補助データである第２優先度リストを参照し、前記指定されたダイジェスト生成方式に従って当該再生時参照ファイルを生成する手段と、
    前記再生時参照ファイルを再生オブジェクトリストに登録する登録手段とをさらに備える請求項１に記載のコンテンツ撮影装置。
11. 前記シーン情報生成手段は、
    特徴を持つ音を検出して、その発生時刻と前記特徴を持つ音の識別情報とを含む特徴音メタデータを生成する特徴音メタデータ生成手段と、
    前記特徴音メタデータ生成手段の出力を保持するメタデータ選択メモリとを具備することを特徴とする請求項１に記載のコンテンツの撮影装置。
12. 前記パラメータは、カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、およびシャッタ速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくとも何れかを表すレンズ部の動作データ、またはユーザの入力コマンドデータ、または、前記動作データにあらかじめ決めた演算処理をカメラ制御手段で行って得たデータの何れかであることを特徴とする請求項１に記載のコンテンツの撮影装置。
13. 前記シーン情報生成手段は、
    前記コンテンツデータの記録動作中または記録終了後に、ユーザによる入力コマンドにより当該コンテンツデータの採用の可否および保留かの何れかの意味を持つ収録結果タグを生成する収録結果タグ生成手段と、
    前記収録結果タグ生成手段の出力を保持するメタデータ選択メモリとを具備する請求項１に記載のコンテンツの撮影装置。
14. コンテンツの撮影開始の前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を収録情報タグとして前記撮影装置内のメモリに入力するデータ入力手段と、
    前記撮影されたコンテンツの記録動作中に、特徴を有する音を検出して、その発生時刻と当該特徴を持つ音の識別情報とを含む特徴音発生タグを生成する特徴音発生タグ生成手段と、
    前記特徴音発生タグを前記コンテンツのメタデータとして前記情報記憶媒体に記録する手段とをさらに具備する請求項１に記載のコンテンツの撮影装置。
15. 前記特徴を有する音とは、カチンコを鳴らした音、ピストル発射音、および太鼓を鳴らした音の何れかであることを特徴とする請求項１４に記載のコンテンツの撮影装置。
16. 前記情報記憶媒体に記録されたコンテンツの内、収録結果タグが採用のコンテンツを、前記シーン番号、前記カット番号、および前記テーク番号の何れかの番号の小さい方より並べ替える手段をさらに具備する請求項１４に記載のコンテンツの撮影装置。
17. コンテンツの名前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を新しい名前として登録する手段と、
    該コンテンツの元の名前を該コンテンツのメタデータとして登録する手段とをさらに具備する請求項１４に記載のコンテンツの撮影装置。
18. コンテンツの撮影開始の前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を収録情報タグとして前記撮影装置内のメモリに入力するデータ入力手段と、
    前記撮影されたコンテンツの記録動作中に、特徴を有する音を検出して、その発生時刻と当該特徴を持つ音の識別情報とを含む特徴音発生タグを生成する特徴音発生タグ生成手段と、
    前記特徴音発生タグを前記コンテンツのメタデータとして前記情報記憶媒体に記録する手段とをさらに具備する請求項１３に記載のコンテンツの撮影装置。
19. 前記特徴を有する音とは、カチンコを鳴らした音、ピストル発射音、および太鼓を鳴らした音の何れかであることを特徴とする請求項１８に記載のコンテンツの撮影装置。
20. 前記情報記憶媒体に記録されたコンテンツの内、収録結果タグが採用のコンテンツを、前記シーン番号、前記カット番号、および前記テーク番号の何れかの番号の小さい方より並べ替える手段をさらに具備する請求項１８に記載のコンテンツの撮影装置。
21. コンテンツの名前に、該コンテンツの撮影シリアル番号、撮影シーン番号、撮影カット番号、撮影テーク番号、撮影プログラム情報の少なくとも何れかを含む情報を新しい名前として登録する手段と、
    該コンテンツの元の名前を該コンテンツのメタデータとして登録する手段とをさらに具備する請求項１８に記載のコンテンツの撮影装置。
22. コンテンツの撮影毎に、前記パラメータに対する優先度が異なる所定数の動作モードを具備し、当該所定数の選択モードのうち少なくとも１つを選択する毎に当該パラメータに対する優先度を表すテーブルを選択する手段を具備する請求項１に記載のコンテンツの撮影装置。

Images