JP2010268195A - 動画コンテンツ編集プログラム、サーバ、装置及び方法 - Google Patents

Abstract

【課題】利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムについて、１つの動画コンテンツの中で、各コンテンツオブジェクトの内容に応じて、利用者の視覚的な編集操作を容易にすることができる動画コンテンツ編集プログラム等を提供する。
【解決手段】動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含む。第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示するユーザインタフェース制御手段と、タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段としてコンピュータを機能させる。
【選択図】図５

Description

本発明は、動画コンテンツ編集プログラム、サーバ、装置及び方法に関する。特に、ＣＧＭ(Customer Generation Media)に対する簡易な動画編集におけるユーザインタフェースに関する。

従来、映像や音声を含む動画コンテンツを、ハードディスクのような記憶装置に蓄積し、編集（例えばトリミングやクリッピング）することができる装置がある。例えば、家庭用ＡＶ(Audio-Visual)機器やパーソナルコンピュータを用いて編集をすることができる。このような装置は、コンテンツを再生すると同時に、利用者からの編集操作を受け付け、その操作に応じてコンテンツを編集する。

動画コンテンツを編集するためにディスプレイに表示されるユーザインタフェースとして、通常、「タイムライン編集」が用いられる。タイムライン編集によれば、動画コンテンツの時系列の流れの中で、ストーリーを構成する画像が時系列に並べられたユーザインタフェースを有する。これによって、利用者にとって、視覚的に編集しやすくなる。利用者は、タイムラインに表示されている画像の位置（時刻）を、別の位置に移動させたり、その位置に別の画像を上書きすることができる。また、画像の加工に限られず、ＢＧＭ(Back Ground Music)や効果音を挿入することもできる。

近年、タイムライン編集技術によれば、「ストーリーボード(Storyboard)」が注目されている。ストーリーボードとは、シーン（場面）が切り替わる毎に、最初の１コマのサムネイルを、複数個、時系列に並べたもの（タイムライン）である。これによって、利用者は、視覚的に簡単に、シーン単位での入れ替えや追加をすることができる。ストーリーボードによれば、動画コンテンツは、複数のコンテンツオブジェクト(Contents Object)から構成される。コンテンツオブジェクトは、TimelineGroupクラスから派生したコンテナタイムラインの型であり、任意の型のTimelineを格納することができる。

図１は、従来技術におけるストーリーボードの表示例である。

図１によれば、指定されたコンテンツオブジェクトを再生するプレイビューと、コンテンツオブジェクトリストと、ストーリーボードとが表示されている。

ストーリーボードにおける基本的な編集操作は、ドラッグ＆ドロップであり、トリミングしたコンテンツオブジェクト（カットオブジェクト）を移動させる。これによって、コンテンツオブジェクトが時系列に結合され、再生順序が変更される。

また、他の編集操作として、シーン切替効果（トランジション(transition)）を設定することもできる。トランジション操作は、ストーリーボードの中に、マウスでトランジションを置いていく感じで、直感的に操作することができる。

他の技術として、サーバに保存された画像コンテンツを、端末で編集する技術がある（例えば特許文献１参照）。この技術によれば、端末は、サーバから、画像コンテンツにおけるサムネイル画像を受信し、そのサムネイル画像の再生手順を示すプレイリストデータを生成且つ編集する。プレイリストデータは、ユーザの操作に基づいて、サムネイル画像を自由に配置することができる。

また、動画コンテンツを自動編集する技術もある（例えば特許文献２参照）。この技術によれば、分割された撮影データそれぞれに対して編集シナリオ（ガイダンスデータ）
が関連付けられる。そのガイダンスデータに応じて動画コンテンツが自動的に編集される。

特開２００４−３３６３４３号公報 特開２００５−０３９６８５号公報 特開平１０−０６６０８７号公報 特開２００７−１２７７６１号公報 特開２００６−２５４４８６号公報

特許文献１に記載された技術によれば、サーバから取得された複数のサムネイルは、単一のタイムラインにしか配置することができない。ユーザインタフェースの１つの画面では、編集状況及び内容に応じて、一部のデータが異なる複数の編集シナリオを管理・生成することができない。

また、サーバから受信するサムネイル画像の数が、編集の操作性に影響を与える。サムネイル数が少ないと、細かい部分における編集操作性が低下し、サムネイル数が多いと、編集シナリオの作成に時間がかかり、編集操作性が低下する。また、サムネイル数が多いと、全サムネイルを同時に表示するのは難しく、更に、ユーザの希望に従った編集シナリオを作成するには時間も手間もかかり、ディスプレイサイズが小さい携帯端末における編集操作性も低下する。

特許文献２に記載された技術によれば、映像を撮影する前（動画コンテンツを作成する前）に詳細な編集シナリオを準備する必要がある。即ち、編集シナリオを作成した後、ビデオカメラで撮影する必要がある。更に、編集シナリオと編集したビデオの各シーンは１対１に対応をしておく必要がある。生成したビデオの中に編集シナリオにないシーンを混入させることはできない。

そこで、本発明は、既に撮影された１つの動画コンテンツの中で、各コンテンツオブジェクトの内容に応じて、利用者の視覚的な編集操作を容易にすることができる動画コンテンツ編集プログラム、サーバ、装置及び方法を提供することを目的とする。

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
動画コンテンツを蓄積するコンテンツ蓄積手段と、
第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示するユーザインタフェース制御手段と、
タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段と
としてコンピュータを機能させることを特徴とする。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
コンテンツオブジェクトは、時刻を含んでおり、
ユーザインタフェース制御手段は、タイムラインについて、コンテンツオブジェクトを時系列に表示するようにコンピュータを機能させることも好ましい。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、第１のタグ情報を含み且つ第２のタグ情報も含むコンテンツオブジェクトの第１のタイムラインから、第１のタグ情報を含まず且つ第２のタグ情報を含むコンテンツオブジェクトの第２のタイムラインへ遷移するべく表示するようにコンピュータを機能させることも好ましい。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、第１のタグ情報を含まず且つ第２のタグ情報を含むコンテンツオブジェクトの第２のタイムラインから、第１のタグ情報を含み且つ第２のタグ情報も含むコンテンツオブジェクトの第１のタイムラインへ遷移するべく更に表示するようにコンピュータを機能させることも好ましい。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
ユーザインタフェース制御手段は、コンテンツオブジェクトに対する利用者のドラッグ＆ドロップ操作の直後に、複数のタイムラインの遷移を更新するようにコンピュータを機能させることも好ましい。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び／又は無音状態をタグ情報として、コンテンツオブジェクトに付加するタグ情報付加手段としてコンピュータを更に機能させることも好ましい。

本発明の動画コンテンツ編集プログラムにおける他の実施形態によれば、
人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
コンテンツオブジェクトの映像から、顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
してコンピュータを更に機能させ、
タグ情報付加手段は、顔認証手段から出力された人物の名前を、タグ情報として付加するようにコンピュータを機能させることも好ましい。

本発明によれば、前述した動画コンテンツ編集プログラムをコンピュータに機能させる端末へ、動画コンテンツを送信するサーバであって、
当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び／又は無音状態をタグ情報として、コンテンツオブジェクトに付加するタグ情報付加手段を更に有することを特徴とする。

本発明のサーバにおける他の実施形態によれば、
人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
コンテンツオブジェクトの映像から、顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
を更に有し、
タグ情報付加手段は、顔認証手段から出力された人物の名前を、タグ情報として付加することも好ましい。

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する動画コンテンツ編集装置において、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
動画コンテンツを蓄積するコンテンツ蓄積手段と、
第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示するユーザインタフェース制御手段と、
タイムライン毎に、コンテンツオブジェクトを結合するコンテンツ生成手段と
を有することを特徴とする。

本発明によれば、利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
装置は、動画コンテンツを蓄積するコンテンツ蓄積部を有し、
第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示する第１のステップと、
タイムライン毎に、コンテンツオブジェクトを結合する第２のステップと
を有することを特徴とする。

本発明の動画コンテンツ編集プログラム、サーバ、装置及び方法によれば、既に撮影された１つの動画コンテンツから、そのコンテンツの内容に応じて複数のタイムラインを表示することができるので、利用者の視覚的な編集操作を容易にすることができる。

従来技術におけるストーリーボードの表示例である。 本発明における端末の機能構成図である。 本発明のシステムにおける各装置の機能構成図である。 コンテンツオブジェクトリスト及びストーリーボードの表示画面である。 本発明における第１のユーザインタフェースの表示画面である。 本発明における第２のユーザインタフェースの表示画面である。 本発明における第３のユーザインタフェースの表示画面である。 本発明における第１のドラッグ＆ドロップ操作に基づく表示画面である。 本発明における第２のドラッグ＆ドロップ操作に基づく表示画面である。 本発明におけるコンテンツオブジェクトの挿入操作に基づく表示画面である。 本発明を適用可能なシステムの構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成される。動画コンテンツは、例えば家庭用ビデオカメラで撮影されたような映像及び音声であってもよい。コンテンツオブジェクトは、シーン（場面）検出に基づくシーン毎に分割されてもよいし、所定単位時間毎に分割されてもよい。

本発明によれば、動画コンテンツを構成するコンテンツオブジェクトは、その内容に関係する複数のタグ情報を含む。タグ情報とは、編集操作の際に利用者が想定するキーワードであって、例えば当該コンテンツオブジェクトの映像に映る人物の名前であってもよい。子供の運動会を撮影した動画コンテンツの場合、その映像に映る子供の名前が、タグ情報に適する。また、コンテンツオブジェクトは、時刻を更に含む。更に、コンテンツオブジェクトは、例えば運動会の競技種目のようなイベント名称やシーンを説明する情報を含むものであってもよい。

図２は、本発明における端末の機能構成図である。

図２によれば、利用者は、端末１を用いて、動画コンテンツに対して編集操作をする。端末１は、動画コンテンツを、ビデオカメラ２からケーブル（又はネットワーク）を介して受信するものであってもよい。端末１は、例えばパーソナルコンピュータであってもよいし、携帯端末であってもよい。

端末１は、視覚的なユーザインタフェースを表示するディスプレイ部１０と、マウスのようなユーザからの操作を受け付けるユーザ操作部１１と、動画コンテンツを蓄積するコンテンツ蓄積部１２と、ユーザインタフェース制御部１３と、コンテンツ生成部１４とを有する。また、端末１は、ビデオカメラ２からのケーブルに接続される通信インタフェース部１９と、その通信インタフェース部１９を介してビデオカメラ２から動画コンテンツを受信するコンテンツ受信部１５とを有する。ビデオカメラ２から受信された動画コンテンツは、コンテンツ蓄積部１２へ蓄積される。

ユーザインタフェース制御部１３は、第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示する。コンテンツオブジェクトが時刻を含む場合、タイムラインのコンテンツオブジェクトは、時系列に表示される。

また、利用者がユーザ操作部１１に特定のタグ情報を入力することも好ましい。利用者によって入力されたタグ情報をキーとして、コンテンツ蓄積部１２からコンテンツオブジェクトが検索される。検索されたコンテンツオブジェクトは、ユーザインタフェース制御部１３によって、ディスプレイ部１０にタイムラインで表示される。これによって、利用者は、特定のタグ情報を含むコンテンツオブジェクトに対して編集操作をすることができる。

コンテンツ生成部１４は、タイムライン毎に、コンテンツオブジェクトを結合する。これによって、第１のタグ情報を含む複数のコンテンツオブジェクトからなる第１の動画コンテンツと、第２のタグ情報を含む複数のコンテンツオブジェクトからなる第２の動画コンテンツとを生成することができる。

更に、端末１は、顔画像登録部１６と、顔認証部１７と、タグ情報付加部１８と、コンテンツ受信部１５と、通信インタフェース部１９とを更に有することも好ましい。顔画像登録部１６は、人物の名前と、その人物の顔画像とを予め登録する。また、顔認証部１７は、コンテンツオブジェクトの映像から、顔画像登録部１６に蓄積されたに顔画像を認証し、人物の名前を導出する。顔認識システム(Facial Recognition System)は、デジタルカメラでは一般的に搭載されている機能である。

タグ情報付加部１８は、コンテンツオブジェクトに、顔認証部１７から出力された人物の名前を、タグ情報として付加する。タグ情報が付加されたコンテンツオブジェクトは、コンテンツ蓄積部１２へ蓄積される。

また、タグ情報付加部１８は、コンテンツオブジェクトに対して、シーンや場面転換の頻度、沈黙の割合等を検出して、自動的にタグ情報を付加するものであってもよい。サーバにおけるシーンの検出技術には、例えば特許文献３に記載の技術を用いることができる。また、登場人物や会話シーンの検出技術には、例えば特許文献４に記載の技術を用いることができる。更に、場面転換の検出技術には、例えば特許文献５に記載の技術を用いることができる。

更に、コンテンツオブジェクトに付加されるタグ情報は、その動画コンテンツを撮影者によって入力設定されるものであってもよい。例えば運動会の競技種目のようなイベント名称を、タグ情報として付加する場合である。

尚、前述された顔画像登録部と、顔認証部と、タグ情報付加部との機能は、ビデオカメラ２に搭載されていてもよい。この場合、端末１にこれら機能を搭載する必要はない。近年のデジタルビデオカメラには、顔認識システムを既に搭載したものも多い。そのために、ビデオカメラ２から出力される動画コンテンツには、各コンテンツオブジェクトに既にタグ情報が含まれていることも好ましい。

図３は、本発明のシステムにおける各装置の機能構成図である。

図３によれば、利用者によって所持される端末１及びビデオカメラ２は、ネットワーク（アクセスネットワーク及び／又はインターネット）を介してコンテンツサーバ３に接続されている。

コンテンツサーバ３は、家庭用のオンラインストレージのようなサイトである。ビデオカメラ２によって撮影された動画コンテンツを、ビデオカメラ２から受信し、その動画コンテンツをコンテンツ蓄積部３２に蓄積する。また、コンテンツサーバ３は、顔画像登録部３６と、顔画像認証部３７と、タグ情報付加部３８とを有し、図２で前述したと同様に、コンテンツオブジェクトにタグ情報を付加する。コンテンツサーバ３が、コンテンツオブジェクトにタグ情報を付加することによって、端末１における処理負荷を軽減することができる。

端末１は、利用者の操作によって、コンテンツサーバ３へアクセスする。これに対し、コンテンツサーバ３は、タグ情報を付加したコンテンツオブジェクトを、端末１へ送信する。これによって、利用者は、端末１を用いて、動画コンテンツに対して編集操作をすることができる。

また、端末１は、コンテンツサーバ３へ、タグ情報をキーとして、ダウンロードすべきコンテンツオブジェクトを絞り込むこともできる。端末１は、編集操作に不要なコンテンツオブジェクトをダウンロードする必要がなくなる。

図４は、コンテンツオブジェクトリスト及びストーリーボードの表示画面である。

図４によれば、編集しようとしている動画コンテンツは、兄弟２人「令子」「幸一」の子供のいる家庭で、２人が通っている小学校の運動会をホームビデオカメラで撮影したものであるとする。動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成されている。

図４（ａ）のコンテンツオブジェクトリストによれば、複数のコンテンツオブジェクトには、撮影日時と、タグ情報とが含まれている。各コンテンツオブジェクトには、その映像に映る子供の名前が、タグ情報として含まれる。例えば、予め子供の顔を登録し、顔認証によって自動的に子供の名前を導出することができる。
「令子」「幸一」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２， ＣＯ６）
「令子」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２，ＣＯ３， ＣＯ６）
「令子」のみが映るコンテンツオブジェクト
：（ ＣＯ３， ）
「幸一」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２， ＣＯ４，ＣＯ５，ＣＯ６）
「幸一」のみが映るコンテンツオブジェクト
：（ ＣＯ４，ＣＯ５ ）

図４（ｂ）のストーリーボードによれば、図４（ａ）のコンテンツオブジェクトが時系列に並べられている。

ここで、利用者が、「令子」が映る動画コンテンツと、「幸一」が映る動画コンテンツとを各々作成することを所望したとする。
「令子」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２，ＣＯ３， ＣＯ６）
「幸一」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２， ＣＯ４，ＣＯ５，ＣＯ６）

図５は、本発明における第１のユーザインタフェースの表示画面である。

図５（ａ）によれば、図４（ｂ）と異なって、２つのタイムラインが表示される。本発明によれば、動画コンテンツを編集する際に、タグ情報に基づいて図５（ａ）のような表示に自動的に並び替えられる。複数のタイムラインの表示は、ユーザインタフェース制御部１３によって制御される。

図５（ａ）によれば、第１のタイムラインのコンテンツオブジェクトは、第１のタグ情報「令子」を含む。ここで、第１のタイムラインには、第１のタグ情報「令子」及び第２のタグ情報「幸一」を含むコンテンツオブジェクトも並べられる。次に、第２のタイムラインには、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトが並べられる。

図５（ａ）によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。即ち、利用者の操作無しには、後の時刻のコンテンツオブジェクトが、先の時刻のコンテンツオブジェクトの前に表示されることはない。
第１のタイムラインを再生した場合
：（ＣＯ１，ＣＯ２，ＣＯ３， ＣＯ６）が再生される。
第２のタイムラインを再生した場合
：（ＣＯ１，ＣＯ２， ＣＯ４，ＣＯ５，ＣＯ６）が再生される。

図５（ａ）によれば、第１のタグ情報「令子」を含み且つ第２のタグ情報「幸一」も含むコンテンツオブジェクトＣＯ２の第１のタイムラインから、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトＣＯ４の第２のタイムラインへ遷移するべく表示される。また、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトＣＯ５の第２のタイムラインから、第１のタグ情報「令子」を含み且つ第２のタグ情報「幸一」も含むコンテンツオブジェクトＣＯ６の第１のタイムラインへ遷移するべく更に表示される。このような表示は、ユーザインタフェース制御部によって制御される。

図５（ｂ）によれば、子供一人のみが映るコンテンツオブジェクトが、並列に表示されている。例えば、運動会の中で、同一競技に一人の子供が複数回映っている場合、その子供が映るコンテンツオブジェクトは１つで十分である場合がある。図５（ｂ）によれば、徒競走におけるシーンが並列に表示されている。
「令子」のみが映るコンテンツオブジェクト：（ＣＯ３）
「幸一」のみが映るコンテンツオブジェクト：（ＣＯ４）
「幸一」のみが映るコンテンツオブジェクト：（ＣＯ５）

図５（ｂ）のように表示することによって、不要として１つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「幸一」に関する２つのタイムラインを再生して比較することよって、ＣＯ４又はＣＯ５の一方を削除することができる。例えば、第２にタイムラインが削除された場合、以下のように並べられる。
「令子」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２，ＣＯ３， ＣＯ６）
「幸一」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２， ＣＯ５，ＣＯ６）

図６は、本発明における第２のユーザインタフェースの表示画面である。

図６（ａ）によれば、第１のタイムラインには、第１のタグ情報「開会式」を含むコンテンツオブジェクトが並べられる。次に、第２のタイムラインには、第２のタグ情報「徒競走」を含むコンテンツオブジェクトが並べられる。次に、第３のタイムラインには、第３のタグ情報「閉会式」を含むコンテンツオブジェクトが並べられる。即ち、開会式、徒競争、騎馬戦などイベント（シーン）の種類に従って、タイムラインが自動的に並べ替えられる。

図６（ａ）によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。
第１のタイムラインを再生した場合
：（ＣＯ１）が再生される。
第２のタイムラインを再生した場合
：（ＣＯ２，ＣＯ３, ＣＯ４）が再生される。
第３のタイムラインを再生した場合
：（ＣＯ５）が再生される。

図６（ｂ）によれば、子供一人のみが映るコンテンツオブジェクトが、並列に表示されている。ここでは、徒競走におけるシーンが並列に表示されている。
「幸一」のみが映るコンテンツオブジェクト：（ＣＯ３）
「幸一」のみが映るコンテンツオブジェクト：（ＣＯ４）

図６（ｂ）のように表示することによって、不要として１つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「幸一」に関する２つのタイムラインを再生して比較することよって、ＣＯ３又はＣＯ４の一方を削除することができる。例えば、第３のタイムラインが削除された場合、以下のように並べられる。
「開会式」が映るコンテンツオブジェクト
：（ＣＯ１）
「徒競走」が映るコンテンツオブジェクト
：（ＣＯ２、ＣＯ３）
「経過意識」が映るコンテンツオブジェクト
：（ＣＯ５）

図７は、本発明における第３のユーザインタフェースの表示画面である。

図７（ａ）によれば、第１のタイムラインのコンテンツオブジェクトは、第１のタグ情報「令子」を含む。ここで、第１のタイムラインには、第１のタグ情報「令子」及び第２のタグ情報「幸一」を含むコンテンツオブジェクトも並べられる。次に、第２のタイムラインには、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトが並べられる。

図７（ａ）によれば、コンテンツオブジェクトの遷移として直列部分と並列部分とが表示されているが、時系列は維持して表示される。
第１のタイムラインを再生した場合
：（ＣＯ１，ＣＯ２，ＣＯ３， ＣＯ６，ＣＯ８）が再生される。
第２のタイムラインを再生した場合
：（ＣＯ１，ＣＯ２，ＣＯ４，ＣＯ５，ＣＯ７，ＣＯ８）が再生される。

図７（ａ）によれば、第１のタグ情報「令子」を含み且つ第２のタグ情報「幸一」も含むコンテンツオブジェクトＣＯ２の第１のタイムラインから、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトＣＯ４の第２のタイムラインへ遷移するべく表示される。また、第１のタグ情報「令子」を含まず且つ第２のタグ情報「幸一」を含むコンテンツオブジェクトＣＯ７の第２のタイムラインから、第１のタグ情報「令子」を含み且つ第２のタグ情報「幸一」も含むコンテンツオブジェクトＣＯ８の第１のタイムラインへ遷移するべく更に表示される。このような表示は、ユーザインタフェース制御部によって制御される。

図７（ｂ）によれば、子供一人のみが映るコンテンツオブジェクトが、競技ごとに並列に表示されている。例えば、運動会の中で、一人の子供が映っているコンテンツを競技ごとにまとめる場合がある。図７（ｂ）によれば、徒競走におけるシーンと騎馬戦におけるシーンが並列に表示されている。
「徒競走」についてのコンテンツオブジェクト：（ＣＯ３，ＣＯ４，ＣＯ５）
「騎馬戦」についてのコンテンツオブジェクト：（ＣＯ６， ，ＣＯ７）

図７（ｂ）のように表示することによって、不要として１つのタイムラインを、視覚的に容易に削除することもできる。利用者は、同一画面で「徒競走」に関するタイムラインと「騎馬戦」に関するタイムラインとを再生して比較することよって、（ＣＯ３，ＣＯ４，ＣＯ５）又は（ＣＯ６， ，ＣＯ７）の一方を削除することができる。例えば、第２にタイムラインが削除された場合、以下のように並べられる。
「徒競走」が映るコンテンツオブジェクト
：（ＣＯ１，ＣＯ２，ＣＯ３，ＣＯ４，ＣＯ５，ＣＯ８）

図４〜図７に表されたタイムラインの自動配置は、登場人物の数が３人以上であってもよいし、イベント（シーン）の数が多数であっても同様に拡張することができる。

図８は、本発明における第１のドラッグ＆ドロップ操作に基づく表示画面である。

図８（ａ）によれば、利用者が、ＣＯ３をドラッグし、ＣＯ６へドロップしたとする。本発明よれば、コンテンツオブジェクトに対する利用者のドラッグ＆ドロップ操作の直後に、複数のタイムラインの遷移が更新され、図８（ｂ）へ移行する。図８（ｂ）によれば、第１のタイムラインにタグ情報「令子」を含むコンテンツオブジェクトが並び、第２のタイムラインにタグ情報「幸一」を含むコンテンツオブジェクトが並ぶ。
第１のタイムライン（ＣＯ３，ＣＯ４，ＣＯ５，ＣＯ６）
ＣＯ３をドラッグし、ＣＯ６へドロップ
第１のタイムライン（ＣＯ３，ＣＯ６）／第２のタイムライン（ＣＯ４，ＣＯ５）

図９は、本発明における第２のドラッグ＆ドロップ操作に基づく表示画面である。

図９（ａ）によれば、利用者が、第１のタイムラインのＣＯ２をドラッグし、第２のタイムラインのＣＯ４へドロップしたとする。このとき、図９（ｂ）によれば、ＣＯ２->ＣＯ３の第１のタイムラインと、ＣＯ２->ＣＯ４->ＣＯ５の第２のタイムラインとが表示される。
第１のタイムライン（ＣＯ２，ＣＯ３）／第２のタイムライン（ＣＯ４，ＣＯ５）
第１のタイムラインのＣＯ２をドラッグし、第２のタイムラインのＣＯ４へドロップ
第１のタイムライン（ＣＯ２，ＣＯ３）
第２のタイムライン（ＣＯ２，ＣＯ４，ＣＯ５）

図１０は、本発明におけるコンテンツオブジェクトの挿入操作に基づく表示画面である。

図１０（ａ）によれば、利用者が、第１のタイムラインのＣＯ３及びＣＯ４の間で逆クリックし、メニューから「追加」を選択し、ＣＯ５の挿入操作をしたとする。このとき、図１０（ｂ）によれば、第１のタイムライン（ＣＯ２，ＣＯ３，ＣＯ５，ＣＯ６）が表示される。

また、コンテンツオブジェクトの間で、トランジションを追加することもできる。トランジションとは、例えば「フェードイン」「フェードアウト」「クロスフェード」がある。

図１１は、本発明を適用可能なシステムの構成図である。尚、図１１によれば、本発明に関係する機能部にのみ、図２及び図３と同様の符号が表記されている。

図１１によれば、ビデオ撮影者によって操作されるビデオカメラ２が、撮影した原コンテンツを、コンテンツサーバ３へアップロードする。コンテンツサーバ３は、その原コンテンツをコンテンツ蓄積部３２に蓄積する。

これに対し、コンテンツサーバ３は、原コンテンツとは別に、携帯端末向けの編集用コンテンツを作成する。編集用コンテンツは、携帯端末の編集処理負荷を軽減するために、原コンテンツよりもフレームレート及び／又は解像度を低下させたものである。この編集用コンテンツにも、本発明におけるタグ情報が付加される。

次に、編集者の操作によって、端末１は、コンテンツサーバ３へアクセスし、タグ情報が付加された編集用コンテンツを受信する。

端末１は、ユーザインタフェース制御部１３を通して編集用コンテンツをディスプレイ部１０に表示し、編集者にプロキシ編集（メタ編集）を操作させる。即ち、編集者は、動画コンテンツを直接的に編集することなく、編集用コンテンツに対して編集操作をする。端末１は、編集者の操作に応じて、編集用コンテンツに対する仮編集情報（例えば編集メタ情報）を生成する。仮編集情報（ＥＤＬ(Edit Decision List)）とは、例えばコンテンツのどの時刻からどの時刻までを抽出し，どのようなトランジションエフェクトを付けて断片をくっつけるかの情報を含む。そして、端末１は、その仮編集情報を、コンテンツサーバ３へアップロードする。

コンテンツサーバ３は、コンテンツ生成部１４によって、仮編集情報に対応するコンテンツオブジェクトを組み合わせて、実編集を実行する。

以上、詳細に説明したように、本発明の動画コンテンツ編集プログラム、サーバ、装置及び方法によれば、既に撮影された１つの動画コンテンツから、そのコンテンツの内容に応じて複数のタイムラインを表示することができるので、利用者の視覚的な編集操作を容易にすることができる。

複数のタイムラインにおけるコンテンツオブジェクトが、直列に並ぶと共に且つ分岐によって並列に並ぶために、１つの動画コンテンツから、複数の動画コンテンツを作成する場合に、視覚的な編集操作を容易にする。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
２ ビデオカメラ
３ コンテンツサーバ
１０ ディスプレイ部
１１ ユーザ操作部
１２、２２、３２ コンテンツ蓄積部
１３ ユーザインタフェース制御部
１４ コンテンツ生成部
１５ コンテンツ受信部
１６、２６、３６ 顔画像登録部
１７、２７、３７ 顔画像認証部
１８、２８、３８ タグ情報付加部
１９、２９、３９ 通信インタフェース部
２０ カメラ／マイク部

Claims (11)

1. 利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置に搭載されたコンピュータを機能させる動画コンテンツ編集プログラムにおいて、
   前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
   前記動画コンテンツを蓄積するコンテンツ蓄積手段と、
   第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示するユーザインタフェース制御手段と、
   前記タイムライン毎に、前記コンテンツオブジェクトを結合するコンテンツ生成手段と
   としてコンピュータを機能させることを特徴とする動画コンテンツ編集プログラム。
2. 前記コンテンツオブジェクトは、時刻を含んでおり、
   前記ユーザインタフェース制御手段は、前記タイムラインについて、前記コンテンツオブジェクトを時系列に表示するようにコンピュータを機能させることを特徴とする請求項１に記載の動画コンテンツ編集プログラム。
3. 前記ユーザインタフェース制御手段は、第１のタグ情報を含み且つ第２のタグ情報も含むコンテンツオブジェクトの第１のタイムラインから、第１のタグ情報を含まず且つ第２のタグ情報を含むコンテンツオブジェクトの第２のタイムラインへ遷移するべく表示するようにコンピュータを機能させることを特徴とする請求項２に記載の動画コンテンツ編集プログラム。
4. 前記ユーザインタフェース制御手段は、第１のタグ情報を含まず且つ第２のタグ情報を含むコンテンツオブジェクトの第２のタイムラインから、第１のタグ情報を含み且つ第２のタグ情報も含むコンテンツオブジェクトの第１のタイムラインへ遷移するべく更に表示するようにコンピュータを機能させることを特徴とする請求項３に記載の動画コンテンツ編集プログラム。
5. 前記ユーザインタフェース制御手段は、前記コンテンツオブジェクトに対する利用者のドラッグ＆ドロップ操作の直後に、複数のタイムラインの遷移を更新するようにコンピュータを機能させることを特徴とする請求項３又は４に記載の動画コンテンツ編集プログラム。
6. 当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び／又は無音状態を前記タグ情報として、前記コンテンツオブジェクトに付加するタグ情報付加手段としてコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載の動画コンテンツ編集プログラム。
7. 人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
   前記コンテンツオブジェクトの映像から、前記顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
   してコンピュータを更に機能させ、
   前記タグ情報付加手段は、前記顔認証手段から出力された人物の名前を、タグ情報として付加するようにコンピュータを機能させることを特徴とする請求項６に記載の動画コンテンツ編集プログラム。
8. 請求項１から５のいずれか１項に記載の動画コンテンツ編集プログラムをコンピュータに機能させる端末へ、前記動画コンテンツを送信するサーバであって、
   当該コンテンツオブジェクトの映像に映る人物の名前、シーン、場面転換及び／又は無音状態を前記タグ情報として、前記コンテンツオブジェクトに付加するタグ情報付加手段を更に有することを特徴とするサーバ。
9. 人物の名前と、該人物の顔画像とを予め登録する顔画像登録手段と、
   前記コンテンツオブジェクトの映像から、前記顔画像登録手段に蓄積されたに顔画像を認証し、人物の名前を導出する顔認証手段と
   を更に有し、
   前記タグ情報付加手段は、前記顔認証手段から出力された人物の名前を、タグ情報として付加することを特徴とする請求項８に記載のサーバ。
10. 利用者に動画コンテンツを編集させるユーザインタフェースを表示する動画コンテンツ編集装置において、
    前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
    前記動画コンテンツを蓄積するコンテンツ蓄積手段と、
    第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示するユーザインタフェース制御手段と、
    前記タイムライン毎に、前記コンテンツオブジェクトを結合するコンテンツ生成手段と
    を有することを特徴とする動画コンテンツ編集装置。
11. 利用者に動画コンテンツを編集させるユーザインタフェースを表示する装置における動画コンテンツ編集方法において、
    前記動画コンテンツは、時間的に分割された複数のコンテンツオブジェクトから構成され、該コンテンツオブジェクトは、その内容に関係する複数のタグ情報を含んでおり、
    前記装置は、前記動画コンテンツを蓄積するコンテンツ蓄積部を有し、
    第１のタグ情報を含む複数のコンテンツオブジェクトの第１のタイムラインを表示すると共に、第１のタグ情報を含まないコンテンツオブジェクトの第２のタイムラインを、第１のタイムラインと並列に表示する第１のステップと、
    前記タイムライン毎に、前記コンテンツオブジェクトを結合する第２のステップと
    を有することを特徴とする動画コンテンツ編集方法。

Images