JP5237174B2

JP5237174B2 - 携帯端末によって原コンテンツを編集するコンテンツ編集方法、コンテンツサーバ、システム及びプログラム

Info

Publication number: JP5237174B2
Application number: JP2009094990A
Authority: JP
Inventors: 幸一高木
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2013-07-17
Anticipated expiration: 2029-04-09
Also published as: JP2010246008A; US8522145B2; US20100262913A1

Description

本発明は、コンテンツサーバに蓄積された映像コンテンツを編集する技術に関する。

従来、映像や音声を含むコンテンツを、ハードディスクのような記憶装置に蓄積し、編集（例えばトリミングやクリッピング）することができる装置がある。例えば、家庭用ＡＶ(Audio-Visual)機器やパーソナルコンピュータである。このような装置は、コンテンツを再生する同時に、利用者からの編集操作を受け付ける。その編集操作に応じて、コンテンツを編集する。

データ送信ユニット（例えば端末）が、撮影された映像コンテンツと共に、利用者の操作に基づく編集情報を、ネットワークを介してデータ編集ユニット（例えばサーバ）へ送信する技術がある（例えば特許文献１参照）。データ編集ユニットは、データ送信ユニットから受信した編集情報に基づいて、映像コンテンツを編集する。この技術によれば、データ送信ユニットは、映像コンテンツ全体を、ネットワークを介してアップロードする必要がある。ネットワークにおける伝送コストを低減するために、原コンテンツを、圧縮によって小容量の編集用コンテンツに変換する技術もある（例えば非特許文献１参照）。

逆に、携帯端末が、コンテンツサーバに蓄積された映像コンテンツを編集する技術もある。この技術によれば、携帯端末は、ネットワークを介して、映像コンテンツ全体をダウンロードする必要がある。また、利用者は、映像コンテンツにおける編集位置を検索するために、早送り再生の操作をする必要もある。

これに対し、長い検索時間間隔毎に画像を表示し（マクロ検索）、その画像の中から指定された画像を開始点として短い検索時間間隔毎に画像を表示する（ミクロ検索）ことによって、利用者が短時間で編集位置を特定することができる技術がある（例えば特許文献２参照）。この技術によれば、コンテンツサーバから原コンテンツを全てダウンロードする必要がなく、検索時間毎の画像フレームのみをダウンロードすればよい。これによって、伝送コストが低減できる共に、編集時間を短くすることができる。

特開２００１−３４６１５９号特許４１０４０７１号

「ＭＰＥＧムービーカメラとの連携のための編集支援」、特許庁＞資料室（その他参考情報）＞標準技術集＞ノンリニア編集＞６−３、[online]、［平成２１年４月１日検索］、インターネット＜URL:http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/nle/nle-6-3.html＞「ビデオ情報の自動索引付け手法」、特許庁＞資料室（その他参考情報）＞標準技術集＞ノンリニア編集＞４−２−１、[online]、［平成２１年４月１日検索］、インターネット＜URL:http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/nle/nle-4-2-1.html＞

しかしながら、前述したような従来技術によれば、映像コンテンツの編集処理は、パーソナルコンピュータのような比較的処理能力が高い装置で実行することを前提としている。そのために、携帯電話機のような携帯端末自体で、映像コンテンツの編集処理を実行することは極めて難しい。携帯電話機で再生できる映像コンテンツは、一般に、データサイズが小さく、解像度又は階調も低い。

一般的に、映像コンテンツの編集は、映像コンテンツを視つつ且つ音声を聴きながら操作される。一方で、利用者が携帯端末を用いて編集操作をすることができる場所は、主に外出先である場合が多いと想定される。即ち、利用者が編集操作をする環境では、音声を聴きながら編集操作をすることは難しい。

そこで、本発明は、比較的処理能力が低い携帯端末であっても、コンテンツサーバに蓄積された映像コンテンツを、視覚的に容易に編集することができるコンテンツ編集方法、コンテンツサーバ、システム及びプログラムを提供することを目的とする。

本発明によれば、コンテンツサーバは、映像及び音声を含む原コンテンツを蓄積しており、携帯端末を用いて原コンテンツを編集するコンテンツ編集方法であって、
コンテンツサーバが、原コンテンツから、携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換すると共に、原コンテンツから、所定単位時間毎の音声フレームを抽出し、映像フレームに対応して当該音声フレームの音響レベル値を、編集用コンテンツに含める第１のステップと、
コンテンツサーバが、編集用コンテンツを、携帯端末へ送信する第２のステップと、
携帯端末が、ディスプレイに、編集用コンテンツにおける映像フレームに対応して音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって仮編集情報を生成する第３のステップと、
携帯端末が、仮編集情報を、コンテンツサーバへ送信する第４のステップと、
コンテンツサーバが、原コンテンツを、仮編集情報に応じて実編集する第５のステップと
を有することを特徴とする。

本発明のコンテンツ編集方法における他の実施形態によれば、
第１のステップについて、コンテンツサーバは、編集用コンテンツの映像フレームについて、原コンテンツの動きベクトルの変動量が大きいほど、映像フレームの間の所定単位時間を短く（フレームレートを高く）設定し、及び／又は、低い解像度及び／又は階調に変換することも好ましい。

本発明のコンテンツ編集方法における他の実施形態によれば、
第１のステップについて、コンテンツサーバは、編集用コンテンツの各音声フレームに、当該所定単位時間の前後に隣接する音声フレームの一部を含ませることを特徴とすることも好ましい。

本発明のコンテンツ編集方法における他の実施形態によれば、
第３のステップについて、仮編集情報は、開始時刻及び終了時刻からなる切り取り部分を表す情報を含んでおり、
第５のステップについて、原コンテンツについて、開始時刻直前の所定数のフレームから、終了時刻直後の所定数のフレームまでを切り取るべく編集することも好ましい。

本発明のコンテンツ編集方法における他の実施形態によれば、
第５のステップについて、
２つの部分の仮編集用コンテンツに対するカット編集操作が仮編集情報に含まれている場合、２つの部分の原コンテンツをフェードアウトとフェードインによって連結し、
２つの部分の仮編集用コンテンツに対するトランジション編集操作が仮編集情報に含まれている場合、２つの部分の原コンテンツをクロスフェードによって連結する
ことも好ましい。

本発明によれば、映像及び音声を含む原コンテンツを、携帯端末に編集させるコンテンツサーバであって、
原コンテンツを蓄積する原コンテンツ蓄積手段と、
原コンテンツから、携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換すると共に、原コンテンツから、所定単位時間毎の音声フレームを抽出し、映像フレームに対応して当該音声フレームの音響レベル値を、編集用コンテンツに含める編集用コンテンツ変換手段と、
編集用コンテンツを、携帯端末へ送信する編集用コンテンツ送信手段と、
携帯端末から、編集用コンテンツに対する仮編集情報を受信する仮編集情報受信手段と、
仮編集情報に基づいて、原コンテンツを実編集するコンテンツ実編集手段と
を有することを特徴とする。

本発明のコンテンツサーバにおける他の実施形態によれば、
編集用コンテンツ変換手段は、編集用コンテンツの映像フレームについて、原コンテンツの動きベクトルの変動量が大きいほど、映像フレームの間の所定単位時間を短く（フレームレートを高く）設定し、及び／又は、低い解像度及び／又は階調に変換することも好ましい。

本発明によれば、前述のコンテンツサーバと、該コンテンツサーバと通信可能な携帯端末とを有するシステムにおけるコンテンツ編集システムであって、
携帯端末は、
コンテンツサーバから、編集用コンテンツを受信する編集用コンテンツ受信手段と、
ディスプレイに、編集用コンテンツにおける映像フレームに対応して音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって編集操作を受け付ける編集操作制御手段と、
編集操作に基づいて仮編集情報を生成する仮編集情報生成手段と、
仮編集情報を、コンテンツサーバへ送信する仮編集情報送信手段と
を有することを特徴とする。

本発明のコンテンツ編集システムにおける他の実施形態によれば、
コンテンツサーバの編集用コンテンツ変換手段は、編集用コンテンツの各音声フレームに、当該所定単位時間の前後に隣接する音声フレームの一部を含ませることも好ましい。

本発明のコンテンツ編集システムにおける他の実施形態によれば、
携帯端末の仮編集情報生成手段は、開始時刻及び終了時刻からなる切り取り部分を表す情報を含んでおり、
コンテンツサーバのコンテンツ実編集手段は、原コンテンツについて、開始時刻直前の所定数のフレームから、終了時刻直後の所定数のフレームまでを切り取るべく編集することも好ましい。

本発明のコンテンツ編集システムにおける他の実施形態によれば、
コンテンツサーバのコンテンツ実編集手段は、
２つの部分の仮編集用コンテンツに対するカット編集操作が仮編集情報に含まれている場合、２つの部分の原コンテンツをフェードアウトとフェードインによって連結し、
２つの部分の仮編集用コンテンツに対するトランジション編集操作が仮編集情報に含まれている場合、２つの部分の原コンテンツをクロスフェードによって連結する
ことも好ましい。

本発明によれば、前述のコンテンツサーバと通信可能な携帯端末に搭載されるコンピュータを機能させるコンテンツ編集用のプログラムであって、
コンテンツサーバから、編集用コンテンツを受信する編集用コンテンツ受信手段と、
ディスプレイに、編集用コンテンツにおける映像フレームに対応して音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって編集操作を受け付ける編集操作制御手段と、
編集操作に基づいて仮編集情報を生成する仮編集情報生成手段と、
仮編集情報を、コンテンツサーバへ送信する仮編集情報送信手段と
してコンピュータを機能させることを特徴とする。

本発明のコンテンツ編集方法、コンテンツサーバ、システム及びプログラムによれば、コマ落としされた映像フレームを視ながら編集することができるので、比較的処理能力が低い携帯端末であっても、コンテンツサーバに蓄積された映像コンテンツを容易に編集することができる。また、コマ落としされた映像フレームと共に、音声フレームの音響レベル値を視覚的に視ながら編集することができるので、携帯端末であっても、視覚的に容易に編集することができる。

本発明におけるシステム構成図である。本発明におけるシーケンス図である。本発明における編集用コンテンツを表す説明図である。本発明における携帯端末の操作画面である。本発明におけるトリミングのイン点及びアウト点を表す説明図である。本発明におけるコンテンツサーバ及び携帯端末の機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、利用者によって所持される携帯電話機２及びビデオカメラ３は、ネットワーク（アクセスネットワーク及び／又はインターネット）を介してコンテンツサーバ１に接続されている。

ビデオカメラ３によって撮影された原コンテンツ（映像及び音声を含む）は、コンテンツサーバ１へアップロードされる。コンテンツサーバ１は、その原コンテンツを蓄積する。そして、コンテンツサーバ１は、大容量の原コンテンツを、直接的に編集することなく、圧縮によって小容量の編集用コンテンツに変換する（例えば「プロキシ編集」と称される）。即ち、携帯端末で再生可能となるように、小さいデータサイズに変換する。そして、その編集用コンテンツは、携帯電話機２へ送信される。携帯電話機２は、利用者にその編集用コンテンツを視聴させ、利用者から編集用コンテンツに対する編集操作を受け付ける。そして、その仮編集情報は、コンテンツサーバ１へ送信される。コンテンツサーバは、その仮編集情報に応じて、原コンテンツを実編集する。これによって、利用者は、携帯電話機２を用いて、コンテンツサーバ１に蓄積された原コンテンツを編集することができる。

図２は、本発明におけるシーケンス図である。

（Ｓ２０）ビデオカメラ３は、撮影された原コンテンツを、コンテンツサーバ１へアップロードする。コンテンツサーバ１は、受信した原コンテンツを蓄積する。

（Ｓ２１）コンテンツサーバ１は、原コンテンツから、携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換する。

既存のデジタルビデオカメラによって撮影される映像コンテンツには、代表的にＭＰＥＧ−２又はＨ．２６４／ＭＰＥＧ−４ＡＶＣの圧縮方式が用いられている。この圧縮方式によれば、ハードディスクのような記憶装置へ直接的に保存することができる。この圧縮方式によれば、「イントラピクチャ」と称されるキーフレームのみを用いて復号可能であって、複数のキーフレームにおける時間方向の相関を用いて他のフレームを少ない符号量で圧縮することができる。

原コンテンツから、キーフレームのみを抽出することによって、コマ落としの映像フレームを生成することができる。また、数個毎のキーフレームを抽出することによって、映像フレームレートを低くすることもできる。携帯端末における編集対象としての映像フレームの所定単位時間間隔は、例えば２〜５秒程度に設定することが好ましい。

図３は、本発明における編集用コンテンツを表す説明図である。

図３（ａ）は、原コンテンツの映像フレームを表す。映像フレームの系列には、イントラピクチャが含まれており、例えば所定単位時間毎のイントラピクチャが、編集用コンテンツの映像フレームとして抽出される。図３（ｂ）は、編集用コンテンツの映像フレームを表す。

また、編集用コンテンツの映像フレームについて、原コンテンツの動きベクトルの変動量（例えば動きベクトルの絶対値の平均値）が大きいほど、映像フレーム同士の類似度が低い。この場合、映像フレームの間の所定単位時間を短く（フレームレートを高く）設定することが好ましい。逆に、原コンテンツの動きベクトルの変動量が小さいほど、映像フレーム同士の類似度が高い。この場合、映像フレームの間の所定単位時間を長く（フレームレートを低く）設定することが好ましい。スキップされるマクロブロックの数が多い場合、類似度の高いフレームが連続していると判断できる。

更に、編集用コンテンツの映像フレームは、携帯端末で再生可能となるように、低い解像度及び／又は階調に変換されるものであってもよい。

尚、利用者が、携帯端末２のユーザインタフェースから、映像フレームレートを指定するものであってもよい。携帯端末２は、編集用コンテンツにおける指定された映像フレームレートを、コンテンツサーバ１へ送信する。これによって、コンテンツサーバ１は、利用者所望の映像フレームレート（映像フレームの間の所定単位時間）に対応した編集用コンテンツに変換することができる。即ち、指定された映像フレームレートに応じて、原コンテンツから抽出する映像フレームの時間間隔を制御する。

次に、原コンテンツが、更に音声を含む場合について説明する。ここで「音声」とは、人の声を示す狭義の音声信号だけでなく、楽曲などの音響信号を全て含めたものを意味する。図３（ｃ）は、原コンテンツの音声信号を表す。

この場合、コンテンツサーバ１は、原コンテンツから、映像フレームと同様の所定単位時間毎の音声フレームを抽出する。音声フレームは、編集用コンテンツの映像フレームレートＦ[fps]と同じ単位に区切る（勿論、整数でなくてもよい）。これにより、全音声区間は、区間変数kを用いて、[kF, (k+1)F]に区切ることができる。

図３（ｄ）は、編集用コンテンツの音声フレームを表す。ここで、編集用コンテンツの各音声フレームに、当該所定単位時間の前後に隣接する音声フレームの一部「遊び部分」を含ませる。隣接する音声フレーム同士の音響レベル値が、幾分、平滑化される。これによって、音響レベル値の急峻な変化が滑らかになる。

遊び時間間隔αを規定すると、音声フレームは、[kF-α, (k+1)F+α]に区切られる。遊び時間間隔αによって、隣接する音声区間同士は、若干オーバラップすることになる。音響レベル値は、例えば以下のような情報であってもよい。
・音声信号のパワーに相当する情報
・音声信号の変化分に相当する情報
・Zero Cross点の個数に相当する情報
・基本周波数に相当する情報
尚、音声信号のチャネル数が２ｃｈ以上の場合、音響レベル値は、チャネル毎に別々に導出されてもよいし、全て又は一部のチャネルの平均値であってもよい。

そして、映像フレームに対応する当該音声フレームの音響レベル値は、編集用コンテンツに含められる。

（Ｓ２２）コンテンツサーバ１は、編集用コンテンツを、携帯端末２へ送信する。編集用コンテンツは、コマ落としされた映像フレームと、各映像フレームに対応した音声フレームの音響レベル値とを含む。

（Ｓ２３）携帯端末２は、編集用コンテンツをディスプレイに表示すると共に、利用者からの編集操作を受け付けることによって仮編集情報を取得する。ここで、利用者は、編集用コンテンツに対して編集操作をする。これは、原コンテンツに対する編集操作とは異なるので、「仮編集」と称される。

図４は、本発明における携帯端末の操作画面である。

図４によれば、携帯端末２のディスプレイにおける表示内容が表されている。表示内容は、編集用コンテンツの映像フレームを表示するプレビュー画面と、音響レベル値のタイムラインを表示するシークバーと、利用者によって編集操作がなされる編集操作画面とを有する。

シークバーは、音響レベル値のタイムラインを表示する。利用者が編集操作をする場所が音声を聞くこともできない環境（例えば外出先）であっても、プレビュー画面の映像フレームを視つつ、シークバーの音響レベル値の進行から、編集すべき位置を判断することができる。利用者にとっては、映像フレームに対応する音響レベル値を視覚的に把握することによって、編集すべき位置を特定するための一助となる。

編集操作画面は、編集操作のユーザインタフェースであって、例えば映像コンテンツの一部の切り取り（トリミング、クリッピング）操作をすることができる。映像コンテンツの切り取りには、開始時刻（イン点）及び終了時刻（アウト点）の情報が必要となる。これら情報は、仮編集情報に含められる。

仮編集情報は、文脈自由文法を定義するメタ言語（例えばＢＮＦ記法(Backus-Naur Form)）によって記述される。仮編集情報は、特徴量の形式で表される。例えば、以下のように記述される。

トランジションとは、２つの部分のコンテンツを連結させる際における画像処理方式である。例えばフェードイン、フェードアウト、クロスフェード等がある。

（Ｓ２４）携帯端末２は、仮編集情報を、コンテンツサーバ１へ送信する。

（Ｓ２５）コンテンツサーバ１は、受信した仮編集情報に応じて、原コンテンツを実編集する。

図５は、本発明におけるトリミングのイン点及びアウト点を表す説明図である。

図５（ａ）は、原コンテンツの映像フレームを表す。図５（ｂ）は、編集用コンテンツの映像フレームを表す。図５（ｂ）によれば、編集操作によって、トリミングのイン点とアウト点が指定されている。

図５（ｃ）によれば、イン点及びアウト点の探索範囲を表す。映像フレームＤがイン点として指定された場合、先の映像フレームＣの直後の映像フレームから、映像フレームＤまでの候補範囲で、トリミングのイン点の映像フレームが探索される。また、映像フレームＦがアウト点として指定された場合、映像フレームＦから、後の映像フレームＧの直前の映像フレームまでの候補範囲で、トリミングのアウト点の映像フレームが探索される。

各変数を、以下のように定義する。
FR_ed：仮編集用コンテンツの映像フレームレート
FR_org：原コンテンツの映像フレームレート
（可変フレームレートの場合、最大フレームレート）
T_ed：トリミングされた仮編集用コンテンツの端点の時刻
（１）イン点である場合、トリミングの候補範囲は以下のようになる。
T_ed−１／FR_ed 〜 T_ed ：時刻換算
(T_ed−１／FR_ed)×FR_org 〜 T_ed×FR_org：フレーム番号換算
（２）アウト点である場合、トリミングの候補範囲は以下のようになる。
T_ed 〜 T_ed＋１／FR_ed ：時刻換算
T_ed×FR_org 〜 (T_ed＋１／FR_ed)×FR_org：フレーム番号換算

候補範囲の中から、カット点を検出する。この検出には、例えば非特許文献２に記載の技術が用いられる。候補数は、高々FR_org／FR_edフレームであるために、非常に短時間でカット点検出を実行することができる。

これによって、原コンテンツにおける映像フレームについて、カット点を特定することができる。

次に、カットされた原コンテンツを連結する場合の操作がある。２つの部分の仮編集用コンテンツに対するカット編集操作が仮編集情報によって指定されている場合、２つの部分の原コンテンツをフェードアウトとフェードインによって連結する。また、２つの部分の仮編集用コンテンツに対するトランジション編集操作が仮編集情報によって指定されている場合、２つの部分の原コンテンツをクロスフェードによって連結する。

ここで、フェードイン、フェードアウト及びクロスフェードについては、映像フレームに対しても、音声フレームに対しても適用できる。特に、音声フレームについては、連結した２つの音声レベルの不整合によって、突発的な音になる場合がある。トランジションの機能を用いることによって、このような突発的な音を防止することができる。

図６は、本発明におけるコンテンツサーバ及び携帯端末の機能構成図である。

図６によれば、コンテンツサーバ１は、通信インタフェース部１０と、原コンテンツ蓄積部１１と、原コンテンツ受信部１２と、編集用コンテンツ変換部１３と、編集用コンテンツ送信部１４と、仮編集情報受信部１５と、コンテンツ実編集部１６とを有する。通信インタフェース部１０を除くこれら機能構成部は、コンテンツサーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

原コンテンツ蓄積部１１は、映像及び音声を含む原コンテンツを蓄積する。

原コンテンツ受信部１２は、通信インタフェース部１０を介して、原コンテンツを受信し、その原コンテンツを原コンテンツ蓄積部１１へ出力する。

編集用コンテンツ変換部１３は、原コンテンツから、携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換する。編集用コンテンツ変換部１３は、前述したＳ２１の処理を実行する。

編集用コンテンツ送信部１４は、編集用コンテンツを、携帯端末へ送信する。編集用コンテンツ送信部１４は、前述したＳ２２の処理を実行する。

仮編集情報受信部１５は、携帯端末から、編集用コンテンツに対する仮編集情報を受信する。その仮編集情報は、コンテンツ実編集部１６へ出力される。

コンテンツ実編集部１６は、仮編集情報に基づいて、原コンテンツ蓄積部１１に蓄積される原コンテンツを実編集する。コンテンツ実編集部１６は、前述したＳ２５の処理を実行する。

携帯端末２は、通信インタフェース部２０と、ディスプレイ部２１と、キー操作部２２と、編集用コンテンツ受信部２３と、編集操作制御部２４と、仮編集情報生成部２５と、仮編集情報送信部２６とを有する。編集用コンテンツ受信部２３と、編集操作制御部２４と、仮編集情報生成部２５と、仮編集情報送信部２６とは、携帯端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

編集用コンテンツ受信部２３は、コンテンツサーバ１から、編集用コンテンツを受信する。受信した編集用コンテンツは、編集操作制御部２４へ出力される。

編集操作制御部２４は、編集用コンテンツをディスプレイに表示すると共に、利用者からの編集操作を受け付けることによって編集操作を受け付ける。また、編集操作制御部２４は、映像フレームに対応する音響レベル値を、視覚的にタイムライン上に表示する。編集操作制御部２４は、前述したＳ２３の処理を実行する。

仮編集情報生成部２５は、編集操作に基づいて仮編集情報を生成する。生成された仮編集情報は、仮編集情報送信部２６へ出力される。

仮編集情報送信部２６は、仮編集情報を、コンテンツサーバ１へ送信する。

以上、詳細に説明したように、本発明のコンテンツ編集方法、コンテンツサーバ、システム及びプログラムによれば、コマ落としされた映像フレームを視ながら編集することができるので、比較的処理能力が低い携帯端末であっても、コンテンツサーバに蓄積された映像コンテンツを容易に編集することができる。また、コマ落としされた映像フレームと共に、音声フレームの音響レベル値を視覚的に視ながら編集することができるので、携帯端末であっても、視覚的に容易に編集することができる。

また、本発明によれば、コンテンツサーバから携帯端末へは小容量の編集用コンテンツしか送信されず、携帯端末からコンテンツサーバへは仮編集情報しか送信されないので、ネットワークのコストを低く抑えることができる。また、編集用コンテンツは、携帯端末に蓄積しておくことができるために、利用者による編集操作時に、ネットワークを介してデータを送受信しない。利用者は、小容量の編集用コンテンツに対して編集操作を実行することによって、実質的に、原コンテンツに対して編集操作を実行していることとなる。

例えば映画やテレビ放送のような高画質コンテンツに対しては、最終的に、高精度な編集処理が求められる。これに対し、利用者のビデオカメラで撮影されたような粗いコンテンツに対しては、粗い編集処理であってもよい。本発明によれば、粗い編集用コンテンツに対する編集操作を、できる限り、原コンテンツの編集に反映させることができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１コンテンツサーバ
１０通信インタフェース部
１１原コンテンツ蓄積部
１２原コンテンツ受信部
１３編集用コンテンツ変換部
１４編集用コンテンツ送信部
１５仮編集情報受信部
１６コンテンツ実編集部
２携帯端末、携帯電話機
２０通信インタフェース部
２１ディスプレイ部
２２キー操作部
２３編集用コンテンツ受信部
２４編集操作制御部
２５仮編集情報生成部
２６仮編集情報送信部
３ビデオカメラ

Claims

コンテンツサーバは、映像及び音声を含む原コンテンツを蓄積しており、携帯端末を用いて前記原コンテンツを編集するコンテンツ編集方法であって、
前記コンテンツサーバが、前記原コンテンツから、前記携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換すると共に、前記原コンテンツから、前記所定単位時間毎の音声フレームを抽出し、前記映像フレームに対応して当該音声フレームの音響レベル値を、前記編集用コンテンツに含める第１のステップと、
前記コンテンツサーバが、前記編集用コンテンツを、前記携帯端末へ送信する第２のステップと、
前記携帯端末が、ディスプレイに、前記編集用コンテンツにおける前記映像フレームに対応して前記音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって仮編集情報を生成する第３のステップと、
前記携帯端末が、前記仮編集情報を、前記コンテンツサーバへ送信する第４のステップと、
前記コンテンツサーバが、前記原コンテンツを、前記仮編集情報に応じて実編集する第５のステップと
を有することを特徴とするコンテンツ編集方法。
第１のステップについて、前記コンテンツサーバは、前記編集用コンテンツの映像フレームについて、前記原コンテンツの動きベクトルの変動量が大きいほど、前記映像フレームの間の前記所定単位時間を短く（フレームレートを高く）設定し、及び／又は、低い解像度及び／又は階調に変換することを特徴とする請求項１に記載のコンテンツ編集方法。
第１のステップについて、前記コンテンツサーバは、前記編集用コンテンツの各音声フレームに、当該所定単位時間の前後に隣接する音声フレームの一部を含ませることを特徴とする請求項１又は２に記載のコンテンツ編集方法。
第３のステップについて、前記仮編集情報は、開始時刻及び終了時刻からなる切り取り部分を表す情報を含んでおり、
第５のステップについて、前記原コンテンツについて、前記開始時刻直前の所定数のフレームから、前記終了時刻直後の所定数のフレームまでを切り取るべく編集することを特徴とする請求項１から３のいずれか１項に記載のコンテンツ編集方法。
第５のステップについて、
２つの部分の仮編集用コンテンツに対するカット編集操作が前記仮編集情報に含まれている場合、２つの部分の原コンテンツをフェードアウトとフェードインによって連結し、
２つの部分の仮編集用コンテンツに対するトランジション編集操作が前記仮編集情報に含まれている場合、２つの部分の原コンテンツをクロスフェードによって連結する
ことを特徴とする請求項１から４のいずれか１項に記載のコンテンツ編集方法。
映像及び音声を含む原コンテンツを、携帯端末に編集させるコンテンツサーバであって、
前記原コンテンツを蓄積する原コンテンツ蓄積手段と、
前記原コンテンツから、前記携帯端末で再生可能であって且つ所定単位時間毎のコマ落としの映像フレームからなる編集用コンテンツに変換すると共に、前記原コンテンツから、前記所定単位時間毎の音声フレームを抽出し、前記映像フレームに対応して当該音声フレームの音響レベル値を、前記編集用コンテンツに含める編集用コンテンツ変換手段と、
前記編集用コンテンツを、前記携帯端末へ送信する編集用コンテンツ送信手段と、
前記携帯端末から、前記編集用コンテンツに対する仮編集情報を受信する仮編集情報受信手段と、
前記仮編集情報に基づいて、前記原コンテンツを実編集するコンテンツ実編集手段と
を有することを特徴とするコンテンツサーバ。
前記編集用コンテンツ変換手段は、前記編集用コンテンツの映像フレームについて、前記原コンテンツの動きベクトルの変動量が大きいほど、前記映像フレームの間の前記所定単位時間を短く（フレームレートを高く）設定し、及び／又は、低い解像度及び／又は階調に変換することを特徴とする請求項７に記載のコンテンツサーバ。
請求項６又は７に記載のコンテンツサーバと、該コンテンツサーバと通信可能な携帯端末とを有するシステムにおけるコンテンツ編集システムであって、
前記携帯端末は、
前記コンテンツサーバから、前記編集用コンテンツを受信する編集用コンテンツ受信手段と、
ディスプレイに、前記編集用コンテンツにおける前記映像フレームに対応して前記音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって編集操作を受け付ける編集操作制御手段と、
前記編集操作に基づいて前記仮編集情報を生成する仮編集情報生成手段と、
前記仮編集情報を、前記コンテンツサーバへ送信する仮編集情報送信手段と
を有することを特徴とするコンテンツ編集システム。
前記コンテンツサーバの前記編集用コンテンツ変換手段は、前記編集用コンテンツの各音声フレームに、当該所定単位時間の前後に隣接する音声フレームの一部を含ませることを特徴とする請求項８に記載のコンテンツ編集システム。
前記携帯端末の前記仮編集情報生成手段は、開始時刻及び終了時刻からなる切り取り部分を表す情報を含んでおり、
前記コンテンツサーバの前記コンテンツ実編集手段は、前記原コンテンツについて、前記開始時刻直前の所定数のフレームから、前記終了時刻直後の所定数のフレームまでを切り取るべく編集することを特徴とする請求項８又は９に記載のコンテンツ編集システム。
前記コンテンツサーバの前記コンテンツ実編集手段は、
２つの部分の仮編集用コンテンツに対するカット編集操作が前記仮編集情報に含まれている場合、２つの部分の原コンテンツをフェードアウトとフェードインによって連結し、
２つの部分の仮編集用コンテンツに対するトランジション編集操作が前記仮編集情報に含まれている場合、２つの部分の原コンテンツをクロスフェードによって連結する
ことを特徴とする請求項８から１０のいずれか１項に記載のコンテンツ編集システム。
請求項６又は７に記載のコンテンツサーバと通信可能な携帯端末に搭載されるコンピュータを機能させるコンテンツ編集用のプログラムであって、
前記コンテンツサーバから、前記編集用コンテンツを受信する編集用コンテンツ受信手段と、
ディスプレイに、前記編集用コンテンツにおける前記映像フレームに対応して前記音響レベル値を、視覚的にタイムライン上に表示すると共に、利用者からの編集操作を受け付けることによって編集操作を受け付ける編集操作制御手段と、
前記編集操作に基づいて前記仮編集情報を生成する仮編集情報生成手段と、
前記仮編集情報を、前記コンテンツサーバへ送信する仮編集情報送信手段と
してコンピュータを機能させることを特徴とするコンテンツ編集用のプログラム。