JP4200741B2 - ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム - Google Patents
ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム Download PDFInfo
- Publication number
- JP4200741B2 JP4200741B2 JP2002329093A JP2002329093A JP4200741B2 JP 4200741 B2 JP4200741 B2 JP 4200741B2 JP 2002329093 A JP2002329093 A JP 2002329093A JP 2002329093 A JP2002329093 A JP 2002329093A JP 4200741 B2 JP4200741 B2 JP 4200741B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- collage
- segment
- segments
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオの作成および編集に関する。
【０００２】
【従来の技術】
ビデオカメラは、家庭やオフィス、そのほかの使用形態で普及を続けている。例えば、休暇や結婚式、卒業式などの家族の行事を記録するために、ビデオカメラが使用されることが多い。オフィスでは、プレゼンテーション、会議、ユーザ調査、フィールドワークの記録にビデオカメラを使用したり、出張に携帯して人や場所、活動を記録したりすることが多い。
【０００３】
近年、パーソナル・コンピュータとビデオカメラとをインタフェース接続し、ビデオをパーソナル・コンピュータのメモリに記憶させるためのシステムの開発が進んでいる。ビデオをビデオテープやキャプチャ・カード、メモリ・スティックから、さまざまなフォーマットでパーソナル・コンピュータに転送することができるようになった結果、ビデオを記憶、閲覧、編集および転送することへの要望が強くなっている。
【０００４】
編集されていないビデオは、大抵は興味をひく部分と、長くて退屈な部分とが混在しているため、１、２度の鑑賞には堪えても、その後はしまいこまれてしまう。また、編集されていないビデオは、急なカメラ移動や、撮影時間が長すぎたり逆に短すぎたりする部分のために品質が低いため、興味をひく部分が次に現れるまでの間に、見る人を退屈させてしまうことが多い。
【０００５】
編集されていないビデオは、長くて退屈であるばかりか、情報を記憶するのにかなりの記憶容量を必要とする場合が多い。未編集ビデオファイルの保存に必要な記憶容量は、おおむね数バイトから数百メガバイトである。未編集ビデオは、記憶容量を大量に消費するほか、電子メールやそのほかの電子送信システムを利用してビデオを伝送することは難しく、速度も遅いのが一般的である。
Ａｄｏｂｅ Ｐｒｅｍｉｅｒｅ（登録商標）などの、既存のビデオ編集システムは、専門的なビデオ制作者を対象としているため、ビデオや音声トラックのアセンブルおよびミキシングを行って編集ビデオを制作するには時間がかかる場合が多い。このほかのシステムとして、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１８，５３３「インタラクティブ・カスタムビデオ制作システム」（２０００年７月１８日出願。この特許出願を参照によって本願明細書に援用する）に記載されているようなシステムが挙げられるが、これらは使用方法は比較的易しいものの、編集ビデオの制作にはかなりの回数のユーザ対話が必要となる。
【０００６】
【非特許文献１】
“Adobe Premiere”、[online]、Adobe Systems Incorporated、インターネット＜URL: http://www.adobe.com/products/premiere/＞
【非特許文献２】
“Apple iMovie”、[online]、Apple Computer, Inc.、インターネット＜URL: http://www.apple.com/imovie/＞
【非特許文献３】
Patrick Chiuほか、“A Generic Algorithm for Video Segmentation and Summarization”、IEEE International Conference on Multimedia and Expo（ICME）、（米国）、２０００年、第３巻、ｐ．１３２９−１３３２
【非特許文献４】
Andreas Girgensohnほか、“A Semi-Automatic Approach to Home Video Editting”、 User Interface Software and Technology 2000（UIST 2000）、（米国）、２０００年、ACM Press、ｐ．８１−８９
【非特許文献５】
“In-Sync Speed Razor”、[online]、in-sync corporation、インターネット＜URL: http://www.in-sync.com/＞
【非特許文献６】
“Javu Technologies JavuNetwork”、[online]、インターネット＜URL: http://www.javu.com/＞
【非特許文献７】
Allan Kuchinskyほか“FotoFile; A Consumer Multimedia Organization and Retrieval System”、 Conference on Human Factors in Computing Systems 1999（CHI 1999）、（米国）、１９９９年、ACM Press、ｐ．４９６−５０３
【非特許文献８】
Shingo Uchihashiほか“Summarizing Video Using a Shot Importance Measure and a Frame Packing Algorithm”、IEEE International Conference on Acoustics, Speech, and Signal Processing 1999（ICASSP 1999）、（米国）、１９９９年、第６巻、p．３０４１−３０４４
【非特許文献９】
Shingo Uchihashiほか“Video Manga: Generating Semantically Meaningful Video Summaries”、ACM Multimedia 1999、（米国）、１９９９年、ACM Press、p．３８３−３９２
【０００７】
【発明が解決しようとする課題】
既存のシステムでは、ビデオを電子的に送ろうとする場合、ユーザは未編集のままビデオ全体を送るか、数時間を費やして編集ビデオを制作してから編集ビデオを送るか、のいずれかの選択肢しかなかった。事情によっては専門家にビデオ編集を委ねる必要が生じるが、多くの場合望ましくなく、時間の浪費も大きい。
【０００８】
以上のことから、比較的少ない回数のユーザ入力でビデオを分割し、ユーザが閲覧、保存または転送のために、ビデオの一部を容易に選択できるようにするシステムおよび方法を案出することが望ましい。
【０００９】
【課題を解決するための手段】
本発明は、ビデオコラージュを作成する方法を含む。この方法は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、を含むようにしてもよい。ビデオセグメントがビデオコラージュ・テンプレートと関連付けられると、システムは、ビデオコラージュ・テンプレートと、これと関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する。
なお、本発明における「ビデオを複数のビデオセグメントに分割する」とは、ビデオを時間軸上にて分割することを指す。
【００１０】
ある態様において、本発明は、少なくとも１つの個別のビデオフレームと、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示する、ビデオコラージュ表示装置を含む。前記代表画像は、前記少なくとも１つの個別のビデオフレーム内にはめ込まれる。
【００１２】
さらに別の態様では、本発明は、ビデオコラージュを作成するための装置を含むようにしてもよい。この装置は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含むようにしてもよい。
【００１３】
次に本発明の具体的な態様を以下に述べる。本発明の第１の態様は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するステップと、を含む、ビデオコラージュの作成方法である。第２の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択するステップと、前記選択された複数のビデオセグメントの各々を、前記ビデオコラージュ・テンプレートの個別のフレームと関連付けるステップと、を含む。第３の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、各々が前記複数のビデオセグメントのうちの１つを代表する、複数の代表画像を提供するステップと、前記複数の代表画像の中から１つの代表画像を選択するステップと、前記代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップと、を含む。第４の態様は、第１の態様において、ビデオセグメント・テンプレートを提供するステップをさらに含み、前記ビデオセグメント・テンプレートが複数の代表画像を含み、各代表画像が前記複数のビデオセグメントのうちの１つと関連付けられており、前記ビデオセグメントを関連付けるステップが、前記複数の代表画像の中の１つの代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップを含む。第５の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、前記ビデオを選択された数のセグメントに分割するステップを含む。第６の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割するステップを含む。第７の態様は、第１の態様において、前記重要度を示す値が、前記ビデオセグメントが関連付けられた前記個別のビデオフレームの表示サイズに関連している。第８の態様は、第１の態様において、前記特性ベクトルが、前記ビデオセグメントの内容のアクティビティに関連している。第９の態様は、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートと、前記個別のビデオフレームのうちの少なくとも１つにはめ込まれた、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示し、前記代表画像が選択手段により選択されることにより、前記代表画像の前記重要度を示す値と前記特性ベクトルとに基づいて再生時間が予め短縮された、前記代表画像に関連する前記ビデオセグメントを再生する、ビデオコラージュ表示装置である。第１０の態様は、第９の態様において、前記ビデオコラージュ表示装置は、複数の個別のビデオフレームを表示し、前記複数の個別のビデオフレームの各々に代表画像がはめ込まれ、各代表画像は１つのビデオセグメントと関連付けられている。第１１の態様は、第９の態様において、前記代表画像がはめ込まれた前記個別のビデオフレームの表示サイズに応じて、重要度を示す値が前記代表画像に割り当てられている。第１２の態様は、第９の態様において、前記個別のビデオフレームの表示サイズの比と、前記関連するビデオセグメントの内容のアクティビティとに基づいて前記特性ベクトルの長さの比が決定される。第１３の態様は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含む、ビデオコラージュ作成装置である。第１４の態様は、第１３の態様において、前記関連付手段が、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択し、前記選択された複数のビデオセグメントを、前記ビデオコラージュ・テンプレートの個別のフレームと関連付ける。第１５の態様は、第１３の態様において、前記分割手段が、前記ビデオを選択された数のセグメントに分割する。第１６の態様は、第１３の態様において、前記分割手段が、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割する。第１７の態様は、コンピュータに、ビデオを複数のビデオセグメントに分割する手順と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供する手順と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける手順と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる手順と、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる手順と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化する手順と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する手順と、を実行させるための、プログラムである。
【００１４】
【発明の実施の形態】
本発明を、特定の実施形態について、以下に説明する。本発明のこのほかの目的、特徴、利点は、本願明細書および図面を参照すれば、明白となる。
【００１５】
図１は、本発明の一実施形態に従った、ビデオセグメントを挿入し配置するための４つのビデオコラージュ・テンプレート１００、１１０、１２０、１３０の一例を示している。ビデオコラージュ・テンプレートは、ビデオセグメントをその中にはめ込む、個別のビデオフレームをそれぞれ含む。例えば、ビデオコラージュ・テンプレート１００は、個別のビデオフレーム１０１、１０３、１０５、１０７を含む。ビデオコラージュ・テンプレート１１０は、個別のビデオフレーム１１１、１１３、１１５を含む。ビデオコラージュ・テンプレート１２０は、個別のビデオフレーム１２１、１２３、１２５、１２７、１２９を含む。ビデオコラージュ・テンプレート１３０は、個別のビデオフレーム１３１、１３２、１３３、１３４、１３５、１３６、１３７、１３８を含む。個別のビデオフレームのサイズはビデオコラージュ・テンプレートのサイズによって制限されるものの、ビデオフレームの形状やサイズは任意に設定することができる。個別のビデオフレームの形状は、例えば、ビデオフレーム１２３のような楕円形、ビデオフレーム１３４のような円形、そのほか任意の形状とすることができる。また、ビデオフレーム数も任意に設定することができる。ビデオコラージュ・ユーザ・インタフェースに含まれる個別のビデオフレーム数は、１、２、３あるいはそのほかの任意の数とすることができる。
【００１６】
ビデオコラージュ・テンプレートは、システムが提供するようにしても、ユーザが作成するようにしてもよい。ビデオコラージュ・テンプレートは、例えばＭｉｃｒｏｓｏｆｔ ＰｏｗｅｒＰｏｉｎｔ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｖｉｓｉｏ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔ（登録商標）、Ｃｏｒｅｌ Ｄｒａｗ（登録商標）、デネバシステムズ社のＣａｎｖａｓ（登録商標）などの任意の製図アプリケーションを利用して作成することができ、電子ファイルとして記憶装置に保存することができる。ビデオコラージュ・テンプレートは、一度作成されると、ほかのユーザと共有したり、電子ファイルとして保存したりすることができる。
【００１７】
図２は、本発明の一実施形態に従ったビデオセグメント・テンプレート２００を示している。ビデオセグメント・テンプレート２００は、関連付けられたビデオセグメントの代表画像（例えば、代表画像２０１、２０３、２０５、２０７、２０９）を含む。ビデオは予め定められた数のセグメントに分割され、各ビデオセグメントについて代表画像が選択され、この代表画像が特定のセグメントと関連付けられる。ビデオセグメント・テンプレート２００を用いて、代表画像をユーザに提示するようにしてもよい。
【００１８】
ビデオセグメントごとの代表画像の選定は、さまざまな手段により行うことができる。例えば、関連するビデオセグメントの最初のフレームに含まれる画像を代表画像２０１としてもよい。または、ビデオセグメントの各フレームに画像解析アルゴリズムを適用して、そのビデオセグメントを端的に表しているフレームを選定し、このフレームの画像を代表画像とすることもできる。あるいは、ユーザがビデオセグメントを見て、その中の場面やフレームを選択し、選択した場面やフレームの中の画像を代表画像としてもよい。
【００１９】
図３は、本発明の一実施形態に従ったビデオコラージュ・ユーザ・インタフェース３００を示している。ビデオコラージュ・ユーザ・インタフェース３００は、ユーザが選択したビデオコラージュ・テンプレート３１０と、ビデオセグメント・テンプレート３２０とを含む。ビデオセグメント・テンプレート３２０は、セグメントに分割されたビデオの代表画像（例えば、代表画像３２１、３２３、３２５、３２７、３２９）を含む。ビデオコラージュ・ユーザ・インタフェース３００は、さまざまな機能を実行する際に使用されるひとまとまりのコントローラ機構３０１、３０３、３０５、３０７、３０９を備えるようにしてもよい。ユーザは、例えば、矢印ボタン３０１、３０３、３０５、３０７を使って選択ボックス３４０を代表画像３２３に合わせ、選択機構３０９を起動することで、ビデオセグメント・テンプレート３２０の中から代表画像（例えば、代表画像３２３）を選択することができる。さらに、選択機構３０９を再び起動することで、この代表画像３２３と関連付けられたビデオセグメントを再生するようにしてもよい。また、ユーザは、代表画像を選択した後、この選択した代表画像を、コントローラ機構３０１、３０３、３０５、３０７、３０９を使ってビデオコラージュ・テンプレート３１０のビデオフレームにはめ込むようにしてもよい。
【００２０】
ユーザが代表画像をビデオコラージュ・テンプレート３１０の個別のフレームにはめ込むと、画像がはめ込まれたビデオフレームに、代表画像が表示される。代表画像を選択すれば、代表画像と関連付けられたビデオセグメントを見ることができる。代表画像と関連付けられたビデオセグメントの再生は、関連付けられた代表画像の入った個別のビデオフレーム内や、個々の「ウィンドウ」内、あるいはディスプレイ・モニタ５０４のようなビューイング・デバイスの全面に表示して行うことができる。
【００２１】
コントローラ機構３０１、３０３、３０５、３０７、３０９、および選択ボックス３５０は、あくまで例示的に使用したものであり、このほかの手段によって代表画像、および代表画像と関連付けられたビデオセグメントの選択、閲覧、配置を行うことも可能である。例えば、ユーザは、カーソル制御デバイス５０５（図５参照）などの任意のポインティング・デバイスを利用したり、タッチ感応ディスプレイ画面やキーボード５０６のキーストロークを利用して代表画像を選択することにより、これらの機能を実行することができる。
【００２２】
図４は、本発明の一実施形態に従ったビデオコラージュ４００の一例を示している。ビデオコラージュ４００は、ビデオコラージュ・ユーザ・インタフェース３００（図３参照）を利用して作成される。ビデオコラージュ４００の作成に当たり、ユーザは代表画像３２１を選択し、これをビデオフレーム３１１にはめ込む。これにより、ビデオコラージュ４００のビデオフレーム４１１にはめ込まれた代表画像４２１が得られる。次に、ユーザは代表画像３２３を選択し、これをビデオフレーム３１３にはめ込む。これにより、ビデオフレーム４１３にはめ込まれた代表画像４２３が得られる。次に、ユーザは代表画像３２５を選択し、これをビデオフレーム３１５にはめ込む。これにより、ビデオフレーム４１５にはめ込まれた代表画像４２５が得られる。次に、ユーザは代表画像３２７を選択し、これをビデオフレーム３１７にはめ込む。これにより、ビデオフレーム４１７にはめ込まれた代表画像４２７が得られる。次に、ユーザは代表画像３２９を選択し、これをビデオフレーム３１９にはめ込む。これにより、ビデオフレーム４１９にはめ込まれた代表画像４２９が得られる。
【００２３】
ビデオコラージュ４００は、一度作成されると、フレーム配置や、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報を含む、個別の電子ファイルとして保存することができる。また、ファイルは選択された代表画像と関連付けられたビデオセグメントを含むようにしてもよい。
【００２４】
また、ビデオコラージュまたは選択された代表画像は、関連付けられたビデオセグメントが記憶されている場所へのリンクを含むようにしてもよい。例えば、インターネットを通じてビデオを入手することができる場合、電子ファイルは、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報、および代表画像と関連付けられた各ビデオセグメントの場所へのリンクのみを含むようにしてもよい。この場合、ビデオコラージュ４００から代表画像が選択されると、これと関連付けられたビデオセグメントがインターネット上を流れ、ユーザに提示される。関連付けられた各ビデオセグメントへのリンクを電子ファイルに含めておけば、ビデオコラージュ４００の電子ファイルのサイズが非常に小さくても、電子ファイルを記憶させたり転送したりすることが可能となる。
【００２５】
ビデオコラージュ４００の電子ファイルのビデオファイル形式は、ユーザが閲覧、保存、転送することができるものであれば、任意の形式とすることができる。例えば、ビデオコラージュ４００の電子ファイルは、ＭＰＥＧ（Moving Picture Experts Group）ファイル、ＡＶＩ（Audio Video Interleave）ファイル、ＤＶ（Digital Video）ファイル、ＱｕｉｃｋＴｉｍｅファイル、またはこのほかの任意のビデオファイル形式で保存することができる。
【００２６】
ビデオコラージュ４００が一度作成されると、ユーザはビデオコラージュ４００をウェブ・サイトで公開したり、電子メールなどの伝送デバイスを利用してほかのユーザに転送したり、電子ファイルとして保存したり、ビデオコラージュのコピーを印刷したり、ＤＶＤ（Digital Video Disc）、ＶＣＤ（Video Compact Disc）、ＣＤ（Compact Disc）などを作成したりすることができる。
【００２７】
本発明の適用範囲はインターネットの利用に限定されないが、本発明の実施形態を例示する目的でインターネットを取り上げる。本発明の実施形態は、任意の形式のエンドツーエンド通信チャネル上で実施することも可能である。例えば、本発明の実施形態は、インスタント・メッセージ・システムや、ローカル・エリア・ネットワーク（ＬＡＮ）などの内部ネットワークとともに機能するよう、またはピアツーピア・ネットワークを介して機能するよう、実施してもよい。
【００２８】
図５は、本発明の実施形態を実施するのに適した、計算デバイス・アーキテクチャ５００を示している。計算デバイス・アーキテクチャ５００は、プロセッサ５０２、記憶デバイス５０３、モデムなどのインターネット・アクセス用装置５１０、ディスプレイ・モニタ５０４を含む。さらに、計算デバイス・アーキテクチャ５００は、カーソル制御デバイス５０５、ランダム・アクセス・メモリ（ＲＡＭ）５０７、リード・オンリー・メモリ（ＲＯＭ）５０８、キーボード５０６、グラフィクス・コプロセッサ５０９を含む構成としてもよい。異なる要素間でデータ転送を行うため、計算デバイス・アーキテクチャ５００の要素は、すべて共通バス５０１で相互接続されている。バス５０１は、データ、アドレス、制御信号を含むことが多い。
【００２９】
本発明の実施形態を実行できる計算デバイス・アーキテクチャとして図５のアーキテクチャ５００を取り上げたが、本発明の実施形態の実施にはこのほかにも任意の計算デバイス・アーキテクチャが利用可能である。
【００３０】
本発明の一実施形態において、記憶デバイス５０３は、コンピュータで読み出し可能な媒体などの、製造部品とすることができる。記憶デバイス５０３の例として、磁気ハードディスク、光ディスク、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、またはこのほかの読み出しおよび書き込み可能型データ記憶技術が挙げられ、これらは単独もしくは組み合わせにより使用することができる。
【００３１】
記憶デバイス５０３は、計算デバイス・アーキテクチャ５００を用いてプログラムもしくはアプリケーションを実行することのできる、オペレーティング・システム５１１を含むようにしてもよい。オペレーティング・システム５１１の例として、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ ＯＳ（登録商標）、Ｕｎｉｘ（登録商標）が挙げられる。本発明の一実施形態はビデオコラージュ・ソフトウェア・プログラム５１２として実施され、記憶デバイス５０３に記憶される。
【００３２】
ビデオコラージュ・ソフトウェア・プログラム５１２などの本発明の実施形態は、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションの形式をとることができ、これらは単独もしくは組み合わせとすることができる。ビデオコラージュ・ソフトウェア・プログラム５１２は、１、２もしくは任意の数の計算デバイス５００を利用して実施することができる。
【００３３】
図６、図７、図８は特定の機能を実行するためのロジック・ボックスを示していることが、当業者には理解されよう。ロジック・ボックス数は、実施形態に応じて増減することができる。本発明の一実施形態では、ロジック・ボックスは、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションを表していてもよく、これらは単独もしくは組み合わせとすることができる。例えば、ロジック・ボックスは、図５に示されたビデオコラージュ・ソフトウェア・プログラム５１２の一部や、本発明のこのほかの実施形態の任意の一部を表すことができる。
【００３４】
図６は、本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップの概略を示す、フローチャート６００である。
【００３５】
ユーザは、ロジック・ボックス６０１でシステムを開始し、ビデオコラージュのレイアウトを作成する際に使用したいビデオを提供する。ビデオを受け取ると、制御はロジック・ボックス６０３に進む。
【００３６】
ロジック・ボックス６０３で、システムは所与のビデオから１組のビデオセグメントを生成する。この１組のビデオセグメントは、ビデオの中の、所定数のセグメントを含む。一実施形態において、ユーザはビデオのセグメント数を選択することができる。あるいは、ビデオを予め設定した数のセグメントに分割することもできる。さらに、システムが所与のビデオの長さを判別し、この長さに基づいてセグメント数を選択するようにしてもよい。
【００３７】
ロジック・ボックス６０４で、ビデオコラージュ・テンプレート１００、１１０、１２０、１３０（図１参照）のような１組の所定のビデオコラージュ・テンプレートがユーザに提示され、ユーザがそのうちの１つのテンプレートを選択する。または、ユーザが独自のビデオコラージュ・テンプレートを作成し、これを使用してもよい。
【００３８】
ロジック・ボックス６０５で、ビデオコラージュ・ユーザ・インタフェースがユーザに提示される。図３に示したビデオコラージュ・ユーザ・インタフェース３００のようなビデオコラージュ・ユーザ・インタフェースは、ロジック・ボックス６０４で選択されたビデオコラージュ・テンプレートと、ロジック・ボックス６０３で生成されたビデオセグメントに各々関連付けられた代表画像を含むビデオセグメント・テンプレート２００（図２参照）とを含む。
【００３９】
ロジック・ボックス６０７に示されるように、ユーザは、ビデオセグメント・テンプレートからセグメントを選択し、選択したセグメントを、選択したビデオコラージュ・テンプレートの所望のフレームにはめ込む。ユーザがビデオコラージュ・テンプレートの個別のフレームのそれぞれに画像をはめ込むと、あるいはユーザがビデオコラージュ・テンプレートの個別のフレームに画像がはめ込まれたことをシステムに指示すると、制御はロジック・ボックス６０９に進む。ロジック・ボックス６０９で、選択されたビデオコラージュ・テンプレートと、選択された代表画像とから、ビデオコラージュが作成される。
【００４０】
図７は、本発明の一実施形態に従った、ロジック・ボックス６０３（図６参照）として示された、ビデオセグメントを生成するステップを示すフローチャートである。
【００４１】
ビデオの分割は、ビデオの提供に応答して、ロジック・ボックス７０１で開始される。アイスクリーム・パーティーを撮影した、もとの長さが１４分のビデオを例示的に取り上げ、フローチャート７００に示されるようなビデオの分割を説明する。
【００４２】
ビデオが提供されると、ロジック・ボックス７０３に示されるような最初のビデオ分割を行うことができる。最初のビデオ分割は、さまざまな周知のビデオ分割手段により行うことができる。例えば、「ショット」によってビデオを分割することができる。「ショット」は、ビデオカメラで録画を開始してから録画を停止するまでの時間で定義される。あるいは、場面の切り替えを検出するアルゴリズムを利用してビデオを分割してもよい。ショットや場面は、ユーザが手動で分割するようにしてもよい。
【００４３】
最初のビデオ分割が行われると、制御はロジック・ボックス７０４に進む。ロジック・ボックス７０４で、ロジック・ボックス７０３で生成されたセグメントの数が、ユーザに選択肢として提示されるセグメント数（Ｎ）より少ないか、もしくは同数であるか否かが判定される。ユーザに選択肢として提示されるセグメント数Ｎは、予め設定しておいてもよく、またユーザが設定することもできる。ロジック・ボックス７０３で生成されたビデオセグメントの数がＮと同数もしくはそれより少ないと判定されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、ビデオセグメントはユーザに提示されるビデオセグメントとして使用される。一方、ビデオセグメントの数がＮより多ければ、制御はロジック・ボックス７０５に進む。
【００４４】
アイスクリーム・パーティーのビデオ例を参照する。このビデオは、一般的な色差アルゴリズムを用いて、まず１７９のセグメントに分割される。このようなアルゴリズムでは、ビデオをフレーム間の色差に基づいて分割する。最初のビデオ分割には、このほかの一般的な分割アルゴリズムを利用してもよい。１７９というセグメント数は、ユーザが迅速かつ容易に処理するには多く、Ｎが２４に設定されているため、制御はロジック・ボックス７０５に進む。
【００４５】
ロジック・ボックス７０５で、ロジック・ボックス７０３で生成された１組のビデオセグメントの中から、Ｎ個のビデオセグメントが選択される。この１組のＮ個のビデオセグメントを、便宜上Ｓ（Ｎ）と呼ぶことにする。１組のＳ（Ｎ）は、全体のビデオを端的に示すセグメントを含むことになる。
【００４６】
ロジック・ボックス７０５で説明されるようなビデオセグメントの選択は、さまざまなビデオ分割手段により実行することができる。例えば、ジェネティック分割アルゴリズム（ＧＳＡ）を用いて、Ｎ個のビデオセグメントを選択してもよい。ＧＳＡについては、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１１，３８９「画像データ・ストリームなどのデータのジェネティック分割方法」（２０００年７月７日出願。この特許出願を参照によって本願明細書に援用する）を参照されたい。このほかのセグメント選択手段として、隣接するフレームのヒストグラム差に着眼し、ヒストグラム差が閾値を上回る地点がセグメントの境界となるよう閾値を設定する方法が挙げられる。
【００４７】
Ｎ個のセグメントが選択されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、１組のＮ個のビデオセグメントが、ユーザに提示される１組のビデオセグメントとして使用される。
【００４８】
別の実施形態として、ロジック・ボックス７０３、７０４、７０５を結合させてもよい。この場合、最初のビデオ分割は、ビデオセグメント数が所定数Ｎとなるビデオに対して行われることになる。分割は、ＧＳＡを利用して行ってもよい。この場合ＧＳＡにはＮが与えられる。ＧＳＡは、ビデオ全体をＮ個のセグメントに分割し、ロジック・ボックス７０７で、このＮ個のセグメントがユーザに提示される。
【００４９】
図８は、本発明の一実施形態に従って、ロジック・ボックス６０７および６０９（図６参照）に示されるように、選択されたビデオセグメントを抽出、変更し、ビデオコラージュを作成するステップを概略的に示すフローチャートである。
【００５０】
プロセスはロジック・ボックス８００で開始され、制御はロジック・ボックス８０１に進む。ロジック・ボックス８０１で、ユーザは、上述のいずれかの手段によって、ビデオコラージュ・テンプレートの各フレームについて、関連付けられたビデオセグメントの代表画像を選択する。関連付けられたビデオの代表画像が選択され、この代表画像がビデオコラージュ・テンプレートの個別のビデオフレームにはめ込まれると、制御はロジック・ボックス８０３に進む。
【００５１】
ロジック・ボックス８０３で、選択された代表画像と関連付けられたビデオセグメントが、当該技術で知られている任意のビデオ抽出手段によって、ビデオから各々抽出される。抽出されたビデオセグメント（ｓ0，ｓ1，ｓ2，…，ｓk-1）の集合を便宜上Ｕ（ｋ）と呼ぶことにする。Ｕ（ｋ）＝｛ｓ0，ｓ1，ｓ2，…，ｓk-1｝であり、ｋはユーザの選択したセグメント数である。各ビデオセグメントが抽出されると、制御はロジック・ボックス８０５に進む。
【００５２】
ロジック・ボックス８０５では、抽出された各ビデオセグメントに、重要度を示す値が割り当てられる。一実施形態では、ビデオコラージュにおいて、大きいビデオフレームに割り当てられたセグメントには高い重要度を示す値が割り当てられ、小さいビデオフレームに割り当てられたセグメントには低い重要度を示す値が割り当てられる。選択されたビデオセグメントに重要性を示す値を割り当てる作業は、ユーザが行うようにしてもよい。
【００５３】
ロジック・ボックス８０６で、各セグメントの内容のアクティビティを特徴付けるため、各セグメントに「特性ベクトル」（ａ（ｓ）で表す）が関連付けられる。内容のアクティビティの例として、（１）セグメントの長さ、（２）媒体中における経時変化（視覚的変化、音声変化、テキスト変化）などが挙げられる。各ビデオセグメントに特性ベクトルを割り当てることにより、ビデオセグメントを調整するもう１つの特性が与えられる。このもう１つの特性により、ビデオセグメントの長さを、個別のビデオフレームのサイズに対して線形マッピングするという問題が解決される。ビデオセグメントの長さを個別のビデオフレームのサイズに対して線形マッピングすると、短いセグメントが大きいフレームに割り当てられた場合に、ほかのビデオセグメントが短くなりすぎてしまうという問題が生じる。
【００５４】
特性ベクトルを定義する例を、１つのセグメントの、フレーム間での視覚的変化を取り上げて説明する。視覚的変化は、色ヒストグラムの差を求め、式ｆ（ｓ）＝セグメントｓにおいて色ヒストグラム差が所定値以上であるフレーム数（Ｆ”）を用いて決定することができる。式中、ｆ（ｓ）は視覚的変化の値である。
【００５５】
ビデオカメラのパン動作では、ｆ（ｓ）は大きくなり、ズームでは、ｆ（ｓ）は小さくなり、静止オブジェクトに静止カメラが向けられる場合、ｆ（ｓ）はゼロとなる。一様な背景上を移動するオブジェクトに静止カメラが向けられる場合、ｆ（ｓ）は小さくなる場合もあるため、ｆ（ｓ）を適切に調節するためには、画像のエッジ検出を行ってもよい。エッジ検出手段は、当該技術で知られているため、詳細な説明は省略する。
【００５６】
特性ベクトルは、特性ベクトルを定義する際に次式を用いることで、正規化された視覚的変化と、ビデオセグメントの長さとを考慮したものとしてもよい。
【００５７】
【数１】
【００５８】
特性ベクトルは、別の特性を加えることで、別の要素を含むよう変更することができる。例えば、ビデオセグメントの音声を（例えば、１０ミリ秒ごとに）サンプリングし、エネルギー差を判定することで、特性ベクトルに音声特性を加えることができる。トランスクリプト（例えば、字幕）や、プレゼンテーション用スライドの光学式文字認識（ＯＣＲ）から抽出されたテキストが存在する場合、テキスト特性を利用すると有効である。テキスト特性を加えるには、テキスト・ストリームをサンプリングし、テキスト・レートの変化を判別すればよい。
【００５９】
選択されたビデオセグメントの各々に重要度を示す値が割り当てられ（ロジック・ボックス８０５）、重要度を示す値と内容のアクティビティとを考慮した特性ベクトルがビデオセグメントに関連付けられると（ロジック・ボックス８０６）、制御はロジック・ボックス８０７に進む。
【００６０】
ロジック・ボックス８０７では、作成される電子ファイルのサイズを小さくしたり、ビデオセグメントの興味をひかない部分を削除したりするために、選択されたビデオセグメントに変更を加えることができる。ビデオの変更をわかりやすく説明するため、ここでは、最も長い特性ベクトルが境界となっている半径を有する球の範囲に収まるように正規化された特性ベクトルを取り上げる。
【００６１】
各特性ベクトルは、境界半径に対する各特性ベクトルの長さの比が、最大で、ビデオコラージュ・テンプレート中の最大のサイズを有するビデオフレームのサイズＡmaxに対する各ビデオフレームのサイズＡ（ｓ）の比となるよう、短くされている。このため、次式を解くことにより、ビデオセグメント、関連付けられた特性ベクトル、および対応する個別のビデオフレームについて、選択されたほかのビデオセグメントに対し、各ビデオセグメントをどの程度コンパクト化するかを決定することができる。
【００６２】
【数２】
【００６３】
この制約を満たす各ビデオセグメントｓはそのままにしておき、この制約を満たさないビデオセグメントは、制約が満たされるまで調整される。一実施形態では、ビデオセグメントは、制約を満たすよう、セグメントの終わりから初めにかけてビデオの一部を切ることにより、調整される。｜ａ（ｓ）｜は、時間によって、｜ａ（ｓ（ｔ））｜としてパラメータ化することができる、ｔの増加関数である。ｔは０からＴまで変化し、Ｔはセグメントの長さである。以上のことから、制約が満たされる最低点ｔ＊が存在する。ｔ＊を決定する方法の１つは、ターム・インターバル[０、Ｔ]の１／２を再帰的に求める方法である。
【００６４】
最も大きい個別のフレームに割り当てられたセグメントｓ（Ａ（ｓ）＝Ａmax）は、次式で表される制約を常に満たすため、調整（一部を切ること）は必要ない。
【００６５】
【数３】
【００６６】
ゆえに、得られるビデオコラージュは、（例えば、最も大きいフレームにビデオセグメントをはめ込むことにより、）ユーザが最も重要度が高いと指示したセグメントを完全な形で有することになる。ビデオセグメントのサイズを小さくするために、ビデオの一部を切る方法以外のビデオコンパクト化手段も利用できる。ほかのコンパクト化手段の例として、セグメントをタイム・ワープする（例えば、１より大きい値をとる係数ｐによって再生速度を高めるよう再生パラメータを設定する）方法が挙げられる。
【００６７】
上述のようにセグメントが調整されると、制御はロジック・ボックス８０９に進み、ロジック・ボックス８０９でビデオコラージュが作成される。
【００６８】
別の実施形態では、情報検索の観念を特性ベクトルａ（ｓ）の定義に含めるようにしてもよい。情報検索の観念は、用語の使用頻度、逆文書使用頻度（ｔｆ＊ｉｄｆ）とすることができる。ビデオアプリケーションに関するこのような情報検索の観念の一例が、Uchihashi, Sらの「ショット重要度測定およびフレーム・パッキング・アルゴリズムを用いたビデオの要約（Summarizing video using a shot importance measure and a frame-packing algorithm）」（非特許文献８）に記載されている。この方法は、色などの特徴の階層的クラスタリングに依存する。別の例が、Chiu, Pらの「ビデオ分割と要約のためのジェネティック・アルゴリズム（A genetic algorithm for video segmentation and summarization）」（非特許文献３）にも記載されている。これらの論文では、特性ベクトルに含まれる値を「重要度」と呼んでいる。
【００６９】
このような変更態様では、まずＵ（ｋ）におけるセグメントｓと類似した要素を持つべき集合Ｃsを、次式のように定義する。
【００７０】
【数４】
【００７１】
この式では、視覚的特徴のみを用いているが、ほかの特徴や媒体（音声など）を含むようにしてもよい。上記のことから、次式を定義することができる。
【００７２】
【数５】
【００７３】
ｉｄｆ（ｓ）は、係数Ｃidf＝ｌｏｇ（（１＋ｋ）／２）で除算することにより、０と１の間で正規化することができる。次に、この正規化された式に各セグメントの長さの項を乗算すると、特性ベクトルのバリエーションが次式のように得られる。
【００７４】
【数６】
【００７５】
別の実施形態では、分割されたビデオの一部を切る量を少なくするため、対応するそれぞれのビデオフレームの半径を決定することで、制約を変更することができる。このことは、領域の平方根を得ることにより、または各ビデオセグメントのベクトル長の平方を得ることにより、行うことができる。このような実施形態では、セグメントの調整を決定する際に次式を利用することができる。
【００７６】
【数７】
【００７７】
図９は、本発明の一実施形態に従い、上記のビデオ調整手段を用いてビデオの一部を切ることによるコンパクト化の量の一例を示している。詳細には、図９の表は、アイスクリーム・パーティーのビデオ例に関するものである。この例では、システムがアイスクリーム・パーティーのビデオを２４のセグメントに分割し、分割されたセグメントを、ビデオコラージュ・ユーザ・インタフェース（図３参照）に含まれるビデオセグメント・テンプレートを通じて表示する。ユーザが選択を完了すると、得られたビデオコラージュがビデオコラージュ４００（図４参照）として示される。セグメント９２１、９２３、９２５、９２７、９２９は、それぞれ代表画像４２１、４２３、４２５、４２７、４２９と関連付けられたビデオセグメントに対応している。
【００７８】
図９の表９００は、８つの列９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８を含む。列９０１では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９が識別される。列９０２では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９の長さ（秒）が識別される。列９０３では、対応する個別のビデオフレーム４１１、４１３、４１５、４１７、４１９（図４参照）のそれぞれの領域が識別される。列９０４では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９ごとに算定された特性ベクトルの長さが識別される。列９０５では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（２）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０６では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（２）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。列９０７では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（３）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０８では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（３）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。
【００７９】
表９００よりわかるように、ベクトルａの最大値（ａmax）は１．１８で、ビデオセグメント９２１に関連しており、領域Ａの最大値（Ａmax）は６．８８で、ビデオセグメント９２５の代表画像４２５を含むビデオフレーム４１５に関連している。この例では、５つの選択されたビデオセグメントの完全なコンパクト化されていない長さは８３．００秒であるが、制約式（２）に従ってコンパクト化されると、コンパクト化された後の長さは４２．５８秒、コンパクト化の率は４９％となる。列９０５をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１に割り当てられているため、コンパクト化の率は７４％となっており、セグメントの長さは、制約式（２）を用いて、２８．００秒から７．２８秒にまで短縮されている。
【００８０】
また、同じ５つのビデオセグメントを、制約式（３）を用いてコンパクト化すると、コンパクト化された後の長さは６３．０５秒となる。列９０７をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１（図４参照）に割り当てられているため、コンパクト化の率は４５％となっており、セグメントの長さは、制約式（３）を用いて、２８．００秒から１５．３０秒にまで短縮されている。
【００８１】
上述した特定の実施形態は、あくまで本発明の原理を例示的に説明したものであり、本発明の範囲および主旨を逸脱せずに本発明にさまざまな変更を加えることは、当業者であれば可能である。従って、本発明の範囲は請求の範囲によってのみ限定される。
【図面の簡単な説明】
【図１】本発明の一実施形態に従った、ビデオセグメントをはめ込み、配置するための４つのビデオコラージュ・テンプレートの一例を示す図である。
【図２】本発明の一実施形態に従ったビデオセグメント・テンプレートを示す図である。
【図３】本発明の一実施形態に従った、ビデオコラージュを作成するためのユーザ・インタフェースの一例を示す図である。
【図４】本発明の一実施形態に従った、ビデオセグメントの５つの選択された代表画像を含むビデオコラージュの一例を示す図である。
【図５】本発明のさまざまな実施形態を実施するのに適した計算デバイス・アーキテクチャを包括的に示すブロック図である。
【図６】本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップを示すフローチャートである。
【図７】本発明の一実施形態に従った、ビデオセグメントを生成するステップを示すフローチャートである。
【図８】選択されたビデオセグメントを抽出し、変更する包括的なステップを示すフローチャートである。
【図９】本発明の一実施形態に従った、ビデオのコンパクト化の一例を示す表である。
【符号の説明】
１００、１１０、１２０、１３０ ビデオコラージュ・テンプレート
２００ ビデオセグメント・テンプレート
３００ ビデオコラージュ・ユーザ・インタフェース
４００ ビデオコラージュ
５００ 計算デバイス・アーキテクチャ
【発明の属する技術分野】
本発明は、ビデオの作成および編集に関する。
【０００２】
【従来の技術】
ビデオカメラは、家庭やオフィス、そのほかの使用形態で普及を続けている。例えば、休暇や結婚式、卒業式などの家族の行事を記録するために、ビデオカメラが使用されることが多い。オフィスでは、プレゼンテーション、会議、ユーザ調査、フィールドワークの記録にビデオカメラを使用したり、出張に携帯して人や場所、活動を記録したりすることが多い。
【０００３】
近年、パーソナル・コンピュータとビデオカメラとをインタフェース接続し、ビデオをパーソナル・コンピュータのメモリに記憶させるためのシステムの開発が進んでいる。ビデオをビデオテープやキャプチャ・カード、メモリ・スティックから、さまざまなフォーマットでパーソナル・コンピュータに転送することができるようになった結果、ビデオを記憶、閲覧、編集および転送することへの要望が強くなっている。
【０００４】
編集されていないビデオは、大抵は興味をひく部分と、長くて退屈な部分とが混在しているため、１、２度の鑑賞には堪えても、その後はしまいこまれてしまう。また、編集されていないビデオは、急なカメラ移動や、撮影時間が長すぎたり逆に短すぎたりする部分のために品質が低いため、興味をひく部分が次に現れるまでの間に、見る人を退屈させてしまうことが多い。
【０００５】
編集されていないビデオは、長くて退屈であるばかりか、情報を記憶するのにかなりの記憶容量を必要とする場合が多い。未編集ビデオファイルの保存に必要な記憶容量は、おおむね数バイトから数百メガバイトである。未編集ビデオは、記憶容量を大量に消費するほか、電子メールやそのほかの電子送信システムを利用してビデオを伝送することは難しく、速度も遅いのが一般的である。
Ａｄｏｂｅ Ｐｒｅｍｉｅｒｅ（登録商標）などの、既存のビデオ編集システムは、専門的なビデオ制作者を対象としているため、ビデオや音声トラックのアセンブルおよびミキシングを行って編集ビデオを制作するには時間がかかる場合が多い。このほかのシステムとして、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１８，５３３「インタラクティブ・カスタムビデオ制作システム」（２０００年７月１８日出願。この特許出願を参照によって本願明細書に援用する）に記載されているようなシステムが挙げられるが、これらは使用方法は比較的易しいものの、編集ビデオの制作にはかなりの回数のユーザ対話が必要となる。
【０００６】
【非特許文献１】
“Adobe Premiere”、[online]、Adobe Systems Incorporated、インターネット＜URL: http://www.adobe.com/products/premiere/＞
【非特許文献２】
“Apple iMovie”、[online]、Apple Computer, Inc.、インターネット＜URL: http://www.apple.com/imovie/＞
【非特許文献３】
Patrick Chiuほか、“A Generic Algorithm for Video Segmentation and Summarization”、IEEE International Conference on Multimedia and Expo（ICME）、（米国）、２０００年、第３巻、ｐ．１３２９−１３３２
【非特許文献４】
Andreas Girgensohnほか、“A Semi-Automatic Approach to Home Video Editting”、 User Interface Software and Technology 2000（UIST 2000）、（米国）、２０００年、ACM Press、ｐ．８１−８９
【非特許文献５】
“In-Sync Speed Razor”、[online]、in-sync corporation、インターネット＜URL: http://www.in-sync.com/＞
【非特許文献６】
“Javu Technologies JavuNetwork”、[online]、インターネット＜URL: http://www.javu.com/＞
【非特許文献７】
Allan Kuchinskyほか“FotoFile; A Consumer Multimedia Organization and Retrieval System”、 Conference on Human Factors in Computing Systems 1999（CHI 1999）、（米国）、１９９９年、ACM Press、ｐ．４９６−５０３
【非特許文献８】
Shingo Uchihashiほか“Summarizing Video Using a Shot Importance Measure and a Frame Packing Algorithm”、IEEE International Conference on Acoustics, Speech, and Signal Processing 1999（ICASSP 1999）、（米国）、１９９９年、第６巻、p．３０４１−３０４４
【非特許文献９】
Shingo Uchihashiほか“Video Manga: Generating Semantically Meaningful Video Summaries”、ACM Multimedia 1999、（米国）、１９９９年、ACM Press、p．３８３−３９２
【０００７】
【発明が解決しようとする課題】
既存のシステムでは、ビデオを電子的に送ろうとする場合、ユーザは未編集のままビデオ全体を送るか、数時間を費やして編集ビデオを制作してから編集ビデオを送るか、のいずれかの選択肢しかなかった。事情によっては専門家にビデオ編集を委ねる必要が生じるが、多くの場合望ましくなく、時間の浪費も大きい。
【０００８】
以上のことから、比較的少ない回数のユーザ入力でビデオを分割し、ユーザが閲覧、保存または転送のために、ビデオの一部を容易に選択できるようにするシステムおよび方法を案出することが望ましい。
【０００９】
【課題を解決するための手段】
本発明は、ビデオコラージュを作成する方法を含む。この方法は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、を含むようにしてもよい。ビデオセグメントがビデオコラージュ・テンプレートと関連付けられると、システムは、ビデオコラージュ・テンプレートと、これと関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する。
なお、本発明における「ビデオを複数のビデオセグメントに分割する」とは、ビデオを時間軸上にて分割することを指す。
【００１０】
ある態様において、本発明は、少なくとも１つの個別のビデオフレームと、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示する、ビデオコラージュ表示装置を含む。前記代表画像は、前記少なくとも１つの個別のビデオフレーム内にはめ込まれる。
【００１２】
さらに別の態様では、本発明は、ビデオコラージュを作成するための装置を含むようにしてもよい。この装置は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含むようにしてもよい。
【００１３】
次に本発明の具体的な態様を以下に述べる。本発明の第１の態様は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するステップと、を含む、ビデオコラージュの作成方法である。第２の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択するステップと、前記選択された複数のビデオセグメントの各々を、前記ビデオコラージュ・テンプレートの個別のフレームと関連付けるステップと、を含む。第３の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、各々が前記複数のビデオセグメントのうちの１つを代表する、複数の代表画像を提供するステップと、前記複数の代表画像の中から１つの代表画像を選択するステップと、前記代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップと、を含む。第４の態様は、第１の態様において、ビデオセグメント・テンプレートを提供するステップをさらに含み、前記ビデオセグメント・テンプレートが複数の代表画像を含み、各代表画像が前記複数のビデオセグメントのうちの１つと関連付けられており、前記ビデオセグメントを関連付けるステップが、前記複数の代表画像の中の１つの代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップを含む。第５の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、前記ビデオを選択された数のセグメントに分割するステップを含む。第６の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割するステップを含む。第７の態様は、第１の態様において、前記重要度を示す値が、前記ビデオセグメントが関連付けられた前記個別のビデオフレームの表示サイズに関連している。第８の態様は、第１の態様において、前記特性ベクトルが、前記ビデオセグメントの内容のアクティビティに関連している。第９の態様は、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートと、前記個別のビデオフレームのうちの少なくとも１つにはめ込まれた、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示し、前記代表画像が選択手段により選択されることにより、前記代表画像の前記重要度を示す値と前記特性ベクトルとに基づいて再生時間が予め短縮された、前記代表画像に関連する前記ビデオセグメントを再生する、ビデオコラージュ表示装置である。第１０の態様は、第９の態様において、前記ビデオコラージュ表示装置は、複数の個別のビデオフレームを表示し、前記複数の個別のビデオフレームの各々に代表画像がはめ込まれ、各代表画像は１つのビデオセグメントと関連付けられている。第１１の態様は、第９の態様において、前記代表画像がはめ込まれた前記個別のビデオフレームの表示サイズに応じて、重要度を示す値が前記代表画像に割り当てられている。第１２の態様は、第９の態様において、前記個別のビデオフレームの表示サイズの比と、前記関連するビデオセグメントの内容のアクティビティとに基づいて前記特性ベクトルの長さの比が決定される。第１３の態様は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含む、ビデオコラージュ作成装置である。第１４の態様は、第１３の態様において、前記関連付手段が、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択し、前記選択された複数のビデオセグメントを、前記ビデオコラージュ・テンプレートの個別のフレームと関連付ける。第１５の態様は、第１３の態様において、前記分割手段が、前記ビデオを選択された数のセグメントに分割する。第１６の態様は、第１３の態様において、前記分割手段が、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割する。第１７の態様は、コンピュータに、ビデオを複数のビデオセグメントに分割する手順と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供する手順と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける手順と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる手順と、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる手順と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化する手順と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する手順と、を実行させるための、プログラムである。
【００１４】
【発明の実施の形態】
本発明を、特定の実施形態について、以下に説明する。本発明のこのほかの目的、特徴、利点は、本願明細書および図面を参照すれば、明白となる。
【００１５】
図１は、本発明の一実施形態に従った、ビデオセグメントを挿入し配置するための４つのビデオコラージュ・テンプレート１００、１１０、１２０、１３０の一例を示している。ビデオコラージュ・テンプレートは、ビデオセグメントをその中にはめ込む、個別のビデオフレームをそれぞれ含む。例えば、ビデオコラージュ・テンプレート１００は、個別のビデオフレーム１０１、１０３、１０５、１０７を含む。ビデオコラージュ・テンプレート１１０は、個別のビデオフレーム１１１、１１３、１１５を含む。ビデオコラージュ・テンプレート１２０は、個別のビデオフレーム１２１、１２３、１２５、１２７、１２９を含む。ビデオコラージュ・テンプレート１３０は、個別のビデオフレーム１３１、１３２、１３３、１３４、１３５、１３６、１３７、１３８を含む。個別のビデオフレームのサイズはビデオコラージュ・テンプレートのサイズによって制限されるものの、ビデオフレームの形状やサイズは任意に設定することができる。個別のビデオフレームの形状は、例えば、ビデオフレーム１２３のような楕円形、ビデオフレーム１３４のような円形、そのほか任意の形状とすることができる。また、ビデオフレーム数も任意に設定することができる。ビデオコラージュ・ユーザ・インタフェースに含まれる個別のビデオフレーム数は、１、２、３あるいはそのほかの任意の数とすることができる。
【００１６】
ビデオコラージュ・テンプレートは、システムが提供するようにしても、ユーザが作成するようにしてもよい。ビデオコラージュ・テンプレートは、例えばＭｉｃｒｏｓｏｆｔ ＰｏｗｅｒＰｏｉｎｔ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｖｉｓｉｏ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｐａｉｎｔ（登録商標）、Ｃｏｒｅｌ Ｄｒａｗ（登録商標）、デネバシステムズ社のＣａｎｖａｓ（登録商標）などの任意の製図アプリケーションを利用して作成することができ、電子ファイルとして記憶装置に保存することができる。ビデオコラージュ・テンプレートは、一度作成されると、ほかのユーザと共有したり、電子ファイルとして保存したりすることができる。
【００１７】
図２は、本発明の一実施形態に従ったビデオセグメント・テンプレート２００を示している。ビデオセグメント・テンプレート２００は、関連付けられたビデオセグメントの代表画像（例えば、代表画像２０１、２０３、２０５、２０７、２０９）を含む。ビデオは予め定められた数のセグメントに分割され、各ビデオセグメントについて代表画像が選択され、この代表画像が特定のセグメントと関連付けられる。ビデオセグメント・テンプレート２００を用いて、代表画像をユーザに提示するようにしてもよい。
【００１８】
ビデオセグメントごとの代表画像の選定は、さまざまな手段により行うことができる。例えば、関連するビデオセグメントの最初のフレームに含まれる画像を代表画像２０１としてもよい。または、ビデオセグメントの各フレームに画像解析アルゴリズムを適用して、そのビデオセグメントを端的に表しているフレームを選定し、このフレームの画像を代表画像とすることもできる。あるいは、ユーザがビデオセグメントを見て、その中の場面やフレームを選択し、選択した場面やフレームの中の画像を代表画像としてもよい。
【００１９】
図３は、本発明の一実施形態に従ったビデオコラージュ・ユーザ・インタフェース３００を示している。ビデオコラージュ・ユーザ・インタフェース３００は、ユーザが選択したビデオコラージュ・テンプレート３１０と、ビデオセグメント・テンプレート３２０とを含む。ビデオセグメント・テンプレート３２０は、セグメントに分割されたビデオの代表画像（例えば、代表画像３２１、３２３、３２５、３２７、３２９）を含む。ビデオコラージュ・ユーザ・インタフェース３００は、さまざまな機能を実行する際に使用されるひとまとまりのコントローラ機構３０１、３０３、３０５、３０７、３０９を備えるようにしてもよい。ユーザは、例えば、矢印ボタン３０１、３０３、３０５、３０７を使って選択ボックス３４０を代表画像３２３に合わせ、選択機構３０９を起動することで、ビデオセグメント・テンプレート３２０の中から代表画像（例えば、代表画像３２３）を選択することができる。さらに、選択機構３０９を再び起動することで、この代表画像３２３と関連付けられたビデオセグメントを再生するようにしてもよい。また、ユーザは、代表画像を選択した後、この選択した代表画像を、コントローラ機構３０１、３０３、３０５、３０７、３０９を使ってビデオコラージュ・テンプレート３１０のビデオフレームにはめ込むようにしてもよい。
【００２０】
ユーザが代表画像をビデオコラージュ・テンプレート３１０の個別のフレームにはめ込むと、画像がはめ込まれたビデオフレームに、代表画像が表示される。代表画像を選択すれば、代表画像と関連付けられたビデオセグメントを見ることができる。代表画像と関連付けられたビデオセグメントの再生は、関連付けられた代表画像の入った個別のビデオフレーム内や、個々の「ウィンドウ」内、あるいはディスプレイ・モニタ５０４のようなビューイング・デバイスの全面に表示して行うことができる。
【００２１】
コントローラ機構３０１、３０３、３０５、３０７、３０９、および選択ボックス３５０は、あくまで例示的に使用したものであり、このほかの手段によって代表画像、および代表画像と関連付けられたビデオセグメントの選択、閲覧、配置を行うことも可能である。例えば、ユーザは、カーソル制御デバイス５０５（図５参照）などの任意のポインティング・デバイスを利用したり、タッチ感応ディスプレイ画面やキーボード５０６のキーストロークを利用して代表画像を選択することにより、これらの機能を実行することができる。
【００２２】
図４は、本発明の一実施形態に従ったビデオコラージュ４００の一例を示している。ビデオコラージュ４００は、ビデオコラージュ・ユーザ・インタフェース３００（図３参照）を利用して作成される。ビデオコラージュ４００の作成に当たり、ユーザは代表画像３２１を選択し、これをビデオフレーム３１１にはめ込む。これにより、ビデオコラージュ４００のビデオフレーム４１１にはめ込まれた代表画像４２１が得られる。次に、ユーザは代表画像３２３を選択し、これをビデオフレーム３１３にはめ込む。これにより、ビデオフレーム４１３にはめ込まれた代表画像４２３が得られる。次に、ユーザは代表画像３２５を選択し、これをビデオフレーム３１５にはめ込む。これにより、ビデオフレーム４１５にはめ込まれた代表画像４２５が得られる。次に、ユーザは代表画像３２７を選択し、これをビデオフレーム３１７にはめ込む。これにより、ビデオフレーム４１７にはめ込まれた代表画像４２７が得られる。次に、ユーザは代表画像３２９を選択し、これをビデオフレーム３１９にはめ込む。これにより、ビデオフレーム４１９にはめ込まれた代表画像４２９が得られる。
【００２３】
ビデオコラージュ４００は、一度作成されると、フレーム配置や、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報を含む、個別の電子ファイルとして保存することができる。また、ファイルは選択された代表画像と関連付けられたビデオセグメントを含むようにしてもよい。
【００２４】
また、ビデオコラージュまたは選択された代表画像は、関連付けられたビデオセグメントが記憶されている場所へのリンクを含むようにしてもよい。例えば、インターネットを通じてビデオを入手することができる場合、電子ファイルは、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報、および代表画像と関連付けられた各ビデオセグメントの場所へのリンクのみを含むようにしてもよい。この場合、ビデオコラージュ４００から代表画像が選択されると、これと関連付けられたビデオセグメントがインターネット上を流れ、ユーザに提示される。関連付けられた各ビデオセグメントへのリンクを電子ファイルに含めておけば、ビデオコラージュ４００の電子ファイルのサイズが非常に小さくても、電子ファイルを記憶させたり転送したりすることが可能となる。
【００２５】
ビデオコラージュ４００の電子ファイルのビデオファイル形式は、ユーザが閲覧、保存、転送することができるものであれば、任意の形式とすることができる。例えば、ビデオコラージュ４００の電子ファイルは、ＭＰＥＧ（Moving Picture Experts Group）ファイル、ＡＶＩ（Audio Video Interleave）ファイル、ＤＶ（Digital Video）ファイル、ＱｕｉｃｋＴｉｍｅファイル、またはこのほかの任意のビデオファイル形式で保存することができる。
【００２６】
ビデオコラージュ４００が一度作成されると、ユーザはビデオコラージュ４００をウェブ・サイトで公開したり、電子メールなどの伝送デバイスを利用してほかのユーザに転送したり、電子ファイルとして保存したり、ビデオコラージュのコピーを印刷したり、ＤＶＤ（Digital Video Disc）、ＶＣＤ（Video Compact Disc）、ＣＤ（Compact Disc）などを作成したりすることができる。
【００２７】
本発明の適用範囲はインターネットの利用に限定されないが、本発明の実施形態を例示する目的でインターネットを取り上げる。本発明の実施形態は、任意の形式のエンドツーエンド通信チャネル上で実施することも可能である。例えば、本発明の実施形態は、インスタント・メッセージ・システムや、ローカル・エリア・ネットワーク（ＬＡＮ）などの内部ネットワークとともに機能するよう、またはピアツーピア・ネットワークを介して機能するよう、実施してもよい。
【００２８】
図５は、本発明の実施形態を実施するのに適した、計算デバイス・アーキテクチャ５００を示している。計算デバイス・アーキテクチャ５００は、プロセッサ５０２、記憶デバイス５０３、モデムなどのインターネット・アクセス用装置５１０、ディスプレイ・モニタ５０４を含む。さらに、計算デバイス・アーキテクチャ５００は、カーソル制御デバイス５０５、ランダム・アクセス・メモリ（ＲＡＭ）５０７、リード・オンリー・メモリ（ＲＯＭ）５０８、キーボード５０６、グラフィクス・コプロセッサ５０９を含む構成としてもよい。異なる要素間でデータ転送を行うため、計算デバイス・アーキテクチャ５００の要素は、すべて共通バス５０１で相互接続されている。バス５０１は、データ、アドレス、制御信号を含むことが多い。
【００２９】
本発明の実施形態を実行できる計算デバイス・アーキテクチャとして図５のアーキテクチャ５００を取り上げたが、本発明の実施形態の実施にはこのほかにも任意の計算デバイス・アーキテクチャが利用可能である。
【００３０】
本発明の一実施形態において、記憶デバイス５０３は、コンピュータで読み出し可能な媒体などの、製造部品とすることができる。記憶デバイス５０３の例として、磁気ハードディスク、光ディスク、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、またはこのほかの読み出しおよび書き込み可能型データ記憶技術が挙げられ、これらは単独もしくは組み合わせにより使用することができる。
【００３１】
記憶デバイス５０３は、計算デバイス・アーキテクチャ５００を用いてプログラムもしくはアプリケーションを実行することのできる、オペレーティング・システム５１１を含むようにしてもよい。オペレーティング・システム５１１の例として、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ ＯＳ（登録商標）、Ｕｎｉｘ（登録商標）が挙げられる。本発明の一実施形態はビデオコラージュ・ソフトウェア・プログラム５１２として実施され、記憶デバイス５０３に記憶される。
【００３２】
ビデオコラージュ・ソフトウェア・プログラム５１２などの本発明の実施形態は、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションの形式をとることができ、これらは単独もしくは組み合わせとすることができる。ビデオコラージュ・ソフトウェア・プログラム５１２は、１、２もしくは任意の数の計算デバイス５００を利用して実施することができる。
【００３３】
図６、図７、図８は特定の機能を実行するためのロジック・ボックスを示していることが、当業者には理解されよう。ロジック・ボックス数は、実施形態に応じて増減することができる。本発明の一実施形態では、ロジック・ボックスは、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションを表していてもよく、これらは単独もしくは組み合わせとすることができる。例えば、ロジック・ボックスは、図５に示されたビデオコラージュ・ソフトウェア・プログラム５１２の一部や、本発明のこのほかの実施形態の任意の一部を表すことができる。
【００３４】
図６は、本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップの概略を示す、フローチャート６００である。
【００３５】
ユーザは、ロジック・ボックス６０１でシステムを開始し、ビデオコラージュのレイアウトを作成する際に使用したいビデオを提供する。ビデオを受け取ると、制御はロジック・ボックス６０３に進む。
【００３６】
ロジック・ボックス６０３で、システムは所与のビデオから１組のビデオセグメントを生成する。この１組のビデオセグメントは、ビデオの中の、所定数のセグメントを含む。一実施形態において、ユーザはビデオのセグメント数を選択することができる。あるいは、ビデオを予め設定した数のセグメントに分割することもできる。さらに、システムが所与のビデオの長さを判別し、この長さに基づいてセグメント数を選択するようにしてもよい。
【００３７】
ロジック・ボックス６０４で、ビデオコラージュ・テンプレート１００、１１０、１２０、１３０（図１参照）のような１組の所定のビデオコラージュ・テンプレートがユーザに提示され、ユーザがそのうちの１つのテンプレートを選択する。または、ユーザが独自のビデオコラージュ・テンプレートを作成し、これを使用してもよい。
【００３８】
ロジック・ボックス６０５で、ビデオコラージュ・ユーザ・インタフェースがユーザに提示される。図３に示したビデオコラージュ・ユーザ・インタフェース３００のようなビデオコラージュ・ユーザ・インタフェースは、ロジック・ボックス６０４で選択されたビデオコラージュ・テンプレートと、ロジック・ボックス６０３で生成されたビデオセグメントに各々関連付けられた代表画像を含むビデオセグメント・テンプレート２００（図２参照）とを含む。
【００３９】
ロジック・ボックス６０７に示されるように、ユーザは、ビデオセグメント・テンプレートからセグメントを選択し、選択したセグメントを、選択したビデオコラージュ・テンプレートの所望のフレームにはめ込む。ユーザがビデオコラージュ・テンプレートの個別のフレームのそれぞれに画像をはめ込むと、あるいはユーザがビデオコラージュ・テンプレートの個別のフレームに画像がはめ込まれたことをシステムに指示すると、制御はロジック・ボックス６０９に進む。ロジック・ボックス６０９で、選択されたビデオコラージュ・テンプレートと、選択された代表画像とから、ビデオコラージュが作成される。
【００４０】
図７は、本発明の一実施形態に従った、ロジック・ボックス６０３（図６参照）として示された、ビデオセグメントを生成するステップを示すフローチャートである。
【００４１】
ビデオの分割は、ビデオの提供に応答して、ロジック・ボックス７０１で開始される。アイスクリーム・パーティーを撮影した、もとの長さが１４分のビデオを例示的に取り上げ、フローチャート７００に示されるようなビデオの分割を説明する。
【００４２】
ビデオが提供されると、ロジック・ボックス７０３に示されるような最初のビデオ分割を行うことができる。最初のビデオ分割は、さまざまな周知のビデオ分割手段により行うことができる。例えば、「ショット」によってビデオを分割することができる。「ショット」は、ビデオカメラで録画を開始してから録画を停止するまでの時間で定義される。あるいは、場面の切り替えを検出するアルゴリズムを利用してビデオを分割してもよい。ショットや場面は、ユーザが手動で分割するようにしてもよい。
【００４３】
最初のビデオ分割が行われると、制御はロジック・ボックス７０４に進む。ロジック・ボックス７０４で、ロジック・ボックス７０３で生成されたセグメントの数が、ユーザに選択肢として提示されるセグメント数（Ｎ）より少ないか、もしくは同数であるか否かが判定される。ユーザに選択肢として提示されるセグメント数Ｎは、予め設定しておいてもよく、またユーザが設定することもできる。ロジック・ボックス７０３で生成されたビデオセグメントの数がＮと同数もしくはそれより少ないと判定されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、ビデオセグメントはユーザに提示されるビデオセグメントとして使用される。一方、ビデオセグメントの数がＮより多ければ、制御はロジック・ボックス７０５に進む。
【００４４】
アイスクリーム・パーティーのビデオ例を参照する。このビデオは、一般的な色差アルゴリズムを用いて、まず１７９のセグメントに分割される。このようなアルゴリズムでは、ビデオをフレーム間の色差に基づいて分割する。最初のビデオ分割には、このほかの一般的な分割アルゴリズムを利用してもよい。１７９というセグメント数は、ユーザが迅速かつ容易に処理するには多く、Ｎが２４に設定されているため、制御はロジック・ボックス７０５に進む。
【００４５】
ロジック・ボックス７０５で、ロジック・ボックス７０３で生成された１組のビデオセグメントの中から、Ｎ個のビデオセグメントが選択される。この１組のＮ個のビデオセグメントを、便宜上Ｓ（Ｎ）と呼ぶことにする。１組のＳ（Ｎ）は、全体のビデオを端的に示すセグメントを含むことになる。
【００４６】
ロジック・ボックス７０５で説明されるようなビデオセグメントの選択は、さまざまなビデオ分割手段により実行することができる。例えば、ジェネティック分割アルゴリズム（ＧＳＡ）を用いて、Ｎ個のビデオセグメントを選択してもよい。ＧＳＡについては、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１１，３８９「画像データ・ストリームなどのデータのジェネティック分割方法」（２０００年７月７日出願。この特許出願を参照によって本願明細書に援用する）を参照されたい。このほかのセグメント選択手段として、隣接するフレームのヒストグラム差に着眼し、ヒストグラム差が閾値を上回る地点がセグメントの境界となるよう閾値を設定する方法が挙げられる。
【００４７】
Ｎ個のセグメントが選択されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、１組のＮ個のビデオセグメントが、ユーザに提示される１組のビデオセグメントとして使用される。
【００４８】
別の実施形態として、ロジック・ボックス７０３、７０４、７０５を結合させてもよい。この場合、最初のビデオ分割は、ビデオセグメント数が所定数Ｎとなるビデオに対して行われることになる。分割は、ＧＳＡを利用して行ってもよい。この場合ＧＳＡにはＮが与えられる。ＧＳＡは、ビデオ全体をＮ個のセグメントに分割し、ロジック・ボックス７０７で、このＮ個のセグメントがユーザに提示される。
【００４９】
図８は、本発明の一実施形態に従って、ロジック・ボックス６０７および６０９（図６参照）に示されるように、選択されたビデオセグメントを抽出、変更し、ビデオコラージュを作成するステップを概略的に示すフローチャートである。
【００５０】
プロセスはロジック・ボックス８００で開始され、制御はロジック・ボックス８０１に進む。ロジック・ボックス８０１で、ユーザは、上述のいずれかの手段によって、ビデオコラージュ・テンプレートの各フレームについて、関連付けられたビデオセグメントの代表画像を選択する。関連付けられたビデオの代表画像が選択され、この代表画像がビデオコラージュ・テンプレートの個別のビデオフレームにはめ込まれると、制御はロジック・ボックス８０３に進む。
【００５１】
ロジック・ボックス８０３で、選択された代表画像と関連付けられたビデオセグメントが、当該技術で知られている任意のビデオ抽出手段によって、ビデオから各々抽出される。抽出されたビデオセグメント（ｓ0，ｓ1，ｓ2，…，ｓk-1）の集合を便宜上Ｕ（ｋ）と呼ぶことにする。Ｕ（ｋ）＝｛ｓ0，ｓ1，ｓ2，…，ｓk-1｝であり、ｋはユーザの選択したセグメント数である。各ビデオセグメントが抽出されると、制御はロジック・ボックス８０５に進む。
【００５２】
ロジック・ボックス８０５では、抽出された各ビデオセグメントに、重要度を示す値が割り当てられる。一実施形態では、ビデオコラージュにおいて、大きいビデオフレームに割り当てられたセグメントには高い重要度を示す値が割り当てられ、小さいビデオフレームに割り当てられたセグメントには低い重要度を示す値が割り当てられる。選択されたビデオセグメントに重要性を示す値を割り当てる作業は、ユーザが行うようにしてもよい。
【００５３】
ロジック・ボックス８０６で、各セグメントの内容のアクティビティを特徴付けるため、各セグメントに「特性ベクトル」（ａ（ｓ）で表す）が関連付けられる。内容のアクティビティの例として、（１）セグメントの長さ、（２）媒体中における経時変化（視覚的変化、音声変化、テキスト変化）などが挙げられる。各ビデオセグメントに特性ベクトルを割り当てることにより、ビデオセグメントを調整するもう１つの特性が与えられる。このもう１つの特性により、ビデオセグメントの長さを、個別のビデオフレームのサイズに対して線形マッピングするという問題が解決される。ビデオセグメントの長さを個別のビデオフレームのサイズに対して線形マッピングすると、短いセグメントが大きいフレームに割り当てられた場合に、ほかのビデオセグメントが短くなりすぎてしまうという問題が生じる。
【００５４】
特性ベクトルを定義する例を、１つのセグメントの、フレーム間での視覚的変化を取り上げて説明する。視覚的変化は、色ヒストグラムの差を求め、式ｆ（ｓ）＝セグメントｓにおいて色ヒストグラム差が所定値以上であるフレーム数（Ｆ”）を用いて決定することができる。式中、ｆ（ｓ）は視覚的変化の値である。
【００５５】
ビデオカメラのパン動作では、ｆ（ｓ）は大きくなり、ズームでは、ｆ（ｓ）は小さくなり、静止オブジェクトに静止カメラが向けられる場合、ｆ（ｓ）はゼロとなる。一様な背景上を移動するオブジェクトに静止カメラが向けられる場合、ｆ（ｓ）は小さくなる場合もあるため、ｆ（ｓ）を適切に調節するためには、画像のエッジ検出を行ってもよい。エッジ検出手段は、当該技術で知られているため、詳細な説明は省略する。
【００５６】
特性ベクトルは、特性ベクトルを定義する際に次式を用いることで、正規化された視覚的変化と、ビデオセグメントの長さとを考慮したものとしてもよい。
【００５７】
【数１】
特性ベクトルは、別の特性を加えることで、別の要素を含むよう変更することができる。例えば、ビデオセグメントの音声を（例えば、１０ミリ秒ごとに）サンプリングし、エネルギー差を判定することで、特性ベクトルに音声特性を加えることができる。トランスクリプト（例えば、字幕）や、プレゼンテーション用スライドの光学式文字認識（ＯＣＲ）から抽出されたテキストが存在する場合、テキスト特性を利用すると有効である。テキスト特性を加えるには、テキスト・ストリームをサンプリングし、テキスト・レートの変化を判別すればよい。
【００５９】
選択されたビデオセグメントの各々に重要度を示す値が割り当てられ（ロジック・ボックス８０５）、重要度を示す値と内容のアクティビティとを考慮した特性ベクトルがビデオセグメントに関連付けられると（ロジック・ボックス８０６）、制御はロジック・ボックス８０７に進む。
【００６０】
ロジック・ボックス８０７では、作成される電子ファイルのサイズを小さくしたり、ビデオセグメントの興味をひかない部分を削除したりするために、選択されたビデオセグメントに変更を加えることができる。ビデオの変更をわかりやすく説明するため、ここでは、最も長い特性ベクトルが境界となっている半径を有する球の範囲に収まるように正規化された特性ベクトルを取り上げる。
【００６１】
各特性ベクトルは、境界半径に対する各特性ベクトルの長さの比が、最大で、ビデオコラージュ・テンプレート中の最大のサイズを有するビデオフレームのサイズＡmaxに対する各ビデオフレームのサイズＡ（ｓ）の比となるよう、短くされている。このため、次式を解くことにより、ビデオセグメント、関連付けられた特性ベクトル、および対応する個別のビデオフレームについて、選択されたほかのビデオセグメントに対し、各ビデオセグメントをどの程度コンパクト化するかを決定することができる。
【００６２】
【数２】
この制約を満たす各ビデオセグメントｓはそのままにしておき、この制約を満たさないビデオセグメントは、制約が満たされるまで調整される。一実施形態では、ビデオセグメントは、制約を満たすよう、セグメントの終わりから初めにかけてビデオの一部を切ることにより、調整される。｜ａ（ｓ）｜は、時間によって、｜ａ（ｓ（ｔ））｜としてパラメータ化することができる、ｔの増加関数である。ｔは０からＴまで変化し、Ｔはセグメントの長さである。以上のことから、制約が満たされる最低点ｔ＊が存在する。ｔ＊を決定する方法の１つは、ターム・インターバル[０、Ｔ]の１／２を再帰的に求める方法である。
【００６４】
最も大きい個別のフレームに割り当てられたセグメントｓ（Ａ（ｓ）＝Ａmax）は、次式で表される制約を常に満たすため、調整（一部を切ること）は必要ない。
【００６５】
【数３】
ゆえに、得られるビデオコラージュは、（例えば、最も大きいフレームにビデオセグメントをはめ込むことにより、）ユーザが最も重要度が高いと指示したセグメントを完全な形で有することになる。ビデオセグメントのサイズを小さくするために、ビデオの一部を切る方法以外のビデオコンパクト化手段も利用できる。ほかのコンパクト化手段の例として、セグメントをタイム・ワープする（例えば、１より大きい値をとる係数ｐによって再生速度を高めるよう再生パラメータを設定する）方法が挙げられる。
【００６７】
上述のようにセグメントが調整されると、制御はロジック・ボックス８０９に進み、ロジック・ボックス８０９でビデオコラージュが作成される。
【００６８】
別の実施形態では、情報検索の観念を特性ベクトルａ（ｓ）の定義に含めるようにしてもよい。情報検索の観念は、用語の使用頻度、逆文書使用頻度（ｔｆ＊ｉｄｆ）とすることができる。ビデオアプリケーションに関するこのような情報検索の観念の一例が、Uchihashi, Sらの「ショット重要度測定およびフレーム・パッキング・アルゴリズムを用いたビデオの要約（Summarizing video using a shot importance measure and a frame-packing algorithm）」（非特許文献８）に記載されている。この方法は、色などの特徴の階層的クラスタリングに依存する。別の例が、Chiu, Pらの「ビデオ分割と要約のためのジェネティック・アルゴリズム（A genetic algorithm for video segmentation and summarization）」（非特許文献３）にも記載されている。これらの論文では、特性ベクトルに含まれる値を「重要度」と呼んでいる。
【００６９】
このような変更態様では、まずＵ（ｋ）におけるセグメントｓと類似した要素を持つべき集合Ｃsを、次式のように定義する。
【００７０】
【数４】
この式では、視覚的特徴のみを用いているが、ほかの特徴や媒体（音声など）を含むようにしてもよい。上記のことから、次式を定義することができる。
【００７２】
【数５】
ｉｄｆ（ｓ）は、係数Ｃidf＝ｌｏｇ（（１＋ｋ）／２）で除算することにより、０と１の間で正規化することができる。次に、この正規化された式に各セグメントの長さの項を乗算すると、特性ベクトルのバリエーションが次式のように得られる。
【００７４】
【数６】
別の実施形態では、分割されたビデオの一部を切る量を少なくするため、対応するそれぞれのビデオフレームの半径を決定することで、制約を変更することができる。このことは、領域の平方根を得ることにより、または各ビデオセグメントのベクトル長の平方を得ることにより、行うことができる。このような実施形態では、セグメントの調整を決定する際に次式を利用することができる。
【００７６】
【数７】
図９は、本発明の一実施形態に従い、上記のビデオ調整手段を用いてビデオの一部を切ることによるコンパクト化の量の一例を示している。詳細には、図９の表は、アイスクリーム・パーティーのビデオ例に関するものである。この例では、システムがアイスクリーム・パーティーのビデオを２４のセグメントに分割し、分割されたセグメントを、ビデオコラージュ・ユーザ・インタフェース（図３参照）に含まれるビデオセグメント・テンプレートを通じて表示する。ユーザが選択を完了すると、得られたビデオコラージュがビデオコラージュ４００（図４参照）として示される。セグメント９２１、９２３、９２５、９２７、９２９は、それぞれ代表画像４２１、４２３、４２５、４２７、４２９と関連付けられたビデオセグメントに対応している。
【００７８】
図９の表９００は、８つの列９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８を含む。列９０１では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９が識別される。列９０２では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９の長さ（秒）が識別される。列９０３では、対応する個別のビデオフレーム４１１、４１３、４１５、４１７、４１９（図４参照）のそれぞれの領域が識別される。列９０４では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９ごとに算定された特性ベクトルの長さが識別される。列９０５では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（２）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０６では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（２）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。列９０７では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（３）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０８では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（３）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。
【００７９】
表９００よりわかるように、ベクトルａの最大値（ａmax）は１．１８で、ビデオセグメント９２１に関連しており、領域Ａの最大値（Ａmax）は６．８８で、ビデオセグメント９２５の代表画像４２５を含むビデオフレーム４１５に関連している。この例では、５つの選択されたビデオセグメントの完全なコンパクト化されていない長さは８３．００秒であるが、制約式（２）に従ってコンパクト化されると、コンパクト化された後の長さは４２．５８秒、コンパクト化の率は４９％となる。列９０５をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１に割り当てられているため、コンパクト化の率は７４％となっており、セグメントの長さは、制約式（２）を用いて、２８．００秒から７．２８秒にまで短縮されている。
【００８０】
また、同じ５つのビデオセグメントを、制約式（３）を用いてコンパクト化すると、コンパクト化された後の長さは６３．０５秒となる。列９０７をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１（図４参照）に割り当てられているため、コンパクト化の率は４５％となっており、セグメントの長さは、制約式（３）を用いて、２８．００秒から１５．３０秒にまで短縮されている。
【００８１】
上述した特定の実施形態は、あくまで本発明の原理を例示的に説明したものであり、本発明の範囲および主旨を逸脱せずに本発明にさまざまな変更を加えることは、当業者であれば可能である。従って、本発明の範囲は請求の範囲によってのみ限定される。
【図面の簡単な説明】
【図１】本発明の一実施形態に従った、ビデオセグメントをはめ込み、配置するための４つのビデオコラージュ・テンプレートの一例を示す図である。
【図２】本発明の一実施形態に従ったビデオセグメント・テンプレートを示す図である。
【図３】本発明の一実施形態に従った、ビデオコラージュを作成するためのユーザ・インタフェースの一例を示す図である。
【図４】本発明の一実施形態に従った、ビデオセグメントの５つの選択された代表画像を含むビデオコラージュの一例を示す図である。
【図５】本発明のさまざまな実施形態を実施するのに適した計算デバイス・アーキテクチャを包括的に示すブロック図である。
【図６】本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップを示すフローチャートである。
【図７】本発明の一実施形態に従った、ビデオセグメントを生成するステップを示すフローチャートである。
【図８】選択されたビデオセグメントを抽出し、変更する包括的なステップを示すフローチャートである。
【図９】本発明の一実施形態に従った、ビデオのコンパクト化の一例を示す表である。
【符号の説明】
１００、１１０、１２０、１３０ ビデオコラージュ・テンプレート
２００ ビデオセグメント・テンプレート
３００ ビデオコラージュ・ユーザ・インタフェース
４００ ビデオコラージュ
５００ 計算デバイス・アーキテクチャ
Claims (17)
- ビデオを複数のビデオセグメントに分割するステップと、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、
前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するステップと、を含む、
ビデオコラージュの作成方法。 - 前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、
前記複数のビデオセグメントの中から、複数のビデオセグメントを選択するステップと、
前記選択された複数のビデオセグメントの各々を、前記ビデオコラージュ・テンプレートの個別のフレームと関連付けるステップと、を含む、請求項１に記載の方法。 - 前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、
各々が前記複数のビデオセグメントのうちの１つを代表する、複数の代表画像を提供するステップと、
前記複数の代表画像の中から１つの代表画像を選択するステップと、
前記代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップと、を含む、請求項１に記載の方法。 - ビデオセグメント・テンプレートを提供するステップをさらに含み、
前記ビデオセグメント・テンプレートが複数の代表画像を含み、各代表画像が前記複数のビデオセグメントのうちの１つと関連付けられており、
前記ビデオセグメントを関連付けるステップが、前記複数の代表画像の中の１つの代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップを含む、請求項１に記載の方法。 - 前記ビデオをセグメントに分割する前記ステップが、前記ビデオを選択された数のセグメントに分割するステップを含む、請求項１に記載の方法。
- 前記ビデオをセグメントに分割する前記ステップが、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割するステップを含む、請求項１に記載の方法。
- 前記重要度を示す値が、前記ビデオセグメントが関連付けられた前記個別のビデオフレームの表示サイズに関連している、請求項１に記載のビデオコラージュの作成方法。
- 前記特性ベクトルが、前記ビデオセグメントの内容のアクティビティに関連している、請求項１に記載のビデオコラージュの作成方法。
- 少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートと、
前記個別のビデオフレームのうちの少なくとも１つにはめ込まれた、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、
を表示し、
前記代表画像が選択手段により選択されることにより、前記代表画像の前記重要度を示す値と前記特性ベクトルとに基づいて再生時間が予め短縮された、前記代表画像に関連する前記ビデオセグメントを再生する、
ビデオコラージュ表示装置。 - 前記ビデオコラージュ表示装置は、複数の個別のビデオフレームを表示し、前記複数の個別のビデオフレームの各々に代表画像がはめ込まれ、各代表画像は１つのビデオセグメントと関連付けられている、請求項９に記載のビデオコラージュ表示装置。
- 前記代表画像がはめ込まれた前記個別のビデオフレームの表示サイズに応じて、重要度を示す値が前記代表画像に割り当てられている、請求項９に記載のビデオコラージュ表示装置。
- 前記個別のビデオフレームの表示サイズの比と、前記関連するビデオセグメントの内容のアクティビティとに基づいて前記特性ベクトルの長さの比が決定される、請求項９に記載のビデオコラージュ表示装置。
- ビデオを複数のビデオセグメントに分割する分割手段と、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、
前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含む、
ビデオコラージュ作成装置。 - 前記関連付手段が、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択し、前記選択された複数のビデオセグメントを、前記ビデオコラージュ・テンプレートの個別のフレームと関連付ける、請求項１３に記載のビデオコラージュ作成装置。
- 前記分割手段が、前記ビデオを選択された数のセグメントに分割する、請求項１３に記載のビデオコラージュ作成装置。
- 前記分割手段が、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割する、請求項１３に記載のビデオコラージュ作成装置。
- コンピュータに、
ビデオを複数のビデオセグメントに分割する手順と、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供する手順と、
前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける手順と、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てる手順と、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てる手順と、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化する手順と、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する手順と、を実行させるための、
ビデオコラージュ作成プログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US992617 | 2001-11-16 | ||
| US09/992,617 US7203380B2 (en) | 2001-11-16 | 2001-11-16 | Video production and compaction with collage picture frame user interface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003179849A JP2003179849A (ja) | 2003-06-27 |
| JP4200741B2 true JP4200741B2 (ja) | 2008-12-24 |
Family
ID=25538539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002329093A Expired - Fee Related JP4200741B2 (ja) | 2001-11-16 | 2002-11-13 | ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7203380B2 (ja) |
| JP (1) | JP4200741B2 (ja) |
Families Citing this family (227)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7325033B2 (en) * | 2002-07-18 | 2008-01-29 | Clearcube Technology, Inc. | Video conferencing system using video manager to provide picture-in-picture image to display devices located remotely from co-located computing systems |
| JP2004112379A (ja) * | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | 画像検索システム |
| JP2004112372A (ja) * | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | 画像処理システム |
| CN100391248C (zh) * | 2002-09-27 | 2008-05-28 | 富士胶片株式会社 | 相册制作方法及其装置 |
| JP4340528B2 (ja) * | 2003-12-16 | 2009-10-07 | パイオニア株式会社 | 情報再生装置、情報再生方法及び情報再生用プログラム並びに情報記録媒体 |
| US7697785B2 (en) * | 2004-03-31 | 2010-04-13 | Fuji Xerox Co., Ltd. | Generating a highly condensed visual summary |
| US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
| US7529429B2 (en) | 2004-11-12 | 2009-05-05 | Carsten Rother | Auto collage |
| US7532771B2 (en) * | 2004-11-12 | 2009-05-12 | Microsoft Corporation | Image processing system for digital collage |
| US7653261B2 (en) * | 2004-11-12 | 2010-01-26 | Microsoft Corporation | Image tapestry |
| US7555718B2 (en) * | 2004-11-12 | 2009-06-30 | Fuji Xerox Co., Ltd. | System and method for presenting video search results |
| JP2006253992A (ja) * | 2005-03-10 | 2006-09-21 | Fuji Photo Film Co Ltd | 画像レイアウト装置および方法並びにプログラム |
| JP2006293985A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP4588642B2 (ja) * | 2005-03-15 | 2010-12-01 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP2006293986A (ja) | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| JP2006295890A (ja) * | 2005-03-15 | 2006-10-26 | Fuji Photo Film Co Ltd | アルバム作成装置、アルバム作成方法、及びプログラム |
| US7639873B2 (en) * | 2005-07-28 | 2009-12-29 | Microsoft Corporation | Robust shot detection in a video |
| US7739599B2 (en) * | 2005-09-23 | 2010-06-15 | Microsoft Corporation | Automatic capturing and editing of a video |
| US7689064B2 (en) * | 2005-09-29 | 2010-03-30 | Cozi Group Inc. | Media display collages |
| US7644364B2 (en) * | 2005-10-14 | 2010-01-05 | Microsoft Corporation | Photo and video collage effects |
| US8347212B2 (en) * | 2005-11-10 | 2013-01-01 | Lifereel, Inc. | Presentation production system with universal format |
| US7822643B2 (en) * | 2005-11-10 | 2010-10-26 | Lifereel, Inc. | Presentation production system |
| JP5026692B2 (ja) * | 2005-12-01 | 2012-09-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
| US7864978B2 (en) * | 2006-02-06 | 2011-01-04 | Microsoft Corporation | Smart arrangement and cropping for photo views |
| JP4872370B2 (ja) | 2006-02-10 | 2012-02-08 | 富士ゼロックス株式会社 | 情報配信システム及び情報配信方法 |
| US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
| US20070294742A1 (en) * | 2006-06-20 | 2007-12-20 | Scientific-Atlanta, Inc. | Video Scrambling |
| JP2008003968A (ja) * | 2006-06-23 | 2008-01-10 | Fuji Xerox Co Ltd | 情報処理システム、情報処理方法及びプログラム |
| US8144919B2 (en) * | 2006-09-22 | 2012-03-27 | Fuji Xerox Co., Ltd. | Annealing algorithm for non-rectangular shaped stained glass collages |
| US8943410B2 (en) * | 2006-12-22 | 2015-01-27 | Apple Inc. | Modified media presentation during scrubbing |
| US8020100B2 (en) | 2006-12-22 | 2011-09-13 | Apple Inc. | Fast creation of video segments |
| US7992097B2 (en) | 2006-12-22 | 2011-08-02 | Apple Inc. | Select drag and drop operations on video thumbnails across clip boundaries |
| US7559017B2 (en) | 2006-12-22 | 2009-07-07 | Google Inc. | Annotation framework for video |
| US8554868B2 (en) | 2007-01-05 | 2013-10-08 | Yahoo! Inc. | Simultaneous sharing communication interface |
| US7576755B2 (en) * | 2007-02-13 | 2009-08-18 | Microsoft Corporation | Picture collage systems and methods |
| US8094202B2 (en) * | 2007-05-17 | 2012-01-10 | Canon Kabushiki Kaisha | Moving image capture apparatus and moving image capture method |
| US20110235997A1 (en) * | 2007-08-09 | 2011-09-29 | Koninklijke Philips Electronics N.V. | Method and device for creating a modified video from an input video |
| US8775953B2 (en) * | 2007-12-05 | 2014-07-08 | Apple Inc. | Collage display of image projects |
| CN101946500B (zh) * | 2007-12-17 | 2012-10-03 | 伊克鲁迪控股公司 | 实时视频包含*** |
| US8112702B2 (en) | 2008-02-19 | 2012-02-07 | Google Inc. | Annotating video intervals |
| US8566353B2 (en) | 2008-06-03 | 2013-10-22 | Google Inc. | Web-based system for collaborative generation of interactive videos |
| CN201477573U (zh) * | 2009-01-05 | 2010-05-19 | 鸿富锦精密工业（深圳）有限公司 | 多显示屏电子相框 |
| US20100185965A1 (en) * | 2009-01-21 | 2010-07-22 | Frederick Collin Davidson | Artistic file manager |
| WO2010151257A1 (en) * | 2009-06-24 | 2010-12-29 | Hewlett-Packard Development Company, L.P. | Compilation of images |
| EP2446618A4 (en) | 2009-06-24 | 2013-03-06 | Hewlett Packard Development Co | CREATING AN ALBUM OF MAGES |
| KR101164353B1 (ko) * | 2009-10-23 | 2012-07-09 | 삼성전자주식회사 | 미디어 콘텐츠 열람 및 관련 기능 실행 방법과 장치 |
| US9271035B2 (en) | 2011-04-12 | 2016-02-23 | Microsoft Technology Licensing, Llc | Detecting key roles and their relationships from video |
| US8923629B2 (en) | 2011-04-27 | 2014-12-30 | Hewlett-Packard Development Company, L.P. | System and method for determining co-occurrence groups of images |
| US9524087B2 (en) * | 2011-05-20 | 2016-12-20 | Kodak Alaris Inc. | Imaging product selection method |
| EP2732383B1 (en) | 2011-07-12 | 2018-04-04 | Snap Inc. | Methods and systems of providing visual content editing functions |
| US8869198B2 (en) * | 2011-09-28 | 2014-10-21 | Vilynx, Inc. | Producing video bits for space time video summary |
| US11734712B2 (en) | 2012-02-24 | 2023-08-22 | Foursquare Labs, Inc. | Attributing in-store visits to media consumption based on data collected from user devices |
| US8972357B2 (en) | 2012-02-24 | 2015-03-03 | Placed, Inc. | System and method for data collection to validate location data |
| US10155168B2 (en) | 2012-05-08 | 2018-12-18 | Snap Inc. | System and method for adaptable avatars |
| TWI555407B (zh) * | 2012-07-18 | 2016-10-21 | 晶睿通訊股份有限公司 | 影像播放設定方法 |
| US20150206349A1 (en) | 2012-08-22 | 2015-07-23 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
| US8775972B2 (en) | 2012-11-08 | 2014-07-08 | Snapchat, Inc. | Apparatus and method for single action control of social network profile access |
| JP2014106637A (ja) * | 2012-11-26 | 2014-06-09 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US9705831B2 (en) | 2013-05-30 | 2017-07-11 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
| US9742713B2 (en) | 2013-05-30 | 2017-08-22 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
| US10439972B1 (en) | 2013-05-30 | 2019-10-08 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
| JP6104077B2 (ja) * | 2013-07-01 | 2017-03-29 | オリンパス株式会社 | 撮影機器及び撮影方法 |
| US9083770B1 (en) | 2013-11-26 | 2015-07-14 | Snapchat, Inc. | Method and system for integrating real time communication features in applications |
| JP6156126B2 (ja) * | 2013-12-19 | 2017-07-05 | 富士通株式会社 | 検索方法、検索プログラムおよび検索装置 |
| CA2863124A1 (en) | 2014-01-03 | 2015-07-03 | Investel Capital Corporation | User content sharing system and method with automated external content integration |
| US9628950B1 (en) | 2014-01-12 | 2017-04-18 | Investment Asset Holdings Llc | Location-based messaging |
| US10082926B1 (en) | 2014-02-21 | 2018-09-25 | Snap Inc. | Apparatus and method for alternate channel communication initiated through a common message thread |
| US8909725B1 (en) | 2014-03-07 | 2014-12-09 | Snapchat, Inc. | Content delivery network for ephemeral objects |
| US9276886B1 (en) | 2014-05-09 | 2016-03-01 | Snapchat, Inc. | Apparatus and method for dynamically configuring application component tiles |
| US9396354B1 (en) | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
| US9537811B2 (en) | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
| EP2953085A1 (en) | 2014-06-05 | 2015-12-09 | Mobli Technologies 2010 Ltd. | Web document enhancement |
| US9113301B1 (en) | 2014-06-13 | 2015-08-18 | Snapchat, Inc. | Geo-location based event gallery |
| AU2015279544B2 (en) | 2014-06-27 | 2018-03-15 | Apple Inc. | Electronic device with rotatable input mechanism for navigating calendar application |
| US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
| US10135905B2 (en) | 2014-07-21 | 2018-11-20 | Apple Inc. | Remote user interface |
| KR20230042141A (ko) * | 2014-08-02 | 2023-03-27 | 애플 인크. | 상황 특정 사용자 인터페이스 |
| US10452253B2 (en) | 2014-08-15 | 2019-10-22 | Apple Inc. | Weather user interface |
| US10055717B1 (en) | 2014-08-22 | 2018-08-21 | Snap Inc. | Message processor with application prompts |
| EP4050467A1 (en) | 2014-09-02 | 2022-08-31 | Apple Inc. | Phone user interface |
| JP2017527033A (ja) | 2014-09-02 | 2017-09-14 | アップル インコーポレイテッド | ユーザ入力を受信するためのユーザインタフェース |
| US10254948B2 (en) | 2014-09-02 | 2019-04-09 | Apple Inc. | Reduced-size user interfaces for dynamically updated application overviews |
| US10423983B2 (en) | 2014-09-16 | 2019-09-24 | Snap Inc. | Determining targeting information based on a predictive targeting model |
| US10824654B2 (en) | 2014-09-18 | 2020-11-03 | Snap Inc. | Geolocation-based pictographs |
| US11216869B2 (en) | 2014-09-23 | 2022-01-04 | Snap Inc. | User interface to augment an image using geolocation |
| US10284508B1 (en) | 2014-10-02 | 2019-05-07 | Snap Inc. | Ephemeral gallery of ephemeral messages with opt-in permanence |
| US9015285B1 (en) | 2014-11-12 | 2015-04-21 | Snapchat, Inc. | User interface for accessing media at a geographic location |
| US10311916B2 (en) | 2014-12-19 | 2019-06-04 | Snap Inc. | Gallery of videos set to an audio time line |
| US9385983B1 (en) | 2014-12-19 | 2016-07-05 | Snapchat, Inc. | Gallery of messages from individuals with a shared interest |
| US9854219B2 (en) | 2014-12-19 | 2017-12-26 | Snap Inc. | Gallery of videos set to an audio time line |
| US9754355B2 (en) | 2015-01-09 | 2017-09-05 | Snap Inc. | Object recognition based photo filters |
| US11388226B1 (en) | 2015-01-13 | 2022-07-12 | Snap Inc. | Guided personal identity based actions |
| US10133705B1 (en) | 2015-01-19 | 2018-11-20 | Snap Inc. | Multichannel system |
| US9521515B2 (en) | 2015-01-26 | 2016-12-13 | Mobli Technologies 2010 Ltd. | Content request by location |
| US10055121B2 (en) | 2015-03-07 | 2018-08-21 | Apple Inc. | Activity based thresholds and feedbacks |
| WO2016144385A1 (en) | 2015-03-08 | 2016-09-15 | Apple Inc. | Sharing user-configurable graphical constructs |
| US10223397B1 (en) | 2015-03-13 | 2019-03-05 | Snap Inc. | Social graph based co-location of network users |
| KR102035405B1 (ko) | 2015-03-18 | 2019-10-22 | 스냅 인코포레이티드 | 지오-펜스 인가 프로비저닝 |
| KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
| US9692967B1 (en) | 2015-03-23 | 2017-06-27 | Snap Inc. | Systems and methods for reducing boot time and power consumption in camera systems |
| US9881094B2 (en) | 2015-05-05 | 2018-01-30 | Snap Inc. | Systems and methods for automated local story generation and curation |
| US10135949B1 (en) | 2015-05-05 | 2018-11-20 | Snap Inc. | Systems and methods for story and sub-story navigation |
| US9916075B2 (en) | 2015-06-05 | 2018-03-13 | Apple Inc. | Formatting content for a reduced-size user interface |
| US10993069B2 (en) | 2015-07-16 | 2021-04-27 | Snap Inc. | Dynamically adaptive media content delivery |
| US10817898B2 (en) | 2015-08-13 | 2020-10-27 | Placed, Llc | Determining exposures to content presented by physical objects |
| EP4321088A3 (en) | 2015-08-20 | 2024-04-24 | Apple Inc. | Exercise-based watch face |
| US9652896B1 (en) | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
| US9984499B1 (en) | 2015-11-30 | 2018-05-29 | Snap Inc. | Image and point cloud based tracking and in augmented reality systems |
| US10474321B2 (en) | 2015-11-30 | 2019-11-12 | Snap Inc. | Network resource location linking and visual content sharing |
| US10354425B2 (en) | 2015-12-18 | 2019-07-16 | Snap Inc. | Method and system for providing context relevant media augmentation |
| US11023514B2 (en) | 2016-02-26 | 2021-06-01 | Snap Inc. | Methods and systems for generation, curation, and presentation of media collections |
| US10285001B2 (en) | 2016-02-26 | 2019-05-07 | Snap Inc. | Generation, curation, and presentation of media collections |
| US10679389B2 (en) | 2016-02-26 | 2020-06-09 | Snap Inc. | Methods and systems for generation, curation, and presentation of media collections |
| US10339365B2 (en) | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
| US11900418B2 (en) | 2016-04-04 | 2024-02-13 | Snap Inc. | Mutable geo-fencing system |
| AU2017100667A4 (en) | 2016-06-11 | 2017-07-06 | Apple Inc. | Activity and workout updates |
| US11201981B1 (en) | 2016-06-20 | 2021-12-14 | Pipbin, Inc. | System for notification of user accessibility of curated location-dependent content in an augmented estate |
| US10334134B1 (en) | 2016-06-20 | 2019-06-25 | Maximillian John Suiter | Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction |
| US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
| US10805696B1 (en) | 2016-06-20 | 2020-10-13 | Pipbin, Inc. | System for recording and targeting tagged content of user interest |
| US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
| US10638256B1 (en) | 2016-06-20 | 2020-04-28 | Pipbin, Inc. | System for distribution and display of mobile targeted augmented reality content |
| US11044393B1 (en) | 2016-06-20 | 2021-06-22 | Pipbin, Inc. | System for curation and display of location-dependent augmented reality content in an augmented estate system |
| US10157638B2 (en) * | 2016-06-24 | 2018-12-18 | Google Llc | Collage of interesting moments in a video |
| US9681265B1 (en) | 2016-06-28 | 2017-06-13 | Snap Inc. | System to track engagement of media items |
| US10430838B1 (en) | 2016-06-28 | 2019-10-01 | Snap Inc. | Methods and systems for generation, curation, and presentation of media collections with automated advertising |
| US10733255B1 (en) | 2016-06-30 | 2020-08-04 | Snap Inc. | Systems and methods for content navigation with automated curation |
| US10855632B2 (en) | 2016-07-19 | 2020-12-01 | Snap Inc. | Displaying customized electronic messaging graphics |
| EP3800618B1 (en) | 2016-08-30 | 2022-12-07 | Snap Inc. | Systems and methods for simultaneous localization and mapping |
| AU2016231661A1 (en) * | 2016-09-27 | 2018-04-12 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting a video frame |
| CN106454180B (zh) * | 2016-09-27 | 2022-03-18 | 宇龙计算机通信科技(深圳)有限公司 | 录制、处理和传输视频的方法和装置及终端 |
| US10432559B2 (en) | 2016-10-24 | 2019-10-01 | Snap Inc. | Generating and displaying customized avatars in electronic messages |
| WO2018081751A1 (en) | 2016-10-28 | 2018-05-03 | Vilynx, Inc. | Video tagging system and method |
| CN112738408B (zh) | 2016-11-07 | 2022-09-16 | 斯纳普公司 | 图像修改器的选择性识别和排序 |
| US10203855B2 (en) | 2016-12-09 | 2019-02-12 | Snap Inc. | Customized user-controlled media overlays |
| US11616745B2 (en) | 2017-01-09 | 2023-03-28 | Snap Inc. | Contextual generation and selection of customized media content |
| US10454857B1 (en) | 2017-01-23 | 2019-10-22 | Snap Inc. | Customized digital avatar accessories |
| US10915911B2 (en) | 2017-02-03 | 2021-02-09 | Snap Inc. | System to determine a price-schedule to distribute media content |
| US11250075B1 (en) | 2017-02-17 | 2022-02-15 | Snap Inc. | Searching social media content |
| US10319149B1 (en) | 2017-02-17 | 2019-06-11 | Snap Inc. | Augmented reality anamorphosis system |
| US10074381B1 (en) | 2017-02-20 | 2018-09-11 | Snap Inc. | Augmented reality speech balloon system |
| US10565795B2 (en) | 2017-03-06 | 2020-02-18 | Snap Inc. | Virtual vision system |
| US10523625B1 (en) | 2017-03-09 | 2019-12-31 | Snap Inc. | Restricted group content collection |
| US10582277B2 (en) | 2017-03-27 | 2020-03-03 | Snap Inc. | Generating a stitched data stream |
| US10581782B2 (en) | 2017-03-27 | 2020-03-03 | Snap Inc. | Generating a stitched data stream |
| US11170393B1 (en) | 2017-04-11 | 2021-11-09 | Snap Inc. | System to calculate an engagement score of location based media content |
| US10387730B1 (en) | 2017-04-20 | 2019-08-20 | Snap Inc. | Augmented reality typography personalization system |
| CN111010882B (zh) | 2017-04-27 | 2023-11-03 | 斯纳普公司 | 在基于地图的社交媒体平台上的位置隐私关联 |
| US10212541B1 (en) | 2017-04-27 | 2019-02-19 | Snap Inc. | Selective location-based identity communication |
| US11893647B2 (en) | 2017-04-27 | 2024-02-06 | Snap Inc. | Location-based virtual avatars |
| US10467147B1 (en) | 2017-04-28 | 2019-11-05 | Snap Inc. | Precaching unlockable data elements |
| DK179412B1 (en) | 2017-05-12 | 2018-06-06 | Apple Inc | Context-Specific User Interfaces |
| US10803120B1 (en) | 2017-05-31 | 2020-10-13 | Snap Inc. | Geolocation based playlists |
| US10805684B2 (en) * | 2017-06-21 | 2020-10-13 | mindHIVE Inc. | Systems and methods for creating and editing multi-component media |
| US11475254B1 (en) | 2017-09-08 | 2022-10-18 | Snap Inc. | Multimodal entity identification |
| US10740974B1 (en) | 2017-09-15 | 2020-08-11 | Snap Inc. | Augmented reality system |
| US10499191B1 (en) | 2017-10-09 | 2019-12-03 | Snap Inc. | Context sensitive presentation of content |
| US10573043B2 (en) | 2017-10-30 | 2020-02-25 | Snap Inc. | Mobile-based cartographic control of display content |
| US11265273B1 (en) | 2017-12-01 | 2022-03-01 | Snap, Inc. | Dynamic media overlay with smart widget |
| US11017173B1 (en) | 2017-12-22 | 2021-05-25 | Snap Inc. | Named entity recognition visual context and caption data |
| US10678818B2 (en) | 2018-01-03 | 2020-06-09 | Snap Inc. | Tag distribution visualization system |
| US11507614B1 (en) | 2018-02-13 | 2022-11-22 | Snap Inc. | Icon based tagging |
| US10885136B1 (en) | 2018-02-28 | 2021-01-05 | Snap Inc. | Audience filtering system |
| US10979752B1 (en) | 2018-02-28 | 2021-04-13 | Snap Inc. | Generating media content items based on location information |
| US10327096B1 (en) | 2018-03-06 | 2019-06-18 | Snap Inc. | Geo-fence selection system |
| KR102574151B1 (ko) | 2018-03-14 | 2023-09-06 | 스냅 인코포레이티드 | 위치 정보에 기초한 수집가능한 항목들의 생성 |
| US11163941B1 (en) | 2018-03-30 | 2021-11-02 | Snap Inc. | Annotating a collection of media content items |
| US10219111B1 (en) | 2018-04-18 | 2019-02-26 | Snap Inc. | Visitation tracking system |
| US11327650B2 (en) | 2018-05-07 | 2022-05-10 | Apple Inc. | User interfaces having a collection of complications |
| US10896197B1 (en) | 2018-05-22 | 2021-01-19 | Snap Inc. | Event detection system |
| US10679393B2 (en) | 2018-07-24 | 2020-06-09 | Snap Inc. | Conditional modification of augmented reality object |
| US10997760B2 (en) | 2018-08-31 | 2021-05-04 | Snap Inc. | Augmented reality anthropomorphization system |
| US10698583B2 (en) | 2018-09-28 | 2020-06-30 | Snap Inc. | Collaborative achievement interface |
| US10778623B1 (en) | 2018-10-31 | 2020-09-15 | Snap Inc. | Messaging and gaming applications communication platform |
| US11199957B1 (en) | 2018-11-30 | 2021-12-14 | Snap Inc. | Generating customized avatars based on location information |
| US10939236B1 (en) | 2018-11-30 | 2021-03-02 | Snap Inc. | Position service to determine relative position to map features |
| US11032670B1 (en) | 2019-01-14 | 2021-06-08 | Snap Inc. | Destination sharing in location sharing system |
| US10939246B1 (en) | 2019-01-16 | 2021-03-02 | Snap Inc. | Location-based context information sharing in a messaging system |
| US11294936B1 (en) | 2019-01-30 | 2022-04-05 | Snap Inc. | Adaptive spatial density based clustering |
| US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
| US10936066B1 (en) | 2019-02-13 | 2021-03-02 | Snap Inc. | Sleep detection in a location sharing system |
| US10838599B2 (en) | 2019-02-25 | 2020-11-17 | Snap Inc. | Custom media overlay system |
| US10964082B2 (en) | 2019-02-26 | 2021-03-30 | Snap Inc. | Avatar based on weather |
| US10852918B1 (en) | 2019-03-08 | 2020-12-01 | Snap Inc. | Contextual information in chat |
| US11868414B1 (en) | 2019-03-14 | 2024-01-09 | Snap Inc. | Graph-based prediction for contact suggestion in a location sharing system |
| US11852554B1 (en) | 2019-03-21 | 2023-12-26 | Snap Inc. | Barometer calibration in a location sharing system |
| US11249614B2 (en) | 2019-03-28 | 2022-02-15 | Snap Inc. | Generating personalized map interface with enhanced icons |
| US10810782B1 (en) | 2019-04-01 | 2020-10-20 | Snap Inc. | Semantic texture mapping system |
| US11340778B2 (en) | 2019-05-06 | 2022-05-24 | Apple Inc. | Restricted operation of an electronic device |
| US11960701B2 (en) | 2019-05-06 | 2024-04-16 | Apple Inc. | Using an illustration to show the passing of time |
| US11131967B2 (en) | 2019-05-06 | 2021-09-28 | Apple Inc. | Clock faces for an electronic device |
| US10560898B1 (en) | 2019-05-30 | 2020-02-11 | Snap Inc. | Wearable device location systems |
| US10582453B1 (en) | 2019-05-30 | 2020-03-03 | Snap Inc. | Wearable device location systems architecture |
| US10893385B1 (en) | 2019-06-07 | 2021-01-12 | Snap Inc. | Detection of a physical collision between two client devices in a location sharing system |
| US11120273B2 (en) * | 2019-06-21 | 2021-09-14 | Gfycat, Inc. | Adaptive content classification of a video content item |
| US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
| US10852905B1 (en) | 2019-09-09 | 2020-12-01 | Apple Inc. | Techniques for managing display usage |
| US11821742B2 (en) | 2019-09-26 | 2023-11-21 | Snap Inc. | Travel based notifications |
| US11218838B2 (en) | 2019-10-31 | 2022-01-04 | Snap Inc. | Focused map-based context information surfacing |
| US10880496B1 (en) | 2019-12-30 | 2020-12-29 | Snap Inc. | Including video feed in message thread |
| US11429618B2 (en) | 2019-12-30 | 2022-08-30 | Snap Inc. | Surfacing augmented reality objects |
| US11128715B1 (en) | 2019-12-30 | 2021-09-21 | Snap Inc. | Physical friend proximity in chat |
| US11343323B2 (en) | 2019-12-31 | 2022-05-24 | Snap Inc. | Augmented reality objects registry |
| US11169658B2 (en) | 2019-12-31 | 2021-11-09 | Snap Inc. | Combined map icon with action indicator |
| US11228551B1 (en) | 2020-02-12 | 2022-01-18 | Snap Inc. | Multiple gateway message exchange |
| US11516167B2 (en) | 2020-03-05 | 2022-11-29 | Snap Inc. | Storing data based on device location |
| US11619501B2 (en) | 2020-03-11 | 2023-04-04 | Snap Inc. | Avatar based on trip |
| US10956743B1 (en) | 2020-03-27 | 2021-03-23 | Snap Inc. | Shared augmented reality system |
| US11430091B2 (en) | 2020-03-27 | 2022-08-30 | Snap Inc. | Location mapping for large scale augmented-reality |
| DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11372659B2 (en) | 2020-05-11 | 2022-06-28 | Apple Inc. | User interfaces for managing user interface sharing |
| CN115552375A (zh) | 2020-05-11 | 2022-12-30 | 苹果公司 | 用于管理用户界面共享的用户界面 |
| US11483267B2 (en) | 2020-06-15 | 2022-10-25 | Snap Inc. | Location sharing using different rate-limited links |
| US11314776B2 (en) | 2020-06-15 | 2022-04-26 | Snap Inc. | Location sharing using friend list versions |
| US11290851B2 (en) | 2020-06-15 | 2022-03-29 | Snap Inc. | Location sharing using offline and online objects |
| US11503432B2 (en) | 2020-06-15 | 2022-11-15 | Snap Inc. | Scalable real-time location sharing framework |
| US11308327B2 (en) | 2020-06-29 | 2022-04-19 | Snap Inc. | Providing travel-based augmented reality content with a captured image |
| US11349797B2 (en) | 2020-08-31 | 2022-05-31 | Snap Inc. | Co-location connection service |
| US11694590B2 (en) | 2020-12-21 | 2023-07-04 | Apple Inc. | Dynamic user interface with time indicator |
| US11720239B2 (en) | 2021-01-07 | 2023-08-08 | Apple Inc. | Techniques for user interfaces related to an event |
| US11606756B2 (en) | 2021-03-29 | 2023-03-14 | Snap Inc. | Scheduling requests for location data |
| US11645324B2 (en) | 2021-03-31 | 2023-05-09 | Snap Inc. | Location-based timeline media content system |
| US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
| US11829834B2 (en) | 2021-10-29 | 2023-11-28 | Snap Inc. | Extended QR code |
| US12001750B2 (en) | 2022-04-20 | 2024-06-04 | Snap Inc. | Location-based shared augmented reality experience system |
| US12020384B2 (en) | 2022-06-21 | 2024-06-25 | Snap Inc. | Integrating augmented reality experiences with other components |
| US12020386B2 (en) | 2022-06-23 | 2024-06-25 | Snap Inc. | Applying pregenerated virtual experiences in new location |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4717971A (en) * | 1984-08-24 | 1988-01-05 | Eastman Kodak Company | Partitioned editing method for a collection of video still pictures |
| US5048095A (en) * | 1990-03-30 | 1991-09-10 | Honeywell Inc. | Adaptive image segmentation system |
| KR100215586B1 (ko) * | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| JP3108585B2 (ja) * | 1993-07-28 | 2000-11-13 | 日本電信電話株式会社 | ビデオ画像プリントアクセス方法およびシステム |
| US5454678A (en) * | 1993-11-15 | 1995-10-03 | Hefty; John B. | Method of making personalized children's storybook utilizing stickers |
| US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
| US5751281A (en) * | 1995-12-11 | 1998-05-12 | Apple Computer, Inc. | Apparatus and method for storing a movie within a movie |
| US6111586A (en) * | 1996-03-15 | 2000-08-29 | Fujitsu Limited | Electronic photo album editing apparatus |
| US5784461A (en) * | 1996-05-23 | 1998-07-21 | Eastman Kodak Company | Security system for controlling access to images and image related services |
| US6098082A (en) * | 1996-07-15 | 2000-08-01 | At&T Corp | Method for automatically providing a compressed rendition of a video program in a format suitable for electronic searching and retrieval |
| US5828809A (en) * | 1996-10-01 | 1998-10-27 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for extracting indexing information from digital video data |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| US6195458B1 (en) * | 1997-07-29 | 2001-02-27 | Eastman Kodak Company | Method for content-based temporal segmentation of video |
| US6014183A (en) * | 1997-08-06 | 2000-01-11 | Imagine Products, Inc. | Method and apparatus for detecting scene changes in a digital video stream |
| US6097389A (en) * | 1997-10-24 | 2000-08-01 | Pictra, Inc. | Methods and apparatuses for presenting a collection of digital media in a media container |
| US6072542A (en) * | 1997-11-25 | 2000-06-06 | Fuji Xerox Co., Ltd. | Automatic video segmentation using hidden markov model |
| US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| US6307550B1 (en) * | 1998-06-11 | 2001-10-23 | Presenter.Com, Inc. | Extracting photographic images from video |
| US6123362A (en) * | 1998-10-26 | 2000-09-26 | Eastman Kodak Company | System and method of constructing a photo collage |
| US6396963B2 (en) * | 1998-12-29 | 2002-05-28 | Eastman Kodak Company | Photocollage generation and modification |
| US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
| US6791601B1 (en) * | 1999-11-11 | 2004-09-14 | Stryker Corporation | Multi-function image and video capture device for use in an endoscopic camera system |
| US6636220B1 (en) * | 2000-01-05 | 2003-10-21 | Microsoft Corporation | Video-based rendering |
| US6608563B2 (en) * | 2000-01-26 | 2003-08-19 | Creative Kingdoms, Llc | System for automated photo capture and retrieval |
| EP1128284A2 (en) * | 2000-02-21 | 2001-08-29 | Hewlett-Packard Company, A Delaware Corporation | Associating image and location data |
| US6383080B1 (en) * | 2000-05-09 | 2002-05-07 | Nintendo Co., Ltd. | Kiosk for printing and communicating video game images |
| US6882793B1 (en) * | 2000-06-16 | 2005-04-19 | Yesvideo, Inc. | Video processing system |
| US6819795B1 (en) * | 2000-07-07 | 2004-11-16 | Fuji Xerox Co., Ltd. | Genetic segmentation method for data, such as image data streams |
-
2001
- 2001-11-16 US US09/992,617 patent/US7203380B2/en not_active Expired - Lifetime
-
2002
- 2002-11-13 JP JP2002329093A patent/JP4200741B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030095720A1 (en) | 2003-05-22 |
| US7203380B2 (en) | 2007-04-10 |
| JP2003179849A (ja) | 2003-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4200741B2 (ja) | ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム | |
| CA2253124C (en) | Video searching method and apparatus, video information producing method, and storage medium for storing processing program thereof | |
| JP5507386B2 (ja) | 画像セットからの動画コンテンツの生成 | |
| US8868465B2 (en) | Method and system for publishing media content | |
| US6920181B1 (en) | Method for synchronizing audio and video streams | |
| JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
| US20060253783A1 (en) | Story template structures associated with story enhancing content and rules | |
| US20050200762A1 (en) | Redundancy elimination in a content-adaptive video preview system | |
| US20030085913A1 (en) | Creation of slideshow based on characteristic of audio content used to produce accompanying audio display | |
| US8443276B2 (en) | System and data model for shared viewing and editing of time-based media | |
| CA2590234A1 (en) | A method of automatically editing media recordings | |
| US20040181545A1 (en) | Generating and rendering annotated video files | |
| US20210117471A1 (en) | Method and system for automatically generating a video from an online product representation | |
| US20080320046A1 (en) | Video data management apparatus | |
| US20170084309A1 (en) | Video file creation device and video file creation method | |
| KR101440168B1 (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
| US20060010366A1 (en) | Multimedia content generator | |
| CN106790558B (zh) | 一种影片多版本整合存储和提取*** | |
| TW425520B (en) | System and method for programmatic generation of continuous media presentations | |
| KR100453060B1 (ko) | ＭＰＶ(ＭｕｌｔｉＰｈｏｔｏＶｉｄｅｏ) 환경하에서자산이 위치하는 경로와 파일 이름을 나타내는 라스트유알엘 복구 방법 | |
| JP6730760B2 (ja) | サーバおよびプログラム、動画配信システム | |
| JP6603929B1 (ja) | 動画編集サーバおよびプログラム | |
| JP2008067334A (ja) | 画像処理装置および方法、並びにプログラム | |
| EP1489616A1 (en) | Method of generating a multimedia disc | |
| Amir et al. | Automatic generation of conference video proceedings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080929 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4200741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |