JP3719933B2 - 階層的ディジタル動画要約及び閲覧方法、並びにその装置 - Google Patents
階層的ディジタル動画要約及び閲覧方法、並びにその装置 Download PDFInfo
- Publication number
- JP3719933B2 JP3719933B2 JP2000525829A JP2000525829A JP3719933B2 JP 3719933 B2 JP3719933 B2 JP 3719933B2 JP 2000525829 A JP2000525829 A JP 2000525829A JP 2000525829 A JP2000525829 A JP 2000525829A JP 3719933 B2 JP3719933 B2 JP 3719933B2
- Authority
- JP
- Japan
- Prior art keywords
- digital video
- hierarchical
- frame
- frames
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/326—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
関連出願
１９９８年１月７日提出のＲａｔａｋｏｎｄａの第０９／００４，０５８号の“動画シーケンスにおけるディゾルブ領域の検出（Ｄｅｔｅｃｔｉｎｇ Ｄｉｓｓｏｌｖｅ Ｒｅｇｉｏｒｓ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ）”。
【０００２】
発明の属する技術分野
本発明は、（ｉ）動画コンテンツの視覚的な認定、（ii）動画のインデクシング、（iii）動画の閲覧ブラウジング及び（ｉｖ）動画の編集等の用途に用いる階層的要約において静止画の各セット毎にディジタル動画シーケンスの表現を決定することに関する。ディジタル動画シーケンスは、動画像圧縮標準（ＭＰＥＧ）により圧縮され、その表現は圧縮ビットストリームの最少復号化によって決定される。
【０００３】
発明の背景
動画のコンパクトな表現は、多数の情報問い合わせと検索の用途にとって肝要である。かような用途の例には、マルチメディアデータベースのアクセスから動画クリップを介したスキミング（高速前方走査）にまで及ぶ。大多数のこれまでの方法は、所与の動画セグメントを“ショット”に分割することに主として重点が置かれていた。各ショットは、そのショットを要約する１枚のキーフレームにより代表される。かように、全動画を通して閲覧する代わりにこれらの代表的なフレームを見ることができる。ショットの検出は高い精度（＞９０％）と僅かな脱漏率（＜５％）で達成される。ヒストグラムに基づく方法は最も成功率が高く、且つ計算量が最少ですむショット検出方法の１つである。種々のショット検出方法間の比較を文献に見ることができる。これらのスキームの多くは，動画ショット境界を定める際にパン，ズーム，ディゾルブ及びフェード等の幾つかの特殊な状況を考慮している。
【０００４】
公知の技法は、ショット境界またはシーン転換を検出し、動画シーケンスを代表するキーフレームのような各ショットからの単一フレームよりなるフレームの集積を使用することに一般的には重点を置いている。各ショットに１枚より多いキーフレームを割り当てることにより、その動画のコンテンツをより良く要約表現できる。かような公知の要約方法は，しかしながら、単層の要約であり柔軟性を欠く。
他の公知の技法は，色ヒストグラムを使用し、ＭＰＥＧビットストリーム（即ち、ＤＣＴ８ｘ８ブロックのＤＣ係数のヒストグラム）からヒストグラムを形成する方法を記述している。これは、Ｉ（フレーム内符号化）フレームに対する比較的直截な方法であるが、参照画像の最少復号化を伴うＰ（予測）フレーム又はＢ（双方向予測）フレームのＤＣ（ゼロ頻度）係数の回復方法が複数存在する。
離散余弦変換（ＤＣＴ）圧縮動画に関する公知の文献は、ワーキングシステムの具体的な実施例については何も記述していない。例えば、認定後にキーフレームは視覚表示のために復号されねばならないが、公知の文献のどれにも、全動画シーケンスを復号することなくビットストリームの任意位置にあり得るキーフレームの効率的な復号機構は記述されていない。
【０００５】
上記スキームの主要な制限は，全てのショットを同等に扱っていることである。大抵の場合、完全なショットを１枚のフレームでは十分に表現できないと考えられる。これは、ショット中の“興味深い動き”量に応じて、各ショット毎に若干のキーフレームを割り当てるアイデアに到達する。最新技術の動画閲覧システムは、動画シーケンスを成分ショットに分割し、各ショットを数枚の代表キーフレームで表現する。この表現を“要約”と称する。
【０００６】
本発明は、１９９６年のローザンヌ国際画像処理会議の会報（６７１−６７４頁）にＬ．Ｌａｎｇｅｎｄｉｊｋ，Ａ．Ｈａｎｊａｌｉｃ，Ｍ．Ｃｅｃｃａｒｅｌｌｉ，Ｍ．Ｓｏｌｅｔｉｃ及びＥ．Ｐｅｒｓｏｏｎによって開示された“ＳＭＡＳＨシステムにおける視覚的探索（Ｖｉｓｕａｌ Ｓｅａｒｃｈ ｉｎ ＳＭＡＳＨ Ｓｙｓｔｅｍ）”方法（これより後、“Ｌａｎｇｅｒｄｉｊｉｋ”の技法と記す）を改良し拡張するものである。
【０００７】
発明の要約
本発明は、階層的ディジタル動画要約及び閲覧方法であり、その基本構成には、ディジタル動画シーケンス毎にディジタル動画信号を入力することと、動画シーケンスのキーフレームに基づいて階層的要約を生成することを含んでいる。追加のステップとして、ディジタル動画シーケンスに対するヒストグラムを計算することと、ディジタル動画シーケンス内のショット境界を検出することと、各ショット内の割り当てられるキーフレーム数を算定することと、各ショット内の各キーフレームの動きのある位置を決定することと、最大連続差分判定基準によりキーフレームを認定することと、有意な動きの無いショット毎にキーフレームを削減することと、圧縮動画の場合にキーフレームを効率よく抽出することと階層的なキーフレームの要約を用いてショットを閲覧することを含んでいる。
【０００８】
“動画要約”はその動画の代表として使用できる所与の動画シーケンスの最も突出した（顕著な、主要な）フレームを決定することに関する。階層的要約方法は、レベル（即ち、フレーム数）が細部において異なる、複数のレベルを持つ階層的要約を構築するために開示される。最も粗いか最もコンパクトなレベルは、最も顕著なフレームを提供し、最少数のフレームを含んでいる。
【０００９】
本発明の目的は、各レベルが細部の異なるレベルに相当する階層的マルチレベルの要約を生成する方法を提供することにある。
【００１０】
本発明の他の目的は、キーフレームの選択を改善する方法を提供することにある。
【００１１】
本発明の他の目的は、階層的フレームの要約と共に、シーンの動きコンテンツ特にパンとズームを検出して利用しユーザに提示することにある。
【００１２】
本発明のさらなる目的は、各レベルが細部の異なるレベルに相当するＭＰＥＧ−２による圧縮動画の階層的マルチレベルの要約を生成する方法を提供することにある。
【００１３】
本発明のさらなる目的は、ヒストグラムの構築とビットストリームの復号が最少である階層的要約を生成するために、ＭＰＥＧ−２の圧縮動画に直接応用できる方法を提供することにある。
【００１４】
本発明の他の目的は、ＭＰＥＧ−２の圧縮動画の要約を生成する完全で効率のよいシステムを提供することにある。
【００１５】
本発明のさらに他の目的は、ＭＰＥＧビットストリ−ムに対するヒストグラム計算を処理する効率のよい方法を提供することにある。
【００１６】
好適な実施形態の詳細な説明
セマンテックな顕著さ（特徴）を自動捕捉する現在の技術はまだ未熟であるので、動画の要約方法は、色ヒストグラムのような低レベルな画像の特徴に依拠している。動画の要約は、その動画の代表として使用できる所与の動画シーケンスの最も顕著なフレームを決定する方法である。重要な情報を有する特定のフレームは、総数が予め規定されたフレームを含む単一の要約には含まれないようにすることも可能である。
【００１７】
図１を参照する。本発明の階層的要約方法により生成された階層的マルチレベルな要約２０は、重要なコンテンツの情報を失わないように十分に多数のフレームを用いた詳細にわたる細密レベルの要約を提供できるので重要なコンテンツ情報は失われない、と同時に、動画の迅速な閲覧と特定用により粗い又はコンパクトな要約の利用を妨げないようにより粗いレベルの詳細度の低い要約を提供できる。階層的マルチレベル要約２０は、より詳細な要約が必要と判断されて、粗い要約２４及び最も細密な要約２６のようなより細かいレベルの要約が呼び出されるまで提示される、最も粗いレベルの最もコンパクトな要約２２を含んでいる。図１には３つの要約レベルが示されているが、本発明の階層的要約は、１つより多い任意のレベル数を用いることができる。
【００１８】
要約２０は、又、動画シーケンスのデータベースの高速閲覧を容易にし、最もコンパクトな要約に基づく閲覧ができ、ユーザの要求に従って、より詳細なレベルに要約を高めていくことできる。
【００１９】
階層的マルチレベルな要約は、動画の要約を視覚的な対話式で効率よくユーザに提示する方法を容易にする。ユーザはグラフィカルユーザインターフェースを介して要約と対話し、より詳細な要約を要求し、異なるレベルの要約を視覚表示し、任意レベルにおける要約の任意の２枚のキーフレーム間で動画を再生することができる。ここに開示する方法のユーザは要約中のキーフレームの最大数と階層のレベル数を指定できるので、このシステムメモリと資源が制限された用途においても制御可能である。
【００２０】
ここに開示する方法は、非圧縮（又は伸長）動画又はＭＰＥＧ圧縮動画のようなＤＣＴ（離散余弦変換）による圧縮動画又は他の動き補償予測圧縮動画のいずれにも適用できる。ＭＰＥＧ圧縮動画の場合、要約は最少のビットストリームの復号と効率的なキーフレームの復号方法により実行され、計算及びメモリ能力に対する要求が軽減される。ここでは、ＭＰＥＧ−２による圧縮動画を例にとり説明するが、前記の通り、ＤＣＴに基づく任意の圧縮動画に対しても適用可能である。当技術に熟達した人には、ＭＰＥＧ動画への参照が他に規定されていない限り圧縮動画ストリームへの参照であることは理解されよう。
【００２１】
ここに開示の階層的要約方法において、後処理によるフェードのような特殊効果の検出が支援される。かような効果を含むセグメントは、精度に悪影響を与えないように要約プロセスには含まれない。本方法において、要約における最もコンパクトで意味深い表現に対して、パン及びズームセグメントを検出することも考慮される。
動画シーケンスは、静止画像に対して開発された技法を用いて要約フレームに基づいてインデクシングすることができる。複数レベルにより細部変化レベルにおけるインデクシング（索引）の方向に柔軟性を生じる。
【００２２】
本発明の階層的な方法は、最もコンパクトな要約のコンテンツが実際に興味を引くものであればより詳細な要約２４，２６にアクセスする選択肢を持ちつつ、ユーザが最もコンパクトな要約２２を考慮することにより、動画シーケンスの集まりを高速閲覧できる。本発明の方法のユーザは、動画シーケンスの選択セグメントにおいて要約を精錬する柔軟性を有している。
ＭＰＥＧ動画シーケンスを要約するために使用する、“ビットストリームインデックステーブル生成器”と“復号器マネージャ”と云う２つの構成要素が設けられている。これらの構成要素は、視覚的な要約を生成し、次に動画の全体を復号せずに閲覧するようにキーフレームを効率よく復号するために必要である。
【００２３】
図２に、本発明の方法全体３０を要約して示す。この方法は、カメラ一体型レコーダのような動画カメラとレコーダ又は少なくとも動画シーケンスを設置でき、理想的には動画入力３２として使用する大量の動画データを蓄積できる容量を有するコンピュータシステム上で作動することを目的としている。本発明の方法を含む機構をここでは“システム”と呼ぶ。入力動画３２は、フェードイン又はフェードアウトのような特殊効果を含むフレームは、擬似ショット境界と擬似キーフレームを生じる結果を招くので、まず、かようなフレームを検出し除去するための処理をする（３４）。かようなフレームは大域的（グローバル）な動きイベントとして分類して、次にさらなる処理から除外する。次のステップは、ヒストグラムの計算である（３６）。画像色ヒストグラム、即ち、色分布は、動画フレームを代表する特徴ベクトルを構成して、ショット境界の検出３８とキーフレームの選択に使用される。ショット境界の検出３８は、スレッシュルド（閾値）方法を用いて行い、連続するフレームのヒストグラム間の差を比較する。所与のキーフレーム総数（ユーザ指定）４０で、各ショットに、良く知られた技法により、ショット内の“動き（アクション）”に応じてキーフレーム数（４２）を割り当てる。細密レベルのキーフレームの選択４４は、Ｌａｇｅｎｄｉｋの技法を改良バージョンを用いて行う。ここに開示する実装は、この方法の改良バージョン、即ち、細密レベルのキーフレームの選択方法を拡張した、後でより詳細に説明する図４に示すような新しい追加のステップを含んだ技法を用いる。
【００２４】
図１を再び参照する。画像のモザイク５１を生成する結果をもたらす自動パン／ズーム４６とズーム要約５２は任意選択ステップであり後で説明する。次のステップは、キーフレームの階層化４８、即ち、細密レベルの要約より粗い細部での要約を生成する新しい方法である。このプロセスについても後で詳しく説明する。これは、ベクトル量子化の主題の変形に基づいている。細密レベルと粗いレベルの要約は、所与のショットに対し決定され、動画シーケンス中の他のショットに対してもこのプロセスが繰り返される（ブロック５０）。追加のステップは、階層的要約の閲覧（ブロック５３）とプロセスの終了（ブロック５４）を含んでいる。
【００２５】
自動パン／ズーム処理
自動パン／ズーム処理ステップ４６の詳細は図３に示す通りであり、ディジタル動画シーケンスにおけるパン及びズームのイベント（事象）の検出を含んでいる。グローバルな動きを含むフレームを検出する（５６）。これは、グローバルな動きの影響を受けるフレームを特定することを目的とした予備的選抜方法である。これらのフレームは、グローバルな動きがパン検出器で検出（５８）されるようなカメラのパンによる動きであれば画像モザイクを用いてコンパクトに表示でき、或いは、ズーム要約５２、即ち、ズーム検出器６０で検出されてズーム評価器（ズーム推定器）６６により編集されるような動きであれば、ズームイン又はズームアウトシーケンスの最初と最後のフレームを用いてコンパクトに表示できる。従って、モザイクの形成６２は、グローバルなパンの動きを示すこれらのフレームを対象にするだけであり、画像モザイク５１をもたらす。画像モザイク５１又はズームイン又はズームアウトに関係するフレームは、細密レベルの要約からは除外される（ブロック６４）。理由は、細密レベルの要約はさらに処理してより粗い、よりコンパクトなレベルの要約を形成するからである。
【００２６】
他の実施形態において、パン／ズーム処理４６は、自動ではなく対話形式で実施できる。ユーザは、選択された細密キーフレーム要約４４から、キーフレームを選択できる。それらキーフレームは、パンシーケンスの開始と終了を形成し、システムはこれに応え画像モザイク５１を形成し、ユーザに提示する。ユーザは、フレーム番号Ｋ及びＬ、即ち、カメラがパンした始点と終点の２つのキーフレームを認定又はタグ付けすることができる。モザイク形成器６２はモザイク形成時にフレーム番号Ｋ−ｎとＬ＋ｎ（ｎは予め定められたオフセット値）の間のフレームを考慮する。モザイク形成器６２は、通常の技術を有する者には良く知られている画像ステッチング技法により実装できる。ズームの場合、パンの場合と同様に、ユーザは開始と終了のフレームを手動で指定できる。自動ズーム検出アルゴリズムを採用してもよいし、このアルゴリズムもまた通常の技術を有する者には良く知られている。
【００２７】
図５に階層的要約の形式７０を示す。この階層的要約は、階層的キーフレームレベルに分割される。ユーザには先ず最もコンパクトな（最も粗い）レベルの要約７２、即ち、最もコンパクトな要約が可能な場合、画像モザイク５１及びズーム要約５２と共に提示される。次に、ユーザは、ここでは粗いレベル７４と称するより細かなレベルで親フレームにタグを付け、子フレームを見ることができる。最も細密なレベル７６のフレームのタグ付けにより、動画の再生、例えば、ｊ番目のキーフレームを最も細密なレベルでタグ付けすると、ｊ番目と（ｊ＋１）番目の間のフレームが再生される。実際のＧＵＩ実装において、親子関係は、表示時に明示できる。ここで用いるように、“タグ”又は“タグ付け”は、特定のフレーム上でクリックするように、コンピュータモニタ上で特定のオブジェクトを認定することにより達成される。階層的要約におけるキーフレームは、蓄積コストを有利にし、要約の高速検索・表示を実現するために、空間的にさらに“サムネール”にサブサンプリングする。動画シーケンスの通常の再生は、最も細密なレベルで行われるが、より粗いレベルでも実施できる。
【００２８】
非圧縮動画の入力
本発明の第１の実施形態は、階層的ディジタル動画の要約と閲覧に対する“画素ドメイン”法として記述し、非圧縮動画の入力（３２）を要する。
全動画シーケンス用に用いられるキーフレームの総数は所与である（通常蓄積空間要求条件により決まる）と仮定する。Ｌａｎｇｅｎｄｉｋの技法は３つの主要ステップ、即ち、
１）ショット境界の検出と、
２）各ショットに割り当てられるキーフレーム数の決定と、
３）各ショット内のキーフレームの位置の発見のステップを持つ。
【００２９】
図４に示す本発明に用いられるこの技法８０は、３ステップの反復方法（８２）を含んでいる。ショット境界の検出（図２の３８）は、動的閾値によるヒストグラムに基づく方法を用いてなされる。シーケンスの最初のｎフレーム（通常ｎ＝３）は、ショット境界に対応しないものと仮定する。平均動き測度Ａmと動き測度の標準偏差Ａsdは、最初のｎフレームに対する後述する動き測度の平均と標準偏差を各々計算して定める。閾値はＡm＋αＡsdに設定する。この閾値により境界が検出されれば、次のショット用の新しい閾値を、この新しいショットの最初のｎフレームを用いて、同じやり方で決定する。パラメータαは、通常１０に設定する。
２つのヒストグラム（ｈ1とｈ2）間の動き測度（Ａ（．，．））を（ｌ1ｎｏｒｍ）とする。
【００３０】
【式１】
【００３１】
ｎフレームＳ1，…，Ｓnを持つ１ショットＳに対する累積動き測度（Ｃ（．））は次式で計算される。
【００３２】
【式２】
【００３３】
各ショット毎の累積動き測度と各ショットの累積動き測度の合計がかようにして算定される。特定のショット“ｓ”に割り当てられたキーフレーム数（ブロック４２）は、そのショット内の累積動き測度の相対量に比例している。
ショット内のキーフレームの動きのある位置の位置決めはｌ1の最小化問題として記述できる。各キーフレームは連続した１セットの動画フレームを代表する（代替する）。動画フレームのこの連続のセットの統合が完全なショットである。連続動画フレームの各セットが１枚のキーフレームで代表されるので、動画フレームの１連続セット内の動き量を小さくしたいと考える。動画フレームの１連続セット内の“動き量”が多すぎると、１枚のキーフレームではその動き量を十分に代表できないことがこの背後にある理由である。かように、１ショットに割り当てられるキーフレームの総数（そのショットが分割された連続セット数と同じ数）が与えられれば、動画フレームの該当連続セット内の“動き”を最少にするキーフレームを発見する最小化手順を使用する。Ｋ枚のキーフレームを１ショットｓ内に位置決めするものと仮定し、キーフレームの位置をｋj（ｊ＝１，…，Ｋ）とする。さらに、ｋjのキーフレームで代表される動画フレームの連続セットをｔj-1，…，ｔj−１とする。換言すると、［ｔj-1，ｔj−１］は、キーフレームｋjにより代表されるショットセグメントである。以下のコスト判定条件式が全ての可能なｔjに対して最少となるべきである（ｋjは、ｔjを選択することにより即ち、ｋj＝（ｔj＋ｔj-1）／２で決定する）。
【００３４】
【式３】
【００３５】
ｔ0とｔKはショットの最初と最後のフレームである（従って、定数である）。上記コスト判定条件式中にｋj＝（ｔj＋ｔj-1）／２を代入し、最適解は、２Ｃ（ｔi）−Ｃ（Ｋi）≦Ｃ（Ｋi+1）を満足する。
最小化を実行するために、Ｌａｇｅｎｄｉｊｋの技法と異なる、下記のステップを対話式で実行する。
１．ｋ1＝１に設定する。（ｔ0＝０、第２フレームを第１キーフレームとなるための候補として選択するものと仮定する。）
２．ｉ＝１〜Ｋ−１に対して、
ｔi＝２ｋi−ｔi-1
ｋi+1を、２Ｃ（ｔi）−Ｃ（ｋi）≦Ｃ（ｋi+1）を満たす第１動画フレーム（即ち、ｔiより大きい最少の下付き添字ｎを持つ動画フレーム）と定義する。３．ｉ＝Ｋに対して、ｔ'K＝２ｋK−ｔK-1を計算する。ｔK＞２ｋK−ｔK-1＝ｔ'Kであれば、ｋ1を１だけ増し、ステップ２に進む。そうでなければ、先の反復結果を保持し、全てのｋiにｔK＝ｔ'Kとなるようにオフセット値を与えて停止する。
【００３６】
この最小化は図６に示すように有限数のステップで実行する。累積誤差は１ショット内の非減少関数である。かように、上記の最小化手順は、累積誤差曲線９０に対し最良（ｌ1に関し最良）の段階近似を与えるキーフレームｋjを発見することを目的とする。これにより、ショット内の“動き”量に適応変化するキーフレームｋjの分布が得られる。式３で表現される最小化領域は９２である。
【００３７】
上記の３つのステップの意味は下記の通りである。ショットの最後のキーフレームはｔK-1とｔ＝ｔKの間の中点にできるだけ近づけなければならない。ｋｉを増加し、最初はこの中点を超えるまでステップ２と３を反復し、その後先の反復結果をとり、最後のキーフレームが中点と一致する、即ち、３ステップ反復法により決定されるｔK＝２ｋK−ｔK-1とｔ'KがｔKと一致するようにオフセット値を与える。
【００３８】
先のアルゴリズムに導入したもう１つの新規点は、特定のショットに十分多数のキーフレームを割り当てたことによりｋi＝１であってもショット境界を超えられる場合に関する。この場合、簡単なスキームを用いてキーフレームが等間隔になるように配分する。この簡単なスキームにおいて、１ショットがｎ枚のフレームを有し、Ｋ枚のフレームを割り当てる場合、（ｎ／Ｋ）枚毎のフレームをキーフレームとして選択する。
【００３９】
キーフレームの選択に関する改善
Ｌａｇｅｎｄｉｊｋ技法において、ｔj-1とｔj−１が与えられた１ショットセグメント［ｔj-1，ｔj−１］に対するキーフレームは常にｋj＝（ｔj＋ｔj-1）／２に位置する。言い換えれば、キーフレームは、常に、そのセグメントのフレームの代表としてセグメントの中央にあるように選択される。しかしながら、累積誤差の定義に戻れば、累積誤差は連続するフレーム間の絶対変化にのみ依存する。かように，１セグメントの中央の１枚のキーフレームは１フレームより多いフレームに分離された２枚のフレーム間の実際の変化を現わすことはできない。１名のレポータが話している動画シーケンスを考える。例えば１０フレーム離れた２枚のフレームがあり、両フレームは、口を開いているレポータを示していると仮定する。結果として、２枚のフレームは、非常に小さい変化又は“動き”を表しているのは明らかである。しかしながら、この２枚のフレーム間の累積変化は連続するフレーム間の絶対変化の合計を表すので前記２枚のフレーム間の累積変化は大きい。これら２枚のフレームは、“セグメントの中央”規則が適用される場合、キーフレームとして選択されたフレームの内にあることが可能である。かように、“セグメントの中央”フレームをキーフレームとして闇雲に選択するとキーフレームの選択を誤ることになる。
【００４０】
この実施形態の場合、３ステップ反復法によって得られた各ショット内の区切り点の結果集合｛ｔ0，ｔ1，…，ｔk｝を考慮する。先行キーフレーム（ｋj-1）から（動き測度Ａ（，）の点で）最も異なるセグメント（ｔj-1，ｔj−１）中のフレームをｋjに位置するキーフレームとして選択する。この方法は、先行キーフレームからの最大差を取るので、ここでは“最大連続差分”基準（ブロック８４）と記す。第１キーフレーム（ｋ1）は、３ステップ反復法により決定された１フレームとする。この方法は、連続キーフレームが互いに十分異なり、従って、冗長度をできる限り減少させることを保証する。
【００４１】
有意な動きのないショットセグメント中のキーフレーム数の低減
Ｌａｇｅｎｄｉｊｋの技法は、上述したように累積誤差に完全に依拠しているために、実際には極めて近似の２枚のフレーム間に大きな誤差があると報告することがあり得る。上述の技法は、与えられたショットセグメント中の最も興味を引くフレームを選択するには良いが、ショットセグメント内の動きの観点からショット全体が“興味を引かない”状況は解決しない。例えば、連続キーフーム間の十分有意な変化をもたらさない僅かなカメラの動きによる誤差の蓄積があり得る。
有意動きの無いショットを無視するために、それらのショットを認定し、それらショット用キーフレームを削減し（ブロック８６）、最も細密なレベルのキーフレームを残す（ブロック４４）。これは、２枚の所与のキーフレーム間にある連続動画シーケンスフレーム間で測定して分析された動き測度の平均と標準偏差を推定することによりなされる。２枚のキーフレーム間に十分“有意な動き”が存在すれば、原動画シーケンス中の連続フレーム間の動き測度は有意であり、即ち、そのキーフレームを最大連続差分基準（最大連続差分基準）に従い認定する（ブロック８４）。
Ａmがフレームｋi及びｋi-1間の平均動き測度であり、Ａsdを同動き測度の標準偏差とすると次式が得られる。
【００４２】
【式４】
【００４３】
ただし、２枚のキーフレームｋi及びｋi-1間の動画シーケンスフレーム数をｓとし、２枚のキーフレーム間のコンテンツが興味深い場合である。ショットセグメントが前記の観点から興味を引かないものであれば、その特定のキーフレームを除去しそのショットセグメントを次のショットセグメントに結合する。
上式中のパラメータβは定数である。βが１より小さければ、大きな差異をもつキーフレームのみを残し、過度の削減を招く。ここで報告するシミュレーションの場合βの値は２.０に選定する。ショットに割り当てられたキーフレーム数が小さい場合は、キーフレーム間の距離、従って、キーフレーム間のフレーム数ｓが増大するために、ショット割り当てキーフレーム数が小さければ数量（ｓ／β）は増大する。（ｓ／β）が到達し得る最大値を、αに設定する。このαは、キーフレームの削減数を制限するためにショット境界検出のための閾値を規定する際に使用する係数である。
【００４４】
さらなる実験により、直線閾値スキームは、キーフレームの総数選択に不等なキーフレームの割り当てをもたらすことが明らかになった。この問題を軽減するために、上記削減法により消去できるキーフレームの総数の最大百分率に制限値ＭＡＸＥＲＡＳＥ＝０.３を設定する。この制限の場合、ＭＡＸＥＲＡＳＥ＝０.３に相当するフレームの最大冗長度３０％が除去される。“最大冗長度”の意味は、Ａ（ｋi，ｋi-1）が最も冗長なキーフレームに対して最少であると云うことを意味する。この場合、ｋiは除去される冗長キーフレームである。
この技法は、高動きシーケンスに応用すると、動きは殆ど構成的であり、即ち、全ての消去されるキーフレームに対して式（４）は満足されており、従って、冗長度は皆無である。
【００４５】
階層的要約と閲覧
前記の開示は、知的な“動画インデクシング”システムを記述しているが、かようなシステムは、動画フレームの当初の完全なシーケンスよりもよりコンパクトな動画コンテンツ表示である動画フレームの固定シーケンスのみを提供する。動画シーケンスを通して観察しコンテンツが変化するに従って、動画シーケンスにおける関心度レベルも変化するので、大抵の場合、上記の表示はまだ不適切である。また、特定の動画コンテンツの関心度レベルは予測できない。少女が猫を可愛がっており、カメラが少女から猫にパンする動画シーケンスを考える。１人の視聴者は少女ではなく猫をより接近して見たいと思い、もう１人の視聴者は猫ではなく少女をより近くで見たいと思い、さらにもう１人の視聴者は両方を見たいと思うかも知れない。目標は、これらの視聴者の誰かが見る“興味の無いフレーム”の数を最小にすることである。
【００４６】
同じ動画インデックスシステムに対する種々の視聴要求を調和させ満足させるために、マルチ解像度動画ブラウザ（図２のブロック５３）を提供してユーザが指定レベルの要約を選択して階層的要約を閲覧できるようにしている。これは、単なるインデックスシステムに代わるブラウザである。視聴者は、詳細の粗いレベルから始め、視聴者にとってより興味深いキーフレームシーケンス部分でマウスをクリックして詳細を拡張することができる。詳細１レベルより多い明細レベルが要求されて、視聴者が視聴者の選択したペースで閲覧できる。最も細密なレベルのキーフレームも検出できる。より粗いレベルにおいて、細密レベルにおける同様なキーフレームが集合し、各クラスタは１枚の代表キーフレームにより代表される。
【００４７】
このクラスタリング問題を解決するために、よく知られているＬｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ（ＬＢＧ）のアルゴリズム（又はＬｌｏｙｄのアルゴリズム又はＫ平均アルゴリズム）の変更を提案する。同様な画像をクラスタさせることが望ましいことに留意する。ヒストグラムにより画像を表現し、類似の画像は類似のヒストグラムを有すると仮定する。各ヒストグラムを関連フレームの特徴ベクトルとして扱い、最も細密なレベルのＮヒストグラムに代わる粗いレベルにおける代表的ヒストグラム（Ｎ／ｒ）を発見する。尚、Ｎは最も細密なレベルにおけるキーフレーム数である。パラメータ‘ｒ’はコンパクション率（簡潔化率、若しくは、圧縮率）であり、ユーザによりプログラムに供給されるパラメータである。これからの議論において、各キーフレームをそのヒストグラムのベクトルとして表現する。
【００４８】
例えば、連続なｐ個のベクトル（時間において連続）に代わる１個の代表的ベクトルを選び出すことが望ましいので、これは、正規のクラスタリング問題と異なっている。正規のＬＧＢの場合は、１つの代表ベクトルに量子化したベクトルに関する“連続性”の制限は何もない。正規のＬＢＧ反復に近似の、下記の反復法は常に収斂する。この３ステップ反復法は、ここでは“対ごと”のＬＢＧ又はＰＬＢＧと記述する。ＰＬＢＧはＬＢＧと同じ極小問題を有することに注意すべきである。幸運なことに、反復後の“クリーンアップステップ”をこれを迅速処理するために用いることができる。まず、ヒストグラムベクトル列を等間隔で区画することから始める。例えば、簡潔化率３の場合、各区画は、（最後の１つ又は２つの区画を除き）３つのヒストグラムベクトルを含んでいる。次に、ＰＬＢＧ法の次のステップに進む。
【００４９】
１．各ベクトルセットに対して代表ベクトルとして重心（又は平均）ヒストグラムを指定する。
２．最初の区画から開始し、各区画を、区画の何れかの側の２つの隣接セット（用語“対ごとの”はここに由来する）に対する合計基準ｌ2が最小になるように調節する。数学的に、Ｈi-1がセット（ｔi-1，ｔi）中のベクトルに対する代表ベクトルで、Ｈiがセット（ｔi，ｔi+1）中のベクトルに対する代表ベクトルであれば、ｔiを各セット中のベクトルの対応代表ベクトルまでの自乗距離の総計が最小になるように調節する。
３．前記調節に続き、任意区画につき、ｔi＝ｔi+1であれば、ベクトルの代表セットからＨiを除去する。ｔi-1＝ｔiであれば、代表ベクトルセットからＨi-1を除去する。
４．ステップ１に戻る。
停止基準は、歪の減少量又は固定反復回数の何れかに基づく。前述の通り、１０回反復後停止する。各反復時に、歪（各セットの代表ベクトルとセット中の対応ベクトル間の基準ｌ2）は減少する。かように、各反復における総歪は、減少シーケンスを形成する。さらに、歪は、常にゼロより大きいかゼロに等しい。従って、シーケンスは、基本実解析による限界を有する。“反復に対する極小（従って固定点）が存在するか？”と云う問題は、純粋に学術的な問題であり、読者は、かような議論のための文献を参照することになる。除去ステップ（ステップ３）は、実際に、当初期待又は選択したより若干であるが少ないキーフレーム数となる結果を得た。
【００５０】
上記の方法において、停止後、代表ベクトルに最も近似したヒストグラムベクトルを有する第１クラスタ中のフレームを第１キーフレームとして選択する。後続クラスタに対するキーフレームも同様にして決定できる。“先行キーフレームとの最大差分判定基準”により後続クラスタ内でキーフレームを選択すると最良の結果が得られる。ここで、差分は動き測度で表現される。
【００５１】
上記反復の公式化において、最終区画が常にシーケンス中の最後のベクトルに固定されるので、最終セットが不適当に表現される可能性がある。同じことがショットの第１フレームに対しても言えるが、ここで報告する実験においては、そのような状況は観察されなかった。かように、この問題を解決するために、反復終了後にもう１つのステップを設ける。この最終ステージにおいて、代表ベクトルの最後にもう１つ代表ベクトルを付け加える必要があるかテストする。特に、最後のベクトルを新しい代表として加えることを検討する。最後のベクトルと先行代表ベクトルとの差がθＸ（連続代表ベクトルの全ての対（ペア）間の差の平均）より小さければ、最後のベクトルの追加を認める。シミュレーション時θを０.７５に選定する。θは０から１までの間で変化できる。
ベースライン法（Ｌａｇｅｎｄｉｊｋ）は、３枚キーフレームを指定し、ベースライン法を動画シーケンスに適用すると、関心を引く特徴をもつシーンを見失う。その結果は、上記の方法を用いて生成した３枚キーフレームによる複数レベル階層の最もコンパクトな（最も粗い）レベルよりも劣る。さらに、複数レベルの要約を生成するために異なる数のキーフレームを得るには、ベースラインアルゴリズムを複数回用いるよりも、提案の階層的方法を用いる方がさらに有効である。
【００５２】
ブロックヒストグラムの動き測度
ヒストグラムに基づく動き測度は全ての状況に適する訳ではない。例えば、黒い対象が白い背景に対して移動すると、ヒストグラムに基づく動き測度はその運動を記録できない。細かな動き、例えば、手のジェスチャ又は頭の動きを捕捉したい状況では、より良い動き測度を得る有利さを持っている。
【００５３】
ブロックヒストグラムはショットの検出のために提案された。しかしながら、ブロックヒストグラムはショットの検出には感度が高すぎて、多数の偽りの警告を発する。ブロックヒストグラムの背後にあるアイデアは、画像を若干数のブロック（通常４又は１６）に分割し、動き測度を各ブロックに対する絶対値のヒストグラム差の合計をとして規定する。ブロックヒストグラムが単純な全体ヒストグラムに基づく方法では、捕捉できない動きに対してより鋭敏であることは容易に観察できる。ブロックヒストグラムを図４の３ステップ反復法に示すように、最も細密なレベルのキーフレームに対してのみ適用した。ブロックヒストグラムを用いる利点は、１つのフレームの代わりに動画フレーム当たり４又は１６のヒストグラムを取り扱う必要があるので、計算及びメモリに関し、より集中的であることである。しかしながら、実験シーケンスにおいては、このブロックヒストグラム法は重要な性能改善をもたらさなかった。
【００５４】
要約のための動き特性の使用
パン又はズームのような特に重要なケースはこれまで検討されていない。カメラパンの場合、インテリジェントブラウザは、（ａ）一回のパンで複数のフレームを検出し、（ｂ）観察目的のために画像モザイクに変換するパンフレームに対するオプションを提供する。パンとズームのどちらの検出も動きベクトルの計算を含んでいるので、パンの検出と共にズームの検出は、大量の追加計算による過負荷を生じることなく実現できる。
【００５５】
シーケンス内の各フレームに対する動きベクトルを見つけ出すには、計算を要するので、支配的な又はグローバルな動きを持つフレームの全ての可能なシーケンスを先ず検出する予備スクリーニング（予備選抜）法を開発する。支配的な動きは（ａ）パン又は（ｂ）ズーム又は（ｃ）他の特別な編集効果により発生するので、検出したシーケンスをより詳細に調べ、パン又はズームの存在を決定する。
【００５６】
支配的な動きのための予備スクリーニング
支配的な動きは、動画フレーム内の各画素が輝度の変化を経験することを意味する。輝度の変化は通常ズーム又はカメラの動きによって生じる。この変化は、動画フレームのエッジ画素において最も顕著である。この方法は、各画素を観察し、その画素がエッジ画素かどうかを決定し、エッジ画素であれば、現画素と先行フレーム中の同一位置の画素との間の差を検出する。エッジ画素における差の絶対値が閾値（ＰＺ＿ＴＨＲＥＨ＝１５）より大きければ、その画素は動きを有すると指定される。画素がエッジ画素かどうかを決定するために、その画素においてＳｏｂｅｌエッジ検出演算子により得た数値を閾値（ＰＺ＿ＴＨＲＥＨ＝５０）と比較する。もし、ＰＺ＿ＴＨＲＥＨを減じると、偽の警報が発せられることがある。ＰＺ＿ＴＨＲＥＨ１を減じると、画素は強いエッジに属しておらず、動きが大きな輝度変化を生じないので、かような画素における有意の変化は無くなる。特別なフレームがパンフレームであるかを決定するために、エッジ画素の総数に対する、動きを有するものとして分類される画素数間の割合（パン率）に関する閾値を設ける（ＰＺ＿ＴＨＲＥＳＨ２＝０.９）。
【００５７】
この割合が、パンの間、一貫してＰＺ＿ＴＨＲＥＳＨ２を横断するのを確認するのに必要なもう１つのステップは、近傍にふくらませることである。言い換えれば、ＮＥＩＧＨｘＮＥＩＧＨ（ＮＥＩＧＨ＝５）内の任意画素の輝度変化がＰＺ＿ＴＨＲＥＳＨより大きければ、エッジ画素は動きを有する。特定数より短いフレームシーケンスは拒絶される（ＴＯＯ＿ＭＡＮＹ＿ＦＲＡＭＥＳ＿ＮＯＴ＿ＰＡＮＺＯＯＭ＝５）。サブサンプリングは、計算負荷をさらに軽減するために用いられる。
【００５８】
パン検出
このパン検出法は公知技法のバリエーションである。パンを検出するために、サブサンプリングした画像位置における動きベクトルを考察する（ＳＰＡＣＩＮＧ＝２４）。動きベクトルを決定するために使用する方法は、単純なブロックマッチング法である（ＢＬＫＳＩＺＥ＝７ｘ７、ＳＥＡＲＣＨＳＩＺＥ＝２４ｘ２４）。先行フレームのパンベクトルに基づく探索サイズを変化させる。先行のパンベクトルが（ＳＥＡＲＣＨＳＩＺＥ／２）−２より小さければこの探索サイズを半分し、先回のパンベクトルが（ＳＥＡＲＣＨＳＩＺＥ／２）−２より大きければ当初の（大きな）探索サイズを回復する。このバリエーションにより性能の低下が生じることはない。
【００５９】
パン検出の場合、許容範囲内のモード動きベクトルと（最も頻繁に生じる）平行な全ての動きベクトルを見つけ出すことが提案されている。かような動きベクトルの数が特定の閾値より大きければ、パンが検出される。しかしながら、１回のパンの場合、動きベクトルは並行しているだけでなく、同一に近い大きさを有している。従って、全並行動きベクトルを考察する代わりにモード動きベクトルの小さな近傍を調べる。モード動きベクトルの値に等しいベクトルが生じれば、恣意的な決定がなされる。モード動きベクトルの近傍サイズはＶＡＲＮ（＝４）によって制御される。ＶＡＲＮの値が大きければ、モード動きベクトル周りの近傍は小さくなる（我々の場合のＶＡＲＮ＝４は３ｘ３の近傍を意味する）。ＰＡＮＲＡＴＩＯ（パン率）（＝.５）は、動きベクトル総数に対する近傍内動きベクトル数間の割合に関する閾値を決定する。パンフレームシーケンス中の幾つかのフレームが閾値より低い場合でも、ホールが３より大きくない（ＴＯＯ＿ＢＩＧ＿Ａ＿ＨＯＬＥ＝３）であれば、パンの継続性が確保される。
【００６０】
ズーム検出
画像中の動きベクトル最も外側のリム、即ち、画像エッジの動きベクトルを調べて、ズーム条件を検出すべきである。リムの直径方向で対向する位置における動きベクトルは反対方向を指示しなければならない。反対方向に向いている動きベクトルの動きベクトル総数に対する割合の閾値は（ＺＯＯＭＲＡＴＩＯ＝.７）である。ズームの中心は画像の範囲内のどこに在ってもよいから、外側リム上の動きベクトルのみを使用する。かように外側リムの動きベクトルはズームの存在を示す最良のインジケータである。加えて、画像エッジには前景の動きがそれ程無い。
【００６１】
色処理
ここでは，先に開示した方法を色シーケンスに拡張する。２つの異なる実施形態を記述する。第１実施態様において、２５６ビンのＹヒストグラムと２つの１２８ビンのＵとＶのヒストグラムより成る連結ヒストグラムを使用する。第２実施形態においては、２５６−ビンのＹヒストグラムを使用する。幾つかの実験シーケンスの場合、結果として重要な変化は何も観察されなかった。両方の場合とも、活動測度は式１によって規定される。しかしながら、色ヒストグラムにおいて若干のシーケンスを用いることは、２枚の動画フレーム間の変化を検出するのに決定的な役割を演じる。例えば、輝度（ルミナンス）は略同一であるが彩度値（クロマ）は変化する。
【００６２】
非圧縮動画入力方法の要約
図２は階層的要約と閲覧方法のブロック図である。ディゾルブ、フェードイン／フェードアウト、除去モジュールについては、参照のために引用した関連用途において説明し、ここではディゾルブ検出方法を開示する。このモジュールは、動画シーケンスから遷移フレームを除去してディゾルブを突発移行シーンに変換するために用いられる。最も細密なレベルのキーフレームを検出するブロックを主要ステップと共に図４に示す。図３は自動パン／ズーム自動処理モジュールの詳細を示している。自動的に、（ａ）パンの動きがあれば検出してモザイク（パノラマ）画像を構築し、（ｂ）ズームシーケンスの最初と最後のフレームを検出し確認する。最も細密なレベルのキーフレームからパン／ズーム関連キーフレームを除外して非パン／非ズームフレームだけを階層的要約キーフレーム生成プロセスに参与させる。この除去及び自動パン／ズーム処理は、オプションであり、必要に応じ、ユーザが動画クリップのある特定点において対話方式で実行可能にすることができる。このＧＵＩにより、ユーザは、特定レベル要約の（階層的ブラウザにより生成された種々のレベルの内の）閲覧を開始することができる。例えば、モザイク画像とズーム要約と共に最も粗い要約を最初に表示することができる。次に、ユーザは、より細密な階層レベルにおけるフレームを対話方式で検索／再生することができる。ユーザは、ボタンをクリックして、現在見ているキーフレームの親−子の何れかにアクセスすることができる。親を選ぶと、現在のレベルのキーフレーム群が、親である１枚のキーフレームに代わる。子を選ぶと現在のキーフレームの子に該当する全てのキーフレームが見られる。図５は、親と子のキーフレームのコンセプトを示している。最も細密なレベルをさらに拡張し、即ち、最も細密なレベルにおける子では、指定のキーフレーム間の動画クリップを再生する。この時、動画が再生され、動画クリップのその部分に対応する音声が同時に再生される。動画クリップを再生するこの機能性はより粗いレベルの階層においても装備できる。
【００６３】
ここに記述した動画閲覧方法は、マルチメディア操作用の有効なユーザインターフェースを提供するだけではなく、種々の用途に用いられる。第２世代の画像符号化システムを連想させると第２世代の動画符号化システムにおいて採用される可能性のある動画シーケンスの時間的特性に関する知見を提供する。例えば、ＭＰＥＧ−２ビットストリームを処理する設計の復号器はＩＢＢＰ又はＩＢＢＢＰフォーマットに適応する。しかしながら、キーフレームの階層を用いれば、時間的な動画ストリームの本質に、知的に、より重要に、計算効率よく適応し、少ない資源を用いて高い品質を供給する符号器を設計できる。圧縮の改善に動画フレームの階層を用いる方法に関する情報は文献で得られ、セグメンテーションアルゴリズムのマルチスケール特性をロスの無い静止画像の圧縮を得るために活用されている。第２世代画像符号化システムと第２世代動画符号化システムの主たる違いは、前者は符号化機構の根本的な変更を必要とし、従って、大きな影響を持ちえず、一方後者は現存の動画符号化基準のいずれにも組み込むことができる。
【００６４】
計算性能
キーフレーム生成方法の計算性能は、本発明の方法を実施するために使用するコンピュータのハードディスクへのアクセス速度にかなり依存する。下記の議論において、“リアルタイム処理”は所定解像度において毎秒３０フレームを処理する能力を意味する。３００フレーム用１／４共通中間フォーマット（ＱＣＩＦ）のカラーシーケンス（１７６ｘ１４４の解像度）の場合、ＳＵＮ（登録商標）Ｕｌｔｒａ ＳＰＡＲＣ−２（登録商標）を用い、ヒストグラムの構築には１１秒を要し、残りの処理には１秒未満を要することが判明した。かように、ヒストグラムの計算は、リアルタイムで達成できるとしても、リアルタイムで階層キーフレームの生成を容易に達成できなければならない。ヒストグラムの計算後の処理は実際のフレーム解像度とは関係なく、３００フレームＱＣＩＦシーケンスを処理するに要した時間量は、各フレームのヒストグラムが事前に計算されていれば、１０２４ｘ７８０の解像度でシーケンスを処理するに要する時間と同じであることも注記しておく。
現在のグローバルな動きの検出は、リアルタイムで実行できる。しかしながら、パン／ズーム検出に必要なブロックマッチングアルゴリズムを伴う厳しい計算負荷のために、パン／ズーム処理は実装したソフトウェアを用いてリアルタイムでは実行できない。
【００６５】
圧縮動画入力
前述の論議において、非圧縮又は伸長ビットストリームのみを検討し実験に用いてきた。しかしながら、入手できる動画ストリームの殆どは、コンパクトに蓄積するために圧縮フォーマットされている。図４の方法を圧縮ビットストリームに拡張し、最少の復号を行いキーフレームを抽出できるようにする。圧縮動画を処理するブルートフォース方法で全体動画ストリームを簡単に伸長し、その後ここに記述する非圧縮動画用の技法を用いるのが良いと判断される。
【００６６】
本項では、ＭＰＥＧ−２ビットストリームで使用できる、ディジタル動画の階層要約と閲覧のバリエーションを記述する。全体のスキームは図７のフローチャートに要約して示す。ヒストグラムを計算する新規の方法を開示する。８ｘ８ブロックのＤＣ係数のヒストグラムを用いる。このプロセスは、入力ビット１３２により開始する。Ｉピクチャに対するヒストグラムの計算１３４は従って通常の技術を有する者にはよく知られた方法により直接的に行われる。予測ピクチャ（Ｐ及びＢフレーム）に対するヒストグラムの計算は、参照フレームを完全に復号することなく、後述のようにして実行され、ヒストグラムの精度の向上と従ってキーフレームの選択１３６の精度向上がもたらされる。階層的キーフレームの選択１３６は、階層的要約のキーフレームの識別を、例えば、時間的な表示順序で決定し、この要約の情報を後述する復号器マネージャに供給する。ＤＣＴ係数のヒストグラムが生成されると、階層的キーフレームの選択が、図４を参照し教示された様にして実行される。
【００６７】
私の同時係属出願“動画シーケンス中のディゾルブ領域の検出（Ｄｅｔｅｃｔｉｎｇ Ｄｉｓｓｏｌｖｅ Ｒｅｇｉｏｒｓ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ）”に開示した機構のような動画中のディゾルブ領域検出機構を、ヒストグラムの計算とビットストリームインデックステーブル（ＢＩＴ）の生成を行う図７の処理ブロック１３４に容易に組み込むことができる。即ち、ディゾルブ領域に含まれるフレームをＢＩＴ内にマークし、逐次キーフレーム選択プロセスにおいて無視する。或いは、ディゾルブ領域の内のフレームを偽のキーフレームにしてもよい。
【００６８】
本方法は、ヒストグラムの計算１３４と同時に、ビットストリーム内のバイトオフセット位置，参照フレーム，ＤＣＴブロック量子化に使用した量子化マトリックスのような各ピクチャに関する情報を含む、ビットストリームの記録を生成する。本発明において、“ビットストリームインデックステーブル”（ＢＩＴ）と称するテーブルを生成する。ＢＩＴ１３８のコンテンツとＢＩＴの生成方法については、後で詳述する。
ＢＩＴ１３８の１つの目的は、ビットストリームの本質的なパラメータを捕捉する全ビットストリームを復号又はパーシング（構文解析）する必要なく要約を生成するためのキーフレームの復号を可能にすることである。構文解析は、システムに動画ストリームを復号するか否かにして、動画ストリーム中の各ビットを考察することを要求する。さらに、ユーザが、例えば、要約の表示又は２枚のキーフレーム間の動画の再生を望む際に効率的に閲覧を可能にするために、図８に示すように、要約の識別と原動画ビットストリームに加えＢＩＴ又はＢＩＴの縮小バージョンを装備する。ユーザに要約を提示し、若干の対話を含めた本方法の特別な実施態様について後述する。図８において、ビットストリームはＢＩＴと要約フレームの識別子とは物理的に異なる位置に置かれたメモリに常駐させることができる。例えば、ビットストリームをデータベースサーバに保管し、要約とＢＩＴをローカルマシーンに常駐させてもよい。代案として、３種のデータを全て、同一媒体、例えばＤＶＤディスク又は他の任意大容量蓄積媒体に常駐させることができる。ＢＩＴをさらにコンパクトにする（又は削減する）方法については、“コンパクトな蓄積装置用の削減されたビットストリームインデックステーブルの生成”の章で説明する。ＢＩＴを生成しＢＩＴサイズの“削減”を決定し、ダウンサイズＢＩＴに任意数の技法を使用できることは評価すべきである。一つの例をここにあげる。ＢＩＴを形成保管せず、全ビットストリームを構文解析して復号を要するキーフレームを毎回復号することもまた可能である。
【００６９】
図７を再び参照する。階層的要約１４０の生成期間中、復号器マネージャ１４２がＢＩＴに含まれている情報を利用しキーフレームを選択的に復号してＭＰＥＧ−２復号器１４４に送り、復号次第、階層要約１４０を形成する。復号器マネージャ１４２は提示段階中に、ユーザがキーフレーム間の動画を再生して動画を閲覧することを望む際に、同様なタスクを実行する。復号器マネージャの作動原理（例えば、コンピュータプログラムにより実装される）について次に説明する。
【００７０】
本発明は、ＭＰＥＧ−２圧縮動画を蓄積して記録する動画カメラ内に実装できる。かような場合、要約情報とＢＩＴは動画ストリームを蓄積する蓄積システムに蓄積できる。或いは、要約情報とＢＩＴを、明確な方式で動画ストリームと連結された任意のメモリ位置に蓄積してもよい。階層的要約自体は、キーフレーム又はキーフレームをサブサンプリングしたバージョンを含んでおり、迅速にアドレスできる蓄積システムに保管できる。オンカメラ式ユーザインターフェイスは、カメラ、テープ又は任意の他の蓄積媒体に階層的要約に基づき保管された動画コンテンツの認定のために装備される。
【００７１】
別案として、ビットストリームをカメラから要約プロセスを実行するコンピュータにダウンロードしてもよい。この場合、要約はテープ又は動画データを保持する任意の他の蓄積媒体又はビットストリームとの明確なリンクで連結された他のメモリにコピーする。例えば、圧縮されたＭＰＥＧストリームを直接記録するカメラが現在入手可能であり（例えば、日立ＭＰ−ＥＧ１Ａ型カメラ）、ビットストリームをパーソナルコンピュータ（ＰＣ）にダウンロードできる。本発明のシステムは、ＰＣプラットホームでかようなビットストリームを処理するために使用できる。
【００７２】
ＭＰＥＧ−２ビットストリームを効率よく処理し階層的動画要約を作成するためには、以下の問題に取り組み解決しなければならない。
１．ＭＰＥＧ−２ビットストリームを最小限復号しながら、キーフレームの階層を生成する。
２．全てのフレームを復号することなくＭＰＥＧ−２ビットストリームから選択したキーフレームを復号する手順を確立する。
３．２枚の所与のキーフレーム間の一連のフレームを復号する戦略を開発する。
この方法は、ヒストグラムレベルで働く。ＭＰＥＧ−２ビットストリームを最小限復号しながらフレーム毎に色ヒストグラムを計算する方法を開示する。
【００７３】
ヒストグラムの計算と後続処理は、各次元における８分の１のサブサンプリングから大きな影響を受けない。１ステップ進めて、８ｘ８ブロックの平均である、８ｘ８ブロックＤＣＴのＤＣ成分のみ使用して計算したヒストグラムは実際の目的には十分であった。動き補償画像の場合、計算量を削減するために、性能の低下が無視できる程度である近似動き補償を用いることができるとして提案されている。ＭＰＥＧ規格に用いられているブロックマッチングのスキームに従い、１６ｘ１６マクロブロックの動きベクトルを、実行中の動き補償予測の参照フレームの１６ｘ１６マクロブロックの最大限４つのマクロブロックと重ね合わせる。同様に、１６ｘ１６マクロブロック中の各８ｘ８のサブブロックを最大限４つの他の８ｘ８サブブロックと重ね合わせる。かように、各８ｘ８サブブロックを、重なる各８ｘ８サブブロック中の値の重み付けた平均値で近似させ得ることが示唆された。個別ブロックに割り当てられた重み値は、重なり領域に比例させることができた。図９を参照し、８ｘ８サブブロックの平均値は、次式で計算される。
【００７４】
【式５】
【００７５】
ここで、ΔDCTは、ブロックに対する残差ＤＣＴのＤＣ成分の８倍である（ＭＰＥＧ−２規格に用いられるブロックに対する残差ＤＣＴのＤＣ成分はブロックの残差誤りの平均値の１／８であるので、８の係数が入る）。ヒストグラムは、式５中に見られるように、画像内の各８ｘ８ブロックの平均でヒストグラムベクトルを更新することにより得られる。ヒストグラムを得る上記の方法は、性能の低下をもたらす問題を有している。本発明の方法の改良の１つは、ＭＰＥＧビットストリームに対するヒストグラムの計算を取り扱うより良い方法を提案することにある。
ＭＰＥＧビットストリームは、特定のフレームを復号しようとする前にビットストリームの他の部分からの復号情報を必要とする複雑な符号化戦略を内蔵している。上首尾の動画閲覧方法も最少の時間量で特定の動画フレームを復号する問題を検討する必要がある。
【００７６】
ＭＰＥＧビットストリームからのヒストグラムの計算
ＭＰＥＧビットストリームの復号は、次の２つの計算が集中するステップを含んでいる。
１．８ｘ８ブロックの逆ＤＣＴを得る。
２．ＭＰＥＧ−２の場合、１６ｘ１６マクロブロックによる動き補償。ブロックは小さいか又は偶数／奇数フィールドのみを有している。
先に、８ｘ８ブロックをその平均値で置き換えても画像のヒストグラムに大きな影響を及ぼさないことを指摘した。この実装例において、各８ｘ８ブロックを８Ｘ（ＤＣＴ係数のＤＣ値）で置換する。逆ＤＣＴ計算のための公式から、これはブロックの平均値を生じ、補償関連量子化誤差の範囲内で正確である。
【００７７】
次のステップを理解するために、ＭＰＥＧビットストリームに採用されている符号化戦略についてその概略を説明する。典型的なＭＰＥＧビットストリームは３種類のフレームを有している。
Ｉ（フレーム内符号化フレーム）、
Ｂ（双方向予測フレーム）及び
Ｐ（予測フレーム）。
ＩフレームはＤＣＴデータのみを含んでいる（動き補償は行わない）。かように、ヒストグラムの計算にＤＣＴ係数のＤＣ値を用いるとＩフレームの最少限復号の問題は完全に解決できる。ＢフレームとＰフレームは先に復号した参照フレームから現フレームを予測するためにブロック動きベクトルを用いる追加ステップを含む。先に復号した利用可能なフレーム自身は部分的にのみ復号されている。かように、ＢフレームとＰフレームの復号に用いられる戦略は、十分に検討しなければならない。以下の検討において、ケース（ａ）は既に存在し文献において共通に用いられている動き補償スキームに関し、ケース（ｂ）はここで開示する新しい動き補償スキームに関する。
【００７８】
動き補償を単純化するために、最も知られている方法で、前節で記述したスキームを用い、即ち、各８ｘ８サブブロックを、それが重なった８ｘ８サブブロックの重みを付けた平均値で置き換える。２つのシナリオを検討する。ケース（ａ）は８ｘ８サブブロックを部分的に復号した参照フレーム中の重なったブロックの重みを付けた平均値で置き換える。ケース（ｂ）は、８ｘ８サブブロックを、部分的に復号した参照フレームからの正確な画素で置き換える。ケース（ａ）において、動き補償予測フレーム中の全８ｘ８ブロックが単一値を持つことが判る。ケース（ｂ）においては、８ｘ８ブロックは潜在的に多くの異なる値を持ち得る（即ち、ブロック内の画素は多くの異なる値を取り得る）。これをさらに説明するために、ケース（ａ）とケース（ｂ）を通して８ｘ８ブロックの例を検討する。図１０はこの例を示している。図１０において、予測ブロックはＩフレームから得る、即ち、８ｘ８ブロックは予測フレーム中の関連する単一値を持つものと仮定する。ケース（ａ）は、ただ１つの値μを持つ現フレーム中の１つの８ｘ８ブロックを生じる。ケース（ｂ）は潜在的に４つの異なる値を有する現フレーム内の１つの８ｘ８ブロックを生じる。
【００７９】
これは、フレーム内符号化参照フレーム（又はＩフレーム）に続く第１の幾つかの動き補償フレーム（ＰまたはＢフレーム）に大きな差を生じない。事実、ヒストグラムの計算は平均化及びサブサンプリングから大きな影響を受けないので、２つの手順はヒストグラムの計算に対しては同等に有効であるとみなされる。しかしながら、ケース（ａ）は計算量が少なくメモリの消費も少ないのでより好ましい。これは、ケース（ａ）のように動き補償された任意所与のフレーム（Ｉ又はＰ又はＢ）においては、各８ｘ８ブロックにはただ１つの値が得られるからである。かように、各次元において８分の１の容量を要するだけで済む。即ち、全フレームを蓄積する場合と比較して潜在的可能性としては、６４（８ｘ８）分の１の容量のメモリ装置ですむことになる。しかしながら、以下に説明するように、ケース（ａ）は過度の性能低下をもたらすので、使用可能な代案ではない。
【００８０】
連続動き補償フレーム数、Ｉフレームを介在させない、すなわち連続動き補償フレーム数が増加すると、ケース（ａ）とケース（ｂ）間の差が増大する。図３に戻って、１枚の動き補償済みフレームから予測を、例えば、ＰフレームからＢフレーム又はＰフレームからもう１つのＰフレームに予測を行う際に、何が生じるかを考察する。ケース（ａ）の場合、重み付け平均化処理を予測ブロックが重なる４つのブロックに対して実施すると、各ブロックは単一の値を持っており、８ｘ８の予測ブロック全体に対し単一の値で終了する。ケース（ｂ）の場合は、予測フレームの各ブロックは潜在的に４つ（又はそれ以上）の異なる値を有するので、現予測ブロックは多数の異なる値を持ち得る。いま、動き補償済みフレームからのこの一連の予測としてケース（ａ）とケース（ｂ）間に出現する重要な変化キーとなる差分が大きくなることに注目する。動き補償フレームのシーケンスが十分に長いと、ケース（ａ）は、後述するようにフレーム間の動きが十分であれば、フレーム全体に対し単一の値を生じると期待される。これは、しかしながら、ケース（ｂ）には生じない。
【００８１】
この現象をさらに詳細に説明するために、Ｉフレーム内の各８ｘ８ブロックを平均で置換し、原画像のより小さいバージョンを生成することを考える。今、ケース（ａ）において実施したように動き補償は、この小画像を１個の２ｘ２平均化フィルタで反復再帰処理することを必要とする。基本的なフーリエ解析で、平均化フィルタの反復用途によりエッジ効果を無視すれば制限内の均質な画像を生じることを容易に示すことができる。
【００８２】
上記の観察が真実であることが実際に観察された。典型的なＭＰＥＧ−２圧縮シーケンスの場合、２枚のＩフレーム間の距離は１５である。これにより、動き補償をケース（ａ）に従い実行すると非常に顕著な性能低下が生じることが発見された。ケース（ａ）の動き補償スキームはヒストグラムに周期的に強い変動を生じさせ、偽のキーフレームを検出する結果をもたらす。かような理由で、ケース（ｂ）を実装に使用した。最少復号法を用いヒストグラムを計算することにより、１つのＱＣＩＦシーケンスに対するヒストグラム計算速度を半分に短縮されるが、利点は解像度が高まることの方が大きかった。現在、５１２次元のヒストグラムのベクトルを使用しており、２５６ビンのグレイスケール（Ｙ成分）ヒストグラムと１２８ビンのＵ成分ヒストグラムと１２８ビンのＶ成分ヒストグラムにより形成される。上記の説明は、彩度（クロマ）フォーマットとは無関係に、Ｙ，Ｕ及びＶのフレーム構成成分に対して個々に適用できる。
【００８３】
ＭＰＥＧ−２ビットストリームからの特別フレームの抽出
ここに開示する実施形態において、ＭＰＥＧ−２ビットストリームからの特定フレームの抽出は２ステップの手順で行われる。ヒストグラムの計算と同時に実行される第１ステップにおいて、ＭＰＥＧ−２ビットストリームからランダムに選んだフレームを迅速に復号するために必要な情報を含む“ビットストリームインデックステーブル”を生成する。キーフレームの階層が生成される、即ち、階層的要約に入るキーフレームの識別が規定されると、階層の最も細密なレベルのキーフレームだけが復号を要求され、階層の粗いレベルのフレームは最も細密なレベルのフレームのサブセットとなる。キーフレーム抽出手順における第２ステップは、後述する復号器マネージャにより、第１ステップで生成された“ビットストリームインデックステーブル”を使用して実行される。
【００８４】
上記２ステップ手順の利点は、ビットストリームの関連部分を直接復号する場合に比し、関心を引くフレームまでの全ビットストリームを見るのに要する時間を削減できることである。フレ−ム番号１３５０から１４００までのＭＰＥＧ−２ビットストリームをビットストリームインデックステーブルを用いずに復号するためには、フレーム番号１３５０までの全ビットストリームを、完全に復号しないにしても、構文解析することが必要である。これにはかなりの時間を要する。ビットストリームインデックステーブルが使用できれば、ビットストリームの関連部分に直接進むことができ、絶対最少量の構文解析と復号のみが要求される。
【００８５】
ＭＰＥＧ−２ビットストリームからランダムに選択したフレーム（ここでは現フレームと記す）を復号するためには下記の情報が必要である。
１．過去において（時間的に）最も近いシーケンスのヘッダ（そのバイトオフセット）。
２．現フレームのビットストリームへのバイトオフセット。
３．過去において（そのバイトオフセット）最も近い量子化マトリックスのリセット（もしあれば）。
４．現フレームがＢフレームであれば、現フレームに対応する参照フレーム（Ｉ−Ｐ／Ｉ−Ｉ／Ｐ−Ｐ）（それらのフレームのバイトオフセット）。
５．現フレームがＰフレームであれば、（Ｐフレームの参照フレームである）最も近いＩフレーム（そのフレームのバイトオフセット）。
【００８６】
Ｂ／Ｐフレームの場合は、参照フレームを正確に復号するために、参照フレーム以外の幾つかの他の参照フレームを復号する必要があることを指摘しておく。
前記２つのステップ、即ち、（１）ビットストリームインデックステーブルを生成するステップと（２）後述の復号器マネージャによるビットストリームインデックステーブルを用いたフレームの抽出するステップ間で情報交換が容易に行えるように、上記情報を保持するための共通のデータ構成を開発した。Ｃコードの下記のセグメントを使用しビットストリームインデックステーブルの形成に用いる異なるフラグを実態化した。但し、これは一例に過ぎず、ビットストリームインデックステーブルは任意数の異なるシンタックス形式をもち得ることは理解されよう。
【００８７】
【表１】
【００８８】
Ｋ＿ＯＦＦＳＥＴフラグは、上記の他のフラグから区別するために任意バイトオフセットに加える。１５のバイトオフセットは、我々の表記では１５＋Ｋ＿ＯＦＦＳＥＴ（＝２１）と翻訳する。Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡは、異なるイベント（例えば、シーケンスヘッダとＩフレーム又はＩフレームとＢフレーム等）間の区切りである。生成されたビットストリームインデックステーブルがどのように出現するかを理解するために、下記イベントのシーケンスの符号化が要求されていると仮定する。
【００８９】
１．シーケンスヘッダが０バイトで開始
２．Ｉピクチャが１５０バイト
３．Ｐピクチャが３０００バイト
４．Ｂピクチャが４２００バイト
５．Ｂピクチャが５３００バイト
６．量子化マトリックスのリセットが５４００バイト
７．Ｐピクチャが６２００バイト
このシーケンスを下記の表現に変換する。
【００９０】
【表２】
【００９１】
これは前記のＣデータ構成を用いて下記のバイト表現を生成する。
【００９２】
【表３】
【００９３】
上記バイトを用いた表現中のスペースは、復号器がビットストリームを構文解析するために必要である。Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡフラグは、厳密にいえば冗長である。しかしながら、このフラグは、発生した偽のデータを除去するために使用でき（ビットストリーム中のエラーによって）、このアルゴリズムをエラーに対し強くする。このフラグは偽データを除去するための“同期信号”として作用し、例えば、（ビットストリーム中のエラーによる）バイトオフセット値を伴わないシーケンスヘッダを破棄する。
【００９４】
上記の生成された“ビットストリームインデックステーブル”を使用する復号器マネージャは下記のように機能する。
１． 最後に復号されたフレームの番号（ｌｄｆ）を−１に初期化する。
２． 復号される各フレーム（ｆｔｄ）に対し：
復号を開始するフレーム（ｓｄｆ）を見つけ出す。
ｆｔｄがＩフレームであれば、ｓｄｆ＝ｆｔｄとする。
ｆｔｄがＰフレームであれば、ｓｄｆをｆｔｄより前の最も近いＩフレームにセットする。
ｆｔｄがＢフレームであれば、ｓｄｆをｆｔｄに対応するアンカーフレームの両方より前の最も近いＩフレームにセットする。
上記ｓｄｆがｌｄｆ＋１より小さければ、ｓｄｆ＝ｌｄｆ＋１に設定する。ｓｄｆ＜ｌｄｆ＋１であれば、要求されたフレームの幾つかはすでに復号されている。
ｉ＝ｌｄｆ＋１〜ｓｄｆに対して、
最も近いシーケンスヘッダ（ｒｓｈ）を見つけ出す。
ｑｍｒがｒｓｈより大きい場合は、最も近い量子化マトリックスのリセット（ｑｍｒ）を見つけ出す（ｑｍｒが存在すれば）。
ｒｓｈとｑｍｒをビットストリーム中に出現する順序で復号する。
全てのＩ及びＰフレームを、ｓｄｆから開始し、ｆｔｄ−１に到るまで順次復号する。
ｆｔｄを復号する。
１連のフレームを復号するために、復号器マネージャの上記手順に従って、第１フレーム（ｆｔｄ）を復号する。残りのフレームは，１連のフレームの最後まで順次復号する。
【００９５】
特別な場合に必要に応じ、所要のフィールドピクチャを処理する。偶数／奇数フィールドヒストグラムを使用することができ、どちらも最初に復号できる。他のフィールドは、Ｂピクチャの場合復号できず、Ｐ及びＩピクチャの場合は、最少符号化戦略で復号できる。１フィールドのみ復号する場合は、ヒストグラムを２分の１に縮尺しなければならない。余分に復号したフィールドはＰ／Ｉフレーム用ヒストグラムの計算には使用せず、この場合、全てのフレームはヒストグラムに１フィールド供給しているので、ヒストグラムを縮尺しなくてよい。フィールドをフレームから区別し適切なステップをとるために、ＭＰＥＧ−２ビットストリームは、ピクチャヘッダとピクチャ符号の拡張から下記の２つの情報を提供する。
１．（ピクチャヘッダ中の）時間的な基準が現在復号中のフレーム番号を提供する。この時間基準は各グループのピクチャヘッダの先頭にリセットされる。
２．（ピクチャ符号の拡張中の）ピクチャ構成が、トップ／ボトムフィールド情報を提供する。
【００９６】
コンパクトな蓄積装置用の削減されたビットストリームインデックステーブルの生成
実装の観点から重要な問題は、ディスクスペースを節減するためにビットストリームインデックステーブルをコンパクトに表現することである。ＭＰＥＧ動画が占拠する大スペースと比べると、ビットストリームインデックステーブルは各フレーム当たり約８−１０バイトのスペースをとるだけなので、これは、一見、重要な問題ではないよう見えるかもしれない。オーバーヘッドは下記のステップを取ることにより低減できる。
１．絶対バイトオフセットよりも増分バイトオフセットを用いる。これにより大きなシーケンスの場合かなりの量の節減になる。
２．ＵｎｉｘプラットホームのｇｚｉｐまたはＰＣ上のｐｋｚｉｐのような圧縮アルゴリズムを用いる。
３．Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡフラグを除去する。
４．ビットストリームを最少の復号及び構文解析してキーフレームを復号するために必要な最少量の情報を蓄積するように、ビットストリームインデックステーブルのデータ量を削減する。
【００９７】
最後の項は、キーフレームの位置にのみアクセスでき、キーフレームの位置をユーザが後で変更することを許さないことに注意すべきである。（１）と（４）は完全には両立しないことも注記しておく。増分バイトオフセットを用いる場合、（４）の削減アルゴリズムは、フレームの変更順序を反映するようにバイトオフセットを変更すべきである。現在の実装において、削減されたビットストリームインデックステーブルを後述のように生成する。復号器マネージャがこの削減バージジョンのテーブルを使用する。この削減ビットストリームテーブルの使用は、得られるべき速度と使用可能な蓄積スペースの量の関数として決定される。蓄積装置のスペースが使用可能であれば、ビットストリームテーブルを削減する必要はない。完全なテーブルを納める余地があれば、検索及び処理も迅速に行える。
【００９８】
削減されたビットストリ−ムインデックステーブル
ビットストリ−ムインデックステーブル（ＢＩＴ）と同じ構成を用いるが、同時に削減ビットストリ−ムインデックステーブル（ＰＢＩＴ）用の異なる組織シンタックスを採用している。各キーフレームは、ＢＩＴ内の１単位として表現されている各動画フレームに対向し、（Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡのフラグで挟まれた）１単位として表現される。全ビットストリームを構文解析及び復号することなく特定の（現）キーフレームを復号するためには、下記の情報が必要である。
【００９９】
１．現キーフレームのタイプＩ／Ｂ／Ｐ
２．現キーフレームに対応する開始復号フレーム（ｓｄｆ）（バイトオフセット）。復号器マネージャのＢＩＴバージョンにおいて仮定したように、復号器は全てのキーフレームを復号するためには順次作動しないので、（ｓｄｆ＜ｌｄｆ＋１であればｌｄｆ＋１でない）バイトオフセット表示の実際のｓｄｆは保管する必要がある。復号器が順次作動し、ｓｄｆ＜ｌｄｆ＋１であれば、復号はｌｄｆ＋１から開始することが必要である。ｌｄｆ＋１が先行キーフレームに続く動画フレームであり、そのオフセットは入手できるので、この情報は既に入手可能である。
３．現キーフレームのバイトオフセット
４．最も近いシーケンスヘッダのオフセット。全ての有効なＭＰＥＧ−２ビットストリームはシーケンスヘッダを有しているので、Ｋ＿ＳＥＱＵＥＮＣＥ＿ＨＥＡＤＥＲフラグは必要ない。
５．量子化マトリックスのリセットがあった場合は、ＭＰＥＧ−２ビットストリームには量子化マトリックスリセットがないので、Ｋ＿ＱＵＡＮＴ＿ＭＡＴＲＩＸ＿ＥＸＴＥＮＳＩＯＮフラグを付けて蓄積する必要がある。シーケンスヘッダの出現で量子化マトリックスがリセットされるので、そのリセットがそのシーケンスヘッダ以前に発生していればその量子化マトリックスのリセットを蓄積する必要はない。
【０１００】
復号器マネージャは、ｓｄｆ情報と現キーフレームのタイプとそのバイトオフセットを次のように用いる。所望の現キーフレームがＩ又はＰタイプであれば、復号器マネージャはｓｄｆから復号を開始し、ビットストリームを構文解析し、Ｉ及びＰフレームのみを探す。かようなＩ及びＰフレームは、所望の現フレームに到達するまで復号され、所望の現フレームも復号される。この技法において、復号器マネージャは、フレームがＢフレームあるかをチェックせず、Ｉ及びＰフレームのヘッダのみを探索する。所望の現キーフレームがＢタイプであれば、復号器マネージャはｓｄｆから始まる各フレームを考慮し、全てのＩ及びＰフレームを復号し、各Ｂフレームで停止してそのフレームが所望のキーフレームであるかをチェックする。
【０１０１】
そのフレームがＢタイプであれば、Ｂフレームを構文解析する必要を無くすために、最も近い復号参照（Ｉ又はＰ）フレームに近似させたい。Ｂフレームが５３５００バイトのオフセット値より始まる復号すべきキーフレ−ムであり、４３０００バイトから読む量子化マトリックスを必要とし、３９０００バイト位置で読むシーケンスヘッダを必要としていると仮定する。復号を開始するフレームは４５０００バイトより始まる。このデータは次のように符号化されている。
【０１０２】
【表４】
【０１０３】
復号器マネージャが実行する構文解析量が増大することにより計算時間が増えてコストが掛かるためにＰＢＩＴをさらにスリムにできることを明らかにしておかねばならない。従って、復号器マネージャの複雑化とＰＢＩＴのサイズとの間にトレードオフがある。用途の要求条件により適当なバランスをとることも可能である。例えば、ＰＢＩＴはｓｄｆと、ｓｄｆと現キーフレーム間の全てのＩ及びＰフレームのバイトオフセットと、現フレームのバイトオフセットを蓄積し、復号器マネージャがビットストリ−ムを構文解析する必要を無くす。但し、その結果、ＰＢＩＴのサイズは増大する。他の極端な場合は、ｓｄｆとキーフレームのバイトオフセットのみを蓄積する。最もコンパクトなＰＢＩＴが得られるが、その代わり、復号器マネージャは、開始フレームからキーフレーム位置までのビットストリームを構文解析し、ＩとＰのフレームを復号しなければならない。自動パン／ズーム検出／抽出機能を組み込むためには、全フレームビットストリームを復号する必要がある。
【０１０４】
ディジタル動画シーケンスのキーフレームを閲覧するシステムを開示してきた。入力動画ストリームは、通常のディジタル動画であるか、或いは、ＤＣＴに基づく圧縮ストリ−ムである。本発明の好適な実施態様と幾つかの変更例を開示してきたが、特許請求範囲に規定した本発明の範囲から逸脱することなく、さらなる変更及び修正を加えることができることを理解すべきである。
【図面の簡単な説明】
【図１】 図１は、３つのレベルに対する動画の要約の階層構造を示す図である。
【図２】 図２は、本発明による方法の第１実施形態のブロック図である。
【図３】 図３は、本発明の自動パン／ズーム処理モジュールのブロック図である。
【図４】 図４は、本発明の最も細密なレベルのキーフレームの選択アルゴリズムを示すブロック図である。
【図５】 図５は、本発明の階層的要約のブロック図である。
【図６】 図６は、キーフレーム（ｋj）および対応ショットセグメント（ｔj-1，ｔj）の累積動き測定値（Ｃ（ｘ））と分布を示す図である。
【図７】 図７は、ＭＰＥＧ−２による圧縮入力動画に使用される本発明の第２実施形態の一部を示すブロック図である。
【図８】 図８は、階層的要約中のキーフレームの復号に用いられるデータの示す図である。
【図９】 図９は、動き補償のグラフである。
【図１０】 図１０は、ケース（ａ）及びケース（ｂ）を定義するために用いる動き補償アルゴリズム間の差分を示す図である。
関連出願
１９９８年１月７日提出のＲａｔａｋｏｎｄａの第０９／００４，０５８号の“動画シーケンスにおけるディゾルブ領域の検出（Ｄｅｔｅｃｔｉｎｇ Ｄｉｓｓｏｌｖｅ Ｒｅｇｉｏｒｓ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ）”。
【０００２】
発明の属する技術分野
本発明は、（ｉ）動画コンテンツの視覚的な認定、（ii）動画のインデクシング、（iii）動画の閲覧ブラウジング及び（ｉｖ）動画の編集等の用途に用いる階層的要約において静止画の各セット毎にディジタル動画シーケンスの表現を決定することに関する。ディジタル動画シーケンスは、動画像圧縮標準（ＭＰＥＧ）により圧縮され、その表現は圧縮ビットストリームの最少復号化によって決定される。
【０００３】
発明の背景
動画のコンパクトな表現は、多数の情報問い合わせと検索の用途にとって肝要である。かような用途の例には、マルチメディアデータベースのアクセスから動画クリップを介したスキミング（高速前方走査）にまで及ぶ。大多数のこれまでの方法は、所与の動画セグメントを“ショット”に分割することに主として重点が置かれていた。各ショットは、そのショットを要約する１枚のキーフレームにより代表される。かように、全動画を通して閲覧する代わりにこれらの代表的なフレームを見ることができる。ショットの検出は高い精度（＞９０％）と僅かな脱漏率（＜５％）で達成される。ヒストグラムに基づく方法は最も成功率が高く、且つ計算量が最少ですむショット検出方法の１つである。種々のショット検出方法間の比較を文献に見ることができる。これらのスキームの多くは，動画ショット境界を定める際にパン，ズーム，ディゾルブ及びフェード等の幾つかの特殊な状況を考慮している。
【０００４】
公知の技法は、ショット境界またはシーン転換を検出し、動画シーケンスを代表するキーフレームのような各ショットからの単一フレームよりなるフレームの集積を使用することに一般的には重点を置いている。各ショットに１枚より多いキーフレームを割り当てることにより、その動画のコンテンツをより良く要約表現できる。かような公知の要約方法は，しかしながら、単層の要約であり柔軟性を欠く。
他の公知の技法は，色ヒストグラムを使用し、ＭＰＥＧビットストリーム（即ち、ＤＣＴ８ｘ８ブロックのＤＣ係数のヒストグラム）からヒストグラムを形成する方法を記述している。これは、Ｉ（フレーム内符号化）フレームに対する比較的直截な方法であるが、参照画像の最少復号化を伴うＰ（予測）フレーム又はＢ（双方向予測）フレームのＤＣ（ゼロ頻度）係数の回復方法が複数存在する。
離散余弦変換（ＤＣＴ）圧縮動画に関する公知の文献は、ワーキングシステムの具体的な実施例については何も記述していない。例えば、認定後にキーフレームは視覚表示のために復号されねばならないが、公知の文献のどれにも、全動画シーケンスを復号することなくビットストリームの任意位置にあり得るキーフレームの効率的な復号機構は記述されていない。
【０００５】
上記スキームの主要な制限は，全てのショットを同等に扱っていることである。大抵の場合、完全なショットを１枚のフレームでは十分に表現できないと考えられる。これは、ショット中の“興味深い動き”量に応じて、各ショット毎に若干のキーフレームを割り当てるアイデアに到達する。最新技術の動画閲覧システムは、動画シーケンスを成分ショットに分割し、各ショットを数枚の代表キーフレームで表現する。この表現を“要約”と称する。
【０００６】
本発明は、１９９６年のローザンヌ国際画像処理会議の会報（６７１−６７４頁）にＬ．Ｌａｎｇｅｎｄｉｊｋ，Ａ．Ｈａｎｊａｌｉｃ，Ｍ．Ｃｅｃｃａｒｅｌｌｉ，Ｍ．Ｓｏｌｅｔｉｃ及びＥ．Ｐｅｒｓｏｏｎによって開示された“ＳＭＡＳＨシステムにおける視覚的探索（Ｖｉｓｕａｌ Ｓｅａｒｃｈ ｉｎ ＳＭＡＳＨ Ｓｙｓｔｅｍ）”方法（これより後、“Ｌａｎｇｅｒｄｉｊｉｋ”の技法と記す）を改良し拡張するものである。
【０００７】
発明の要約
本発明は、階層的ディジタル動画要約及び閲覧方法であり、その基本構成には、ディジタル動画シーケンス毎にディジタル動画信号を入力することと、動画シーケンスのキーフレームに基づいて階層的要約を生成することを含んでいる。追加のステップとして、ディジタル動画シーケンスに対するヒストグラムを計算することと、ディジタル動画シーケンス内のショット境界を検出することと、各ショット内の割り当てられるキーフレーム数を算定することと、各ショット内の各キーフレームの動きのある位置を決定することと、最大連続差分判定基準によりキーフレームを認定することと、有意な動きの無いショット毎にキーフレームを削減することと、圧縮動画の場合にキーフレームを効率よく抽出することと階層的なキーフレームの要約を用いてショットを閲覧することを含んでいる。
【０００８】
“動画要約”はその動画の代表として使用できる所与の動画シーケンスの最も突出した（顕著な、主要な）フレームを決定することに関する。階層的要約方法は、レベル（即ち、フレーム数）が細部において異なる、複数のレベルを持つ階層的要約を構築するために開示される。最も粗いか最もコンパクトなレベルは、最も顕著なフレームを提供し、最少数のフレームを含んでいる。
【０００９】
本発明の目的は、各レベルが細部の異なるレベルに相当する階層的マルチレベルの要約を生成する方法を提供することにある。
【００１０】
本発明の他の目的は、キーフレームの選択を改善する方法を提供することにある。
【００１１】
本発明の他の目的は、階層的フレームの要約と共に、シーンの動きコンテンツ特にパンとズームを検出して利用しユーザに提示することにある。
【００１２】
本発明のさらなる目的は、各レベルが細部の異なるレベルに相当するＭＰＥＧ−２による圧縮動画の階層的マルチレベルの要約を生成する方法を提供することにある。
【００１３】
本発明のさらなる目的は、ヒストグラムの構築とビットストリームの復号が最少である階層的要約を生成するために、ＭＰＥＧ−２の圧縮動画に直接応用できる方法を提供することにある。
【００１４】
本発明の他の目的は、ＭＰＥＧ−２の圧縮動画の要約を生成する完全で効率のよいシステムを提供することにある。
【００１５】
本発明のさらに他の目的は、ＭＰＥＧビットストリ−ムに対するヒストグラム計算を処理する効率のよい方法を提供することにある。
【００１６】
好適な実施形態の詳細な説明
セマンテックな顕著さ（特徴）を自動捕捉する現在の技術はまだ未熟であるので、動画の要約方法は、色ヒストグラムのような低レベルな画像の特徴に依拠している。動画の要約は、その動画の代表として使用できる所与の動画シーケンスの最も顕著なフレームを決定する方法である。重要な情報を有する特定のフレームは、総数が予め規定されたフレームを含む単一の要約には含まれないようにすることも可能である。
【００１７】
図１を参照する。本発明の階層的要約方法により生成された階層的マルチレベルな要約２０は、重要なコンテンツの情報を失わないように十分に多数のフレームを用いた詳細にわたる細密レベルの要約を提供できるので重要なコンテンツ情報は失われない、と同時に、動画の迅速な閲覧と特定用により粗い又はコンパクトな要約の利用を妨げないようにより粗いレベルの詳細度の低い要約を提供できる。階層的マルチレベル要約２０は、より詳細な要約が必要と判断されて、粗い要約２４及び最も細密な要約２６のようなより細かいレベルの要約が呼び出されるまで提示される、最も粗いレベルの最もコンパクトな要約２２を含んでいる。図１には３つの要約レベルが示されているが、本発明の階層的要約は、１つより多い任意のレベル数を用いることができる。
【００１８】
要約２０は、又、動画シーケンスのデータベースの高速閲覧を容易にし、最もコンパクトな要約に基づく閲覧ができ、ユーザの要求に従って、より詳細なレベルに要約を高めていくことできる。
【００１９】
階層的マルチレベルな要約は、動画の要約を視覚的な対話式で効率よくユーザに提示する方法を容易にする。ユーザはグラフィカルユーザインターフェースを介して要約と対話し、より詳細な要約を要求し、異なるレベルの要約を視覚表示し、任意レベルにおける要約の任意の２枚のキーフレーム間で動画を再生することができる。ここに開示する方法のユーザは要約中のキーフレームの最大数と階層のレベル数を指定できるので、このシステムメモリと資源が制限された用途においても制御可能である。
【００２０】
ここに開示する方法は、非圧縮（又は伸長）動画又はＭＰＥＧ圧縮動画のようなＤＣＴ（離散余弦変換）による圧縮動画又は他の動き補償予測圧縮動画のいずれにも適用できる。ＭＰＥＧ圧縮動画の場合、要約は最少のビットストリームの復号と効率的なキーフレームの復号方法により実行され、計算及びメモリ能力に対する要求が軽減される。ここでは、ＭＰＥＧ−２による圧縮動画を例にとり説明するが、前記の通り、ＤＣＴに基づく任意の圧縮動画に対しても適用可能である。当技術に熟達した人には、ＭＰＥＧ動画への参照が他に規定されていない限り圧縮動画ストリームへの参照であることは理解されよう。
【００２１】
ここに開示の階層的要約方法において、後処理によるフェードのような特殊効果の検出が支援される。かような効果を含むセグメントは、精度に悪影響を与えないように要約プロセスには含まれない。本方法において、要約における最もコンパクトで意味深い表現に対して、パン及びズームセグメントを検出することも考慮される。
動画シーケンスは、静止画像に対して開発された技法を用いて要約フレームに基づいてインデクシングすることができる。複数レベルにより細部変化レベルにおけるインデクシング（索引）の方向に柔軟性を生じる。
【００２２】
本発明の階層的な方法は、最もコンパクトな要約のコンテンツが実際に興味を引くものであればより詳細な要約２４，２６にアクセスする選択肢を持ちつつ、ユーザが最もコンパクトな要約２２を考慮することにより、動画シーケンスの集まりを高速閲覧できる。本発明の方法のユーザは、動画シーケンスの選択セグメントにおいて要約を精錬する柔軟性を有している。
ＭＰＥＧ動画シーケンスを要約するために使用する、“ビットストリームインデックステーブル生成器”と“復号器マネージャ”と云う２つの構成要素が設けられている。これらの構成要素は、視覚的な要約を生成し、次に動画の全体を復号せずに閲覧するようにキーフレームを効率よく復号するために必要である。
【００２３】
図２に、本発明の方法全体３０を要約して示す。この方法は、カメラ一体型レコーダのような動画カメラとレコーダ又は少なくとも動画シーケンスを設置でき、理想的には動画入力３２として使用する大量の動画データを蓄積できる容量を有するコンピュータシステム上で作動することを目的としている。本発明の方法を含む機構をここでは“システム”と呼ぶ。入力動画３２は、フェードイン又はフェードアウトのような特殊効果を含むフレームは、擬似ショット境界と擬似キーフレームを生じる結果を招くので、まず、かようなフレームを検出し除去するための処理をする（３４）。かようなフレームは大域的（グローバル）な動きイベントとして分類して、次にさらなる処理から除外する。次のステップは、ヒストグラムの計算である（３６）。画像色ヒストグラム、即ち、色分布は、動画フレームを代表する特徴ベクトルを構成して、ショット境界の検出３８とキーフレームの選択に使用される。ショット境界の検出３８は、スレッシュルド（閾値）方法を用いて行い、連続するフレームのヒストグラム間の差を比較する。所与のキーフレーム総数（ユーザ指定）４０で、各ショットに、良く知られた技法により、ショット内の“動き（アクション）”に応じてキーフレーム数（４２）を割り当てる。細密レベルのキーフレームの選択４４は、Ｌａｇｅｎｄｉｋの技法を改良バージョンを用いて行う。ここに開示する実装は、この方法の改良バージョン、即ち、細密レベルのキーフレームの選択方法を拡張した、後でより詳細に説明する図４に示すような新しい追加のステップを含んだ技法を用いる。
【００２４】
図１を再び参照する。画像のモザイク５１を生成する結果をもたらす自動パン／ズーム４６とズーム要約５２は任意選択ステップであり後で説明する。次のステップは、キーフレームの階層化４８、即ち、細密レベルの要約より粗い細部での要約を生成する新しい方法である。このプロセスについても後で詳しく説明する。これは、ベクトル量子化の主題の変形に基づいている。細密レベルと粗いレベルの要約は、所与のショットに対し決定され、動画シーケンス中の他のショットに対してもこのプロセスが繰り返される（ブロック５０）。追加のステップは、階層的要約の閲覧（ブロック５３）とプロセスの終了（ブロック５４）を含んでいる。
【００２５】
自動パン／ズーム処理
自動パン／ズーム処理ステップ４６の詳細は図３に示す通りであり、ディジタル動画シーケンスにおけるパン及びズームのイベント（事象）の検出を含んでいる。グローバルな動きを含むフレームを検出する（５６）。これは、グローバルな動きの影響を受けるフレームを特定することを目的とした予備的選抜方法である。これらのフレームは、グローバルな動きがパン検出器で検出（５８）されるようなカメラのパンによる動きであれば画像モザイクを用いてコンパクトに表示でき、或いは、ズーム要約５２、即ち、ズーム検出器６０で検出されてズーム評価器（ズーム推定器）６６により編集されるような動きであれば、ズームイン又はズームアウトシーケンスの最初と最後のフレームを用いてコンパクトに表示できる。従って、モザイクの形成６２は、グローバルなパンの動きを示すこれらのフレームを対象にするだけであり、画像モザイク５１をもたらす。画像モザイク５１又はズームイン又はズームアウトに関係するフレームは、細密レベルの要約からは除外される（ブロック６４）。理由は、細密レベルの要約はさらに処理してより粗い、よりコンパクトなレベルの要約を形成するからである。
【００２６】
他の実施形態において、パン／ズーム処理４６は、自動ではなく対話形式で実施できる。ユーザは、選択された細密キーフレーム要約４４から、キーフレームを選択できる。それらキーフレームは、パンシーケンスの開始と終了を形成し、システムはこれに応え画像モザイク５１を形成し、ユーザに提示する。ユーザは、フレーム番号Ｋ及びＬ、即ち、カメラがパンした始点と終点の２つのキーフレームを認定又はタグ付けすることができる。モザイク形成器６２はモザイク形成時にフレーム番号Ｋ−ｎとＬ＋ｎ（ｎは予め定められたオフセット値）の間のフレームを考慮する。モザイク形成器６２は、通常の技術を有する者には良く知られている画像ステッチング技法により実装できる。ズームの場合、パンの場合と同様に、ユーザは開始と終了のフレームを手動で指定できる。自動ズーム検出アルゴリズムを採用してもよいし、このアルゴリズムもまた通常の技術を有する者には良く知られている。
【００２７】
図５に階層的要約の形式７０を示す。この階層的要約は、階層的キーフレームレベルに分割される。ユーザには先ず最もコンパクトな（最も粗い）レベルの要約７２、即ち、最もコンパクトな要約が可能な場合、画像モザイク５１及びズーム要約５２と共に提示される。次に、ユーザは、ここでは粗いレベル７４と称するより細かなレベルで親フレームにタグを付け、子フレームを見ることができる。最も細密なレベル７６のフレームのタグ付けにより、動画の再生、例えば、ｊ番目のキーフレームを最も細密なレベルでタグ付けすると、ｊ番目と（ｊ＋１）番目の間のフレームが再生される。実際のＧＵＩ実装において、親子関係は、表示時に明示できる。ここで用いるように、“タグ”又は“タグ付け”は、特定のフレーム上でクリックするように、コンピュータモニタ上で特定のオブジェクトを認定することにより達成される。階層的要約におけるキーフレームは、蓄積コストを有利にし、要約の高速検索・表示を実現するために、空間的にさらに“サムネール”にサブサンプリングする。動画シーケンスの通常の再生は、最も細密なレベルで行われるが、より粗いレベルでも実施できる。
【００２８】
非圧縮動画の入力
本発明の第１の実施形態は、階層的ディジタル動画の要約と閲覧に対する“画素ドメイン”法として記述し、非圧縮動画の入力（３２）を要する。
全動画シーケンス用に用いられるキーフレームの総数は所与である（通常蓄積空間要求条件により決まる）と仮定する。Ｌａｎｇｅｎｄｉｋの技法は３つの主要ステップ、即ち、
１）ショット境界の検出と、
２）各ショットに割り当てられるキーフレーム数の決定と、
３）各ショット内のキーフレームの位置の発見のステップを持つ。
【００２９】
図４に示す本発明に用いられるこの技法８０は、３ステップの反復方法（８２）を含んでいる。ショット境界の検出（図２の３８）は、動的閾値によるヒストグラムに基づく方法を用いてなされる。シーケンスの最初のｎフレーム（通常ｎ＝３）は、ショット境界に対応しないものと仮定する。平均動き測度Ａmと動き測度の標準偏差Ａsdは、最初のｎフレームに対する後述する動き測度の平均と標準偏差を各々計算して定める。閾値はＡm＋αＡsdに設定する。この閾値により境界が検出されれば、次のショット用の新しい閾値を、この新しいショットの最初のｎフレームを用いて、同じやり方で決定する。パラメータαは、通常１０に設定する。
２つのヒストグラム（ｈ1とｈ2）間の動き測度（Ａ（．，．））を（ｌ1ｎｏｒｍ）とする。
【００３０】
【式１】
ｎフレームＳ1，…，Ｓnを持つ１ショットＳに対する累積動き測度（Ｃ（．））は次式で計算される。
【００３２】
【式２】
各ショット毎の累積動き測度と各ショットの累積動き測度の合計がかようにして算定される。特定のショット“ｓ”に割り当てられたキーフレーム数（ブロック４２）は、そのショット内の累積動き測度の相対量に比例している。
ショット内のキーフレームの動きのある位置の位置決めはｌ1の最小化問題として記述できる。各キーフレームは連続した１セットの動画フレームを代表する（代替する）。動画フレームのこの連続のセットの統合が完全なショットである。連続動画フレームの各セットが１枚のキーフレームで代表されるので、動画フレームの１連続セット内の動き量を小さくしたいと考える。動画フレームの１連続セット内の“動き量”が多すぎると、１枚のキーフレームではその動き量を十分に代表できないことがこの背後にある理由である。かように、１ショットに割り当てられるキーフレームの総数（そのショットが分割された連続セット数と同じ数）が与えられれば、動画フレームの該当連続セット内の“動き”を最少にするキーフレームを発見する最小化手順を使用する。Ｋ枚のキーフレームを１ショットｓ内に位置決めするものと仮定し、キーフレームの位置をｋj（ｊ＝１，…，Ｋ）とする。さらに、ｋjのキーフレームで代表される動画フレームの連続セットをｔj-1，…，ｔj−１とする。換言すると、［ｔj-1，ｔj−１］は、キーフレームｋjにより代表されるショットセグメントである。以下のコスト判定条件式が全ての可能なｔjに対して最少となるべきである（ｋjは、ｔjを選択することにより即ち、ｋj＝（ｔj＋ｔj-1）／２で決定する）。
【００３４】
【式３】
ｔ0とｔKはショットの最初と最後のフレームである（従って、定数である）。上記コスト判定条件式中にｋj＝（ｔj＋ｔj-1）／２を代入し、最適解は、２Ｃ（ｔi）−Ｃ（Ｋi）≦Ｃ（Ｋi+1）を満足する。
最小化を実行するために、Ｌａｇｅｎｄｉｊｋの技法と異なる、下記のステップを対話式で実行する。
１．ｋ1＝１に設定する。（ｔ0＝０、第２フレームを第１キーフレームとなるための候補として選択するものと仮定する。）
２．ｉ＝１〜Ｋ−１に対して、
ｔi＝２ｋi−ｔi-1
ｋi+1を、２Ｃ（ｔi）−Ｃ（ｋi）≦Ｃ（ｋi+1）を満たす第１動画フレーム（即ち、ｔiより大きい最少の下付き添字ｎを持つ動画フレーム）と定義する。３．ｉ＝Ｋに対して、ｔ'K＝２ｋK−ｔK-1を計算する。ｔK＞２ｋK−ｔK-1＝ｔ'Kであれば、ｋ1を１だけ増し、ステップ２に進む。そうでなければ、先の反復結果を保持し、全てのｋiにｔK＝ｔ'Kとなるようにオフセット値を与えて停止する。
【００３６】
この最小化は図６に示すように有限数のステップで実行する。累積誤差は１ショット内の非減少関数である。かように、上記の最小化手順は、累積誤差曲線９０に対し最良（ｌ1に関し最良）の段階近似を与えるキーフレームｋjを発見することを目的とする。これにより、ショット内の“動き”量に適応変化するキーフレームｋjの分布が得られる。式３で表現される最小化領域は９２である。
【００３７】
上記の３つのステップの意味は下記の通りである。ショットの最後のキーフレームはｔK-1とｔ＝ｔKの間の中点にできるだけ近づけなければならない。ｋｉを増加し、最初はこの中点を超えるまでステップ２と３を反復し、その後先の反復結果をとり、最後のキーフレームが中点と一致する、即ち、３ステップ反復法により決定されるｔK＝２ｋK−ｔK-1とｔ'KがｔKと一致するようにオフセット値を与える。
【００３８】
先のアルゴリズムに導入したもう１つの新規点は、特定のショットに十分多数のキーフレームを割り当てたことによりｋi＝１であってもショット境界を超えられる場合に関する。この場合、簡単なスキームを用いてキーフレームが等間隔になるように配分する。この簡単なスキームにおいて、１ショットがｎ枚のフレームを有し、Ｋ枚のフレームを割り当てる場合、（ｎ／Ｋ）枚毎のフレームをキーフレームとして選択する。
【００３９】
キーフレームの選択に関する改善
Ｌａｇｅｎｄｉｊｋ技法において、ｔj-1とｔj−１が与えられた１ショットセグメント［ｔj-1，ｔj−１］に対するキーフレームは常にｋj＝（ｔj＋ｔj-1）／２に位置する。言い換えれば、キーフレームは、常に、そのセグメントのフレームの代表としてセグメントの中央にあるように選択される。しかしながら、累積誤差の定義に戻れば、累積誤差は連続するフレーム間の絶対変化にのみ依存する。かように，１セグメントの中央の１枚のキーフレームは１フレームより多いフレームに分離された２枚のフレーム間の実際の変化を現わすことはできない。１名のレポータが話している動画シーケンスを考える。例えば１０フレーム離れた２枚のフレームがあり、両フレームは、口を開いているレポータを示していると仮定する。結果として、２枚のフレームは、非常に小さい変化又は“動き”を表しているのは明らかである。しかしながら、この２枚のフレーム間の累積変化は連続するフレーム間の絶対変化の合計を表すので前記２枚のフレーム間の累積変化は大きい。これら２枚のフレームは、“セグメントの中央”規則が適用される場合、キーフレームとして選択されたフレームの内にあることが可能である。かように、“セグメントの中央”フレームをキーフレームとして闇雲に選択するとキーフレームの選択を誤ることになる。
【００４０】
この実施形態の場合、３ステップ反復法によって得られた各ショット内の区切り点の結果集合｛ｔ0，ｔ1，…，ｔk｝を考慮する。先行キーフレーム（ｋj-1）から（動き測度Ａ（，）の点で）最も異なるセグメント（ｔj-1，ｔj−１）中のフレームをｋjに位置するキーフレームとして選択する。この方法は、先行キーフレームからの最大差を取るので、ここでは“最大連続差分”基準（ブロック８４）と記す。第１キーフレーム（ｋ1）は、３ステップ反復法により決定された１フレームとする。この方法は、連続キーフレームが互いに十分異なり、従って、冗長度をできる限り減少させることを保証する。
【００４１】
有意な動きのないショットセグメント中のキーフレーム数の低減
Ｌａｇｅｎｄｉｊｋの技法は、上述したように累積誤差に完全に依拠しているために、実際には極めて近似の２枚のフレーム間に大きな誤差があると報告することがあり得る。上述の技法は、与えられたショットセグメント中の最も興味を引くフレームを選択するには良いが、ショットセグメント内の動きの観点からショット全体が“興味を引かない”状況は解決しない。例えば、連続キーフーム間の十分有意な変化をもたらさない僅かなカメラの動きによる誤差の蓄積があり得る。
有意動きの無いショットを無視するために、それらのショットを認定し、それらショット用キーフレームを削減し（ブロック８６）、最も細密なレベルのキーフレームを残す（ブロック４４）。これは、２枚の所与のキーフレーム間にある連続動画シーケンスフレーム間で測定して分析された動き測度の平均と標準偏差を推定することによりなされる。２枚のキーフレーム間に十分“有意な動き”が存在すれば、原動画シーケンス中の連続フレーム間の動き測度は有意であり、即ち、そのキーフレームを最大連続差分基準（最大連続差分基準）に従い認定する（ブロック８４）。
Ａmがフレームｋi及びｋi-1間の平均動き測度であり、Ａsdを同動き測度の標準偏差とすると次式が得られる。
【００４２】
【式４】
ただし、２枚のキーフレームｋi及びｋi-1間の動画シーケンスフレーム数をｓとし、２枚のキーフレーム間のコンテンツが興味深い場合である。ショットセグメントが前記の観点から興味を引かないものであれば、その特定のキーフレームを除去しそのショットセグメントを次のショットセグメントに結合する。
上式中のパラメータβは定数である。βが１より小さければ、大きな差異をもつキーフレームのみを残し、過度の削減を招く。ここで報告するシミュレーションの場合βの値は２.０に選定する。ショットに割り当てられたキーフレーム数が小さい場合は、キーフレーム間の距離、従って、キーフレーム間のフレーム数ｓが増大するために、ショット割り当てキーフレーム数が小さければ数量（ｓ／β）は増大する。（ｓ／β）が到達し得る最大値を、αに設定する。このαは、キーフレームの削減数を制限するためにショット境界検出のための閾値を規定する際に使用する係数である。
【００４４】
さらなる実験により、直線閾値スキームは、キーフレームの総数選択に不等なキーフレームの割り当てをもたらすことが明らかになった。この問題を軽減するために、上記削減法により消去できるキーフレームの総数の最大百分率に制限値ＭＡＸＥＲＡＳＥ＝０.３を設定する。この制限の場合、ＭＡＸＥＲＡＳＥ＝０.３に相当するフレームの最大冗長度３０％が除去される。“最大冗長度”の意味は、Ａ（ｋi，ｋi-1）が最も冗長なキーフレームに対して最少であると云うことを意味する。この場合、ｋiは除去される冗長キーフレームである。
この技法は、高動きシーケンスに応用すると、動きは殆ど構成的であり、即ち、全ての消去されるキーフレームに対して式（４）は満足されており、従って、冗長度は皆無である。
【００４５】
階層的要約と閲覧
前記の開示は、知的な“動画インデクシング”システムを記述しているが、かようなシステムは、動画フレームの当初の完全なシーケンスよりもよりコンパクトな動画コンテンツ表示である動画フレームの固定シーケンスのみを提供する。動画シーケンスを通して観察しコンテンツが変化するに従って、動画シーケンスにおける関心度レベルも変化するので、大抵の場合、上記の表示はまだ不適切である。また、特定の動画コンテンツの関心度レベルは予測できない。少女が猫を可愛がっており、カメラが少女から猫にパンする動画シーケンスを考える。１人の視聴者は少女ではなく猫をより接近して見たいと思い、もう１人の視聴者は猫ではなく少女をより近くで見たいと思い、さらにもう１人の視聴者は両方を見たいと思うかも知れない。目標は、これらの視聴者の誰かが見る“興味の無いフレーム”の数を最小にすることである。
【００４６】
同じ動画インデックスシステムに対する種々の視聴要求を調和させ満足させるために、マルチ解像度動画ブラウザ（図２のブロック５３）を提供してユーザが指定レベルの要約を選択して階層的要約を閲覧できるようにしている。これは、単なるインデックスシステムに代わるブラウザである。視聴者は、詳細の粗いレベルから始め、視聴者にとってより興味深いキーフレームシーケンス部分でマウスをクリックして詳細を拡張することができる。詳細１レベルより多い明細レベルが要求されて、視聴者が視聴者の選択したペースで閲覧できる。最も細密なレベルのキーフレームも検出できる。より粗いレベルにおいて、細密レベルにおける同様なキーフレームが集合し、各クラスタは１枚の代表キーフレームにより代表される。
【００４７】
このクラスタリング問題を解決するために、よく知られているＬｉｎｄｅ−Ｂｕｚｏ−Ｇｒａｙ（ＬＢＧ）のアルゴリズム（又はＬｌｏｙｄのアルゴリズム又はＫ平均アルゴリズム）の変更を提案する。同様な画像をクラスタさせることが望ましいことに留意する。ヒストグラムにより画像を表現し、類似の画像は類似のヒストグラムを有すると仮定する。各ヒストグラムを関連フレームの特徴ベクトルとして扱い、最も細密なレベルのＮヒストグラムに代わる粗いレベルにおける代表的ヒストグラム（Ｎ／ｒ）を発見する。尚、Ｎは最も細密なレベルにおけるキーフレーム数である。パラメータ‘ｒ’はコンパクション率（簡潔化率、若しくは、圧縮率）であり、ユーザによりプログラムに供給されるパラメータである。これからの議論において、各キーフレームをそのヒストグラムのベクトルとして表現する。
【００４８】
例えば、連続なｐ個のベクトル（時間において連続）に代わる１個の代表的ベクトルを選び出すことが望ましいので、これは、正規のクラスタリング問題と異なっている。正規のＬＧＢの場合は、１つの代表ベクトルに量子化したベクトルに関する“連続性”の制限は何もない。正規のＬＢＧ反復に近似の、下記の反復法は常に収斂する。この３ステップ反復法は、ここでは“対ごと”のＬＢＧ又はＰＬＢＧと記述する。ＰＬＢＧはＬＢＧと同じ極小問題を有することに注意すべきである。幸運なことに、反復後の“クリーンアップステップ”をこれを迅速処理するために用いることができる。まず、ヒストグラムベクトル列を等間隔で区画することから始める。例えば、簡潔化率３の場合、各区画は、（最後の１つ又は２つの区画を除き）３つのヒストグラムベクトルを含んでいる。次に、ＰＬＢＧ法の次のステップに進む。
【００４９】
１．各ベクトルセットに対して代表ベクトルとして重心（又は平均）ヒストグラムを指定する。
２．最初の区画から開始し、各区画を、区画の何れかの側の２つの隣接セット（用語“対ごとの”はここに由来する）に対する合計基準ｌ2が最小になるように調節する。数学的に、Ｈi-1がセット（ｔi-1，ｔi）中のベクトルに対する代表ベクトルで、Ｈiがセット（ｔi，ｔi+1）中のベクトルに対する代表ベクトルであれば、ｔiを各セット中のベクトルの対応代表ベクトルまでの自乗距離の総計が最小になるように調節する。
３．前記調節に続き、任意区画につき、ｔi＝ｔi+1であれば、ベクトルの代表セットからＨiを除去する。ｔi-1＝ｔiであれば、代表ベクトルセットからＨi-1を除去する。
４．ステップ１に戻る。
停止基準は、歪の減少量又は固定反復回数の何れかに基づく。前述の通り、１０回反復後停止する。各反復時に、歪（各セットの代表ベクトルとセット中の対応ベクトル間の基準ｌ2）は減少する。かように、各反復における総歪は、減少シーケンスを形成する。さらに、歪は、常にゼロより大きいかゼロに等しい。従って、シーケンスは、基本実解析による限界を有する。“反復に対する極小（従って固定点）が存在するか？”と云う問題は、純粋に学術的な問題であり、読者は、かような議論のための文献を参照することになる。除去ステップ（ステップ３）は、実際に、当初期待又は選択したより若干であるが少ないキーフレーム数となる結果を得た。
【００５０】
上記の方法において、停止後、代表ベクトルに最も近似したヒストグラムベクトルを有する第１クラスタ中のフレームを第１キーフレームとして選択する。後続クラスタに対するキーフレームも同様にして決定できる。“先行キーフレームとの最大差分判定基準”により後続クラスタ内でキーフレームを選択すると最良の結果が得られる。ここで、差分は動き測度で表現される。
【００５１】
上記反復の公式化において、最終区画が常にシーケンス中の最後のベクトルに固定されるので、最終セットが不適当に表現される可能性がある。同じことがショットの第１フレームに対しても言えるが、ここで報告する実験においては、そのような状況は観察されなかった。かように、この問題を解決するために、反復終了後にもう１つのステップを設ける。この最終ステージにおいて、代表ベクトルの最後にもう１つ代表ベクトルを付け加える必要があるかテストする。特に、最後のベクトルを新しい代表として加えることを検討する。最後のベクトルと先行代表ベクトルとの差がθＸ（連続代表ベクトルの全ての対（ペア）間の差の平均）より小さければ、最後のベクトルの追加を認める。シミュレーション時θを０.７５に選定する。θは０から１までの間で変化できる。
ベースライン法（Ｌａｇｅｎｄｉｊｋ）は、３枚キーフレームを指定し、ベースライン法を動画シーケンスに適用すると、関心を引く特徴をもつシーンを見失う。その結果は、上記の方法を用いて生成した３枚キーフレームによる複数レベル階層の最もコンパクトな（最も粗い）レベルよりも劣る。さらに、複数レベルの要約を生成するために異なる数のキーフレームを得るには、ベースラインアルゴリズムを複数回用いるよりも、提案の階層的方法を用いる方がさらに有効である。
【００５２】
ブロックヒストグラムの動き測度
ヒストグラムに基づく動き測度は全ての状況に適する訳ではない。例えば、黒い対象が白い背景に対して移動すると、ヒストグラムに基づく動き測度はその運動を記録できない。細かな動き、例えば、手のジェスチャ又は頭の動きを捕捉したい状況では、より良い動き測度を得る有利さを持っている。
【００５３】
ブロックヒストグラムはショットの検出のために提案された。しかしながら、ブロックヒストグラムはショットの検出には感度が高すぎて、多数の偽りの警告を発する。ブロックヒストグラムの背後にあるアイデアは、画像を若干数のブロック（通常４又は１６）に分割し、動き測度を各ブロックに対する絶対値のヒストグラム差の合計をとして規定する。ブロックヒストグラムが単純な全体ヒストグラムに基づく方法では、捕捉できない動きに対してより鋭敏であることは容易に観察できる。ブロックヒストグラムを図４の３ステップ反復法に示すように、最も細密なレベルのキーフレームに対してのみ適用した。ブロックヒストグラムを用いる利点は、１つのフレームの代わりに動画フレーム当たり４又は１６のヒストグラムを取り扱う必要があるので、計算及びメモリに関し、より集中的であることである。しかしながら、実験シーケンスにおいては、このブロックヒストグラム法は重要な性能改善をもたらさなかった。
【００５４】
要約のための動き特性の使用
パン又はズームのような特に重要なケースはこれまで検討されていない。カメラパンの場合、インテリジェントブラウザは、（ａ）一回のパンで複数のフレームを検出し、（ｂ）観察目的のために画像モザイクに変換するパンフレームに対するオプションを提供する。パンとズームのどちらの検出も動きベクトルの計算を含んでいるので、パンの検出と共にズームの検出は、大量の追加計算による過負荷を生じることなく実現できる。
【００５５】
シーケンス内の各フレームに対する動きベクトルを見つけ出すには、計算を要するので、支配的な又はグローバルな動きを持つフレームの全ての可能なシーケンスを先ず検出する予備スクリーニング（予備選抜）法を開発する。支配的な動きは（ａ）パン又は（ｂ）ズーム又は（ｃ）他の特別な編集効果により発生するので、検出したシーケンスをより詳細に調べ、パン又はズームの存在を決定する。
【００５６】
支配的な動きのための予備スクリーニング
支配的な動きは、動画フレーム内の各画素が輝度の変化を経験することを意味する。輝度の変化は通常ズーム又はカメラの動きによって生じる。この変化は、動画フレームのエッジ画素において最も顕著である。この方法は、各画素を観察し、その画素がエッジ画素かどうかを決定し、エッジ画素であれば、現画素と先行フレーム中の同一位置の画素との間の差を検出する。エッジ画素における差の絶対値が閾値（ＰＺ＿ＴＨＲＥＨ＝１５）より大きければ、その画素は動きを有すると指定される。画素がエッジ画素かどうかを決定するために、その画素においてＳｏｂｅｌエッジ検出演算子により得た数値を閾値（ＰＺ＿ＴＨＲＥＨ＝５０）と比較する。もし、ＰＺ＿ＴＨＲＥＨを減じると、偽の警報が発せられることがある。ＰＺ＿ＴＨＲＥＨ１を減じると、画素は強いエッジに属しておらず、動きが大きな輝度変化を生じないので、かような画素における有意の変化は無くなる。特別なフレームがパンフレームであるかを決定するために、エッジ画素の総数に対する、動きを有するものとして分類される画素数間の割合（パン率）に関する閾値を設ける（ＰＺ＿ＴＨＲＥＳＨ２＝０.９）。
【００５７】
この割合が、パンの間、一貫してＰＺ＿ＴＨＲＥＳＨ２を横断するのを確認するのに必要なもう１つのステップは、近傍にふくらませることである。言い換えれば、ＮＥＩＧＨｘＮＥＩＧＨ（ＮＥＩＧＨ＝５）内の任意画素の輝度変化がＰＺ＿ＴＨＲＥＳＨより大きければ、エッジ画素は動きを有する。特定数より短いフレームシーケンスは拒絶される（ＴＯＯ＿ＭＡＮＹ＿ＦＲＡＭＥＳ＿ＮＯＴ＿ＰＡＮＺＯＯＭ＝５）。サブサンプリングは、計算負荷をさらに軽減するために用いられる。
【００５８】
パン検出
このパン検出法は公知技法のバリエーションである。パンを検出するために、サブサンプリングした画像位置における動きベクトルを考察する（ＳＰＡＣＩＮＧ＝２４）。動きベクトルを決定するために使用する方法は、単純なブロックマッチング法である（ＢＬＫＳＩＺＥ＝７ｘ７、ＳＥＡＲＣＨＳＩＺＥ＝２４ｘ２４）。先行フレームのパンベクトルに基づく探索サイズを変化させる。先行のパンベクトルが（ＳＥＡＲＣＨＳＩＺＥ／２）−２より小さければこの探索サイズを半分し、先回のパンベクトルが（ＳＥＡＲＣＨＳＩＺＥ／２）−２より大きければ当初の（大きな）探索サイズを回復する。このバリエーションにより性能の低下が生じることはない。
【００５９】
パン検出の場合、許容範囲内のモード動きベクトルと（最も頻繁に生じる）平行な全ての動きベクトルを見つけ出すことが提案されている。かような動きベクトルの数が特定の閾値より大きければ、パンが検出される。しかしながら、１回のパンの場合、動きベクトルは並行しているだけでなく、同一に近い大きさを有している。従って、全並行動きベクトルを考察する代わりにモード動きベクトルの小さな近傍を調べる。モード動きベクトルの値に等しいベクトルが生じれば、恣意的な決定がなされる。モード動きベクトルの近傍サイズはＶＡＲＮ（＝４）によって制御される。ＶＡＲＮの値が大きければ、モード動きベクトル周りの近傍は小さくなる（我々の場合のＶＡＲＮ＝４は３ｘ３の近傍を意味する）。ＰＡＮＲＡＴＩＯ（パン率）（＝.５）は、動きベクトル総数に対する近傍内動きベクトル数間の割合に関する閾値を決定する。パンフレームシーケンス中の幾つかのフレームが閾値より低い場合でも、ホールが３より大きくない（ＴＯＯ＿ＢＩＧ＿Ａ＿ＨＯＬＥ＝３）であれば、パンの継続性が確保される。
【００６０】
ズーム検出
画像中の動きベクトル最も外側のリム、即ち、画像エッジの動きベクトルを調べて、ズーム条件を検出すべきである。リムの直径方向で対向する位置における動きベクトルは反対方向を指示しなければならない。反対方向に向いている動きベクトルの動きベクトル総数に対する割合の閾値は（ＺＯＯＭＲＡＴＩＯ＝.７）である。ズームの中心は画像の範囲内のどこに在ってもよいから、外側リム上の動きベクトルのみを使用する。かように外側リムの動きベクトルはズームの存在を示す最良のインジケータである。加えて、画像エッジには前景の動きがそれ程無い。
【００６１】
色処理
ここでは，先に開示した方法を色シーケンスに拡張する。２つの異なる実施形態を記述する。第１実施態様において、２５６ビンのＹヒストグラムと２つの１２８ビンのＵとＶのヒストグラムより成る連結ヒストグラムを使用する。第２実施形態においては、２５６−ビンのＹヒストグラムを使用する。幾つかの実験シーケンスの場合、結果として重要な変化は何も観察されなかった。両方の場合とも、活動測度は式１によって規定される。しかしながら、色ヒストグラムにおいて若干のシーケンスを用いることは、２枚の動画フレーム間の変化を検出するのに決定的な役割を演じる。例えば、輝度（ルミナンス）は略同一であるが彩度値（クロマ）は変化する。
【００６２】
非圧縮動画入力方法の要約
図２は階層的要約と閲覧方法のブロック図である。ディゾルブ、フェードイン／フェードアウト、除去モジュールについては、参照のために引用した関連用途において説明し、ここではディゾルブ検出方法を開示する。このモジュールは、動画シーケンスから遷移フレームを除去してディゾルブを突発移行シーンに変換するために用いられる。最も細密なレベルのキーフレームを検出するブロックを主要ステップと共に図４に示す。図３は自動パン／ズーム自動処理モジュールの詳細を示している。自動的に、（ａ）パンの動きがあれば検出してモザイク（パノラマ）画像を構築し、（ｂ）ズームシーケンスの最初と最後のフレームを検出し確認する。最も細密なレベルのキーフレームからパン／ズーム関連キーフレームを除外して非パン／非ズームフレームだけを階層的要約キーフレーム生成プロセスに参与させる。この除去及び自動パン／ズーム処理は、オプションであり、必要に応じ、ユーザが動画クリップのある特定点において対話方式で実行可能にすることができる。このＧＵＩにより、ユーザは、特定レベル要約の（階層的ブラウザにより生成された種々のレベルの内の）閲覧を開始することができる。例えば、モザイク画像とズーム要約と共に最も粗い要約を最初に表示することができる。次に、ユーザは、より細密な階層レベルにおけるフレームを対話方式で検索／再生することができる。ユーザは、ボタンをクリックして、現在見ているキーフレームの親−子の何れかにアクセスすることができる。親を選ぶと、現在のレベルのキーフレーム群が、親である１枚のキーフレームに代わる。子を選ぶと現在のキーフレームの子に該当する全てのキーフレームが見られる。図５は、親と子のキーフレームのコンセプトを示している。最も細密なレベルをさらに拡張し、即ち、最も細密なレベルにおける子では、指定のキーフレーム間の動画クリップを再生する。この時、動画が再生され、動画クリップのその部分に対応する音声が同時に再生される。動画クリップを再生するこの機能性はより粗いレベルの階層においても装備できる。
【００６３】
ここに記述した動画閲覧方法は、マルチメディア操作用の有効なユーザインターフェースを提供するだけではなく、種々の用途に用いられる。第２世代の画像符号化システムを連想させると第２世代の動画符号化システムにおいて採用される可能性のある動画シーケンスの時間的特性に関する知見を提供する。例えば、ＭＰＥＧ−２ビットストリームを処理する設計の復号器はＩＢＢＰ又はＩＢＢＢＰフォーマットに適応する。しかしながら、キーフレームの階層を用いれば、時間的な動画ストリームの本質に、知的に、より重要に、計算効率よく適応し、少ない資源を用いて高い品質を供給する符号器を設計できる。圧縮の改善に動画フレームの階層を用いる方法に関する情報は文献で得られ、セグメンテーションアルゴリズムのマルチスケール特性をロスの無い静止画像の圧縮を得るために活用されている。第２世代画像符号化システムと第２世代動画符号化システムの主たる違いは、前者は符号化機構の根本的な変更を必要とし、従って、大きな影響を持ちえず、一方後者は現存の動画符号化基準のいずれにも組み込むことができる。
【００６４】
計算性能
キーフレーム生成方法の計算性能は、本発明の方法を実施するために使用するコンピュータのハードディスクへのアクセス速度にかなり依存する。下記の議論において、“リアルタイム処理”は所定解像度において毎秒３０フレームを処理する能力を意味する。３００フレーム用１／４共通中間フォーマット（ＱＣＩＦ）のカラーシーケンス（１７６ｘ１４４の解像度）の場合、ＳＵＮ（登録商標）Ｕｌｔｒａ ＳＰＡＲＣ−２（登録商標）を用い、ヒストグラムの構築には１１秒を要し、残りの処理には１秒未満を要することが判明した。かように、ヒストグラムの計算は、リアルタイムで達成できるとしても、リアルタイムで階層キーフレームの生成を容易に達成できなければならない。ヒストグラムの計算後の処理は実際のフレーム解像度とは関係なく、３００フレームＱＣＩＦシーケンスを処理するに要した時間量は、各フレームのヒストグラムが事前に計算されていれば、１０２４ｘ７８０の解像度でシーケンスを処理するに要する時間と同じであることも注記しておく。
現在のグローバルな動きの検出は、リアルタイムで実行できる。しかしながら、パン／ズーム検出に必要なブロックマッチングアルゴリズムを伴う厳しい計算負荷のために、パン／ズーム処理は実装したソフトウェアを用いてリアルタイムでは実行できない。
【００６５】
圧縮動画入力
前述の論議において、非圧縮又は伸長ビットストリームのみを検討し実験に用いてきた。しかしながら、入手できる動画ストリームの殆どは、コンパクトに蓄積するために圧縮フォーマットされている。図４の方法を圧縮ビットストリームに拡張し、最少の復号を行いキーフレームを抽出できるようにする。圧縮動画を処理するブルートフォース方法で全体動画ストリームを簡単に伸長し、その後ここに記述する非圧縮動画用の技法を用いるのが良いと判断される。
【００６６】
本項では、ＭＰＥＧ−２ビットストリームで使用できる、ディジタル動画の階層要約と閲覧のバリエーションを記述する。全体のスキームは図７のフローチャートに要約して示す。ヒストグラムを計算する新規の方法を開示する。８ｘ８ブロックのＤＣ係数のヒストグラムを用いる。このプロセスは、入力ビット１３２により開始する。Ｉピクチャに対するヒストグラムの計算１３４は従って通常の技術を有する者にはよく知られた方法により直接的に行われる。予測ピクチャ（Ｐ及びＢフレーム）に対するヒストグラムの計算は、参照フレームを完全に復号することなく、後述のようにして実行され、ヒストグラムの精度の向上と従ってキーフレームの選択１３６の精度向上がもたらされる。階層的キーフレームの選択１３６は、階層的要約のキーフレームの識別を、例えば、時間的な表示順序で決定し、この要約の情報を後述する復号器マネージャに供給する。ＤＣＴ係数のヒストグラムが生成されると、階層的キーフレームの選択が、図４を参照し教示された様にして実行される。
【００６７】
私の同時係属出願“動画シーケンス中のディゾルブ領域の検出（Ｄｅｔｅｃｔｉｎｇ Ｄｉｓｓｏｌｖｅ Ｒｅｇｉｏｒｓ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ）”に開示した機構のような動画中のディゾルブ領域検出機構を、ヒストグラムの計算とビットストリームインデックステーブル（ＢＩＴ）の生成を行う図７の処理ブロック１３４に容易に組み込むことができる。即ち、ディゾルブ領域に含まれるフレームをＢＩＴ内にマークし、逐次キーフレーム選択プロセスにおいて無視する。或いは、ディゾルブ領域の内のフレームを偽のキーフレームにしてもよい。
【００６８】
本方法は、ヒストグラムの計算１３４と同時に、ビットストリーム内のバイトオフセット位置，参照フレーム，ＤＣＴブロック量子化に使用した量子化マトリックスのような各ピクチャに関する情報を含む、ビットストリームの記録を生成する。本発明において、“ビットストリームインデックステーブル”（ＢＩＴ）と称するテーブルを生成する。ＢＩＴ１３８のコンテンツとＢＩＴの生成方法については、後で詳述する。
ＢＩＴ１３８の１つの目的は、ビットストリームの本質的なパラメータを捕捉する全ビットストリームを復号又はパーシング（構文解析）する必要なく要約を生成するためのキーフレームの復号を可能にすることである。構文解析は、システムに動画ストリームを復号するか否かにして、動画ストリーム中の各ビットを考察することを要求する。さらに、ユーザが、例えば、要約の表示又は２枚のキーフレーム間の動画の再生を望む際に効率的に閲覧を可能にするために、図８に示すように、要約の識別と原動画ビットストリームに加えＢＩＴ又はＢＩＴの縮小バージョンを装備する。ユーザに要約を提示し、若干の対話を含めた本方法の特別な実施態様について後述する。図８において、ビットストリームはＢＩＴと要約フレームの識別子とは物理的に異なる位置に置かれたメモリに常駐させることができる。例えば、ビットストリームをデータベースサーバに保管し、要約とＢＩＴをローカルマシーンに常駐させてもよい。代案として、３種のデータを全て、同一媒体、例えばＤＶＤディスク又は他の任意大容量蓄積媒体に常駐させることができる。ＢＩＴをさらにコンパクトにする（又は削減する）方法については、“コンパクトな蓄積装置用の削減されたビットストリームインデックステーブルの生成”の章で説明する。ＢＩＴを生成しＢＩＴサイズの“削減”を決定し、ダウンサイズＢＩＴに任意数の技法を使用できることは評価すべきである。一つの例をここにあげる。ＢＩＴを形成保管せず、全ビットストリームを構文解析して復号を要するキーフレームを毎回復号することもまた可能である。
【００６９】
図７を再び参照する。階層的要約１４０の生成期間中、復号器マネージャ１４２がＢＩＴに含まれている情報を利用しキーフレームを選択的に復号してＭＰＥＧ−２復号器１４４に送り、復号次第、階層要約１４０を形成する。復号器マネージャ１４２は提示段階中に、ユーザがキーフレーム間の動画を再生して動画を閲覧することを望む際に、同様なタスクを実行する。復号器マネージャの作動原理（例えば、コンピュータプログラムにより実装される）について次に説明する。
【００７０】
本発明は、ＭＰＥＧ−２圧縮動画を蓄積して記録する動画カメラ内に実装できる。かような場合、要約情報とＢＩＴは動画ストリームを蓄積する蓄積システムに蓄積できる。或いは、要約情報とＢＩＴを、明確な方式で動画ストリームと連結された任意のメモリ位置に蓄積してもよい。階層的要約自体は、キーフレーム又はキーフレームをサブサンプリングしたバージョンを含んでおり、迅速にアドレスできる蓄積システムに保管できる。オンカメラ式ユーザインターフェイスは、カメラ、テープ又は任意の他の蓄積媒体に階層的要約に基づき保管された動画コンテンツの認定のために装備される。
【００７１】
別案として、ビットストリームをカメラから要約プロセスを実行するコンピュータにダウンロードしてもよい。この場合、要約はテープ又は動画データを保持する任意の他の蓄積媒体又はビットストリームとの明確なリンクで連結された他のメモリにコピーする。例えば、圧縮されたＭＰＥＧストリームを直接記録するカメラが現在入手可能であり（例えば、日立ＭＰ−ＥＧ１Ａ型カメラ）、ビットストリームをパーソナルコンピュータ（ＰＣ）にダウンロードできる。本発明のシステムは、ＰＣプラットホームでかようなビットストリームを処理するために使用できる。
【００７２】
ＭＰＥＧ−２ビットストリームを効率よく処理し階層的動画要約を作成するためには、以下の問題に取り組み解決しなければならない。
１．ＭＰＥＧ−２ビットストリームを最小限復号しながら、キーフレームの階層を生成する。
２．全てのフレームを復号することなくＭＰＥＧ−２ビットストリームから選択したキーフレームを復号する手順を確立する。
３．２枚の所与のキーフレーム間の一連のフレームを復号する戦略を開発する。
この方法は、ヒストグラムレベルで働く。ＭＰＥＧ−２ビットストリームを最小限復号しながらフレーム毎に色ヒストグラムを計算する方法を開示する。
【００７３】
ヒストグラムの計算と後続処理は、各次元における８分の１のサブサンプリングから大きな影響を受けない。１ステップ進めて、８ｘ８ブロックの平均である、８ｘ８ブロックＤＣＴのＤＣ成分のみ使用して計算したヒストグラムは実際の目的には十分であった。動き補償画像の場合、計算量を削減するために、性能の低下が無視できる程度である近似動き補償を用いることができるとして提案されている。ＭＰＥＧ規格に用いられているブロックマッチングのスキームに従い、１６ｘ１６マクロブロックの動きベクトルを、実行中の動き補償予測の参照フレームの１６ｘ１６マクロブロックの最大限４つのマクロブロックと重ね合わせる。同様に、１６ｘ１６マクロブロック中の各８ｘ８のサブブロックを最大限４つの他の８ｘ８サブブロックと重ね合わせる。かように、各８ｘ８サブブロックを、重なる各８ｘ８サブブロック中の値の重み付けた平均値で近似させ得ることが示唆された。個別ブロックに割り当てられた重み値は、重なり領域に比例させることができた。図９を参照し、８ｘ８サブブロックの平均値は、次式で計算される。
【００７４】
【式５】
ここで、ΔDCTは、ブロックに対する残差ＤＣＴのＤＣ成分の８倍である（ＭＰＥＧ−２規格に用いられるブロックに対する残差ＤＣＴのＤＣ成分はブロックの残差誤りの平均値の１／８であるので、８の係数が入る）。ヒストグラムは、式５中に見られるように、画像内の各８ｘ８ブロックの平均でヒストグラムベクトルを更新することにより得られる。ヒストグラムを得る上記の方法は、性能の低下をもたらす問題を有している。本発明の方法の改良の１つは、ＭＰＥＧビットストリームに対するヒストグラムの計算を取り扱うより良い方法を提案することにある。
ＭＰＥＧビットストリームは、特定のフレームを復号しようとする前にビットストリームの他の部分からの復号情報を必要とする複雑な符号化戦略を内蔵している。上首尾の動画閲覧方法も最少の時間量で特定の動画フレームを復号する問題を検討する必要がある。
【００７６】
ＭＰＥＧビットストリームからのヒストグラムの計算
ＭＰＥＧビットストリームの復号は、次の２つの計算が集中するステップを含んでいる。
１．８ｘ８ブロックの逆ＤＣＴを得る。
２．ＭＰＥＧ−２の場合、１６ｘ１６マクロブロックによる動き補償。ブロックは小さいか又は偶数／奇数フィールドのみを有している。
先に、８ｘ８ブロックをその平均値で置き換えても画像のヒストグラムに大きな影響を及ぼさないことを指摘した。この実装例において、各８ｘ８ブロックを８Ｘ（ＤＣＴ係数のＤＣ値）で置換する。逆ＤＣＴ計算のための公式から、これはブロックの平均値を生じ、補償関連量子化誤差の範囲内で正確である。
【００７７】
次のステップを理解するために、ＭＰＥＧビットストリームに採用されている符号化戦略についてその概略を説明する。典型的なＭＰＥＧビットストリームは３種類のフレームを有している。
Ｉ（フレーム内符号化フレーム）、
Ｂ（双方向予測フレーム）及び
Ｐ（予測フレーム）。
ＩフレームはＤＣＴデータのみを含んでいる（動き補償は行わない）。かように、ヒストグラムの計算にＤＣＴ係数のＤＣ値を用いるとＩフレームの最少限復号の問題は完全に解決できる。ＢフレームとＰフレームは先に復号した参照フレームから現フレームを予測するためにブロック動きベクトルを用いる追加ステップを含む。先に復号した利用可能なフレーム自身は部分的にのみ復号されている。かように、ＢフレームとＰフレームの復号に用いられる戦略は、十分に検討しなければならない。以下の検討において、ケース（ａ）は既に存在し文献において共通に用いられている動き補償スキームに関し、ケース（ｂ）はここで開示する新しい動き補償スキームに関する。
【００７８】
動き補償を単純化するために、最も知られている方法で、前節で記述したスキームを用い、即ち、各８ｘ８サブブロックを、それが重なった８ｘ８サブブロックの重みを付けた平均値で置き換える。２つのシナリオを検討する。ケース（ａ）は８ｘ８サブブロックを部分的に復号した参照フレーム中の重なったブロックの重みを付けた平均値で置き換える。ケース（ｂ）は、８ｘ８サブブロックを、部分的に復号した参照フレームからの正確な画素で置き換える。ケース（ａ）において、動き補償予測フレーム中の全８ｘ８ブロックが単一値を持つことが判る。ケース（ｂ）においては、８ｘ８ブロックは潜在的に多くの異なる値を持ち得る（即ち、ブロック内の画素は多くの異なる値を取り得る）。これをさらに説明するために、ケース（ａ）とケース（ｂ）を通して８ｘ８ブロックの例を検討する。図１０はこの例を示している。図１０において、予測ブロックはＩフレームから得る、即ち、８ｘ８ブロックは予測フレーム中の関連する単一値を持つものと仮定する。ケース（ａ）は、ただ１つの値μを持つ現フレーム中の１つの８ｘ８ブロックを生じる。ケース（ｂ）は潜在的に４つの異なる値を有する現フレーム内の１つの８ｘ８ブロックを生じる。
【００７９】
これは、フレーム内符号化参照フレーム（又はＩフレーム）に続く第１の幾つかの動き補償フレーム（ＰまたはＢフレーム）に大きな差を生じない。事実、ヒストグラムの計算は平均化及びサブサンプリングから大きな影響を受けないので、２つの手順はヒストグラムの計算に対しては同等に有効であるとみなされる。しかしながら、ケース（ａ）は計算量が少なくメモリの消費も少ないのでより好ましい。これは、ケース（ａ）のように動き補償された任意所与のフレーム（Ｉ又はＰ又はＢ）においては、各８ｘ８ブロックにはただ１つの値が得られるからである。かように、各次元において８分の１の容量を要するだけで済む。即ち、全フレームを蓄積する場合と比較して潜在的可能性としては、６４（８ｘ８）分の１の容量のメモリ装置ですむことになる。しかしながら、以下に説明するように、ケース（ａ）は過度の性能低下をもたらすので、使用可能な代案ではない。
【００８０】
連続動き補償フレーム数、Ｉフレームを介在させない、すなわち連続動き補償フレーム数が増加すると、ケース（ａ）とケース（ｂ）間の差が増大する。図３に戻って、１枚の動き補償済みフレームから予測を、例えば、ＰフレームからＢフレーム又はＰフレームからもう１つのＰフレームに予測を行う際に、何が生じるかを考察する。ケース（ａ）の場合、重み付け平均化処理を予測ブロックが重なる４つのブロックに対して実施すると、各ブロックは単一の値を持っており、８ｘ８の予測ブロック全体に対し単一の値で終了する。ケース（ｂ）の場合は、予測フレームの各ブロックは潜在的に４つ（又はそれ以上）の異なる値を有するので、現予測ブロックは多数の異なる値を持ち得る。いま、動き補償済みフレームからのこの一連の予測としてケース（ａ）とケース（ｂ）間に出現する重要な変化キーとなる差分が大きくなることに注目する。動き補償フレームのシーケンスが十分に長いと、ケース（ａ）は、後述するようにフレーム間の動きが十分であれば、フレーム全体に対し単一の値を生じると期待される。これは、しかしながら、ケース（ｂ）には生じない。
【００８１】
この現象をさらに詳細に説明するために、Ｉフレーム内の各８ｘ８ブロックを平均で置換し、原画像のより小さいバージョンを生成することを考える。今、ケース（ａ）において実施したように動き補償は、この小画像を１個の２ｘ２平均化フィルタで反復再帰処理することを必要とする。基本的なフーリエ解析で、平均化フィルタの反復用途によりエッジ効果を無視すれば制限内の均質な画像を生じることを容易に示すことができる。
【００８２】
上記の観察が真実であることが実際に観察された。典型的なＭＰＥＧ−２圧縮シーケンスの場合、２枚のＩフレーム間の距離は１５である。これにより、動き補償をケース（ａ）に従い実行すると非常に顕著な性能低下が生じることが発見された。ケース（ａ）の動き補償スキームはヒストグラムに周期的に強い変動を生じさせ、偽のキーフレームを検出する結果をもたらす。かような理由で、ケース（ｂ）を実装に使用した。最少復号法を用いヒストグラムを計算することにより、１つのＱＣＩＦシーケンスに対するヒストグラム計算速度を半分に短縮されるが、利点は解像度が高まることの方が大きかった。現在、５１２次元のヒストグラムのベクトルを使用しており、２５６ビンのグレイスケール（Ｙ成分）ヒストグラムと１２８ビンのＵ成分ヒストグラムと１２８ビンのＶ成分ヒストグラムにより形成される。上記の説明は、彩度（クロマ）フォーマットとは無関係に、Ｙ，Ｕ及びＶのフレーム構成成分に対して個々に適用できる。
【００８３】
ＭＰＥＧ−２ビットストリームからの特別フレームの抽出
ここに開示する実施形態において、ＭＰＥＧ−２ビットストリームからの特定フレームの抽出は２ステップの手順で行われる。ヒストグラムの計算と同時に実行される第１ステップにおいて、ＭＰＥＧ−２ビットストリームからランダムに選んだフレームを迅速に復号するために必要な情報を含む“ビットストリームインデックステーブル”を生成する。キーフレームの階層が生成される、即ち、階層的要約に入るキーフレームの識別が規定されると、階層の最も細密なレベルのキーフレームだけが復号を要求され、階層の粗いレベルのフレームは最も細密なレベルのフレームのサブセットとなる。キーフレーム抽出手順における第２ステップは、後述する復号器マネージャにより、第１ステップで生成された“ビットストリームインデックステーブル”を使用して実行される。
【００８４】
上記２ステップ手順の利点は、ビットストリームの関連部分を直接復号する場合に比し、関心を引くフレームまでの全ビットストリームを見るのに要する時間を削減できることである。フレ−ム番号１３５０から１４００までのＭＰＥＧ−２ビットストリームをビットストリームインデックステーブルを用いずに復号するためには、フレーム番号１３５０までの全ビットストリームを、完全に復号しないにしても、構文解析することが必要である。これにはかなりの時間を要する。ビットストリームインデックステーブルが使用できれば、ビットストリームの関連部分に直接進むことができ、絶対最少量の構文解析と復号のみが要求される。
【００８５】
ＭＰＥＧ−２ビットストリームからランダムに選択したフレーム（ここでは現フレームと記す）を復号するためには下記の情報が必要である。
１．過去において（時間的に）最も近いシーケンスのヘッダ（そのバイトオフセット）。
２．現フレームのビットストリームへのバイトオフセット。
３．過去において（そのバイトオフセット）最も近い量子化マトリックスのリセット（もしあれば）。
４．現フレームがＢフレームであれば、現フレームに対応する参照フレーム（Ｉ−Ｐ／Ｉ−Ｉ／Ｐ−Ｐ）（それらのフレームのバイトオフセット）。
５．現フレームがＰフレームであれば、（Ｐフレームの参照フレームである）最も近いＩフレーム（そのフレームのバイトオフセット）。
【００８６】
Ｂ／Ｐフレームの場合は、参照フレームを正確に復号するために、参照フレーム以外の幾つかの他の参照フレームを復号する必要があることを指摘しておく。
前記２つのステップ、即ち、（１）ビットストリームインデックステーブルを生成するステップと（２）後述の復号器マネージャによるビットストリームインデックステーブルを用いたフレームの抽出するステップ間で情報交換が容易に行えるように、上記情報を保持するための共通のデータ構成を開発した。Ｃコードの下記のセグメントを使用しビットストリームインデックステーブルの形成に用いる異なるフラグを実態化した。但し、これは一例に過ぎず、ビットストリームインデックステーブルは任意数の異なるシンタックス形式をもち得ることは理解されよう。
【００８７】
【表１】
Ｋ＿ＯＦＦＳＥＴフラグは、上記の他のフラグから区別するために任意バイトオフセットに加える。１５のバイトオフセットは、我々の表記では１５＋Ｋ＿ＯＦＦＳＥＴ（＝２１）と翻訳する。Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡは、異なるイベント（例えば、シーケンスヘッダとＩフレーム又はＩフレームとＢフレーム等）間の区切りである。生成されたビットストリームインデックステーブルがどのように出現するかを理解するために、下記イベントのシーケンスの符号化が要求されていると仮定する。
【００８９】
１．シーケンスヘッダが０バイトで開始
２．Ｉピクチャが１５０バイト
３．Ｐピクチャが３０００バイト
４．Ｂピクチャが４２００バイト
５．Ｂピクチャが５３００バイト
６．量子化マトリックスのリセットが５４００バイト
７．Ｐピクチャが６２００バイト
このシーケンスを下記の表現に変換する。
【００９０】
【表２】
これは前記のＣデータ構成を用いて下記のバイト表現を生成する。
【００９２】
【表３】
上記バイトを用いた表現中のスペースは、復号器がビットストリームを構文解析するために必要である。Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡフラグは、厳密にいえば冗長である。しかしながら、このフラグは、発生した偽のデータを除去するために使用でき（ビットストリーム中のエラーによって）、このアルゴリズムをエラーに対し強くする。このフラグは偽データを除去するための“同期信号”として作用し、例えば、（ビットストリーム中のエラーによる）バイトオフセット値を伴わないシーケンスヘッダを破棄する。
【００９４】
上記の生成された“ビットストリームインデックステーブル”を使用する復号器マネージャは下記のように機能する。
１． 最後に復号されたフレームの番号（ｌｄｆ）を−１に初期化する。
２． 復号される各フレーム（ｆｔｄ）に対し：
復号を開始するフレーム（ｓｄｆ）を見つけ出す。
ｆｔｄがＩフレームであれば、ｓｄｆ＝ｆｔｄとする。
ｆｔｄがＰフレームであれば、ｓｄｆをｆｔｄより前の最も近いＩフレームにセットする。
ｆｔｄがＢフレームであれば、ｓｄｆをｆｔｄに対応するアンカーフレームの両方より前の最も近いＩフレームにセットする。
上記ｓｄｆがｌｄｆ＋１より小さければ、ｓｄｆ＝ｌｄｆ＋１に設定する。ｓｄｆ＜ｌｄｆ＋１であれば、要求されたフレームの幾つかはすでに復号されている。
ｉ＝ｌｄｆ＋１〜ｓｄｆに対して、
最も近いシーケンスヘッダ（ｒｓｈ）を見つけ出す。
ｑｍｒがｒｓｈより大きい場合は、最も近い量子化マトリックスのリセット（ｑｍｒ）を見つけ出す（ｑｍｒが存在すれば）。
ｒｓｈとｑｍｒをビットストリーム中に出現する順序で復号する。
全てのＩ及びＰフレームを、ｓｄｆから開始し、ｆｔｄ−１に到るまで順次復号する。
ｆｔｄを復号する。
１連のフレームを復号するために、復号器マネージャの上記手順に従って、第１フレーム（ｆｔｄ）を復号する。残りのフレームは，１連のフレームの最後まで順次復号する。
【００９５】
特別な場合に必要に応じ、所要のフィールドピクチャを処理する。偶数／奇数フィールドヒストグラムを使用することができ、どちらも最初に復号できる。他のフィールドは、Ｂピクチャの場合復号できず、Ｐ及びＩピクチャの場合は、最少符号化戦略で復号できる。１フィールドのみ復号する場合は、ヒストグラムを２分の１に縮尺しなければならない。余分に復号したフィールドはＰ／Ｉフレーム用ヒストグラムの計算には使用せず、この場合、全てのフレームはヒストグラムに１フィールド供給しているので、ヒストグラムを縮尺しなくてよい。フィールドをフレームから区別し適切なステップをとるために、ＭＰＥＧ−２ビットストリームは、ピクチャヘッダとピクチャ符号の拡張から下記の２つの情報を提供する。
１．（ピクチャヘッダ中の）時間的な基準が現在復号中のフレーム番号を提供する。この時間基準は各グループのピクチャヘッダの先頭にリセットされる。
２．（ピクチャ符号の拡張中の）ピクチャ構成が、トップ／ボトムフィールド情報を提供する。
【００９６】
コンパクトな蓄積装置用の削減されたビットストリームインデックステーブルの生成
実装の観点から重要な問題は、ディスクスペースを節減するためにビットストリームインデックステーブルをコンパクトに表現することである。ＭＰＥＧ動画が占拠する大スペースと比べると、ビットストリームインデックステーブルは各フレーム当たり約８−１０バイトのスペースをとるだけなので、これは、一見、重要な問題ではないよう見えるかもしれない。オーバーヘッドは下記のステップを取ることにより低減できる。
１．絶対バイトオフセットよりも増分バイトオフセットを用いる。これにより大きなシーケンスの場合かなりの量の節減になる。
２．ＵｎｉｘプラットホームのｇｚｉｐまたはＰＣ上のｐｋｚｉｐのような圧縮アルゴリズムを用いる。
３．Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡフラグを除去する。
４．ビットストリームを最少の復号及び構文解析してキーフレームを復号するために必要な最少量の情報を蓄積するように、ビットストリームインデックステーブルのデータ量を削減する。
【００９７】
最後の項は、キーフレームの位置にのみアクセスでき、キーフレームの位置をユーザが後で変更することを許さないことに注意すべきである。（１）と（４）は完全には両立しないことも注記しておく。増分バイトオフセットを用いる場合、（４）の削減アルゴリズムは、フレームの変更順序を反映するようにバイトオフセットを変更すべきである。現在の実装において、削減されたビットストリームインデックステーブルを後述のように生成する。復号器マネージャがこの削減バージジョンのテーブルを使用する。この削減ビットストリームテーブルの使用は、得られるべき速度と使用可能な蓄積スペースの量の関数として決定される。蓄積装置のスペースが使用可能であれば、ビットストリームテーブルを削減する必要はない。完全なテーブルを納める余地があれば、検索及び処理も迅速に行える。
【００９８】
削減されたビットストリ−ムインデックステーブル
ビットストリ−ムインデックステーブル（ＢＩＴ）と同じ構成を用いるが、同時に削減ビットストリ−ムインデックステーブル（ＰＢＩＴ）用の異なる組織シンタックスを採用している。各キーフレームは、ＢＩＴ内の１単位として表現されている各動画フレームに対向し、（Ｋ＿ＥＮＤ＿ＯＦ＿ＤＡＴＡのフラグで挟まれた）１単位として表現される。全ビットストリームを構文解析及び復号することなく特定の（現）キーフレームを復号するためには、下記の情報が必要である。
【００９９】
１．現キーフレームのタイプＩ／Ｂ／Ｐ
２．現キーフレームに対応する開始復号フレーム（ｓｄｆ）（バイトオフセット）。復号器マネージャのＢＩＴバージョンにおいて仮定したように、復号器は全てのキーフレームを復号するためには順次作動しないので、（ｓｄｆ＜ｌｄｆ＋１であればｌｄｆ＋１でない）バイトオフセット表示の実際のｓｄｆは保管する必要がある。復号器が順次作動し、ｓｄｆ＜ｌｄｆ＋１であれば、復号はｌｄｆ＋１から開始することが必要である。ｌｄｆ＋１が先行キーフレームに続く動画フレームであり、そのオフセットは入手できるので、この情報は既に入手可能である。
３．現キーフレームのバイトオフセット
４．最も近いシーケンスヘッダのオフセット。全ての有効なＭＰＥＧ−２ビットストリームはシーケンスヘッダを有しているので、Ｋ＿ＳＥＱＵＥＮＣＥ＿ＨＥＡＤＥＲフラグは必要ない。
５．量子化マトリックスのリセットがあった場合は、ＭＰＥＧ−２ビットストリームには量子化マトリックスリセットがないので、Ｋ＿ＱＵＡＮＴ＿ＭＡＴＲＩＸ＿ＥＸＴＥＮＳＩＯＮフラグを付けて蓄積する必要がある。シーケンスヘッダの出現で量子化マトリックスがリセットされるので、そのリセットがそのシーケンスヘッダ以前に発生していればその量子化マトリックスのリセットを蓄積する必要はない。
【０１００】
復号器マネージャは、ｓｄｆ情報と現キーフレームのタイプとそのバイトオフセットを次のように用いる。所望の現キーフレームがＩ又はＰタイプであれば、復号器マネージャはｓｄｆから復号を開始し、ビットストリームを構文解析し、Ｉ及びＰフレームのみを探す。かようなＩ及びＰフレームは、所望の現フレームに到達するまで復号され、所望の現フレームも復号される。この技法において、復号器マネージャは、フレームがＢフレームあるかをチェックせず、Ｉ及びＰフレームのヘッダのみを探索する。所望の現キーフレームがＢタイプであれば、復号器マネージャはｓｄｆから始まる各フレームを考慮し、全てのＩ及びＰフレームを復号し、各Ｂフレームで停止してそのフレームが所望のキーフレームであるかをチェックする。
【０１０１】
そのフレームがＢタイプであれば、Ｂフレームを構文解析する必要を無くすために、最も近い復号参照（Ｉ又はＰ）フレームに近似させたい。Ｂフレームが５３５００バイトのオフセット値より始まる復号すべきキーフレ−ムであり、４３０００バイトから読む量子化マトリックスを必要とし、３９０００バイト位置で読むシーケンスヘッダを必要としていると仮定する。復号を開始するフレームは４５０００バイトより始まる。このデータは次のように符号化されている。
【０１０２】
【表４】
復号器マネージャが実行する構文解析量が増大することにより計算時間が増えてコストが掛かるためにＰＢＩＴをさらにスリムにできることを明らかにしておかねばならない。従って、復号器マネージャの複雑化とＰＢＩＴのサイズとの間にトレードオフがある。用途の要求条件により適当なバランスをとることも可能である。例えば、ＰＢＩＴはｓｄｆと、ｓｄｆと現キーフレーム間の全てのＩ及びＰフレームのバイトオフセットと、現フレームのバイトオフセットを蓄積し、復号器マネージャがビットストリ−ムを構文解析する必要を無くす。但し、その結果、ＰＢＩＴのサイズは増大する。他の極端な場合は、ｓｄｆとキーフレームのバイトオフセットのみを蓄積する。最もコンパクトなＰＢＩＴが得られるが、その代わり、復号器マネージャは、開始フレームからキーフレーム位置までのビットストリームを構文解析し、ＩとＰのフレームを復号しなければならない。自動パン／ズーム検出／抽出機能を組み込むためには、全フレームビットストリームを復号する必要がある。
【０１０４】
ディジタル動画シーケンスのキーフレームを閲覧するシステムを開示してきた。入力動画ストリームは、通常のディジタル動画であるか、或いは、ＤＣＴに基づく圧縮ストリ−ムである。本発明の好適な実施態様と幾つかの変更例を開示してきたが、特許請求範囲に規定した本発明の範囲から逸脱することなく、さらなる変更及び修正を加えることができることを理解すべきである。
【図面の簡単な説明】
【図１】 図１は、３つのレベルに対する動画の要約の階層構造を示す図である。
【図２】 図２は、本発明による方法の第１実施形態のブロック図である。
【図３】 図３は、本発明の自動パン／ズーム処理モジュールのブロック図である。
【図４】 図４は、本発明の最も細密なレベルのキーフレームの選択アルゴリズムを示すブロック図である。
【図５】 図５は、本発明の階層的要約のブロック図である。
【図６】 図６は、キーフレーム（ｋj）および対応ショットセグメント（ｔj-1，ｔj）の累積動き測定値（Ｃ（ｘ））と分布を示す図である。
【図７】 図７は、ＭＰＥＧ−２による圧縮入力動画に使用される本発明の第２実施形態の一部を示すブロック図である。
【図８】 図８は、階層的要約中のキーフレームの復号に用いられるデータの示す図である。
【図９】 図９は、動き補償のグラフである。
【図１０】 図１０は、ケース（ａ）及びケース（ｂ）を定義するために用いる動き補償アルゴリズム間の差分を示す図である。
Claims (28)
- ディジタル動画シーケンスに対するディジタル動画信号を入力するステップと、
前記ディジタル動画信号に基づいて前記ディジタル動画シーケンス内の複数のショットを検出するステップと、
前記ショットの検出結果を用いて、各ショット内に含まれる複数のキーフレームの位置を決定するステップと、
前記決定された位置の複数のキーフレームを所定の基準に従ってレベル付けするステップと、
前記レベル付けされた複数のキーフレームから階層的な動画要約を生成するステップとを含むことを特徴とする階層的ディジタル動画要約及び閲覧方法。 - 前記ショットを検出するステップは、
前記ディジタル動画シーケンスに対するヒストグラムを計算するステップと、
前記ディジタル動画シーケンス内のショット境界を検出するステップとを含んでなり、
前記位置を決定するステップは、
各ショット内に割り当てられたキーフレーム数を決定するステップと、
既に指定されている先行キーフレームに対して次のキーフレームの候補フレームが与えられ、該候補フレームのうち、先行キーフレームと該候補フレームとから計算される動き測度が最大となるフレームを、前記ディジタル動画シーケンスの次のキーフレームとして指定することで、前記キーフレーム数のキーフレームにあたる動きのある局面を位置決めするステップとを含んでなり、
前記レベル付けするステップは、
ショットから前記所定の基準によって選択されたキーフレームを削除していくことでレベル付けするステップとし、
前記所定の基準によって選択されるキーフレームは、該キーフレームの先行キーフレームに対して、先行キーフレームと該キーフレームとから計算される動き測度が別途定められる基準測度を超えないキーフレームであることを特徴とする請求項１に記載の階層的ディジタル動画要約及び閲覧方法。 - 前記生成した後に、前記階層的な動画要約に用いるキーフレームを閲覧することを含むことを特徴とする請求項１又は２に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記入力した後に、ディゾルブイベントを検出し、除去することを含むことを特徴とする請求項１又は２に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記ディゾルブイベントを検出し除去した後に、パンイベントとズームイベントよりなるイベント群より取ったイベントを含む前記ディジタル動画シーケンス内のフレームを検出することによって、グローバルな動きを検出することを含むことを特徴とする請求項４に記載の階層的ディジタル動画要約及び閲覧方法。
- パンイベントを検出し、画像モザイクを形成することを含むことを特徴とする請求項５に記載の階層的ディジタル動画要約及び閲覧方法。
- ズームイベントを検出し、前記イベント中のズームの度合を推定し、ズーム要約をコンパイルすることを含むことを特徴とする請求項５に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記階層的な動画要約のプロセスからグローバルな動きイベントを除外することを含むことを特徴とする請求項５に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記階層的な動画要約を生成することは、前記階層的な動画要約を、最もコンパクトなレベルの要約と粗いレベルの要約と最も細密なレベルの要約とを含む複数レベルの要約に分割することを含むことを特徴とする請求項１又は２に記載の階層的ディジタル動画要約及び閲覧方法。
- 特定レベルの要約を選択した後に、ユーザによって前記キーフレームを閲覧することを含むことを特徴とする請求項９に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記階層的な動画要約中のキーフレームを、蓄積、検索或いは表示のために、サムネイルに空間的にサブサンプリングできることを特徴とする請求項９に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記階層的な動画要約を生成することは、キーフレームをクラスタリングし、より粗いレベルの要約のキーフレームを生成することを含むことを特徴とする請求項９に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記クラスタリングは、より粗いレベルにおけるキーフレーム数のコンパクション率を生成することを含むことを特徴とする請求項１２に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記クラスタリングは、対ごとのクラスタリングを含むことを特徴とする請求項１２に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記のより粗いレベルの要約のキーフレームを生成することは、最大連続差分判定基準を用いてキーフレームを生成することを含むことを特徴とする請求項１２に記載の階層的ディジタル動画要約及び閲覧方法。
- ｔ0＝０、及び第２フレームを第１キーフレームとなるための候補として選択するとして、ｋ1＝１を設定し、ｉ＝１〜Ｋ−１に対して、ｔi＝２ｋi−ｔi-1であるｋi+1を２Ｃ（ｔi）−Ｃ（ｋi）≦Ｃ（ｋi+1）が維持される第１動画フレームとして定義し、ｉ＝Ｋに対して、ｔ’K＝２ｋK−ｔK-1を計算し、ｔK＞２ｋK−ｔK-1＝ｔ’Kでなければ、以前の反復結果を維持して全てのｋiにｔK＝ｔ’Kになるようにオフセット値を与えて終了し、それ以外であれば、ｋiを１だけ増加させて前記定義する処理に進むことにより、キーフレームを認定することを含むことを特徴とする請求項９に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記計算することは、前記ショットの最後のキーフレームをｔK-1とｔKの間の中点付近に位置決めすることを含むことを特徴とする請求項１６に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記認定することは、（ｎ／Ｋ）番目毎のフレームをキーフレームとして選択することを含むことを特徴とする請求項１６に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記認定することは、興味を引かないショットを検出し、前記階層的な動画要約から前記ショットのキーフレームを除去することを特徴とする請求項１６に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記ディジタル動画シーケンスは、圧縮されたディジタル動画シーケンスであり、前記入力するステップは、ビットストリームのインデックステーブルを生成することをさらに含み、前記計算するステップは、前記圧縮されたディジタル動画シーケンスを部分的にのみ復号することを特徴とする請求項２に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記各ショット内のキーフレームを割り当てることは、前記キーフレームを完全に復号することを含むことを特徴とする請求項２０に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記キーフレームを完全に復号することは、前記動画ビットストリームを構文解析せず、かつ、ビットストリームインデックステーブルを用いて前記動画ビットストリームの一部を復号することにより前記キーフレームを復号することを含むことを特徴とする請求項２１に記載の階層的ディジタル動画要約及び閲覧方法。
- ＤＣＴに基づいた圧縮動画を前記部分的に復号することは、ヒストグラムを計算するためのＤＣＴ係数のＤＣ値を使用することを含むことを特徴とする請求項２０に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記部分的に復号することは、キーフレームと該キーフレームの参照フレームのみを復号すること含むことを特徴とする請求項２０に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記復号することは、復号器マネージャによって復号することを含むことを特徴とする請求項２０に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記復号器マネージャによって復号することは、ビットストリームインデックステーブルを用いて、全動画ビットストリームの一部の復号及び部分的な構文解析でキーフレームを復号することを含むことを特徴とする請求項２５に記載の階層的ディジタル動画要約及び閲覧方法。
- 前記復号器マネージャによって復号することは、削減されたビットストリームインデックステーブルを生成して、前記動画ビットストリームの一部を構文解析して復号することによりキーフレームを復号するために必要な情報のみを蓄積することを含むことを特徴とする請求項２６に記載の階層的ディジタル動画要約及び閲覧方法。
- ディジタル動画シーケンスに対するディジタル動画信号を入力する手段と、
前記ディジタル動画信号に基づいて前記ディジタル動画シーケンス内の複数のショットを検出する手段と、
前記ショットの検出結果を用いて、各ショット内に含まれる複数のキーフレームの位置を決定する手段と、
前記決定された位置の複数のキーフレームを所定の基準に従ってレベル付けする手段と、
前記レベル付けされた複数のキーフレームから階層的な動画要約を生成する手段とを含むことを特徴とする階層的ディジタル動画要約及び閲覧装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/994,558 US5956026A (en) | 1997-12-19 | 1997-12-19 | Method for hierarchical summarization and browsing of digital video |
| US08/994,558 | 1997-12-19 | ||
| PCT/JP1998/005715 WO1999032993A1 (en) | 1997-12-19 | 1998-12-17 | Method for hierarchical summarization and browsing of digital video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001527304A JP2001527304A (ja) | 2001-12-25 |
| JP3719933B2 true JP3719933B2 (ja) | 2005-11-24 |
Family
ID=25540798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000525829A Expired - Fee Related JP3719933B2 (ja) | 1997-12-19 | 1998-12-17 | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5956026A (ja) |
| EP (1) | EP1040429B1 (ja) |
| JP (1) | JP3719933B2 (ja) |
| DE (1) | DE69809289T2 (ja) |
| WO (1) | WO1999032993A1 (ja) |
Families Citing this family (381)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5355450A (en) * | 1992-04-10 | 1994-10-11 | Avid Technology, Inc. | Media composer with adjustable source material compression |
| US9286294B2 (en) | 1992-12-09 | 2016-03-15 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator content suggestion engine |
| US7168084B1 (en) | 1992-12-09 | 2007-01-23 | Sedna Patent Services, Llc | Method and apparatus for targeting virtual objects |
| US7468398B2 (en) | 1994-09-06 | 2008-12-23 | Ciba Vision Corporation | Extended wear ophthalmic lens |
| US5760100B1 (en) | 1994-09-06 | 2000-11-14 | Ciba Vision Corp | Extended wear ophthalmic lens |
| US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| JP3592004B2 (ja) * | 1996-10-31 | 2004-11-24 | キヤノン株式会社 | 情報共有管理システム及び情報共有システム管理装置と方法 |
| DE69725186T2 (de) * | 1996-12-30 | 2004-06-17 | Sharp K.K. | Sprite-gestütztes videocodiersystem |
| EP0954828B1 (en) * | 1997-01-30 | 2004-10-27 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Generalized panoramic mosaic |
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| US6195458B1 (en) * | 1997-07-29 | 2001-02-27 | Eastman Kodak Company | Method for content-based temporal segmentation of video |
| JPH1175150A (ja) * | 1997-08-29 | 1999-03-16 | Hitachi Denshi Ltd | 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体 |
| JP3613543B2 (ja) * | 1997-11-11 | 2005-01-26 | 株式会社日立国際電気 | 動画像編集装置 |
| EP0936813A1 (en) * | 1998-02-16 | 1999-08-18 | CANAL+ Société Anonyme | Processing of digital picture data in a decoder |
| US6192393B1 (en) * | 1998-04-07 | 2001-02-20 | Mgi Software Corporation | Method and system for panorama viewing |
| US6393054B1 (en) * | 1998-04-20 | 2002-05-21 | Hewlett-Packard Company | System and method for automatically detecting shot boundary and key frame from a compressed video data |
| US7689898B2 (en) * | 1998-05-07 | 2010-03-30 | Astute Technology, Llc | Enhanced capture, management and distribution of live presentations |
| US20020036694A1 (en) * | 1998-05-07 | 2002-03-28 | Merril Jonathan R. | Method and system for the storage and retrieval of web-based educational materials |
| US6789228B1 (en) * | 1998-05-07 | 2004-09-07 | Medical Consumer Media | Method and system for the storage and retrieval of web-based education materials |
| US6742183B1 (en) | 1998-05-15 | 2004-05-25 | United Video Properties, Inc. | Systems and methods for advertising television networks, channels, and programs |
| JP3383580B2 (ja) * | 1998-05-15 | 2003-03-04 | 株式会社東芝 | 情報記憶媒体と情報記録再生装置と方法 |
| US6518978B1 (en) * | 1998-05-29 | 2003-02-11 | Hitachi, Ltd. | Image-display edit processing method, image editing apparatus and storage medium |
| US6473095B1 (en) * | 1998-07-16 | 2002-10-29 | Koninklijke Philips Electronics N.V. | Histogram method for characterizing video content |
| EP1018841A4 (en) * | 1998-07-22 | 2002-01-30 | Mitsubishi Electric Corp | IMAGE CODING SYSTEM |
| BR9912385A (pt) | 1998-07-23 | 2002-01-15 | Diva Systems Corp | Interface de usuário gerada em um extremo de cabeça, guia de programa interativo, e, processos de geração e distribuição de uma interface de usuário, e de interação com um guia de programa interativo |
| US9924234B2 (en) | 1998-07-23 | 2018-03-20 | Comcast Ip Holdings I, Llc | Data structure and methods for providing an interactive program |
| US6754905B2 (en) | 1998-07-23 | 2004-06-22 | Diva Systems Corporation | Data structure and methods for providing an interactive program guide |
| JP4051776B2 (ja) * | 1998-08-04 | 2008-02-27 | 株式会社日立製作所 | 映像情報記録装置、及び映像情報再生装置 |
| US6924832B1 (en) * | 1998-08-07 | 2005-08-02 | Be Here Corporation | Method, apparatus & computer program product for tracking objects in a warped video image |
| US7143434B1 (en) | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| WO2000033570A1 (fr) * | 1998-11-30 | 2000-06-08 | Sony Corporation | Procede et dispositif de fourniture d'informations |
| US6492998B1 (en) * | 1998-12-05 | 2002-12-10 | Lg Electronics Inc. | Contents-based video story browsing system |
| KR100313713B1 (ko) * | 1998-12-18 | 2002-02-28 | 이계철 | 화소샘플링을이용한시각율동생성방법 |
| US6748421B1 (en) * | 1998-12-23 | 2004-06-08 | Canon Kabushiki Kaisha | Method and system for conveying video messages |
| JP2001160066A (ja) * | 1998-12-25 | 2001-06-12 | Matsushita Electric Ind Co Ltd | データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム |
| JP4449216B2 (ja) * | 1998-12-28 | 2010-04-14 | ソニー株式会社 | 映像情報の編集方法及び編集装置 |
| US6782049B1 (en) * | 1999-01-29 | 2004-08-24 | Hewlett-Packard Development Company, L.P. | System for selecting a keyframe to represent a video |
| JP4536261B2 (ja) * | 1999-01-29 | 2010-09-01 | 三菱電機株式会社 | 画像特徴符号化方法及び画像検索方法 |
| KR100296967B1 (ko) * | 1999-01-30 | 2001-09-26 | 구자홍 | 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치 |
| US6597738B1 (en) * | 1999-02-01 | 2003-07-22 | Hyundai Curitel, Inc. | Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor |
| US6748158B1 (en) * | 1999-02-01 | 2004-06-08 | Grass Valley (U.S.) Inc. | Method for classifying and searching video databases based on 3-D camera motion |
| US7006569B1 (en) * | 1999-02-05 | 2006-02-28 | Samsung Electronics Co., Ltd. | Digital video processing method and apparatus thereof |
| US6323878B1 (en) * | 1999-03-03 | 2001-11-27 | Sony Corporation | System and method for providing zooming video capture |
| US6513065B1 (en) * | 1999-03-04 | 2003-01-28 | Bmc Software, Inc. | Enterprise management system and method which includes summarization having a plurality of levels of varying granularity |
| KR100369370B1 (ko) * | 1999-10-11 | 2003-01-24 | 한국전자통신연구원 | 블록기반 영상 히스토그램 생성 방법 |
| US6647535B1 (en) * | 1999-03-18 | 2003-11-11 | Xerox Corporation | Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing |
| US6331859B1 (en) * | 1999-04-06 | 2001-12-18 | Sharp Laboratories Of America, Inc. | Video skimming system utilizing the vector rank filter |
| US6711741B2 (en) * | 1999-04-07 | 2004-03-23 | Intel Corporation | Random access video playback system on a network |
| US7096487B1 (en) | 1999-10-27 | 2006-08-22 | Sedna Patent Services, Llc | Apparatus and method for combining realtime and non-realtime encoded content |
| US6904610B1 (en) | 1999-04-15 | 2005-06-07 | Sedna Patent Services, Llc | Server-centric customized interactive program guide in an interactive television environment |
| US6754271B1 (en) | 1999-04-15 | 2004-06-22 | Diva Systems Corporation | Temporal slice persistence method and apparatus for delivery of interactive program guide |
| US7877774B1 (en) * | 1999-04-19 | 2011-01-25 | At&T Intellectual Property Ii, L.P. | Browsing and retrieval of full broadcast-quality video |
| US9171545B2 (en) * | 1999-04-19 | 2015-10-27 | At&T Intellectual Property Ii, L.P. | Browsing and retrieval of full broadcast-quality video |
| US6807306B1 (en) * | 1999-05-28 | 2004-10-19 | Xerox Corporation | Time-constrained keyframe selection method |
| KR100624865B1 (ko) * | 1999-06-02 | 2006-09-18 | 엘지전자 주식회사 | 사용자 프로파일을 이용한 비디오 분할 시청 시스템 |
| SE9902328A0 (sv) * | 1999-06-18 | 2000-12-19 | Ericsson Telefon Ab L M | Förfarande och system för att alstra sammanfattad video |
| WO2001003429A2 (en) * | 1999-07-06 | 2001-01-11 | Koninklijke Philips Electronics N.V. | Automatic extraction method of the structure of a video sequence |
| JP2003503972A (ja) * | 1999-07-06 | 2003-01-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスの構造の自動抽出方法 |
| US7313808B1 (en) | 1999-07-08 | 2007-12-25 | Microsoft Corporation | Browsing continuous multimedia content |
| US7293280B1 (en) | 1999-07-08 | 2007-11-06 | Microsoft Corporation | Skimming continuous multimedia content |
| US7092620B1 (en) | 1999-08-05 | 2006-08-15 | Hewlett-Packard Development Company, L.P. | Converting analog video data into digital form |
| KR100370247B1 (ko) | 1999-08-26 | 2003-01-29 | 엘지전자 주식회사 | 등장인물 관계 기반 동영상 검색 방법 |
| US7383504B1 (en) * | 1999-08-30 | 2008-06-03 | Mitsubishi Electric Research Laboratories | Method for representing and comparing multimedia content according to rank |
| US7996878B1 (en) | 1999-08-31 | 2011-08-09 | At&T Intellectual Property Ii, L.P. | System and method for generating coded video sequences from still media |
| JP2001134614A (ja) * | 1999-09-16 | 2001-05-18 | Sharp Corp | 記述フレームワークを提供するために操作可能なシステム及びａｖコンテンツの概要をユーザに提供する方法 |
| US7181691B2 (en) | 1999-09-16 | 2007-02-20 | Sharp Laboratories Of America, Inc. | Audiovisual information management system with presentation service |
| US6677961B1 (en) * | 1999-09-24 | 2004-01-13 | Lg Electronics, Inc. | Method and apparatus for identifying a predetermined number of representative data pieces from within a selected data segment |
| KR100371813B1 (ko) * | 1999-10-11 | 2003-02-11 | 한국전자통신연구원 | 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법. |
| US7181757B1 (en) * | 1999-10-11 | 2007-02-20 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| ATE359669T1 (de) | 1999-10-27 | 2007-05-15 | Sedna Patent Services Llc | Vielfache videoströme unter verwendung von slice- basierter kodierung |
| WO2001033845A1 (en) * | 1999-11-01 | 2001-05-10 | Diva Systems Corporation | Service provider side interactive program guide encoder |
| KR100346263B1 (ko) * | 1999-11-05 | 2002-07-26 | 엘지전자주식회사 | 멀티미디어 스트림의 브라우징, 편집, 인덱싱을 위한 다단계 위치/구간 지정 방법 |
| EP1102271B8 (en) * | 1999-11-05 | 2016-12-07 | Sony Europe Limited | Method of generating audio and/or video signals and apparatus therefore |
| JP3414683B2 (ja) * | 1999-11-16 | 2003-06-09 | 株式会社国際電気通信基礎技術研究所 | 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体 |
| US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| US6976032B1 (en) * | 1999-11-17 | 2005-12-13 | Ricoh Company, Ltd. | Networked peripheral for visitor greeting, identification, biographical lookup and tracking |
| US7299405B1 (en) | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| US6678408B1 (en) * | 1999-11-17 | 2004-01-13 | Infocus Corporation | Noise reduction through comparative histograms |
| KR100364753B1 (ko) * | 1999-11-19 | 2002-12-16 | 엘지전자 주식회사 | 칼라 히스토그램의 빈값 양자화 방법 |
| US7016540B1 (en) * | 1999-11-24 | 2006-03-21 | Nec Corporation | Method and system for segmentation, classification, and summarization of video images |
| US6845487B1 (en) * | 1999-11-30 | 2005-01-18 | Sony Corporation | Method and an apparatus for implementing a key frame |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| KR100371513B1 (ko) * | 1999-12-06 | 2003-02-07 | 주식회사 팬택앤큐리텔 | 계층적 동영상 트리구조에서의 에지에 저장하는 키프레임의 충실도를 이용한 효율적인 동영상 요약 및 브라우징 장치 및 방법 |
| US7286724B2 (en) * | 1999-12-06 | 2007-10-23 | Hyundai Curitel, Inc. | Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy |
| US8429699B2 (en) * | 1999-12-14 | 2013-04-23 | Arturo A. Rodriguez | Systems and methods for resource-adaptive processing of scaled video and graphics |
| US6636220B1 (en) * | 2000-01-05 | 2003-10-21 | Microsoft Corporation | Video-based rendering |
| AUPQ535200A0 (en) * | 2000-01-31 | 2000-02-17 | Canon Kabushiki Kaisha | Extracting key frames from a video sequence |
| AUPQ535100A0 (en) | 2000-01-31 | 2000-02-17 | Canon Kabushiki Kaisha | Video browser data magnifier |
| US6868440B1 (en) * | 2000-02-04 | 2005-03-15 | Microsoft Corporation | Multi-level skimming of multimedia content using playlists |
| KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
| KR100512138B1 (ko) * | 2000-03-08 | 2005-09-02 | 엘지전자 주식회사 | 합성 키프레임을 이용한 비디오 브라우징 시스템 |
| CA2403240C (en) * | 2000-03-31 | 2013-12-03 | United Video Properties, Inc. | Interactive media system and method for presenting pause-time content |
| WO2001075885A2 (en) * | 2000-04-05 | 2001-10-11 | Sony United Kingdom Limited | Identifying, recording and reproducing information |
| FR2807902B1 (fr) | 2000-04-17 | 2002-10-25 | Thomson Multimedia Sa | Procede de detection de changement de plan dans une succession d'images video |
| US7019773B1 (en) * | 2000-05-25 | 2006-03-28 | Prc Inc. | Video mosaic |
| US8028314B1 (en) | 2000-05-26 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Audiovisual information management system |
| US7647340B2 (en) | 2000-06-28 | 2010-01-12 | Sharp Laboratories Of America, Inc. | Metadata in JPEG 2000 file format |
| US20020051077A1 (en) * | 2000-07-19 | 2002-05-02 | Shih-Ping Liou | Videoabstracts: a system for generating video summaries |
| JP3667262B2 (ja) * | 2000-08-19 | 2005-07-06 | エルジー電子株式会社 | ビデオスキミング方法及び装置 |
| US7200633B2 (en) * | 2000-08-25 | 2007-04-03 | Ntt Docomo, Inc. | Information delivery system and information delivery method |
| US6989823B1 (en) | 2000-08-31 | 2006-01-24 | Infocus Corporation | Method and apparatus for noise reduction using captured images |
| US6711587B1 (en) | 2000-09-05 | 2004-03-23 | Hewlett-Packard Development Company, L.P. | Keyframe selection to represent a video |
| US8020183B2 (en) | 2000-09-14 | 2011-09-13 | Sharp Laboratories Of America, Inc. | Audiovisual management system |
| KR100429371B1 (ko) * | 2000-10-24 | 2004-04-28 | 서영완 | 비디오 편집, 검색 시스템 및 그 방법 |
| US6931595B2 (en) * | 2000-11-02 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
| GB0029861D0 (en) * | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Replaying video information |
| GB2369924A (en) * | 2000-12-07 | 2002-06-12 | Sony Uk Ltd | Selecting representative video images using image properties |
| JP2002202985A (ja) * | 2000-12-28 | 2002-07-19 | Pioneer Electronic Corp | Ａｖ情報配信装置及び配信方法、ａｖ情報検索装置及び検索方法、ａｖ情報配信検索システム並びに情報記録媒体 |
| US6964061B2 (en) * | 2000-12-28 | 2005-11-08 | International Business Machines Corporation | Squeezable rebroadcast files |
| US7356250B2 (en) * | 2001-01-05 | 2008-04-08 | Genesis Microchip Inc. | Systems and methods for creating a single video frame with one or more interest points |
| US7469010B2 (en) * | 2001-01-08 | 2008-12-23 | Canon Kabushiki Kaisha | Extracting key frames from a video sequence |
| EP1227417A3 (en) * | 2001-01-25 | 2005-06-01 | Ensequence, Inc. | Selective viewing of video based on one or more themes |
| US20020108112A1 (en) * | 2001-02-02 | 2002-08-08 | Ensequence, Inc. | System and method for thematically analyzing and annotating an audio-visual sequence |
| US20030038796A1 (en) | 2001-02-15 | 2003-02-27 | Van Beek Petrus J.L. | Segmentation metadata for audio-visual content |
| US8374237B2 (en) | 2001-03-02 | 2013-02-12 | Dolby Laboratories Licensing Corporation | High precision encoding and decoding of video images |
| KR20020074328A (ko) * | 2001-03-20 | 2002-09-30 | 서치캐스트 주식회사 | 키프레임을 이용한 동영상 재생방법 및 그 장치 |
| US20040217984A1 (en) * | 2001-03-29 | 2004-11-04 | Borden George R | Digital imaging system |
| JP3663362B2 (ja) * | 2001-03-30 | 2005-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | インデックス生成装置 |
| US20030163815A1 (en) * | 2001-04-06 | 2003-08-28 | Lee Begeja | Method and system for personalized multimedia delivery service |
| US20030088687A1 (en) | 2001-12-28 | 2003-05-08 | Lee Begeja | Method and apparatus for automatically converting source video into electronic mail messages |
| US7904814B2 (en) | 2001-04-19 | 2011-03-08 | Sharp Laboratories Of America, Inc. | System for presenting audio-video content |
| US7046914B2 (en) * | 2001-05-01 | 2006-05-16 | Koninklijke Philips Electronics N.V. | Automatic content analysis and representation of multimedia presentations |
| KR100411342B1 (ko) * | 2001-05-22 | 2003-12-18 | 엘지전자 주식회사 | 비디오 텍스트 합성 키프레임 생성방법 |
| US20020186235A1 (en) * | 2001-05-25 | 2002-12-12 | Koninklijke Philips Electronics N.V. | Compact visual summaries using superhistograms and frame signatures |
| US7499077B2 (en) | 2001-06-04 | 2009-03-03 | Sharp Laboratories Of America, Inc. | Summarization of football video content |
| US7143354B2 (en) * | 2001-06-04 | 2006-11-28 | Sharp Laboratories Of America, Inc. | Summarization of baseball video content |
| US6870956B2 (en) * | 2001-06-14 | 2005-03-22 | Microsoft Corporation | Method and apparatus for shot detection |
| US20040207656A1 (en) * | 2001-06-30 | 2004-10-21 | Sang-Youn Lee | Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same |
| US7203620B2 (en) | 2001-07-03 | 2007-04-10 | Sharp Laboratories Of America, Inc. | Summarization of video content |
| US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| US8111754B1 (en) | 2001-07-11 | 2012-02-07 | Dolby Laboratories Licensing Corporation | Interpolation of video compression frames |
| US7793326B2 (en) | 2001-08-03 | 2010-09-07 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator |
| US7908628B2 (en) | 2001-08-03 | 2011-03-15 | Comcast Ip Holdings I, Llc | Video and digital multimedia aggregator content coding and formatting |
| US7296231B2 (en) * | 2001-08-09 | 2007-11-13 | Eastman Kodak Company | Video structuring by probabilistic merging of video segments |
| US7050500B2 (en) * | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
| KR20030026529A (ko) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | 키프레임 기반 비디오 요약 시스템 |
| KR100438703B1 (ko) * | 2001-09-27 | 2004-07-05 | 삼성전자주식회사 | 계층적 이미지 인덱싱 방법 및 그 장치 |
| US7227896B2 (en) * | 2001-10-04 | 2007-06-05 | Sharp Laboratories Of America, Inc. | Method and apparatus for global motion estimation |
| US7480864B2 (en) * | 2001-10-12 | 2009-01-20 | Canon Kabushiki Kaisha | Zoom editor |
| US7474698B2 (en) | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
| US7203380B2 (en) * | 2001-11-16 | 2007-04-10 | Fuji Xerox Co., Ltd. | Video production and compaction with collage picture frame user interface |
| WO2003051031A2 (en) | 2001-12-06 | 2003-06-19 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for planarization of a material by growing and removing a sacrificial film |
| US20030120631A1 (en) * | 2001-12-21 | 2003-06-26 | Eastman Kodak Company | Method and system for hierarchical data entry |
| KR100468967B1 (ko) * | 2001-12-28 | 2005-01-29 | 엘지전자 주식회사 | 썸네일 영상 생성장치 및 방법 |
| US7137062B2 (en) * | 2001-12-28 | 2006-11-14 | International Business Machines Corporation | System and method for hierarchical segmentation with latent semantic indexing in scale space |
| KR100464076B1 (ko) * | 2001-12-29 | 2004-12-30 | 엘지전자 주식회사 | 동영상 비디오 브라우징 방법과 장치 |
| US7274857B2 (en) | 2001-12-31 | 2007-09-25 | Scientific-Atlanta, Inc. | Trick modes for compressed video streams |
| US7120873B2 (en) * | 2002-01-28 | 2006-10-10 | Sharp Laboratories Of America, Inc. | Summarization of sumo video content |
| US7549114B2 (en) * | 2002-02-21 | 2009-06-16 | Xerox Corporation | Methods and systems for incrementally changing text representation |
| US7650562B2 (en) * | 2002-02-21 | 2010-01-19 | Xerox Corporation | Methods and systems for incrementally changing text representation |
| US7165024B2 (en) * | 2002-02-22 | 2007-01-16 | Nec Laboratories America, Inc. | Inferring hierarchical descriptions of a set of documents |
| US8214741B2 (en) | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
| WO2003084249A1 (en) * | 2002-03-27 | 2003-10-09 | The Trustees Of Columbia University In The City Of New York | Methods for summarizing video through mosaic-based shot and scene clustering |
| JP4352653B2 (ja) * | 2002-04-12 | 2009-10-28 | 三菱電機株式会社 | 映像コンテンツ管理運用システム |
| KR100438302B1 (ko) * | 2002-04-30 | 2004-07-01 | 엘지전자 주식회사 | 비디오 스키밍 방법 및 장치 |
| US7035435B2 (en) * | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
| US7047494B2 (en) | 2002-05-07 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Scalable video summarization |
| US7120300B1 (en) | 2002-05-14 | 2006-10-10 | Sasken Communication Technologies Limited | Method for finding representative vectors in a class of vector spaces |
| US20030218624A1 (en) * | 2002-05-22 | 2003-11-27 | Angelica Quintana | System and method for organizing digital images |
| AU2003249663A1 (en) * | 2002-05-28 | 2003-12-12 | Yesvideo, Inc. | Summarization of a visual recording |
| US20030237091A1 (en) * | 2002-06-19 | 2003-12-25 | Kentaro Toyama | Computer user interface for viewing video compositions generated from a video composition authoring system using video cliplets |
| US7222300B2 (en) * | 2002-06-19 | 2007-05-22 | Microsoft Corporation | System and method for automatically authoring video compositions using video cliplets |
| GB0215624D0 (en) * | 2002-07-05 | 2002-08-14 | Colthurst James R | Razor head |
| US7657836B2 (en) * | 2002-07-25 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Summarization of soccer video content |
| US7149755B2 (en) * | 2002-07-29 | 2006-12-12 | Hewlett-Packard Development Company, Lp. | Presenting a collection of media objects |
| US20040024780A1 (en) * | 2002-08-01 | 2004-02-05 | Koninklijke Philips Electronics N.V. | Method, system and program product for generating a content-based table of contents |
| US7549127B2 (en) * | 2002-08-01 | 2009-06-16 | Realnetworks, Inc. | Method and apparatus for resizing video content displayed within a graphical user interface |
| KR20040020185A (ko) * | 2002-08-30 | 2004-03-09 | 학교법인 한국정보통신학원 | 엑스엠엘 문서를 이용한 골프 비디오 브라우징 서비스 방법 |
| US7657907B2 (en) | 2002-09-30 | 2010-02-02 | Sharp Laboratories Of America, Inc. | Automatic user profiling |
| KR100487374B1 (ko) * | 2002-10-18 | 2005-05-03 | 엘지전자 주식회사 | 디지털 비디오의 썸네일 영상 생성 장치 |
| KR100487330B1 (ko) * | 2002-10-18 | 2005-05-03 | 엘지전자 주식회사 | 디지털 비디오의 썸네일 영상 생성 장치 |
| GB2394851A (en) * | 2002-10-30 | 2004-05-05 | Hewlett Packard Co | A camera having a user operable control for producing a saliency signal representative of a user's interest in a scene being imaged |
| US7274741B2 (en) * | 2002-11-01 | 2007-09-25 | Microsoft Corporation | Systems and methods for generating a comprehensive user attention model |
| US6963378B2 (en) * | 2002-11-01 | 2005-11-08 | Motorola, Inc. | Method and apparatus for reduction of visual content |
| US7116716B2 (en) * | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
| US20040088723A1 (en) * | 2002-11-01 | 2004-05-06 | Yu-Fei Ma | Systems and methods for generating a video summary |
| US7127120B2 (en) * | 2002-11-01 | 2006-10-24 | Microsoft Corporation | Systems and methods for automatically editing a video |
| US7177470B2 (en) * | 2002-11-13 | 2007-02-13 | Koninklijke Philips Electronics N. V. | Method of and system for detecting uniform color segments |
| US7280957B2 (en) * | 2002-12-16 | 2007-10-09 | Palo Alto Research Center, Incorporated | Method and apparatus for generating overview information for hierarchically related information |
| US7131059B2 (en) * | 2002-12-31 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | Scalably presenting a collection of media objects |
| US7694225B1 (en) * | 2003-01-06 | 2010-04-06 | Apple Inc. | Method and apparatus for producing a packaged presentation |
| US7840905B1 (en) | 2003-01-06 | 2010-11-23 | Apple Inc. | Creating a theme used by an authoring application to produce a multimedia presentation |
| US7546544B1 (en) * | 2003-01-06 | 2009-06-09 | Apple Inc. | Method and apparatus for creating multimedia presentations |
| US7006945B2 (en) * | 2003-01-10 | 2006-02-28 | Sharp Laboratories Of America, Inc. | Processing of video content |
| US7164798B2 (en) * | 2003-02-18 | 2007-01-16 | Microsoft Corporation | Learning-based automatic commercial content detection |
| US7260261B2 (en) * | 2003-02-20 | 2007-08-21 | Microsoft Corporation | Systems and methods for enhanced image adaptation |
| US20040181545A1 (en) * | 2003-03-10 | 2004-09-16 | Yining Deng | Generating and rendering annotated video files |
| US7212666B2 (en) * | 2003-04-01 | 2007-05-01 | Microsoft Corporation | Generating visually representative video thumbnails |
| US8392834B2 (en) * | 2003-04-09 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Systems and methods of authoring a multimedia file |
| US7362909B2 (en) * | 2003-04-10 | 2008-04-22 | Sharp Kabushiki Kaisha | Coding device and method and decoding device and method |
| US7424160B1 (en) | 2003-04-28 | 2008-09-09 | The Directv Group, Inc. | Methods and apparatus for monitoring compressed bitstreams |
| US8638846B1 (en) * | 2003-06-23 | 2014-01-28 | At&T Intellectual Property Ii, L.P. | Systems and methods for encoding and decoding video streams |
| US20050033758A1 (en) * | 2003-08-08 | 2005-02-10 | Baxter Brent A. | Media indexer |
| JP2007503750A (ja) * | 2003-08-26 | 2007-02-22 | サムスン エレクトロニクス カンパニー リミテッド | 適応型フレーム間ウェーブレットのビデオコーディング方法、前記方法のためのコンピュータで読取り可能な記録媒体、及び装置 |
| US7966642B2 (en) * | 2003-09-15 | 2011-06-21 | Nair Ajith N | Resource-adaptive management of video storage |
| US7400761B2 (en) * | 2003-09-30 | 2008-07-15 | Microsoft Corporation | Contrast-based image attention analysis framework |
| US7471827B2 (en) * | 2003-10-16 | 2008-12-30 | Microsoft Corporation | Automatic browsing path generation to present image areas with high attention value as a function of space and time |
| US20050123886A1 (en) * | 2003-11-26 | 2005-06-09 | Xian-Sheng Hua | Systems and methods for personalized karaoke |
| US7689712B2 (en) | 2003-11-26 | 2010-03-30 | Ricoh Company, Ltd. | Techniques for integrating note-taking and multimedia information |
| US7483618B1 (en) | 2003-12-04 | 2009-01-27 | Yesvideo, Inc. | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest |
| GB0328103D0 (en) * | 2003-12-04 | 2004-01-07 | Pace Micro Tech Plc | Broadcast data system and broadcast data receiver |
| EP1538536A1 (en) * | 2003-12-05 | 2005-06-08 | Sony International (Europe) GmbH | Visualization and control techniques for multimedia digital content |
| EP1557837A1 (en) * | 2004-01-26 | 2005-07-27 | Sony International (Europe) GmbH | Redundancy elimination in a content-adaptive video preview system |
| JP4611209B2 (ja) * | 2004-01-30 | 2011-01-12 | パナソニック株式会社 | コンテンツ再生装置 |
| KR100590537B1 (ko) * | 2004-02-18 | 2006-06-15 | 삼성전자주식회사 | 복수 영상의 요약 방법 및 장치 |
| US7594245B2 (en) | 2004-03-04 | 2009-09-22 | Sharp Laboratories Of America, Inc. | Networked video devices |
| US8356317B2 (en) | 2004-03-04 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Presence based technology |
| US8949899B2 (en) | 2005-03-04 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Collaborative recommendation system |
| JP4536402B2 (ja) * | 2004-03-05 | 2010-09-01 | ソニー株式会社 | 映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラム |
| US7882436B2 (en) * | 2004-03-10 | 2011-02-01 | Trevor Burke Technology Limited | Distribution of video data |
| US8411902B2 (en) * | 2004-04-07 | 2013-04-02 | Hewlett-Packard Development Company, L.P. | Providing a visual indication of the content of a video by analyzing a likely user intent |
| WO2005119515A1 (en) * | 2004-06-01 | 2005-12-15 | Koninklijke Philips Electronics N.V. | Updating video summary |
| US7916173B2 (en) * | 2004-06-22 | 2011-03-29 | Canon Kabushiki Kaisha | Method for detecting and selecting good quality image frames from video |
| TWI240579B (en) * | 2004-06-24 | 2005-09-21 | Via Tech Inc | Method and related interface system for facilitating advertisings detection through visual interface |
| US7457461B2 (en) * | 2004-06-25 | 2008-11-25 | Avocent Corporation | Video compression noise immunity |
| CN1965369B (zh) * | 2004-07-01 | 2012-07-04 | 汤姆森许可贸易公司 | 用于记录多媒体数据的设备和方法 |
| TWI247212B (en) * | 2004-07-13 | 2006-01-11 | Avermedia Tech Inc | Method for searching image differences in recorded video data of surveillance system |
| US8600217B2 (en) * | 2004-07-14 | 2013-12-03 | Arturo A. Rodriguez | System and method for improving quality of displayed picture during trick modes |
| US9053754B2 (en) * | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
| US7986372B2 (en) * | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| JP4882746B2 (ja) * | 2004-08-10 | 2012-02-22 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| US8634699B2 (en) * | 2004-08-10 | 2014-01-21 | Sony Corporation | Information signal processing method and apparatus, and computer program product |
| JP2006065368A (ja) * | 2004-08-24 | 2006-03-09 | Sony Corp | 画像表示装置，画像表示方法，およびコンピュータプログラム |
| US7376274B2 (en) * | 2004-08-31 | 2008-05-20 | Sonic Solutions | Method and apparatus for use in video searching |
| US7617237B2 (en) * | 2004-09-30 | 2009-11-10 | Sharp Kabushiki Kaisha | Encoding device, encoding method, decoding device, decoding method, program and machine readable recording medium containing the program |
| FR2876860A1 (fr) * | 2004-10-20 | 2006-04-21 | Thomson Licensing Sa | Procede de codage hierarchique d'images video |
| WO2006080663A1 (en) * | 2004-10-21 | 2006-08-03 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively encoding multi-layered motion vectors |
| KR100703740B1 (ko) * | 2004-10-21 | 2007-04-05 | 삼성전자주식회사 | 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 |
| JP2006163605A (ja) * | 2004-12-03 | 2006-06-22 | Hitachi Kokusai Electric Inc | 画像検索表示装置とそのプログラム |
| KR100610244B1 (ko) * | 2004-12-07 | 2006-08-09 | 삼성전자주식회사 | 기록영상에 대한 선택지점번호 제공방법 및 이를 적용한영상재생장치 |
| GB2421135A (en) | 2004-12-09 | 2006-06-14 | Sony Uk Ltd | User resizable video display of catalogue entries |
| US7548936B2 (en) | 2005-01-12 | 2009-06-16 | Microsoft Corporation | Systems and methods to present web image search results for effective image browsing |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US20060170956A1 (en) * | 2005-01-31 | 2006-08-03 | Jung Edward K | Shared image devices |
| US9082456B2 (en) | 2005-01-31 | 2015-07-14 | The Invention Science Fund I Llc | Shared image device designation |
| US8902320B2 (en) | 2005-01-31 | 2014-12-02 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| US9489717B2 (en) | 2005-01-31 | 2016-11-08 | Invention Science Fund I, Llc | Shared image device |
| US9910341B2 (en) | 2005-01-31 | 2018-03-06 | The Invention Science Fund I, Llc | Shared image device designation |
| US9325781B2 (en) | 2005-01-31 | 2016-04-26 | Invention Science Fund I, Llc | Audio sharing |
| US7920169B2 (en) | 2005-01-31 | 2011-04-05 | Invention Science Fund I, Llc | Proximity of shared image devices |
| US20060174203A1 (en) | 2005-01-31 | 2006-08-03 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Viewfinder for shared image device |
| US20060221197A1 (en) * | 2005-03-30 | 2006-10-05 | Jung Edward K | Image transformation estimator of an imaging device |
| US7876357B2 (en) | 2005-01-31 | 2011-01-25 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US8606383B2 (en) | 2005-01-31 | 2013-12-10 | The Invention Science Fund I, Llc | Audio sharing |
| US9124729B2 (en) | 2005-01-31 | 2015-09-01 | The Invention Science Fund I, Llc | Shared image device synchronization or designation |
| WO2006096612A2 (en) | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| CA2600750A1 (en) | 2005-03-10 | 2006-09-21 | Qualcomm Incorporated | Content adaptive multimedia processing |
| US7526725B2 (en) * | 2005-04-08 | 2009-04-28 | Mitsubishi Electric Research Laboratories, Inc. | Context aware video conversion method and playback system |
| WO2006109260A2 (en) * | 2005-04-15 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Method and device for searching a video movie at a variable speed using an additional file containing screen shots |
| JP2006303635A (ja) * | 2005-04-15 | 2006-11-02 | Sony Corp | 表示装置、表示制御方法および表示制御プログラム、記録再生装置、ならびに、再生装置 |
| US9167195B2 (en) | 2005-10-31 | 2015-10-20 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US9076208B2 (en) | 2006-02-28 | 2015-07-07 | The Invention Science Fund I, Llc | Imagery processing |
| US9819490B2 (en) | 2005-05-04 | 2017-11-14 | Invention Science Fund I, Llc | Regional proximity for shared image device(s) |
| US7782365B2 (en) | 2005-06-02 | 2010-08-24 | Searete Llc | Enhanced video/still image correlation |
| US9451200B2 (en) | 2005-06-02 | 2016-09-20 | Invention Science Fund I, Llc | Storage access technique for captured data |
| US9093121B2 (en) | 2006-02-28 | 2015-07-28 | The Invention Science Fund I, Llc | Data management of an audio data stream |
| US8964054B2 (en) | 2006-08-18 | 2015-02-24 | The Invention Science Fund I, Llc | Capturing selected image objects |
| US9191611B2 (en) * | 2005-06-02 | 2015-11-17 | Invention Science Fund I, Llc | Conditional alteration of a saved image |
| US9942511B2 (en) | 2005-10-31 | 2018-04-10 | Invention Science Fund I, Llc | Preservation/degradation of video/audio aspects of a data stream |
| US9001215B2 (en) | 2005-06-02 | 2015-04-07 | The Invention Science Fund I, Llc | Estimating shared image device operational capabilities or resources |
| US20070222865A1 (en) | 2006-03-15 | 2007-09-27 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Enhanced video/still image correlation |
| US8072501B2 (en) | 2005-10-31 | 2011-12-06 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
| US8253821B2 (en) | 2005-10-31 | 2012-08-28 | The Invention Science Fund I, Llc | Degradation/preservation management of captured data |
| US9967424B2 (en) | 2005-06-02 | 2018-05-08 | Invention Science Fund I, Llc | Data storage usage protocol |
| US10003762B2 (en) | 2005-04-26 | 2018-06-19 | Invention Science Fund I, Llc | Shared image devices |
| US9621749B2 (en) | 2005-06-02 | 2017-04-11 | Invention Science Fund I, Llc | Capturing selected image objects |
| US7872675B2 (en) | 2005-06-02 | 2011-01-18 | The Invention Science Fund I, Llc | Saved-image management |
| US8233042B2 (en) | 2005-10-31 | 2012-07-31 | The Invention Science Fund I, Llc | Preservation and/or degradation of a video/audio data stream |
| US8681225B2 (en) | 2005-06-02 | 2014-03-25 | Royce A. Levien | Storage access technique for captured data |
| US7663691B2 (en) | 2005-10-11 | 2010-02-16 | Apple Inc. | Image capture using display device as light source |
| US20060284895A1 (en) * | 2005-06-15 | 2006-12-21 | Marcu Gabriel G | Dynamic gamma correction |
| US8085318B2 (en) | 2005-10-11 | 2011-12-27 | Apple Inc. | Real-time image capture and manipulation based on streaming data |
| US8805929B2 (en) | 2005-06-20 | 2014-08-12 | Ricoh Company, Ltd. | Event-driven annotation techniques |
| US7554576B2 (en) * | 2005-06-20 | 2009-06-30 | Ricoh Company, Ltd. | Information capture and recording system for controlling capture devices |
| US20070006078A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Declaratively responding to state changes in an interactive multimedia environment |
| US8799757B2 (en) * | 2005-07-01 | 2014-08-05 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
| US20070006062A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
| US20070006238A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Managing application states in an interactive media environment |
| US20070006065A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Conditional event timing for interactive multimedia presentations |
| US20070006079A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | State-based timing for interactive multimedia presentations |
| US8656268B2 (en) * | 2005-07-01 | 2014-02-18 | Microsoft Corporation | Queueing events in an interactive media environment |
| US7545978B2 (en) * | 2005-07-01 | 2009-06-09 | International Business Machines Corporation | Methods and apparatus for filtering video packets for large-scale video stream monitoring |
| US8020084B2 (en) * | 2005-07-01 | 2011-09-13 | Microsoft Corporation | Synchronization aspects of interactive multimedia presentation management |
| US7941522B2 (en) * | 2005-07-01 | 2011-05-10 | Microsoft Corporation | Application security in an interactive media environment |
| US8305398B2 (en) * | 2005-07-01 | 2012-11-06 | Microsoft Corporation | Rendering and compositing multiple applications in an interactive media environment |
| US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
| US9042703B2 (en) * | 2005-10-31 | 2015-05-26 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US9020326B2 (en) | 2005-08-23 | 2015-04-28 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US9113147B2 (en) | 2005-09-27 | 2015-08-18 | Qualcomm Incorporated | Scalability techniques based on content information |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070112811A1 (en) * | 2005-10-20 | 2007-05-17 | Microsoft Corporation | Architecture for scalable video coding applications |
| US7773813B2 (en) | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
| US8180826B2 (en) * | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
| US20070120980A1 (en) | 2005-10-31 | 2007-05-31 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Preservation/degradation of video/audio aspects of a data stream |
| US8196032B2 (en) * | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
| US7734575B1 (en) * | 2005-11-16 | 2010-06-08 | Amdocs Software Systems Limited | System, method, and computer program product for scaleable data collection and audience feedback |
| US7599918B2 (en) * | 2005-12-29 | 2009-10-06 | Microsoft Corporation | Dynamic search with implicit user intention mining |
| EP1830361A1 (en) * | 2006-03-02 | 2007-09-05 | Sony Corporation | Image displaying method and video playback apparatus |
| US8689253B2 (en) | 2006-03-03 | 2014-04-01 | Sharp Laboratories Of America, Inc. | Method and system for configuring media-playing sets |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US20070266322A1 (en) * | 2006-05-12 | 2007-11-15 | Tretter Daniel R | Video browsing user interface |
| JP2009543413A (ja) * | 2006-07-04 | 2009-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツ置換の方法 |
| EP2041899A2 (en) * | 2006-07-04 | 2009-04-01 | Koninklijke Philips Electronics N.V. | Method of content substitution |
| CN101506891A (zh) * | 2006-08-25 | 2009-08-12 | 皇家飞利浦电子股份有限公司 | 自动产生多媒体内容项目的概要的方法和装置 |
| KR100850791B1 (ko) * | 2006-09-20 | 2008-08-06 | 삼성전자주식회사 | 방송 프로그램 요약 생성 시스템 및 그 방법 |
| JP5031843B2 (ja) * | 2006-10-10 | 2012-09-26 | トムソン ライセンシング | 画像の顕著性マップを生成する装置および方法 |
| US8671346B2 (en) * | 2007-02-09 | 2014-03-11 | Microsoft Corporation | Smart video thumbnail |
| JP2008242367A (ja) * | 2007-03-29 | 2008-10-09 | Fuji Xerox Co Ltd | 表示制御装置、表示装置、表示システム及びプログラム |
| US8074241B2 (en) * | 2007-03-30 | 2011-12-06 | The Board Of Trustees Of The Leland Stanford Jr. University | Process for displaying and navigating panoramic video, and method and user interface for streaming panoramic video and images between a server and browser-based client application |
| US20080269924A1 (en) * | 2007-04-30 | 2008-10-30 | Huang Chen-Hsiu | Method of summarizing sports video and apparatus thereof |
| JP4375442B2 (ja) * | 2007-06-04 | 2009-12-02 | ソニー株式会社 | 画像管理装置、画像管理方法および画像管理プログラム |
| US8122378B2 (en) * | 2007-06-08 | 2012-02-21 | Apple Inc. | Image capture and manipulation |
| US20080303949A1 (en) * | 2007-06-08 | 2008-12-11 | Apple Inc. | Manipulating video streams |
| JP4377932B2 (ja) * | 2007-07-26 | 2009-12-02 | 株式会社モルフォ | パノラマ画像生成装置およびプログラム |
| US20090033791A1 (en) * | 2007-07-31 | 2009-02-05 | Scientific-Atlanta, Inc. | Video processing systems and methods |
| WO2009024966A2 (en) * | 2007-08-21 | 2009-02-26 | Closevu Ltd. | Method for adapting media for viewing on small display screens |
| US20090210436A1 (en) * | 2007-10-30 | 2009-08-20 | General Instrument Corporation | Encoding a hierarchical multi-layer data package |
| US8219551B2 (en) * | 2007-10-31 | 2012-07-10 | General Instrument Corporation | Decoding a hierarchical multi-layer data package |
| US8237864B2 (en) * | 2007-11-12 | 2012-08-07 | Cyberlink Corp. | Systems and methods for associating metadata with scenes in a video |
| US7489334B1 (en) | 2007-12-12 | 2009-02-10 | International Business Machines Corporation | Method and system for reducing the cost of sampling a moving image |
| US20090158157A1 (en) * | 2007-12-14 | 2009-06-18 | Microsoft Corporation | Previewing recorded programs using thumbnails |
| US8199891B2 (en) * | 2008-02-06 | 2012-06-12 | Interactive Intelligence, Inc. | System and method for remote screen monitoring |
| WO2009126785A2 (en) | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8300696B2 (en) * | 2008-07-25 | 2012-10-30 | Cisco Technology, Inc. | Transcoding for systems operating under plural video coding specifications |
| KR101027159B1 (ko) * | 2008-07-28 | 2011-04-05 | 뮤추얼아이피서비스(주) | 타겟 영상 검출 장치 및 그 방법 |
| WO2010017166A2 (en) | 2008-08-04 | 2010-02-11 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
| US8189866B1 (en) * | 2008-08-26 | 2012-05-29 | Adobe Systems Incorporated | Human-action recognition in images and videos |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| JP5457688B2 (ja) | 2009-02-04 | 2014-04-02 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
| US8380866B2 (en) | 2009-03-20 | 2013-02-19 | Ricoh Company, Ltd. | Techniques for facilitating annotations |
| US8184913B2 (en) * | 2009-04-01 | 2012-05-22 | Microsoft Corporation | Clustering videos by location |
| US9111582B2 (en) * | 2009-08-03 | 2015-08-18 | Adobe Systems Incorporated | Methods and systems for previewing content with a dynamic tag cloud |
| US8359616B2 (en) | 2009-09-30 | 2013-01-22 | United Video Properties, Inc. | Systems and methods for automatically generating advertisements using a media guidance application |
| US8438484B2 (en) * | 2009-11-06 | 2013-05-07 | Sony Corporation | Video preview module to enhance online video experience |
| EP2519900A1 (en) | 2009-12-28 | 2012-11-07 | Thomson Licensing | Method for selection of a document shot using graphic paths and receiver implementing the method |
| JP5510012B2 (ja) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8619150B2 (en) | 2010-05-25 | 2013-12-31 | Intellectual Ventures Fund 83 Llc | Ranking key video frames using camera fixation |
| US8446490B2 (en) | 2010-05-25 | 2013-05-21 | Intellectual Ventures Fund 83 Llc | Video capture system producing a video summary |
| US8520088B2 (en) | 2010-05-25 | 2013-08-27 | Intellectual Ventures Fund 83 Llc | Storing a video summary as metadata |
| US8605221B2 (en) | 2010-05-25 | 2013-12-10 | Intellectual Ventures Fund 83 Llc | Determining key video snippets using selection criteria to form a video summary |
| US8599316B2 (en) | 2010-05-25 | 2013-12-03 | Intellectual Ventures Fund 83 Llc | Method for determining key video frames |
| US8432965B2 (en) | 2010-05-25 | 2013-04-30 | Intellectual Ventures Fund 83 Llc | Efficient method for assembling key video snippets to form a video summary |
| US9171578B2 (en) * | 2010-08-06 | 2015-10-27 | Futurewei Technologies, Inc. | Video skimming methods and systems |
| US9652551B2 (en) * | 2010-08-31 | 2017-05-16 | Disney Enterprises, Inc. | Automated effort judgement of user generated content |
| CN102402536A (zh) * | 2010-09-13 | 2012-04-04 | 索尼公司 | 从视频中提取关键帧的方法和设备 |
| US8688857B1 (en) * | 2010-09-15 | 2014-04-01 | Google Inc. | Filtering messages based on pruning profile generated from pruning profile schema |
| US20130182767A1 (en) * | 2010-09-20 | 2013-07-18 | Nokia Corporation | Identifying a key frame from a video sequence |
| WO2012042097A1 (en) * | 2010-09-30 | 2012-04-05 | Nokia Corporation | Method, apparatus and computer program product for summarizing multimedia content |
| US9185469B2 (en) | 2010-09-30 | 2015-11-10 | Kodak Alaris Inc. | Summarizing image collection using a social network |
| US8923607B1 (en) * | 2010-12-08 | 2014-12-30 | Google Inc. | Learning sports highlights using event detection |
| US8949207B2 (en) * | 2010-12-09 | 2015-02-03 | Canon Kabushiki Kaisha | Method and apparatus for decoding encoded structured data from a bit-stream |
| US8643746B2 (en) | 2011-05-18 | 2014-02-04 | Intellectual Ventures Fund 83 Llc | Video summary including a particular person |
| US8665345B2 (en) | 2011-05-18 | 2014-03-04 | Intellectual Ventures Fund 83 Llc | Video summary including a feature of interest |
| US9154813B2 (en) | 2011-06-09 | 2015-10-06 | Comcast Cable Communications, Llc | Multiple video content in a composite video stream |
| US8949901B2 (en) | 2011-06-29 | 2015-02-03 | Rovi Guides, Inc. | Methods and systems for customizing viewing environment preferences in a viewing environment control application |
| JP5887764B2 (ja) * | 2011-08-29 | 2016-03-16 | 株式会社Ｊｖｃケンウッド | 動き補償フレーム生成装置及び方法 |
| US8897553B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Image comparison using color histograms |
| US8897554B2 (en) | 2011-12-13 | 2014-11-25 | The Nielsen Company (Us), Llc | Video comparison using color histograms |
| US8750613B2 (en) | 2011-12-13 | 2014-06-10 | The Nielsen Company (Us), Llc | Detecting objects in images using color histograms |
| EP2642487A1 (en) * | 2012-03-23 | 2013-09-25 | Thomson Licensing | Personalized multigranularity video segmenting |
| US8989503B2 (en) * | 2012-08-03 | 2015-03-24 | Kodak Alaris Inc. | Identifying scene boundaries using group sparsity analysis |
| US9992490B2 (en) | 2012-09-26 | 2018-06-05 | Sony Corporation | Video parameter set (VPS) syntax re-ordering for easy access of extension parameters |
| US10219006B2 (en) | 2013-01-04 | 2019-02-26 | Sony Corporation | JCTVC-L0226: VPS and VPS_extension updates |
| US10419778B2 (en) | 2013-01-04 | 2019-09-17 | Sony Corporation | JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure |
| JP2014146989A (ja) * | 2013-01-29 | 2014-08-14 | Sony Corp | 撮像装置、撮像方法および撮像プログラム |
| US9998750B2 (en) | 2013-03-15 | 2018-06-12 | Cisco Technology, Inc. | Systems and methods for guided conversion of video from a first to a second compression format |
| US9288521B2 (en) | 2014-05-28 | 2016-03-15 | Rovi Guides, Inc. | Systems and methods for updating media asset data based on pause point in the media asset |
| US9799376B2 (en) | 2014-09-17 | 2017-10-24 | Xiaomi Inc. | Method and device for video browsing based on keyframe |
| CN104284240B (zh) * | 2014-09-17 | 2018-02-02 | 小米科技有限责任公司 | 视频浏览方法及装置 |
| US10332564B1 (en) * | 2015-06-25 | 2019-06-25 | Amazon Technologies, Inc. | Generating tags during video upload |
| KR20170098079A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 비디오 녹화 방법 |
| US11915722B2 (en) * | 2017-03-30 | 2024-02-27 | Gracenote, Inc. | Generating a video presentation to accompany audio |
| US11259088B2 (en) * | 2017-10-27 | 2022-02-22 | Google Llc | Previewing a video in response to computing device interaction |
| KR102542788B1 (ko) | 2018-01-08 | 2023-06-14 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| JP7143620B2 (ja) * | 2018-04-20 | 2022-09-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
| US10791376B2 (en) | 2018-07-09 | 2020-09-29 | Spotify Ab | Media program having selectable content depth |
| EP3968636A1 (en) | 2020-09-11 | 2022-03-16 | Axis AB | A method for providing prunable video |
| JP7429016B2 (ja) | 2022-06-23 | 2024-02-07 | ダイキン工業株式会社 | 画像処理方法、コンピュータプログラム及び画像処理装置 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
| US5513306A (en) * | 1990-08-09 | 1996-04-30 | Apple Computer, Inc. | Temporal event viewing and editing system |
| FR2683415B1 (fr) * | 1991-10-30 | 1996-08-09 | Telediffusion Fse | Systeme d'analyse video du montage d'un programme televise diffuse ou enregistre et son utilisation pour les techniques de post production, notamment multilingues. |
| US5283645A (en) * | 1992-02-14 | 1994-02-01 | Intel Corporation | Method and apparatus for detecting dissolve regions in digital video sequences |
| JPH0778804B2 (ja) * | 1992-05-28 | 1995-08-23 | 日本アイ・ビー・エム株式会社 | シーン情報入力システムおよび方法 |
| US5532833A (en) * | 1992-10-13 | 1996-07-02 | International Business Machines Corporation | Method and system for displaying selected portions of a motion video image |
| JP2894113B2 (ja) * | 1992-11-04 | 1999-05-24 | 松下電器産業株式会社 | 画像クラスタリング装置 |
| JP2518503B2 (ja) * | 1993-03-08 | 1996-07-24 | 日本電気株式会社 | 画面切り替え検出方法 |
| US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
| US5550965A (en) * | 1993-12-27 | 1996-08-27 | Lucent Technologies Inc. | Method and system for operating a data processor to index primary data in real time with iconic table of contents |
| US5606655A (en) * | 1994-03-31 | 1997-02-25 | Siemens Corporate Research, Inc. | Method for representing contents of a single video shot using frames |
| US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
| US5635982A (en) * | 1994-06-27 | 1997-06-03 | Zhang; Hong J. | System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions |
| US5600775A (en) * | 1994-08-26 | 1997-02-04 | Emotion, Inc. | Method and apparatus for annotating full motion video and other indexed data structures |
| US5531306A (en) * | 1994-10-05 | 1996-07-02 | Mason; Ray | Spacer for worn clutch brakes |
| US5485611A (en) * | 1994-12-30 | 1996-01-16 | Intel Corporation | Video database indexing and method of presenting video database index to a user |
| US5708767A (en) * | 1995-02-03 | 1998-01-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5821945A (en) * | 1995-02-03 | 1998-10-13 | The Trustees Of Princeton University | Method and apparatus for video browsing based on content and structure |
| US5708732A (en) * | 1996-03-06 | 1998-01-13 | Hewlett-Packard Company | Fast DCT domain downsampling and inverse motion compensation |
-
1997
- 1997-12-19 US US08/994,558 patent/US5956026A/en not_active Expired - Lifetime
-
1998
- 1998-12-17 DE DE69809289T patent/DE69809289T2/de not_active Expired - Lifetime
- 1998-12-17 JP JP2000525829A patent/JP3719933B2/ja not_active Expired - Fee Related
- 1998-12-17 WO PCT/JP1998/005715 patent/WO1999032993A1/en active IP Right Grant
- 1998-12-17 EP EP98961391A patent/EP1040429B1/en not_active Expired - Lifetime
-
1999
- 1999-05-21 US US09/316,599 patent/US5995095A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69809289T2 (de) | 2003-08-28 |
| EP1040429A1 (en) | 2000-10-04 |
| DE69809289D1 (de) | 2002-12-12 |
| JP2001527304A (ja) | 2001-12-25 |
| EP1040429B1 (en) | 2002-11-06 |
| US5995095A (en) | 1999-11-30 |
| WO1999032993A1 (en) | 1999-07-01 |
| US5956026A (en) | 1999-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3719933B2 (ja) | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| US6735253B1 (en) | Methods and architecture for indexing and editing compressed video over the world wide web | |
| US7469010B2 (en) | Extracting key frames from a video sequence | |
| JP4942883B2 (ja) | 動き記述子およびカラー記述子を用いてビデオを要約化する方法 | |
| Meng et al. | CVEPS-a compressed video editing and parsing system | |
| US6912327B1 (en) | Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
| US7027509B2 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
| JP2001526859A (ja) | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア | |
| KR20010089770A (ko) | 동적 임계치를 사용하는 비주얼 인덱싱 시스템에 대한중요 장면 검출 및 프레임 필터링 | |
| Yeo | Efficient processing of compressed images and video | |
| US20010021267A1 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| JP4667697B2 (ja) | 速い動きのシーンを検出する方法及び装置 | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| US20030169817A1 (en) | Method to encode moving picture data and apparatus therefor | |
| Nakajima | A video browsing using fast scene cut detection for an efficient networked video database access | |
| Ratakonda et al. | Hierarchical video summarization | |
| Schonfeld et al. | Vortex: video retrieval and tracking from compressed multimedia databases—multiple object tracking from mpeg-2 bit stream | |
| Fernando et al. | Video segmentation and classification for content-based storage and retrieval using motion vectors | |
| Yeo | On fast microscopic browsing of MPEG-compressed video | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| Gu et al. | Dissolve detection in MPEG compressed video | |
| WO2000079799A9 (en) | Method and apparatus for composing image sequences | |
| AU762791B2 (en) | Extracting key frames from a video sequence | |
| Meng et al. | Searching and editing MPEG-compressed video in a distributed online environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050906 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080916 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |