JP2010533322A - マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造 - Google Patents
マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造 Download PDFInfo
- Publication number
- JP2010533322A JP2010533322A JP2010514763A JP2010514763A JP2010533322A JP 2010533322 A JP2010533322 A JP 2010533322A JP 2010514763 A JP2010514763 A JP 2010514763A JP 2010514763 A JP2010514763 A JP 2010514763A JP 2010533322 A JP2010533322 A JP 2010533322A
- Authority
- JP
- Japan
- Prior art keywords
- signature
- nodes
- signatures
- node
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/61—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
図1は、本発明の種々の特徴を組み込むことのできる典型的なシステム300の概略ブロック図である。本システム300は、ビデオ信号/オーディオ信号のセグメント3a・・・3dのコンテンツを分析し、その信号の信頼できる同一性の証明を生成する。この例では、同一性の証明は、ビデオコンテンツを特定するビデオシグネチャ199a・・・199dのセットを生成するビデオシグネチャ生成器100と、オーディオコンテンツを特定するオーディオシグネチャ299a・・・299dのセットを生成するオーディオシグネチャ生成器200とによって、もたらされる。
シグネチャを生成するために種々のプロセスを用いることができる。このシグネチャを生成するプロセスの選択如何により、システムの能力に関して実際には顕著な影響を及ぼすかも知れないが、本発明において本質的に特定のプロセスを必要とするわけではない。例えば、先に引用した特許出願に記載されたプロセスを、ビデオシグネチャ及びオーディオシグネチャを生成するために用いることができる。
テストコンテンツと参照コンテンツとの緊密な位置合わせはテストシグネチャセットと参照シグネチャセットとの意味のある比較を行うために重要である。比較の精度又は解像度は、シグネチャセットを生成するプロセスの解像度又はステップサイズにより制限される。例えば、各オーディオシグネチャが10msecのオーディオコンテンツを表現しているならば、1つのシグネチャと同じステップサイズを持つ一連のシグネチャセットを生成することにより、10msecの解像度をもつ一群のシグネチャセットを取得することができる。一例を図2に示す。この例では、シグネチャ5のシーケンスは、それぞれ10msecのコンテンツを表す12個のシグネチャS1,S2,・・・,S12からなる。一連のシグネチャセットSS1,SS2,・・・,SS4は、各々、90msecのコンテンツに対応する隣り合う9個のシグネチャを有する。各シグネチャセットの範囲は、シグネチャ5のシーケンス内で、各シグネチャの始まりと終わりを示す細線で示されている。
多くのアプリケーションは、テストシグネチャセットに似ているが同じではない参照シグネチャセットを探すプロセスを実行する。発生源を共通にするテストコンテンツ及び参照コンテンツのシグネチャセットは、2つのうちのどちらか又は両方の理由により、一般に同一ではない。第1の理由はテストコンテンツと参照コンテンツとは同一でない可能性があることであり、一方は他方を修正したものであることがあるからである。第2の理由は、テストコンテンツと参照コンテンツとが同一であったとしても、そのシグネチャを生成させるのに用いられたコンテンツセグメントが正確に整列されていなかったかもしれないからである。これらのうちのどちらか又は両方の理由により、異なったコンテンツのセグメントがテストシグネチャと参照シグネチャを生成するために用いられ、したがって、テストコンテンツと参照コンテンツとが同一の発生源からのものであっても、テストコンテンツと参照コンテンツについて生成されたシグネチャとシグネチャセットが一般に同一にはならない。2つの信号のコンテンツがお互いに同一であるか又は違ってはいるが同じオリジナルコンテンツの異なったバージョンを表す場合、2つの異なる信号のコンテンツは、「起源を共有する」と称される。
シグネチャセットのデータ構造及びその要素のシグネチャのいくつかの形式は検索を簡単にするために使うべきである。使うことのできるデータ構造の1つの形式として、ルート付きツリー構造が知られている。
1.記憶
本発明の種々の特徴を、ルート付きツリー構造を表すデータを記憶するのに必要な記憶容量を減少させるために用いることができる。
以下に説明する例では、ツリー中の中間的なノードは8ビットのシグネチャデータを表すと仮定している。ルートノードのすぐ下の、ツリーのレベル1は、(28)1=256個のノードを持つことができる。レベル1のすぐ下の、レベル2は、(28)2=65,536個のノードを持つことができる。レベル2のすぐ下の、レベル3は、(28)3=16,777,216個のノードを持つことができる。このツリーが10億のシグネチャセットを表す場合、各レベル3ノードの下に平均して約60個のリーフノードがある。レベル3ノードはすべて存在すると思われる。レベル1のノードとレベル2のノードとはほぼすべて存在することは間違いない。言い換えれば、レベル1とレベル2とレベル3にあるノードを表現するためには完全ツリー構造が必要になると思われる。
多くのアプリケーションにおいて、ルート付きツリー構造はリーフノードに近い低いレベルではまばらになっている。一般に、子が1つしかない特定の経路に沿う2以上の隣り合うレベルにノードがある。子が1つしかない一連のノードを記録するのに必要な記憶量は、個々のノードを表すデータを記憶させることより、ノードの表示を結合又は圧縮したものを表現するデータを記憶することにより、減らすことができる。例えば、存在しない下位リンクを記録するための各ノードの記憶装置は必要ではない。一連のノードは、圧縮された構造の最初のレベルすなわち最高位のレベルのノード、圧縮された構造により表されるノードの番号すなわちノードのレベル、及び、これらのノード間の孤立したリンクをトラバースするあいだに遭遇する一連の値すなわちリンク基準を特定する圧縮された構造により表現することができる。
多くのアプリケーションのツリー構造は非常に多くのシグネチャセットを表現する。前述のMillerの論文に記載されているオーディオコンテンツの典型的な実施の形態において、各シグネチャセットは1024バイトのデータからなる。もし、あるアプリケーションで10億(109)のリーフノードと、各リーフノードにつき1つのシグネチャセットを持つツリー構造するとするなら、そのシグネチャセット構成するデータを記録するために、1テラバイト(1012バイト)以上の容量の記憶装置が必要となる。
関連するオーディオコンテンツとビデオコンテンツとを時間配置における誤差を測定し修正するためにシグネチャセットを用いる同期システムでは、各ビデオシグネチャセットとオーディオシグネチャセットに対応するビデオコンテンツとオーディオコンテンツ内の位置を定める情報を必要とする。この位置情報は、所望のどんな方法ででも得ることができる。2つの好ましい方法をここで説明する。
シグネチャセットの位置情報を提供するひとつの方法は、構成要素となっているシグネチャがつくられたとき、シグネチャセットによって表されるコンテンツの位置を特定し、そのシグネチャセットに対応するリーフノードに関連づけられたこの位置を、記憶装置に記録する。例えば、位置情報は、コンテンツに埋め込まれた時間コードとして、又はコンテンツの開始からの相対時間として表現することができ、あるいは、この位置情報は、コンテンツの開始からの相対的なフレーム数、ブロック数、又はバイト数のようなものとして、位置を表現することができる。
シグネチャセットの位置情報を提供するもう1つの方法では、そのシグネチャセットに対応するリーフノードと関連づけられたシグネチャポインターから、シグネチャセットにより表されるコンテンツの位置を導き出す。リーフノードと関連づけられたシグネチャポインターは、シグネチャのシーケンス内に関連するシグネチャセットの位置を参照する。この位置は、シグネチャセット中のシグネチャが導き出されたコンテンツセグメントの相対位置に直接関連がある。1実施の形態において、シグネチャポインターは、シグネチャの第1のシグネチャの位置を参照する。この実施の形態の例を図9に概略的に示す。
上述のルート付きツリー構造は、以下の章で説明するアプリケーションを含む種々のアプリケーションで用いることができる。
コンテンツを特定するアプリケーションのいくつかの例には、許可されていないコピーを検出するもの、及び特定のコンテンツの送信又は受信を確認するものが含まれる。
ビデオコンテンツとオーディオコンテンツのストリームは、記録又は作成されるときにはそれぞれ同期しているのがふつうであるが、その後の処理で同期が失われることがある。テレビジョン放送システムにおいて、例えば、同期させたビデオコンテンツとオーディオコンテンツは、送信のために一緒に組み立てられる前に2つの異なる経路を通すために分離することがある。2つの経路での異なる処理により同期化損失が生じる。ストリームは手動で再同期することができるが、これは単調で誤差を生じやすい。上述した位置情報を含むルート付きツリー構造は、自動的に同期化ができるシステムに用いることができる。放送システムにおいて、例えば、放送する直前の送信器又は聞く直前の受信器を含む、システムのどのような場所ででも同期を復元することができる。
図4は、同期したビデオストリームとオーディオストリームからビデオシグネチャセットとオーディオシグネチャセット及び調整情報を生成する典型的な捕捉装置350である。ビデオコンテンツとオーディオコンテンツ及びビデオストリームとオーディオストリームはここでは、参照コンテンツ及び参照ストリームと称する。参照ストリームから得られたシグネチャセット及び調整情報は、ここでは、それぞれ参照シグネチャセット及び参照調整情報のように称する。ビデオシグネチャセットは、ビデオシグネチャ生成装置100から取得し、続いて同期装置に使ってもらうために経路190に沿って送られる。オーディオシグネチャセットは、オーディオシグネチャ生成装置200から取得し、続いて同期装置により使ってもらうために経路290に沿って送られる。ビデオシグネチャセットとオーディオシグネチャセットを生成するために用いることのできる技術は、前述の特許出願に記載されている。
テストコンテンツと参照コンテンツと相対的時間差は参照コンテンツ全体の継続時間よりはるかに小さい。多くの実施において、この相対的時間差は数秒程度である。したがって、調整のための参照シグネチャセットの検索は、テストシグネチャセットのために特定されたテスト位置である数秒以内の参照コンテンツを表す少ない数の参照シグネチャセットに限定することができる。結果として、上述の同期アプリケーションの効率は、数少ない参照シグネチャセットを表すノードとリンクを有する部分的なルート付きツリー構造を用いることにより改善することができる。
既構成・部分ツリー構造のセットは、参照コンテンツのいくつかの区間で、シグネチャセットの検索を繰り返すアプリケーションにおいて魅力的となることがある。このような状況は、ほんの少数の参照コンテンツのセグメントに対して多くのテストコンテンツのストリームの同一性を検査するとか、ほんの少数の参照ビデオ/オーディオコンテンツのセグメントからの調整情報を用いてテストビデオ/オーディオコンテンツに多くの修正を加えるアプリケーションにおいて生じることがある。
既構成・部分ツリー構造の使用は、一般に、多くの異なる参照コンテンツの区間についてのシグネチャセットを検索するために必要なアプリケーションにとって魅力的ではない。このような状況は、多くの参照コンテンツのセグメントに対してテストコンテンツの同一性を検査するとか、多くの参照ビデオ/オーディオコンテンツのセグメントからの調整情報を用いてテストビデオ/オーディオコンテンツに修正を加えなければならないアプリケーションにおいて生じることがある。
(1)一群の選択された参照シグネチャを定めるために参照シグネチャのシーケンスに沿って選択窓を前進させるステップと、
(2)選択窓を前進させた結果として新たに選択窓に入った参照シグネチャのシーケンス内の新しい参照シグネチャを特定するステップと、
(3)一群の選択された参照シグネチャに新しい参照シグネチャを追加するステップと、
(4)新しい参照シグネチャで終了する一群の選択された参照シグネチャ中の一連の参照シグネチャを具備する参照シグネチャセットのコレクションに新しい参照シグネチャを追加するステップと、
(5)新しいリーフノードと1以上の新しいリンクをツリー構造に追加するステップであって、新しいリーフノードは新しい参照シグネチャセットに対応し、1以上の新しいリンクは、ツリー構造中の他のノードとこの1以上の新しいノードとを結合することを特徴とするステップと、
(6)選択窓を前進させた結果得られた選択窓から外れた新たな、参照シグネチャのシーケンス中の古い参照シグネチャを特定するステップと、
(7)一群の選択された参照シグネチャから古い参照シグネチャを削除するステップと、
(8)参照シグネチャセットのコレクションから、一連の参照シグネチャを具備し古い参照シグネチャから始まる古い参照シグネチャセットを削除するステップと、
(9)ツリー構造から、古いリーフノードと1以上の古いリンクを含む古いノードを除去するステップであって、古いリーフノードは古い参照シグネチャセットに対応し、1以上の古いリンクはツリー構造中の他のノードと1以上の古いノードとを結合することを特徴とするステップと、
を具備する。
本発明のさまざまな特徴を組み込んだ装置は、コンピュータ又は汎用コンピュータに見られる構成要素と同様な構成要素と結合したディジタル信号プロセッサ(DSP)回路のような専用化した構成要素を含む他の装置により実行させるソフトウェアを含むさまざまな方法で実施することができる。図13は、本発明の特徴を実施するために用いることのできる装置の概略ブロック図である。プロセッサ72は計算手段を提供する。RAM73は処理のためのプロセッサ72により用いられるランダムアクセスメモリ(RAM)のシステムである。ROM74は、装置を動作させるのに必要なプログラムを保存するための、及び、おそらく本発明のさまざまな特徴を実行することのできるリードオンリーメモリ(ROM)のような固定記憶の形態を示す。I/O制御75は、通信チャンネル76,77を用いて信号を受信し送信するインターフェース回路を示す。図示の実施の形態では、すべての主要なシステム構成要素は、2以上の物理的または論理的バスを表すバス71に接続されているが、バス構成は本発明を実施するためにからなずしも必要ではない。
Claims (16)
- (a)人の知覚に対する刺激を表現する参照コンテンツのセグメントのシーケンスを表す参照シグネチャのシーケンスに沿って選択窓を前進させるステップであって、該選択窓の中にある参照シグネチャは、一群の選択された参照シグネチャの構成要素であることを特徴とするステップと、
(b)ルート付きツリー構造中のノードと結合するノードとリンクを、参照シグネチャセットのコレクション中の参照シグネチャセットのメンバーシップの変化を反映させるために修正するステップであって、前記参照シグネチャセットのコレクション中の各参照シグネチャセットは、前記一群の選択された参照シグネチャ内の一連の参照シグネチャを具備し、前記ルート付きツリー構造中のノードは、前記一連の参照シグネチャ中の参照シグネチャと関連し、前記ノードのいくつかはそれぞれのシグネチャセットに対応するリーフノードであることを特徴とするステップと、
(c)前記テストコンテンツの一連のセグメントを表す一連のテストシグネチャからなるテストシグネチャを取得するステップと、
(d)参照シグネチャに対応し、閾値を越えるテストシグネチャセットとの類似の程度を提供する、整合リーフノードが前記ルート付きツリー構造中にあるかどうかを判断するために前記リンクをトラバースするステップと、
(e)前記ルート付きツリー構造中に整合ノードが存在するかどうかを示す整合状態を生成するステップと、
を具備することを特徴とする人の知覚に対する刺激を表現するテストコンテンツを特定する方法。 - 前記ステップ(a)は、1つの参照シグネチャと等しい区間だけ参照シグネチャのシーケンスに沿って前記選択窓を前進させ、
前記ステップ(b)は、
前記選択窓を前進させた結果として新たに前記選択窓内に入った参照シグネチャのシーケンス中に、新たな参照シグネチャを特定するステップと、
前記一群の選択された参照シグネチャに前記新たな参照シグネチャを加えるステップと、
前記参照シグネチャセットのコレクションに新たな参照シグネチャセットを加えるステップであって、前記新たな参照シグネチャセットは、前記新たな参照シグネチャで終わる前記一群の選択された参照シグネチャ中の一連の参照シグネチャからなることを特徴とするステップと、
新たなリーフノードと1以上の新たなリンクを含む1以上の新たなノードを前記ルート付きツリー構造中に加えるステップであって、前記新たなリーフノードは、前記新たな参照シグネチャセットに対応し、前記1以上の新たなリンクは、前記ルート付きツリー構造中の他のノードと前記1以上の新たなノードとを結合することを特徴とするステップと、
前記選択窓を前進させた結果として新たに前記選択窓から外れた参照シグネチャのシーケンス中に、古い参照シグネチャを特定するステップと、
前記一群の選択された参照シグネチャから前記古い参照シグネチャを削除するステップと、
前記参照シグネチャセットのコレクションから古い参照シグネチャセットを削除するステップであって、前記古い参照シグネチャセットは、前記古い参照シグネチャから始まる一連の参照シグネチャからなることを特徴とするステップと、
古いリーフノードと1以上の古いリンクを含む1以上の古いノードを削除するステップであって、前記古いリーフノードは、前記古い参照シグネチャセットに対応し、前記1以上の古いリンクは、前記ルート付きツリー構造中の他のノードと前記1以上の古いノードとを結合することを特徴とするステップと、
を具備することを特徴とする、
請求項1に記載の方法。 - 前記参照コンテンツのセグメントのシーケンス内に対応する位置を特定する、整合リーフに関連する参照位置情報を取得するステップを具備することを特徴とする請求項1又は請求項2に記載の方法。
- 前記参照位置情報は、前記一連の参照シグネチャ中の対応する位置を特定することを特徴とする請求項3に記載の方法。
- 前記一連の参照シグネチャ中の対応する位置とは、前記整合リーフノードにより表される参照シグネチャセットの構成要素となる一連のシグネチャ中に特定されたシグネチャの位置であることを特徴とする請求項4に記載の方法。
- 前記テストコンテンツのセグメントのシーケンス内に対応する位置を特定するテストシグネチャセットと関連するテスト位置情報を取得するステップと、
前記参照位置情報により特定される位置と前記テスト位置情報により特定される位置とのずれを導き出すステップと、
前記ずれを表す信号を生成するステップと、
を具備することを特徴とする請求項3乃至請求項5のいずれか1項に記載の方法。 - (a)人の知覚に対する刺激を表現する参照コンテンツのセグメントのシーケンスを表す参照シグネチャのシーケンス内に選択窓を確立するステップであって、該選択窓の中にある参照シグネチャは、前記参照コンテンツの一部を表す一群の選択された参照シグネチャの構成要素であることを特徴とするステップと、
(b)参照シグネチャセットのコレクション中の参照シグネチャセットのメンバーシップを反映させるために、ルートと、複数のノードと、該ノードを結合する複数のリンクからなるルート付きツリー構造を構築するステップであって、前記参照シグネチャセットのコレクション中の各参照シグネチャセットは、前記一群の選択された参照シグネチャ内の一連の参照シグネチャを具備し、前記ルート付きツリー構造中のノードは、前記一連の参照シグネチャ中の参照シグネチャと関連し、前記ノードのいくつかはそれぞれのシグネチャセットに対応するリーフノードであることを特徴とするステップと、
(c)前記ルート付きツリー構造中の前記ルートと前記ノードと前記リンクとを表すデータ構造を記録するステップと、
(d)参照シグネチャのシーケンス内の前記選択窓の位置を表し、前記データ構造を参照する位置指標を記録するステップと、
(e)前記参照コンテンツの異なる部分に対する複数の選択窓の位置に複数のルート付きツリー構造を構築するため、及び、前記複数のルート付きツリー構造と前記複数の選択窓の位置を表す、それぞれのデータ構造とそれぞれの位置指標を記録するために、(a)から(d)までのステップを繰り返すステップと、
を具備することを特徴とする人の知覚に対する刺激を表現するコンテンツを特定するために用いるツリー構造を構築する方法。 - (a)選択窓の隣り合う位置が重複するように、選択窓の長さより小さい区間だけ参照シグネチャのシーケンスに沿って選択窓を前進させることにより、複数の選択窓の位置を確立するステップを繰り返すステップと、
(b)前記選択窓を前進させた結果として新たに前記選択窓内に入った参照シグネチャのシーケンス中に、新たな参照シグネチャを特定するステップと、
前記一群の選択された参照シグネチャに前記新たな参照シグネチャを加えるステップと、
前記参照シグネチャセットのコレクションに新たな参照シグネチャセットを加えるステップであって、前記新たな参照シグネチャセットは、前記新たな参照シグネチャで終わる前記一群の選択された参照シグネチャ中の一連の参照シグネチャからなることを特徴とするステップと、
新たなリーフノードと1以上の新たなリンクを含む1以上の新たなノードを前記ルート付きツリー構造中に加えるステップであって、前記新たなリーフノードは、前記新たな参照シグネチャセットに対応し、前記1以上の新たなリンクは、前記ルート付きツリー構造中の他のノードと前記1以上の新たなノードとを結合することを特徴とするステップと、
前記選択窓を前進させた結果として新たに前記選択窓から外れた参照シグネチャのシーケンス中に、古い参照シグネチャを特定するステップと、
前記一群の選択された参照シグネチャから前記古い参照シグネチャを削除するステップと、
前記参照シグネチャセットのコレクションから古い参照シグネチャセットを削除するステップであって、前記古い参照シグネチャセットは、前記古い参照シグネチャから始まる一連の参照シグネチャからなることを特徴とするステップと、
古いリーフノードと1以上の古いリンクを含む1以上の古いノードを削除するステップであって、前記古いリーフノードは、前記古い参照シグネチャセットに対応し、前記1以上の古いリンクは、前記ルート付きツリー構造中の他のノードと前記1以上の古いノードとを結合することを特徴とするステップと、
を具備するステップを繰り返すステップと、
を具備することを特徴とする請求項7に記載の方法。 - 前記参照コンテンツのセグメントのシーケンス内に対応する位置を特定する、リーフノードの参照位置情報を取得するステップを具備することを特徴とする請求項7又は請求項8に記載の方法。
- 前記参照位置情報は、前記一連の参照シグネチャ中の対応する位置を特定することを特徴とする請求項9に記載の方法。
- 前記一連の参照シグネチャ中の対応する位置とは、前記整合リーフノードにより表される参照シグネチャセットの構成要素となる一連のシグネチャ中に特定されたシグネチャの位置であることを特徴とする請求項10に記載の方法。
- 人の知覚に対する刺激を表現するコンテンツを特定するための装置であって、該装置は請求項1乃至請求項11のいずれか1項に記載の各ステップを実行するデータ処理回路を具備することを特徴とする装置。
- 人の知覚に対する刺激を表現するコンテンツを特定するための方法を実行するための装置により実行可能な命令プログラムを伝達する媒体であって、該方法は請求項1乃至請求項11のいずれか1項に記載の各ステップを実行することを特徴とする媒体。
- ルートノードと、複数の単一レベルノードと、人の知覚に対する刺激を表現するコンテンツのセグメントのシーケンスに対応するシグネチャのシーケンスを表すデータ要素のストリング中の、データ要素のサブストリングにそれぞれが関連する1以上の多レベルノードと、を具備する複数のノードであって、
各単一レベルノードは、固定数量のデータ要素に等しい長さを持つデータ要素のそれぞれのストリングに対応し、
各多レベルノードは、前記固定数量のデータ要素2倍以上の整数に等しい長さを持つデータ要素のそれぞれのサブストリングに対応し、
前記単一レベルノードの少なくともいくつかはリーフノードであるか、又は、前記多レベルノードの少なくともいくつかはリーフノードを表し、各リーフノードは、前記コンテンツの一部を特定するそれぞれのシグネチャセットの要素となるシグネチャのシーケンス中のすべてのシグネチャを表すデータ要素のストリングと関連する、
ことを特徴とする、複数のノードと、
前記複数のノード中のノード同士を結合させる複数のリンクであって、
各リンクは1組のノードを結合させ、
すべてのノードは他のノードと結合し、
いくつかのノードはルートノードと結合している、
ことを特徴とする、複数のリンクと、
シグネチャのシーケンスを表すデータ要素のストリング内の、多レベルノードと参照位置とに関連する複数のポインターであって、それぞれのノードに関連するポインターは、それぞれのノードに関連する一連のシグネチャの中の最初のシグネチャを表すデータ要素のサブストリングの位置を参照する、
ことを特徴とする、複数のポインターと、
を具備することを特徴とする、ルート付きツリー構造を表すデータを記録する媒体。 - 前記単一レベルノードの少なくともいくつかはリーフノードであり、前記多レベルノードの少なくともいくつかはリーフノードを表すことを特徴とする、請求項14に記載の媒体。
- 前記複数のポインター中のいくつかのポインターは、リーフノードである単一レベルノードと関連していることを特徴とする請求項14に記載の媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US93732007P | 2007-06-27 | 2007-06-27 | |
US60/937,320 | 2007-06-27 | ||
PCT/US2008/007686 WO2009005602A2 (en) | 2007-06-27 | 2008-06-20 | Incremental construction of search tree with signature pointers for identification of multimedia content |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010533322A true JP2010533322A (ja) | 2010-10-21 |
JP5241832B2 JP5241832B2 (ja) | 2013-07-17 |
Family
ID=40226712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010514763A Expired - Fee Related JP5241832B2 (ja) | 2007-06-27 | 2008-06-20 | マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8312051B2 (ja) |
EP (1) | EP2171615A2 (ja) |
JP (1) | JP5241832B2 (ja) |
CN (1) | CN101743512B (ja) |
WO (1) | WO2009005602A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014126883A (ja) * | 2012-12-25 | 2014-07-07 | Nippon Telegr & Teleph Corp <Ntt> | 部分的木構造に応じた適応型再構成装置及び方法及びプログラム |
JP2021106003A (ja) * | 2015-06-12 | 2021-07-26 | ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー | 自動コンテンツ認識のフィンガープリントマッチングにおけるチャンネル変更の検出 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2030131A1 (en) * | 2006-06-06 | 2009-03-04 | Haskolinn I Reykjavik | Data mining using an index tree created by recursive projection of data points on random lines |
US8458737B2 (en) | 2007-05-02 | 2013-06-04 | The Nielsen Company (Us), Llc | Methods and apparatus for generating signatures |
CA2717723C (en) | 2008-03-05 | 2016-10-18 | The Nielsen Company (Us), Llc | Methods and apparatus for generating signatures |
US8571255B2 (en) | 2009-01-07 | 2013-10-29 | Dolby Laboratories Licensing Corporation | Scalable media fingerprint extraction |
US20110067066A1 (en) | 2009-09-14 | 2011-03-17 | Barton James M | Multifunction Multimedia Device |
US8549398B2 (en) * | 2009-09-17 | 2013-10-01 | International Business Machines Corporation | Method and system for handling non-presence of elements or attributes in semi-structured data |
KR101777347B1 (ko) * | 2009-11-13 | 2017-09-11 | 삼성전자주식회사 | 부분화에 기초한 적응적인 스트리밍 방법 및 장치 |
US8682145B2 (en) | 2009-12-04 | 2014-03-25 | Tivo Inc. | Recording system based on multimedia content fingerprints |
US8463797B2 (en) * | 2010-07-20 | 2013-06-11 | Barracuda Networks Inc. | Method for measuring similarity of diverse binary objects comprising bit patterns |
KR101110202B1 (ko) * | 2010-08-02 | 2012-02-16 | (주)엔써즈 | 동영상 데이터들의 상호 관계에 기초한 데이터베이스 형성 방법 및 데이터베이스 형성 시스템 |
US9113202B1 (en) * | 2011-09-21 | 2015-08-18 | Google Inc. | Inverted client-side fingerprinting and matching |
FR2983600B1 (fr) * | 2011-12-01 | 2014-02-07 | Airbus Operations Sas | Procede et systeme de surveillance d'une interface graphique dans un cockpit d'aeronef |
JP2015500345A (ja) * | 2011-12-16 | 2015-01-05 | トランスポサジェン・バイオファーマシューティカルズ・インコーポレイテッドTransposagen Biopharmaceuticals, Inc. | 疼痛の治療または予防に使用されるtrpc4調節因子 |
US9202255B2 (en) * | 2012-04-18 | 2015-12-01 | Dolby Laboratories Licensing Corporation | Identifying multimedia objects based on multimedia fingerprint |
US9871606B1 (en) | 2013-05-13 | 2018-01-16 | Twitter, Inc. | Identification of concurrently broadcast time-based media |
US9336227B2 (en) * | 2013-10-07 | 2016-05-10 | Sap Se | Selective synchronization in a hierarchical folder structure |
US9323865B2 (en) * | 2013-12-24 | 2016-04-26 | TCL Research America Inc. | Content alignment method and system |
WO2015134452A1 (en) * | 2014-03-04 | 2015-09-11 | Interactive Intelligence Group, Inc. | Optimization of audio fingerprint search |
KR102244135B1 (ko) * | 2014-09-05 | 2021-04-23 | 삼성전자주식회사 | 모듈로 스케줄링 방법 및 장치 |
US9900636B2 (en) * | 2015-08-14 | 2018-02-20 | The Nielsen Company (Us), Llc | Reducing signature matching uncertainty in media monitoring systems |
GB2547249B (en) * | 2016-02-12 | 2019-09-11 | Advanced Risc Mach Ltd | An apparatus and method for generating signed bounded pointers |
US10909173B2 (en) * | 2016-12-09 | 2021-02-02 | The Nielsen Company (Us), Llc | Scalable architectures for reference signature matching and updating |
US10970193B2 (en) | 2018-05-23 | 2021-04-06 | Dropbox, Inc. | Debugging a client synchronization service |
US10747643B2 (en) * | 2018-05-23 | 2020-08-18 | Dropbox, Inc. | System for debugging a client synchronization service |
US11648621B2 (en) | 2018-11-02 | 2023-05-16 | Illinois Tool Works Inc. | Systems and methods to design part weld processes using media libraries |
WO2021171259A1 (en) * | 2020-02-27 | 2021-09-02 | Ssimwave Inc. | Real-time latency measurement of video streams |
CN112347272B (zh) * | 2020-09-18 | 2023-03-10 | 国家计算机网络与信息安全管理中心 | 一种基于音视频动态特征的流式匹配方法和装置 |
CN113704539A (zh) * | 2021-09-09 | 2021-11-26 | 北京跳悦智能科技有限公司 | 一种视频序列存储与搜索方法及***、计算机设备 |
US11683561B2 (en) * | 2021-10-29 | 2023-06-20 | The Nielsen Company (Us), Llc | Methods and apparatus to create candidate reference signatures from signature fragments |
CN116662645B (zh) * | 2023-04-28 | 2024-07-16 | 青岛尘元科技信息有限公司 | 视频事件溯源分析方法和***、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172693A (ja) * | 1998-12-01 | 2000-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2001109471A (ja) * | 1999-10-12 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2824159B1 (fr) | 2001-04-30 | 2003-07-25 | France Telecom | Indexation dans une description de document multimedia |
WO2003067467A1 (en) | 2002-02-06 | 2003-08-14 | Koninklijke Philips Electronics N.V. | Fast hash-based multimedia object metadata retrieval |
EP2030131A1 (en) * | 2006-06-06 | 2009-03-04 | Haskolinn I Reykjavik | Data mining using an index tree created by recursive projection of data points on random lines |
US7823094B2 (en) * | 2007-01-09 | 2010-10-26 | International Business Machines Corporation | Pseudo-string based pattern recognition in L3GO designs |
US8245209B2 (en) * | 2007-05-29 | 2012-08-14 | International Business Machines Corporation | Detecting dangling pointers and memory leaks within software |
-
2008
- 2008-06-20 CN CN2008800220076A patent/CN101743512B/zh not_active Expired - Fee Related
- 2008-06-20 US US12/666,135 patent/US8312051B2/en not_active Expired - Fee Related
- 2008-06-20 EP EP08768657A patent/EP2171615A2/en not_active Withdrawn
- 2008-06-20 WO PCT/US2008/007686 patent/WO2009005602A2/en active Application Filing
- 2008-06-20 JP JP2010514763A patent/JP5241832B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172693A (ja) * | 1998-12-01 | 2000-06-23 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2001109471A (ja) * | 1999-10-12 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
Non-Patent Citations (1)
Title |
---|
JPN6012029443; Miller, M.L.: 'Audio fingerprinting: nearest neighbor search in high dimensional binary spaces' Multimedia Signal Processing, 2002 IEEE Workshop on , 20021211, pp.182-185 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014126883A (ja) * | 2012-12-25 | 2014-07-07 | Nippon Telegr & Teleph Corp <Ntt> | 部分的木構造に応じた適応型再構成装置及び方法及びプログラム |
JP2021106003A (ja) * | 2015-06-12 | 2021-07-26 | ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー | 自動コンテンツ認識のフィンガープリントマッチングにおけるチャンネル変更の検出 |
JP7216756B2 (ja) | 2015-06-12 | 2023-02-01 | ロク インコーポレイテッド | 自動コンテンツ認識のフィンガープリントマッチングにおけるチャンネル変更の検出 |
Also Published As
Publication number | Publication date |
---|---|
US8312051B2 (en) | 2012-11-13 |
EP2171615A2 (en) | 2010-04-07 |
JP5241832B2 (ja) | 2013-07-17 |
CN101743512B (zh) | 2012-09-05 |
WO2009005602A2 (en) | 2009-01-08 |
CN101743512A (zh) | 2010-06-16 |
US20110022638A1 (en) | 2011-01-27 |
WO2009005602A3 (en) | 2009-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241832B2 (ja) | マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造 | |
US8594392B2 (en) | Media identification system for efficient matching of media items having common content | |
JP4398242B2 (ja) | 録音の多段階識別方法 | |
CN101821734B (zh) | 时基媒体之间的匹配的检测和分类 | |
CN102170455B (zh) | 用于在本地装置和远程装置间更新对象的方法和*** | |
US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
US8521759B2 (en) | Text-based fuzzy search | |
US20130326573A1 (en) | Video Identification And Search | |
EP2657884B1 (en) | Identifying multimedia objects based on multimedia fingerprint | |
JP2020027649A (ja) | エンティティ関係データ生成方法、装置、機器、及び記憶媒体 | |
TW200402654A (en) | A system and method for providing user control over repeating objects embedded in a stream | |
BRPI0112901B1 (pt) | métodos para reconhecer uma amostra de áudio, e, sistema de computador para realizar o mesmo | |
CN109522316B (zh) | 日志处理方法、装置、设备和存储介质 | |
CN107533850A (zh) | 音频内容识别方法和装置 | |
JP5296598B2 (ja) | 音声情報抽出装置 | |
CN104572952A (zh) | 直播多媒体文件的识别方法及装置 | |
EP1067786A1 (en) | Data describing method and data processor | |
KR100896336B1 (ko) | 영상 정보 기반의 동영상 연관 검색 시스템 및 방법 | |
KR20120090101A (ko) | 디지털 비디오 고속 정합 시스템 | |
WO2002035388A1 (fr) | Appareil de transmission d'informations de recherche | |
Toklu et al. | Videoabstract: a hybrid approach to generate semantically meaningful video summaries | |
US20130198215A1 (en) | Method for Forming Database on Basis of Relationship Between Video Data, and Database Formation System | |
KR20080107143A (ko) | 오디오 신호처리 기반의 음악 및 동영상 추천 시스템 및방법 | |
JP3997882B2 (ja) | 映像の検索方法および装置 | |
JP2009022018A (ja) | 映像の検索方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |