JP2008522522A

JP2008522522A - ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品

Info

Publication number: JP2008522522A
Application number: JP2007543896A
Authority: JP
Inventors: マーティンベイトマン
Original assignee: ザユニバーシティーコートオブザユニバーシティーオブセントアンドリューズ
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2008-06-26
Anticipated expiration: 2024-11-30
Also published as: EP1817908A1; DE602004030726D1; AU2004325369B2; CA2627267A1; JP4951521B2; ATE492988T1; EP1817908B1; WO2006059053A1; CA2627267C; AU2004325369A1

Abstract

本発明は、ビデオ内のモーションを特定し、特定したモーションを計測してフィンガープリントとして使用することを含むビデオをフィンガープリントするための方法を提供する。一旦ビデオをフィンガープリントすると、それらのフィンガープリントは、ビデオを識別するための方法に使用できる。この方法は、未識別ビデオのモーションフィンガープリントを作成し；既知のビデオフィンガープリントと未知のそれとを照合し；照合工程に基づいて、未知ビデオが既知ビデオのコピーかどうかを識別することから成る。

Description

本発明は、ビデオをフィンガープリントし、そのフィンガープリントを利用してオリジナルビデオファイルのコピーを識別（同定）するシステム及び方法に関する。

コンピュータ機器並びにピアートゥピアー方式の発達・普及に伴い、インターネットを通じてコピーされる映画ファイルの数が爆発的に増えている。通信量全体の60パーセントをピアートゥピアー方式の通信が占め、さらに、その大部分が正規の映画を不法にコピーした映画ファイルだと言われている。その結果、著作権所有者は、印税から生じる利益に重大な損害を被っている。ピアートゥピアー・ネットワーク所有者に対する訴訟は、一つのネットワークを消滅させても、新しいネットワークがすぐに出現するという状況で、著作権侵害を阻止する手段としてはあまり効果がない。

従来、ピアートゥピアー方式における映画の違法ダウンロードには４つのソースがある。第1の手法は、映画館に手のひらサイズのビデオカメラを持ち込み、スクリーンに映写される映画を録画・録音するものである。"スターウォーズ・エピソード１：ファントム・メナス(Starwars Episode 1: The Phantom Menace)"はこのやり方でコピーされ、アメリカでの封切から1週間以内にインターネットで利用可能となった。このような録画・録音は、典型的に音声と画像の質が最も劣る。他の手法では、テレビ放送から映画をコピーするものである。この場合、典型的に、テレビ放送局のロゴの形で視認できるウォーターマークが既に含まれている。このタイプのビデオファイルは、ノイズの多いアナログ信号から録画しているため、質にばらつきがある。しかし、ＭＰＥＧ−２を使用した衛星放送やケーブルなどのデジタル放送から録画するケースが増えている。非合法映画フィルムのさらに別のソースとして、"スクリーナ"と呼ばれるものがある。これらは、例えば評論家や検閲官向けに試写される、封切前のプレビューのコピーである。最後は、デジタル多目的ディスク（DVD）の小売版から作成された違法コピーで、一般に売られているものである。これらのコピーは、クリーンソースからのメディアをエンコードするのに多大な時間をかけるため、典型的に録画の質が最も高い。

多くの様々な手法による映画の非合法コピーや流通を阻止するために、多様なデジタルフィンガープリント技術が開発されている。デジタルフィンガープリントとはデジタルウォーターマーキングの一種で、典型的に、著作権所有者を独自に識別するために文書内に埋め込まれたデータを伴う。ビデオウォーターマーキングの公知技術は、静止画像用に開発された技術から生まれたものである。こうした技術の一つは、ビデオを一連の静止画像と見做し、既存のウォーターマーキング方式を静止画像からビデオに適応させたものである。例えば、1998年刊行の『画像通信及び画像表現ジャーナル９（Journal of Visual Communication and Image Representation 9）』４巻（256−270頁）に記載のランジェラー（Langelaar）他著による"ＭＰＥＧ−２圧縮ビデオのリアルタイムラベリング（Real-time labeling of MPEG-2 compressed video）"は、ＭＰＥＧストリームのＩフレームをウォーターマーキングすることでビデオに適応させる技術を開示し、これを参照の形で本明細書に組み入れる。このようなウォーターマーキング技術は静止画像を基本とする技術からの経験を受け継ぐ一方、プロセッサ集約的で、大容量データを処理するのに理想的とは言えない。

静止画像の利用以外に、ビデオの時間アスペクトも様々なウォーターマーキング技術で活用されてきた。例えば、1998年刊行の『信号処理６６（Signal Processing 66）』３巻（283−216頁）に記載のハータング（Hartung）他著による"伸長ビデオおよび圧縮ビデオのウォーターマーキング（Watermarking of uncompressed and compressed video）"は、多数のフレームにウォーターマークを広げる方法を開示し、これを参照の形で本明細書に組み入れる。この方法は、効力が高いが、計算処理上効果である。別の先行技術では、ビデオを圧縮データストリームと見做している。この類の技術は、1997年刊行の『アイソ／アイー（iso/iee）』に記載のランジェラー（Jordan）他著による"圧縮伸長ビデオ内の隠蔽・検索データ用ウォーターマーキング技術の提案（Proposal of a watermarking technique for hiding/retrieving data in compressed and decompressed video）"に開示され、これを参照の形で本明細書に組み入れる。この提案は、符号化ビデオの動きベクトルにウォーターマーク情報を埋め込む方法を記載している。特に、フラットエリアを指向する動きベクトルを擬似ランダムに修正する。この方法の長所は、目に見える人為結果を導入せず、ビデオが圧縮形態にある限り、動きベクトルから直接、埋め込み情報を引き出せることにある。ビデオを伸長した後、再び、ウォーターマークの検出には、ビデオを再圧縮する必要がある。再圧縮プロセスの間、動きベクトルがウォーターマークを統計的に復元させる可能性が高いので、この方法は有効である。これはリアルタイム検出を可能にする単純なメカニズムである。しかし、この手法は、ウォーターマークが特異なビデオコーデック（ＣＯＤＥＣ）と結合し、その結果、トランスコーディングに耐えられないという問題をはらむ。

メディア所有者の特定を望む人々がいるように、典型的にウォーターマークで攻撃することで、出所を曖昧にしたいグループがいる。1999年発行のハータング（Hartung）他著による『ＳＰＩＥマルチメディアコンテンツのセキュリティとウォーターマーキング９９（SPIE Security and Watermarking of Multimedia Contents 99）』の"スペクトルウォーターマーキングの広がり：悪意の攻撃と反撃（Spread Spectrum Watermarking: Malicious attacks and counter attacks）"（カリフォルニア州、サンノゼ）によれば、デジタルウォーターマークへの攻撃には４つの異なる種類があり、これを参照の形で本明細書に組み入れる。最初のものは、"単純攻撃"と言われるもので、"波形攻撃"又は"ノイズ攻撃"と呼ばれることもある。これは、特定や隔離されることなく、埋め込まれたウォーターマークの検出を減損させようとする。例としては、線形フィルタリング、非線形フィルタリング、波形ベース圧縮（ＪＰＥＧ，ＭＰＥＧ）、ノイズの付加、オフセットの付加、クロッピング、画素領域の量子化、アナログ変換、ガンマ補正などが挙げられる。別の攻撃は"検出不能化攻撃"を含み、"同期攻撃"と呼ばれることもある。これは、相関を破壊し、ウォーターマーク復元を不能にするか、又は、これを困難にする。この類の攻撃は、通常、ズーミング、空間方向または時間方向での変位、回転、せん断、クロッピン具、画素置換、二段抽出、画素または画素クラスタの除去又は挿入などの幾何学的歪みにより実行される。これとは対照的に、"アンビギュイティ攻撃"は、"デッドロック"、"インバージョン"、"擬似電子透かし"、"擬似オリジナル"とも呼ばれ、偽のオリジナルデータ又は偽のウォーターマークデータを生成することで、検出プロセスを混乱させることを目論む。例としては、1つ又は複数の付加的ウォーターマークを埋め込むことで最初のウォーターマークを不明にし、ウォーターマークの権限を損なわせる。最後のものは、"除去攻撃"と呼ばれ、ウォーターマークの分析及び特定を行って、これをホストデータから分離することを目指す。ウォーターマークは廃棄される。例としては、共謀攻撃や、一定の非線形フィルタ操作のノイズ除去、合成モデリングを利用した圧縮攻撃が挙げられる。

ウォーターマーキング技術の評価プロセスを自動化するために、ベンチマークツールが開発されている。一例として、1999年発行のオースミス（Auesmith D.）編集、ぺティコラス（Petitcolas）他著による第2回国際ワークショップ『スプリンジャー・バーラグ（Springer-Verlag）』（オレゴン州、ポートランド）の"著作権マーキングシステムへの攻撃（Attacks on Copyright Marking Systems）"（219-239頁）があり、これを参照の形で本明細書に組み入れる。これらはビデオに適用できる非敵対的処理メカニズムである。これらはウォーターマークの混乱や除去を目的としているわけではないが、そうした副作用を有する。Peer-to-Peerネットワークで輸送されるビデオが、普通、接する処理メカニズムがある。測光攻撃イは、ビデオの画素を何らかの形で変更する。例えば、アナログテレビ信号を放送すると、ノイズのせいで画素が変化することがある。これにより、一部の画像の色が変化する。空間脱同期も画素を変化させる。これは、ビデオの表示フォーマットを変えたときに実行される。最も一般的な例としては、アスペクト比（４：３、１６：９など）や空間分解能（ＰＡＬ、ＮＴＳＣ、ＳＥＣＡＭ）の変化が挙げられる。画素を変化させる別の技術に時間脱同期がある。これは、映画のフレーム比を修正したときに実行される。これは、ファイルサイズを軽減するために実行でき、例えば、毎秒３０フレーム（ｆｐｓ）の映画を２４ｆｐｓ以下にするのがこの例である。別の例としては、ビデオ編集がある。これは、ビデオ編集者が行う全操作を含む。単純で一般的な例は、カット−挿入―貼り合せである。これは、ビデオの一部をカットしたときに、コマーシャルが挿入され、残りのビデオが貼り合わさる。その他の可能性としてはロゴや字幕の追加、あるいは、フィルムから所定の場面がカットされ、盛り上がりの場面の前に放送できるようにする。

自動的にビデオを識別する伝統的な方法は、耐用期間を通じて同一のビデオビットストリームに依存するか、ビデオに付加的な情報を記憶させなければならないという課題である。ＤｉｖＸやＸｖｉＤの場合、又は所定のメディアに適合させたり、ファイルサイズを小さくしたりして、ネットワーク経由でのより簡単な輸送を目指して、新しい又は改良型のビデオＣＯＤＥＣがリリースされると、ビデオストリームは頻繁に再符号化される。これにより、識別プロセスを完全に損なったり、ウォーターマーキングの特定が困難になったりする。さらに、符号化されずにインターネットにもリリースされていない著作権を侵害するビデオファイルが多数あるため、識別目的でビデオに付加情報を埋め込んでも手遅れとなる。従って、従来の技術は適用できない。

本発明の一実施例によれば、ビデオ内のモーションを特定し、特定したモーションの計数を利用することを含むビデオのフィンガープリント法を提供する。

モーションフィンガープリントは、ビデオ全体またはその一部の動きを時刻関数として示す記録又はファイルを意味する。ビデオ内のモーションを、フィンガープリントを提供する手段として利用することで、ビデオへの情報追加を必要とせずに、ビデオを識別するための確実で有効なメカニズムを提供する。たとえビデオフォーマットが変わっても、又は、ノイズがあっても、このメカニズムの有効性は変わらない。

ビデオ内モーションの特定は、ビデオの第１フレームの画素輝度計数と第２フレームの対応画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；２つのフレームのモーション計数を決定するのにこの輝度差を利用することを含んでも構わない。ビデオ内モーションの特定は、ビデオ全体または一部について行うことができる。

本発明の別の実施例によれば、ビデオをフィンガープリントするためのシステムを提供し、このシステムはビデオ内モーションを特定し、特定したモーションの計数を利用してフィンガープリントを作成できる。

ビデオ内のモーションの特定は、ビデオの第１フレームの画素輝度の計数と後続フレームの対応画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；２つのフレームのモーション計数を決定するのにこの輝度差を利用することを含んでも構わない。

本発明のさらに別の実施例によれば、好ましくは、データ媒体又はコンピュータ読み取り可能メディアのコンピュータプログラムを提供し、このコンピュータプログラムは、ビデオ内モーションの特定と特定したモーションの計数を利用したフィンガープリントの作成によりビデオをフィンガープリントするためのコード又は指図を有する。

ビデオ内のモーションを特定するためのコード又は指図は、ビデオの１つのフレームの画素輝度計数と別のフレームの画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；この輝度差を利用してモーション計数を決定するように構成しても構わない。

本発明のさらに別の実施例によれば、ビデオ識別のための方法を提供し、この方法は、オリジナルビデオのモーションフィンガープリントを決定し；未識別ビデオのモーションフィンガープリントを決定し；違いを特定するために既知のモーションフィンガープリントと未知のそれとを照合し；照合ステップに基づいて未知ビデオが既知ビデオのコピーかどうかを識別することを含む。

モーションをフィンガープリントし、これを利用してオリジナルビデオのコピーを検出することで、自動的に実行し、ビデオデータが圧縮またはフィルタされても有効な検出プロセスを提供する。

フィンガープリントがモーション位置情報を提供し、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合するようにしても構わない。

フィンガープリントがモーション規模情報を提供し、フィンガープリントの照合は、モーションの大きさを時刻関数として照合するようにしても構わない。例えば、モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点だけで照合しても構わない。

フィンガープリントはモーション位置情報とモーション規模情報を提供できる。この場合、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供し、モーションの大きさを時刻関数として照合して規模相似計数を提供し、位置計数と規模計数の両方を使って、総類似度を提供する。付加的に、又は、代替的に、フィンガープリントの照合は、フィンガープリントの長さの差を決定し、その数値によって差を計測し、計測値を位置計数と規模計数と一緒に用いて、相似値を提供するようにもできる。

本発明のさらに別の実施例によれば、ビデオ識別のためのシステムを提供し、このシステムは、オリジナルビデオのモーションフィンガープリントを作成し、モーションフィンガープリントをオリジナルビデオに保存し、未知のビデオのモーションフィンガープリントを作成し、既知ビデオのフィンガープリントと未知ビデオのそれとを照合し、照合工程に基づいて、未知ビデオが既知ビデオのコピーかどうかを識別することから成る。

フィンガープリントがモーション位置情報を提供し、システムは、既知のフィンガープリントと未知のそれにおけるモーション位置を時刻計数として照合することでフィンガープリントを照合するようにもできる。付加的に、又は、代替的に、フィンガープリントがモーション規模情報を提供し、システムは、モーションの大きさを時刻計数として照合することでフィンガープリントを照合するようにもできる。モーション規模の平均値は各フィンガープリントごとに決定し、フィンガープリントの照合は、モーション規模の平均値を点としてだけ照合するようにもできる。付加的に、又は、代替的に、フィンガープリントの照合は、フィンガープリントの長さの差を決定し、値によってその差をスケーリングし、計測値を位置計数と規模計数と合わせて、相似値を提供できる。

フィンガープリントがモーション位置情報とモーション規模情報を提供し、システムは、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供し、モーションの大きさを時刻関数として照合して規模相似計数を提供し、位置計数と規模計数の両方を使って、総類似度を提供するようにできる。

本明細書で提案するビデオ識別技術は、映画フィルムをどう認知するかの指針としてヒト認知システムを使用する。特に、映画内のモーションをデジタルフィンガープリントの基準として使用する。時間分解能をモーションの残像水準以上に維持するために、しばしば空間的及び視覚的質の低下を容認して、ビデオモーションが断続的にならないようする。本発明のビデオ識別では、これを利用して長所とする。

[ビデオモーションフィンガープリント]
図１は、ビデオ内のモーションを特定してビデオをフィンガープリントする工程を示す。ハードウエアによる実行も可能であるが、典型的に、これらの工程はコンピュータソフトを使用して実行する。初めの工程１０で、ビデオを標準アスペクト比にクロップする。好ましいアスペクト比は４：３で、これは、全てのビデオがこの比率に合わせてクロップでき、大部分のビデオが視聴可能なためである。次に、ビデオをグレースケール表示１２に変更する。ＲＧＢの場合、各画素の輝度を計算して、フレーム全体のグレースケールを求める。これは、以下の方程式を使って決定できる：
輝度＝（０．２９９×赤）＋（０．５８７×緑）＋（０．２２４×青）

ＹＵＶに関しては、輝度（Ｙチャンネル）だけを使用する。グレースケールの使用が処理するデータ量の削減につながり、それによりスケーリング及びモーション検出が迅速になる。また、グレースケールは、データ捕捉や符号化によって出現する僅かな色の差を除去する。

ビデオが一旦処理され、グレースケール等価で表示されると、次は、工程１４でその空間分解能が標準サイズにスケール(調整)される。実験用の標準サイズには、ビデオＣＤ（ＶＣＤ）分解能（３５２×２４０）を選択した。その理由は、モーション検出プロセスがプロセッサ集中型にならないように少量のデータを備えつつ、モーション検出を実施するのに適当な画像分解能を得られるからである。図１は特定の順序で工程を表示しているが、この順序を変えてもフィンガープリントプロセスが根本的に変化することはない。

スケーリング後、モーション検出テスト１６が行われる。これは、各フレームと以前のフレームとの照合を含む。２つのフレームの違いがモーションとしてフラグされる。これは、１つのフレームの全ての画素を次のフレームの全ての画素と照合することで実行できる。しかし、これはどちらかと言えば、プロセッサ集約型であるので、好ましい方法では、幾つかの画素を予め決められたサイズのマクロブロックに、例えば、５×５画素にグループ化し、その領域の色と輝度を計算する。モーションは、あるマクロブロック内でのフレーム間の色の変化として検出され、一方、モーションの大きさは、色の違いから推定される。こうすることにより、人為結な符号化や雑音の多いデータソースに原因してモーションを誤検出してしまう可能性を低くすることができる。

前のフレームに対する各フレームのモーション量の計測は、全マクロブロックについてフレーム間の色の差異を合計して算出され、これにより、２つの隣接フレーム間の相対モーションを表す単一モーション値が与えられる。この値は一連の数字であり、それぞれの数字が一定時間内の２つの隣接フレーム間でのモーションの尺度（度合）を示す。これらの測定結果は、マッピング１８でスケールされて、最低値０、最高値４４の４４ポイントスケールが得られる。全てのビデオを処理してから、モーション平均値が計算される。この計算は、ファイルの全フレームについてモーション値を全て合計し、平均値を求めることで行われる。平均以下のモーション測定値は除外され、平均以上のピークだけが抽出される（工程２０）。こうすることでスペースが節約され、迅速なマッチングが可能になる。その後、残余の情報が工程２２でビデオモーションフィンガープリントとして使用される。図２のビデオに関するフィンガープリントの一例は、図３に示されている。図３における幾つかのピークは、例えば、場面の切り換え、カメラのパンまたはヒトのクローズ・アップなどによってモーションのレベルが高いビデオ部分である。

作成したビデオのモーションフィンガープリントが一旦作られると、それはモーションフィンガープリントのデータベースに蓄えられる。モーションフィンガープリントの大きさは、検出したモーションの量に依存する。今まで行なった実験の範囲では、フィンガープリントは、ビデオ内のモーションの量に応じて、１キロバイト／分から１０キロバイト／分の範囲であった。言うまでも無く、これはフィンガープリントするビデオにより異なる。

[検出プロセス]
本発明のビデオモーションフィンガープリントは、オリジナルビデオのコピーを同定するための検出プロセスに使用できる。図４はそのプロセスの基本的工程を示している。これらの工程は、ソフトウエアでもハードウエアでも実行可能である。

検出プロセスは、上記のように同定したオリジナルビデオから、モーションフィンガープリントを作成することから始まる（工程２４）。このフィンガープリントは、例えばデータベースに保存される。典型的にはデータベースは、さまざまな異なる既知のビデオについて、多数のフィンガープリントを収納している。未知のビデオが捕捉された場合、それについて１つのフィンガープリントが作成され（工程２６）、既知のビデオについて格納されているフィンガープリントと対比される（工程２８）。この対比に基づいて、未知のビデオが既知の何れかのビデオのコピーであるか否かが判定される（工程３０）。

対比工程２８は、任意の適当な技術を利用して実行できる。しかし、好ましい実施例の対比工程は、ビデオの３つの異なる測定値を検討することで行なわれ、その３つは、長さの差異、ビデオ内のモーションも位置、及び時間的平面を横切るモーションの規模の差異である。

対比される２つのビデオの長さの違いは、下記のようにスケールされるので、映画の長さの多少の違いは重要でない。
長さ＝スケール〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕
式中、〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕は、既知ビデオと未知ビデオのフィンガープリントの長さの違いを示し、スケーリング関数は、長さの違いが１分未満の場合、違いを減少させ、違いが１分以上の場合、違いを増加させる。
様々なスケーリング関数が使用可能である。しかし、この実施例では、以下のようにしてビデオ長のスケーリングを行った。長さの違いが１５秒未満の場合、その違いを二分する。違いが３００秒未満の場合、違いを０．７５倍する。違いが６００秒未満の場合、違いはそのままとし、違いが１２００秒を超えると２５％増とする。そして、違いが１２００秒を超えると５０％増とする。

ビデオ内のモーションの位置は、幾つかのフィンガープリント内でのモーションの出現が、時間的平面でどれだけマッチするかを検討することで考慮されている。これは、以下の式で表せる。
位置＝不在ポイント数 ×１００
チェックしたポイント数
式中、チェックしたポイント数は、フィンガープリント１内の平均値を超えるポイント数であり、不在ポイント数は、フィンガープリント２内の平均値未満のポイント数に、フィンガープリント１の平均値以上であるが、フィンガープリント２の平均値未満であるポイント数を加算したものである。

時間的平面を横切るモーションの規模の違いもまた、考慮されている。これは以下の式で表せる。

フィンガープリントに沿った各ポイントで、フィンガープリント１とフィンガープリント２の大きさの絶対差、すなわち、ａｂｓ（ｆｐ１[ｉ]−ｆｐ２[ｉ]）が計算される。その値を合計して、平均値が算出される。

ビデオのこれら３つのアスペクトを合計することで、以下のようにシンプルな相似性測定が行われる。
相似性＝長さ＋位置＋空間
相似性の測定値が低いほど、ビデオファイルはよくマッチしている。実験後、２つのフィンガープリントを対比する際のカットオフポイントを１００と決めけれども、当然のことながら、これとは別のカットオフポイントも使用可能である。

[テスト]
検出プロセスのロバスト性（堅実性）を試験するために、モーションレベル範囲が異なり、長さが２０分から４０分の５０個の高品質ビデオについて、モーションフィンガープリントを作成した。伝統的なテレビ番組や映画などに加えて、漫画や講義のビデオフィルムをもデータベースに含め、これをテストサンプルとした。テストは様々な変更を加えて行った。例えば、ビデオは次のようにコード変換した。すなわち、ＣＯＤＥＣ変換、ビットレートの削減、フレームレートの削減、空間分解能の削減、ノイズの付加の５つである。これらの変換うち、最初の４つは、ビデオを例えばＣＤＲＯＭに格納したり、インターネット送信するために、再コード化する際にしばしば目にする変換である。最後の変換であるノイズの付加は、映画の録画が必ずしも"クリーン"なソースから行われないので、これを含めた。

この発明のフィンガープリント技術の評価の一環として、幾つかのビデオファイルを再コード化して、様々なビットレート、空間分解能、時間分解能など、実際に生じうる状況を導入した。再コード化には、マイクロソフトMPEG4 3688 v3 CODEC備えたVirtualDub v1. 5.1を使用した。勿論、これ以外のＣＯＤＥＣも使用可能である。ビデオはワン・パス法だけを使って再コード化した。２パスまたは３パス技術は、より高品質の映画ファイルを提供するが、大部分のテストでは、質の劣ったビデオを高品質にするには余分な時間が必要であるので、質の劣るビデオは意味がない。テストした劣化ビデオの例を図5に示す。

最初に、オリジナルの映画ファイルを同定するとき、その方法がどのように実行されるかを試験した。一組のオリジナルビデオファイル（ｆ１）から、一組のフィンガープリントを作成し、これをフィンガープリントデータベースに保存した。次いで、同じ一組のビデオファイルから新しい一組のビデオフィンガープリント（ｆ２）を作成した。各ビデオファイルは、データベース内の応分のフィンガープリントと、典型的には、１未満のフィンガープリント同士の違い（ｆ１とｆ２の）と正確にマッチすることが判った。ちなみに、異なる映画ファイルから得たフィンガープリントの差異は、通常、１０００を越え、ほとんど同じファイル同士でも、差異は１００から１０００の間であった。

ＣＯＤＥＣの変更
最も一般的に使用されている少数のＣＯＤＥＣを使って、オリジナルビデオファイルをコード化した。選ばれたＣＯＤＥＣは、MPEG-1、MPEG-2、MPEG-4 DivX、Xvid、MSMPEG-4及びQuicktime Sorensenであった。これら３つのＣＯＤＥＣ系装置は、それぞれ、異なるファイル形式で、すなわち、.mpg、.avi、.movでラッピングされている。ビデオはコード化することで、視覚的質及び時間的質がオリジナル映画に近似する。

本発明によるモーションフィンガープリント法を使うことによって、採用したＣＯＤＥＣの如何に関わりなく、コード化したビデオのそれぞれを正確に同定することができた。これは、映画同定プロセスの要となるのは、映画ファイル内のモーションを検出するモーション検出アルゴリズムの能力と視覚的品質だからである。

ビットレートの変更
フレームレートと空間分解能を一定に維持したまま、選択したビデオを低ビットレートに再コード化して、その画質を劣化させた。具体的には、ビットレートを５００ｋｂｐｓから２５ｋｂｐｓに減少させた。

図６は、検出プロセスの結果をビットレートの関数として示すものである。この図から、ビットレートはモーションを認識する能力を減少させるので、ビットレートが１５０ｋｂｐｓ以下になると、モーションフィンガープリントが急激に落ち込むのが分かる。ビットレートが３０ｋｂｐｓ未満になると、モーションフィンガープリントを適合させる能力が失われる。しかし、１００ｋｂｐｓ以下では、録画に濃淡のむら発生や映画ファイルの質的劣化を招き、鑑賞に堪えられなくなる。従って、実際的な目的では、ビットレートの多様性は、検出プロセスに有意な影響をもたらさない。

フレームレートの変更
この場合には、ビットレートと空間分解能を変化させずに維持したまま、選択したビデオを低いフレームレートに再コード化することで、画質を劣化させた。具体的には、フレームレートを元の毎秒２３フレームから４フレームに減少させた。このようにした理由は、このフレーム数が、毎秒１２〜１５フレーム程度であると通常推定される残像性ポイントをはるかに下回るためである。毎秒２４〜５フレームのフレームレートを、ビットレート５００ｋｂｐｓ、空間分解能３５２×２４０で使用した。

図７は検出プロセスの結果をフレームレートの関数として示すものである。予想したように、フレームレートを減らすと、モーションフィンガープリントの差異が増大する。フレームレートが元来のそれから増加すると、ビデオシーケンス（動画像列）の認識能力が若干の悪影響を受ける。その理由は、フレームレートが増えると、フィンガープリントの差異が増えるからである。しかし、試験結果からは、フレームレートを変更しても、ビデオの認識に支障が生じるほどの影響がないことが分かる。

空間分解能
フレームレートを２３に、ビットレートを５００ｋｂｐｓに維持したまま、空間分解能を１７６×１４４に減らした。それにも係わらず、修正ビデオとオリジナルビデオのフィンガープリントの違いは５．１だけであった。空間分解能を半減させても、映画ファイルは認識可能であった。

輝度(Luminance)
図８は検出プロセスの結果を明るさ(brightness)の関数として示したものである。この図から、明るさを上げるより、下げる方が検出に有害な影響を及ぼすことが分かる。これは、フレームが暗くなると、ビデオの特徴が区別し難くなるからである。

ノイズの付加
ノイズは、例えば、ＭＳＵグラフィックス・アンド・メディア（MSU Graphics & Media）が提供するノイズ発生器を用いて、オリジナルビデオのサンプルに付加した。これは、テレビ放送などの"損失のある(lossy)"ソースからレコーディングする時に捕捉されるノイズ効果をシミュレートするために実行した。

最初のテストでは、映画ファイルにホワイトノイズを加え、検出プロセスを繰り返した。実際、ホワイトノイズの付加は、映画ファイルを同定する能力に、大した違いをもたらさないことが判明した。これは予想外であって、ホワイトノイズはモーションに付加された訳ではないので、フィンガープリント技術では無視されたのが、その原因であると考えられる。

別のノイズテストでは、ビデオストリームバナーが、ビデオに付加された。これは、自局を特定するために、テレビ局が普通に行っていることである。バナーやロゴを配置するのに一般的に使用される場所は二つあり、その場所は、フレームの上端部と下端部である。フレーム幅を広げる黒線をビデオに付加した。新しいビデオ用にモーションフィンガープリントを作り出し、その新しいビデオにバナーを含ませた。次いで、モーションフィンガープリントが同定できるかどうかを見極めるため、モーションフィンガーのデータベースと照合してチェックした。ボーダーは１０画素から開始し、１４０画素まで、１０画素ずつ増加した。

２つの異なる実験を行なった。その一つは、ボーダーをフレームの下端部に配置した実験であり、他の一つは、フレームの上端部にボーダーを配置した実験である。図９は、２つの実験での検出プロセスの結果を、ボーダーサイズの関数として示したものである。この図から、１３０画素あたりで検出が不首尾になることが分かる。しかし、このボーダーはオリジナル画像の半分（フレーム高さは２４０画素であった）をカバーしており、このような状況は、通常のテレビ番組や映画では見られない。従って、実際的な目的では、ボーダーサイズの変化は、検出プロセスに有意な影響を及ぼさない。

画像処理(操作)
画像処理の一例である色処理は、ビデオの色を反転させる。この反転操作は、再コード化で通常経験される事態というよりも、興味本位で実行されたものであるが、これにより検出技術の堅実性が証明された。反転ビデオが、非反転ビデオと同様に、同じコード化パラメータで同定できることが分かった。画像処理の別の例である水平反転または垂直反転は、映画を水平に又は垂直に反転させるものである。試験ビデオを水平反転または垂直反転させたが、重要なのは、フレーム全体にわたるモーションであるので、認識されるフィルムの能力には、何の影響も認められなかった。

まとめ
モーション検出は、ビデオフィンガープリントの創出の基盤であることが証明された。映画をオリジナルソースから再コード化し、空間分解能や時間分解能の喪失又はビットレートの低下で劣化するプロセスでも、この技術がよく機能することが立証された。この技術は、ピアツーピア・ネットワーク内の著作権侵害を阻止できるわけではないが、データ収集のためのトラフィックモニタリングを使うインターネットと私設ネットワーク（大学など）と間のリンクにおける受動的ピアとして、あるいはネットワーク内のピアとして検出操作を手助けする。

実際上は、多数のビデオフィンガープリントを適当なデータベースに保存して、ビデオコンテンツを検出したときに使用できる。こうしたコンテンツが検出された場合には、そのコンテンツが捕捉され、モーションフィンガープリントが自動的に作成される。このモーションフィンガープリントは、データベースのフィンガープリントと対比され、捕捉されたビデオのフィンガープリントが保存してあるフィンガープリントのどれかと一致するかどうかが調べられる。これが一致すれば、傍受したビデオがオリジナルのコピーであることを示し、そのビデオは著作権侵害の疑いがある。この場合、侵害コピーの送信者と受信者のる両方に対して、改善措置をとることができる。

当業者には、ここに開示した発明の構成要素を、本発明から逸脱せずに、さまざまに変更できることは理解されよう。例えば、モーション検出のために特定の技術が開示されているが、これを別の任意のビデオモーション検出プロセスに利用できることは理解されよう。同様に、２つのフィンガープリントの違い及び／又は相似性を特定するのに別の適当な方法が使用できる。さらに、例えば映画などのビデオを識別(同定)するのに掛かる時間を短縮するために、映画のコンテンツ全体でなく、小"ブロック"についてフィンガープリントを実行し、続いて同定を行うというオプションもある。これらのブロックは、モーションを含まないビデオの２つの部分の間のセクションとして定義される"場面"の形をとる。この方法によれば、映画の小さい部分からビデオ特定を行うことができる。さらに別の応用例では、ビデオ内のモーションピーク時間位置を特定することで上述したフィンガープリントを作成する一方、モーションピークの相対的な大きさをフィンガープリントとして使用する。従って、上記の実施例は、例として示しただけで、本発明を限定するものではない。本明細書に開示した操作に有意な変更を加えることなく、多少の修正が可能なことは当業者であれば理解されよう。

モーションフィンガープリントを作成する工程のフローチャートビデオのシングルフレームを図示図２のビデオのフィンガープリント２つのビデオが同一かどうかを検出する検出プロセスのフローチャート質が低下したビデオフレームの画像を図示２つのビデオモーションのフィンガープリントの差をビットレート関数として計測したプロット図２つのビデオモーションのフィンガープリントの差をフレームレート関数として計測したプロット図２つのビデオモーションのフィンガープリントの差を輝度の変化を関数として計測したプロット図２つのビデオモーションのフィンガープリントの差を縁取り幅関数として計測したプロット図

Claims

ビデオ内のモーションを同定し、同定されたモーションの程度をフィンガープリントとして用いるビデオのフィンガープリント法。
ビデオ内のモーションの同定が、そのビデオの第１フレームにおける画素の輝度の程度と、第２フレームにおける対応画素の輝度の程度とを対比し、上記２つのフレームの類似の画素について輝度の差を特定して、この輝度の差を用いて前記２つのフレーム間のモーションの程度を測定し、複数のフレーム対（ペア）について上記の操作を繰り返すことで行われる請求項１に記載の方法。
ビデオ内のモーションの同定が、そのビデオの第１フレームにおける画素のブロックの輝度の程度と、第２フレームにおける画素の対応ブロックの輝度の程度とを対比し、上記２つのフレームの類似のブロックについて輝度の差を特定して、この輝度の差を用いて前記２つのフレーム間のモーションの程度を測定し、複数のフレーム対（ペア）について上記の操作を繰り返すことで行われる請求項１に記載の方法。
ビデオ内のモーションの同定が、ビデオ全体について行われる請求項１に記載の方法。
ビデオ内のモーションの特定をビデオの一部について行われる請求項1に記載の方法。
ビデオフィンガープリントのためのシステムであって、ビデオ内のモーションを同定する手段と、同定したモーションの程度を利用してフィンガープリントを作成する手段とを備えたビデオフィンガープリンティングシステム。
ビデオ内のモーションを特定する手段は、ビデオの第１フレームの画素輝度計数と後続フレームの対応画素輝度計数とを照合し；２つのフレームの対応する画素輝度の差を特定し；モーション計数を決定するのにこの輝度差を利用する請求項６に記載のシステム。
ビデオ内のモーションを特定する手段は、ビデオの第１フレームの画素ブロックの輝度計数と後続フレームの対応画素ブロックの輝度計数とを照合し；２つのフレームの対応する画素ブロックの輝度の差を特定し；モーション計数を決定するのにこの輝度差を利用する請求項６に記載のシステム。
ビデオフィンガープリントのためのシステムであって、ビデオ内のモーションを特定するための識別子と；特定したモーションの計数を利用してフィンガープリントを作成するフィンガープリント・クリエータとから成るシステム。
ビデオ内のモーションを特定するためのシステムは、ビデオの第１フレームの画素輝度計数と後続フレームの対応画素輝度計数とを照合し；２つのフレームの対応する画素輝度の差を特定し；モーション計数を決定するのにこの輝度差を利用する請求項９に記載のシステム。
ビデオ内のモーションを特定するためのシステムは、ビデオの第１フレームの画素ブロックの輝度と後続フレームの対応画素ブロックの輝度とを照合し；２つのフレームの対応する画素ブロックの輝度の差を特定し；モーション計数を決定するのにこの輝度差を利用する請求項９に記載のシステム。
好ましくは、データ媒体又はコンピュータ読み取り可能メディアに埋設され、ビデオ内のモーションの特定と特定したモーションの計数を利用したフィンガープリントの作成によりプロセッサがビデオをフィンガープリントするためのコード又は指図を有するコンピュータプログラム又はコンピュータプログラム製品。
ビデオ内のモーションを特定するためのコード又は指図は、ビデオの第１フレームの画素輝度計数と第２フレームの対応画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；この輝度差を利用してモーション計数を決定するように構成した請求項１２に記載のコンピュータプログラム製品。
未知のビデオについてモーションフィンガープリントを作成し；未知のビデオのフィンガープリントを少なくとも１個の既知のビデオの少なくとも１つのモーションフィンガープリントと照合し；照合ステップに基づいて未知ビデオが既知ビデオと同一かどうかを識別することを含むビデオ識別法。
各フィンガープリントがモーション位置情報を提供し、未知フィンガープリントと既知のそれとの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合することを含む請求項１４に記載の方法。
フィンガープリントがモーション規模情報を提供し、フィンガープリントの照合は、モーションの大きさを時刻関数として照合することを含む請求項１４に記載の方法。
フィンガープリントがモーション規模情報を提供し、フィンガープリントの照合は、モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点だけで照合することを含む請求項１４に記載の方法。
フィンガープリントの照合は、フィンガープリントの長さの違いを決定し；値によってその差をスケーリングすることを含む請求項１４に記載の方法。
フィンガープリントがモーション位置情報とモーション規模情報を提供し、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供することを含み、モーション規模の照合は、モーションの大きさを時刻関数として照合して規模相似計数を提供することを含み、フィンガープリントの相似性を示す相似計数を提供するのに位置計数と規模計数の両方を使用する請求項１４に記載の方法。
モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点の照合だけを含む請求項１９に記載の方法。
フィンガープリントの照合は、フィンガープリントの長さの違いを決定し；値によってその差をスケーリングし、スケーリングした値を位置計数と規模計数と一緒に用いて、相似値を提供するようにした請求項１９に記載の方法。
未知のビデオについてモーションフィンガープリントを作成する手段と；該未知のビデオのフィンガープリントを少なくとも１個の既知のビデオのモーションフィンガープリントと照合する手段と；照合ステップに基づいて未知ビデオが既知ビデオと同一かどうかを識別する手段とを含むビデオ識別システム。
フィンガープリントがモーション位置情報を提供し、既知と未知のフィンガープリントのモーションの位置を時刻関数として照合することで、システムがフィンガープリントを照合するようにした請求項２２に記載のシステム。
フィンガープリントがモーション規模情報を提供し、モーションの大きさを時刻関数として照合することで、システムがフィンガープリントを照合するようにした請求項２２に記載のシステム
フィンガープリントがモーション位置情報とモーション規模情報を提供し、システムのフィンガープリント照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供することを含み、モーション規模の照合は、モーションの大きさを時刻関数として照合して規模相似計数を提供することを含み、総類似度を提供するのに位置計数と規模計数の両方を使用する請求項２２に記載のシステム。
モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点の照合だけを含む請求項２５に記載のシステム。
フィンガープリントの照合は、フィンガープリントの長さの違いを決定し；値によってその差をスケーリングし、スケーリングした差の値を位置計数と規模計数と一緒に用いて、相似値を提供するようにした請求項２５に記載のシステム。
好ましくは、ビデオ識別用にデータ媒体又はコンピュータ読み取り可能メディアに設置されるコンピュータプログラムであって、未知のビデオについて、プロセッサがモーションフィンガープリントを作成させるためのコード又は指図を備え；未知のビデオのフィンガープリントを少なくとも１つの既知のビデオの少なくとも１つのモーションフィンガープリントと照合し；照合ステップに基づいて未知のビデオが既知のビデオのコピーかどうかを識別するコンピュータプログラム。