JP4138007B2 - Ｄｃ及び動き符号を用いたｍｐｅｇ圧縮列のビデオ検索 - Google Patents

Description

発明の背景
本発明は、ＭＰＥＧ（Moving Picture Experts Group：カラー動画像圧縮符号化方式標準化団体）符号化規格またはＪＰＥＧ（Joint Photographic Experts Group：カラー静止画圧縮符号化方式標準化団体）符号化規格を用いて符号化したビデオ画像の記憶、及び多大なディジタル・ビデオ・アーカイブ（書庫）からの検索に関するものであり、特に、ＤＣ（直流）係数及び動きベクトルに基づく、ＭＰＥＧまたはモーション（動き）ＪＰＥＧ圧縮ビデオからのビデオ符号列の抽出、及び抽出した符号に基づくビデオの探索及び検索に関するものである。
ＭＰＥＧビデオ圧縮規格は、Philip E. Mattison, John Wiley and Sonsによる″Practical Digital Video With Programming Examples In C″、１９９４年、第１１章、３７３〜３９３ページ、及び、Didier Le Gallによる″Mpeg：A Video Compression Standard for Multi-Media Applications″、Communications of the ACM誌、１９９１年４月、第３４巻、No. 4、４７〜５８ページに記載されており、そしてＪＰＥＧビデオ圧縮規格は、Gregory K. Wallaceによる″The JPEG Still Picture Compression Standard″、Communications of the ACM誌、１９９１年４月、第３４巻、No. 4、３１〜４４ページに記載されている。
本発明はモーションＪＰＥＧ規格を用いて符号化したビデオ映像にも適用可能であるが、本明細書では、ＭＰＥＧ規格を用いて符号化したビデオ画像を参照しながら説明する。
ＭＰＥＧは、情報処理産業で使用する動画像をディジタル符号化するために用いる。この規格によれば、ビデオ映像をＣＤ−ＲＯＭ、磁気記憶装置、及びランダムアクセスメモリ（ＲＡＭ及びＲＯＭ）に記憶することができる。ＭＰＥＧ規格は、ビデオ画像を、ＩＳＤＮ、広域ネットワーク、ローカルエリア・ネットワーク（構内情報通信網）、インターネット（登録商標）、イントラネット（登録商標）のようなネットワークを通して伝送することができる。
ビデオクリップ（ビデオ画像の切抜き）またはビデオ流（ビデオストリーム）は、任意数のビデオフレームまたはビデオ画像の列である。ビデオクリップの例は、テレビジョンのニュース番組から切抜いた複数画像である。ＭＰＥＧビデオとして、あるいはＭＰＥＧシステム層符号化を用いて符号化したＭＰＥＧビデオクリップは、本発明によって符号を抽出することができる。
ＭＰＥＧ規格では、色の表現はＹＣｒＣｂであり、これは輝度とクロミナンスを分離する色方式である。Ｙは色の輝度成分であり、ＣｒＣｂは色の２つのクロミナンス成分である。輝度の４画素毎に、Ｃｒの１画素とＣｂの１画素が存在する。ＭＰＥＧ規格では、クロミナンス情報は、水平及び垂直方向共に、輝度のサンプリングレート（サンプリング周波数）の半分のサンプリングレートでサブサンプリング（副標本化）して、２×２の輝度画素ブロック毎に、１つのＣｒ値と１つのＣｂ値とが与えられる。クロミナンス画素及び輝度画素は、８×８画素の画素ブロック（またはブロック）に編成する。画素ブロックは、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）操作を用いて周波数領域に変換して、画素ブロックに対応するＤＣ（直流）成分及びＡＣ（交流）成分が生成される。
ＭＰＥＧ規格では、列中の画像を、Ｉフレーム、Ｐフレーム、Ｂフレーム、またはＤフレームの４種類で表現する。各画像を複数のスライスに分割して、１つのスライスは１つ以上のマクロブロックから成る。スライスは通常、マクロブロックが連続したものである。
マクロブロックは、８×８画素の輝度画素ブロックが４ブロックと、８×８画素のクロミナンス画素ブロックが、前記２つのクロミナンス（クロマ（彩度））成分の各々について１ブロックずつから成る。従って、マクロブロックは、８×８画素の輝度画素ブロック４個と、前記２つのクロミナンス係数毎に８×８画素のブロック１個に対するＤＣＴ係数から成る。あるいはまた、ＢフレームまたはＰフレームのみについては、前方向動きベクトルまたは後方向動きベクトルを用いてマクロブロックを符号化することができる。フレームの前方向動きベクトルは前のフレームに対する動きに基づくものであり、フレームの後方向動きベクトルは後続フレームに対する動きに基づくものである。
１つの画像のビデオクリップ内では、ＤＣ係数の値は前のＤＣ係数との相対値を符号化して、即ち輝度についてのＤＣ値は他の輝度値との相対値を符号化し、クロミナンスについてのＤＣ値は他のクロミナンス値との相対値を符号化する。
ＭＰＥＧ規格は、ＭＰＥＧ−ビデオ、ＭＰＥＧ−オーデイオ、及びＭＰＥＧシステム層符号化（ＭＰＥＧ−ビデオ、ＭＰＥＧ−オーデイオ、及びこれら２つが相互作用する方法に関する情報を含む）から成り、費用効果的な方法で動画ビデオを取り扱う。
ビデオクリップの効率的な記憶、検索、取扱い、及び伝送が可能な、大量のビデオ・アーカイブを構築することは、ビデオ分析、内容認識、ビデオの注記、及びブラウジング（閲覧）のような種々の技術を必要とする。使用者にとって最重要な能力は、ビデオクリップの内容に基づく効率的な検索である。内容に基づく検索を行う既存の方法は、主に、キーフレームの抽出あるいはテキスト（文字列）の注記を頼りにする。
テキストを頼りにするビデオ・ブラウジング・システムは、キーワードの注記によってビデオ列を検索する。通常は別個に記憶されているテキスト注記は、全文検索法あるいは自然言語処理法を用いて索引付けすることができる。
キーフレームを用いてビデオ列を表現するブラウジング・システムは、ショット（撮影画面）の境界を検出して、特定フレームをキーフレームとして選定するという思想に頼る。ショットとは、物語の一部を担う、複数連続するビデオフレームである。最近の映画は１０００以上のカット（カットとはショット間の変化）を含み、１つの映画当たり数千フレームを処理する知能的（インテリジェント）なビデオ検索プログラムを必要とする。上述したブラウジング・システムでは、利用者がビデオの内容を見るためには、利用者はキーフレームを下見しなければならない。
さらに、上述したブラウジング方式は、個々のキーフレーム及び動きを用いてビデオクリップを探索するので、ビデオクリップ全体を提示して問い合せる際に、キーフレームの列によってビデオクリップを表現することができない。
ブラウジングに代わる検索方法は、ビデオ列の特定フレームを表示することによるものであり、利用者が特定のビデオ列を概観して選択することを可能にする。この代案の方法は時間を要する。
発明の概要
従って、本発明の目的は、テキストによる注記に頼ることなしに、ビデオ列を検索することにある。
本発明のさらなる目的は、フレーム間の動きを考慮に入れて、代表的なフレームの符号を用いてビデオ列を検索することである。
本発明の他の目的は、ＤＣＴ係数のＤＣ成分及び動きベクトルに基づいて（本発明により抽出した符号はＤＣ＋Ｍ符号と称する）、ＭＰＥＧ符号化規格を用いて、ディジタル符号化したビデオクリップから符号を抽出することにある。
本発明のさらなる目的は、ビデオ映像の大量のデータベースから、ビデオクリップを迅速かつ効率的に検索することである。
本発明の他の目的は、データベースのビデオクリップの符号、及び問合せのあったビデオクリップの符号を用いて、問合せのあったビデオクリップに類似したビデオクリップを、ローカル・データベースあるいはリモート（遠隔）データベースから検索することにある。
本発明のさらに他の目的は、モーションＪＰＥＧ圧縮ビデオ及びＭＰＥＧ圧縮ビデオのビデオクリップのアーカイブを作成することにある。
本発明の追加的な目的は、モーションＪＰＥＧ及びＭＰＥＧ以外の符号化規格を用いて前以て符号化されたビデオクリップを、モーションＪＰＥＧ形式またはＭＰＥＧ形式のいずれかに再符号化して、この再符号化したものから符号を抽出して記憶することにある。
本発明の他の目的は、ビデオクリップによる問合せを受け付けて、類似内容のビデオクリップをデータベースから探索して、編集、放送用のニュース検索、及び著作権侵害判定の目的の、過去のビデオ映像からの検索を促進する検索方法を提供することにある。
本発明では、モーションＪＰＥＧを用いて符号化したビデオクリップをＭＰＥＧビデオ流として考え、このビデオ流では、すべてのフレームがフレーム内で符号化したフレームである（Ｐフレーム及びＢフレームは含まず、即ち全フレームがＩフレームである）。ＭＰＥＧ符号化規格を用いて符号化したビデオクリップでは、ＤＣ成分及び動きベクトルを慣例の方法で特定する。モーションＪＰＥＧの場合には、問合せのあるビデオクリップはＪＰＥＧフレーム列である。本発明における、モーションＪＰＥＧを用いて符号化したビデオクリップでは、上述した符号はＤＣ色情報（ＤＣＴ係数のＤＣ成分）のみを用い、動き情報は用いない。ＤＣ色情報は慣例の方法で特定する。
さらに、ビデオクリップの符号（以下ビデオクリップ符号と称する）は、当該ビデオクリップ内の代表的なＭＰＥＧフレームから抽出した符号列（以下フレーム符号と称する）によって表現する。フレーム符号は、各フレーム内の窓（ウインドウ）の対に対応するＤＣ成分及び動きベクトル成分から成る。従って、抽出した符号はＤＣ＋Ｍ符号と称する。ＤＣ＋Ｍ符号抽出法では、各ビデオクリップをフレーム符号列によって表現し、このビデオクリップが必要とする記憶空間は、符号化したビデオ・オブジェクトまたはビデオクリップよりも小さい。このＤＣ＋Ｍ法は高速である、というのは、ＭＰＥＧフレームからのＤＣ係数及び動きベクトルは、ＭＰＥＧフレームを完全に復号化することなしに抽出できるからである。ビデオクリップをＭＰＥＧフォーマットに符号化している間に、あるいはＭＰＥＧ符号化したビデオクリップを少なくとも部分的に復号化している間に、これらの符号を実時間（リアルタイム）で抽出することができる。
ビデオクリップの符号が抽出した後には、ビデオ検索は、問合せのあったビデオクリップ（問合せビデオクリップ）の符号を、データベースに記憶しているビデオクリップ（データベース・ビデオクリップ）の符号と比較する。これら２つのビデオビデオクリップは、符号列として比較する。この比較は、ビデオクリップ・データベース内のビデオクリップ毎に実行し、問合せビデオクリップと各データベース・ビデオクリップとの、符号の整合性あるいは類似性の程度についての記録または得点を保持する。この類似性は、これら２つのビデオクリップの符号間のハミング距離尺度に基づくものである。
従って利用者は、上記得点に応じて、いずれの、あるいはすべてのビデオクリップを視聴すべきかを選択することができる。符号列内の符号の順序は、ビデオクリップ内のフレームの順序に基づいている。符号の順序は、本発明においてビデオの時間的性質を表わす根拠として用いる。
本発明のこれら及び他の目的、及び本発明の利点は、以下に図面を参照して詳細に説明する構成及び動作より明らかになり、図面を通して、同一部分は同一番号で参照する。
好適実施例の説明
本発明には、次の２つの主要点が存在する：
（１）アーカイブ化及び符号の抽出
（２）符号を用いたビデオクリップの検索。
アーカイブ化及び符号抽出とは、ビデオクリップの符号を抽出して、ビデオ列から抽出した符号をデータベースに記憶することを称する。検索とは、問合せビデオクリップ（これは、このビデオクリップに類似した他のビデオクリップを識別するように利用者が指定したビデオクリップのことである）から符号を抽出し、そして、この問合せビデオクリップの符号を、データベースからのビデオクリップを表現する符号と比較することを称する。
符号を抽出すべきビデオクリップは、少なくともその一部をＭＰＥＧまたはモーションＪＰＥＧ規格を用いて符号化したものでなければならない。こうした符号化は、（ビデオクリップがＭＰＥＧ符号化さている場合には、）量子化、ランレングス符号化、及びハフマン符号化なしに、少なくともＤＣ係数及び動きベクトルを有するレベルまで行わなければならない。これに加えて、ビデオクリップは、少なくとも部分的に復号化しなければならず、このことは、ビデオクリップをハフマン復号化、ランレングス復号化、及び逆量子化しなければならず、そして、（ビデオクリップがＭＰＥＧ符号化されていれば）ビデオクリップがＤＣＴ係数及び動きベクトルを持っていなければならない、ということを意味する。動きベクトルは、少なくとも部分的にＭＰＥＧ符号化規格を用いて符号化または復号化したビデオクリップ内のみに存在する。少なくとも部分的にモーションＪＰＥＧ符号化規格を用いて符号化または復号化したビデオクリップについては、動きベクトルが存在しない。
図１に、ビデオクリップから代表フレームの符号を抽出する概要のフローチャートを示し、図１を参照しながら説明する。まず、窓（ウインドウ）対の位置及び大きさを選択して入力し、これらの位置及び大きさは、データベースに記憶しているすべてのビデオクリップの符号列について一定である（ステップ１００）。これらの窓対を各フレーム内に配置する正確な位置は予め定められており、符号を抽出中のビデオクリップ内のフレーム毎に固定の位置である。
次に、ビデオクリップを受信して、このビデオクリップの始点及び終点を特定する（ステップ１０１）。そして、このビデオクリップが、少なくとも部分的にＭＰＥＧまたはモーションＪＰＥＧの符号化規格を用いて符号化されているか、全く符号化されていないか、あるいは他の符号化規格を用いて符号化されているかを判定する（ステップ１０２）。このビデオクリップが、全く符号化されていないか、あるいは非ＭＰＥＧ符号化規格を用いて復号化されている場合には、このビデオクリップを、少なくとも部分的にＭＰＥＧ規格を用いて符号化する（ステップ１０４）。
次に、符号を抽出すべきフレームを特定する（ステップ１０３）。符号は必ずしもすべてのフレームから抽出しない。
そして、符号を抽出すべきフレームを一旦特定すると、これらの選択したフレームについて、前記選択した窓位置におけるＤＣ係数及び動きベクトルを抽出する（ステップ１０５）。
次に、前記窓対の２つの窓どうしを比べた、ＤＣ係数値の定性的な差に対応するビット、及び動きベクトル（ＤＣ＋Ｍ符号）の定性的な差を表わすビットを特定する（ステップ１０６）。そして、フレーム内の窓対毎に、先行するＤＣ＋Ｍ符号の各々を連結することによって、フレームの符号を形成する（ステップ１０７）。そして、ビデオクリップの符号（ビデオクリップ符号）を、代表フレームの符号の列によって表現する（ステップ１０８）。
ビデオクリップの符号を一旦抽出すると、この符号を、他のビデオクリップの符号を含むデータベースに記憶する。フレーム内に窓を配置する位置によっては、特定のビデオクリップから複数の符号が抽出され得る。従って、符号データベースは複数存在することがあり、各データベース内では、同じ位置及び位置関係に配置した窓対についての符号を記憶する。
問合せ（のあった）ビデオクリップの符号を抽出した後に、前述の方法で得られた符号を記憶しているデータベースを探索して、問合せビデオクリップの符号にもとづいて、この問合せビデオクリップに類似したビデオクリップの位置を特定する。この探索方法を調整して、類似の程度に応じて、ビデオクリップの位置を特定して検索することができる。
図２に、問合せビデオクリップの符号と他のビデオクリップの符号との整合の判定の概要をフローチャートで示す。
まず、問合せビデオクリップを特定して、少なくとも部分的にＭＰＥＧ符号化規格を用いて符号化する（ステップ２０１）。問合せビデオクリップの符号は、図１のプロセスに従って抽出する。
次に、データベース（の）・ビデオクリップに対応する符号を選択して、問合せビデオクリップの符号と比較する（ステップ２０２）。従って、ローカル・データベースに記憶されているいずれの代表フレームの符号も、比較用に選択される最初の符号となり得る。
そして、変数minscore（最小得点）を、フレーム符号の長さ＋１の値に初期化する（ステップ２０３）。本発明の好適な実施例では、フレーム符号の長さが１２８であり；従って、変数minscoreの値は１２９に初期化して、この値は、問合せビデオクリップから抽出した符号列とデータベース・ビデオクリップから抽出した符号列との間の合計ハミング距離尺度が取り得る最大限の値よりも大きい。以下のステップ２０８で説明するように、変数minscoreには、問合せビデオクリップ符号列と、所定のデータベースについて計算したデータベース・ビデオクリップ符号列との間の最小総合ハミング距離尺度の値を格納する。
次に、問合せビデオクリップからの代表フレーム符号と、問合せビデオクリップと比較しようとするビデオクリップからの代表フレーム符号との間のハミング距離尺度の合計を格納する変数を初期化する（ステップ２０４）。また、問合せビデオクリップのフレーム符号とデータベース・ビデオクリップのフレーム符号とを比較した回数を数える変数も初期化する（ステップ２０４）。
そして、代表フレームのフレーム符号である問合せビデオクリップ符号からの参加は、データベース・ビデオクリップ符号からの参加に対応して配置される。かかる参加は、代表的フレームのフレーム符号となる。さらに、各ビデオクリップからの参加の列は、まとめて、ビデオクリップに対する符号列と呼ばれる。
問合せビデオクリップ符号からの最初の参加は、データベース・ビデオクリップ符号からの最初の参加に対応して配置される。さらに、問合せビデオクリップ符号とデータベース・ビデオクリップ符号とのそれぞれからの参加は互いに対応して配置される。符号列内のフレーム符号の位置は、フレーム符号が抽出されるビデオクリップ内のフレームの位置とは、必ずしも同じではない。
ステップ２０６では、問合せビデオクリップ符号列内の任意のフレーム符号と問合せビデオクリップ列からの任意のフレーム符号に対応するデータベース・ビデオクリップ符号列内の３個までのフレーム符号との間で比較が行なわれる。ビデオクリップにおける前方向と後方向とのいずれかでの、問合せビデオクリップ符号列とデータベース・ビデオクリップ符号列との参加相互間の食い違いもしくはずれを考慮して、（任意数のうち）１フレームの距離が比較の際に許されるのが好適である。前方向もしくは後方向における１フレームより大きい距離が選択された場合には、問合せビデオクリップ・フレーム符号が３個以上のフレーム符号と比較されることもあり得る。
ステップ２０７では、問合せビデオクリップの符号から、データベース・ビデオクリップ内の対応するフレームの符号までのハミングによる距離尺度が、ステップ２０４〜２１０の現下の繰返しによって決定される。この距離変数は、従って、行なわれる比較の回数に伴って更新される。ずれ毎に、比較されるフレーム相互間の全ハミング距離尺度の「得点」が１回記録される。
従って、ステップ２０８では、「得点」の値が最小得点の値より低い場合に、「得点」の値が最小得点に記憶される。
データベースは、典型的には、問合せビデオクリップ符号以上の参加を含んでいる。従って、問合せビデオクリップからの符号列は、ビデオクリップ毎にフレーム群の列を保持して、データベース・ビデオクリップからの参加の各系列と比較される。これは、まず、符号列毎に最初の参加を互いに対応させて配置し、ついで、比較を行なうことによって達成される。従って、問合せビデオクリップにおけるフレーム符号の全列が一参加だけずれ、かかる比較が繰返される。このずれは、問合せビデオクリップ符号列からのフレーム符号列が、データベースにおける参加の対応する列と比較されるまで繰返される。
ステップ２０９では、問合せビデオクリップ符号列が、選択されたデータベース・ビデオクリップ符号に対する各データベース・ビデオ符号列と比較されているか否かが判定される。しからざる場合には、ステップ２１０で、問合せビデオ符号列が、データベース・ビデオ符号列に対して１参加分だけずれて、次の繰返しに対するステップ２０４に制御が戻される。
ステップ２０９では、問合せビデオ符号列が、選択されたデータベース・ビデオクリップ符号に対する各データベース符号列と比較されている場合に、ステップ２１１を実行する。
ステップ２１１では、最小得点に記憶された値が、各データベース・ビデオクリップに対応する最小得点の参加を記憶する得点表に挿入される。
データベースに記憶されたデータベース・ビデオクリップ符号列が、全て、問合せビデオクリップ符号列と比較されたか否かが、ステップ２１２で判定される。
しからざる場合には、ステップ２１３で、次のデータベース・ビデオクリップ列が選択され、ステップ２０３乃至２１２が繰返される。
データベース・ビデオクリップ符号列が全て比較されてしまうと、図２の処理が完結する。
問合せビデオクリップ符号とデータベース・ビデオクリップ符号との類似性は、かかるビデオクリップ符号相互間のハミング距離尺度を差引いた符号内のビット数として判定される。
ハミング距離が小さい場合には、２種類のビデオクリップ符号相互間の類似性は高い。従って、データベース・ビデオクリップ符号が問合せビデオクリップ符号に対する類似性にそれぞれ基づいて順位づけされる場合には、データベース・ビデオクリップ符号は、類似性の減少する順に配置される。２種類のビデオクリップ相互間の類似性が高いほど、かかる２種類のビデオクリップが外見上近接していることが示される。
他方、データベース・ビデオクリップ符号が問合せビデオクリップ符号からのハミング距離にそれぞれ基づいて順位づけされる場合には、データベース・ビデオクリップ符号は、ハミング距離の増大順に配列される。ハミング距離が小さいほど、外見上近接していることが示される。
図３に示すビデオ符号抽出・記憶系８は、サン作業場やペンチウム台パーソナル・コンピュータなどのコンピュータによって構成するのが好適である。この抽出記憶系８は、ビデオ源１０、ビデオ情報検索系１８及び使用者インターフェース３２を含んでいる。
ビデオ源１０は、種々の信号源からのビデオクリップを受取ることができる。ビデオクリップは、ＭＰＥＧビデオ奉仕器１２により、ＭＰＥＧもしくは動きＪＰＥＧの様式ですでにディジタル符号化されている。さらに、ビデオクリップは生ビデオ源１４が提供する生ビデオから提供され、ＭＰＥＧもしくは動きＪＰＥＧの様式、もしくは、ネットワーク信号源１６が提供するＭＰＥＧ以外の様式で符号化される。
各信号源１２，１４及び１６は、ビデオクリップを提供するが、図３には示してない他の信号源にそれぞれ対面することがある。ＭＰＥＧビデオ奉仕器１２に対面する代表的信号源はインターネットであり、ｆｔｐ領域に沿ってユニックス作動系を駆動するコンピュータ上のｆｔｐ位置、もしくは、ｈｔｍｌ文書要求を待つｈｔｔｐ奉仕器を駆動する種々のＷｅｂ位置にビデオクリップを記憶する。
ビデオ源１０は、ビデオ情報検索系１８にビデオクリップを供給し、ビデオクリップがＭＰＥＧビデオサーバー１２からの場合には、さらなる符号化は不必要である。
生ビデオ源１４がビデオクリップを提供する場合には、符号系列が抽出される前に、ＭＰＥＧ符号化規格を用いてビデオクリップを圧縮しなければならない。
ビデオクリップがネットワーク源１６によって提供される場合には、ビデオクリップがＭＰＥＧ様式以外の様式で符号化されていることもあり、従って、符号系列の抽出が起る前に、例えばビデオブリッジにより、ＭＰＥＧ符号化規格を用いて部分的に再符号化されなければならない。符号化には、従来のコンピュータのハードウエア及びソフトウエアを用い得る。
ビデオ情報検索系１８においては、本文・符号抽出処理２０が各ビデオクリップの符号を抽出する。
そのうえに、処理２０は、ＭＰＥＧビデオサーバー１２から受信したビデオクリップの抽出したＤＣ＋Ｍ符号を共同データベース２２に記憶する。共同データベース２２は、他のデータ（すなわち、ビデオクリップの符号及び他の説明的データ）を表わすデータが記憶されるので、「共同データベース」と呼ばれる。処理２０は、任意のユニックス台コンピュータ、パーソナル・コンピュータ、もしくは、他の台上にソフトウエアにより設けることができる。処理２０は、ＭＰＥＧ符号化器もしくはＭＰＥＧ復号器のハードウエア装填台の一部とすることもできる。
他方、処理２０が生ビデオ源１４から生ビデオを受信した場合には、処理２０は、従来のようにして、ＭＰＥＧ符号化規格を用いて生ビデオを圧縮もしくは部分器に圧縮し、圧縮したＭＰＥＧビデオクリップからＤＣ＋Ｍ符号を抽出し、さらに、抽出した符号を共同データベース２２に記憶する。ネットワーク源１６がビデオクリップを伝送した場合には、処理２０は、ビデオクリップをＭＰＥＧ様式に再符号化し、再符号化したＭＰＥＧビデオクリップからＤＣ＋Ｍ符号を抽出し、その符号を共同データベース２２に記憶する。
ビデオクリップの（フレーム符号を備えた）抽出符号に沿って、本文符号抽出処理２０は、対応するビデオクリップを記憶する位置、バイトで表わすビデオクリップの寸法、ビデオクリップの時間長及びビデオクリップの表題などの他の識別情報を共同データベースに記憶する。フレーム符号を抽出するフレーム群は、代表的フレームと呼ばれる。
図３では、副検索系２４が、類似のビデオクリップの符号、について共同データベース２２を探索するために、問合せビデオクリップから抽出した符号を用いる。副検索系２４は、類似性計算処理２６、順位処理２８及び送達表示処理３０を含んでいる。
類似性計算処理２６は、問合せビデオクリップの符号と共同データベース２２に記憶したビデオクリップの符号との「類似性」を判定する。順位処理２８は、符号が共同データベース２２に記憶されているビデオクリップの順位を判定する。これには「類似性」尺度を用いる。
送達表示処理３０は、符号が共同データベース２２に記憶されているビデオクリップを表示するための指針を含んでいる。ビデオクリップがインターネット上の遠隔Ｗｅｄ位置に記憶されている場合には、送達表示処理３０は、ビデオクリップのインターネット・ノード及びリモートファイル系上の位置を追跡する。
処理２６、処理２８及び送達表示処理３０は、それぞれ、ソフトウエア・プログラムもしくはハードウアもしくはファームウエアとすることができる。
使用者インターフェース３２は先端ソフトウエアであり、使用者がビデオクリップを提出して、探索結果を表示し得るようにした、ＶＩＳＵＡＬＣ＋＋やＶＩＳＵＡＬ ＢＡＳＩＣのような展開キットを用いて書き表わすことができる。本発明の使用者インターフェース３２の一例が図１２に示されている。
符号系列の抽出はつぎのとおりである。
各フレーム符号は、ＭＰＥＧ符号化されたビデオクリップから抽出された符号について１２８ビットで表わされるのが好ましい。（動きＪＰＥＧ符号化されたビデオクリップから抽出した符号については、以下に説明するように、各フレーム符号を９６ビットで表わす。）しかしながら、かかるビット数は、ビデオクリップの符号に望ましい分解能もしくは感度に応じて、使用者により変えられる。そのうえに、符号は、ビデオクリップの各フレーム、ビデオクリップの他の各フレーム等に対して１２８ビットを含み得る。
ビデオクリップは、ビデオフレーム列、すなわち、｛ｉ₀，…，ｉ_n｝と考えることができる。ビデオクリップは、かかるフレーム｛ｉ₀，…，ｉ_n｝の副組によっても表わすことができる。符号を抽出するフレームである代表的なフレームは、ＭＰＥＧフレーム・パターンに基づき、もしくは、光景変換から抽出したキーフレームを用いて選択することができる。各フレームは、窓対のＤＣ係数及び動きベクトルに基づく符号を用いて表わされる。
本発明においては、ビデオクリップは、つぎのようにして索引をつけることができる。
１．ＤＣ＋Ｍ符号を取出すのにＩフレームを用いる。この方法は、キーフレームの抽出を必要としない。しかしながら、発生した索引は大きくなり、検索時間は長くなる。もしくは、
２．基本的にキーフレームを用いる。長い光景をもったビデオ長の場合には、この方法で処理するフレーム数が少なくなる。
ＤＣ＋Ｍ符号は、局地的なＤＣ＋Ｍ符号が全体的ＤＣ＋Ｍ符号となる。局地的ＤＣ＋Ｍ符号は、フレーム符号とも呼ばれ、特殊なフレーム及び近傍のフレーム群から、その特殊なフレームが属するフレーム群の前後の関係の増大を考慮することなく取出した符号である。
局地的ＤＣ＋Ｍ符号及び全体的ＤＣ＋Ｍ符号については、フレーム符号のＤＣ成分が同様にして抽出される。しかしながら、符号の動きビット群が、局地的ＤＣ＋Ｍ符号と全体的ＤＣ＋Ｍ符号との間で相違している。動きビット群は、フレームに組合わされた動きベクトルが零であるか、非零であるかを表わす。代表的フレームの局地的ＤＣ＋Ｍ符号については、これは、代表的フレームとその代表的フレームを直接に取囲むフレーム群との間の動きに適用される。しかしながら、代表的フレームの全体的ＤＣ＋Ｍ符号については、動きビット群は、代表的フレームとその代表的フレームから数フレーム離れたフレーム群との間の動きについて、動きベクトルが零であるか、非零であるかを示す。動き符号は、典型的には、局地的ＤＣ＋Ｍ符号内の窓対毎の２ビットによって表わされる。
また、キーフレーム位置は、符号を抽出するための代表的フレームとして用い得る。符号の発生は、キーフレームの位置に懸っている。
１．キーフレームがＩフレームであれば、ＤＣ係数は、そのＩフレームから取られるとともに、余分の処理を要せずに、引続くＢもしくはＰのフレームからの対応する動きベクトルからも取られる。
２．キーフレームがＢフレームであれば、記述フレームはＤＣＴ係数を得るものと考えられる。ＤＣ係数は、先行するＩもしくはＰフレーム、あるいは、将来のＩもしくはＰフレームにおけるそれぞれのマクロブロックから抽出される。現下のフレームにおける動きベクトルは動きベクトルを取出すのに用いられる。さらに、
３．Ｐフレームについては符号抽出処理が１フレーム先行する。先行フレーム内の輝度ブロック及び色度ブロックの多くは、内部符号化され（すなわち、ブロック群が含まれるマクロブロックに関する全情報がそこに含まれていて、動きベクトルを用いることなく、ＤＣＴ係数のみによって表わされ）、ＤＣ係数の抽出を単純化する。ＤＣ係数を抽出するには、先行基準フレーム（ＩフレームもしくはＰフレームとなる）のそれぞれのマクロブロックからのＤＣ係数が設定される。フレーム符号の動きビット群を得るには、Ｂフレームからの動きベクトルが用いられる。次のフレームがＩフレームであれば、最近の将来のＢもしくはＰフレームからの動きベクトルが動き符号に対して用いられる。従って、キーフレームがＰフレームであれば、フレーム符号は、ＤＣ係数及び上述のフレーム群に組合わせた動きベクトルから抽出される。
キーフレームの位置が予め知られていない場合には、符号抽出にはビデオクリップ内のＩフレームを用いることになる。
全体的ＤＣ＋Ｍ符号は、フレーム符号とも呼ばれ、ＭＰＥＧ規格で符号化されたビデオ場面内もしくはフレームパターン内の一連のフレーム群について、フレームから抽出される。全体的ＤＣ＋Ｍ符号については、符号のＤＣ成分が、以下に詳述するように、局地的ＤＣ＋Ｍ符号の場合と同様にして抽出される。符号の動き部分は、次のＩフレームに達するまで、もしくは、ビデオクリップ内の多数のフレーム群の副組に亘って窓対に対応するマクロブロックを追跡することによって決定される。ついで、窓対の相対的動きに対する質的説明が計算される。この場合、動き符号は、窓対毎の２ビットより長くなり得る。動き符号は、ビデオクリップ内の多数のフレーム群の副組に亘って窓対の各窓相互間の関係を反映している。
本発明における符号は、図４に示すように、窓対相互間の関係から取出される。各映像フレーム４０について、各窓対が符号の一部にそれぞれ対応する多数の窓対が選択される。従って、窓対の個数が符号の長さを決定する。画像フレーム内の多数のマクロブロックを覆う領域である１マクロブロックに窓対の各窓が対応している。
ＭＰＥＧフレーム内のマクロブロックは、図５に示すように、１６×１６画素の領域に対応している。色度及び輝度の各標本は、８×８画素のブロックに構成されている。マクロブロックは、輝度画素群の８×８ブロック４個と２種類の色度（もしくは色）成分の８×８ブロックのそれぞれ１個とを、図５に示すように含んでいる。
窓対の符号は、つぎのようにして取出すことができる。
（ａ）（動きＪＰＥＧを用いて符号化した場合のように）
Ｉフレームのみを含むビデオ系列について：各Ｉフレームにつき、６４ビットが輝度平面から取出され、１６ビットの２組が２色度平面のそれぞれから取出され、ＤＣ成分については合計９６ビットが取出される。動きベクトルからの寄与は存在しない（排他的に動きＪＰＥＧによって符号化されたビデオクリップを用いた場合の引続く整合に対しては、かかる９６ビットのみが用いられる）。
（ｂ）（ＭＰＥＧを用いたビデオ系列に対するように）Ｉ，Ｂ及びＰの各フレームを含むビデオ系列について：（キーとも呼ばれる）１２８ビットの符号が取出され、そのうち、９６ビットがＤＣ係数から取出され、３２ビットがＭＰＥＧデータ流で利用し得る動き情報から取出される。引続く整合に対しては、Ｉ，Ｂ及びＰの各フレームから抽出された符号を用いて、前述の１２８ビット全体が用いられる。
図６に示すように、フレーム４０は、ｗ１とｗ１′，ｗ２とｗ２′及びｗ３とｗ３′の窓対の３例を含んでいる。窓対の位置は、あからじめ選択されているが、符号群の全共同データベース２２及び問合せビデオクリップの符号に対しては固定されている。従って、単一のビデオクリップは、複合共同データベース２２に記憶された複合符号を有することができる。例えば、一つの共同データベース２２に記憶され、フレーム群の真中に集中している一組の符号群が望ましい場合には、整合用窓は、それ相応に選定される。他方、他の共同データベース２２に記憶された符号群が背景領域に相当するように意図されている場合には、窓の位置がそれ相応に選定される。この実施例では、フレーム毎に１６対の窓が存在する。
図４に示したフレーム４０内の窓対ｗ１とｗ１′，ｗ２とｗ２′及びｗ３とｗ３′の各組から符号４２が抽出される。図４では、符号４２が、窓対ｗ１とｗ１′に対応する符号からの窓符号Ｓｗ１、窓対ｗ２とｗ２′に対応する符号からの窓符号Ｓｗ２及び窓対ｗ３とｗ３′に対応する符号からの窓符号Ｓｗ３を含んでいる。
つぎのものは、前述した窓対のそれぞれに対する窓符号がどのように決定されるかの一例である。図６における各窓もしくはマクロブロックについて、図５における輝度ブロック及び２色度ブロックのそれぞれに対するＤＣ係数が抽出される。図５では、輝度平面内の４ブロック及び色度平面内の２ブロックが符号抽出に用いられる。輝度ブロック及び色度ブロックのＤＣ成分は、従来のようにして決定される。
一例として窓対ｗ１とｗ１′を用いると、図６に示すように、窓対の各窓は６ＤＣ係数（ＤＣｉ）を有している。好適な実施例では、６符号ビットＳ１乃至Ｓ６が、つぎの式に基づいて各窓対につき抽出される。
Ｓｉ＝１ ｜ＤＣｉ−ＤＣｉ′｜＜＝閾値（１）
Ｓｉ＝０ ｜ＤＣｉ−ＤＣｉ′｜＞閾値（２）
図６に示した各窓対に対して組合わされた６ＤＣ成分の抽出の結果、図４に示した符号４２となる。符号４２は、窓対ｗ１とｗ１′，ｗ２とｗ２′及びｗ３とｗ３′に対応する符号Ｓｗ₁，Ｓｗ₂，Ｓｗ₃のそれぞれに対する６ビットを含んでいる。そのうえに、符号が抽出されつつあるビデオクリップがＭＰＥＧ規格を用いて符号化されている場合には、（図４に示されていない）動きビットも符号４２に寄与する。
好適な実施例では、上述した式（１）及び（２）に基づく上述したＤＣ係数の対を用いて符号Ｓ₁のビットが計算される。しかしながら、この符号は、ＭＰＥＧ符号化されたビデオクリップのＤＣＴ係数の他の係数を用い、例えば、ＤＣ成分をＡＣ成分に加えて、任意の数で割ることによっても計算することができる。
コンピュータが２値数を２ⁿの群に最も効率よく記憶し、無符号の整数が、典型的には、多数のＣ語編集器などの多数のソフトウエア編集器内の３２ビットに記憶されるので、１６窓対を有することは好ましい。１マクロブロックには６ブロックが存在し、ブロック当り１６ビットが存在し、それからつぎのＤＣ成分が取出される。
４輝度ブロック×１６ビット＝６４ビット、及び
色度に対して２×１６ビット＝３２ビットを与える２色度（ＣｒとＣｂ）のそれぞれに対する１ブッロク。
窓対における窓相互間の動きは、動きの２ビットを用いて、つぎのように質的に書き表わすことができる。
１．両窓が動き零を呈する場合（すなわち動きベクトルが零の場合）には、ビット群を００に設定する。
２．第１窓が静止（動きベクトルが零）であるが、第２窓が動いた（動きベクトルが零でない）場合には、ビット群を０１に設定する。
３．第１窓が動いた（動きベクトルが零でない）が、第２窓が静止であった（動きベクトルが零である）場合には、ビット群を１０に設定する。
４．両窓が動きを呈する（両動きベクトルが零でない）場合には、ビット群を１１に設定する。
ビデオクリップが動きＪＰＥＧ様式を用いて符号化されている場合には、動きビットからの寄与は存在しない。
図７は、あるフレームの窓対に対する符号の一例を示したものである。図７に示す符号４４は、長さ１２８ビットで、１６窓対当り８ビットの群に構成されている。例えば、図７に示す符号内の最初の８ビットのうち、ビットＬ１１乃至Ｌ１４は、窓対ｗ１及びｗ１′に対する上述の輝度ビットであり、ビットＣｒ１及びＣｂ１は、窓対ｗ１及びｗ１′に対する色度ビットであり、さらに、ビットＭ１１乃至Ｍ１２は、窓対ｗ１及びｗ１′に対する動きビット（もしあれば）である。窓対ｗ２とｗ２′乃至ｗ１６とｗ１６′のそれぞれに対する８ビットは、図７に示すとおりに構成される。
図８（Ａ）及び８（Ｂ）に示すように、窓の寸法及び位置は、映像寸法に対して相対的である。ある場合には、窓は、図８（Ａ）に示すように、唯一のマクロブロックを覆っている。他の場合には、窓は、図８（Ｂ）に示すように、複数マクロブロックを、なるべく多数のマクロブロックそれぞれの部分を覆う。後者の場合に、ＤＣ値は、窓で覆われたマクロブロックのＤＣ値の荷重和として計算される。その場合に、荷重は、窓で覆われたマクロブロックの相対面積である。
上述のように窓寸法を正規化するには、窓が複数マクロブロックを覆う場合には、図９に示す過程により、窓を標準寸法の窓に描く。
図９は、本発明において、窓を描いてＤＣ係数を計算するためのフローチャートである。ステップ３０１では、標準寸法の映像において、ｉを１乃至４としてＷｘｉ，Ｗｙｉで決まる窓の座標が、予め使用者によって選択される。また、ステップ３０１では、新たな映像寸法が入力として提供される。ステップ３０２では、標準映像における窓の各座標が、新たな映像の寸法に対応して描かれる。ステップ３０３では、ステップ３０１で決められた窓の各座標について、新たな映像内の窓の全面積の一部として窓により覆われたマクロブロックの部分的面積に基づいて荷重が計算される。ついで、ステップ３０４では、図８（Ｂ）を参照して論じたように、窓によって覆われたマクロブロックのＤＣ値の荷重和としてＤＣ値が計算される。
図１０は、符号記録処理におけるフレーム符号抽出を示すフローチャートである。ステップ４０１では、符号が抽出されるフレームにおけるいずれかの窓対を示す指数ｊが値「１」で始まる。ステップ４０２では、図１０に示す過程が、映像のＤＣ係数と動きベクトルＭｗｊ及びＭｗｊ′を有する窓対Ｗｊ及びＷｊ′について始まる。ステップ４０３では、ＤＣ成分のいずれかが計算されつつあるかを示す指数ｉが値「１」で始まる。ステップ４０４では、窓からｉ番目の、ＤＣｉで示すＤＣ係数が各窓Ｗｊについて計算され、窓からｉ番目の、ＤＣｉ′で示すＤＣ係数が、図６に従い、各窓Ｗｊ′について計算される。ステップ４０５では、ＤＣｉとＤＣｉ′との差の絶対値が、使用者によって選択された任意の閾値量と比較される。前述の差が閾値量より小さい場合には、ｉ番目の符号ビットＳｉが、ステップ４０６で示すように、１に等しく設定される。他方、前述の差が任意の閾値量より大きいか、等しい場合には、ｉ番目の符号ビットＳｉがステップ４０７に示すように、零に等しく設定される。
ステップ４０６及び４０７のそれぞれからは、ｉ番目の符号ビットがその符号のすでに生じているビット群と連鎖して、ステップ４０８に示すように、符号Ｓの更新版を形成する。ステップ４０９では、ｉが６（本発明におけるマクロブッロク内のブロックの個数（輝度ブロックの４に２色度ブロックの１ずつを加えた値）に等しい）より小さい場合には、ステップ４１０でｉを１だけ歩進させ、ｉの新しい値に対してＤＣｉ及びＤＣｉ′を計算する。
他方、ｉがステップ４０９における６より大きいか、等しい場合には、ステップ４１１で、動きベクトルＭｗｊの絶対値を零と比較して、動きベクトルが零であるか、非零であるかを判定する。動きベクトルの絶対値が零でない場合には、ステップ４１２で、動きビットｍｊを１に等しく設定する。他方、動きベクトルＭｗｊの絶対値が零に等しい場合には、ステップ４１３で、動きビットｍｊを零に等しく設定する。ついで、ステップ４１４では、符号Ｓの新しい値が、符号Ｓを動きビットｍｊの値と連鎖させることによってさらに形成される。
ステップ４１５では、動きベクトルＭｗｊ′の絶対値が零と比較される。動きベクトルＭｗｊ′の絶対値が零より大きい場合には、ステップ４１６で、動きビットｍｊ′を１に等しく設定する。しかしながら、動きベクトルＭｗｊ′の絶対値が零に等しい場合には、ステップ４１７で、動きビットｍｊ′の値を零に等しく設定する。ステップ４１８では、符号Ｓ及び動きベクトルｍｊ′の値が連鎖して、符号Ｓにつき新しい値を形成する。
ステップ４１９で、窓指数ｊの値がビデオクリップのフレームにおける窓対の個数より小さい場合には、ステップ４１２で、ｊの値を１だけ歩進させて、ステップ４０２乃至４２０の符号抽出処理を繰返す。しかしながら、指数ｊの値がビデオクリップのフレームにおける窓の個数より大きいか等しい場合には、ビデオクリップの１フレームからの符号抽出が完結する。
ビデオクリップは、それぞれの符号を用いて検索される。各ビデオクリップは一連の符号群として表されるので、かかる符号群は、ハミング距離尺度によりビデオクリップを相互比較するのに用いられる。
ビデオ検索のゴールは、問合せビデオクリップを識別し、その問合せビデオクリップの符号を抽出し、ついで、局地もしくは遠隔、あるいは、その組合わせのデータベースから、そのデータベースに記憶したビデオクリップの符号に基づくようにして、問合せビデオクリップに類似の他のビデオクリップを検索することである。
検索処理の第１段階は、問合せビデオクリップから符号を抽出することである。ついで、問合せビデオクリップの符号をデータベースに記憶したビデオクリップを表す符号と比較する。その整合は、通常のハミング距離を測定することによって行なわれる。例えば、０１０１と１０１１との間のハミング距離尺度は、０１０１と１０１１との差のビデオ数が３であるから、３である。
２フレーム相互間のハミング距離は、コンピュータにより、ビット風「排他的オア」動作の結果で得られる「１」に設定されたビット群の和として計算される。
かかるハミング距離計算は、問合せビデオクリップまでの最短距離であるデータベース全体からビデオクリップのスライスをもたらす。
ＭＰＥＧ符号化規格を用いて符号化されたビデオクリップについては、動き情報も検索処理に用いられる。符号化パターンがＩフレームのみ含んでいる場合には、動きＪＰＥＧ符号化規格を用いて符号化されたビデオクリップの場合と同様に、問合せ符号とデータベース符号との整合がＤＣ符号を用いてコンピュータにより行なわれる。
ビデオクリップのフレーム群の類似性は、保存されている列におけるフレームの順位付けによって験される。例えば、本発明においては、問合せビデオクリップの第１の代表的フレームの符号が、データベース・ビデオクリップの第１の代表的フレームの符号と比較される。同様に、問合せビデオクリップの第２の代表的フレームの符号は、その問合せビデオクリップの第２の代表的フレームとデータベース・ビデオクリップの代表的フレームとの間に対応が存在する場合に、そのデータベースの代表的フレームの符号と比較される。
問合せビデオクリップとデータベース・ビデオクリップとのフレーム相互間のずれのフレーム数を考慮して、データベース・ビデオクリップ・フレーム符号が抽出されたデータベース・ビデオクリップの代表的フレームが、問合せビデオクリップのフレーム符号が抽出された問合せビデオクリップの代表的フレームと同じデータベース・ビデオクリップ内のフレーム位置（もしくは１フレーム以内）に在る場合には、問合せビデオクリップとデータベース・ビデオクリップとの代表的フレーム相互間の対応が生ずる。
かかるずれは、図１１（Ａ）乃至１１（Ｄ）を参照して以下に論ずる。
つぎに、データベース・ビデオクリップからの第２フレーム符号と比較されている問合せビデオクリップからの第１フレーム符号に対して、フレーム符号は１フレーム符号分だけ相互にずれている。
フレーム符号相互の比較を１フレーム符号分だけずらす上述の処理過程は、問合せビデオクリップ列の符号がデータベース内のフレーム符号の全系列と比較されてしまうまで繰り返される。問合せビデオクリップとビデオクリップ・データベースに記憶されたビデオクリップとの間に期待される類似性は、本発明において対応するフレーム符号相互間の全ハミング距離を１２８から差し引くことによって計算される。従って、各データベース・ビデオクリップについて最高の類似性の得点が記憶される。
本発明におけるビデオクリップの検索の一例は、つぎの偽似符号を参照して論じられる。これは、問合せビデオクリップの符号とデータベース・ビデオクリップの符号との間のハミング距離尺度を計算する。
問合せビデオクリップに対する符号系列Ｑが｛ｑ₁，…，ｑ_n｝であり、データベース・ビデオクリップに対する符号列Ｄが｛ｄ₁，…，ｄ_n｝であると、仮定する。つぎの偽似符号は、問合せビデオクリップ符号とデータベース・ビデオクリップ符号との間のハミング距離得点を提供する。
Ｓ＝１，…，データベース内ビデオクリップの個数に対して
Ｑ＝｛ｑ＿₁，…，ｑ＿_n｝，Ｑ＜＞空セットとする。
ＴｅｍｐＱ＝Ｑ
Ｄ_S＝｛ｄ＿₁，…，ｄ＿_n｝，ｍはＤ_S内の代表的フレームの個数
Ｄ_S＜＞空セット
ｊ＝１，ｍ−ｎに対して
最小得点＝フレーム符号の長さ＋１
ｉ＝１，ｎに対して
和＿ｊ＝０
計数＿ｊ＝０
Ｋ＜−最近フレーム（Ｄ，ｑ＿ｉ）
／^*Ｋは最大３要素をもち得る^*／
和＿ｊ＝和＿ｊ＋Σハミング（ｓｉｇ（ｑ＿ｉ），ｓｉｇ（ｄ＿ｋ）ｋεＫ
計数＿ｊ＝計数＿ｊ＋｜ｋ｜
ｅｎｄｆｏｒ ｉ
得点＿ｊ＝和＿ｊ／計数＿ｊ
得点＿ｊ＜最小得点ならば、最小得点＝得点＿ｊ
ＴｅｍｐＱ＝｛ｑ＿ｐ｜ｑ＿ｐ＜−ｑ＿ｐ＋ｄ＿ｊ＋｜−ｄ＿ｊ，ｐ＝１，ｎに対し｝
ｅｎｄｆｏｒ ｊ
得点＜−（最小得点，ｓ）挿入
ｅｎｄｆｏｒ ｓ
問合せビデオクリップの符号とデータベース・ビデオクリップとの符号との間の全ハミング距離が全データベース・ビデオクリップに対して計算される。符号は各ビデオクリップのフレームに対応するが、問合せ列においてそれぞれの符号が抽出されたフレーム相互間の距離と各データベース系列においてそれぞれの符号が抽出されたフレーム相互間の距離とは必ずしも等しくなく、かかる距離は任意に選択することができる。例えば、フレーム符号は、問合せビデオクリップのフレーム１，２及び７のそれぞれに対しては抽出されているが、データベース・ビデオクリップのフレーム１，５，１１及び１５に対しては、前述の各フレームのそれぞれがビデオクリップの代表であれば、抽出されていない。他方、各第５番目（例えば、もしくは第２番目、もしくは、第３番目、等）のフレームは、ビデオクリップにおける符号抽出用に任意に選択されることがある。
上述の偽似符号において、Ｑは「ｎ」参加を含む組であり、問合せビデオクリップから抽出した符号系列を備えている。Ｄ_nは、「ｍ」参加を含む組であり、データベース・ビデオクリップ「ｓ」から抽出した符号列を備えている。ビデオクリップ符号列データベースに記憶された各データベース・ビデオクリップ「ｓ」に対し、「ｆｏｒ」ｊループが繰り返される。
問合せビデオクリップ符号列と各データベース・ビデオクリップ符号列との比較の始点では、問合せビデオクリップ符号列Ｑを保存するために、ＴｅｍｐＱがＱで始まる。従ってＴｅｍｐＱは、問合せビデオクリップ符号列とデータベース・ビデオクリップ符号列「ｓ」との比較の期間中、巧みに取り扱われる。従って、可変の最小得点は、フレーム符号の長さ＋１の値で始まる。
偽似符号では、問合せビデオクリップの符号とデータベース・ビデオクリップの符号との比較の反復の回数を決定する指数ｊが始まる。指数ｊは、図に示すように、前述のビデオクリップのそれぞれにおけるフレーム符号の個数に基づいている。問合せビデオクリップの符号と反復ｊに対するデータベース・ビデオクリップの符号との比較のためのハミング距離を示す変数和＿ｊ及び上述のビデオクリップに対するフレーム符号相互の比較の回数である計数＿ｊも始められる。指数ｉは、問合せビデオクリップ符号列における代表的フレーム符号の個数を示すものである。指数ｋは、フレーム間の任意のずれや喰い違いを考慮しても、問合せビデオクリップにおける代表的フレームの１フレーム以内にあるデータベース・ビデオクリップのフレーム数を示すものである。
偽似符号では、問合せビデオクリップ符号の各フレーム符号が、データベース・ビデオクリップ符号の対応するフレーム符号と比較される。そのうえに、問合せビデオクリップ符号の各フレーム符号は、（以上に詳述したような）対応が存在する場合には、データベース・ビデオクリップ符号の先行もしくは後続のフレーム符号と比較される。従って、問合せビデオクリップの符号が抽出されている各代表的フレームは、問合せ列のフレーム群とビデオクリップのフレームとの相対始動位置を考慮して、問合せビデオクリップからの対応するフレームのいずれかのフレーム方向において（任意の個数に先定し得るが、好ましくは）１フレームに相当するか、１フレーム以内のデータベース列ビデオクリップの各代表的フレームと比較される。
（上述したとおりの）問合せビデオクリップ・フレームの上述した基準に適合する（「ｋ」で示される）１，２もしくは３フレームのそれぞれについて、フレーム相互を比較するための、ビデオクリップの符号とデータベース・ビデオクリップとの間のハミング距離が判定され、和＿ｊ及び計数＿ｊはそれ相応に更新される。
前述の偽似符号では、問合せビデオクリップ・フレームから１フレーム以内にある１，２もしくは３フレームのそれぞれについてハミング距離が計算される。
問合せビデオクリップの符号とデータベース・ビデオクリップの符号との比較が、問合せビデオクリップ符号列とデータベース・ビデオクリップ符号列との参加相互間の現下の喰違いに対して完了した後では、問合せ代表的フレームの符号と対応する代表的フレームの符号とのハミング距離の和を計算したハミング距離の個数で割算することにより平均（得点＿ｊ）が計算される。
問合せビデオクリップから抽出した符号列とデータベース・ビデオクリップから抽出した符号列との間の最小ハミング距離尺度を最小得点が記憶するので、問合せビデオクリップ符号列とデータベース・ビデオクリップ符号列との参加相互間の現下の喰違いについて計算したハミング距離尺度が任意の先行喰違いにおける同じデータベース・ビデオクリップ符号列について計算したハミング距離尺度より小さい場合には、最小得点の値が、得点ｊの値によって置換される。
データベース・ビデオクリップにおけるフレームの個数は問合せビデオクリップにおけるフレームの個数より大きいと仮定されるので、各ビデオクリップ内のフレーム符号の系列を保留して（すなわちビデオクリップ・フレーム符号を同じ順に保持して）、問合せビデオクリップ内のフレーム符号の列が存在し得るデータベース・ビデオクリップ内のフレーム符号の列の個数に等しい回数だけ、問合せビデオクリップとデータベース・ビデオクリップとの符号相互の比較が繰り返される。指数ｊは、上述した基準がいつ適合されるかを判定する。
問合せビデオクリップ符号とデータベース・ビデオクリップ符号との引き続く各比較については、問合せビデオクリップ符号が、データベース・ビデオクリップ符号に対して代表的１フレーム分だけずれている。上述の偽似符号
ＴｅｍｐＱ＝｛ｑ＿ｐ｜ｑ＿ｐ＜−ｑ＿ｐ＋ｄ＿ｊ＋｜−ｄ＿ｊ，ｐ＝１，ｎとして｝
が問合せビデオ符号列の参加をずらしているので、問合せビデオクリップにおける第１の代表的フレームは、データベース・ビデオクリップ符号列における次の参加に対応してずれている。データベース・ビデオクリップ符号列における次の参加は、「ｆｏｒ」ｊループの先行反復において、問合せビデオクリップ符号列中の第１の代表的フレームから抽出した符号が対応するデータベース・ビデオクリップ符号列における参加の直後のデータベース・ビデオクリップ符号列における参加である。
データベースにおける現下のデータベース・ビデオクリップ符号列「ｓ」用「ｆｏｒ」ｊループの完結に当たって、最小得点の値及び対応する「ｓ」の現在値は得点表に挿入される。得点は、本発明により問合せビデオクリップ符号列が比較された各データベース・ビデオクリップ用ハミング距離尺度の最低値を記憶する。
この得点表は、好適な実施例では、比較的低い得点に基づいて類別された関連表である。この得点表に記憶された最低得点は、問合せビデオクリップ符号列とデータベース・ビデオクリップ符号列の最良の「整合」を示す。
問合せビデオクリップと各データベース・ビデオクリップとの符号相互間の類似性がデータベース・ビデオクリップを類別する基礎として用いられる場合には、データベース・ビデオクリップは、類似性が減る順に配列される。
本発明の上述した偽似符号を用いれば、探索は、データベース中の任意の符号によって開始することができる。
好適な実施例では、２つのビデオクリップの符号相互間の距離の尺度を計算する場合に、比較されるフレーム符号の全得点の平均が用いられる。しかしながら、類似性の尺度は、２つのビデオクリップ相互間の局部的類似のような他の基準に基づくこともできる。つぎのものは、本発明におけるビデオ類似性尺度を決定するためのフレーム・レベルの方法である。
１．（上述の偽似符号に示された）整合フレームの平均総合得点の使用
２．整合フレームの最高得点の平均超過部分の使用、
もしくは、
３．最高の類似性をもたらす代表的フレームの符号相互間の類似性の平均が用いられる若干の局部最大値の近傍における局部得点群に亘る平均の使用。
本発明に対しては、フレーム・レベル以外のレベルでの方法を採用することもできる。
上述した類似性の尺度は、それぞれのビデオクリップの空間的及び動的な特徴の直線的な外観を考慮に入れて、２つのビデオクリップ相互の全体的な類似性をもたらす。かかる方法は、２つのビデオクリップ相互間の類似性が、それぞれのビデオクリップにおける光景の直線的な配置に関係している場合に有用である。しかしながら、ビデオにおける光景の配置には無関係に、２つのビデオクリップの副切片相互の全体的な類似性が必要な（例えば、問合せビデオクリップの始端フレームがデータベース・ビデオクリップの終端フレームと整合し得る、及び、その逆の）場合には、類似した共通副切片の最高得点の平均を用いなければならない。
さらに、本発明においては、使用者は、問合せビデオクリップの種々の部分に、空間的及び動きの面のようなビデオ表現の種々の面に重要性を加えることができる。使用者はつぎのことをすることができる。
１．一連のフレーム群に重要性を加える：
２．ビデオクリップの輝度、色度及び動き成分などの特徴に重要性を加える：
３．探索処理に用うべき代表的フレームの系列における代表的フレームの密度を選択する：及び
４．探索処理で重要なビデオ・フレームを選択する。
問合せビデオクリップの符号と上述した偽似符号と矛盾しないデータベース・ビデオクリップの符号との比較の一例は、図１１（Ａ）乃至１１（Ｄ）に示されている。図１１（Ａ）乃至１１（Ｄ）では、ｍ＝１３及びｎ＝４である。従って、上述した符号列相互間の比較のｍ−ｎ＝４回の繰り返しが行なわれる。
検索過程では、問合せビデオクリップからのフレームの符号は、各データベース・ビデオクリップからのフレームの符号と比較される。図１１（Ａ）乃至１１（Ｄ）は、問合せビデオクリップとデータベース・ビデオクリップとのそれぞれからのどのフレーム番号が互いに比較されるかを「Ｒ」によって示している。上述の偽似符号及び基準に従って比較されるフレーム群は矢印によって示してある。
図１１（Ａ）では、符号が抽出されているフレームである代表的フレーム群は、問合せビデオクリップ及びデータベース・ビデオクリップのそれぞれについて「Ｒ」で表されている。代表的フレーム群は、無秩序にもしくは整然とした間隔で、あるいは、各フレーム毎に、任意のフレーム位置に配置することができる。代表的なフレーム群さえ、不規則なパターンで配置されていることもある。
図１１（Ａ）に示すように、問合せビデオクリップのフレーム１は、データベース・ビデオクリップのフレーム１と比較される。そこで、符号を有するデータベース・ビデオクリップの次のフレームは、フレーム４であるから、問合せビデオクリップのフレーム１とデータベース・ビデオクリップのフレーム４との間の距離は大き過ぎる（すなわち、任意に選択した１フレームの距離を超える）。従って、問合せビデオクリップのフレーム１は、データベース・ビデオクリップのフレーム１とだけ比較される。
問合せビデオクリップの代表的フレームのフレーム番号とデータベース・ビデオクリップからの代表的フレームのフレーム番号との間の対応のための距離は、任意に選択される。図１１（Ａ）乃至１１（Ｄ）の例の場合には、そのパラメータが任意に１として選ばれる。従って、問合せビデオクリップの代表的フレームがフレーム番号６である場合には、問合せビデオクリップのフレーム番号６から抽出した符号は、データベース・ビデオクリップからのフレーム番号５，６もしくは７に対して存在する符号群とだけ比較される。従って、図１１（Ａ）の例では、データベース・ビデオクリップのフレーム番号４に対する符号が存在するにも拘らず、１フレームの距離に選ばれたパラメータに基づけば、データベース・ビデオクリップからのフレーム番号４の符号と比較されるに適した問合せビデオクリップからのフレームは存在しないことになる。
図１１（Ａ）では、問合せビデオクリップのフレーム６は、その符号がデータベース・ビデオクリップからのフレーム７のための符号と比較される代表的フレームであり、問合せビデオクリップのフレーム６から１フレーム以内にある代表的フレームでもある。図１１（Ａ）に示すように、問合せビデオクリップのフレーム８が代表的フレームであり、データベース・ビデオクリップのフレーム７も代表的フレームであって、問合せビデオクリップからのフレーム８から１フレーム以内にあるにも拘らず、問合せビデオクリップからのフレーム８は、データベース・ビデオクリップのフレーム７が、すでに、問合せ切ビデオクリップからのフレーム６と比較されているので、データベース・ビデオクリップのフレーム７と比較されることはない。
本発明においては、データベース・ビデオクリップからの代表的フレームからの符号が問合せビデオクリップからの代表的フレームからの符号と一旦比較されると、そのデータベース・ビデオクリップからの代表的フレームの符号は、問合せビデオクリップ符号列における参加がデータベースビデオクリップ符号列における参加に対して喰い違うまでは、問合せビデオクリップからの他の代表的フレームからの符号と比較されることはない。しかしながら、データベース・ビデオクリップからの代表的フレームからの符号を第２の比較には用いない、という制約は除去することもできる。
図１１（Ａ）は、また、問合せビデオクリップ・フレーム１１，１３，１５及び１７からのフレーム符号が、上述した説明に従い、それぞれのデータベースビデオクリップ・フレームからのフレーム符号と比較されることを示している。問合せビデオクリップからの代表的フレーム２０及び２４からのそれぞれの符号は、データベース・ビデオクリップからの２フレームからのそれぞれのフレーム符号とそれぞれ比較される。データベース・ビデオクリップの上述した代表的２フレームは、それぞれ、対応する代表的問合せビデオクリップ・フレームから１フレーム以内に納まる。従って、問合せビデオクリップからの代表的フレーム２０及び２４に対する二つの「得点」が得られる。その場合、二つのそれぞれの「得点」は、前述した偽似符号に示されているように、代表的な問合せビデオクリップ・フレーム２０及び２４のそれぞれについて平均される。
図１１（Ｂ）では、図１１（Ａ）に示したのと同様の問合せビデオクリップが、上述した偽似符号に従い、データベース・ビデオクリップからの第２の代表的フレーム符号に対してずらされる。
図１１（Ｂ）に示すように、問合せビデオクリップからの代表的フレーム１から抽出した符号は、データベース・ビデオクリップからの代表的フレーム４から抽出した符号と比較される。従って、データベース・ビデオクリップからの第２の代表的フレームは、二つのそれぞれのビデオクリップの位置ずれを考慮すれば、問合せビデオクリップからの代表的フレームから１フレーム以内にないので、問合せビデオクリップからのフレーム１は、データベース・ビデオクリップからの任意の他のフレームと比較されることはない。同様に、問合せビデオクリップからの代表的フレーム６は、データベースビデオクリップからの代表的フレームには対応せず、また、上述の位置ずれを考慮したデータベース・ビデオクリップから１フレーム以内にもないことになる。従って、問合せビデオクリップからの代表的フレーム６から抽出した符号は、データベース・ビデオクリップからの任意のフレームから抽出した符号と比較されることはない。
図１１（Ｂ）では、問合せビデオクリップからの代表的フレーム８から抽出した符号は、データベース・ビデオクリップからの代表的フレーム１１から抽出した符号と比較される。問合せビデオクリップからの代表的フレーム８は、問合せビデオクリップ・フレームとデータベース・ビデオクリップ・フレームとの間のずれを考慮すれば、データベース・ビデオクリップからの代表的フレーム１１と対応する。同様に、問合せビデオクリップからの代表的フレーム１１から抽出した符号は、データベース・ビデオクリップからの代表的フレーム１４から抽出した符号と比較される。問合せビデオクリップからの代表的フレーム１３，１５，１７，２０及び２４から抽出したそれぞれの符号は、データベース・ビデオクリップからの対応する代表的フレームから抽出したそれぞれの符号と比較される。
図１１（Ｃ）では、問合せビデオクリップからの代表的フレーム１から抽出した符号が、データベース・ビデオクリップからの代表的フレーム７から抽出した符号と比較され、代表的フレーム７は、問合せビデオクリップからの代表的フレーム１がずれている次の代表的フレームである。同様に、問合せビデオクリップからの代表的フレーム６から抽出した符号は、データベース・ビデオクリップからの代表的フレーム１１から抽出した符号と比較され、以下同様である。
図１１（Ｄ）では、問合せビデオクリップからの代表的フレーム１から抽出した符号が、データベース・ビデオクリップからの代表的フレーム１１から抽出した符号と比較され、代表的フレーム１１は、問合せビデオクリップからの代表的フレーム１がずれている次の代表的フレームである。同様に問合せビデオクリップからの代表的フレーム６から抽出した符号は、データベース・ビデオクリップからの代表的フレーム１５及び１７から抽出した符号と比較され、以下同様である。
図１１（Ａ）乃至１１（Ｄ）の例では、問合せビデオクリップからの第１の代表的フレームと、問合せビデオクリップからの代表的フレームが比較されるデータベース・ビデオクリップからの代表的フレームとの間のフレームの個数の差が、問合せビデオクリップとデータベース・ビデオクリップとの各フレーム符号比較のために保存される。
図１２は、図３を参照して上述した使用者インターフェース３２の構成配置の一例を示したものである。図１２に示す使用者インターフェース４６は、「エックス ウインドウズ」台上を移動するＴＣＫ／ＴＫ道具一式を用いて構成されている。使用者が、「ビデオによる探索」４８、「ニュース」５０のような話題、及び問合せビデオクリップ５２（検索領域作業面５４の左上端像として示す）を選択すると、（図３を参照して上述した）共同データベース２２から抽出した符号を本発明が探索する。結果のビデオクリップは、問合せビデオクリップに対する類似性のレベルに従い、各行の左から右へ、各列の上から下へ配列される。スクリーン窓５６は、選択されたビデオの寸描（一部分の拡大像）を表示する。
本発明は、実施例の変形も包括している。
本発明の多数の特徴及び利点は詳細説明から明らかであり、本発明の真意及び範囲内に収まる本発明の特徴及び利点をすべて包含するのが、添付した請求の範囲の意図するところである。さらに、幾多の修正及び変更が当業者には容易に生ずるので、以下に記載して説明した厳密な構成及び作用に本発明を限定することは望まれず、従って、適切な修正及び等価物は、すべて、本発明の範囲に入るものと認められる。
【図面の簡単な説明】
図１は、符号抽出の概要を示すフローチャートである。
図２は、符号比較の概要を示すフローチャートである。
図３は、ビデオ検索用のシステム・アーキテクチャのブロック図である。
図４は、ビデオフレーム内の窓対からの符号抽出を示す図である。
図５は、マクロブロックの構造を示す図である。
図６は、符号内のビットの導出を説明する図である。
図７は、符号ビットの構成を示す図である。
図８（Ａ）及び図８（Ｂ）は、異なる大きさの画像内で窓のマッピングを行う詳細図である。
図９は、窓のマッピング、及びＤＣ係数の計算を行うフローチャートである。
図１０は、符号抽出及びアーカイブ化プロセスを示すフローチャートである。
図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ）、及び図１１（Ｄ）は、検索プロセスにおいて、データベース・ビデオクリップ内のフレームと、問合せビデオクリップ内のフレームとを比較する例を示す。
図１２は、問合せビデオクリップ、及び検索したデータベース・ビデオクリップを、ユーザー・インタフェース上に表示した例を示す図である。

Claims (13)

1. コンピュータシステムを用いて、問合せビデオクリップに類似した複数のビデオクリップを識別する方法であって、前記問合せビデオクリップ及び前記複数のビデオクリップは少なくとも部分的にＭＰＥＧ規格またはモーションＪＰＥＧ規格で符号化され、前記方法は、
   前記コンピュータシステムの処理装置が、前記複数のビデオクリップの各々の少なくとも１フレームを複数のウィンドウ対に分割することによって、前記問合せビデオクリップの署名符号を抽出するステップであって、前記複数のウィンドウ対の各々が第１ウィンドウ及び第２ウィンドウを含み、前記署名符号は、前記ウィンドウ対の各々の前記第１ウィンドウと前記第２ウィンドウとの離散コサイン変換（ＤＣＴ）係数の直流（ＤＣ）成分の差を表わすステップと；
   前記コンピュータシステムの計算処理装置が、前記問合せビデオクリップの前記署名符号を、前記複数のビデオクリップの署名符号と比較するステップであって、前記複数のビデオクリップの前記署名符号は、新たに抽出するか、あるいはデータベースに記憶されているステップと；
   前記計算処理装置が、前記複数のビデオクリップの各々の前記署名符号の、前記問合せビデオクリップの前記署名符号に対する類似度の得点を決定するステップと
   を具えていることを特徴とするビデオクリップの識別方法。
2. さらに、前記得点に基づいて、前記複数のビデオクリップを順序付けするステップを具えていることを特徴とする請求項１に記載の方法。
3. 前記署名符号間のハミング距離尺度を計算することによって、前記得点を決定することを特徴とする請求項１に記載の方法。
4. さらに、前記得点に基づいて、前記複数のビデオクリップを表示するステップを具えていることを特徴とする請求項１、２、または３に記載の方法。
5. さらに、前記複数のビデオクリップがＭＰＥＧフォーマットに符号化されていない場合に、前記複数のビデオクリップをＭＰＥＧフォーマットにディジタル符号化するステップを具えていることを特徴とする請求項１、２、３または４に記載の方法。
6. さらに、前記複数のビデオクリップがモーションＪＰＥＧフォーマットに符号化されていない場合に、前記複数のビデオクリップをモーションＪＰＥＧフォーマットにディジタル符号化するステップを具えていることを特徴とする請求項１または２に記載の方法。
7. 前記データベースが、前記複数のビデオクリップの位置、大きさ、及び時間長を、前記署名符号に対応させて記憶することを特徴とする請求項１に記載の方法。
8. 前記ハミング距離尺度を、前記問合せビデオクリップの各署名符号フレームと、前記データベース内のビデオクリップの１つの中の１〜３個の署名符号フレームとの間で決定することを特徴とする請求項３に記載の方法。
9. 複数のビデオクリップの各々の少なくとも１フレームを複数のウィンドウ対に分割することによって、前記複数のビデオクリップから署名符号を抽出する装置であって、前記複数のウィンドウ対の各々が第１ウィンドウ及び第２ウィンドウを含み、かつ、前記複数のビデオクリップの各々の前記少なくとも１フレームに対応する署名符号を生成し、前記署名符号は、前記複数のウィンドウ対の各々の前記第１ウィンドウと前記第２ウィンドウとの離散コサイン変換（ＤＣＴ）係数の直流（ＤＣ）成分の差を表わし、
   前記複数のビデオクリップを供給するビデオ供給源と；
   前記複数のビデオクリップから前記署名符号を抽出し、問合せビデオクリップの前記署名符号を前記複数のビデオクリップの前記署名符号と比較することによって、前記問合せビデオクリップに類似したビデオクリップを識別し、前記問合せビデオクリップに類似したビデオクリップを前記ビデオ供給源から検索するビデオ情報検索システムとを具え、
   前記複数のビデオクリップの前記署名符号は、新たに抽出するか、あるいは前記ビデオ供給源から供給され、前記問合せビデオクリップ及び前記複数のビデオクリップは少なくとも部分的にＭＰＥＧ規格またはモーションＪＰＥＧ規格で符号化されている装置。
10. 前記ビデオ情報検索システムがさらに、前記問合せビデオクリップの前記署名符号と前記複数のビデオクリップの前記署名符号との類似度を決定する検索サブシステムを具えていることを特徴とする請求項９に記載の装置。
11. さらに、前記署名符号を記憶するデータベースを具えていることを特徴とする請求項９または１０に記載の装置。
12. さらに、前記問合せビデオクリップに類似した前記複数のビデオクリップを表示するためのディスプレイを具え、
    前記情報検索システムがさらに、
    前記問合せビデオクリップ及び前記複数のビデオクリップがＭＰＥＧフォーマットでない場合に、前記問合せビデオクリップ及び前記複数のビデオクリップの各々をＭＰＥＧフォーマットに符号化して、前記問合せビデオクリップ及び前記複数のビデオクリップの前記署名符号を抽出するアーカイブ化兼署名符号抽出部分と；
    前記複数のビデオクリップの前記署名符号を記憶するデータベースとを具え、
    前記問合せビデオクリップの前記署名符号を前記複数のビデオクリップの前記署名符号と比較することによって前記問合せビデオクリップに類似したビデオクリップを識別すること、及び前記問合せビデオクリップに類似したビデオクリップを前記ビデオ供給源から検索することを、サブシステムによって実現する
    ことを特徴とする請求項９に記載の装置。
13. さらに、
    前記ビデオ情報検索システムに結合され、前記複数のビデオクリップを表示するためのユーザー・インタフェースを具え、
    前記ビデオ供給源が、
    ＭＰＥＧ符号化規格を用いて符号化された前記複数のビデオクリップを供給するＭＰＥＧビデオサーバーと；
    前記複数のビデオクリップを供給するライブビデオ供給源と；
    ＭＰＥＧ符号化規格以外の符号化規格を用いて符号化された前記複数のビデオクリップを供給するネットワーク供給源とを具え、
    前記ビデオ情報検索システムが、
    前記複数のビデオクリップがＭＰＥＧ符号化規格を用いて符号化されていない場合には、ＭＰＥＧ符号化規格を用いて前記複数のビデオクリップの符号化または部分的な再符号化の一方を行い、前記複数のビデオクリップがＭＰＥＧ符号化規格を用いて符号化されている場合には、前記複数のビデオクリップから前記署名符号を抽出するアーカイブ化兼署名符号抽出器と；
    前記アーカイブ化兼署名符号抽出器に結合され、それぞれの前記署名符号を、当該署名符号に対応するそれぞれの前記複数のビデオクリップの識別データと共に記憶するデータベースと；
    前記データベースに結合され、前記問合せビデオクリップの前記署名符号を、前記データベースに記憶されている前記署名符号と比較して、前記問合せビデオクリップの前記署名符号と前記データベースに記憶されている前記署名符号の各々との類似度を決定するビデオ検索サブシステムとを具え、
    前記ビデオ検索サブシステムが、
    前記類似度を計算する類似度計算機と；
    前記類似度計算機に結合され、前記類似度にもとづいて前記署名符号を順序付けする順序付け装置と；
    前記順序付け装置に結合され、前記署名符号に対応するビデオクリップを検索する検索表示装置とを具えている
    ことを特徴とする請求項９に記載の装置。

Images