JP5116017B2 - 動画検索方法およびシステム - Google Patents

Description

本発明は、動画検索方法およびシステムに係り、特に、カット点やショットの無い動画、あるいはカット点やショットの識別が難しい低画質の動画でも高精度な動画検索が可能な動画検索方法およびシステムに関する。

大量の動画の中から必要な動画を検索する動画検索方式として、検索対象動画から輝度・色などに関する特徴量（画像特徴量）を抽出しておき、この画像特徴量に基づいて必要な動画を検索する方式が知られている。このような動画検索方式は、例えばネット上に不正に流出した動画コンテンツそのものを厳密に検索する厳密検索方式と、ある動画に類似する動画を検索する曖昧検索方式の２つの方式に大別できる。ここでは、曖昧検索方式を例にして従来の動画検索方式を説明する。

動画検索技術を評価するワークショップとして、TREC Video Retrieval Workshop (TRECVID) が知られている。TRECVIDで行われている実験の中に検索（Search）タスクが含まれており、非特許文献１，２にはTRECVIDの検索タスクが開示されている。

この検索手法では、検索対象動画の「ショット」の中から、検索クエリに該当するショットを検索するための特徴として、色情報などの低レベル特徴量から推測された中レベル特徴量や、当該ショットに付随するテキスト情報（クローズドキャプションや音声認識処理結果など）を利用している。しかしながら、これらの検索手法では、検索対象動画が比較的短い個別のショットに限定されている。

テレビ番組のように、複数のショットから構成される動画を対象とした類似検索手法が非特許文献３，４，５，６および特許文献１に開示されている。

非特許文献３では、動画検索の単位を複数のショットから構成される区間とし、例えば、多くのニュース番組の中から同一の話題を検索する動画検索技術が開示されている。ここでは、Earth Mover's Distance(EMD)と呼ばれる類似度算出指標を用い、動画間の類似度を算出することにより、ニュース番組の中から同一の話題を検索している。

非特許文献４および特許文献１では、非特許文献３の技術を応用し、ニュース番組の同一の話題の進行を自動的に追跡する動画話題追跡システムが提案されている。これらの文献では、ユーザからの適合フィードバック情報に基づいてユーザプロファイルを更新し、それ以降の話題追跡の精度を向上させる手法が導入されている。

非特許文献５では、ニュース番組に付与されているテキスト情報に加え、動画から抽出される視覚的特徴量を利用し、同一の話題を検索する技術が提案されている。具体的には、顔検出処理を応用した手法により検索対象動画に映っている人物を特定し、この特定結果を利用して同一の話題を関連づける手法、人物が映っていない動画の場合には、同一の取材ＶＴＲの検出処理(共同配信された動画であるかの検出処理)などを適用して同一の話題を関連づける手法が提案されている。

上記した従来技術は、テレビ番組のように、プロが製作した動画に対する有効性が示されている検索手法であるが、その一方、近年はYouTubeなどに代表される「動画共有サイト」が非常に流行している。このような動画共有サイトでは、一般ユーザが撮影した動画を、ユーザ自身がサイトにアップロードし、他のサイト閲覧者に公開することが可能になっている。ユーザは動画をアップロードする際に、動画の内容を表すカテゴリ情報や「タグ」を付与することが可能になっている。動画共有サイトの閲覧者が見たい動画を検索する場合は、このカテゴリ情報もしくはタグ情報をキーとして検索を行うことができる。
S-F. Chang et al: "Columbia University TRECVID 2005 Video Search and High-level Feature Extraction", Proc of TRECVID 2005, 2005. A. G. Hauptmann et al: "CMU Informedia’s TRECVID 2005 Skirmishes", Proc of TRECVID 2005, 2005. Y. Peng et al.: "EMD-based video clip retrieval by many-to-many matching", Proc CIVR 2005, pp. 71-81, 2005. M. Uddenfeldt et al.: "Adaptive video news story tracking based on Earth Mover’s Distance", Proc. ICME 2006, pp. 1029-1032, 2006. Y. Zhai et al: Tracking news stories across different sources, Proceedings of ACM Multimedia 2005, pp. 2-9, 2005. Yossi Rubner, Carlo Tomasi, and Leonidas J. Guibas, "The earth mover’s distance as a metric for image retrieval," Int. J. Comput. Vision, vol. 40, no. 2, pp. 99-121, 2000. 特願２００６−９３８４１号

上記した各特許・非特許文献では、検索対象動画が、プロにより製作されたテレビ番組などの動画に限られてしまう。プロにより製作された動画では、編集によって多数のショットが動画に含まれていることが多く、上記した従来技術でも、ショットを抽出できることが検索の有効性の前提となっている。

動画のショットはカット点に基づいて識別できるが、動画共有サイトにアップロードされている動画の多くは、素人の一般ユーザが携帯電話などで撮影した低品質の動画であり、このような動画に対して従来技術の検索手法を適用した場合、低品質が原因となるカット点検出精度の劣化により、得られるショットが実際の動画の中身と異なってしまい、それぞれの検索手法が有効に機能しない可能性が高い。

また、そもそも一般ユーザが撮影した動画の場合、ショット自体が存在しないものが多いと考えられる。そうした動画に対しては、従来の検索手法をそのまま適用することは困難である。たとえば、EMDを利用した動画間の類似度算出においては、検索対象動画から抽出されたショットのキーフレーム間の距離と、個々のショット長が特徴量として利用されるが、検索対象動画にカット点が存在しない場合、ショットが１つしか抽出されないため、実質キーフレーム間の距離のみで動画間の類似度が算出されることになる。したがって、たまたま抽出されたキーフレームの特徴が類似していた場合、キーフレーム以外のコンテンツが全く異なった性質を持っていたとしても、動画間の類似度が高く算出されることになり、検索精度の劣化につながる。無論、上記の問題によって、実際の類似度が高い動画間の類似度が低くなり、ユーザにとって思わしくない検索結果が得られる可能性が高い。

本発明の目的は、上記した従来技術の課題を解決し、カット点やショットの無い動画、あるいはカット点やショットの識別が難しい低画質の動画でもクラスタリングを可能にして、高精度な動画検索を可能にする動画検索方法およびシステムを提供することにある。

上記した目的を達成するために、本発明は、以下のような手段を講じた点に特徴がある。

本発明の動画検索システムは、検索対象動画ごとにフレーム単位で特徴量を抽出するフレーム特徴量抽出手段と、前記抽出されたフレーム特徴量に基づいて、各検索動画の各フレームを複数のクラスタに分類するクラスタリングするクラスタリング手段と、クエリ動画を指定するクエリ動画指定手段と、検索対象動画とクエリ動画との類似度を、各動画のクラスタリング結果に基づいて算出する類似度算出手段と、前記類似度の算出結果を出力する検索結果出力手段とを含むことを特徴とする。

本発明によれば、以下のような効果が達成される。

本発明の動画検索方法およびシステムによれば、検索対象の動画がフレーム単位で分析されて特徴量を抽出され、動画ごとに特徴量が類似するフレームを同一クラスタに分類することでクラスタリングが行われ、各クラスタをショットと見なして類似度が算出されるので、カット点やショットの無い動画、あるいはカット点やショットの識別が難しい低画質の動画でも、高精度な動画検索が可能になる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画検索システムの主要部の構成を示した機能ブロック図である。

動画データベース(DB)１１には、検索対象となる多数の動画が格納されている。特徴量抽出モジュール１２は、動画DB１１に格納されている各動画を所定の単位ごとに分析して画像の特徴量を抽出する。本実施形態では、各動画がフレーム単位で分析されて各フレームの色情報が抽出される。クラスタリングモジュール１３は、前記特徴量抽出モジュール１２においてフレームごとに抽出されたフレーム特徴量に基づいて、検索対象動画ごとに、関連性の高いフレームを同一グループに分類するクラスタリング処理を行う。このクラスタリング処理は、カット点が少ないと考えられる個人ユーザ撮影動画の性質を勘案した処理である。このクラスタリング結果は、動画ごとに特徴量DB１４に格納される。

クエリ動画指定モジュール１５では、検索クエリとなる動画（以下、クエリ動画と表現する場合もある）がユーザにより指定される。ユーザは、動画DB１１に格納されている検索対象動画の中からクエリ動画を指定しても良いし、あるいはクエリ動画を別途に入力しても良い。なお、クエリ動画を別途に入力する場合には、図２に示したように、前記クエリ動画指定モジュール１５を、クエリ動画を外部入力するクエリ動画入力モジュール１５ａ、入力されたクエリ動画を分析して特徴量を抽出するクエリ特徴量抽出モジュール１５ｂ、およびクエリ動画のフレームごとに抽出されたクエイ特徴量に基づいて、関連性の高いフレームを同一グループに分類するクラスタリングモジュール１５ｃで構成する必要がある。

類似度算出モジュール１６は、後に詳述するように、前記クエリ動画と全ての検索対象動画との類似度を、各動画のクラスタ同士の比較結果に基づいて算出する。検索結果出力モジュール１７は、本システムのユーザに対し、指定されたクエリ動画に対する検索結果を提示する。具体的には、クエリ動画との類似度が高い検索対象動画をシステムのGUI上に表示する。

次いで、フローチャートを参照して本発明の動作を詳細に説明する。本発明の動作は、検索対象動画から予め特徴量を抽出する「検索対象動画特徴量抽出処理」と、検索対象動画の特徴量とクエリ動画の特徴量とに基づいて当該クエリ動画に類似した動画を検索する「動画検索処理」とに大別される。

図３は、前記「検索対象動画特徴量抽出処理」の手順を示したフローチャートであり、ステップＳ１では、動画DB１１に登録されている検索対象動画の一つが特徴量抽出モジュール１２に取り込まれる。ステップＳ２では、特徴量抽出モジュール１２において特徴抽出処理が実行され、今回の検索対象動画からフレームごとに画像特徴量が抽出される。ここで抽出される画像特徴量としては、MPEG-7 Visual (ISO/IEC 15938-3, "Information technology --- Multimedia content description interface --- Part 8: Extraction and use of MPEG-7 descriptions," Dec. 2002.参照）で定義されている色配置情報や、フレーム画像での色分布を表すカラーヒストグラムなどである。

ステップＳ３では、今回の検索対象動画から特徴量の抽出が完了したか否かが判定され、完了していなければステップＳ２へ戻り、次のフレームを対象に特徴量抽出処理が同様に実行される。なお、当該抽出処理では、検索対象動画の全フレームから画像特徴量を抽出すると計算量が膨大になることから、動画を構成する全n個のフレームから所定の規則（例えば、等間隔）で、特徴量抽出を行うフレームとしてm個だけ選別するなどして計算量を減じることが望ましい。

今回の検索対象動画に関して特徴量抽出処理が完了すると、ステップＳ４では、前記クラスタリングモジュール１３においてフレームクラスタリング処理が実行され、前記フレーム特徴量抽出処理において画像特徴量を抽出された各フレームが、当該特徴量に基づいて複数のクラスに分類される。この処理の目的は、カット点が少ない、あるいはカット点が存在しないと考えられる、一般ユーザが撮影した動画に対して、特徴が類似しているフレームをクラスタリングすることにより、擬似的な「ショット」を構築することにある。

図４は、フレームクラスタリング処理の概念図であり、検索対象動画を構成する全フレームのうち、前記特徴抽出処理が行われたフレームのみが、その画像特徴量に基づいて複数のフレームクラスタC1，C2…のいずれかに分類される。図４に示した例では、フレームクラスタC1には３つのフレームが分類され、フレームクラスタC2には４つのフレームが分類されている。このような形でクラスタリング処理を行うことにより、カット点が存在しない検索対象動画であっても、動画の中身に応じた細かい特徴量抽出が可能になり、以降の動画間類似度算出に活用することができる。

図５は、前記ステップＳ４で実行されるクラスタリング処理の手順を示したフローチャートであり、ここでは、検索対象動画から１５個のフレーム特徴量が抽出された場合を例にして説明する。

クラスタリングのアルゴリズムには、類似しているフレームやクラスタを順次に統合するボトムアップ型の階層的クラスタリングアルゴリズムと、たとえばk-means法のように、事前にクラスタ数を決定した上でクラスタリングを行うトップダウン型（非階層型）のクラスタリングアルゴリズムとがあるが、動画検索では、動画の中身に応じてクラスタ数を動的に決定した方が、より動画自体の特徴を表すことが可能であると考えられるので、ここではボトムアップ型を例にして説明する。

ステップＳ４０１では、フレーム特徴量の一つが取り込まれ、ステップＳ４０２では、このフレーム特徴量を所属データとするクラスタが生成される。ステップＳ４０３では、当該クラスタの代表ベクトルが生成される。ステップＳ４０４では、今回の検索対象動画の全てのフレーム特徴量に関して、クラスタおよびクラスタ代表ベクトルの生成が完了したか否かが判定され、完了していなければ前記ステップＳ４０１へ戻り、次のフレーム特徴量を取り込んで上記した各処理が繰り返される。

全１５個のフレーム特徴量に関して上記した処理が完了し、１５個のクラスタC1〜C15およびそのクラスタ特徴ベクトルが生成されると、ステップＳ４０５では、全クラスタを対象に２つのクラスタCi，Cj間の距離が算出される。本実施形態では、代表的な階層的クラスタリング手法であるWard法を採用し、初めに２つのクラスタCi, Cj 間の距離 d(Ci, Cj ) が次式(1)で算出される。ただし、E(Ci)はクラスタCi の全ての所属データとクラスタCi の代表ベクトル（セントロイド）との距離の二乗の総和を表している。

ステップＳ４０６では、現時点でのクラスタの全組合せの中から、クラスタ間距離d(Ci，Cj) が最小となる２つのクラスタが１つのクラスタに統合される。ステップＳ４０７では、当該統合されたクラスタの代表ベクトルが生成される。

ここで、クラスタの所属データが一般的な数値ベクトルの場合、クラスタの代表ベクトルは重心ベクトルを算出することなどにより求めることが可能であり、データ間の距離もユークリッド長などによって算出可能である。しかしながら、フレーム特徴量として色配置情報を利用した場合、ベクトルの数値がDCT係数であるため、単純に各要素値を加算すると理論的におかしい結果となりえる。

そこで、本実施形態ではデータ間の距離算出方法として、前記非特許文献１で定義されている色配置間距離を採用している。また、クラスタ代表ベクトルは、クラスタに所属する全てのデータ（ベクトル）の個々の要素ごとの最頻値を代表ベクトルの当該要素値として採用する。同じ要素で最頻値が複数出現する場合は、たとえばフレーム番号が小さいフレームの要素値を採用するなどの方法を適用する。

なお、フレーム特徴量として、たとえばカラーヒストグラムなど、重心ベクトルやユークリッド距離が算出可能な画像特徴量を利用する場合は、これらの基準に基づいてクラスタリングを行うようにしても良い。

ステップＳ４０８では、クラスタが１つに集約されたか否かが判定され、クラスタが１つに集約されるまで上記した統合処理が繰り返される。クラスタが１つに集約されるとステップＳ４０９へ進み、クラスタ数を決定して各クラスタを抽出する処理が実行される。

図６では、１５個のフレーム特徴量が前記ステップＳ４０６でのクラスタ統合を繰り返して段階的に１つのクラスタに集約される様子が模式的に図示されており、縦軸はフレーム識別子、横軸は各クラスタが統合された際のクラスタ間距離[上式(1)の左辺の値]を示している。

本実施形態では、動画ごとのクラスタ数を決定するために、クラスタ統合時の距離を閾値として設定し、閾値以下の距離で統合されたクラスタのみを抽出する。図６において、垂直波線が閾値の場合、この距離以下で統合されている１０個のクラスタが、この動画から抽出されるクラスタになる。なお、図６の例では、フレーム識別子が「１」，「８」「１４」の各フレーム特徴量は、所属データが１つのクラスタとして抽出される。

次いで、図７のフローチャートを参照して、動画検索処理の手順を説明する。ステップＳ３１では、前記クエリ動画指定モジュール１５においてクエリ動画が指定されたか否かが判定される。本実施形態では、動画DB１１に格納されている検索対象動画のいずれかがクエリ動画として指定されるか、あるいはユーザによってクエリ動画が新規に入力されると、クエリ動画が指定されたと判定される。

クエリ動画が新規に入力されるとステップＳ３２へ進み、前記検索対象動画からフレーム特徴量を抽出した手順と同様の手順で、クエリ動画が分析されてフレーム特徴量が抽出される。ステップＳ３３では、前記フレーム特徴量に基づいて、前記と同様に各フレームがクラスタリングされる。なお、動画DB１１に格納されている検索対象動画のいずれかがクエリ動画として指定されていれば、当該クエリ動画のクラスタリング結果は特徴量DB１４に既登録なので、前記ステップＳ３２，Ｓ３３の処理は省略される。

ステップＳ３４，Ｓ３５では、非特許文献６に開示されたEarth Mover's Distance (EMD)に基づく類似度算出方法を適用してクエリ動画と各検索対象動画との類似度が算出される。ただし、非特許文献６では検索対象動画から抽出された個々のショットのキーフレームの色情報、およびショット長という２つの特徴量に基づいて動画間の類似度(EMD)が算出されているのに対して、本発明ではショット抽出を行っていないため、非特許文献６の手法をそのまま適用することはできない。具体的には、特徴量抽出の結果得られた各フレームのクラスタから、非特許文献におけるキーフレームの色情報およびショット長に該当する各特徴量を抽出する必要がある。

そこで、本発明では、前記ショットのキーフレームの色情報に代わる特徴量として、各クラスタの代表ベクトルを利用し、前記ショット長に代わる特徴量として、各クラスタに所属するデータ数を利用する。

ステップＳ３４では、検索対象動画の一つについて、各クラスタの特徴ベクトルと所属データ数とが取り込まれる。ステップＳ３５では、検索対象動画の各クラスタの特徴ベクトルおよび所属データ数と、クエリ動画の各クラスタの特徴ベクトルおよび所属データ数とをパラメータとして、前記非特許文献６に開示されたEMDに基づいて類似度が計算される。すなわち、各動画の代表ベクトル同士の距離および所属データ数同士の距離に基づいて類似度が算出される。

ステップＳ３６では、全ての検索対象動画に関して類似度計算が完了したか否かが判定され、完了していなければステップＳ３４へ戻り、検索対象動画を切替ながら上記した各処理が繰り返される。

全ての検索対象動画に関して類似度計算が完了するとステップＳ３７へ進み、検索対象動画が類似度に基づいてソートされる。ステップＳ３８では、類似度が上位の複数の検索対象動画が検索結果としてユーザへ提示される。

本発明に係る動画検索システムの構成を示した機能ブロック図である。 本発明に係る動画検索システムの他の構成を示した機能ブロック図である。 検索対象動画特徴量抽出処理の手順を示したフローチャートである。 フレームクラスタリング処理の概念図である。 クラスタリング処理の手順を示したフローチャートである。 フレームが段階的にクラスタリングされていく様子を示した図である。 動画検索処理の手順を示したフローチャートである。

符号の説明

１１…動画DB，１２…特徴量抽出モジュール，１３…クラスタリングモジュール，１４…特徴量DB，１５…クエリ動画指定モジュール，１６…類似度算出モジュール，１７…検索結果出力モジュール

Claims (8)

1. クエリ動画に類似した動画を多数の検索対象動画の中から検索する動画検索システムにおいて、
   検索対象動画ごとにフレーム単位で特徴量を抽出するフレーム特徴量抽出手段と、
   前記抽出されたフレーム特徴量に基づいて、各検索動画の各フレームを複数のクラスタに分類するクラスタリングするクラスタリング手段と、
   クエリ動画を指定するクエリ動画指定手段と、
   検索対象動画とクエリ動画との類似度を、各動画のクラスタリング結果に基づいて算出する類似度算出手段と、
   前記類似度の算出結果を出力する検索結果出力手段とを含むことを特徴とする動画検索システム。
2. 前記クエリ動画指定手段は、検索対象動画の一つをクエリ動画として指定することを特徴とする請求項１に記載の動画検索システム。
3. 前記クエリ動画指定手段が、
   クエリ動画を入力する手段と、
   前記クエリ動画からフレーム単位でクエリ特徴量を抽出する手段と、
   前記抽出されたクエリ特徴量に基づいて、クエリ動画の各フレームを複数のクラスタに分類する手段とを含むことを特徴とする請求項１に記載の動画検索システム。
4. 前記類似度算出手段が、
   検索対象動画の各クラスタの代表ベクトルおよび所属データ数を求める手段と、
   クエリ動画の各クラスタの代表ベクトルおよび所属データ数を求める手段と、
   各動画のクラスタ間の類似度を、代表ベクトル同士の距離および所属データ数同士の距離に基づいて算出する手段とを含むことを特徴とする請求項１ないし３のいずれかに記載の動画検索システム。
5. クエリ動画に類似した動画を多数の検索対象動画の中から検索する動画検索方法において、
   検索対象動画ごとにフレーム単位で特徴量を抽出する手順と、
   前記抽出されたフレーム特徴量に基づいて、各検索動画の各フレームを複数のクラスタに分類する手順と、
   クエリ動画を指定する手順と、
   検索対象動画とクエリ動画との類似度を、各動画のクラスタリング結果に基づいて算出する手順と、
   前記類似度の算出結果を出力する手順とを含むことを特徴とする動画検索方法。
6. 前記クエリ動画を指定する手順では、検索対象動画の一つがクエリ動画として指定されることを特徴とする請求項５に記載の動画検索方法。
7. 前記クエリ動画を指定する手順が、
   クエリ動画を入力する手順と、
   前記クエリ動画からフレーム単位でクエリ特徴量を抽出する手順と、
   前記抽出されたクエリ特徴量に基づいて、クエリ動画の各フレームを複数のクラスタに分類する手順とを含むことを特徴とする請求項５に記載の動画検索方法。
8. 前記類似度を算出する手順が、
   検索対象動画の各クラスタの代表ベクトルおよび所属データ数を求める手順と、
   クエリ動画の各クラスタの代表ベクトルおよび所属データ数を求める手順と、
   各動画のクラスタ間の類似度を、代表ベクトル同士の距離および所属データ数同士の距離に基づいて算出する手順とを含むことを特徴とする請求項５ないし７のいずれかに記載の動画検索方法。

Images