JP2009049667A - 情報処理装置、その処理方法およびプログラム - Google Patents

Abstract

【課題】動画を構成する各フレームから適切な代表フレームを判別する。
【解決手段】カラーヒストグラム抽出部２１０は、動画を構成するフレーム毎のカラーヒストグラムを抽出する。代表フレーム候補判別部２３０は、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムと、抽出されたカラーヒストグラムとの差分値を算出し、この算出された差分値と、候補選択閾値保持部２２０に保持されている閾値とを比較することにより代表フレーム候補を判別する。代表フレーム判別部２６０は、代表ヒストグラム保持部２７０に保持されている各代表ヒストグラムと、判別された代表フレーム候補に対応するヒストグラムとの差分値を算出し、算出された差分値が決定閾値保持部２５０に保持されている閾値以下である代表フレーム候補を代表フレームとして選択しない。
【選択図】図２

Description

本発明は、情報処理装置に関し、特に、動画を検索することが可能な情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、動画を構成するフレームの中から特徴のあるフレームである代表フレームを抽出し、この代表フレームに関する特徴量を記憶する情報処理装置が存在する。そして、動画を再生する場合には、このように記憶された代表フレームに関する特徴量を用いて、ユーザの好みに応じた再生をすることができる。また、上述した代表フレームに関する特徴量を用いて、この代表フレームに対応する動画と類似する動画を検索することが可能な情報処理装置が存在する。

上述した代表フレームを抽出する方法として、例えば、時間的に一定の周期でフレームをサンプリングする方法が存在する。この方法により代表フレームを抽出する場合には、各フレームの特徴量とは無関係にサンプリングが行われるため、互いに類似するフレームが代表フレームとしてサンプリングされる場合がある。この場合には、記憶すべき代表フレームに関する特徴量のサイズが大きくなるという問題がある。また、サンプリング周期が粗い場合には、特徴的な代表フレームを抽出することができない場合も考えられる。

そこで、例えば、ビデオ信号のフレーム間の相関に基づいてシーン変化を検出し、シーン変化が検出された場合には、ビデオ信号の１フレーム分を静止画データとして記録する画像記録装置が提案されている（例えば、特許文献１参照。）。
特開平０６−２１７２５４号公報（図１）

上述の従来技術では、動画においてシーン変化が検出された場合には、ビデオ信号の１フレーム分を静止画データとして記録するため、互いに類似する１フレーム分のデータが記録されることを低減させることができる。

しかしながら、近年では、多数の動画を記録することが可能な画像記録装置が存在する。また、インターネット等のネットワーク技術の向上等によって、インターネットに接続されている複数のパソコン（パーソナルコンピュータ）間で動画を共有して閲覧することが可能な動画共有システムが普及している。このため、ユーザが取り扱うことが可能な動画の数は非常に多く、再生や検索等を迅速に処理することが求められている。これらの動画について、代表フレームに関する特徴量を用いて再生や類似検索を迅速に行うためには、記憶しておくべき代表フレームに関する特徴量の情報量をさらに削減して、再生や検索等に係る処理量を削減することが重要である。

そこで、本発明は、動画を構成する各フレームから適切な代表フレームを判別することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段により抽出された特徴量に基づいて、上記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手段と、上記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、上記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手段とを具備する情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動画を構成するフレーム毎の特徴量を抽出し、この抽出された特徴量に基づいて、動画を構成するフレームの中から代表フレーム候補を判別し、この代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、代表フレーム候補の中から代表フレームを判別するという作用をもたらす。

また、この第１の側面において、上記代表フレーム判別手段は、上記代表フレーム候補特徴量のそれぞれの差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて上記代表フレームを判別することができる。これにより、代表フレーム候補特徴量のそれぞれの差分を算出して、この算出された差分が所定の範囲内に存在するか否かに基づいて、代表フレーム候補の中から代表フレームを判別するという作用をもたらす。

また、この第１の側面において、上記代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持する参照特徴量保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量とを比較して当該比較結果に基づいて上記代表フレーム候補を判別することができる。これにより、代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持し、この参照特徴量と判別対象の特徴量とを比較して、この比較結果に基づいて代表フレーム候補を判別するという作用をもたらす。

また、この第１の側面において、上記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量との差分値を算出し、当該算出された差分値と上記候補選択閾値保持手段に保持されている閾値とを比較することにより上記代表フレーム候補を判別することができる。これにより、参照特徴量と判別対象の特徴量との差分値を算出し、この算出された差分値と候補選択閾値保持手段に保持されている閾値とを比較することによって、代表フレーム候補を判別するという作用をもたらす。

また、この第１の側面において、上記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、上記代表フレーム候補判別手段は、上記参照特徴量と上記抽出された特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と上記候補選択閾値保持手段に保持されている閾値とを比較することにより上記代表フレーム候補を判別することができる。これにより、参照特徴量と判別対象の特徴量とのユークリッド距離を算出し、この算出されたユークリッド距離の値と候補選択閾値保持手段に保持されている閾値とを比較することによって、代表フレーム候補を判別するという作用をもたらす。

また、この第１の側面において、上記代表フレームについて抽出された特徴量を代表特徴量として保持する代表特徴量保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量との差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて上記代表フレームを判別することができる。これにより、代表フレームについて抽出された特徴量を代表特徴量として保持し、各代表特徴量と代表フレーム候補特徴量との差分を算出して、この算出された差分が所定の範囲内に存在するか否かに基づいて代表フレームを判別するという作用をもたらす。

また、この第１の側面において、上記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量との差分値を算出し、当該算出された差分値と上記決定閾値保持手段に保持されている閾値とを比較することにより上記算出された差分値のうちの少なくとも１つが上記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を上記代表フレームとして選択しないことができる。これにより、各代表特徴量と代表フレーム候補特徴量との差分値を算出し、この算出された差分値と決定閾値保持手段に保持されている閾値とを比較することによって、算出された差分値のうちの少なくとも１つが、その閾値以下である代表フレーム候補を代表フレームとして選択しないという作用をもたらす。

また、この第１の側面において、上記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、上記代表フレーム判別手段は、上記代表特徴量保持手段に保持されている各代表特徴量と上記代表フレーム候補特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と上記決定閾値保持手段に保持されている閾値とを比較することにより上記算出されたユークリッド距離の値のうちの少なくとも１つが上記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を上記代表フレームとして選択しないことができる。これにより、各代表特徴量と代表フレーム候補特徴量とのユークリッド距離を算出し、この算出されたユークリッド距離の値と、決定閾値保持手段に保持されている閾値とを比較することによって、算出されたユークリッド距離の値のうちの少なくとも１つが、その閾値以下である代表フレーム候補を代表フレームとして選択しないという作用をもたらす。

また、この第１の側面において、上記動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置を示すチェンジ点を検出するチェンジ点検出手段と、上記検出されたチェンジ点間の間隔を示すチェンジ点間隔を算出するチェンジ点間隔算出手段とをさらに具備し、上記代表フレーム候補判別手段は、上記算出されたチェンジ点間隔毎に上記代表フレーム候補を判別し、上記代表フレーム判別手段は、上記チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別することができる。これにより、チェンジ点を検出するとともにチェンジ点間隔を算出し、この算出されたチェンジ点間隔毎に代表フレーム候補を判別し、チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別するという作用をもたらす。

本発明によれば、動画を構成する各フレームから適切な代表フレームを判別することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。この情報処理装置１００は、動画入力部１１０と、ビデオ・オーディオデマルチプレクサ１２０と、ビデオデコード部１３０と、データベース１４０と、特徴量照合部１５０と、判定結果出力部１６０と、特徴量抽出部２００とを備える。なお、この情報処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

動画入力部１１０は、動画を入力する動画入力部であり、入力された動画をビデオ・オーディオデマルチプレクサ１２０に出力する。動画入力部１１０に入力される動画としては、例えば、撮像装置で撮影された動画やテレビジョン放送で受信された動画等が考えられる。

ビデオ・オーディオデマルチプレクサ１２０は、動画入力部１１０から出力された動画について、ビデオデータ（信号）とオーディオデータ（信号）とに分離するものであり、分離されたビデオデータをビデオデコード部１３０に出力する。なお、分離されたオーディオデータは、本発明の実施の形態においては特に利用されない。

ビデオデコード部１３０は、ビデオ・オーディオデマルチプレクサ１２０から出力されたビデオデータをデコードしてベースバンドデータを生成するものであり、生成されたベースバンドデータを特徴量抽出部２００に出力する。

特徴量抽出部２００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて特徴量を抽出するものであり、抽出された特徴量をデータベース１４０および特徴量照合部１５０に出力する。具体的には、特徴量抽出部２００は、動画を構成する各フレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応するカラーヒストグラムである代表ヒストグラムを特徴量としてデータベース１４０および特徴量照合部１５０に出力する。なお、特徴量抽出部２００については、図２を参照して詳細に説明する。

データベース１４０は、特徴量抽出部２００から出力された代表ヒストグラムを動画毎に格納するデータベースであり、格納されている代表ヒストグラムを動画毎に特徴量照合部１５０に出力する。

特徴量照合部１５０は、特徴量抽出部２００から出力された代表ヒストグラムと、データベース１４０に格納されている代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されている代表ヒストグラムに対応する動画とを照合して、両者が一致または類似するか否かを判定するものであり、この判定結果を示す類似リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致または類似する動画に対応する代表ヒストグラムを、データベース１４０に格納されている代表ヒストグラムの中から検索して、一致または類似の判定を行う。

判定結果出力部１６０は、特徴量照合部１５０から出力された類似リストを出力するものである。例えば、特徴量照合部１５０から出力された類似リストを表示して出力することができる。

図２は、特徴量抽出部２００の機能構成例を示すブロック図である。特徴量抽出部２００は、カラーヒストグラム抽出部２１０と、候補選択閾値保持部２２０と、代表フレーム候補判別部２３０と、参照ヒストグラム保持部２４０と、決定閾値保持部２５０と、代表フレーム判別部２６０と、代表ヒストグラム保持部２７０とを備える。

図３（ａ）および（ｂ）は、ビデオデコード部１３０から出力されたベースバンドデータからフレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号[0]（赤）Ｃｒのカラーヒストグラムの一例を示す図である。図３（ａ）および（ｂ）に示すグラフおいて、横軸は階調を示し、縦軸は頻度を示す。図３（ｃ）は、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分を示す図である。図３（ｃ）において、斜線で示す領域が、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値に相当する領域である。なお、図３については、図２を参照して詳細に説明する。

図４は、動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。この例では、撮像装置により撮影された動画３００を構成するフレーム３０１乃至３１５を概略的に示す。なお、図４については、図２を参照して詳細に説明する。

カラーヒストグラム抽出部２１０は、ビデオデコード部１３０から出力されたベースバンドデータをバッファに保持して、このバッファに保持されたベースバンドデータから画面全体のＹ、ＣｂおよびＣｒのカラーヒストグラムをサンプリングし、このサンプリングされたカラーヒストグラムについて、階調をＮ段階（例えば、Ｎ＝１６）に分け、各階調における頻度の和が一定になるように正規化を行うものである。そして、正規化が施されたＹ、ＣｂおよびＣｒのヒストグラムを代表フレーム候補判別部２３０にフレーム毎に出力するものである。例えば、動画を構成する１つのフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ａ）に示し、図３（ａ）に示すヒストグラムに対応するフレームとは異なるフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ｂ）に示す。このように、動画入力部１１０に入力された動画を構成する各フレームについて、Ｙ、ＣｂおよびＣｒのヒストグラムが抽出される。

候補選択閾値保持部２２０は、代表フレーム候補判別部２３０が代表フレーム候補を判別する場合に用いられる閾値を保持するものであり、保持されている閾値を代表フレーム候補判別部２３０に出力する。

代表フレーム候補判別部２３０は、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムと、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムとの面積の差分値を算出するものである。そして、代表フレーム候補判別部２３０は、この算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かに基づいて、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補であるか否かを判別する。すなわち、代表フレーム候補判別部２３０は、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上である場合には、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補であると判別して、そのカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。一方、代表フレーム候補判別部２３０は、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値未満である場合には、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが代表フレーム候補ではないと判別する。このように代表フレーム候補ではないと判別された場合には、参照ヒストグラム保持部２４０および代表フレーム判別部２６０にはカラーヒストグラムが出力されない。なお、代表フレーム候補判別部２３０は、カラーヒストグラム抽出部２１０から出力されたカラーヒストグラムに対応するフレームが、動画の先頭のフレームである場合には、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムが存在しないため、この先頭のフレームが代表フレーム候補であると判別して、そのカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。

ここで、図４に示すフレーム３０１乃至３１５が代表フレーム候補判別部２３０に入力された場合について説明する。なお、図４に示すフレーム３０１乃至３１５において、例えば、フレーム３０１は先頭のフレームであり、フレーム３１５は後端のフレームであるものとする。この場合においては、フレーム３０１は先頭のフレームであるため、代表フレーム候補判別部２３０は、フレーム３０１が代表フレーム候補であると判別して、フレーム３０１に対応するカラーヒストグラムを参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力する。続いて、フレーム３０２が入力されると、代表フレーム候補判別部２３０は、参照ヒストグラム保持部２４０に保持されているフレーム３０１に対応するカラーヒストグラムと、フレーム３０２に対応するカラーヒストグラムとのヒストグラム差分値を算出し、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かにより、フレーム３０２が代表フレーム候補であるか否かを判別する。また、同様に、フレーム３０１に対応するカラーヒストグラムと、フレーム３０３乃至３０７に対応するカラーヒストグラムとのヒストグラム差分値が順次算出され、フレーム３０３乃至３０７が代表フレーム候補であるか否かが順次判別される。

例えば、図４に示すフレーム３０１乃至３１５については、フレーム３０１および３０７、フレーム３０７および３１０、フレーム３１０および３１５に対応するカラーヒストグラムのそれぞれのヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるものとし、これら以外のヒストグラム差分値は候補選択閾値保持部２２０に保持されている閾値未満であるものとする。この場合には、フレーム３０１、３０７、３１０、３１５が代表フレーム候補であると順次判別される。そして、フレーム３０１、３０７、３１０、３１５に対応するカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に順次出力される。

参照ヒストグラム保持部２４０は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムを参照ヒストグラムとして保持するとともに、保持されている参照ヒストグラムを代表フレーム候補判別部２３０に出力するものである。なお、参照ヒストグラム保持部２４０は、代表フレーム候補判別部２３０からカラーヒストグラムが出力される毎に、保持されている参照ヒストグラムを削除する。すなわち、代表フレーム候補判別部２３０から最後に出力されたカラーヒストグラムのみが参照ヒストグラムとして保持される。

決定閾値保持部２５０は、代表フレーム判別部２６０が代表フレームを決定する場合に用いられる閾値を保持するものであり、保持されている閾値を代表フレーム判別部２６０に出力する。なお、候補選択閾値保持部２２０または決定閾値保持部２５０に保持される閾値は、同一の値を用いるようにしてもよく、異なる値を用いるようにしてもよい。

代表フレーム判別部２６０は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムと、代表ヒストグラム保持部２７０に保持されている各カラーヒストグラムとの面積の差分値をそれぞれ算出するものである。そして、代表フレーム判別部２６０は、この算出された各ヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下であるか否かに基づいて、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであるか否かを判別する。すなわち、代表フレーム判別部２６０は、算出されたヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以上である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであると判別して、そのカラーヒストグラムを代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力する。一方、代表フレーム判別部２６０は、算出されたヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する。このように代表フレームではないと判別された場合には、代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０にはカラーヒストグラムが出力されない。なお、代表フレーム判別部２６０は、算出されたヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以上である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームであると判別するようにしてもよい。この場合において、代表フレーム判別部２６０は、算出されたヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以下である場合には、代表フレーム候補判別部２３０から出力されたカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する。

例えば、図４に示すフレーム３０１、３０７、３１０、３１５が代表フレーム判別部２６０に順次入力される。例えば、フレーム３１０が代表フレーム判別部２６０に入力された場合には、代表ヒストグラム保持部２７０に既に保持されているフレーム３０１、３０７に対応する各カラーヒストグラムと、フレーム３１０に対応するカラーヒストグラムとのヒストグラム差分値が順次算出され、算出されたヒストグラム差分値の少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下であるか否かにより、フレーム３１０が代表フレームであるか否かが判別される。

代表ヒストグラム保持部２７０は、代表フレーム判別部２６０から出力された各カラーヒストグラムの全てを代表ヒストグラムとして保持するとともに、保持されている各代表ヒストグラムを代表フレーム判別部２６０に出力するものである。なお、代表ヒストグラム保持部２７０は、代表ヒストグラムとして保持する各カラーヒストグラムを、１つの動画の判別が終了した後に削除する。

次に、本発明の実施の形態における情報処理装置１００の動作について図面を参照して説明する。

図５は、情報処理装置１００による代表フレーム候補判別処理の処理手順を示すフローチャートである。この代表フレーム候補判別処理は、代表フレーム候補判別部２３０により行われる。

最初に、カラーヒストグラム抽出部２１０により抽出されたカラーヒストグラムが入力される（ステップＳ９０１）。続いて、入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームであるか否かが判断される（ステップＳ９０２）。入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームである場合には（ステップＳ９０２）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補であると判別され（ステップＳ９０５）、そのカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力される（ステップＳ９０６）。代表フレーム候補判別部２３０からカラーヒストグラムが出力されると、このカラーヒストグラムのみを参照ヒストグラム保持部２４０が保持する。

一方、入力されたカラーヒストグラムに対応するフレームが、動画の先頭フレームではない場合には（ステップＳ９０２）、入力されたカラーヒストグラムと、参照ヒストグラム保持部２４０に保持されている参照ヒストグラムとのヒストグラム差分値が算出される（ステップＳ９０３）。

続いて、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上であるか否かが判断される（ステップＳ９０４）。算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値以上である場合には（ステップＳ９０４）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補であると判別され（ステップＳ９０５）、そのカラーヒストグラムが参照ヒストグラム保持部２４０および代表フレーム判別部２６０に出力される（ステップＳ９０６）。

一方、算出されたヒストグラム差分値が、候補選択閾値保持部２２０に保持されている閾値未満である場合には（ステップＳ９０４）、入力されたカラーヒストグラムに対応するフレームが、代表フレーム候補ではないと判別され、代表フレーム候補判別処理の動作を終了する。

図６は、情報処理装置１００による代表フレーム判別処理の処理手順を示すフローチャートである。この代表フレーム判別処理は、代表フレーム判別部２６０により行われる。また、この例では、代表フレーム候補判別部２３０から出力されたカラーヒストグラムと代表ヒストグラムとのヒストグラム差分値の全てが、決定閾値保持部２５０に保持されている閾値以上である場合に、そのカラーヒストグラムに対応するフレームが代表フレームであると判別し、そのヒストグラム差分値のうちの少なくとも１つが、決定閾値保持部２５０に保持されている閾値以下である場合に、そのカラーヒストグラムに対応するフレームが代表フレームではなく類似フレームであると判別する場合について説明する。

最初に、代表フレーム候補判別部２３０から出力されたカラーヒストグラムが入力されたか否かが判断される（ステップＳ９１１）。カラーヒストグラムが入力されていない場合には（ステップＳ９１１）、カラーヒストグラムが入力されるまで監視を継続する。

代表フレーム候補判別部２３０からのカラーヒストグラムが入力された場合には（ステップＳ９１１）、代表ヒストグラム保持部２７０に代表ヒストグラムが保持されているか否かが判断される（ステップＳ９１２）。代表ヒストグラム保持部２７０に代表ヒストグラムが保持されていない場合には（ステップＳ９１２）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補が代表フレームとして判別され（ステップＳ９１７）、そのカラーヒストグラムが代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力される（ステップＳ９１８）。

代表ヒストグラム保持部２７０に代表ヒストグラムが保持されている場合には（ステップＳ９１２）、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中から１つの代表ヒストグラムが取得され（ステップＳ９１３）、入力されたカラーヒストグラムと、取得された代表ヒストグラムとのヒストグラム差分値が算出される（ステップＳ９１４）。

続いて、算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下であるか否かが判断される（ステップＳ９１５）。算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下である場合には（ステップＳ９１５）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補に類似する代表フレームが存在すると判別され、そのカラーヒストグラムが削除される（ステップＳ９１９）。

一方、算出されたヒストグラム差分値が、決定閾値保持部２５０に保持されている閾値以下ではない場合には（ステップＳ９１５）、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在するか否かが判断される（ステップＳ９１６）。代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在する場合には（ステップＳ９１６）、ステップＳ９１３に戻り、ヒストグラム差分値の比較処理を繰り返す（ステップＳ９１３乃至ステップＳ９１５）。

一方、代表ヒストグラム保持部２７０に保持されている代表ヒストグラムの中で、取得されていない代表ヒストグラムが存在しない場合には（ステップＳ９１６）、ステップＳ９１１で入力されたカラーヒストグラムに対応する代表フレーム候補が代表フレームとして判別され（ステップＳ９１７）、そのカラーヒストグラムが代表ヒストグラム保持部２７０、データベース１４０および特徴量照合部１５０に出力される（ステップＳ９１８）。

次に、動画におけるチェンジ点毎に代表フレームを判別する例について図面を参照して詳細に説明する。チェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示すカットチェンジ点や、動画において撮影場面が比較的大きく変化する場合におけるその境界点を示すクロスフェード点等を含むものである。また、このチェンジ点間隔は、連続するチェンジ点間の区間における時間やフレーム数等の間隔を示すものである。

図７は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０１の構成例を示すブロック図である。情報処理装置１０１は、図１に示す情報処理装置１００において、データベース１４０、特徴量照合部１５０および特徴量抽出部２００の代わりに、データベース１４１、特徴量照合部１５１および特徴量抽出部４００を設けた情報処理装置である。なお、データベース１４１、特徴量照合部１５１および特徴量抽出部４００以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。

特徴量抽出部４００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画におけるチェンジ点間隔、および、チェンジ点間隔における代表フレームに対応する代表ヒストグラムを抽出するものであり、抽出されたチェンジ点間隔および代表ヒストグラムをデータベース１４１および特徴量照合部１５１に出力する。なお、特徴量抽出部４００については、図８を参照して詳細に説明する。

データベース１４１は、特徴量抽出部４００から出力されたチェンジ点間隔および代表ヒストグラムを動画毎に格納するデータベースであり、格納されているチェンジ点間隔および代表フレームを動画毎に特徴量照合部１５１に出力する。

特徴量照合部１５１は、特徴量抽出部４００から出力されたチェンジ点間隔と、データベース１４１に格納されているチェンジ点間隔との比較、または、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとの比較により、動画入力部１１０に入力された動画と、データベース１４１に格納されているチェンジ点間隔および代表フレームに対応する動画とが一致または類似するか否かを判定するものであり、この判定結果を示す類似リストを判定結果出力部１６０に出力する。なお、特徴量照合部１５１については、図１０を参照して詳細に説明する。

図８は、特徴量抽出部４００の機能構成例を示すブロック図である。特徴量抽出部４００は、代表ヒストグラム抽出部２０１と、カラーヒストグラム抽出部４１０と、連続フレーム間ヒストグラム差分算出部４２０と、閾値保持部４３０と、カットチェンジ点判別部４４０と、Ｎフレーム間ヒストグラム差分算出部４６０と、閾値保持部４７０と、Ｎフレームチェンジ点判別部４８０と、チェンジ点間隔算出部４９０とを備える。なお、カラーヒストグラム抽出部４１０は、カラーヒストグラム抽出部２１０と同様であるため、ここでの説明を省略する。

連続フレーム間ヒストグラム差分算出部４２０は、カラーヒストグラム抽出部４１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続する２フレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をカットチェンジ点判別部４４０に出力するものである。

閾値保持部４３０は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部４４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をカットチェンジ点判別部４４０に出力する。

カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えたか否かに基づいて、連続する２フレーム間がカットチェンジ点であるか否かを判別するものである。すなわち、カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、代表ヒストグラム抽出部２０１およびチェンジ点間隔算出部４９０に出力する。一方、カットチェンジ点判別部４４０は、連続フレーム間ヒストグラム差分算出部４２０から出力されたヒストグラム差分値が、閾値保持部４３０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点ではないと判別する。このようにカットチェンジ点ではないと判別された場合には、チェンジ点間隔算出部４９０には時刻が出力されない。

Ｎフレーム間ヒストグラム差分算出部４６０は、カラーヒストグラム抽出部４１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続するＮフレームにおける最初のフレームおよび最後のフレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をＮフレームチェンジ点判別部４８０に出力するものである。

閾値保持部４７０は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部４８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をＮフレームチェンジ点判別部４８０に出力する。

Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えたか否かに基づいて、連続するＮフレーム間がチェンジ点（クロスフェード点）であるか否かを判別するものである。すなわち、Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、代表ヒストグラム抽出部２０１およびチェンジ点間隔算出部４９０に出力する。一方、Ｎフレームチェンジ点判別部４８０は、Ｎフレーム間ヒストグラム差分算出部４６０から出力されたヒストグラム差分値が、閾値保持部４７０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点ではないと判別する。このようにチェンジ点ではないと判別された場合には、チェンジ点間隔算出部４９０には時刻が出力されない。

チェンジ点間隔算出部４９０は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０から出力されたカットチェンジ点またはチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間の時間間隔を算出するものであり、算出されたチェンジ点間隔をデータベース１４１および特徴量照合部１５１に出力する。すなわち、チェンジ点間隔算出部４９０は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのチェンジ点間の時間間隔を算出する。なお、隣接する２つのチェンジ点間の間隔として、このチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をチェンジ点間隔とするようにしてもよい。

代表ヒストグラム抽出部２０１は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０から出力されたカットチェンジ点またはチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間に含まれるフレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応する代表ヒストグラムをデータベース１４１および特徴量照合部１５１に出力する。すなわち、代表ヒストグラム抽出部２０１は、同一カット内における代表ヒストグラムを抽出する。なお、動画入力部１１０に入力された１つの動画について、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が１つも出力されない場合には、代表ヒストグラム抽出部２０１は、この入力された１つの動画を構成するフレームから少なくとも１つの代表フレームを判別して、この代表フレームに対応する代表ヒストグラムを抽出する。なお、代表ヒストグラム抽出部２０１については、図９を参照して詳細に説明する。

図９は、代表ヒストグラム抽出部２０１の機能構成例を示すブロック図である。代表ヒストグラム抽出部２０１は、図２に示す特徴量抽出部２００において、カラーヒストグラム抽出部２１０を省略するとともに、参照ヒストグラム保持部２４０および代表ヒストグラム保持部２７０の代わりに、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１を設けたものである。なお、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１以外の構成は、図２に示す特徴量抽出部２００と同様であるため、参照ヒストグラム保持部２４１および代表ヒストグラム保持部２７１以外の構成についての説明は省略する。

参照ヒストグラム保持部２４１は、代表フレーム候補判別部２３０から出力されたカラーヒストグラムを参照ヒストグラムとして保持するとともに、保持されている参照ヒストグラムを代表フレーム候補判別部２３０に出力するものである。なお、参照ヒストグラム保持部２４１は、代表フレーム候補判別部２３０からカラーヒストグラムが出力される毎に、保持されている参照ヒストグラムを削除する。また、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が入力された場合にも、保持されている参照ヒストグラムを削除する。

代表ヒストグラム保持部２７１は、代表フレーム判別部２６０から出力された各カラーヒストグラムの全てを代表ヒストグラムとして保持するとともに、保持されている各代表ヒストグラムを代表フレーム判別部２６０に出力するものである。なお、代表ヒストグラム保持部２７１は、カットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０からカットチェンジ点またはチェンジ点の時刻が入力された場合には、代表ヒストグラムとして保持する各カラーヒストグラムを削除する。

次に、チェンジ点間隔または代表ヒストグラムの何れかを用いて動画一致検索を行う例について図面を参照して詳細に説明する。

ここで、チェンジ点間隔および代表ヒストグラムのデータ量を比較した場合には、代表ヒストグラムのデータ量よりもチェンジ点間隔のデータ容量が少ない場合が多い。このため、動画の一致判定処理を行う場合において、チェンジ点間隔が存在する場合には、チェンジ点間隔を用いて一致判定処理を行う。一方、チェンジ点間隔が存在しない場合には、代表ヒストグラムを用いて一致判定処理を行う。これにより、動画の一致判定処理を迅速に行うことができる。

図１０は、特徴量照合部１５１の機能構成例を示すブロック図である。特徴量照合部１５１は、照合方法決定部１５２と、チェンジ点間隔照合部１５３と、カラーヒストグラム照合部１５４とを備える。

図１１は、照合方法決定部１５２が照合する方法を決定する場合における決定方法の概略を示す図である。本発明の実施の形態では、特徴量抽出部４００からチェンジ点間隔が出力されたか否かと、データベース１４１にチェンジ点間隔が格納されているか否かに基づいて、照合方法が決定される。具体的には、図１１に示すように、特徴量抽出部４００からチェンジ点間隔が出力されるとともに（入力動画のチェンジ点間隔５１１が「有」の場合）、データベース１４１にチェンジ点間隔が格納されている場合（ＤＢ動画のチェンジ点間隔５１２が「有」の場合）には、照合方法としてチェンジ点間隔を用いた照合方法が決定される。一方、特徴量抽出部４００からチェンジ点間隔が出力されない場合（入力動画のチェンジ点間隔５１１が「無」の場合）、または、データベース１４１にチェンジ点間隔が格納されていない場合（ＤＢ動画のチェンジ点間隔５１２が「無」の場合）には、照合方法としてカラーヒストグラムを用いた照合方法が決定される。

照合方法決定部１５２は、特徴量抽出部４００からチェンジ点間隔が出力されたか否かと、データベース１４１にチェンジ点間隔が格納されているか否かとに応じて、図１１に示すように、照合方法を決定するものであり、決定された照合方法に応じて、チェンジ点間隔照合部１５３またはカラーヒストグラム照合部１５４に照合指示信号を出力する。すなわち、照合方法決定部１５２は、照合方法としてチェンジ点間隔を用いた照合方法が決定された場合には、チェンジ点間隔照合部１５３に照合指示信号を出力し、照合方法としてカラーヒストグラムを用いた照合方法が決定された場合には、カラーヒストグラム照合部１５４に照合指示信号を出力する。

チェンジ点間隔照合部１５３は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力されたチェンジ点間隔と、データベース１４１に格納されているチェンジ点間隔とを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４１に格納されているチェンジ点間隔に対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、動画入力部１１０に入力された動画と一致する動画に対応するチェンジ点間隔を、データベース１４１に格納されている特徴量リストの中から検索する。

カラーヒストグラム照合部１５４は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４１に格納されている代表ヒストグラムに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、カラーヒストグラム照合部１５４は、照合方法決定部１５２からの照合指示信号を入力すると、特徴量抽出部４００から出力された代表ヒストグラムと、データベース１４１に格納されている代表ヒストグラムとを比較してヒストグラム差分値を算出し、この算出されたヒストグラム差分値が閾値以下となった場合に、動画入力部１１０に入力された動画と、データベース１４１に格納されている特徴量リストに対応する動画とが一致すると判別する。

例えば、映画、テレビ番組等のように編集された動画コンテンツについては、チェンジ点があると想定される。この場合には、チェンジ点間隔を用いて動画一致検索を迅速に行うことができる。また、入力動画の代表ヒストグラムとデータベースに格納されている代表ヒストグラムとを照合するカラーヒストグラム照合は、動画一致検索以外にも、動画類似検索を行うことが可能である。なお、チェンジ点が存在しない動画コンテンツについては、カラーヒストグラムの変化量が小さいか、カラーヒストグラムの変化がない動画であるため、カラーヒストグラムをサンプリングすべき画像を少なくすることができる。このため、情報量を削減することができる。

次に、動画入力部１１０から入力された動画の代表フレームを判別する判別方法として、その動画を構成するフレームに対応する各カラーヒストグラムの差分値以外の比較結果に基づいて動画の代表フレームを判別する例について、図面を参照して詳細に説明する。

図１２（ａ）は、動画を構成する各フレームから抽出されたカラーヒストグラムが３階調（＃１、＃２、＃３）で表される場合におけるカラーヒストグラムの一例を示す図である。図１２（ｂ）は、３次元空間上において、動画を構成する各フレームから抽出されたカラーヒストグラムの点の軌跡が時系列に配置された場合を概念的に示す図である。

例えば、動画を構成する各フレームから抽出されたカラーヒストグラムを１６階調で表す場合には、カラーヒストグラムを示すデータは１６次元のベクトルデータとして表現される。この例では、図１２に示すように、動画を構成する各フレームから抽出されたカラーヒストグラムを３階調（＃１、＃２、＃３）で表す場合を例にして説明するが、３階調以外の場合についても、３階調と同様に考えることができる。

図１２（ａ）に示すグラフにおいて、横軸は階調を示し、縦軸は頻度を示す。また、図１２（ｂ）において、３次元空間上における互いに直行する３方向の各軸をｘ、ｙ、ｚ軸とし、ｘ軸は、カラーヒストグラムの階調「＃１」の頻度を示す軸とし、ｙ軸は、カラーヒストグラムの階調「＃２」の頻度を示す軸とし、ｚ軸は、カラーヒストグラムの階調「＃３」の頻度を示す軸とする。

ここで、図１２（ｂ）に示す３次元空間上において、動画を構成するフレームから抽出されたカラーヒストグラムのうちの２つカラーヒストグラムの位置をＰ_ｎ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）およびＰ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）とする。この場合において、この２つのカラーヒストグラムの差分値は、以下に示す絶対距離ｄ１の式１を用いて算出することができる。
ｄ１（Ｐ_ｎ，Ｐ_ｍ）＝｜ｘ_ｎ−ｘ_ｍ｜＋｜ｙ_ｎ−ｙ_ｍ｜＋｜ｚ_ｎ−ｚ_ｍ｜……（式１）

このように、図１２（ｂ）に示す３次元空間上における２つの位置Ｐ_ｎ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）およびＰ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）の差分値を用いる代わりに、Ｐ_ｎ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）およびＰ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）間のユークリッド距離を用いることができる。Ｐ_ｎ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）およびＰ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）間のユークリッド距離ｄ２は、以下に示す式２を用いて算出することができる。

このユークリッド距離ｄ２は、図１２（ｂ）に示す３次元空間上における２つの位置Ｐ_ｎ（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）およびＰ_ｍ（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）の距離に等しい。

図１２（ｂ）では、１つの動画を構成する各フレームから抽出された各カラーヒストグラムに対応する各位置を、点６０１乃至６２０として配置する。なお、１つの動画を構成する各フレームのうちの先頭のフレームに対応するカラーヒストグラムの位置を点６０１とし、１つの動画を構成するフレームのうちの後端のフレームに対応するカラーヒストグラムの位置を点６２０とし、点６０１および点６２０間の各点については、時系列に数字を付して、これらの各点を時系列に曲線で結ぶ。

２つのカラーヒストグラムのユークリッド距離は式２を用いて算出され、この算出されたユークリッド距離の値は、図１２（ｂ）に示す３次元空間上において、２つのカラーヒストグラムに対応する２つの点の距離に等しい。例えば、図１２（ｂ）に示す３次元空間上において、点６０１と点６０７とのユークリッド距離は、矢印６３１で示すベクトルの長さに等しい。また、同様に、点６０７と点６１３とのユークリッド距離、点６１３と点６１７とのユークリッド距離、点６１０と点６０７とのユークリッド距離は、それぞれ矢印６３２乃至６３４で示すベクトルの長さに等しい。

図１２（ｂ）に示す３次元空間上における点６０１乃至６２０について、ユークリッド距離を用いて代表フレームを判別する場合には、最初は、点６０１が参照ヒストグラムとされる。そして、点６０２以降の点と、点６０１とのユークリッド距離を順次算出していき、ユークリッド距離の値が候補選択閾値保持部２２０の閾値以上となる点を検出する。例えば、点６０１および点６０７のユークリッド距離（矢印６３１の長さ）が、候補選択閾値保持部２２０の閾値以上であるものとする。この場合には、点６０７が参照ヒストグラムとされる。そして、点６０１の場合と同様に、点６０８以降の点と、点６０７とのユークリッド距離を順次算出していき、ユークリッド距離の値が候補選択閾値保持部２２０の閾値以上となる点を検出する。

図１２（ｂ）に示す３次元空間上においては、このようにして検出された点を点６０１、６０７、６１３、６１７、６２０とする。このように検出された点６０１、６０７、６１３、６１７、６２０に対応するフレームが、代表フレーム候補と判別される。

続いて、代表フレーム候補の中から、互いに類似する代表フレーム候補を検出して、互いに類似する代表フレーム候補のうちの一方を削除する。そして、互いに類似する代表フレーム候補を削除した後に残っている代表フレーム候補が、代表フレームとして判別される。

例えば、代表フレーム候補として判別された点６０１、６０７、６１３、６１７、６２０について、代表フレーム候補が判別される毎に、この代表フレーム候補と、既に判別されている代表フレーム候補とを比較して、互いに類似するか否かが判別される。この判別は、例えば、比較対象の２つの代表フレーム候補に対応するカラーヒストグラムのユークリッド距離を算出して、この算出されたユークリッド距離の値が、決定閾値保持部２５０に保持されている閾値以下であるか否かに基づいて判別される。例えば、図１２（ｂ）に示す３次元空間上においては、点６０１および点６２０間のユークリッド距離が、決定閾値保持部２５０に保持されている閾値以下であるものとする。この場合には、点６０１よりも後に判別された点６２０が削除される。そして、代表フレーム候補として判別された点６０１、６０７、６１３、６１７、６２０のうちで、点６２０以外の点６０１、６０７、６１３、６１７が代表フレームとして判別される。

また、特徴量のベクトルデータを用いて代表フレームを判別する判別方法としては、図１２（ｂ）に示すように、ユークリッド距離を用いて代表フレームを判別する判別方法以外に、図１２（ｂ）に示す３次元空間上に配置される各点間における内積（コサイン尺度）を用いて代表フレームを判別する判別方法を用いることができる。

さらに、動画に関する特徴量として、動画を構成するフレームに対応するカラーヒストグラムを用いて代表フレームを判別する判別方法以外に、動画を構成するフレームを画面分割し、この分割された領域内の各カラーヒストグラムやエッジ情報を各フレームの特徴量として用いて、代表フレームを判別するようにしてもよい。

以上で示したように、本発明の実施の形態では、代表フレーム候補判別部２３０が代表フレーム候補を判別し、この代表フレーム候補の中から代表フレーム判別部２６０が代表フレームを判別する。このため、似ている特徴量を有するフレームを重複してサンプリングすることを阻止することができる。これにより、保存すべき特徴量のサイズを低減させることができる。

また、チェンジ点間隔においては、チェンジ点間隔に含まれる各フレームの中から代表フレームをチェンジ点間隔毎に判別することができる。なお、同一のチェンジ点間隔内では、カラーヒストグラムの変化量が小さいため、代表フレーム候補の中から互いに類似するフレームを削除して代表フレームを判別しても、検索精度に与える影響は少ない。

このように、本発明の実施の形態によれば、動画を構成する各フレームから適切な代表フレームを判別することができる。

また、本発明の実施の形態では、情報処理装置に入力される動画から代表フレームを判別して一致または類似検索する場合について説明したが、例えば、インターネット上に流通する動画コンテンツの検索、コンテンツホルダ内（映画会社、テレビ局、ＣＭコンテンツホルダ）での一致または類似検索、テレビ番組等をユーザが携帯電話でキャプチャしてサーバ側に送信し、同一または類似のコンテンツを紹介または配信するシステム、動画コンテンツの分類、動画共有サイトでの動画コンテンツ分類等に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態では、情報処理装置を例にして説明したが、動画を検索することができる携帯端末装置等の画像検索装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１乃至９において、情報処理装置は、例えば情報処理装置１００または１０１に対応する。

また、請求項１において、特徴量抽出手段は、例えば特徴量抽出部２００または４００に対応する。また、代表フレーム候補判別手段は、例えば代表フレーム候補判別部２３０に対応する。また、代表フレーム判別手段は、例えば代表フレーム判別部２６０に対応する。

請求項３において、参照特徴量保持手段は、例えば参照ヒストグラム保持部２４０または２４１に対応する。

また、請求項４または５において、候補選択閾値保持手段は、例えば候補選択閾値保持部２２０に対応する。

また、請求項６において、代表特徴量保持手段は、例えば代表ヒストグラム保持部２７０または２７１に対応する。

また、請求項７または８において、決定閾値保持手段は、例えば決定閾値保持部２５０に対応する。

また、請求項９において、チェンジ点検出手段は、例えばカットチェンジ点判別部４４０またはＮフレームチェンジ点判別部４８０に対応する。また、チェンジ点間隔算出手段は、例えばチェンジ点間隔算出部４９０に対応する。

また、請求項１０または１１において、特徴量抽出手順は、例えば特徴量抽出部２００または４００により行われる。また、代表フレーム候補判別手順は、例えばステップＳ９０５に対応する。また、代表フレーム判別手順は、例えばステップＳ９１７に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

情報処理装置１００の機能構成例を示すブロック図である。 特徴量抽出部２００の機能構成例を示すブロック図である。 フレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号[0]（赤）Ｃｒのカラーヒストグラムの例を示す図である。 動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。 情報処理装置１００による代表フレーム候補判別処理の処理手順を示すフローチャートである。 情報処理装置１００による代表フレーム判別処理の処理手順を示すフローチャートである。 情報処理装置１０１の構成例を示すブロック図である。 特徴量抽出部４００の機能構成例を示すブロック図である。 代表ヒストグラム抽出部２０１の機能構成例を示すブロック図である。 特徴量照合部１５１の機能構成例を示すブロック図である。 照合方法決定部１５２が照合する方法を決定する場合における決定方法の概略を示す図である。 カラーヒストグラムが３階調で表される場合におけるカラーヒストグラムの一例と、カラーヒストグラムの点の軌跡が時系列に３次元空間上に配置された場合を概念的に示す図である。

符号の説明

１００、１０１ 情報処理装置
１１０ 動画入力部
１２０ ビデオ・オーディオデマルチプレクサ
１３０ ビデオデコード部
１４０、１４１ データベース
１５０、１５１ 特徴量照合部
１５２ 照合方法決定部
１５３ チェンジ点間隔照合部
１５４ カラーヒストグラム照合部
１６０ 判定結果出力部
２００、４００ 特徴量抽出部
２０１ 代表ヒストグラム抽出部
２１０ カラーヒストグラム抽出部
２２０ 候補選択閾値保持部
２３０ 代表フレーム候補判別部
２４０、２４１ 参照ヒストグラム保持部
２５０ 決定閾値保持部
２６０ 代表フレーム判別部
２７０、２７１ 代表ヒストグラム保持部
４１０ カラーヒストグラム抽出部
４２０ 連続フレーム間ヒストグラム差分算出部
４３０、４７０ 閾値保持部
４４０ カットチェンジ点判別部
４６０ Ｎフレーム間ヒストグラム差分算出部
４８０ Ｎフレームチェンジ点判別部
４９０ チェンジ点間隔算出部

Claims (11)

1. 動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手段と、
   前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手段と
   を具備する情報処理装置。
2. 前記代表フレーム判別手段は、前記代表フレーム候補特徴量のそれぞれの差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて前記代表フレームを判別する
   請求項１記載の情報処理装置。
3. 前記代表フレーム候補のうちで最後に判別された代表フレーム候補について抽出された特徴量を参照特徴量として保持する参照特徴量保持手段をさらに具備し、
   前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量とを比較して当該比較結果に基づいて前記代表フレーム候補を判別する
   請求項１記載の情報処理装置。
4. 前記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、
   前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量との差分値を算出し、当該算出された差分値と前記候補選択閾値保持手段に保持されている閾値とを比較することにより前記代表フレーム候補を判別する
   請求項３記載の情報処理装置。
5. 前記代表フレーム候補を判別するための閾値を保持する候補選択閾値保持手段をさらに具備し、
   前記代表フレーム候補判別手段は、前記参照特徴量と前記抽出された特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と前記候補選択閾値保持手段に保持されている閾値とを比較することにより前記代表フレーム候補を判別する
   請求項３記載の情報処理装置。
6. 前記代表フレームについて抽出された特徴量を代表特徴量として保持する代表特徴量保持手段をさらに具備し、
   前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量との差分を算出し、当該算出された差分が所定の範囲内に存在するか否かに基づいて前記代表フレームを判別する
   請求項１記載の情報処理装置。
7. 前記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、
   前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量との差分値を算出し、当該算出された差分値と前記決定閾値保持手段に保持されている閾値とを比較することにより前記算出された差分値のうちの少なくとも１つが前記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を前記代表フレームとして選択しない
   請求項６記載の情報処理装置。
8. 前記代表フレームを判別するための閾値を保持する決定閾値保持手段をさらに具備し、
   前記代表フレーム判別手段は、前記代表特徴量保持手段に保持されている各代表特徴量と前記代表フレーム候補特徴量とのユークリッド距離を算出し、当該算出されたユークリッド距離の値と前記決定閾値保持手段に保持されている閾値とを比較することにより前記算出されたユークリッド距離の値のうちの少なくとも１つが前記決定閾値保持手段に保持されている閾値以下である代表フレーム候補を前記代表フレームとして選択しない
   請求項６記載の情報処理装置。
9. 前記動画を構成するフレームに対応する画面において一定の変化が検出された時間軸における位置を示すチェンジ点を検出するチェンジ点検出手段と、
   前記検出されたチェンジ点間の間隔を示すチェンジ点間隔を算出するチェンジ点間隔算出手段とをさらに具備し、
   前記代表フレーム候補判別手段は、前記算出されたチェンジ点間隔毎に前記代表フレーム候補を判別し、
   前記代表フレーム判別手段は、前記チェンジ点間隔毎に判別された代表フレーム候補の中から代表フレームを判別する
   請求項１記載の情報処理装置。
10. 動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手順と、
    前記特徴量抽出手順で抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手順と、
    前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手順と
    を含む情報処理方法。
11. 動画を構成するフレーム毎の特徴量を抽出する特徴量抽出手順と、
    前記特徴量抽出手順で抽出された特徴量に基づいて、前記動画を構成するフレームの中から代表フレーム候補を判別する代表フレーム候補判別手順と、
    前記代表フレーム候補について抽出された特徴量である代表フレーム候補特徴量のそれぞれの差分を利用して、前記代表フレーム候補の中から代表フレームを判別する代表フレーム判別手順と
    をコンピュータに実行させるプログラム。

Images