JP4546762B2 - 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム - Google Patents

Description

本発明は、映像内で発生するイベントを判別する映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラムに関する。

近年、放送番組等の映像から、その映像内で発生するイベント（事象）を判別するイベント判別技術が種々提案されている。例えば、第一のイベント判別技術として、画面の特定の位置に表示される文字情報が変更されることを検出することで、映像のイベントの発生を検出するとともに、当該イベントの種類の判別を行う技術が開示されている（特許文献１参照）。この技術では、野球中継の映像において、「イニング」、「得点」、「アウト数」等の試合の進行状況を示す文字情報が画面の特定の位置に表示されることを利用し、その文字情報の変化を検出することで、イニングの変わり目、得点の取得時等のイベントを判別している。

また、例えば、第二のイベント判別技術として、スポーツ中継映像におけるイベントを、インターネットを介して配信される中継データ（得点情報等）によって判別する技術が開示されている（特許文献２参照）。この技術では、野球中継の映像を逐次記録し、インターネットを介して配信される得点情報によって得点シーンを認識した段階で、一定時間（例えば１０分）遡って、記録されている映像を再生する。このように、第二のイベント判別技術では、映像に連動した中継データに基づいて、野球中継のイベントとなる得点シーンの判別を行っている。
特開２０００−１３２５６３号公報（段落００４８〜００４９、図５） 特開２００３−１７４６０９号公報（段落００１４〜００２６、図１〜図４）

前記した第一のイベント判別技術では、映像上の固有の文字情報に基づいて、イベントの判別を行うため、文字情報が画面上に提示されなければ、イベントの判別を行うことができないという問題がある。
また、前記した第二のイベント判別技術では、インターネット等から映像に連動した情報（中継データ）を取得することで、当該映像で発生するイベントの判別を行うため、映像以外の情報を取得する手段が必要となり、装置構成が複雑になってしまうという問題がある。さらに、第二のイベント判別技術では、リアルタイムで放送される映像においては、それに対応する中継データを取得することで、イベントを判別することができるが、録画等によって蓄積されている映像からは、イベントを判別することができないという問題もある。

このように、前記した第一及び第二のイベント判別技術では、映像に付加された情報（文字情報、中継データ）に基づいて、映像内のイベントの判別を行うため、その付加された情報が取得できない状況では、イベントの判別を行うことができない。そこで、映像のシーンそのものから、イベントを判別することが可能な技術開発への要求が高まっている。

本発明は、以上のような課題を解決するためになされたものであり、付加情報を用いることなく、映像の各シーンから当該映像内で発生するイベントを判別する映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像イベント判別用学習データ生成装置は、入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成する映像イベント判別用学習データ生成装置であって、シーン分割手段と、節点追跡手段と、節点分類手段と、クラスタ画像特徴量生成手段と、シーン特徴量生成手段と、特徴量分類手段と、シーン数値化手段と、シーン映像再生手段と、イベント設定手段とを備える構成とした。

かかる構成によれば、映像イベント判別用学習データ生成装置は、シーン分割手段によって、入力された映像の画面構成が大きく切り替わる点（シーンチェンジ）を検出して、映像をシーン毎に分割する。そして、映像イベント判別用学習データ生成装置は、節点追跡手段によって、シーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する。そして、映像イベント判別用学習データ生成装置は、節点分類手段によって、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする。
さらに、映像イベント判別用学習データ生成装置は、クラスタ画像特徴量生成手段によって、シーンの先頭フレームから最終フレームまでにおいて、節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成する。そして、映像イベント判別用学習データ生成装置は、シーン特徴量生成手段によって、クラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、シーンの先頭フレームからの最終フレームまでの矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成する。

さらに、映像イベント判別用学習データ生成装置は、特徴量分類手段によって、映像特徴量を類似する映像特徴量毎にクラスタリングし、同一のクラスタに含まれる映像特徴量の平均値を当該クラスタを代表する映像特徴量とし、当該映像特徴量とクラスタの値であるクラスタ値とを対応付けた特徴量分類データベースを生成する。
そして、映像イベント判別用学習データ生成装置は、シーン数値化手段によって、シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、特徴量分類手段によって分類された映像特徴量のクラスタ値とを対応付ける。これによって、どのシーンが、どのクラスタ値で表されるかが対応付けられることになる。

そして、映像イベント判別用学習データ生成装置は、シーン映像再生手段によって、シーン数値化手段で対応付けられたシーン毎のフレーム画像番号に基づいて、シーンを再生する。そして、映像イベント判別用学習データ生成装置は、イベント設定手段によって、再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、イベント識別情報と、複数のシーンに対応する映像特徴量のクラスタ値のデータ列であるシーン数値化列とを対応付ける。このように、イベント設定手段は、イベントの種類（イベント識別情報）と、シーン数値化列とを対応付けて、映像イベント判別装置で使用するイベントデータベースを生成する。

また、請求項２に記載の映像イベント判別用学習データ生成装置は、請求項１に記載の映像イベント判別用学習データ生成装置において、基準画像記憶手段を備え、さらに、シーン分割手段がイベント開始検出手段を備える構成とした。

かかる構成によれば、映像イベント判別用学習データ生成装置は、イベントの開始を示す基準の画像（基準画像）を基準画像記憶手段に予め記憶しておく。そして、シーン分割手段におけるイベント開始検出手段が、入力された映像のフレーム画像で、基準画像に類似するフレーム画像を、イベントの開始として検出する。これによって、シーンの切り替わり以外に、判別したいイベントが開始されるフレーム画像をシーンの開始とする。

この基準画像としては、例えば、野球中継映像において、バッターが打席に立った以降の動作をイベントとして判別したい場合、バッターが打席に立ったときの画像とする。この基準画像を基準画像記憶手段に記憶しておくことで、イベント開始検出手段は、同一シーンにおいて、バッターが打席に立った場面から、別シーンになったと判定することができる。

さらに、請求項３に記載の映像イベント判別用学習データ生成プログラムは、入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成するために、コンピュータを、シーン分割手段、節点追跡手段、節点分類手段、クラスタ画像特徴量生成手段、シーン特徴量生成手段、特徴量分類手段、シーン数値化手段、シーン映像再生手段、イベント設定手段として機能させる構成とした。

かかる構成によれば、映像イベント判別用学習データ生成プログラムは、シーン分割手段によって、入力された映像の画面構成が大きく切り替わる点（シーンチェンジ）を検出して、映像をシーン毎に分割する。そして、映像イベント判別用学習データ生成プログラムは、節点追跡手段によって、シーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する。そして、映像イベント判別用学習データ生成プログラムは、節点分類手段によって、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする。
さらに、映像イベント判別用学習データ生成プログラムは、クラスタ画像特徴量生成手段によって、シーンの先頭フレームから最終フレームまでにおいて、節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成する。そして、映像イベント判別用学習データ生成プログラムは、シーン特徴量生成手段によって、クラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、シーンの先頭フレームからの最終フレームまでの矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成する。

さらに、映像イベント判別用学習データ生成プログラムは、特徴量分類手段によって、映像特徴量を類似する映像特徴量毎にクラスタリングし、同一のクラスタに含まれる映像特徴量の平均値を当該クラスタを代表する映像特徴量とし、当該映像特徴量とクラスタの値であるクラスタ値とを対応付けた特徴量分類データベースを生成する。
そして、映像イベント判別用学習データ生成プログラムは、シーン数値化手段によって、シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、特徴量分類手段によって分類された映像特徴量のクラスタ値とを対応付ける。これによって、どのシーンが、どのクラスタ値で表されるかが対応付けられることになる。

そして、映像イベント判別用学習データ生成プログラムは、シーン映像再生手段によって、シーン数値化手段で対応付けられたシーン毎のフレーム画像番号に基づいて、シーンを再生する。そして、映像イベント判別用学習データ生成プログラムは、イベント設定手段によって、再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、イベント識別情報と、複数のシーンに対応する映像特徴量のクラスタ値のデータ列であるシーン数値化列とを対応付ける。このように、イベント設定手段は、イベントの種類（イベント識別情報）と、シーン数値化列とを対応付けて、映像イベント判別装置で使用するイベントデータベースを生成する。

また、請求項４に記載の映像イベント判別装置は、入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置であって、特徴量分類データベース記憶手段と、イベントデータベース記憶手段と、シーン分割手段と、節点追跡手段と、節点分類手段と、クラスタ画像特徴量生成手段と、シーン特徴量生成手段と、特徴量数値化手段と、イベント特定手段とを備える構成とした。

かかる構成によれば、映像イベント判別装置は、シーン分割手段によって、入力された映像の画面構成が大きく切り替わる点（シーンチェンジ）を検出して、映像をシーン毎に分割する。そして、映像イベント判別装置は、節点追跡手段によって、シーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する。そして、映像イベント判別装置は、節点分類手段によって、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする。

さらに、映像イベント判別装置は、クラスタ画像特徴量生成手段によって、シーンの先頭フレームから最終フレームまでにおいて、節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成する。そして、映像イベント判別装置は、シーン特徴量生成手段によって、クラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、シーンの先頭フレームからの最終フレームまでの矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成する。

そして、映像イベント判別装置は、特徴量数値化手段によって、特徴量分類データベース記憶手段に記憶されている請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成された特徴量分類データベースを参照して、シーン特徴量生成手段で生成された映像特徴量を、当該映像特徴量に近似する特徴量分類データベースの映像特徴量に対応したクラスタ値に変換する。

また、映像イベント判別装置は、イベント特定手段によって、イベントデータベース記憶手段に記憶されている請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成されたイベントデータベースを参照して、特徴量数値化手段で変換されたクラスタ値のデータ列に対応するイベントの種類を特定する。

また、請求項５に記載の映像イベント判別装置は、請求項４に記載の映像イベント判別装置において、基準画像記憶手段を備え、さらに、シーン分割手段がイベント開始検出手段を備える構成とした。

かかる構成によれば、映像イベント判別装置は、イベントの開始を示す基準の画像（基準画像）を基準画像記憶手段に予め記憶しておく。そして、シーン分割手段におけるイベント開始検出手段が、入力された映像のフレーム画像で、基準画像に類似するフレーム画像を、イベントの開始として検出する。これによって、シーンの切り替わり以外に、判別したいイベントが開始されるフレーム画像をシーンの開始とする。

また、請求項６に記載の映像イベント判別プログラムは、入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別するために、コンピュータを、シーン分割手段、節点追跡手段、節点分類手段、クラスタ画像特徴量生成手段、シーン特徴量生成手段、特徴量数値化手段、イベント特定手段として機能させる構成とした。

かかる構成によれば、映像イベント判別プログラムは、シーン分割手段によって、入力された映像の画面構成が大きく切り替わる点（シーンチェンジ）を検出して、映像をシーン毎に分割する。そして、映像イベント判別プログラムは、節点追跡手段によって、シーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する。そして、映像イベント判別プログラムは、節点分類手段によって、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする。
さらに、映像イベント判別プログラムは、クラスタ画像特徴量生成手段によって、シーンの先頭フレームから最終フレームまでにおいて、節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成する。そして、映像イベント判別プログラムは、シーン特徴量生成手段によって、クラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、シーンの先頭フレームからの最終フレームまでの矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成する。

さらに、映像イベント判別プログラムは、特徴量数値化手段によって、特徴量分類データベース記憶手段に記憶されている請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成された特徴量分類データベースを参照して、シーン特徴量生成手段で生成された映像特徴量を、当該映像特徴量に近似する特徴量分類データベースの映像特徴量に対応したクラスタ値に変換する。

また、映像イベント判別プログラムは、イベント特定手段によって、イベントデータベース記憶手段に記憶されている請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成されたイベントデータベースを参照して、特徴量数値化手段で変換されたクラスタ値のデータ列に対応するイベントの種類を特定する。

請求項１又は請求項３に記載の発明によれば、映像から、シーン毎の映像特徴量を抽出し、その映像特徴量を分類（クラスタリング）することで、特徴量分類データベースを生成することができる。また、本発明によれば、複数のシーンで構成されるイベントの種類を、シーン毎の数値データのデータ列を連結したデータ列に対応付けたイベントデータベースを生成することができる。この特徴量分類データベース及びイベントデータベースを使用することで、映像イベント判別装置は、映像をクラスタリングされた数値データのデータ列で表現することが可能になり、そのデータ列に基づいて、イベントを判別することが可能になる。

請求項２に記載の発明によれば、イベントの開始を示す基準画像に類似したフレーム画像が入力された段階で、映像のシーンの切り替わりとして、シーンの分割を行うことが可能になる。すなわち、本発明は、入力される映像において、イベントが発生するシーンの先頭フレーム画像を特定することができる。そのため、確実にイベントが開始されるフレーム画像を先頭とした映像の特徴量によって、数値列データが生成されることになり、映像イベント判別装置において、イベントの判別の精度を高めることができる。

請求項４又は請求項６に記載の発明によれば、映像から、シーン毎の特徴量を抽出し、その特徴量を分類したクラスを示す数値データによって当該映像を数値データのデータ列として表し、予め数値データのデータ列と映像内のイベントとを対応付けたイベントデータベースを参照することで、映像内で発生するイベントの種類を判別することが可能になる。また、本発明は、映像の特徴を抽出した簡易化した数値データのデータ列によって、映像内で発生するイベントの種類を判別するため、高速にイベントを判別することができ、映像以外の情報（文字情報等の付加情報）を用いる必要もない。これによって、本発明は、リアルタイム映像であっても、蓄積された映像であっても、イベントを判別することができる。

請求項５に記載の発明によれば、入力映像として、イベントの開始を示す基準画像に類似したフレーム画像が入力された段階で、映像のシーンの切り替わりとして、シーンの分割を行うことが可能になる。すなわち、本発明は、入力される映像において、イベントが発生するシーンの先頭フレーム画像を特定することができる。そのため、本発明は、確実にイベントが開始されるフレーム画像を先頭とした映像の特徴量に対応した、数値データのデータ列が生成されることになり、イベントの判別の精度を高めることができる。

以下、本発明の実施の形態について図面を参照して説明する。
［映像イベント判別手法の概要］
まず、図１を参照して、本発明に係る映像イベント判別装置において、映像から映像内で発生するイベントを判別する手法について、その概要を説明する。図１は、映像イベント判別手法の概要を説明するための説明図である。ここでイベントとは、映像内における、ある意味を持った一連のシーンのことをいい、例えば、野球中継映像内において、「ホームラン」、「二塁打」等が発生したシーンを指す。図１では、野球中継映像からイベントとして「二塁打」を判別する例を示す。

ここで映像Ｖは、カメラの構図が切り替わるシーンとして、シーンＶ₁〜Ｖ₄で構成され、シーンＶ₁は「ピッチャーが投球するシーン」、Ｖ₂は「バッターが打ったボールが外野に飛んだシーン」、Ｖ₃は「走者が１塁ベースを回ったシーン」、Ｖ₄は「走者が二塁ベース上で止まったシーン」をそれぞれ示している。

そして、映像イベント判別手法は、各シーンＶ₁〜Ｖ₄から映像特徴量Ｖｃを抽出する。なお、ここでは、映像特徴量Ｖｃは、映像Ｖをシーン毎に簡略化した矩形領域の情報として示している。例えば、シーンＶ₁は、７つの矩形領域（矩形１〜矩形７）の情報に簡略化している。

そして、映像イベント判別手法は、予め類似する映像特徴量Ｖｃをクラス分け（クラスタリング）した特徴量分類データベース１０ａに基づいて、シーン毎の映像特徴量Ｖｃをクラスタ番号であるクラスタＣ_mn（１≦Ｃ_mn≦Ｎ）として数値化する。さらに、映像イベント判別手法は、予め映像イベントの種類（識別情報）と連続する複数のシーンを数値データのデータ列で表したシーン数値化列とを対応付けたイベントデータベース１１ａに基づいて、連続する複数のシーンがどのイベントであるのかを判別する。なお、ここでは、イベントが「二塁打」であることを示している。
このように、映像イベント判別手法は、映像を、映像特徴量に基づいて簡易化した数値データのデータ列で表現し、そのデータ列に基づいて、映像内で発生するイベント（映像イベント）を判別する。

なお、ここでは、映像のイベントとして、野球中継映像内で発生する事象（二塁打）を例示しているが、本発明は、野球中継映像のイベントに限定されるものではない。本発明は、事象によってカメラワークや構図が決まった映像であれば、その事象を判別することができる。例えば、料理番組映像等で、作業工程に対して、カメラワークや構図が決まっている場合、「キャベツを切っているシーン」、「魚を焼いているシーン」等を判別することが可能である。

図１に示したように、映像イベント判別手法は、予め学習されている学習データ（特徴量分類データベース１０ａ及びイベントデータベース１１ａ）を参照し、映像イベントの判別を行うため、ここでは、最初に、学習データを生成する学習データ生成装置について説明し、続けて、図１に示した映像イベント判別手法を実現する映像イベント判別装置について、順次説明を行うこととする。

［学習データ生成装置の構成］
最初に、図２を参照して、本発明に係る学習データ生成装置（映像イベント判別用学習データ生成装置）の構成について説明する。図２は、学習データ生成装置の構成を示すブロック図である。

図２に示すように、学習データ生成装置１は、外部から入力される映像から、類似する映像特徴量をクラス分けした特徴量分類データベース１０ａと、映像イベントの種類と連続する複数のシーンを数値データのデータ列で表したシーン数値化列とを対応付けたイベントデータベース１１ａとを学習データとして生成するものである。

ここでは、学習データ生成装置１は、特徴量分類ＤＢ記憶手段１０と、イベントＤＢ記憶手段１１と、シーン分割手段１２と、基準画像記憶手段１３と、特徴量抽出手段１４と、映像特徴量記憶手段１５と、特徴量分類手段１６と、シーン数値化手段１７と、シーン分類ＤＢ記憶手段１８と、シーン映像再生手段１９と、イベント設定手段２０とを備えている。

特徴量分類ＤＢ（データベース）記憶手段１０は、シーン毎の映像特徴量を類似する映像特徴量毎にクラス分け（クラスタリング）した特徴量分類データベース１０ａを記憶するものであって、ハードディスク等の一般的な記憶手段である。

イベントＤＢ（データベース）記憶手段１１は、イベントの種類と、複数のシーンを数値データのデータ列で表したシーン数値化列とを対応付けたイベントデータベース１１ａを記憶するものであって、ハードディスク等の一般的な記憶手段である。
なお、特徴量分類データベース１０ａ及びイベントデータベース１１ａは、学習データ生成装置１内で生成されるものである。

シーン分割手段１２は、外部から映像を入力し、その映像をシーン毎に分割するものである。このシーン分割手段１２は、映像の画面構成が大きく切り替わる点（シーンチェンジ）を検出して、その切り替わり点毎に映像を分割する。なお、このシーンチェンジの検出は、既存の手法によって行うことができる。例えば、シーン分割手段１２は、映像を構成する時系列に連続するフレーム画像から、それぞれの色特徴による数値ベクトル（例えば、ＲＧＢの各平均値等）を計算し、前後のフレーム画像における数値ベクトルの差分の絶対値和が予め定めた閾値よりも大きい場合は、フレーム画像間に連続性がないと判定しシーンチェンジが発生したものとみなす。

このシーン分割手段１２は、映像を分割したシーン毎にフレーム画像を逐次特徴量抽出手段１４に出力する。なお、シーン分割手段１２は、後記するシーン数値化手段１７で、１つのシーンの数値列データが生成された段階で、次のシーンを検出（分割）するものとする。さらに、ここでは、シーン分割手段１２は、イベント開始検出手段１２ａを備えている。

イベント開始検出手段１２ａは、入力された映像から、シーンの切り替わりの開始点（切り替わり画像）を検出するものである。このイベント開始検出手段１２ａは、フレーム画像と、基準画像記憶手段１３に記憶されている基準画像１３ａとを比較することで、基準画像１３ａと類似するフレーム画像が入力されたことを検出し、基準画像１３ａに類似するフレーム画像を、シーンの切り替わりの開始点とみなすこととする。なお、この類似の判定は、例えば、基準画像１３ａとフレーム画像との差分の絶対値和と予め定めた閾値とを比較することにより行う。
この基準画像１３ａを、例えば、イベントの開始となる画像とすることで、シーン分割手段１２は、イベントが発生する先頭フレーム画像から、確実にシーンを分割することが可能になる。

基準画像記憶手段１３は、イベントの開始となる基準画像１３ａを記憶しておくものであって、ハードディスク等の一般的な記憶手段である。例えば、野球中継の映像からイベントを判別するための学習データを生成する場合、基準画像１３ａを、バッターが打席に立ったときの画像や、ピッチャーが投球を行ったときの画像とすることで、シーン分割手段１２において、野球における種々のイベント（例えば、ホームラン、三振等）の開始を検出することができる。

特徴量抽出手段１４は、シーン分割手段１２で分割されたシーン毎に、そのシーンを構成するフレーム画像から映像特徴量を抽出するものである。この映像特徴量としては、一般的な映像の特徴量を用いることができる。例えば、シーンを構成する全フレーム画像におけるＲＧＢの各平均値の数値ベクトルである。なお、この特徴量抽出手段１４は、シーンにおける全フレーム画像を対象とするのではなく、予め定めたサンプリング間隔で、フレーム画像を選択し、その選択されたフレーム画像から映像特徴量を抽出することとしてもよい。
なお、ここで抽出された映像特徴量は、映像特徴量記憶手段１５に記憶される。また、特徴量抽出手段１４は、映像特徴量を映像特徴量記憶手段１５に記憶した段階で、映像特徴量を抽出した旨を特徴量分類手段１６に通知する。

本実施の形態においては、特徴量抽出手段１４は、映像特徴量を、本願出願人が出願した「映像特徴情報生成方法、映像特徴情報生成装置及び映像特徴情報生成プログラム」（特願２００３−７３５４８）の技術を用いて、シーンの映像特徴量を、大まかな矩形領域と、その矩形領域の画像特徴量及び動きとで表現することとする。そのため、ここでは、特徴量抽出手段１４は、節点追跡手段１４ａと、節点分類手段１４ｂと、クラスタ画像特徴量生成手段１４ｃと、シーン特徴量生成手段１４ｄとを備えている。

節点追跡手段１４ａは、シーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる点（節点）を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡するものである。
ここで、図７を参照（適宜図２参照）して、節点追跡手段１４ａにおける節点の追跡について説明する。図７は、節点追跡手段における節点の追跡を視覚化した図で、（ａ）は、フレーム画像に節点を設置した状態を示す図、（ｂ）は、フレーム画像上において節点を追跡した状態を示す図である。

図７（ａ）に示すように、節点追跡手段１４ａは、シーンの先頭のフレーム画像に横Ｎｐｘ個、縦Ｎｐｙ個（Ｎｐｘ及びＮｐｙは予め設定）で格子状に節点ＰＴを設定する。そして、節点追跡手段１４ａは、各節点ＰＴを中心とした近傍領域（近傍領域画像：Ｒｆｖ画素×Ｒｆｖ画素の正方形領域）から画像特徴量を計算し、各節点ＰＴに対応付けておく。この画像特徴量は、画像処理の分野で一般的な特徴量を用いればよく、例えば、ＲＧＢの各色成分の平均値、画像をエッジ化したときのエッジ量の分布、画像の複雑さを示すフラクタル次元等を用いることができる。

なお、図７（ａ）では、説明の都合上、フレーム画像上に節点ＰＴを図示しているが、この節点ＰＴはフレーム画像上の格子状の点に対応した位置を示しているだけである。
そして、図７（ｂ）に示すように、節点追跡手段１４ａは、前フレ−ム画像における節点ＰＴ（図中●印）の近傍領域の画像特徴量が、現フレ−ム画像で、予め定めた閾値以下で最も差が小さくなる位置ＰＴ_B（図中×印）に節点を移動させる。これによって、画像特徴量が近似する領域が、シーン全体にわたって追跡されることになる。
図２に戻って説明を続ける。

節点分類手段１４ｂは、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と、近傍領域の画像特徴量とに基づいて、分類（クラスタリング）するものである。この節点分類手段１４ｂは、各節点における近傍領域の画像特徴量が近似する節点を同一のクラス（クラスタ）として分類する。ただし、画像特徴量のみでは、図８（ａ）に示すように、位置が離れた節点を同一のクラスタＣＬ１として分類してしまうため、節点分類手段１４ｂは、図８（ｂ）に示すように、同一クラスタのいずれの節点からも、予め定めた距離以上離れている節点を、別のクラスタ（ＣＬ１及びＣＬ２）として切り離して分類する。

クラスタ画像特徴量生成手段１４ｃは、節点追跡手段１４ａで追跡された各節点と、節点分類手段１４ｂで分類された同一のクラスタの節点が、節点追跡手段１４ａでシーンの先頭フレーム画像から最終フレーム画像まで追跡された段階で、当該クラスタの画像特徴量（クラスタ画像特徴量）を生成するものである。このクラスタ画像特徴量は、例えば、同一クラスタ内におけるシーンの先頭フレーム画像から最終フレーム画像まで各節点の画像特徴量の平均値とする。なお、節点の近接領域画像の中で、画像特徴量の平均値に最も近似する画像を、クラスタの代表テクスチャ画像とし、画像特徴量の１つとして用いることとしてもよい。

シーン特徴量生成手段１４ｄは、シーン全体におけるクラスタ毎の画像特徴量を、そのシーンの特徴量（映像特徴量）として生成するものである。このシーン特徴量生成手段１４ｄは、クラスタの領域を示す矩形領域の座標情報と、クラスタ画像特徴量生成手段１４ｃで生成されたクラスタ画像特徴量と、クラスタの動きとを、シーン特徴量として生成する。なお、クラスタの領域を示す矩形領域は、シーン全体における同一クラスタに含まれる節点の座標を含んだ最大領域を示す。また、クラスタの動きは、シーンの先頭フレーム画像から最終フレームまでのクラスタの位置重心の動きベクトルを示す。

ここで、図９に特徴量抽出手段１４が生成した映像特徴量のデータの一例を示す。図９に示すように、シーン毎に、シーンの先頭フレーム番号Ｎｓ、最終フレーム番号Ｎｅ、矩形領域の座標情報｛（ｘ０，ｙ０）、（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）｝、画像特徴量｛（ｆ（０）、ｆ（１）、ｆ（２）、…、ｆ（Ｎ−１）｝、及び、動きベクトルのｘ及びｙ成分｛ｖｘ、ｖｙ｝でクラスタ１個分の情報となる。
これによって、特徴量抽出手段１４（図２）は、図１０に示すように、映像Ｖのシーンを複数の矩形領域Ｒ（Ｒ₁、Ｒ₂、Ｒ₃）で簡易化し、その矩形領域Ｒの座標情報（位置、大きさ）、画像特徴量、動きベクトルとして、映像特徴量を抽出する。
図２に戻って説明を続ける。

映像特徴量記憶手段１５は、特徴量抽出手段１４で抽出されたシーン毎の映像特徴量１５ａを記憶しておくものであって、ハードディスク等の記憶手段である。この映像特徴量記憶手段１５は、映像特徴量１５ａを一時的に記憶しておくバッファとして機能し、後記するシーン数値化手段１７によって、入力された映像における全てのシーンの数値列データが生成された段階で、削除される。

特徴量分類手段１６は、特徴量抽出手段１４で抽出され、映像特徴量記憶手段１５に記憶された映像特徴量１５ａを、類似する映像特徴量毎に分類（クラスタリング）し、映像特徴量１５ａをその分類されたクラス（クラスタ）の値（クラスタ値）に対応付けるものである。この特徴量分類手段１６は、特徴量抽出手段１４から映像特徴量１５ａを抽出した旨を通知された段階で、映像特徴量記憶手段１５に記憶されている複数の映像特徴量１５ａを、差が予め定めた値（閾値）以下となるものを１つのクラスタとする。また、特徴量分類手段１６は、同一のクラスタに含まれる映像特徴量の平均値を、そのクラスタを代表する映像特徴量（代表映像特徴量）とし、クラスタ値と対応付けた特徴量分類データベース１０ａを生成し、特徴量分類ＤＢ記憶手段１０に記憶する。

なお、特徴量分類手段１６は、映像特徴量１５ａが、複数の特徴量（例えば、図９に示したような座標情報、画像特徴量、動きベクトル）からなる特徴ベクトルである場合は、個々の特徴量毎に平均値を算出し、代表映像特徴量とする。
また、特徴量分類データベース１０ａは、図１１の特徴量分類データベースの構造図の例に示すように、クラスタ値Ｃ（Ｃ₁、Ｃ₂、…）と、代表映像特徴量ＣＶ（ＣＶ₁、ＣＶ₂、…）とを１対１で対応付けたデータベースである。

シーン数値化手段１７は、映像のシーンを、当該シーンの映像特徴量に基づいて、特徴量分類手段１６で分類されたクラスタ値に変換することで、シーンを数値（クラスタ値）に対応付けるものである。ここでは、シーンを複数の矩形領域で表しているため、シーン数値化手段１７は、シーンを複数の数値（クラスタ値）のデータ列に変換する。なお、シーン数値化手段１７は、数値化されたデータを、各シーンのフレーム番号に対応付けることで、シーン分類データベース１８ａを生成し、シーン分類ＤＢ記憶手段１８に記憶する。

このシーン分類データベース１８ａは、図１２のシーン分類データベースの構造図の例に示すように、シーンを特定する連続番号であるシーン番号Ｓｎに、フレーム番号Ｆｎ（先頭番号Ｆｓ−最終番号Ｆｅ）と、１つ以上のクラスタ値Ｃとを対応付けたデータベースである。

シーン分類ＤＢ（データベース）記憶手段１８は、シーン数値化手段１７で生成されるシーン分類データベース１８ａを記憶するものであって、ハードディスク等の記憶手段である。このシーン分類ＤＢ記憶手段１８に記憶されているシーン分類データベース１８ａは、後記するシーン映像再生手段１９及びイベント設定手段２０によって参照される。

シーン映像再生手段１９は、シーン分類データベース１８ａを参照することで、シーン毎の映像を再生するものである。このシーン映像再生手段１９は、図１２に示したシーン分類データベース１８ａのシーン番号Ｓｎの順番に、対応するフレーム番号Ｆｎの画像を順次再生し、図示していない表示装置にシーン再生映像を表示することで、当該学習データ生成装置１を操作する操作者に対して、シーン毎の映像を提示する。
なお、シーン映像再生手段１９は、映像の全時間軸における指定位置を指定可能なスライドバーを表示装置の画面上に表示させ、図示していないマウス等の入力手段によって、操作者が適宜、スライドバーを操作することで、対応するシーンを再生し、映像内で発生するイベントを再生映像として確認することとしてもよい。

イベント設定手段２０は、操作者から図示していない入力手段を介して、複数の連続シーンをイベントとして指示されることで、イベントの種類と、複数のシーンを数値列データで表したシーン数値化列とを対応付けるものである。なお、イベントを識別するための識別情報（イベント名等）は、図示していない入力手段から入力されるものとする。また、そのイベントに対応するシーンは、直接シーン番号を入力されるか、前記したスライドバーの位置によって、イベント設定手段２０が、シーン分類データベース１８ａからシーン番号を検索するものとする。

これによって、イベント設定手段２０は、イベントの種類とシーン（シーン番号）との対応付けが可能となる。そこで、イベント設定手段２０は、シーン分類データベース１８ａのシーン番号に対応付けられているクラスタ値のデータ列を複数のシーン分連結したシーン数値化列を、イベント識別情報（イベント名等）と対応付けることで、イベントデータベース１１ａを生成し、イベントＤＢ記憶手段１１に記憶する。

このイベントデータベース１１ａは、図１３のイベントデータベースの構成図の例に示すように、イベント識別情報Ｅｋに、シーン数値化列Ｓｄとを対応付けたデータベースである。図１３の例では、「ホームラン」というイベントの種類（イベント識別情報Ｅｋ）に、図１２で示したシーン番号Ｓｎ₁のクラスタ値（Ｃ₁₁、Ｃ₁₂、Ｃ₁₃、…）、シーン番号Ｓｎ₂のクラスタ値（Ｃ₂₁、Ｃ₂₂、Ｃ₂₃、…）、…が対応付けられていることを示している。

以上説明したように、学習データ生成装置１は、入力される映像から、イベント（映像イベント）を判別するための学習データとなる、類似する映像特徴量をクラス分けした特徴量分類データベース１０ａと、映像イベントの種類と連続する複数のシーンを数値データのデータ列で表したシーン数値化列とを対応付けたイベントデータベース１１ａとを生成することができる。

なお、学習データ生成装置１は、シーン分割手段１２におけるイベント開始検出手段１２ａ及び基準画像記憶手段１３の各構成を省くことも可能である。しかし、イベント開始検出手段１２ａ及び基準画像記憶手段１３を備えた方が、イベントの先頭から数値データが生成され、イベントを適切に数値データのデータ列に変換することができるため好ましい。

なお、学習データ生成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像イベント判別用学習データ生成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［学習データ生成装置の動作］
次に、図３及び図４を参照して、本発明に係る学習データ生成装置（映像イベント判別用学習データ生成装置）の動作について説明する。ここでは、学習データ生成装置の動作を、特徴量分類データベースを生成する動作と、イベントデータベースを生成する動作とに分けて説明する。図３は、学習データ生成装置が特徴量分類データベースを生成する動作を示すフローチャートである。図４は、学習データ生成装置がイベントデータベースを生成する動作を示すフローチャートである。

（特徴量分類データベース生成動作）
最初に、図３を参照（適宜図２参照）して、学習データ生成装置１が、特徴量分類データベース１０ａを生成する動作について説明する。
まず、学習データ生成装置１は、シーン分割手段１２によって、映像をフレーム画像単位で入力する（ステップＳ１）。そして、学習データ生成装置１は、イベント開始検出手段１２ａによって、入力された原フレーム画像と、基準画像記憶手段１３に記憶されている基準画像１３ａとが類似するかどうかを判定する（ステップＳ２）。

ここで、原フレーム画像と基準画像１３ａとが類似していない場合（ステップＳ２でＮｏ）、シーン分割手段１２は、原フレーム画像を時間方向で前に入力された前フレーム画像と比較することで、フレーム画像間の連続性を判定する（ステップＳ３）。そして、シーン分割手段１２は、フレーム画像に連続性があると判断した場合（ステップＳ３でＹｅｓ）、フレーム画像を図示していない記憶手段に記憶しておき、ステップＳ１に戻って、次のフレーム画像を入力する。

そして、原フレーム画像と基準画像１３ａとが類似している場合（ステップＳ２でＹｅｓ）又はフレーム画像に連続性がない場合（ステップＳ３でＮｏ）は、原フレーム画像において、シーンが切り替わっている（シーンチェンジ）とみなし、原フレーム画像をシーンの切り替わり画像に設定する（ステップＳ４）。
ここで、シーン分割手段１２は、原フレーム画像が、最初の切り替わり画像であるかどうかを判定し（ステップＳ５）、最初の切り替わり画像である場合（ステップＳ５でＹｅｓ）は、原フレーム画像を図示していない記憶手段に記憶しておき、ステップＳ１に戻って、次のフレーム画像を入力する。

そして、原フレーム画像が、最初の切り替わり画像でない場合（ステップＳ５でＮｏ）は、学習データ生成装置１は、特徴量抽出手段１４によって、直前のシーンの切り替わり画像から、直前のフレーム画像までのシーンから映像特徴量を抽出する（ステップＳ６）。なお、この学習データ生成装置１では、節点追跡手段１４ａが、シーンの先頭のフレーム画像に予め定めた節点を、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に追跡する。また、節点分類手段１４ｂが、フレーム画像毎に、フレーム画像内の節点を、その節点の位置と、近傍領域の画像特徴量とに基づいて、分類（クラスタリング）する。そして、クラスタ画像特徴量生成手段１４ｃが、節点追跡手段１４ａで追跡された各節点と、節点分類手段１４ｂで分類された同一のクラスタの節点が、節点追跡手段１４ａでシーンの先頭フレーム画像から最終フレーム画像まで追跡された段階で、当該クラスタの画像特徴量（クラスタ画像特徴量）を生成する。そして、シーン特徴量生成手段１４ｄが、シーン全体におけるクラスタ毎の画像特徴量を、そのシーンの特徴量（映像特徴量）として生成する。

続けて、学習データ生成装置１は、特徴量分類手段１６によって、ステップＳ６で抽出した映像特徴量を、類似する映像特徴量毎に分類（クラスタリング）し、映像特徴量をその分類されたクラス（クラスタ）の値（クラスタ値）に対応付け、特徴量分類データベース１０ａを生成する（ステップＳ７）。

そして、学習データ生成装置１は、入力された映像が終了したかどうかを判定し（ステップＳ８）、終了していない場合（ステップＳ８でＮｏ）は、ステップＳ１に戻って動作を続ける。また、映像が終了した場合（ステップＳ８でＹｅｓ）は、動作を終了する。
なお、図示していないが、ステップＳ１において、映像を入力できなくなった段階で、ステップＳ６に進むこととする。これによって、映像の最終シーンの映像特徴量が抽出されることになる。
以上説明したように、学習データ生成装置１は、入力された映像から、シーン毎の映像特徴量をクラスタリングした特徴量分類データベース１０ａを生成することができる。

（イベントデータベース生成動作）
次に、図４を参照（適宜図２参照）して、学習データ生成装置１が、イベントデータベース１１ａを生成する動作について説明する。なお、図４におけるステップＳ１１からステップＳ１６までの動作は、図３で説明したステップＳ１からステップＳ６までの動作と同じ動作であるため説明を省略し、ステップＳ１７以降の動作について説明する。

学習データ生成装置１は、ステップＳ１６における映像特徴量の抽出後、シーン数値化手段１７によって、シーン番号に、フレーム番号（先頭番号−最終番号）と、複数の数値（クラスタ値）のデータ列とを対応付けたシーン分類データベース１８ａを生成する（ステップＳ１７）。
そして、学習データ生成装置１は、入力された映像が終了したかどうかを判定し（ステップＳ１８）、終了していない場合（ステップＳ１８でＮｏ）は、ステップＳ１１に戻って動作を続ける。

一方、映像が終了した場合（ステップＳ１８でＹｅｓ）、学習データ生成装置１は、シーン映像再生手段１９によって、シーン毎の映像を再生する（ステップＳ１９）。そして、学習データ生成装置１は、イベント設定手段２０によって、操作者から図示していない入力手段を介して、複数の連続シーンをイベントとして指示されることで、イベントの種類を複数のシーンのシーン数値化列に対応付け、イベントデータベース１１ａを生成する（ステップＳ２０）。

そして、学習データ生成装置１は、操作者からイベントの対応付けに対する終了指示が入力されるかどうかを判定し（ステップＳ２１）、終了が指示された段階（ステップＳ２１でＹｅｓ）で動作を終了し、指示されない間（ステップＳ２１でＮｏ）は、ステップＳ１９に戻って動作を続ける。
以上説明したように、学習データ生成装置１は、入力された映像から、複数のシーンが連続したイベントに対して、映像特徴量のクラスタ値のデータ列を対応付けたイベントデータベース１１ａを生成することができる。

［映像イベント判別装置の構成］
次に、図５を参照して、本発明に係る映像イベント判別装置の構成について説明する。図５は、映像イベント判別装置の構成を示すブロック図である。
図５に示すように、映像イベント判別装置２は、外部から入力される映像から、イベントの種類を判別するものである。ここでは、映像イベント判別装置２は、特徴量分類ＤＢ記憶手段１０と、イベントＤＢ記憶手段１１と、シーン分割手段１２と、基準画像記憶手段１３と、特徴量抽出手段１４と、映像特徴量記憶手段１５と、特徴量数値化手段２１と、イベント特定手段２２とを備えている。

ここで、特徴量数値化手段２１及びイベント特定手段２２以外の構成は、図２で説明した学習データ生成装置１の構成と同一であるので、同一の符号を付して説明を省略する。また、学習データ生成装置１（図２）において、イベント開始検出手段１２ａ及び基準画像記憶手段１３が構成から省かれている場合は、映像イベント判別装置２においても構成から省くこととする。

なお、特徴量分類ＤＢ記憶手段１０に記憶されている特徴量分類データベース１０ａ（図１１参照）、及び、イベントＤＢ記憶手段１１に記憶されているイベントデータベース１１ａ（図１３参照）は、学習データとして学習データ生成装置１で予め生成されたものである。

特徴量数値化手段２１は、特徴量抽出手段１４で抽出された映像特徴量を、特徴量分類データベース１０ａに基づいて、当該映像特徴量を分類した数値（クラスタ値）に変換するものである。この特徴量数値化手段２１は、特徴量抽出手段１４から映像特徴量を抽出した旨を通知された段階で、映像特徴量記憶手段１５に記憶された映像特徴量１５ａと、図１１に示した特徴量分類データベース１０ａの代表映像特徴量ＣＶとのデータ距離が最も近いクラスタ値Ｃを、当該映像特徴量１５ａのクラスタ値とする。ここで変換されたクラスタ値は、イベント特定手段２２に出力される。

イベント特定手段２２は、イベントデータベース１１ａに基づいて、特徴量数値化手段２１から逐次出力されるクラスタ値のデータ列が、どのイベントに対応するデータ列であるのかを特定するものである。このイベント特定手段２２は、入力されたクラスタ値のデータ列が、図１３に示したイベントデータベース１１ａのシーン数値化列Ｓｄと等しくなるイベント識別情報Ｅｋ（例えば、「ホームラン」等のイベント名）を、その連続したシーンのイベントと特定し、その特定結果（判別イベント）を出力する。

なお、ここでは、特徴量抽出手段１４が、シーンの映像特徴量を特徴量数値化手段２１に出力する際に、イベント特定手段２２に対して、シーンの先頭フレーム番号及び最終フレーム番号を通知することとする。これによって、イベント特定手段２２が、連続シーンの先頭シーンの先頭フレーム番号と、最終シーンの最終フレーム番号とを、判別イベントに付加することで、イベント全体の先頭フレーム番号と、最終フレーム番号とを、同時に出力することが可能になる。

以上説明したように、映像イベント判別装置２は、入力される映像から、イベント（映像イベント）を判別することができる。この映像イベントの判別は、映像特徴量を分類した数値列によって行うため、従来行うことができなかった、映像のシーンそのものからイベントを自動で判別することができる。

なお、映像イベント判別装置２は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（映像イベント判別プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［映像イベント判別装置の動作］
次に、図６を参照（適宜図５参照）して、本発明に係る映像イベント判別装置の動作について説明する。図６は、映像イベント判別装置の動作（イベント判別動作）を示すフローチャートである。なお、ステップＳ３１〜ステップＳ３６は、図３で説明した学習データ生成装置１（図２）の動作におけるステップＳ１〜ステップＳ６と同じ動作であるため説明を省略し、ステップＳ３７以降の動作について説明する。

ステップＳ３６後、映像イベント判別装置２は、特徴量数値化手段２１が、学習データである特徴量分類データベース１０ａを参照することで、特徴量抽出手段１４で抽出された映像特徴量を、当該映像特徴量を分類したクラスタ値に変換する（ステップＳ３７）。

そして、映像イベント判別装置２は、イベント特定手段２２が、イベントデータベース１１ａを参照することで、ステップＳ３７で逐次変換されたクラスタ値のデータ列が、どのイベントに対応するデータ列であるかを特定し（ステップＳ３８）、当該イベントのイベント名、先頭フレーム番号及び最終フレーム番号を判別イベントとして出力する（ステップＳ３９）。

そして、映像イベント判別装置２は、入力された映像が終了したかどうかを判定し（ステップＳ４０）、終了していない場合（ステップＳ４０でＮｏ）は、ステップＳ３１に戻って動作を続ける。また、映像が終了した場合（ステップＳ４０でＹｅｓ）は、動作（イベント判別動作）を終了する。
以上の動作によって、映像イベント判別装置２は、学習データ（特徴量分類データベース１０ａ及びイベントデータベース１１ａ）に基づいて、映像から、イベント（映像イベント）を判別することができる。

本発明に係る映像イベント判別手法の概要を説明するための説明図である。 本発明に係る映像イベント判別用学習データ生成装置の構成を示すブロック図である。 本発明に係る学習データ生成装置が特徴量分類データベースを生成する動作を示すフローチャートである。 本発明に係る学習データ生成装置がイベントデータベースを生成する動作を示すフローチャートである。 本発明に係る映像イベント判別装置の構成の構成を示すブロック図である。 本発明に係る映像イベント判別装置の動作を示すフローチャートである。 節点追跡手段における節点の追跡を視覚化した図で、（ａ）は、フレーム画像に節点を設置した状態を示す図、（ｂ）は、フレーム画像上において節点を追跡した状態を示す図である。 節点を同一のクラス（クラスタ）として分類する概念を示した概念図である。 特徴量抽出手段が生成する映像特徴量のデータの一例を示す図である。 映像のシーンを複数の矩形領域で簡易化する概念を示した概念図である。 特徴量分類データベースの構造の例を示す構造図である。 シーン分類データベースの構造の例を示す構造図である。 イベントデータベースの構造の例を示す構造図である。

符号の説明

１ 学習データ生成装置（映像イベント判別用学習データ生成装置）
２ 映像イベント判別装置
１０ 特徴量分類ＤＢ（データベース）記憶手段
１０ａ 特徴量分類データベース
１１ イベントＤＢ（データベース）記憶手段
１１ａ イベントデータベース
１２ シーン分割手段
１２ａ イベント開始検出手段
１３ 基準画像記憶手段
１３ａ 基準画像
１４ 特徴量抽出手段
１５ 映像特徴量記憶手段
１６ 特徴量分類手段
１７ シーン数値化手段
１８ シーン分類ＤＢ（データベース）記憶手段
１８ａ シーン分類データベース
１９ シーン映像再生手段
２０ イベント設定手段
２１ 特徴量数値化手段
２２ イベント特定手段

Claims (6)

1. 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成する映像イベント判別用学習データ生成装置であって、
   入力された前記映像をシーン毎に分割するシーン分割手段と、
   このシーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する節点追跡手段と、
   前記フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする節点分類手段と、
   前記シーンの先頭フレームから最終フレームまでにおいて、前記節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する前記各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成するクラスタ画像特徴量生成手段と、
   このクラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、前記シーンの先頭フレームからの最終フレームまでの前記矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成するシーン特徴量生成手段と、
   前記映像特徴量を類似する映像特徴量毎にクラスタリングし、同一のクラスタに含まれる映像特徴量の平均値を当該クラスタを代表する映像特徴量とし、当該映像特徴量と前記クラスタの値であるクラスタ値とを対応付けた前記特徴量分類データベースを生成する特徴量分類手段と、
   前記シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、前記特徴量分類手段によって分類された前記映像特徴量のクラスタ値とを対応付けるシーン数値化手段と、
   このシーン数値化手段で対応付けられた前記シーン毎のフレーム画像番号に基づいて、前記シーンを再生するシーン映像再生手段と、
   このシーン映像再生手段で再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、前記イベント識別情報と、前記複数のシーンに対応する前記映像特徴量のクラスタ値のデータ列であるシーン数値化列とを対応付けた前記イベントデータベースを生成するイベント設定手段と、
   を備えていることを特徴とする映像イベント判別用学習データ生成装置。
2. 前記映像内で発生するイベントの開始となる基準画像を予め記憶した基準画像記憶手段を備え、
   さらに、前記シーン分割手段が、前記フレーム画像と前記基準画像とを比較することで、前記映像内におけるイベントの開始を、前記シーンの切り替わりの開始点として検出するイベント開始検出手段を備えていることを特徴とする請求項１に記載の映像イベント判別用学習データ生成装置。
3. 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置で使用する学習データである特徴量分類データベース及びイベントデータベースを生成するために、コンピュータを、
   入力された前記映像をシーン毎に分割するシーン分割手段、
   このシーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する節点追跡手段、
   前記フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする節点分類手段、
   前記シーンの先頭フレームから最終フレームまでにおいて、前記節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する前記各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成するクラスタ画像特徴量生成手段、
   このクラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、前記シーンの先頭フレームからの最終フレームまでの前記矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成するシーン特徴量生成手段、
   前記映像特徴量を類似する映像特徴量毎にクラスタリングし、同一のクラスタに含まれる映像特徴量の平均値を当該クラスタを代表する映像特徴量とし、当該映像特徴量と前記クラスタの値であるクラスタ値とを対応付けた前記特徴量分類データベースを生成する特徴量分類手段、
   前記シーン毎に、当該シーンに含まれるフレーム画像を識別するためのフレーム画像番号と、前記特徴量分類手段によって分類された前記映像特徴量のクラスタ値とを対応付けるシーン数値化手段、
   このシーン数値化手段で対応付けられた前記シーン毎のフレーム画像番号に基づいて、前記シーンを再生するシーン映像再生手段、
   このシーン映像再生手段で再生された連続する複数のシーンに対して、イベントの種類を示すイベント識別情報を入力されることで、前記イベント識別情報と、前記複数のシーンに対応する前記映像特徴量のクラスタ値のデータ列であるシーン数値化列とを対応付けたイベントデータベースを生成するイベント設定手段、
   として機能させることを特徴とする映像イベント判別用学習データ生成プログラム。
4. 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別する映像イベント判別装置であって、
   請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成された特徴量分類データベースを記憶した特徴量分類データベース記憶手段と、
   請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成されたイベントデータベースを記憶したイベントデータベース記憶手段と、
   入力された前記映像をシーン毎に分割するシーン分割手段と、
   このシーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する節点追跡手段と、
   前記フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする節点分類手段と、
   前記シーンの先頭フレームから最終フレームまでにおいて、前記節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する前記各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成するクラスタ画像特徴量生成手段と、
   このクラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、前記シーンの先頭フレームからの最終フレームまでの前記矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成するシーン特徴量生成手段と、
   前記特徴量分類データベース記憶手段に記憶されている特徴量分類データベースを参照して、前記シーン特徴量生成手段で生成された映像特徴量を、当該映像特徴量に近似する前記特徴量分類データベースの映像特徴量に対応したクラスタ値に変換する特徴量数値化手段と、
   前記イベントデータベース記憶手段に記憶されているイベントデータベースを参照して、前記特徴量数値化手段で変換されたクラスタ値のデータ列に対応するイベントの種類を特定するイベント特定手段と、
   を備えていることを特徴とする映像イベント判別装置。
5. 前記映像内で発生するイベントの開始となる基準画像を予め記憶した基準画像記憶手段を備え、
   さらに、前記シーン分割手段が、前記フレーム画像と前記基準画像とを比較することで、前記映像内におけるイベントの開始を、前記シーンの切り替わりの開始点として検出するイベント開始検出手段を備えていることを特徴とする請求項４に記載の映像イベント判別装置。
6. 入力された映像の各シーンにおける映像特徴量に基づいて、前記映像内で発生するイベントの種類を判別するために、コンピュータを、
   入力された前記映像をシーン毎に分割するシーン分割手段、
   このシーン分割手段で分割されたシーンの先頭のフレーム画像に予め定めた間隔で格子状に、フレーム画像の特徴を抽出するための基準となる節点を設定し、その節点の近傍画像領域の特徴量に基づいて、フレーム画像毎に節点を追跡する節点追跡手段、
   前記フレーム画像毎に、フレーム画像内の節点を、その節点の位置と近傍領域の画像特徴量とに基づいてクラスタリングする節点分類手段、
   前記シーンの先頭フレームから最終フレームまでにおいて、前記節点分類手段で同一のクラスタに分類された節点の近傍画像領域に対応する前記各フレーム画像の画像特徴量の中で、当該クラスタ内の画像特徴量の平均値に最も近似する画像特徴量を、当該クラスタを代表する画像特徴量として生成するクラスタ画像特徴量生成手段、
   このクラス画像特徴量生成手段で生成されたクラスタを代表する画像特徴量と、当該クラスの領域を示す矩形領域の座標情報と、前記シーンの先頭フレームからの最終フレームまでの前記矩形領域の位置重心の動きベクトルである動き情報とを当該シーンにおける映像特徴量として生成するシーン特徴量生成手段と、
   請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成された特徴量分類データベースを参照して、前記シーン特徴量生成手段で生成された映像特徴量を、当該映像特徴量に近似する前記特徴量分類データベースの映像特徴量に対応したクラスタ値に変換する特徴量数値化手段、
   請求項１又は請求項２に記載の映像イベント判別用学習データ生成装置で生成されたイベントデータベースを参照して、前記特徴量数値化手段で変換されたクラスタ値のデータ列に対応するイベントの種類を特定するイベント特定手段、
   として機能させることを特徴とする映像イベント判別プログラム。

Images