JP4644022B2 - 映像解析装置および映像解析プログラム - Google Patents

Description

本発明は、映像の解析に係り、特に、スポーツ映像を対象にして、当該スポーツ映像内に含まれている人物の座標、移動速度、色等を評価して、スポーツ映像におけるシーンを解析する映像解析装置および映像解析プログラムに関する。

従来の映像解析装置（画像解析システム）としては、入力された映像内における物体領域を追跡して、当該物体領域の座標を出力するものが開示されている（例えば、特許文献１〜３）。

特許文献１に開示されている「運動物体計測装置および球技分析システムおよびデータサービスシステム」は、サッカー等の球技を対象として、複数組のＴＶカメラを利用して撮影した映像により、横方向や奥行き方向のみではなく、高さ方向を含めた３次元で、ボール位置を計測する手法である。

特許文献２に開示されている「画像解析システム、画像解析方法および画像解析プログラム記録媒体」は、入力された映像を解析して、複数の物体の分離・合体を想定した追跡手法である。
特許文献３に開示されている「画像特徴抽出装置、画像特徴照合装置および画像検索装置」は、入力された映像を構成する画像から得られた様々な特徴量をファジィルールによって、演算することで、所望の画像を当該映像から検索する手法である。
特開２００１−２７３５００号公報 特開２００２−６３５７７号公報 特開平５−６４３７号公報

しかしながら、従来の映像解析装置（画像解析システム）では、映像を構成する画像から物体追跡を行って、この追跡した物体の座標を出力するか、または、映像を構成する画像から直接得られる特徴量（色など）によって、当該画像を分類するものが主流を占めており、画像からの物体追跡の結果と、画像から得られる特徴量を複合的に解析することにより、映像におけるイベント（出来事）、特に、スポーツ映像におけるイベント（特定のプレイ等）を検出することが可能なものが存在していなかった。

そこで、本発明では、映像を解析して、当該映像におけるイベント（出来事）、特に、スポーツ映像におけるイベント（特定のプレイ等）を検出することができる映像解析装置および映像解析プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の映像解析装置は、入力された映像を解析する映像解析装置であって、シルエット映像生成手段と、領域追跡手段と、色識別手段と、特徴ベクトル計算手段と、イベント検出手段と、ポストフィルタ手段と、を備える構成とした。

かかる構成によれば、映像解析装置は、シルエット映像生成手段によって、入力された映像からシルエット映像を生成する。シルエット映像とは、背景色の情報に基づいて、人物等の被写体のシルエットを抽出した映像であり、例えば、背景差分法を用いて生成する。なお、ここでいうシルエットとは、背景色と設定した色と異なった色の、任意の面積を有している領域を指し、人物、物体、風景等を指している。続いて、映像解析装置は、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、シルエット画像間の差に基づいて追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。

そして、映像解析装置は、色識別手段によって、推定座標と、シルエット映像と、映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。

それから、映像解析装置は、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する論理演算結果の真理値を出力する論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥによりイベントを特定するイベント出力信号を出力する。

なお、予め設定した条件とは、例えば、特徴量ごとの閾値を予め設定しておき、特徴量のいずれかが閾値を越えた場合や、複数の特徴量の組み合わせにおいて、それぞれの特徴量が閾値を越えた場合を指すものである。また、時間方向のフィルタ処理とは、時間方向において、起こりうるイベントを予測することで、フラグ信号を絞り込んでいく処理を指し、フラグ信号間の論理演算とは、フラグ信号同士で、論理演算を行うことで、同一時刻に起こり得ないイベントを除去していく処理を指している。

請求項２に記載の映像解析装置は、請求項１に記載の映像解析装置において、前記領域追跡手段が、ラベリング手段と、面積判定手段と、逆投影変換手段と、検出追跡手段と、予測推定手段と、遅延手段と、を備える構成とした。

かかる構成によれば、映像解析装置は、ラベリング手段によって、シルエット画像に含まれるそれぞれのシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成する。なお、単連結領域とは、ある領域がその内部を通る曲線によって、２点を繋ぐことができる場合を連結領域とすると、この連結領域上での任意の単一閉曲線の内部が常に当該連結領域の内部である場合を指すものである。また、領域情報は、少なくとも単連結領域の形状を推定することが可能な座標や長さ（座標間距離）を含むものである。

続いて、映像解析装置は、面積判定手段によって、領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、ラベル番号および単連結領域の面積を出力する。そして、映像解析装置は、逆投影変換手段によって、ラベリング手段で生成された領域情報と映像を撮影したカメラの投影中心に基づいて、３次元空間（実際の空間）における各単連結領域の存在場所を示す実座標を、ラベル番号と共に出力する。そして、映像解析装置は、検出追跡手段によって、追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、ラベル番号と、面積判定手段から出力された単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。

そして、映像解析装置は、予測推定手段によって、検出追跡手段で出力された観測座標を、観測座標入力値、観測座標入力値の履歴、当該予測推定手段の履歴、のいずれか一つ以上に対する演算によって定義されるフィルタにより時間方向に予測し、推定座標および推定速度と、予測座標および予測速度とを識別信号と共にそれぞれ出力し、遅延手段によって、予測推定手段から出力された予測座標および予測速度を所定単位時間遅延して、識別番号と共に検出追跡手段に出力する。

請求項３に記載の映像解析装置は、請求項１または請求項２に記載の映像解析装置において、前記特徴ベクトルが、シルエット数推定値、シルエット群分布定量化値、シルエット間距離定量化値、シルエット群重心定量化値、シルエット速さ定量化値、シルエット速度定量化値および判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする。

かかる構成によれば、特徴ベクトル計算手段により計算した特徴ベクトルを構成する特徴量（値）の一つとなるシルエット数推定値は、シルエットの数を推定したものであり、シルエット群分布定量化値は、複数のシルエットからなるシルエット群の分布の散らばり度合いを定量化したものであり、シルエット間距離定量化値は、シルエット間の距離を定量化したものである。また、シルエット群重心定量化値は、シルエット群の分布を代表する座標を定量化したものであり、シルエット速さ定量化値は、シルエットの速さを定量化したものである。また、特徴ベクトルを構成する値の一つとなるシルエット速度定量化値は、シルエットの速度を定量化したものであり、判定値は、予め特定したシルエットである特定シルエットが特定の場所に存在するか否かを判定したものである。

請求項４に記載の映像解析装置は、入力されたスポーツ映像を解析する映像解析装置であって、シルエット映像生成手段と、領域追跡手段と、色識別手段と、特徴ベクトル計算手段と、イベント検出手段と、ポストフィルタ手段と、を備える構成とした。

かかる構成によれば、映像解析装置は、シルエット映像生成手段によって、スポーツ映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。

続いて、映像解析装置は、色識別手段によって、推定座標と、シルエット映像と、スポーツ映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。

そして、映像解析装置は、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する論理演算結果の真理値を出力する論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥによりイベントを特定するイベント出力信号を出力する。

請求項５に記載の映像解析装置は、請求項４に記載の映像解析装置において、前記領域追跡手段が、ラベリング手段と、面積判定手段と、逆投影変換手段と、検出追跡手段と、予測推定手段と、遅延手段と、を備える構成とした。

かかる構成によれば、映像解析装置は、ラベリング手段によって、シルエット画像に含まれるそれぞれの所定面積範囲の領域である人物のシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域に関する領域情報を生成し、面積判定手段によって、領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、ラベル番号および面積を出力する。そして、映像解析装置は、逆投影変換手段によって、ラベリング手段で生成された領域情報とスポーツ映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、ラベル番号と共に出力する。

そして、映像解析装置は、検出追跡手段によって、追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、ラベル番号と、面積判定手段から出力された単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、映像解析装置は、予測推定手段によって、検出追跡手段で出力された観測座標を、観測座標入力値、観測座標入力値の履歴、当該予測推定手段の履歴、のいずれか一つ以上に対する演算によって定義されるフィルタにより時間方向に予測し、推定座標および推定速度と、予測座標および予測速度とを識別信号と共にそれぞれ出力し、遅延手段によって、予測推定手段から出力された予測座標および予測速度を所定単位時間遅延して、識別番号と共に検出追跡手段に出力する。

請求項６に記載の映像解析装置は、請求項４または請求項５に記載の映像解析装置において、前記特徴ベクトルが、人物領域数推定値、人物領域群分布定量化値、人物領域間距離定量化値、人物群重心定量化値、人物領域速さ定量化値、人物領域速度定量化値および判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする。

かかる構成によれば、特徴ベクトル計算手段により計算された特徴ベクトルを構成する特徴量（値）の一つとなる人物領域数推定値は、人物のシルエットの数を推定したものであり、人物領域群分布定量化値は、複数の人物のシルエットからなる人物シルエット群の分布の散らばり度合いを定量化したものであり、人物間距離定量化値は、人物のシルエット間の距離を定量化したものである。また、人物群重心定量化値は、人物シルエット群の分布を代表する座標を定量化したものであり、人物領域速さ定量化値は、人物のシルエットの速さを定量化したものである。また、特徴ベクトルを構成する値の一つとなる人物領域速度定量化値は、人物のシルエットの速度を定量化したものであり、判定値は、予め特定した人物のシルエットである特定人物シルエットが特定の場所に存在するか否かを判定したものである。

請求項７に記載の映像解析プログラムは、入力された映像を解析するために、コンピュータを、シルエット映像生成手段、領域追跡手段、色識別手段、特徴ベクトル計算手段、イベント検出手段、ポストフィルタ手段、として機能させる構成とした。

かかる構成によれば、映像解析プログラムは、シルエット映像生成手段によって、映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。続いて、映像解析プログラムは、色識別手段によって、推定座標と、シルエット映像と、映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。

そして、映像解析プログラムは、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する論理演算結果の真理値を出力する論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥによりイベントを特定するイベント出力信号を出力する。

請求項８に記載の映像解析プログラムは、入力されたスポーツ映像を解析するために、コンピュータを、シルエット映像生成手段、領域追跡手段、色識別手段、特徴ベクトル計算手段、イベント検出手段、ポストフィルタ手段、として機能させる構成とした。

かかる構成によれば、映像解析プログラムは、シルエット映像生成手段によって、スポーツ映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。続いて、映像解析プログラムは、色識別手段によって、推定座標と、シルエット映像と、スポーツ映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。

そして、映像解析プログラムは、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する論理演算結果の真理値を出力する論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥによりイベントを特定するイベント出力信号を出力する。

請求項１、７に記載の発明によれば、映像からシルエット映像を生成し、シルエット映像に含まれるシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。さらに、特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定する。このため、入力された映像を解析して、当該映像に含まれている被写体（人物や物体等）の実際の空間上における座標と、速度と、色と、大きさ（面積）によって特徴付けられるイベント（出来事）を検出することができる。

請求項２に記載の発明によれば、シルエット映像に含まれるそれぞれのシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、映像に含まれる被写体（人物や物体等）を、当該映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。

請求項３に記載の発明によれば、特徴ベクトルに含まれる特徴量が、シルエット数推定値と、シルエット群分布定量化値と、シルエット速さ定量化値と、シルエット速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、映像のイベントに関する高次の映像特徴量に変換することができる。

請求項４、８に記載の発明によれば、スポーツ映像からシルエット映像を生成し、シルエット映像に含まれる人物のシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。さらに、特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定する。このため、スポーツ映像を解析して、当該スポーツ映像における特定のプレイ等を検出することができる。

請求項５に記載の発明によれば、シルエット映像に含まれるそれぞれの人物のシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、スポーツ映像に含まれる被写体（選手等）を、当該スポーツ映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。

請求項６に記載の発明によれば、特徴ベクトルに含まれる特徴量が、人物数推定値と、人物群分布定量化値と、人物速さ定量化値と、人物速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、スポーツ映像のイベント（特定のプレイ等）に関する高次の映像特徴量に変換することができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（映像解析装置の構成）
図１は映像解析装置のブロック図である。図１に示すように、映像解析装置１は、入力された映像（入力映像）を解析して、当該入力映像によって表現されているイベント（出来事）を出力するもので、シルエット映像生成手段２と、人物追跡手段（領域追跡手段）３と、色識別手段４と、特徴ベクトル抽出手段（特徴ベクトル計算手段）５と、イベント検出手段６と、ポストフィルタ手段７とを備えている。特に、この映像解析装置１は、スポーツ映像を解析して、当該スポーツ映像のイベント（特定のプレイ等）を出力するものである。

この映像解析装置１では、入力映像を構成する１枚１枚の画像を入力画像Ｉ（ｘ，ｙ）とし、この入力画像Ｉ（ｘ，ｙ）の画像座標（ｘ，ｙ）に含まれている画素値をｉ（ｘ，ｙ）とする。なお、画素値ｉ（ｘ，ｙ）は、輝度値のみで表される場合もあれば、色（色彩）を表現する２次元以上のベクトルで表される場合もある。この映像解析装置１では、例えば、画素値ｉ（ｘ，ｙ）として、色彩を表現する赤成分、緑成分および青成分からなる３次元の色ベクトルを用いることができる。また、この映像解析装置１では、画素値ｉ（ｘ，ｙ）として、輝度値および２種類の色差値からなる３次元の色ベクトルを用いることができる。なお、この実施形態では、画素値ｉ（ｘ，ｙ）として、輝度値および２種類の色差値からなる３次元の色ベクトルを用いている。

シルエット映像生成手段２は、入力画像Ｉ（ｘ，ｙ）から人物領域（追跡領域）と、非人物領域とを分割した２値（０または１）のシルエット画像Ｓ（ｘ，ｙ）を生成するものである。なお、シルエット映像は、複数のシルエット画像Ｓ（ｘ，ｙ）によって構成される。ここでは、例えば、所定面積範囲の領域である人物領域（人物のシルエット）にはＳ（ｘ，ｙ）＝１の値を、非人物領域にはＳ（ｘ，ｙ）＝０の値をそれぞれ割り当てるものとする。なお、ここでいうシルエットとは、背景色と設定した色と異なった色の、任意の面積を有している領域を指し、人物、物体、風景等を指している。

このシルエット映像生成手段２によって、シルエット画像Ｓ（ｘ，ｙ）を生成する手法としては、例えば、ハードクロマキーに代表されるような背景色情報に基づく手法を用いることができる。この背景色情報に基づく手法では、まず、色ベクトルｃに対して、Ｋ（ｃ）なる関数を定義する。この関数Ｋ（ｃ）は、背景色が色ベクトルｃで表されるときにはＫ（ｃ）＝０となり、背景色が色ベクトルｃで表されないときにはＫ（ｃ）＝１となるように予め設定されているものである。

このような関数Ｋ（ｃ）は、色ベクトルｃを入力とする表形式の要素群（データ群）、つまり、ルックアップテーブル（予め設定した色分類番号に相当）によって実現することができる。この場合、ルックアップテーブルの各要素のうち、背景色に対応する要素には“０”を、その他の要素には“１”を予め設定（登録）しておくものとする。例えば、芝生で行うスポーツに関する入力映像の場合、芝生らしい色（例えば、緑色）に対応する要素を“０”とし、それ以外の色に対応する要素を“１”と設定しておくことが想定される。

具体的に説明すると、関数Ｋ（ｃ）を用いたハードクロマキーは、次に示す（１）式を用いることで実現される。

また、シルエット映像生成手段２によって、シルエット画像Ｓ（ｘ，ｙ）を生成する手法としては、例えば、背景差分法を用いることができる。この背景差分法による場合、予め、人物の映っていない画像（以下、背景画像という）Ｂ（ｘ，ｙ）を作成しておき、入力画像Ｉ（ｘ，ｙ）との差分を計算し、さらに、閾値処理することでシルエット画像Ｓ（ｘ，ｙ）を生成する。例えば、閾値処理を行う関数をＴ（ｃ）として、次に示す（２）式を用いることで、シルエット画像Ｓ（ｘ，ｙ）が生成される。

（２）式において、閾値処理の関数Ｔ（ｃ）は、入力画像Ｉ（ｘ，ｙ）の画素値が輝度値のみである場合には、例えば、ゼロ未満（以下）の閾値θ₀およびゼロ以上（を越える）の閾値θ₁に基づいて定義される、次に示す（３）式を用いることができる。

また、入力画像Ｉ（ｘ，ｙ）の画素値として、多次元の色ベクトルを用いる場合には、色ベクトルｃが色ベクトル空間内の一定領域内にある場合には、Ｔ（ｃ）＝０、それ以外の場合にはＴ（ｃ）＝１とする。例えば、色ベクトルｃが赤成分ｃ_R、緑成分ｃ_Gおよび青成分ｃ_Bにより構成される場合に、ゼロ未満（以下）の三つの閾値θ_R0、θ_G0およびθ_B0、並びに、ゼロ以上（を越える）の三つの閾値θ_R1、θ_G1およびθ_B1に基づいて定義される、次に示す（４）式を用いることができる。

人物追跡手段３は、シルエット映像生成手段２で生成された複数のシルエット画像からなるシルエット映像中の各人物のシルエット（追跡領域）を追跡して、時間方向の対応付けを行って、実空間（実際の空間、３次元空間）内における各人物の座標、速度および大きさに関する情報を出力するものである。この人物追跡手段３の詳細な構成を、図２に示す。

図２に示すように、人物追跡手段３は、ラベリング手段３１と、面積判定手段３２と、逆投影変換手段３３と、検出・追跡手段（検出追跡手段）３４と、予測・推定手段（予測推定手段）３５と、遅延手段３６とを備えている。

ラベリング手段３１は、入力されたシルエット映像を構成するシルエット画像Ｓ（ｘ，ｙ）に含まれている各シルエットに対して、各々異なるラベル番号ｌ∈｛１，２，・・・，Ｎ｝を付加（付与）するものである。ここで、シルエット画像Ｓ（ｘ，ｙ）に含まれている各シルエットは単連結領域であり、Ｓ（ｘ，ｙ）＝１で表すこととする。

面積判定手段３２は、ラベリング手段３１でラベル番号が付加された各シルエットの面積Ａ（ｌ）を求めると共に、このシルエット面積Ａ（ｌ）が人物の大きさとして妥当であるか否かを判定し、判定した結果、妥当な面積のシルエットのみを抽出するものである。なお、抽出されたラベル番号の集合をＬとすると、この集合Ｌは次に示す（５）式で表せる。つまり、集合Ｌは、人物として妥当な面積のシルエットの集合であるといえる。
Ｌ＝｛ｌ｜Ａ（ｌ）が人物の大きさとして妥当、ｌ∈｛１，２，・・・，Ｎ｝｝
・・・（５）式

そして、この面積判定手段３２は、集合Ｌを領域情報として、逆投影変換手段３３に出力すると共に、ラベル番号ｌおよびシルエット面積Ａ（ｌ）を検出・追跡手段３４に出力する。なお、領域情報は、シルエット（単連結領域）の形状に関するものであればよい。例えば、領域情報として、シルエットの座標、座標間距離（長さ）等を含んでいればよい。

この面積判定手段３２において、各シルエットの面積Ａ（ｌ）が人物の大きさとして妥当であるか否かの判定の仕方は、ここでは、人物の大きさとして妥当であるとする面積の上限および下限の閾値を設け、所定範囲を設定しておき、各シルエットの面積Ａ（ｌ）が所定範囲にある場合には妥当であると判定する仕方を採用している。

ここで、集合Ｌを求める手法について、図３、図４を参照して説明する。
図３に示すように、ラベル番号ｌのシルエットの重心（シルエット領域の画像上における重心）Ｇ（ｌ）を求め、入力映像を撮影したカメラ（図示せず）の投影中心からシルエット画像平面上のシルエットの重心Ｇ（ｌ）を通る半直線を引く。この半直線が実空間上における地面から高さｈの平面と交差する点Ｈ（ｌ）を求める。例えば、高さｈの値として人物の身長（例えば、成人の平均身長）の１／２程度の値を設定することにより、シルエットの重心Ｇ（ｌ）が当該シルエットの高さのほぼ１／２の高さに位置することから、点Ｈ（ｌ）は、実空間上における人物の重心座標とほぼ一致することになる。なお、この点Ｈ（ｌ）が実座標に相当している。

続いて、図４に示すように、人物の大きさ程度の立体（人物の体積に相当する立体、直方体や円柱等）を点Ｈ（ｌ）の座標に配置したと仮定し、この立体を透視変換して、シルエット画像平面上における立体の像を求める。人物の大きさ程度の立体として、直方体を用いた場合には、当該直方体を投影面（表示装置（図示せず）の表示面）に写像した際の像の輪郭は、四角形、五角形または六角形の多角形の形状となる。

そして、得られた直方体の像において、投影面に対面する面の面積、または、得られた直方体の像に外接する方形（バウンディングボックス）の面積を求め、Ａ_est（ｌ）とする。また、０＜ｋ₀≦ｋ₁に基づいて定義される、次に示す（６）式を用いた閾値処理により集合Ｌを求めてもよい。

これら図３、図４を参照して説明した、集合Ｌを求める手法では、カメラ（図示せず）から人物までの距離に応じて、正規化した面積を評価しているので、カメラから人物までの距離によらずに人物らしい大きさのシルエット（領域）のみを抽出することができる。

図２に戻って、映像解析装置１における人物追跡手段３の構成の説明を続ける。
逆投影変換手段３３は、面積判定手段３２から出力された集合Ｌ（人物として妥当な面積のシルエットに付加されているラベル番号の集合）に属する各シルエット（各人物領域）のシルエット画像平面上における重心を、実空間に逆投影することにより、実空間上での人物の座標を計算するものである。ここでは、逆投影変換手段３３は、図３に示した点Ｈ（ｌ）を人物の実座標として、ラベル番号ｌと共に、検出・追跡手段３４に出力している。

検出・追跡手段３４は、集合Ｌに属する各ラベル番号ｌ（ｌ∈Ｌ）のシルエット（以下、人物領域という）の各実座標（Ｈ（ｌ））と、遅延手段３６から出力された１単位時間前（所定時間単位）までに追跡・予測されているシルエットの各座標との距離を比較することで、ラベル番号ｌと、既に付加（付与）されている識別番号ｍとの対応付けを行うものである。

この検出・追跡手段３４は、例えば、ラベル番号ｌの人物領域の実空間上での座標Ｈ（ｌ）と、既に追跡されている識別番号ｍの人物領域との座標（遅延手段３６から出力された予測座標）ｘ_t|t-1（ｍ）との距離に基づいて、次に示す（７）式を用いて、識別番号ｍに対応するラベル番号ｌ_match（ｍ）を求める。このラベル番号ｌ_match（ｍ）を求めることで、ラベル番号ｌと識別番号ｍとの対応付けがなされることになる。

或いは、検出・追跡手段３４は、ラベル番号ｌ_match（ｍ）を求める際に、実座標Ｈ（ｌ）と予測座標ｘ_t|t-1（ｍ）との距離が閾値以内でない場合には、対応付けに失敗したとして、ラベル番号ｌ_match（ｍ）に特別な値を設定してもよい。つまり、ラベル番号ｌ_match（ｍ）に特別な値を設定しておくことで、ラベル番号ｌ_match（ｍ）が当該特別な値をとった場合、ラベル番号ｌに対応する識別番号ｍは存在していないとする。この特別な値には、例えば、“０”を用いることができる。このように閾値を用いて、実座標Ｈ（ｌ）と予測座標ｘ_t|t-1（ｍ）との対応付けを行う場合、次に示す（８）式を用いる。

そして、検出・追跡手段３４は、実座標と予測座標との対応付けを行った結果であるラベル番号ｌ_match（ｍ）が付加された人物領域のシルエット画像上における座標に基づいて、識別番号ｍが付加された人物領域の実空間上における座標（以下、観測座標という）ｙ_t（ｍ）を求める。ここでは、ラベル番号ｌ_match（ｍ）が付加された人物領域の実空間上における重心Ｈ（ｌ_match（ｍ））の示す座標を、観測座標ｙ_t（ｍ）としている。

なお、検出・追跡手段３４は、集合Ｌには存在するが、対応する識別番号ｍの存在しないラベル番号ｌが検出された場合には、当該ラベル番号ｌに、新たな識別番号ｍを付加（付与）し、且つ、この新たな識別番号ｍが付加された人物領域の実空間上における座標Ｈ（ｌ）に基づいて観測座標ｙ_t（ｍ）を設定し、出力してもよい。

また、検出・追跡手段３４は、対応するラベル番号ｌの無い識別番号ｍが存在した場合には、当該識別番号ｍを無効とし、当該識別番号ｍが付加されている人物領域の観測座標ｙ_t（ｍ）を出力しなくてもよい。

さらに、検出・追跡手段３４は、逆投影変換手段３３からラベル番号ｌごとに入力された面積Ａ（ｌ）の中から、ラベル番号ｌ_match（ｍ）のものを面積α（ｍ）として出力する。すなわち、α（ｍ）＝Ａ（ｌ_match（ｍ））とする。なお、この面積α（ｍ）および識別番号ｍは、特徴ベクトル抽出手段５（図１）に出力される。

予測・推定手段３５は、検出・追跡手段３４から出力された識別番号ｍと、観測座標ｙ_t（ｍ）とを受け取って、観測座標ｙ_t（ｍ）にフィルタ処理を行うことで、推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）、予測座標ｘ_t+1|t（ｍ）および予測速度ｖ_t+1|t（ｍ）を出力するものである。

この予測・推定手段３５は、例えば、推定座標ｘ_t|t（ｍ）として、観測座標ｙ_t（ｍ）をそのまま出力してもよい。また、予測・推定手段３５は、推定速度ｖ_t|t（ｍ）を推定座標ｘ_t|t（ｍ）の履歴から計算することが可能である。予測・推定手段３５は、例えば、次に示す（９）式を用いて、推定速度ｖ_t|t（ｍ）を、現在の推定座標ｘ_t|t（ｍ）と、１単位時間過去における推定座標ｘ_t-1|t-1（ｍ）との差分から計算することが可能である。

また、予測・推定手段３５は、推定座標ｘ_t|t（ｍ）を計算する際に、例えば、ラベル番号ｌ_match（ｍ）の観測座標ｙ_t（ｍ）の履歴と、推定座標ｘ_t|t（ｍ）の履歴とを重み付けして、加算した値を、現在の推定座標ｘ_t|t（ｍ）とすることも可能である。

さらに、予測・推定手段３５は、例えば、カルマン（ｋａｌｍａｎ）フィルタ、或いは、拡張カルマンフィルタによって、推定座標ｘ_t|t（ｍ）と推定速度ｖ_t|t（ｍ）との少なくとも一方を求めてもよい。予測・推定手段３５がカルマンフィルタを採用する場合は、次に示す（１０）式を用いて、状態ベクトルｚ_t|tを定義する。

また、遅延手段３６（詳細は後記する）から出力される、遅延された予測座標ｘ_t|t-1（ｍ）と、遅延された予測速度ｖ_t|t-1（ｍ）とにより構成される状態ベクトルｚ_t|t-1を、次に示す（１１）式を用いて定義する。

このように、状態ベクトルｚ_t|tと、状態ベクトルｚ_t|t-1とから、次に示す（１２）式（カルマンフィルタを観測更新式）を適用することにより、遅延手段３６から出力される、遅延された予測座標ｘ_t|t-1（ｍ）および遅延された予測速度ｖ_t|t-1（ｍ）から、現在（現時点）の推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）を求めることができる。

なお、この（１２）式において、Ｐ_t|t-1は、時点ｔ−１までの情報から推定された、時点ｔにおける状態ベクトルの誤差共分散行列であり、Ｐ_0|-1を初期値として、例えば、４行×４列の任意の半正定値行列を設定している。Ｋ_tは、時点ｔにおけるカルマンフィルタからの出力（推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ））を示す行列である。また、（１２）式において、Ａは観測行列であり、Ｉ₂×₂は２行２列の単位行列であり、Ｏ₂×₂は２行２列のゼロ行列であり、次に示す（１３）式によって定義される。

この（１３）式では、観測行列Ａとして、２行４列の行列を設定している。さらに、Ｒ_tは時点ｔにおける観測雑音の共分散行列であり、次に示す（１４）式によって定義される。

この（１４）式では、観測雑音の共分散行列Ｒ_tとして、２行２列の対角行列を設定している。なお、この（１４）式におけるρ_xおよびρ_yには、適切な正の定数、若しくは、経過時間に伴って変化する正の変数を設定することが可能である。例えば、（７）式または（８）式の計算に用いた座標Ｈ（ｌ）と予測座標ｘ_t|t-1（ｍ）との距離に応じて、ρ_xまたはρ_yを変化させてもよい。なお、予測・推定手段３５がカルマンフィルタを採用する場合、対応するラベル番号ｌの存在しない識別番号ｍ（すなわち、観測座標ｙ_t（ｍ）が予測・推定手段３５に入力されなかった場合）に対しては、（９）式の代わりに、次に示す（１５）式を用いることとする。

さらに、予測・推定手段３５は、推定座標ｘ_t|t（ｍ）と推定速度ｖ_t|t（ｍ）に基づき、次の時点ｔ＋１における予測座標ｘ_t+1|t（ｍ）と予測速度ｖ_t+1|t（ｍ）を、次に示す（１６）式を用いて求め、出力する。

この（１６）式では、等速度モデルを参照することで、予測座標ｘ_t+1|t（ｍ）と予測速度ｖ_t+1|t（ｍ）とを求めることができる。なお、（１６）式において、Δｔは処理の時間間隔であり、例えば、１単位時間周期（周期Ｔ）で行う場合、Δｔ＝１となる。

また、予測・推定手段３５は、カルマンフィルタを採用した場合、次に示す（１７）式（漸化式）を用いて、予測座標ｘ_t+1|t（ｍ）と予測速度ｖ_t+1|t（ｍ）とを求めることが可能である。

この（１７）式において、Ｆは、１単位時間における状態遷移モデルを表す行列（状態遷移行列）であり、この状態遷移行列Ｆは、等速度モデルを参照する場合、次に示す（１８）式によって定義される。

また、（１７）式において、Ｑは、状態遷移行列Ｆによる予測によって、新たに加えられる誤差をモデル化したプロセス雑音の共分散行列であり、例えば、プロセス雑音の共分散行列Ｑは、４行４列の半正定値行列を設定している。

さらに、（１７）式において、状態ベクトルの誤差共分散行列Ｐ_t|tまたはＰ_t+1|tのある成分、若しくは、いずかの行列、或いは、トレースがある数値範囲に入った場合、すなわち、推定誤差が大きくなったと想定された場合には、予測・推定手段３５は、該当する識別番号ｍを無効とし、該当する推定座標ｘ_t|t（ｍ）、予測座標ｘ_t+1|t（ｍ）、推定速度ｖ_t|t（ｍ）および予測速度ｖ_t+1|t（ｍ）を出力しない。

つまり、推定誤差が大きくなったと想定された場合には、状態ベクトルの誤差共分散行列Ｐ_t|tまたはＰ_t+1|tのある成分が大きくなることが確認されており、これらの行列のある成分、特に対角成分に着目し、当該対角成分が、ある閾値を越えた場合には、該当する推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）、または、予測座標ｘ_t+1|t（ｍ）、および予測速度ｖ_t+1|t（ｍ）が信頼できないものとして無効化する。例えば、次に示す（１９）式のように、状態ベクトルの誤差共分散行列Ｐ_t|tのトレースが閾値θ_P以上になった場合には、予測・推定手段３５は、該当する識別番号ｍを無効にすることができる。

遅延手段３６は、予測・推定手段３５から出力された予測座標ｘ_t+1|t（ｍ）および予測速度ｖ_t+1|t（ｍ）を、１単位時間遅延して、遅延された予測座標ｘ_t|t-1（ｍ）および遅延された予測速度ｖ_t|t-1（ｍ）を、検出・追跡手段３４に出力するものである。

図１に戻って、映像解析装置１の構成の説明を続ける。
色識別手段４は、入力映像と、シルエット映像生成手段２で生成されたシルエット映像（複数のシルエット画像Ｓ（ｘ，ｙ））と、人物追跡手段３の予測・推定手段３５から出力された識別番号ｍ、推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）とに基づいて、入力映像中の各人物のシルエット（各追跡領域、識別番号ｍ）の着衣の色（追跡領域の色）を識別して、色分類番号Ｃ（ｍ）を出力するものである。
この色識別手段４は、例えば、特願２００５−１１９５９の「色識別装置および色識別プログラム」に記載されている手法を用いることができる。

例えば、当該装置１に入力する入力映像を、サッカー競技映像とする場合、一方のチームのフィールド選手を“０”、一方のチームのゴールキーパーを“１”、他方のチームのフィールド選手を“２”、他方のチームのゴールキーパーを“３”、審判を“４”、その他（ボールボーイ、監督、観客等）を“５”といったように、色分類番号Ｃ（ｍ）を定める（割り振る）ことができる。

特徴ベクトル抽出手段５は、人物追跡手段３の検出・追跡手段３４から出力された識別番号ｍおよび面積α（ｍ）と、人物追跡手段３の予測・推定手段３５から出力された識別番号ｍ、推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）と、色識別手段４から出力された識別番号ｍおよび色分類番号Ｃ（ｍ）とに基づいて、特徴ベクトルに含める特徴量を求めて出力するものである。

なお、この特徴ベクトル抽出手段５では、識別番号ｍと対応付けられた、面積α（ｍ）と、推定座標ｘ_t|t（ｍ）と、推定速度ｖ_t|t（ｍ）と、色分類番号Ｃ（ｍ）との少なくとも一つの入力情報に基づいて、特徴ベクトルに含める特徴量を計算しているが、入力情報の種類（数）が増加するほど、特徴ベクトルに含める特徴量の種類（数）も増加することになり、この結果、イベント検出手段６によるイベントの検出精度が向上することになる。この特徴ベクトル抽出手段５の詳細な構成を図５に示す。

図５に示すように、特徴ベクトル抽出手段５は、人数計測手段５１と、人物群分散計測手段５２と、人物間距離計測手段５３と、人物群重心計測手段５４と、平均速さ計測手段５５と、平均速度計測手段５６と、特定領域監視手段５７とを備えている。

人数計測手段５１は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）、色分類番号Ｃ（ｍ）および面積α（ｍ）の少なくとも１つの情報に基づいて、入力映像内に含まれる人物の数（人数）Ｎ（シルエット数推定値、人物数推定値）を推定するものである。この人数計測手段５１は、最も簡単な手法として、入力された識別番号ｍの総数を数えることで、人数Ｎを求めることができる。また、人数計測手段５１は、図６に示す構成によって、人数Ｎを求めてもよい。

図６に示すように、人数計測手段５１は、クロック手段５１１と、順次面積選択手段５１２と、順次座標選択手段５１３と、人物像面積推定手段５１４と、除算手段５１５と、総和演算手段５１６とを備えている。

クロック手段５１１は、順次増加または減少する数値時系列を生成して、この数値時系列を、順次面積選択手段５１２、順次座標選択手段５１３および総和演算手段５１６に出力するものである。この数値時系列は、各手段５１２、５１３、５１６において、入力された情報を処理するタイミングを同期させるために基準となるものである。

順次面積選択手段５１２は、識別番号ｍ、面積α（ｍ）および色分類番号Ｃ（ｍ）が入力され、クロック手段５１１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値（色識別手段４の説明のところで示した例であれば、０〜５の整数）のものを抽出して、該当したものの面積α（ｍ）を除算手段５１５に出力するものである。

例えば、前記したように、当該装置１に入力された入力映像がサッカー競技映像であり、一方のチームのフィールド選手が“０”、一方のチームのゴールキーパーが“１”、他方のチームのフィールド選手が“２”、他方のチームのゴールキーパーが“３”、審判が“４”、その他（ボールボーイ、監督、観客等）が“５”と、色分類番号Ｃ（ｍ）が設定されている場合、色分類番号Ｃ（ｍ）が“０”から“３”のもののみを抽出することにより、選手のみを選択する（選び出す）ことができる。

順次座標選択手段５１３は、識別番号ｍ、色分類番号Ｃ（ｍ）、推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）が入力され、クロック手段５１１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値（色識別手段４の説明のところで示した例であれば、０〜５の整数）のものを抽出して、該当したものの推定座標ｘ_t|t（ｍ）を人物像面積推定手段５１４に出力するものである。この順次座標選択手段５１３は、順次面積選択手段５１２と同様に、色分類番号Ｃ（ｍ）が特定の値のものを抽出し、そして、識別番号ｍを介在させ、当該識別番号ｍが対応している推定座標ｘ_t|t（ｍ）を出力している。順次座標選択手段５１３は、順次面積選択手段５１２と同様に、入力映像がサッカー競技映像である場合、特定の値を“０”から“３”とすれば、選手のみを選択する（選び出す）ことができる。

人物像面積推定手段５１４は、人物の大きさ程度の立体（人物の体積に相当する立体、直方体や円柱等）を、順次座標選択手段５１３から出力された推定座標ｘ_t|t（ｍ）に配置したと仮定し、透視変換を行うことで、画像平面における像を推定するものである。図７に示すように、立体として、直方体を用いた場合には、当該直方体を画像平面（投影面、表示装置（図示せず）の表示面）に写像した際の像の輪郭は、四角形、五角形または六角形の多角形の形状となる。

そして、人物像面積推定手段５１４は、得られた直方体の像において、画像平面（投影面）に対面する面の面積、または、得られた像に外接する方形（バウンディングボックス）の面積を求め、推定面積α_est（ｍ）とする。

図６に戻って、映像解析装置１の特徴ベクトル抽出手段５の人数計測手段５１の構成の説明を続ける。
除算手段５１５は、順次面積選択手段５１２から出力された面積α（ｍ）を、人物像面積推定手段５１４から出力された推定面積α_est（ｍ）で除算して、除算した結果である面積比ｒ（ｍ）を総和演算手段５１６に出力するものである。この除算手段５１５から出力される面積比ｒ（ｍ）は、次に示す（２０）式で表される。

この（２０）式で表される面積比ｒ（ｍ）は、入力画像Ｉ（ｘ，ｙ）に映っている人物間のオクルージョンがなく（重なり合いがなく）、シルエット画像Ｓ（ｘ，ｙ）に含まれているシルエット一つに対して、人物一人が丁度含まれている場合には、入力映像を撮影しているカメラの撮影地点（カメラの投影中心）から、人物までの距離によらずにほぼ一定の値をとる。

また、シルエット画像Ｓ（ｘ、ｙ）に含まれているシルエット一つに対して、複数の人物が含まれている場合には、通常、含まれている人物数の増加に伴って、面積比ｒ（ｍ）の値も増加することが推測される。

そこで、（２０）式の代わりに、次に示す（２１）式を用いて、面積比ｒ（ｍ）を求めてもよい。

この（２１）式において、ｋは定数とし、この定数の値は、面積比ｒ（ｍ）が一つのシルエット内に含まれる人物の数とほぼ一致するような値をとることが好適である。

総和演算手段５１６は、除算手段５１５から出力された面積比ｒ（ｍ）を、クロック手段５１１から出力された数値時系列に従ったタイミングで累積し、累積した結果（累積結果）を人数Ｎとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。

図５に示した人物群分散計測手段５２は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）、色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物の分布が広がっている度合いを定量化し、人物群分布面積Ｖ（シルエット群分布定量化値、人物群分布定量化値）として出力するものである。この人物群分散計測手段５２の詳細な構成を図８に示す。

図８に示すように、人物群分散計測手段５２は、クロック手段５２１と、順次座標選択手段５２２と、共分散行列演算手段５２３と、分布面積演算手段５２４とを備えている。なお、クロック手段５２１および順次座標選択手段５２２は、図６に示したクロック手段５１１および順次座標選択手段５１３と同様であるので、説明を省略する。

共分散行列演算手段５２３は、順次座標選択手段５２２から出力された推定座標ｘ_t|t（ｍ）の共分散行列を求めるものである。この共分散行列演算手段５２３は、例えば、順次座標選択手段５２２から出力された推定座標ｘ_t|t（ｍ）およびｘ_t|t（ｍ）［ｘ_t|t（ｍ）］^T（Ｔはベクトルの転置を表す）を、クロック手段５２１から出力された数値時系列に従ったタイミングで累積すると共に、順次座標選択手段５２２から出力された推定座標ｘ_t|t（ｍ）の個数（サンプル数）を数えることで、共分散行列Ｄを求める。

この共分散行列演算手段５２３により求められた共分散行列Ｄの各成分を、次に示す（２２）式によって定義する。

分布面積演算手段５２４は、共分散行列演算手段５２３で求められた共分散行列Ｄに基づいて、実空間上での人物分布範囲を定量化した人物群分布面積Ｖを求め、特徴ベクトルを構成する特徴量の一つとして出力するものである。人物群分布面積Ｖは、実空間上での面積と同じ次元を有しており、次に示す（２３）式を用いて求めることができる。なお、（２３）式において、βは、０以上の定数である。

図５に示した人物間距離計測手段５３は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）に基づいて、入力映像内に含まれる人物間が近接している度合いを定量化し、人物間距離ｄ（シルエット間距離定量化値、人物間距離定量化値）として出力するものである。この人物間距離計測手段５３の詳細な構成を図９に示す。

図９に示すように、人物間距離計測手段５３は、カウンタ手段５３１と、第一番号対応座標選択手段５３２と、第二番号対応座標選択手段５３３と、距離演算手段５３４と、最小値演算手段５３５と、平均値演算手段５３６とを備えている。

カウンタ手段５３１は、二つのカウンタ（図示せず）を備えてなり、当該カウンタの出力ｍ₁およびｍ₂を組み合わせて、二つの識別番号ｍ₁およびｍ₂の全ての組み合わせを走査するものである。なお、ここでいう「走査」とは、いわゆるラスタスキャンを指しており、ここでは、（ｍ₁，ｍ₂）を（０，０）（１，０）（２，０）、・・・、（０，１）（１，１）（２，１）、・・・、（０，２）（１，２）（２，２）といったように全ての組み合わせを発生させることを意味している。

第一番号対応座標選択手段５３２は、識別番号ｍの推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）が入力され、カウンタ手段５３１から出力された識別番号ｍ₁に対応する推定座標ｘ_t|t（ｍ₁）を、距離演算手段５３４に出力するものである。

第二番号対応座標選択手段５３３は、識別番号ｍの推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）が入力され、カウンタ手段５３１から出力された識別番号ｍ₂に対応する推定座標ｘ_t|t（ｍ₂）を、距離演算手段５３４に出力するものである。

距離演算手段５３４は、第一番号対応座標選択手段５３２から出力された識別番号ｍ_１の推定座標ｘ_ｔ|ｔ（ｍ_１）と、第二番号対応座標選択手段５３３から出力された識別番号ｍ_２の推定座標ｘ_ｔ|ｔ（ｍ_２）との距離ｄ _{ｍ１，ｍ２}を求め、最小値演算手段５３５に出力するものである。この距離ｄ_{ｍ１，ｍ２}は、次に示す式（２４）によって表される。

最小値演算手段５３５は、距離演算手段５３４から出力された距離ｄ_{ｍ１，ｍ２}と、カウンタ手段５３１から出力された識別番号ｍ_１とに基づいて、識別番号ｍ_２の推定座標ｘ_ｔ|ｔ（ｍ_２）から最も距離の近い推定座標ｘ_ｔ|ｔ（ｍ_１）までの距離ｄ_ｍｉｎ（ｍ_２）を、次に示す（２５）式を用いて求め、平均値演算手段５３６に出力するものである。

平均値演算手段５３６は、最小値演算手段５３５から出力された距離ｄ_min（ｍ₂）と、カウンタ手段５３１から出力された識別番号ｍ₂とに基づいて、次に示す（２６）式を用いて、距離ｄ_min（ｍ₂）を識別番号ｍ₂に亘って平均演算を行って、平均値ｄを求め、この平均値ｄを人物間距離ｄとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。

図５に示した人物群重心計測手段５４は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心を、人物群重心ｇ（シルエット群重心定量化値、人物群重心定量化値）として出力するものである。この人物群重心計測手段５４の詳細な構成を図１０に示す。

図１０に示すように、人物群重心計測手段５４は、クロック手段５４１と、順次座標選択手段５４２と、平均値演算手段５４３とを備えている。クロック手段５４１および順次座標選択手段５４２は、図６に示したクロック手段５１１および順次座標選択手段５１３と同様であるので、説明を省略する。

平均値演算手段５４３は、順次座標選択手段５４２から出力された推定座標ｘ_t|t（ｍ）の平均値（ベクトル）を、次に示す（２７）式を用いて、クロック手段５４１から出力された数値時系列に従ったタイミングで求め、人物群重心ｇとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。

図５に示した平均速さ計測手段５５は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心の速さを、平均速さｓ（シルエット速さ定量化値、人物速さ定量化値）として出力するものである。この平均速さ計測手段５５の詳細な構成を図１１に示す。

図１１に示すように、平均速さ計測手段５５は、クロック手段５５１と、順次速度選択手段５５２と、絶対値演算手段５５３と、平均値演算手段５５４とを備えている。クロック手段５５１は、図６に示したクロック手段５１１と同様であるので、説明を省略する。

順次速度選択手段５５２は、識別番号ｍ、色分類番号Ｃ（ｍ）、推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）が入力され、クロック手段５５１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値のものを抽出して、該当したものの推定速度ｖ_t|t（ｍ）を、絶対値演算手段５５３に出力するものである。順次速度選択手段５５２は、前記したように、入力映像がサッカー競技映像である場合、特定の値を“０”から“３”とすれば、選手のみの推定速度ｖ_t|t（ｍ）を選択する（選び出す）ことができる。

絶対値演算手段５５３は、順次速度選択手段５５２から出力された推定速度ｖ_t|t（ｍ）の絶対値を求めるものである。この推定速度ｖ_t|t（ｍ）の絶対値は、次に示す（２８）式によって定義される。

平均値演算手段５５４は、絶対値演算手段５５３から出力された推定速度ｖ_t|t（ｍ）の絶対値の平均値を、次に示す（２９）式を用いて求めた平均速さｓとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。

図５に示した平均速度計測手段５６は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心の速度を、平均速度ｕ（シルエット速度定量化値、人物速度定量化値）として出力するものである。この平均速度計測手段５６の詳細な構成を図１２に示す。

図１２に示すように、平均速度計測手段５６は、クロック手段５６１と、順次速度選択手段５６２と、平均値演算手段５６３とを備えている。なお、クロック手段５６１は図６に示したクロック手段５１１と同様であり、順次速度選択手段５６２は図１１に示した順次速度選択手段５５２と同様であるので、説明を省略する。

平均値演算手段５６３は、順次速度選択手段５５２から出力された推定速度ｖ_t|t（ｍ）の平均値を、次に示す（３０）式を用いて、クロック手段５６１から出力された数値時系列に従ったタイミングで求め、平均速度ｕとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。

図５に示した特定領域監視手段５７は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が特定領域に含まれているか否かを判定し、判定した結果を、監視結果ｗ（判定値）として出力するものである。この特定領域監視手段５７の詳細な構成を図１３に示す。

図１３に示すように、特定領域監視手段５７は、クロック手段５７１と、順次番号対応座標選択手段５７２と、色分類別２次元閾値演算手段５７３とを備えている。なお、クロック手段５７１は、図６に示したクロック手段５１１と同様であるので、説明を省略する。

順次番号対応座標選択手段５７２は、識別番号ｍ、推定座標ｘ_t|t（ｍ）および推定速度ｖ_t|t（ｍ）が入力され、クロック手段５７１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの推定座標ｘ_t|t（ｍ）を、色分類別２次元閾値演算手段５７３に出力するものである。

色分類別２次元閾値演算手段５７３は、識別番号ｍおよび色分類番号Ｃ（ｍ）が入力され、順次番号対応座標選択手段５７２から出力された識別番号ｍの推定座標ｘ_t|t（ｍ）に基づいて、色分類番号Ｃ（ｍ）ごとに予め設定された領域Ｗ（Ｃ）内に、当該色分類番号Ｃ（ｍ）が付加（付与）されている人物の識別番号ｍの推定座標ｘ_t|t（ｍ）（色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘ_t|t（ｍ）とする）が含まれているか否かを判定するものである。

そして、色分類別２次元閾値演算手段５７３は、次に示す（３１）式を用いて、領域Ｗ（Ｃ）内に、色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘ_t|t（ｍ）が含まれている場合には、監視結果ｗ＝ＴＲＵＥを、領域Ｗ（Ｃ）内に、色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘ_t|t（ｍ）が含まれていない場合には、監視結果ｗ＝ＦＡＬＳＥを、特徴ベクトルを構成する特徴量の一つとして出力するものである。

例えば、色分類別２次元閾値演算手段５７３は、入力映像がサッカー競技映像である場合、サッカーコートの右側の二つのコーナー（右奥または右手前のコーナー）を中心とするそれぞれ半径ｑメートルの２円内の和集合で構成される領域Ｗ（１）と、サッカーコートの左側の二つのコーナー（左奥または左手前のコーナー）を中心とするそれぞれ半径ｑメートルの２円内の和集合で構成される領域Ｗ（３）とする。

なお、これらＷ（１）およびＷ（３）の括弧内の数字“１”および“３”は色分類番号を指している。ここでは、この色分類番号は、右側に向かって攻撃するチームのフィールド選手を“１”、右側に向かって攻撃するチームのゴールキーパーを“２”、左側に向かって攻撃するチームのフィールド選手を“３”、左側に向かって攻撃するチームのゴールキーパーを“４”、審判を“５”、その他（ボールボーイ、監督、観客等）を“６”としている。

つまり、Ｗ（１）は、色分類番号１の選手（右側に向かって攻撃するチームのフィール選手）が右奥または右手前のコーナーに来た（いる）場合、Ｗ（３）は色分類番号３の選手（左側に向かって攻撃するチームのフィールド選手）が左奥または左手前のコーナーに来た（いる）場合に監視結果ｗ＝ＴＲＵＥとなる。なお、通常、右側または左側に向かって攻撃しているチーム（攻撃側）のゴールキーパーが、守備側のコーナーに来ることはないので、Ｗ（２）（色分類番号２のゴールキーパー（右側に向かって攻撃するチームのゴールキーパー）が右奥または右手前のコーナーに来た（いる）場合）と、Ｗ（４）（色分類番号４のゴールキーパー（左側に向かって攻撃するチームのゴールキーパー）が左奥または左手前のコーナーに来た（いる）場合）とは空集合φとしておく。

また、Ｗ（５）（色分類番号５の審判がいずれかのコーナーに来た（いる）場合）およびＷ（６）（色分類番号６のボールボーイ、監督、観客等がいずれかのコーナーに来た（いる）場合）も空集合φと設定しておく。そうすることで、守備側のコーナーに、攻撃側の選手（フィールド選手）がいるか否かを判定することができる。

なお、特徴ベクトル抽出手段５（図１、図５参照）を実装する場合には、クロック手段５１１（図６参照）、クロック手段５２１（図８参照）、クロック手段５４１（図１０参照）、クロック手段５５１（図１１参照）、クロック手段５６１（図１２参照）およびクロック手段５７１（図１３参照）を共通化し、順次座標選択手段５１３（図６参照）、順次座標選択手段５２２（図８参照）および順次座標選択手段５４２（図１０参照）を共通化し、順次速度選択手段５５２（図１１参照）および順次速度選択手段５６２（図１２参照）を共通化して、より少ない手段数によって行ってもよい。

図１に戻って、映像解析装置１の構成の説明を続ける。
イベント検出手段６は、特徴ベクトル抽出手段５から出力された特徴ベクトルの少なくとも１つの成分（特徴量）に基づいて、入力映像に含まれている映像シーンを特徴付けるイベント（出来事）を検出し、検出した結果を、フラグＥ（フラグ信号）として、ポストフィルタ手段７に出力するものである。なお、このイベント検出手段６は、必要に応じた数ｎ（ｎは任意の整数）のイベント検出手段６（６−１）、６（６−２）、・・・、６（６−ｎ）を備えることができる。

つまり、このイベント検出手段６は、特徴ベクトルに含まれている特徴量が、予め設定した条件を満たした場合を、イベントとして検出し、検出した結果を示すフラグＥ（フラグ信号）として出力するものである。なお、予め設定した条件とは、ここでは、入力映像を、サッカー映像として、後記する（３６）式から（４２）式までに示した条件を採用している。このイベント検出手段６の詳細な構成を図１４に示す。

図１４に示すように、イベント検出手段６は、特徴ベクトルを構成する特徴量の数ｎに応じた数の特徴量間演算手段６１（６１−１）、６１（６１−２）、・・・、６１（６１−ｎ）と、閾値演算手段６２（６２−１）、６２（６２−２）、・・・、６２（６２−ｎ）と、論理演算手段６３と、遅延手段６４とを備えている。

特徴量間演算手段６１は、特徴ベクトルを構成する複数の特徴量の間で演算を行って、演算した結果の値をγとして、閾値演算手段６２に出力するものである。以下、γを複合特徴量と呼称し、必要に応じて下付きの添え字をして区別するものとする。

この特徴量間演算手段６１は、例えば、入力された特徴ベクトルの複数種類の特徴量の中から、一種類の特徴量のみを選択し、選択した特徴量の値を変換すること無く出力することができる。次に示す（３２）式は、人数Ｎ、人物間距離ｄ、平均速さｓに関する複合特徴量（一種類（単一）の特徴量をそのまま選択して出力しているので、実際には複合していないが、便宜上、複合特徴量と呼称する）γ_pop、γ_distおよびγ_spdの一例を示している。

なお、この場合、イベント検出手段６には、特徴量間演算手段６１を設けずに、一種類の特徴ベクトルのみを直接、閾値演算手段６２に入力するようにしてもよい。
また、特徴量間演算手段６１は、例えば、入力れた特徴ベクトルのうち、一種類の特徴量のベクトル値を選択し、当該特徴量に線形または非線形の変換を施して出力することが可能である。次に示す（３３）式は、人物群重心ｇの第一成分（水平成分）、平均速度ｕの第一成分（水平成分）を抽出した複合特徴量γ_gravおよびγ_veloの一例を示している。

さらに、特徴量間演算手段６１は、例えば、入力された特徴ベクトルのうち、複数種の特徴量の間で演算を行った結果を、複合特徴量γとして出力することが可能である。例えば、人数Ｎと人物群分布面積Ｖとに基づいて、次に示す（３４）式を用いて、人口密度に相当する複合特徴量γ_pdを演算（計算）することが可能である。

さらにまた、特徴量間演算手段６１は、例えば、入力された特徴ベクトルのうち、真理値たる一種類の特徴量のみを選択し、当該真理値のＴＲＵＥおよびＦＡＬＳＥに応じて、それぞれ異なる値を出力することが可能である。次に示す（３５）式は、特定領域監視手段５７から出力された監視結果ｗに応じた複合特徴量γ_rgnの一例を示している。

なお、この特定領域監視手段５７から出力された監視結果ｗに応じた複合特徴量γ_rgnの場合、イベント検出手段６には、特徴量間演算手段６１および閾値演算手段６２を設けずに、監視結果ｗ（真理値たる一種類の特徴量）を直接、論理演算手段６３に入力してもよい。

閾値演算手段６２は、特徴量間演算手段６１から出力された複合特徴量γが、予め設定された範囲内にある場合に、真理値Ｌ＝ＴＲＵＥを、予め設定された範囲内にない場合に、真理値Ｌ＝ＦＡＬＳＥを、論理演算手段６３に出力するものである。この閾値演算手段６２は、例えば、複合特徴量γとして、平均速さγ_sが入力され、予め設定された閾値θ_s（以下、θに下付添え字は、添え字に対応した閾値を示す）により設定された範囲γ_s≧θ_sを、平均速さγ_sが満たす場合、真理値Ｌ＝ＴＲＵＥを、平均速さγ_sを満たさない場合、真理値Ｌ＝ＦＡＬＳＥを出力することが可能である。

論理演算手段６３は、少なくとも１つの閾値演算手段６２から出力された真理値Ｌ₁、Ｌ₂、・・・、Ｌ_n（以下、真理値Ｌの下付添え字により、複数の真理値Ｌを区別する）および遅延手段６４から出力された真理値Ｊ（詳細は後記する）に基づいて、予め設定した論理演算を行って、この論理演算を行った演算結果を、イベントを示すフラグＥ（以下、フラグＥの下付添え字により、複数のフラグＥを区別する）として出力するものである。

この論理演算手段６３は、遅延手段６４から出力された真理値Ｊが存在する場合には、当該真理値Ｊに対しても、真理値Ｌに行った論理演算と、同一または異なる論理演算を行って、この論理演算を行った演算結果を、真理値（複数の真理値からなるベクトル）ｅとして、遅延手段６４に出力する。

遅延手段６４は、論理演算手段６３から出力された真理値ｅ（真理値ｅがベクトルの場合、各成分）を所定時間遅延して、真理値Ｊとして、論理演算手段６３に出力するものである。なお、イベント検出手段６には、遅延手段６４を設けずに、論理演算手段６３から真理値ｅを出力することと、真理値Ｊを出力することとを省略してもよい。

ここで、入力映像がサッカー映像である場合のイベント検出手段６の処理について説明する。
サッカー映像において、コーナーキックのイベントを検出する場合には、例えば、コーナーに一人の攻撃側の選手がいて、攻撃側の選手および守備側の選手の動きが少なく、ペナルティエリア内に多くの選手が存在し、且つ、人口密度が高い状態を検出すればよいことになる。こういった状況を、次に示す（３６）式を用いて表し、コーナーキックのイベントに関するフラグＥ_CKを求めることができる。

この（３６）式において、Ｌ_corner1は、コーナー（右側の２コーナーに設定した半径ｑメートルの２つ円内の和集合Ｗ（１）および左側の２コーナーに設定した半径ｑメートルの２つの円内の和集合Ｗ（３）、並びに、空集合φであるＷ（２）、Ｗ（４）、Ｗ（５）およびＷ（６））のいずれかに選手がいるか否かを示す真理値であり、この場合、ｗ（ＴＲＵＥ）であるので、コーナーに選手がいることを示している。Ｌ_static1は、平均速さｓが平均速さｓの閾値θ_static1以内または以上であるかを示す真理値であり、この場合、ｓ≦θ_static1であるので、平均速さｓは閾値θ_static1以内であることを示している。また、Ｌ_many1は、人数Ｎが人数Ｎの閾値θ_many1以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_manyであるので、人数Ｎは閾値θ_many1以上であることを示している。Ｌ_dense1は、人口密度γ_pdが人口密度の閾値θ_dense1以内または以上であるかを示す真理値であり、この場合、γ_pd≧θ_dense1であるので、人口密度γ_pdはθ_dense1以上であることを示している。Ｅ_ck1は、コーナーキックのイベントに関するフラグの一つであり、この場合、Ｌ_corner1、Ｌ_static1、Ｌ_many1およびＬ_dense1のすべてを満たす場合に検出される。

なお、ここでは、イベント検出手段６は、特定領域監視手段５７（図５、図１３参照）から出力された監視結果ｗを、特徴量間演算手段６１および閾値演算手段６２を介さずに、直接、真理値Ｌ_{ｃｏｒｎｅｒ１}として、設定している。また、イベント検出手段６は、人物計測手段５１（図５、図６参照）から出力された人数Ｎと、平均速さ計測手段５５（図５、図１１参照）から出力された平均速さｓとを、特徴量間演算手段６１を介さず、直接、閾値演算手段６２に入力し、この閾値演算手段６２の演算結果（計算結果）を、真理値Ｌ_{ｍａｎｙ１}、Ｌ_{ｓｔａｔｉｃ１}として設定している。

また、サッカー映像において、フリーキックのイベントを検出する場合、フリーキックのイベントに関するフラグＥ_FKは、次に示す（３７）式を用いて求めることができる。

この（３７）式において、Ｌ_corner2は、コーナー（右側の２コーナーに設定した半径ｑメートルの２つ円内の和集合Ｗ（１）および左側の２コーナーに設定した半径ｑメートルの２つの円内の和集合Ｗ（３）、並びに、空集合φであるＷ（２）、Ｗ（４）、Ｗ（５）およびＷ（６））のいずれかに選手がいるか否かを示す真理値であり、この場合、ｗ（ＴＲＵＥ）であるので、コーナーに選手がいることを示している。Ｌ_static2は、平均速さｓが平均速さｓの閾値θ_static2以内または以上であるかを示す真理値であり、この場合、ｓ≦θ_static2であるので、平均速さｓは閾値θ_static2以内であることを示している。また、Ｌ_many2は、人数Ｎが人数Ｎの閾値θ_many2以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many2であるので、人数Ｎは閾値θ_many2以上であることを示している。Ｌ_dense2は、人口密度γ_pdが人口密度の閾値θ_dense以内または以上であるかを示す真理値であり、この場合、γ_pd≧θ_dense2であるので、人口密度γ_pdはθ_dense2以上であることを示している。Ｅ_Fk2は、フリーキックのイベントに関するフラグの一つであり、この場合、Ｌ_corner2に（¬：論理否定）が付加されているので、Ｌ_corner2を満たさず、且つ、Ｌ_static2、Ｌ_many2およびＬ_dense2を満たす場合に検出される。
つまり、フリーキックの場合、コーナーキックとは異なり、コーナーエリアに選手がいることはないと想定でき、他の状況はコーナーキックとほぼ同じとなる。

また、サッカー映像において、左側に向かって攻撃しているイベントを検出する場合、左側に向かって攻撃しているイベントに関するフラグＥ_leftは、次に示す（３８）式を用いて求めることができる。

この（３８）式において、Ｌ_left3は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）を符号反転した−γ_velo（左に向かう選手の平均速度）が平均速度ｕの閾値θ_left3以内または以上であるかを示す真理値であり、この場合、−γ_velo≧θ_left3であるので、平均速度ｕの第一成分を符号反転した−γ_veloは閾値θ_left3以上であることを示している。また、Ｌ_many3は、人数Ｎが人数Ｎの閾値θ_many3以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many3であるので、人数Ｎは閾値θ_many3以上であることを示している。Ｅ_left3は、左側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌ_left3およびＬ_many3を満たす場合に検出される。

また、サッカー映像において、右側に向かって攻撃しているイベントを検出する場合、右側に向かって攻撃しているイベントに関するフラグＥ_rightは、次に示す（３９）式を用いて求めることができる。

この（３９）式において、Ｌ_right4は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）γ_velo（右に向かう選手の平均速度）が平均速度ｕの閾値θ_right4以内または以上であるかを示す真理値であり、この場合、γ_velo≧θ_right4であるので、平均速度ｕの第一成分γ_veloは閾値θ_right4以上であることを示している。また、Ｌ_many4は、人数Ｎが人数Ｎの閾値θ_many4以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many4であるので、人数Ｎは閾値θ_many4以上であることを示している。Ｅ_right4は、右側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌ_right4およびＬ_many4を満たす場合に検出される。

さらに、サッカー映像において、左側のゴール付近で、左側に向かって攻撃しているイベントを検出する場合、この左側ゴール付近で、左側に向かって攻撃しているイベントに関するフラグＥ_left＿goalは、次に示す（４０）式を用いて求めることができる。

この（４０）式において、Ｌ_left5は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）を符号反転した−γ_velo（左に向かう選手の平均速度）が平均速度ｕの閾値θ_left5以内または以上であるかを示す真理値であり、この場合、−γ_velo≧θ_left5であるので、平均速度ｕの第一成分を符号反転した−γ_veloは閾値θ_left5以上であることを示している。また、Ｌ_goal5は、人物群重心ｇの第一成分（右向きを正とした場合の人物群重心ｇの水平成分）を符合反転した−γ_gravが人物群重心ｇの閾値θ_goal5以内または以上であるかを示す真理値であり、この場合、−γ_grav≧θ_goal5であるので、人物群重心ｇの第一成分を符合反転した−γ_gravは閾値θ_goal5以上であることを示している。Ｌ_many5は、人数Ｎが人数Ｎの閾値θ_many5以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many5であるので、人数Ｎは閾値θ_many5以上であることを示している。Ｅ_left＿goal5は、左側ゴール付近で、左側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌ_left5、Ｌ_goal5およびＬ_many5を満たす場合に検出される。

さらにまた、サッカー映像において、右側のゴール付近で、右側に向かって攻撃しているイベントを検出する場合、この右側ゴール付近で、右側に向かって攻撃しているイベントに関するフラグＥ_right＿goalは、次に示す（４１）式を用いて求めることができる。

この（４１）式において、Ｌ_right6は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）γ_velo（右に向かう選手の平均速度）が平均速度ｕの閾値θ_right6以内または以上であるかを示す真理値であり、この場合、γ_velo≧θ_right6であるので、平均速度ｕの第二成分γ_veloは閾値θ_right6以上であることを示している。また、Ｌ_goal6は、人物群重心ｇの第一成分（右向きを正とした場合の人物群重心ｇの水平成分）γ_gravが人物群重心ｇの閾値θ_goal6以内または以上であるかを示す真理値であり、この場合、γ_grav≧θ_goal6であるので、人物群重心ｇの第一成分γ_gravは閾値θ_goal6以上であることを示している。Ｌ_many6は、人数Ｎが人数Ｎの閾値θ_many6以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many6であるので、人数Ｎは閾値θ_many6以上であることを示している。Ｅ_{right＿goal6}は、右側ゴール付近で、右側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌ_right6、Ｌ_goal6およびＬ_many6を満たす場合に検出される。

或いはまた、サッカー映像において、攻撃の方向が右方向から左方向に、または、左方向から右方向に変化する瞬間のイベントに関するフラグＥ_turnは、次に示す（４２）式を用いて求めることができる。

この（４２）式において、Ｌ_right7は、平均速度ｕの第一成分γ_velo（右に向かう選手の平均速度）が平均速度ｕの閾値θ_right7以内または以上であるかを示す真理値であり、この場合、γ_velo≧θ_right7であるので、平均速度ｕの第一成分γ_veloは閾値θ_right7以上であることを示している。Ｌ_left7は、平均速度ｕの第一成分を符合反転した−γ_velo（左に向かう選手の平均速度）が平均速度ｕの閾値θ_left7以内または以上であるかを示す真理値であり、この場合、−γ_velo≦θ_left7であるので、平均速度ｕの第一成分を符合反転した−γ_veloは閾値θ_left7以内であることを示している。また、Ｌ_many7は、人数Ｎが人数Ｎの閾値θ_many7以内または以上であるかを示す真理値であり、この場合、Ｎ≧θ_many7であるので、人数Ｎは閾値θ_many7以上であることを示している。ｅ_right7はフラグＥ_turnを検出するために遅延手段６４に入力する真理値の一つであり、Ｌ_right7およびＬ_many7を満たす場合に検出される。ｅ_left7はフラグＥ_turnを検出するために遅延手段６４に入力する真理値の一つであり、Ｌ_left7およびＬ_many7を満たす場合に検出される。Ｅ_turn7は、攻撃の方向が右方向から左方向に、または、左方向から右方向に変化する瞬間のイベントに関するフラグの一つであり、この場合、Ｌ_left7および１単位時間過去のｅ_right7（遅延手段６４で遅延されたｅ_right7）を満たすか、または、Ｌ_right7および１単位時間過去のｅ_left7（遅延手段６４で遅延されたｅ_left7）を満たし、且つ、Ｌ_many7を満たす場合に検出される。

図１に戻って、映像解析装置１の構成の説明を続ける。
ポストフィルタ手段７は、イベント検出手段６から出力された１以上のフラグＥに対して、時間方向のフィルタ処理と、フラグＥ間の論理演算処理との少なくとも一方の処理を行って、最終的なイベント出力（イベントを特定するイベント出力信号）εを求めるものである。以下、イベント出力εに付される下付添え字（後記する）により、複数のイベント出力εを区別することとする。このポストフィルタ手段７の詳細な構成を図１５に示す。

図１５に示すように、ポストフィルタ手段７は、時間率フィルタ手段７１（７１−１、７１−２、・・・、７１−７）と、タイムアウト処理手段７２（７２−１、７２−２、・・・、７２−７）と、イベント特定論理演算手段７３（７３−２、７３−４、７３−５、７３−６）とを備えている。

時間率フィルタ手段７１は、入力されたフラグＥそれぞれに対して、時間方向のフィルタ処理を施すものである。この時間率フィルタ手段７１の詳細な構成を図１６に示す。
図１６に示すように、時間率フィルタ手段７１は、遅延手段７１１（７１１−１、７１１−２、７１１−３、・・・、７１１−（Δ−１））と、時間率演算手段７１２と、閾値演算手段７１３とを備えている。

遅延手段７１１は、複数（Δ−１）個（Δは１以上の整数）から構成されており、入力されたフラグＥを１単位時間遅延させて、時間率演算手段７１２に出力すると共に、連続して配置されている次の遅延手段７１１に出力するものである。

時間率演算手段７１２は、時間率フィルタ手段７１に入力されるフラグＥの真理値ＴＲＵＥおよび遅延手段７１１から出力される（Δ−１）個のフラグＥの真理値ＴＲＵＥの総数を数え、数えた総数をΔで除算した結果（除算結果、時間率ρ）を、閾値演算手段７１３に出力するものである。

閾値演算手段７１３は、時間率演算手段７１２から出力された除算結果（時間率ρ）が予め設定した閾値θρ以上であるか否かを判定し、閾値θρ以上であった場合に、真理値ＴＲＵＥを、閾値θρ以上でなかった場合に、真理値ＦＡＬＳＥを、タイムアウト処理手段７２（図１５）に出力するものである。

ここで、時間率フィルタ手段７１の処理を、図１７に示すフラグＥの真理値（ＴＲＵＥまたはＦＡＬＳＥ）の例を参照して説明する（適宜、図１６参照）。
まず、時間率フィルタ手段７１は、（Δ−１）個の遅延手段７１１によって、時刻ｔ（現時点ｔ）から時刻ｔ−Δ（Δ単位時間過去の時点ｔ−Δ）に至る幅Δの窓を、入力されたフラグＥの真理値の時系列に対して設定する。続いて、時間率フィルタ手段７１は、時間率演算手段７１２によって、当該窓内において、真理値がＴＲＵＥであった割合（時間率ρ）を求めて閾値演算手段７１３に出力する。そして、時間率フィルタ手段７１は、閾値演算手段７１３によって、時間率ρと閾値θρとの比較を行い、時間率ρが閾値θρ以上になった場合には、出力をＴＲＵＥ（入力真理値をＴＲＵＥ）とし、時間率ρが閾値θρ未満の場合には、出力をＦＡＬＳＥ（入力真理値をＦＡＬＳＥ）とする。

図１５に示したタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値（ＴＲＵＥまたはＦＡＬＳＥ）を、δ単位時間に基づいて、タイムアウト処理を行って、真理値ＴＲＵＥまたは真理値ＦＡＬＳＥを、イベント特定論理演算手段７３に出力するものである。

すなわち、このタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値がＴＲＵＥの場合には、真理値ＴＲＵＥを、イベント特定論理演算手段７３に出力するものである。また、タイムアウト処理手段７２は、入力真理値がＦＡＬＳＥであり、且つ、入力真理値がＴＲＵＥからＦＡＬＳＥに立ち下がった時点からδ単位時間を経過するまでの間は、真理値ＴＲＵＥを出力する。

また、このタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値がＦＡＬＳＥであり、且つ、入力真理値がＴＲＵＥからＦＡＬＳＥに立ち下がった時点からδ単位時間を超える場合には、真理値ＦＡＬＳＥを出力する。このタイムアウト処理手段７２の詳細な構成を図１８に示す。

図１８に示すように、タイムアウト処理手段７２は、単安定マルチバイブレータ手段７２１と、論理和演算手段７２２とを備えている。
単安定マルチバイブレータ手段７２１は、入力真理値（ＴＲＵＥまたはＦＡＬＳＥ）の立ち下がりエッジ（ＴＲＵＥからＦＡＬＳＥになった瞬間）を検出し、最近（直近）の立ち下がりの時点からδ単位時間を経過するまでの間のみ真理値ＴＲＵＥを、論理和演算手段７２２に出力する。また、単安定マルチバイブレータ手段７２１は、最近の立ち下がり時点からδ単位時間を経過した後は、真理値ＦＡＬＳＥを、論理和演算手段７２２に出力するものである。

論理和演算手段７２２は、タイムアウト処理手段７２に入力された入力真理値と、単安定マルチバイブレータ手段７２１から出力された真理値との論理和を演算（計算）し、演算結果を出力するものである。

ここで、タイムアウト処理手段７２の処理を、図１９に示す入力真理値の例を参照して説明する（適宜、図１８参照）。
まず、タイムアウト処理手段７２は、入力真理値の時系列に対して、単安定マルチバイブレータ手段７２１によって、入力真理値の立ち下がりエッジを検出し、最近（直近）の立ち下がりの時点からδ単位時間を経過するまでの間のみ真理値ＴＲＵＥを、最近の立ち下がり時点からδ単位時間を経過した後は、真理値ＦＡＬＳＥを、論理和演算手段７２２に出力する。そして、タイムアウト処理手段７２は、論理和演算手段７２２によって、入力された入力真理値と、単安定マルチバイブレータ手段７２１から出力された真理値との論理和（いわゆる、ｏｒ）をとる。つまり、タイムアウト処理手段７２の入力と、単安定マルチバイブレータ手段７２１の出力とのいずれかがＴＲＵＥの場合には、真理値ＴＲＵＥを出力する。

なお、図１５に示したイベント特定論理演算手段７３は、タイムアウト処理手段７２から出力された真理値ＴＲＵＥまたは真理値ＦＡＬＳＥとに基づいて、論理演算を行って、論理演算を行った結果をイベント出力（イベント出力信号）として出力するものである。

例えば、イベント特定論理演算手段７３（７３−２）は、タイムアウト処理手段７２（７２−１）から出力された真理値ＦＡＬＳＥと、タイムアウト処理手段７２（７２−２）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力ε_ＦＫとして出力する。

このように、コーナーキックのイベント出力ε_CKと、フリーキックのイベント出力ε_FKとの論理積をとっている理由は、サッカー映像において、コーナーキックとフリーキックとを比較すると、ボールを蹴る位置（コーナーか任意の箇所）が異なっているだけで、選手の平均速さや人口密度といった状況は似かよっていて、区別が難しいからである。つまり、コーナーキックとフリーキックとは同時には起こり得ないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。

例えば、イベント特定論理演算手段７３（７３−４）は、タイムアウト処理手段７２（７２−３）から出力された真理値ＦＡＬＳＥと、タイムアウト処理手段７２（７２−４）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力ε_right＿goalとして出力する。

このように、左側ゴール付近で、左側に向かって攻撃しているイベント出力ε_left＿goaと、右側ゴール付近で、右側に向かって攻撃しているイベント出力ε_right＿goaとの論理積をとっている理由は、サッカー映像において、ボールの位置する場所が左側ゴール付近にあるのか右側ゴール付近にあるのかが異なっているだけで、選手の平均速さや人物群重心の場所は似かよっていて、区別が難しいからである。つまり、左側ゴール付近と右側ゴール付近とには同時にボールが存在しないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。

例えば、イベント特定論理演算手段７３（７３−５）は、イベント特定論理演算手段７３（７３−４）から出力されたイベント出力ε_right＿goalの論理否定と、タイムアウト処理手段７２（７２−５）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力ε_leftとして出力する。

このように、右側ゴール付近で、右側に向かって攻撃しているイベント出力ε_right＿goalと、左側に向かって攻撃しているイベント出力ε_leftとの論理積をとっている理由は、サッカー映像において、右側ゴール付近にボールが位置しているが、左側に攻撃する選手にボールが奪われた、いわゆる“カウンター”を検出するためである。

例えば、イベント特定論理演算手段７３（７３−６）は、イベント特定論理演算手段７３（７３−５）から出力されたイベント出力ε_leftの論理否定と、タイムアウト処理手段７２（７２−６）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力ε_rightとして出力する。

このように、左側に向かって攻撃しているイベント出力ε_leftと、右側に向かって攻撃しているイベント出力ε_rightとの論理積をとっている理由は、サッカー映像において、ボールを蹴っている選手が左方向に攻撃する選手なのか右方向に攻撃する選手なのかが異なっているだけで、選手の平均速さや人物群重心の場所は似かよっていて、区別が難しいからである。つまり、右側に向かって攻撃することと左側に向かって攻撃することとは同時に発生しないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。

なお、ポストフィルタ手段７（図１５参照）は、入力されたフラグＥの真理値や、時間率フィルタ手段７１から出力された真理値や、タイムアウト処理手段７２から出力された真理値や、イベント特定論理演算手段７３から出力されたイベント出力を、任意の時間率フィルタ手段７１、タイムアウト処理手段７２およびイベント特定論理演算手段７３に出力することが可能である（ポストフィルタ手段７内の各構成の任意の接続が可能である）。

例えば、図２０に示すように、ポストフィルタ手段７Ａを、構成することも可能である。図２０に示したポストフィルタ手段７Ａは、フラグＥ_ＣＫの真理値とフラグＥ_ＦＫの真理値とを入力とし、図１５に示した時間率フィルタ手段７１（７１−１）およびタイムアウト処理手段７２（７２−１）によってイベント出力ε_ＣＫを出力する系統と、時間率フィルタ手段７１（７１−２）、タイムアウト処理手段７２（７２−２）およびイベント特定論理演算手段７３（７３−２）によってイベント出力ε_ＦＫを出力する系統とに、新たに、イベント特定論理演算手段７３（７３−８）およびイベント特定論理演算手段７３（７３−９）を付加した構成となっている。

イベント特定論理演算手段７３（７３−８）は、フラグＥ_ＣＫの真理値とフラグＥ_ＦＫの真理値とに基づいて、イベント出力εを時間率フィルタ手段７１（７１−２）に出力するものである。
イベント特定論理演算手段７３（７３−９）は、時間率フィルタ手段７１（７１−１）から出力された真理値と、時間率フィルタ手段７１（７１−２）から出力された真理値とに基づいて、イベント出力εをタイムアウト処理手段７２（７２−２）に出力するものである。

図１に示した映像解析装置１によれば、シルエット映像生成手段２によって、スポーツ映像からシルエット映像を生成し、シルエット映像に含まれる人物のシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、特徴ベクトル抽出手段５によって、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算し、イベント検出手段６によって、特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、ポストフィルタ手段７によって、イベントを特定する。このため、スポーツ映像を解析して、当該スポーツ映像における特定のプレイ等を検出することができる。

また、この映像解析装置１によれば、人物追跡手段３によって、シルエット映像に含まれるそれぞれの人物のシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、スポーツ映像に含まれる被写体（選手等）を、当該スポーツ映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。

さらに、この映像解析装置１によれば、特徴ベクトル抽出手段５によって、特徴ベクトルに含まれる特徴量が、人物数推定値と、人物群分布定量化値と、人物間距離定量化値と、人物速さ定量化値と、人物速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、スポーツ映像のイベント（特定のプレイ等）に関する高次の映像特徴量に変換することができる。

（映像解析装置の全体動作）
次に、図２１に示すフローチャートを参照して、映像解析装置１の全体の動作を説明する（適宜、図１参照）。なお、この図２１に示したフローチャートは、入力映像として、サッカー映像が入力された場合に、映像解析装置１の概略の動作を説明したものである。

まず、映像解析装置１は、シルエット映像生成手段２によって、入力映像（複数の入力画像Ｉ（ｘ，ｙ））からシルエット映像（複数のシルエット画像Ｓ（ｘ，ｙ））を生成し（ステップＳ１）、人物追跡手段３によって、シルエット映像に含まれている領域（人物のシルエット）を追跡領域とし、識別番号ｍ、推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）および面積α（ｍ）を出力する（ステップＳ２）。

また、映像解析装置１は、入力映像と、シルエット映像生成手段２から出力されたシルエット映像と、人物追跡手段３から出力された追跡領域および識別番号ｍとから、色識別手段４によって、識別番号ｍと色分類番号Ｃ（ｍ）とを対応付ける（ステップＳ３）。そして、映像解析装置１は、特徴ベクトル抽出手段５によって、入力された識別番号ｍ、推定座標ｘ_t|t（ｍ）、推定速度ｖ_t|t（ｍ）、面積α（ｍ）および色分類番号Ｃ（ｍ）とに基づいて、人数Ｎ、人物分布面積Ｖ、人物間距離ｄ、人物群重心ｇ、平均速さｓ、平均速度ｕおよび監視結果ｗの少なくとも１つを含む特徴ベクトルを出力する（ステップＳ４）。

そして、映像解析装置１は、イベント検出手段６によって、イベント（特定のプレイ）を示すフラグによって、当該イベントを検出し（ステップＳ５）、ポストフィルタ手段７によって、イベントを特定し、コーナーキックを示すイベント出力ε_CKと、フリーキックを示すイベント出力ε_FKと、左側ゴール付近で、左側に向かって攻撃していることを示すイベント出力ε_left＿goalと、右側ゴール付近で、右側に向かって攻撃していることを示すイベント出力ε_right＿goalと、左側に向かって攻撃していることを示すイベント出力ε_leftと、右側に向かって攻撃イベント出力ε_rightと、選手の攻撃する向き（右方向から左方向、または、左方向から右方向）が変わったことを示すイベント出力ε_turnとのいずれかを出力する（ステップＳ６）。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像解析装置１に入力される入力映像を、専ら、スポーツ映像として説明したがこれに限定されるものではなく、風景が描写された映像や、ドラマの映像等であってもよい。

また、映像解析装置１の各構成の処理を行わせるように、一般的または汎用的なコンピュータ言語によって記述した映像解析プログラムとして構成することも可能である。この場合、映像解析装置１と同様の効果を得ることができる。

本発明の実施形態に係る映像解析装置のブロック図である。 図１に示した人物追跡手段の構成の一例を示したブロック図である。 面積判定手段による処理の概念を説明した図である。 面積判定手段および逆投影手段による処理の概念を説明した図である。 特徴ベクトル抽出手段の構成の一例を示したブロック図である。 人数計測手段の構成の一例を示したブロック図である。 人物像面積推定手段の構成の一例を示したブロック図である。 人物群分散計測手段の構成の一例を示したブロック図である。 人物間距離計測手段の構成の一例を示したブロック図である。 人物群重心計測手段の構成の一例を示したブロック図である。 平均速さ計測手段の構成の一例を示したブロック図である。 平均速度計測手段の構成の一例を示したブロック図である。 特定領域監視手段の構成の一例を示したブロック図である。 イベント検出手段の構成の一例を示したブロック図である。 ポストフィルタ手段の構成の一例を示したブロック図である。 時間率フィルタ手段の構成の一例を示したブロック図である。 時間率フィルタ手段による処理を説明した図である。 タイムアウト処理手段の構成の一例を示したブロック図である。 タイムアウト処理手段による処理を説明した図である。 ポストフィルタ手段の別の構成の一例を示したブロック図である。 図１に示した映像解析装置の全体動作を説明したフローチャートである。

符号の説明

１ 映像解析装置
２ シルエット映像生成手段
３ 人物追跡手段
４ 色識別手段
５ 特徴ベクトル抽出手段（特徴ベクトル計算手段）
６ イベント検出手段
７ ポストフィルタ手段
３１ ラベリング手段
３２ 面積判定手段
３３ 逆投影変換手段
３４ 検出・追跡手段（検出追跡手段）
３５ 予測・推定手段（予測推定手段）
３６ 遅延手段
５１ 人数計測手段
５２ 人物群分散計測手段
５３ 人物間距離計測手段
５４ 人物群重心計測手段
５５ 平均速さ計測手段
５６ 平均速度計測手段
５７ 特定領域監視手段
６１ 特徴量間演算手段
６２ 閾値演算手段
６３ 論理演算手段
６４ 遅延手段
７１ 時間率フィルタ手段
７２ タイムアウト処理手段
７３ イベント特定論理演算手段
５１１ クロック手段
５１２ 順次面積選択手段
５１３ 順次座標選択手段
５１４ 人物像面積推定手段
５１５ 除算手段
５１６ 総和演算手段
５２１ クロック手段
５２２ 順次座標選択手段
５２３ 共分散行列演算手段
５２４ 分布面積演算手段
５３１ クロック手段
５３２ 第一番号対応座標選択手段
５３３ 第二番号対応座標選択手段
５３４ 距離演算手段
５３５ 最小値演算手段
５３６ 平均値演算手段
５４１ クロック手段
５４２ 順次座標選択手段
５４３ 平均値演算手段
５５１ クロック手段
５５２ 順次速度選択手段
５５３ 絶対値演算手段
５５４ 平均値演算手段
５６１ クロック手段
５６２ 順次速度選択手段
５６３ 平均値演算手段
５７１ クロック手段
５７２ 順次番号対応座標選択手段
５７３ 色分類別２次元閾値演算手段
７１１ 遅延手段
７１２ 時間率演算手段
７１３ 閾値演算手段
７２１ 単安定マルチバイブレータ手段
７２２ 論理和演算手段

Claims (8)

1. 入力された映像を解析する映像解析装置であって、
   前記映像からシルエット映像を生成するシルエット映像生成手段と、
   このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段と、
   前記推定座標と、前記シルエット映像と、前記映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段と、
   前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段と、
   この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段と、
   このイベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、前記イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する前記論理演算結果の真理値を出力する前記論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥにより前記イベントを特定するイベント出力信号を出力するポストフィルタ手段と、
   を備えることを特徴とする映像解析装置。
2. 前記領域追跡手段は、
   前記シルエット画像に含まれるそれぞれのシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成するラベリング手段と、
   前記領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、前記ラベル番号および前記単連結領域の面積を出力する面積判定手段と、
   前記ラベリング手段で生成された領域情報と前記映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、前記ラベル番号と共に出力する逆投影変換手段と、
   前記追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、前記ラベル番号と、前記面積判定手段から出力された単連結領域の面積と、前記実座標とに基づいて、前記ラベル番号に対応させた前記識別番号と、前記実座標と前記遅延予測座標とを対応させた観測座標とを出力すると共に、前記面積判定手段から出力された単連結領域の面積を前記追跡領域の面積として出力する検出追跡手段と、
   この検出追跡手段で出力された観測座標を、観測座標入力値、観測座標入力値の履歴、当該予測推定手段の履歴、のいずれか一つ以上に対する演算によって定義されるフィルタにより時間方向に予測し、前記推定座標および前記推定速度と、前記予測座標および前記予測速度とを前記識別番号と共にそれぞれ出力する予測推定手段と、
   この予測推定手段から出力された前記予測座標および前記予測速度を、前記所定単位時間遅延して、前記識別番号と共に前記検出追跡手段に出力する遅延手段と、
   を備えることを特徴とする請求項１に記載の映像解析装置。
3. 前記特徴ベクトルは、前記シルエットの数を推定したシルエット数推定値、複数の前記シルエットからなるシルエット群の分布の散らばり度合いを定量化したシルエット群分布定量化値、前記シルエット間の距離を定量化したシルエット間距離定量化値、前記シルエット群の分布を代表する座標を定量化したシルエット群重心定量化値、前記シルエットの速さを定量化したシルエット速さ定量化値、前記シルエットの速度を定量化したシルエット速度定量化値および予め特定したシルエットである特定シルエットが特定の場所に存在するか否かを判定した判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする請求項１または請求項２に記載の映像解析装置。
4. 入力されたスポーツ映像を解析する映像解析装置であって、
   前記スポーツ映像からシルエット映像を生成するシルエット映像生成手段と、
   このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段と、
   前記推定座標と、前記シルエット映像と、前記スポーツ映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段と、
   前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルを計算する特徴ベクトル計算手段と、
   この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段と、
   このイベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、前記イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する前記論理演算結果の真理値を出力する前記論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥにより前記イベントを特定するイベント出力信号を出力するポストフィルタ手段と、
   を備えることを特徴とする映像解析装置。
5. 前記領域追跡手段は、
   前記シルエット画像に含まれるそれぞれの所定面積範囲の領域である人物のシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成するラベリング手段と、
   前記領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、前記ラベル番号および前記単連結領域の面積を出力する面積判定手段と、
   前記ラベリング手段で生成された領域情報と前記スポーツ映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、前記ラベル番号と共に出力する逆投影変換手段と、
   前記追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、前記ラベル番号と、前記面積判定手段から出力された単連結領域の面積と、前記実座標とに基づいて、前記ラベル番号に対応させた前記識別番号と、前記実座標と前記遅延予測座標とを対応させた観測座標とを出力すると共に、前記面積判定手段から出力された単連結領域の面積を前記追跡領域の面積として出力する検出追跡手段と、
   この検出追跡手段で出力された観測座標を、観測座標入力値、観測座標入力値の履歴、当該予測推定手段の履歴、のいずれか一つ以上に対する演算によって定義されるフィルタにより時間方向に予測し、前記推定座標および前記推定速度と、前記予測座標および前記予測速度とを前記識別番号と共にそれぞれ出力する予測推定手段と、
   この予測推定手段から出力された前記予測座標および前記予測速度を前記所定単位時間遅延して、前記識別番号と共に前記検出追跡手段に出力する遅延手段と、
   を備えることを特徴とする請求項４に記載の映像解析装置。
6. 前記特徴ベクトルは、前記人物のシルエットの数を推定した人物数推定値、複数の前記人物のシルエットからなる人物シルエット群の分布の散らばり度合いを定量化した人物群分布定量化値、前記人物のシルエット間の距離を定量化した人物間距離定量化値、前記人物群の分布を代表する座標を定量化した人物群重心定量化値、前記人物のシルエットの速さを定量化した人物速さ定量化値、前記人物のシルエットの速度を定量化した人物速度定量化値および予め特定した人物のシルエットである特定人物シルエットが特定の場所に存在するか否かを判定した判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする請求項４または請求項５に記載の映像解析装置。
7. 入力された映像を解析するために、コンピュータを、
   前記映像からシルエット映像を生成するシルエット映像生成手段、
   このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段、
   前記推定座標と、前記シルエット映像と、前記映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段、
   前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段、
   この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段、
   このイベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、前記イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する前記論理演算結果の真理値を出力する前記論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥにより前記イベントを特定するイベント出力信号を出力するポストフィルタ手段、
   として機能させることを特徴とする映像解析プログラム。
8. 入力されたスポーツ映像を解析するために、コンピュータを、
   前記スポーツ映像からシルエット映像を生成するシルエット映像生成手段、
   このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段、
   前記推定座標と、前記シルエット映像と、前記スポーツ映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段、
   前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段、
   この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段、
   この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段、
   このイベント検出手段で出力されたフラグ信号に、一定時間区間内において、フラグの真理値がＴＲＵＥである割合を求め、この割合に応じた真理値を出力する時間率フィルタ、および、真理値立ち下がり後、一定時間にわたって真理値ＴＲＵＥを継続出力する単安定マルチバイブレータの少なくとも一方の処理からなる時間方向のフィルタ処理と、前記イベント検出手段から入力したフラグ信号、時間方向のフィルタ処理のなされたフラグ信号、または、異なるイベントに関する本論理演算で出力された論理演算結果たるフラグ信号のうち、複数のフラグ信号間で、その複数の真理値入力に関する前記論理演算結果の真理値を出力する前記論理演算との少なくとも一方の処理を行って、その処理の結果出力される真理値のＴＲＵＥまたはＦＡＬＳＥにより前記イベントを特定するイベント出力信号を出力するポストフィルタ手段、
   として機能させることを特徴とする映像解析プログラム。

Images