JP2002008042A

JP2002008042A - 動作認識処理装置及び移動物体の動作分析システム

Info

Publication number: JP2002008042A
Application number: JP2000187528A
Authority: JP
Inventors: Yoshiaki Usami; 芳明宇佐美; Masanori Miyoshi; 雅則三好; Kazuya Takahashi; 一哉高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-06-19
Filing date: 2000-06-19
Publication date: 2002-01-11
Anticipated expiration: 2020-06-19
Also published as: JP3519672B2

Abstract

(57)【要約】【課題】広域を移動する移動体を十分な解像度で捕らえ
ることが難かしく、また移動体の動作の程度を識別する
ことが困難である。【解決手段】パラメータ入力部２で、画像中の特定の領
域の範囲および濃度値を所定の割合で変化させるための
制御パラメータを入力し、拡散計算部３は、移動する物
体の動画像を物体像と背景像に分離し、所定の時刻に物
体像が存在する領域の画素に所定の濃度値を割り当て、
上記制御パラメータに基づいて時間の経過と共に上記領
域の範囲と上記濃度値を変化させ、動作識別部４は、上
記領域における上記濃度値の分布から特徴量を抽出し、
上記特徴量と既定値との照合に基づき、上記物体の動作
を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮影した動画像によ
り移動体の動作を認識する技術であって、特に移動体の
行動を監視または分析する利用に好適な動作認識装置に
関する。

【０００２】

【従来の技術】画像で人物の動作を認識する従来技術と
しては、オプティカルフローによる方法が知られてい
る。これは特開平10−334270号に示されているように、
画像中の物体の移動による映像の変化を、光学的な流れ
としてみなし、流れを分析することにより動作を認識す
る手法である。

【０００３】また、他の従来技術としては、M.I.T.Medi
a Laboratory Perceptual Computing Section Technica
l Report No.402に示されているように、物体のシルエ
ットを抽出し、これに時間変化に応じた濃度値を与え、
それを時間軸で積分することによりMotion History Ima
ge (MHI)と呼ばれる画像を生成し、このMHIのモーメン
ト特徴量などから物体の動作を分類する方法がある。

【０００４】

【発明が解決しようとする課題】しかし特開平10−3342
70号では、画像の濃度分布に着目した手法であるので、
その特徴が濃淡の明確なパターンとして存在していない
場合の処理が困難であった。特に広域を移動する人物を
対象とするような場合では、十分な解像度で人物像を捕
らえることが難しいので、明確な濃淡パターンは得にく
く、行動認識も難しかった。

【０００５】また、シルエット画像を用い、人物の時間
的な形状変化の特徴から動作を分類する方法は、その動
作の程度を識別することができなかった。また、広域を
移動する移動体を対象とするような場合についての考慮
がない。

【０００６】本発明の目的は、従来技術の現状に鑑み、
広域を移動する移動体の動作を認識することである。ま
た、移動体の動作の程度も認識することである。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、パラメータ入力部で、画像中の特定の領域の範囲
および濃度値を所定の割合で変化させるための制御パラ
メータを入力し、拡散計算部は、移動する物体の動画像
を物体像と背景像に分離し、所定の時刻に物体像が存在
する領域の画素に所定の濃度値を割り当て、上記制御パ
ラメータに基づいて、時間の経過と共に上記領域の範囲
と上記濃度値を変化させ、動作識別部は、上記領域にお
ける上記濃度値の分布から特徴量を抽出し、上記特徴量
と既定値との照合に基づき、上記物体の動作を認識す
る。

【０００８】また、人物などの移動動作を撮影したビデ
オカメラからの動画像データから、移動する物体の移動
軌跡を求め、軌跡データとして出力する軌跡抽出処理部
と、上記動画像データから、個々の移動する物体の動作
を識別し、単独動作データとして出力する動作識別部
と、上記軌跡データから、集団としての行動を識別し、
集団動作データとして出力する行動分析処理部と、上記
単独動作データおよび上記集団動作データから、統計処
理および三次元グラフィックス処理を行って、統計デー
タおよびＣＧ映像データを出力する表示処理部とを備
え、移動物体の動作を分析する。

【０００９】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。図１は本発明における動作の認識手法で、
セル状拡散モデルの説明図である。本発明では、人物の
動作により、周辺の流体に拡散現象が生じるものとし、
その状況をセル状に離散化したモデルで解析するので、
この動作認識手法をセル状拡散モデルと呼ぶ。また、認
識すべき動作の種類は多様であるが、ここでは「歩いて
いる」や「走っている」といった移動動作の識別を対象
とする。

【００１０】図１（ａ）は、ビデオカメラなどで撮影し
た移動する人物の画像である。同図では４×４画素しか
示していないが、これは画像中で人物の存在する付近の
一部分である。ここで、その人物は丁度、一画素の大き
さで撮影されており、時刻t0の時点で図のような位置に
人物像があるものとする。本発明では人物像の濃淡パタ
ーンの情報は利用しないので、人物像は人物のシルエッ
トがわかる二値画像で良い。

【００１１】（ｂ）は時刻t1における人物像を示したも
ので、（ａ）と比較すると、人物像は一画素右の位置に
移動している。（ｃ）はt1におけるセル状拡散モデルの
圧力状態を示したものである。このモデルでは、画像の
人物像以外の背景像の部分は、ある流体で満たされてい
るものと考える。いま人物はセルＡの位置から、セルＢ
の位置に移動しているが、このモデルではセルＡで人物
は消滅し、セルＢで人物が出現したものとして考える。
このとき、セルＡでは存在していた人物の消滅すること
により負圧が生じ、拡散現象により流体が流入しようと
する。同様に、セルＢでは人物の出現により正圧が生
じ、拡散のために流体が流出しようとする。また変化の
ない部分は圧力は０である。

【００１２】このとき（ｄ）のようにセル内に流体の圧
力差が生じることとなり、ここではセルＡのような人物
の消滅部分を低圧部、セルＢのような人物の出現部分を
高圧部を呼ぶことにする。この図で右下がりのハッチン
グ部は低圧部を、右上がりのハッチング部は高圧部を示
し、ハッチング線が太いほど周囲との圧力差が大きいこ
とを意味している。またハッチングのない部分は圧力は
０である。

【００１３】（ｅ）は時刻t2における低圧部の拡散状況
を示すものである。低圧部では拡散により流体が流入す
ることで、周囲との圧力差は小さくなる(圧力は上昇)
が、低圧部の領域は広がることになる。

【００１４】ハッチング部の圧力は（ｄ）の圧力値に所
定の値を加えた値とし、それを画像の濃度値として画素
に格納する。また領域の広がりは画像処理の膨張演算を
適用して求める。膨張演算とは人物像を一画素分太める
処理で、入力画像Pの一画素をPijとし出力画像Qの一画
素をQijとし、人物像を１、背景像を０とすると、良く
知られているように、数１のように定義される。

【００１５】

【数１】Pijあるいはその8近傍の何れかが1の時： Qij
＝１その他の場合： Qij＝０この膨張演算は、パソコンに接続された画像処理ボード
のハードウエアにより実行できるので高速な処理が可能
である。

【００１６】（ｆ）は同様に高圧部の拡散状況を示す。
拡散により流体が流出するので、圧力は低下して、高圧
部の領域は広がる。ここでもハッチング部の圧力値は
（ｄ）の圧力値から所定の値を減じた値とし、圧力値を
画素に格納する。また広がった領域も同様に膨張演算に
より求める。

【００１７】（ｇ）は（ｅ）の低圧部と、（ｆ）の高圧
部を加算した結果で、これが時刻t2における最終的な圧
力分布となる。ここでは低圧部と高圧部で、圧力値の絶
対値は等しいものとしているので、両者が存在する領域
は加算により圧力値は０となっている。これら圧力値の
加算も圧力値を格納した濃度値の加算として、画像処理
ボードで実行する。

【００１８】次に、図２により、セル状拡散モデルによ
る動作認識手法について説明する。ここでは時刻t0の人
物像が(a)、t1が(b)、t2が(c)およびt3が(d)の状態にあ
るものとし、人物は一画素ずつ右に移動している状況に
ある。

【００１９】まず、(a)から(b)への状態変化に伴う圧力
分布は、図１で示したように、時刻t1においては(e)の
ようになり、t2では(f)となり、さらに拡散してt3では
(g)となる。同様にして(b)から(c)の変化では、圧力分
布は時刻t2で(h)のようになり、t3では(i)となる。また
同様にして(c)から(d)の変化では、時刻t3で(j)のよう
になる。

【００２０】ここで時刻t0からt3までの状態の動作を解
析するためには、上記(e)から(j)までの圧力分布を各時
刻毎に加算をする。その結果として、(k)は(e)そのま
ま、(l)は(f)と(h)を加算したもの、(m)は(g)と(i)と
(j)を加算したものである。本発明の動作認識では、(k)
から(m)のような、各時刻における圧力分布のパターン
が持つ特徴を利用する。

【００２１】図３は、人物が移動した場合の圧力分布の
例を示す。ここで人物像は画像中の一部分に(a)のよう
な状態で撮影されており、この人物は画面の右手方向に
移動している状況にある。この人物像は画像中の人物の
シルエットである。

【００２２】圧力分布は図２で説明した手法により計算
し、その結果はたとえば(b)のような分布となる。そし
て正または負の圧力が存在している部分を抽出し、その
外接矩形を求める。複数の人物が存在する場合も考えら
れるので、その場合には外接矩形毎にラベル付けして区
別をする。圧力は濃度値として画像メモリに格納されて
いるので、画像処理ボードのラベリング演算を利用し
て、外接矩形やラベル付けした結果を得る。

【００２３】(c)は外接矩形内の圧力分布に対して、Ｘ
軸方向の圧力投影値を求めたものである。圧力投影値と
は、個々のセルの圧力値を特定の軸方向に投影して加算
したもので、画像中のラベルを指定して、画像処理ボー
ドで投影演算することにより、値を求めることができ
る。

【００２４】人物が移動する場合には、外接矩形内の移
動方向側(この場合は右側)に凸型で高い圧力投影値が発
生し、反移動方向側では凹型で低い圧力投影値が発生す
ることが、通常のパターンである。この圧力投影値のパ
ターンでマッチングをさせて人物の移動を認識する。

【００２５】図４では移動認識を処理するために、パタ
ーンのマッチングにフーリエ解析を応用した手法につい
て述べる。(a)は圧力投影値の分布を示す図であり、こ
の分布を１次元信号として考え、この信号を離散フーリ
エ変換することにより振幅および位相スペクトルを求め
る。

【００２６】いま離散化された一次元信号ｆ(ｉ)につい
て、ｉ＝0,1,2,..,N-1のN個のデータが存在するとすれ
ば、そのフーリエ係数Ｃkは、良く知られているよう
に、数２により表される（ｊは虚数単位）。

【００２７】

【数２】

【００２８】このＣkから振幅スペクトルや位相スペク
トルが求められる。(a)の圧力投影値の変動をフーリエ
変換して、スペクトルを求めたものが(b)の計測値であ
る。このとき圧力分布の大きさは画面内に撮影している
位置により異なるが、ここではＸ軸方向の大きさがすべ
てＮ画素となるように、圧力分布の大きさを正規化して
おく。

【００２９】(c)は移動する人物のスペクトルであり、
これを基準値とする。このスペクトルの分布が人物の移
動に対する特徴量を表すことになる。(b)の計測値のス
ペクトルが、(c)の基準値に類似していると判断できる
場合には、人物は移動しているものと認識する。

【００３０】スペクトルのような周波数領域で信号を判
断する際には、撮影時のノイズが生じやすい高調波の部
分をカットして比較することができるので、ノイズの影
響を受けにくいという長所がある。以上の例では計測値
と基準値のマッチングにフーリエ変換により得られたス
ペクトルを用いている。しかし、この他にも例えば、圧
力投影値の分布を示す関数について、計測値と基準値の
関数の残差平方和を計算して、この値が小さいほど両者
は類似していると判断することが可能である。

【００３１】図５は動作分類処理の説明図である。図４
の方法で人物が移動していることは認識できるが、どの
程度の速さで移動しているか区別はできない。そのた
め、ここでは外接矩形の情報を用いて、「立ってい
る」、「歩いている」あるいは「走っている」といった
動作に分類する。

【００３２】いま人物はＸ軸方向に移動するものとする
と、移動速度が大きい場合ほど、外接矩形はＸ軸方向に
長くなる。圧力分布は一定の時間内での移動量に応じた
形状であるので、外接矩形の大きさは移動情報を持つこ
とになる。そして外接矩形の縦横比は移動速度を表す。

【００３３】同図のように外接矩形のＸ軸方向長さをB
x、Ｙ軸方向長さをByとし、縦横比をBx／Byとする。も
しこの縦横比が(a)のように大きい場合には、人物は
「走っている」状態であり、(b)のように小さい場合に
は「立っている」状態であり、両者の中間が「歩いてい
る」状態であると判断できる。Ｙ軸方向に移動があった
場合でも、同様にして判断は可能である。

【００３４】次に、図６のフローチャートにより、本発
明の動作認識処理手順の一例を説明する。ステップ100
では利用者がキーボードやマウスを用いて、拡散計算の
制御パラメータを入力する。具体的には画素に割り当て
る濃度値の大きさや、拡散により減少する濃度値の割
合、および拡散により領域が拡大する割合などを制御す
るパラメータである。これらは認識時の撮影条件などに
より変更する必要があるので、ここで利用者が調整をす
る。

【００３５】ステップ101は所定のフレーム数だけ、ス
テップ102の処理を繰り返すことを意味している。ステ
ップ102は背景像を作成するステップで、一般的には所
定のフレーム数の間に、画像中で変化のない部分を検出
して、その部分を背景像とすればよい。

【００３６】ステップ103はこれから計測しようとする
フレーム数について、ステップ104から116の処理を繰り
返すことを意味している。ステップ104ではビデオカメ
ラから1フレーム分の画像を、画像処理ボードの画像メ
モリに読み込みする。ステップ105では人物像の抽出を
行う。これには102で作成した背景像と、104で読み込ん
だ現画像の差分を計算し、これをさらに二値化して人物
のシルエットを人物像として得る。背景像も現画像も画
像メモリに格納すれば、これら演算も画像処理ボード上
で実行できる。

【００３７】ステップ106は所定の拡散回数につき、ス
テップ107から111の処理を繰り返すことを意味してい
る。ここで拡散回数とは、生じた圧力差が解消するのに
必要な拡散の回数で、たとえば図２の例では３である。
この場合、現在の時刻がt3であるとすると、３フレーム
前にさかのぼって、t0の画像(a)から順次計算して、(m)
のような圧力分布を計算する。

【００３８】ステップ107では高圧部を抽出する。図１
の例で高圧部とは、時刻t0では背景像の部分で、かつt1
では人物像となった部分である。この高圧部をもとめる
には、画像処理ボードで(a)と(b)の画像の論理演算を実
施すればよい。同様にステップ108では低圧部を抽出す
る。低圧部は、t0で人物像の部分で、t1で背景像となっ
た部分で、同じく論理演算で計算する。

【００３９】ステップ109では圧力の拡散状態を求め
る。図１で説明したように、圧力が拡散していく様子は
画像の膨張演算により計算する。事前に拡散で広がる大
きさは定めておき、例えば１回の拡散で１画素膨張する
というように指定する。

【００４０】ステップ110では拡散により変更となった
圧力値を修正する。同じく図1で述べたように、拡散に
よって低圧部の圧力は上昇し、高圧部の圧力は減少す
る。ここでも事前に設定した値により、1回の拡散で所
定の圧力値が加算または減算されるように計算する。

【００４１】ステップ111では圧力分布を算出する。図
２の例では(m)の画像を求めることであり、(e)から(j)
のような圧力画像を画像処理ボードで加算することによ
って計算する。

【００４２】ステップ112では圧力投影値を算出する。
圧力投影値は図３(c)に示したようなもので、圧力分布
から画像処理ボードの投影演算により計算する。ステッ
プ113では離散フーリエ変換を行う。これは図４で説明
したような方法で、圧力投影値のスペクトル分布を求め
る。ステップ114はスペクトルを照合するステップで、
図４のように計測値と基準値を比較し、類似度が高けれ
ば、人物は移動しているものと判断する。

【００４３】ステップ115は外接矩形の縦横比を計算す
るステップで、図５のようにその比率から「走ってい
る」、「歩いている」あるいは「立っている」のように
動作を分類することができる。ステップ116は認識結果
を出力する。これまでの処理で、画像中の人物の移動動
作が認識できているので、その結果がディスク上のファ
イルなどに出力される。

【００４４】図７は一実施例による動作認識処理装置の
構成図である。ビデオカメラ７は画像処理ボード６に映
像信号を出力する。画像処理ボード６は画像メモリと論
理演算や加減算などの画像演算機能を持ち、これをパソ
コン５で制御することにより、図６に示した手順で処理
が実行される。

【００４５】パソコン５の内部には、動作認識処理部１
がソフトウエアまたはハードウエアにより実装されてい
る。ここで、動作認識処理部１のパラメータ入力部２は
図６のフローのステップ100を実行する。拡散計算部３
はステップ101からステップ111までの処理を実行し、時
間の経過と共に、上記濃度値を割り当てた領域の拡大を
画像の膨張演算により処理し、かつ上記濃度値の絶対値
は減少するように変化させる。そして、時間の経過と共
に上記領域の範囲と上記濃度値を変化させて作成した画
像を、ディスプレイに表示する。

【００４６】動作識別部４はステップ112からステップ1
16までの処理を実行する。上記濃度値の分布を所定の軸
方向に投影させた投影濃度値を特徴量として、上記濃度
値の分布からフーリエ変換してスペクトルを算出し、上
記スペクトルにより既定値と照合する。また、上記濃度
値が分布する領域に外接する外接矩形を算出し、上記外
接矩形の縦横の辺の長さの比に基づいて動作を認識す
る。そして、上記濃度値の分布について所定の区間での
濃度の変動を調査し、所定の値以上に大きな変動が検出
された場合には、上記区間に物体の移動する部分が存在
すると判断する。

【００４７】なお、本実施例では、画像処理部分は画像
処理ボード６というハードウエアにて実行しているが、
これを用いずに全てをパソコン内のソフトウエアで実行
することも可能である。

【００４８】図８に、本発明による動作認識処理を利用
して、人物の動作分析用のシステムを構築した場合の構
成図を示す。ビデオカメラ７からの動画像データは、動
作認識処理１と軌跡抽出処理20に入力される。

【００４９】軌跡抽出処理20では、物体抽出部21が画像
中の人物や物体などの移動体を抽出し、ラベリング部22
が個々の移動体を識別および追跡し、3D座標変換部23が
画像座標を三次元の空間座標に変換して、軌跡データと
して出力する。この軌跡データの内容は、例えば人物が
存在していた平面上での位置座標を、各時刻毎に記録し
たものである。

【００５０】パソコン１が出力する動作認識結果は、移
動体単体の動作を表すので、ここでは単独動作データと
表記している。ここには例えば人物については、「走っ
ている」や「立っている」といった動作の種別を示す識
別子が、各時刻毎に記録される。

【００５１】行動分析処理30は例えば人物の集団として
の動きを分析する部分で、動きの特徴量を求める特徴量
推定部31と、特徴量を照合するマッチング部32とからな
る。行動分析処理30は軌跡データを入力として、集団の
動きの意味を記述した集団動作データを出力する。この
データについて、商業施設や公共施設などのように多数
の人物が集まるような場面での、人物監視のセキュリテ
ィ応用の例としては、「回避」や「集合」といった集団
行動の意味を表す識別子が、各時刻毎に記録される。

【００５２】表示処理40は単独動作データと集団動作デ
ータを入力として、まず統計分析部41で統計データを出
力する。この統計データの内容は、各人物毎の移動距離
や分類した動作の回数といった情報で、ＣＧ映像と共に
ディスプレイなどに表示される。次のモデル動作生成部
42では三次元CGの人体モデルを動かすために、各関節の
関節角を定める部分である。そしてレンダリング部43で
は人体モデルからＣＧ映像を作成し、これをＣＧ映像デ
ータとして出力する。

【００５３】セキュリティ以外の応用でも、サッカーな
どスポーツにおけるゲーム分析の用途にも利用可能であ
る。この場合には単独動作データは個々の選手の動きの
認識結果を、集団動作データはチームプレイの認識結果
を表すことになる。

【００５４】本実施例によれば、人物の位置を表示する
だけでなく、個々の人物について、単独で実施している
動作の識別子が提供できるので、人物の動作分析のため
に有効な情報を提供できる効果がある。

【００５５】以上の実施例においては、移動認識処理に
おいて、図４のように圧力投影値からスペクトルを求
め、認識のための特徴量として利用していたが、他の特
徴量も利用可能である。

【００５６】図９の実施例では、圧力投影値の平均値を
調べることにより認識をしている。同図(a)のように人
物が左から右へ移動する場合には、圧力投影値の分布の
山は必ず右側に発生し、分布の谷は左側となるので、こ
の性質を利用する。同図(b)のように、Ｘ＝XminからＸ
＝Xmaxの区間に圧力投影値の分布が得られたものとする
と、この分布形状に対する重心点Ｘ＝Ｇを求める。この
Ｇより左側での圧力投影値の平均値をPx0、Ｇの右側で
の平均値をPx1とする。ここでPx0およびPx1の絶対値が
所定のしきい値以上で、Px1＞Px0であれば人物は右へ移
動しているものと認識する。Ｙ軸方向の移動についても
同様である。

【００５７】本実施例によれば、重心の前後の圧力投影
値の平均値を調べれば良いので、計算は簡単であり、処
理を高速にできるという長所がある。

【００５８】以上の実施例においては、人物の体全体の
動きに対する動作を認識していたが、体の中で移動した
部位を認識することも可能である。

【００５９】図１０に移動部位の認識の例を説明する。
同図のように人物移動による圧力値が、Ｘ＝XminからＸ
＝Xmaxの区間およびＹ＝YminからＹ＝Ymaxの区間に存在
するものとし、Ｘ軸およびＹ軸方向に投影させて求めた
圧力投影値があるものとする。ここでＸ軸およびＹ軸方
向の中点をXmidおよびYmidとし、人物像の移動部位は、
同図に示す４つの丸付き数字のような領域で分割して考
える。判定用のしきい値をCxおよびCyとし、圧力投影値
の絶対値が、これらの値を超えた領域には、移動する部
位が存在したものとする。

【００６０】同図の例では、向かって左下の部位の領域
だけが大きく移動しており、他の領域はほとんど移動し
ていない。このような場合には、人物の右足だけが大き
く動いたと認識することができる。本実施例によれば、
体の中で大きく動いた部位を知ることができ、ここから
例えば「右足で蹴った」のように、動作をさらに細かく
認識できるという長所がある。

【００６１】

【発明の効果】本発明においては、広域を移動する移動
物体のシルエットを安定して得られ、行動認識が可能に
なる効果がある。また、シルエット形状の変動量を濃度
に変換して記憶するので、動作の分類だけでなく、濃度
分布を調べることにより動作の程度も認識することがで
きる効果がある。

【図面の簡単な説明】

【図１】セル状拡散モデルの説明図。

【図２】セル状拡散モデルによる動作認識の説明図。

【図３】人物像の圧力分布の例示図。

【図４】移動認識処理の説明図。

【図５】動作分類処理の説明図。

【図６】本発明の一実施例による動作認識処理のフロー
チャート。

【図７】本発明の一実施例による動作認識処理装置の構
成図。

【図８】本発明の一実施例による人物動作分析システム
の構成図。

【図９】平均値による動作認識の説明図。

【図１０】移動部位の認識の説明図。

【符号の説明】

１…動作認識処理部、２…パラメータ入力部、３…拡散
計算部、４…動作識別部、５…パソコン、６…画像処理
ボード、７…ビデオカメラ、20…軌跡抽出処理部、30…
行動分析処理部、40…表示処理部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者高橋一哉茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内Ｆターム(参考） 5C023 AA04 AA38 BA04 DA01 DA08 5C054 AA01 EA01 FC03 FC12 FC13 FC16 FD03 FE13 GA04 GB15 HA18 5L096 CA22 EA02 EA43 FA18 FA23 FA35 FA70 FA81 GA21 GA34 HA05 MA07

Claims

【特許請求の範囲】

【請求項１】画像中の特定の領域の範囲および濃度値
を所定の割合で変化させるための制御パラメータを入力
するパラメータ入力部と、移動する物体の動画像を物体像と背景像に分離し、所定
の時刻に物体像が存在する領域の画素に所定の濃度値を
割り当て、上記制御パラメータに基づいて、時間の経過
と共に上記領域の範囲と上記濃度値を変化させる拡散計
算部と、上記領域における上記濃度値の分布から特徴量を抽出
し、上記特徴量と既定値との照合に基づき、上記物体の
動作を認識する動作識別部とを備えたことを特徴とする
動作認識処理装置。
【請求項２】請求項１において、上記拡散計算部は、現在は背景像である画素が以前は物
体像であった場合には、画素に負の値を表現する濃度値
を割り当て、現在は物体像である画素が以前は背景像で
ある場合には、画素に正の値を表現する濃度値を割り当
て、変化のない部分には０の値を表現する濃度値を割り
当てることを特徴とする動作認識処理装置。
【請求項３】請求項１または２において、上記拡散計算部は、時間の経過と共に、上記濃度値を割
り当てた領域を拡大させ、かつ上記濃度値の絶対値は減
少するように変化させることを特徴とする動作認識処理
装置。
【請求項４】請求項１または２において、上記拡散計算部は、上記濃度値を割り当てた領域の拡大
を、画像の膨張演算により処理することを特徴とする動
作認識処理装置。
【請求項５】請求項１乃至４のいずれかにおいて、上記拡散計算部は、時間の経過と共に上記領域の範囲と
上記濃度値を変化させて作成した画像を、ディスプレイ
に出力し、表示することを特徴とする動作認識処理装
置。
【請求項６】請求項１乃至５のいずれかにおいて、上記動作識別部は、上記濃度値の分布を所定の軸方向に
投影させた投影濃度値を上記特徴量として用いることを
特徴とする動作認識処理装置。
【請求項７】請求項１乃至６のいずれかにおいて、上記動作識別部は、上記濃度値の分布からフーリエ変換
してスペクトルを算出し、上記スペクトルにより既定値
と照合することを特徴とする動作認識処理装置。
【請求項８】請求項１乃至７のいずれかにおいて、上記動作識別部は、上記濃度値が分布する領域に外接す
る外接矩形を算出し、上記外接矩形の縦横の辺の長さの
比に基づいて、動作を認識することを特徴とする動作認
識処理装置。
【請求項９】請求項１乃至８のいずれかにおいて、上記動作識別部は、上記濃度値の分布について所定の区
間での濃度の平均値を算出し、上記平均値の大小関係に
基づいて、動作を認識することを特徴とする動作認識処
理装置。
【請求項１０】請求項１乃至９のいずれかにおいて、上記動作識別部は、上記濃度値の分布について所定の区
間での濃度の変動を調査し、所定の値以上に大きな変動
が検出された場合には、上記区間に物体の移動する部分
が存在すると判断することを特徴とする動作認識処理装
置。
【請求項１１】人物などの移動動作を撮影したビデオ
カメラからの動画像データから、移動する物体の移動軌
跡を求め、軌跡データとして出力する軌跡抽出処理部
と、上記動画像データから、個々の移動する物体の動作を識
別し、単独動作データとして出力する動作識別部と、上記軌跡データから、集団としての行動を識別し、集団
動作データとして出力する行動分析処理部と、上記単独動作データおよび上記集団動作データから、統
計処理および三次元グラフィックス処理を行って、統計
データおよびＣＧ映像データを出力する表示処理部とを
備えることを特徴とする移動物体の動作分析システム。
【請求項１２】請求項１１において、前記動作識別部は、画像中の特定の領域の範囲および濃
度値を所定の割合で変化させるための制御パラメータを
入力するパラメータ入力部と、移動する物体の動画像を物体像と背景像に分離し、所定
の時刻に物体像が存在する領域の画素に所定の濃度値を
割り当て、上記制御パラメータに基づいて、時間の経過
と共に上記領域の範囲と上記濃度値を変化させる拡散計
算部と、上記領域における上記濃度値の分布から特徴量を抽出
し、上記特徴量と既定値との照合に基づき、上記物体の
動作を認識する動作識別部とを有することを特徴とする
移動物体の動作分析システム。