JP2007324685A

JP2007324685A - 動画像処理装置及び方法

Info

Publication number: JP2007324685A
Application number: JP2006149724A
Authority: JP
Inventors: Yoichi Yamada; 陽一山田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2006-05-30
Filing date: 2006-05-30
Publication date: 2007-12-13

Abstract

【課題】動体検出処理及び符号化処理を単一のプロセッサによって効率よく実行する構成を低コストで可能にした動画像処理装置及び方法を提供する。
【解決手段】プロセッサによる符号化処理についての負荷が第１所定量となるように符号化処理のパラメータを制御し、そのプロセッサによる動体検出処理についての負荷が第２所定量となるように動体検出処理のパラメータを制御する。
【選択図】図１

Description

本発明は、動画映像信号を符号化して符号化画像データを生成すると共にその動画映像信号が示す映像中の動体の存在を検出する動画像処理装置及び方法に関する。

特定の場所を動画カメラで撮影してその撮影映像に対して動体検出処理を施すことにより不審行動者や侵入物を検出して警報を発生する映像監視装置が知られている（非特許文献１参照）。また、その映像監視装置においては、監視映像の映像信号は符号化処理されて符号化画像データとして記憶装置に記憶される他、遠隔監視のために監視センタ等の遠隔監視装置に伝送されている。

かかる映像監視装置においては、監視映像の映像信号の動体検出処理及び符号化処理については高い処理能力が各々要求されるので、通常、それらの処理は個別の専用ハードウェアによって実行されている。
沖テクニカルレビュー２００３年／第１９５号Vol.70 No.3 第７２頁〜第７５頁宮崎敏彦「動画像処理技術による映像監視の高度化」

かかる従来の映像監視装置等の動画像処理装置においては、動体検出処理及び符号化処理のために個別の専用ハードウェアを用いる故に、処理内容を容易に変更することが難しく処理の柔軟性に欠けるという問題がある。そのため、それらの処理を単一の汎用プロセッサによって実行するように構成した動画像処理装置がある。しかしながら、動体検出処理及び符号化処理各々は映像信号の内容によってはプロセッサの処理の負荷が変動するため、その負荷変動を考慮して比較的処理能力が高いプロセッサを用いる必要があり、コスト高になるという別の問題が生じていた。

そこで、本発明の目的は、動体検出処理及び符号化処理を単一のプロセッサによって効率よく実行する構成を低コストで可能にした動画像処理装置及び方法を提供することである。

本発明の動画像処理装置は、動画映像信号を符号化して符号化画像データを生成する符号化手段をプロセッサによる符号化処理によって形成し、前記動画映像信号が示す映像中の動体の存在を検出する動体検出手段を前記プロセッサによる動体検出処理によって形成する動画像処理装置であって、前記プロセッサによる前記符号化処理についての負荷が第１所定量となるように前記符号化処理のパラメータを制御する符号化制御手段と、前記プロセッサによる前記動体検出処理についての負荷が第２所定量となるように前記動体検出処理のパラメータを制御する動体検出制御手段と、を備えたことを特徴としている。

本発明の動画像処理方法は、動画映像信号を符号化して符号化画像データを生成する符号化手段をプロセッサによる符号化処理によって形成し、前記動画映像信号が示す映像中の動体の存在を検出する動体検出手段を前記プロセッサによる動体検出処理によって形成する動画像処理方法であって、前記プロセッサによる前記符号化処理についての負荷が第１所定量となるように前記符号化処理のパラメータを制御し、前記プロセッサによる前記動体検出処理についての負荷が第２所定量となるように前記動体検出処理のパラメータを制御することを特徴としている。

かかる本発明によれば、プロセッサによる符号化処理についての負荷が第１所定量となるように符号化処理のパラメータを制御し、また、そのプロセッサによる動体検出処理についての負荷が第２所定量となるように動体検出処理のパラメータを制御するので、動体検出処理及び符号化処理の双方の処理が単一のプロセッサによって効率よく実行され、しかも単一のプロセッサによる構成が低コストで可能である。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明の動画像処理装置及び方法が適用された映像監視装置を示している。この映像監視装置は、カメラ１１、画像記憶部１２、符号化部１３、符号化制御部１４、動体検出部１５、動体検出制御部１６、データ送信部１７及び警報発生部１８を備えている。符号化部１３と動体検出部１５とは単一のプロセッサ２０の動作によって形成される部分である。当然、他の符号化制御部１４及び動体検出制御部１６についてもプロセッサ２０の動作によって形成されても良いが、この実施例では符号化部１３及び動体検出部１５だけがプロセッサ２０の動作によって形成されるとする。

カメラ１１は動画カメラであり、その設置場所から特定の場所を撮影し、その撮影によって得られた映像信号を出力する。画像記憶部１２はカメラ１１の出力映像信号をＡ／Ｄ変換してディジタル映像信号にしてそれを記憶する。

符号化部１３及び動体検出部１４は画像記憶部１２に接続されている。

符号化部１３はプロセッサ２０の符号化処理により画像記憶部１２に記憶された映像信号を符号化する。具体的には、図２に示すように、読出部１３１、ブロック化部１３２、動きベクトル検出部１３３、ＤＣＴ（離散コサイン変換）及び量子化部１３４、並びにハフマン符号化部１３５を備えている。読出部１３１は画像記憶部１２から映像信号を読み出す。ブロック化部１３２は読出部１３１によって読み出された映像信号の各フレームを複数の小ブロック（例えば、８画素×８画素）に分割してブロックデータを生成する。動きベクトル検出部１３３はブロックデータ毎に参照フレームデータ（例えば、前フレームの画像データ）と比較して該ブロックデータの空間位置が最も近い参照フレームデータとの差分値を算出する。図３に示すように、ブロックデータを参照フレームデータに対して水平方向±１６画素、垂直方向±１６画素の間において差分値が最も小さくなる参照フレームデータの位置を動きベクトルと決定することが行われる。動きベクトルの検出は１画素精度（小画素精度）或いは１／２画素精度（高画素精度）で行われる。１／２画素値は隣接画素の加重平均値を用いる。

ＤＣＴ及び量子化部１３４は、動きベクトル検出部１３３によって検出された差分値とブロックデータとに対して離散コサイン変換を行う。また、離散コサイン変換後のデータを所定のデータレートに従って量子化する。ハフマン符号化部１３５は量子化されたデータをハフマン符号化により可変長符号化して符号化映像データとして出力する。

符号化制御部１４は符号化部１３の符号化処理を制御し、それによりプロセッサ２０の負荷量が一定に保たれる。符号化制御部１４は符号化部１３から動き量（動きベクトルの大きさ）を得て、符号化部１３の動き検出精度、動き検出範囲及び符号化スキップを制御する制御信号（動き検出精度制御信号、動き検出範囲制御信号及び符号化スキップ制御信号）を発生する。また、符号化制御部１４は符号化部１３の上記の各制御状態を示す符号化状態信号を出力する。

動体検出部１５はプロセッサ２０の動体検出処理によりフレーム間差分法により映像中の動体を検出する。具体的には、図４に示すように、読出部１５１、差分値検出部１５２及び比較部１５３を備えている。読出部１５１は画像記憶部１２から映像信号を読み出す。差分値検出部１５２は読み出された映像信号の画素毎に今回のフレームと前回のフレームとの輝度レベルの差分値を算出する。比較部１５３は差分値検出部１５２で算出された画素毎の差分値が閾値以上であるか否かを判別する。差分値が閾値以上である画素は動体部分である。比較部１５３は差分値が閾値以上である画素を含むフレームを検出した場合には動体検出信号を発生する。

動体検出制御部１６は動体検出部１５の動体検出処理を制御し、それによりプロセッサ２０の負荷量が一定に保たれる。動体検出制御部１６は動体検出部１５からフレーム毎の動体数を得て、動体検出部１５の動体検出スキップ及び動体検出画像範囲を制御する制御信号（動体検出スキップ制御信号及び動体検出画像範囲制御信号）を発生する。また、動体検出制御部１６は動体検出部１５の上記の各制御状態を示す動体検出状態信号を出力する。

データ送信部１７は符号化部１３で符号化された結果の符号化映像データを図示しない監視センタの装置に送信する。

警報発生部１８は例えば、警報ブザーやパイロットランプからなり、動体検出部１５から出力される動体検出信号に応じて警報を発生する。

なお、画像記憶部１２は小記憶容量であるので、符号化部１３で符号化された結果の符号化映像データが図示しないハードディスク等の大容量の記憶装置に長時間の監視映像として記憶される。

かかる構成の映像監視装置においては、カメラ１１による特定の場所の撮影映像は、カメラ１１から映像信号として画像記憶部１２に供給される。その映像信号は画像記憶部１２内においてディジタル映像信号に変換され、ディジタル映像信号の状態で記憶される。

符号化部１３においては、画像記憶部１２に記憶された映像信号が読出部１３１によってフレーム単位で読み出される。読出部１３１は符号化制御部１４から供給される符号化スキップ制御信号に応じて次のフレームの読み出しをスキップすることが行われる。読出部１３１によって読み出された映像信号はブロック化部１３２によってブロック化されてブロック毎のブロックデータとなる。ブロックデータは動きベクトル検出部１３３において参照フレームデータと比較されて差分値が算出され、その差分値が最も小さい値となる参照フレームの位置が動きベクトルと決定される。その参照フレームデータの動き検出範囲は符号化制御部１４から供給される動き検出範囲制御信号に応じて設定される。動き検出範囲制御信号はブロックデータの元の位置から±１６画素及び±８画素のいずれか一方を示す。また、動きベクトルの検出精度は符号化制御部１４から供給される動き検出精度制御信号に応じて設定される。動き検出精度制御信号は１／２画素及び１画素のいずれか一方を示す。動きベクトル検出部１３３は動き検出範囲制御信号が示す参照フレームデータの動き検出範囲にて動きベクトルを動き検出精度制御信号が示す動き検出精度で検出する。

符号化制御部１４は、図５に示すように符号化制御動作を行い、符号化部１３から得られる動き量に応じて動き検出精度、動き検出範囲及び読み出しスキップの有無を決定する。ここで、ＭＶは動き量であり、ＴＨＡ１〜ＴＨＡ３は閾値である。ＴＨＡ１＜ＴＨＡ２＜ＴＨＡ３の関係がある。

図５の符号化制御動作においては、先ず、動き量ＭＶが閾値ＴＨＡ１より小であるか否かが判別される（ステップＳ１１）。ＭＶ＜ＴＨＡ１の場合には、プロセッサ２０の処理能力に余裕がある場合であり、動きベクトル検出処理が符号化処理に占める割合は３０％程度である。この場合には、動き検出精度が１／２画素とされ（ステップＳ１２）、動き検出範囲が±１６画素とされ（ステップＳ１３）、読み出しスキップは無しとされる（ステップＳ１４）。

ＭＶ≧ＴＨＡ１の場合には、動き量ＭＶが閾値ＴＨＡ２より小であるか否かが判別される（ステップＳ１５）。ＴＨＡ１≦ＭＶ＜ＴＨＡ２の場合には、プロセッサ２０の処理能力に少し余裕がなくなった場合であり、動きベクトル検出処理が符号化処理に占める割合は４０％程度である。この場合には、動きベクトル検出処理の負荷を２０％程度減少させるために、動き検出精度が１画素とされ（ステップＳ１６）、動き検出範囲が±１６画素とされ（ステップＳ１７）、読み出しスキップは無しとされる（ステップＳ１８）。

ＭＶ≧ＴＨＡ２の場合には、動き量ＭＶが閾値ＴＨＡ３より小であるか否かが判別される（ステップＳ１９）。ＴＨＡ２≦ＭＶ＜ＴＨＡ３の場合には、プロセッサ２０の処理能力に余裕がなくなった場合であり、動きベクトル検出処理が符号化処理に占める割合は５０％程度である。この場合には、動きベクトル検出処理の負荷を４０％程度減少させるために、動き検出精度が１画素とされ（ステップＳ２０）、動き検出範囲が±８画素とされ（ステップＳ２１）、読み出しスキップは無しとされる（ステップＳ２２）。

ＭＶ≧ＴＨＡ３の場合には、プロセッサ２０の処理能力に更に余裕がなくなった場合であり、動きベクトル検出処理が符号化処理に占める割合は６０％程度である。この場合には、プロセッサ２０の処理能力内に抑えるために、動き検出精度が１画素とされ（ステップＳ２３）、動き検出範囲が±８画素とされ（ステップＳ２４）、読み出しスキップは有りとされる（ステップＳ２５）。

符号化処理においてプロセッサ２０の負荷はフレーム中に動き大きいシーンが増えるほど、すなわち動き量ＭＶが増えるに従って増加するので、プロセッサ２０の負荷を一定（第１所定量）に保つように符号化処理のパラメータである、動き検出精度と、動き検出範囲と次のフレームの読み出しのスキップの有無と、を制御することが行われる。

このような符号化制御部１４の符号化制御動作に応じて動きベクトル検出部１３３によって検出された差分値とブロックデータとに対してＤＣＴ及び量子化部１３４において離散コサイン変換が行われ、更に量子化が行われる。量子化されたデータはハフマン符号化部１３５によって可変長符号化されて符号化映像データとして出力される。

なお、符号化制御部１４は動き量ＭＶが符号化部１３から得られるまでは初期制御状態として例えば、動き検出精度を１画素とされ、動き検出範囲を±８画素とし、読み出しスキップを有りとしても良い。

一方、動体検出部１５においては、画像記憶部１２に記憶された映像信号が読出部１５１によってフレーム単位で読み出される。読出部１５１は動体検出制御部１６から供給される動体検出スキップ制御信号に応じて次のフレームの読み出しをスキップすることが行われる。また、読出部１５１は動体検出制御部１６から供給される動体検出画像サイズ制御信号に応じてフレームの読み出し空間解像度を設定することが行われる。空間解像度は３２０画素×２４０画素及び１６０画素×１２０画素のうちのいずれか一方である。読出部１５１は１６０画素×１２０画素の解像度が設定された場合には映像信号を１フレームについて間引いて読み出す。

読出部１５１によって読み出された映像信号は差分値検出部１５２によって画素毎に今回のフレームと前回のフレームとの輝度レベルの差分値が算出される。その算出された画素毎の差分値が比較部１５３により閾値以上であるか否かが判別される。差分値が閾値以上である画素を含むフレームを検出した場合には動体検出信号が発生される。また、比較部１５３ではフレーム毎にそのような差分値が閾値以上である画素からなる領域の数が動体数として算出される。

動体検出制御部１６は、図６に示すように、動体検出制御動作を行い、動体検出部１５から上記のように得られる動体数に応じて読み出しスキップの有無及び動体検出画像サイズを決定する。ここで、ＭＮＯは動体数であり、ＴＨＢ１，ＴＨＢ２は閾値である。ＴＨＢ１＜ＴＨＢ２の関係がある。

図６の動体検出制御動作においては、先ず、動体数ＭＮＯが閾値ＴＨＢ１より小であるか否かが判別される（ステップＳ３１）。ＭＮＯ＜ＴＨＢ１の場合には、プロセッサ２０の処理能力に余裕がある場合であり、読み出しスキップは無しとされ（ステップＳ３２）、動体検出画像サイズは３２０画素×２４０画素とされる（ステップＳ３３）。ＭＮＯ≧ＴＨＢ１の場合には、動体数ＭＮＯが閾値ＴＨＢ２より小であるか否かが判別される（ステップＳ３４）。ＴＨＢ１≦ＭＮＯ＜ＴＨＢ２の場合には、プロセッサ２０の処理能力に少し余裕がなくなった場合であり、読み出しスキップは有りとされ（ステップＳ３５）、動体検出画像サイズは３２０画素×２４０画素とされる（ステップＳ３６）。ＭＮＯ≧ＴＨＢ２の場合には、プロセッサ２０の処理能力に余裕がなくなった場合であり、読み出しスキップは有りとされ（ステップＳ３７）、動体検出画像サイズは１６０画素×１２０画素とされる（ステップＳ３８）。

動体検出処理においてプロセッサ２０の負荷はフレーム中の動体数ＭＮＯが増えるに従って増加するので、プロセッサ２０の負荷を一定（第２所定量）に保つように動体検出処理のパラメータである、次のフレームの読み出しのスキップの有無と、フレームの読み出し空間解像度とを制御することが行われる。プロセッサ２０の負荷の５０％を符号化処理に使用し、残りの５０％を動体検出処理に使用することがバランス上最適である。

なお、動体検出制御部１６は、動体検出部１５から動体数ＭＮＯが得られるまでは初期制御状態として例えば、読み出しスキップを有りとし、動体検出画像サイズを１６０画素×１２０画素としても良い。

また、上記した実施例において、符号化処理のパラメータは、動きベクトル検出部１３３における動き検出精度と、動きベクトル検出部１３３における動き検出範囲と、読出部１３１における画像記憶部に記憶された映像信号の次のフレームの読み出しのスキップの有無とであり、動体検出処理のパラメータは、読出部１５１における画像記憶部に記憶された映像信号の次のフレームの読み出しのスキップの有無と、その映像信号のフレームの読み出し空間解像度と、であるが、符号化処理のパラメータ及び動体検出処理のパラメータはこれに限定されず、プロセッサ２０の負荷に影響を与える他のパラメータでも良い。

また、本発明を適用可能な装置としては上記の映像監視装置に限らず、符号化処理と動体検出処理手段とを単一のプロセッサによって実行する他の動画像処理装置でも良い。

以上のように、本発明によれば、プロセッサによる符号化処理についての負荷が第１所定量となるように符号化処理のパラメータを制御し、また、そのプロセッサによる動体検出処理についての負荷が第２所定量となるように動体検出処理のパラメータを制御するので、動体検出処理及び符号化処理の双方の処理が単一のプロセッサによって効率よく実行され、しかも単一のプロセッサによる構成が低コストで可能である。

本発明の実施例を示すブロック図である。図１の装置中の符号化部の構成を示すブロック図である。図１の装置中の動きベクトル検出部のブロックデータと参照フレームデータとの関係を示す図である。図１の装置中の動体検出部の構成を示すブロック図である。符号化制御部の符号化制御動作を示すフローチャートである。動体検出制御部の動体検出制御動作を示すフローチャートである。

符号の説明

１１カメラ
１２画像記憶部
１３符号化部
１４符号化制御部
１５動体検出部
１６動体検出制御部

Claims

動画映像信号を符号化して符号化画像データを生成する符号化手段をプロセッサによる符号化処理によって形成し、前記動画映像信号が示す映像中の動体の存在を検出する動体検出手段を前記プロセッサによる動体検出処理によって形成する動画像処理装置であって、
前記プロセッサによる前記符号化処理についての負荷が第１所定量となるように前記符号化処理のパラメータを制御する符号化制御手段と、
前記プロセッサによる前記動体検出処理についての負荷が第２所定量となるように前記動体検出処理のパラメータを制御する動体検出制御手段と、を備えたことを特徴とする動画像処理装置。
前記第１所定量と前記第２所定量とはほぼ同等であることを特徴とする請求項１記載の動画像処理装置。
前記第１所定量と前記第２所定量との合計量は前記プロセッサの処理能力以内の負荷であることを特徴とする請求項１記載の動画像処理装置。
前記符号化手段は、画像記憶部に記憶された前記映像信号を読み出す読出部と、前記読出部によって読み出された映像信号の各フレームを複数のブロックに分割してブロックデータを生成するブロック化部と、前記ブロックデータ毎に参照フレームデータと比較してそのデータ間の差分値が最も小さくなる参照フレームデータの位置を動きベクトルと決定する動きベクトル検出部と、前記動きベクトル検出部によって決定された動きベクトルについての差分値とブロックデータとに対して離散コサイン変換を行い、その離散コサイン変換後のデータを所定のデータレートに従って量子化する離散コサイン変換及び量子化部と、その量子化されたデータをハフマン符号化して符号化映像データとして出力するハフマン符号化部と、を備え、
前記符号化制御手段は、前記動きベクトル検出部において決定された動きベクトルの大きさに応じて前記符号化処理のパラメータを制御することを特徴とする請求項１記載の動画像処理装置。
前記符号化制御手段によって制御される前記符号化処理のパラメータは、前記動きベクトル検出部における動き検出精度と、前記動きベクトル検出部における動き検出範囲と、前記読出部における前記画像記憶部に記憶された映像信号の次のフレームの読み出しのスキップの有無と、であることを特徴とする請求項４記載の動画像処理装置。
前記符号化制御手段は、前記動きベクトル検出部において決定された動きベクトルの大きさが第１閾値より小であるとき前記動き検出精度を小画素精度とし、その動きベクトルの大きさが前記第２閾値以上であるとき前記動き検出精度を大画素精度とし、
前記動きベクトルの大きさが前記第１閾値より大である第２閾値より小であるとき前記動き検出範囲を大範囲とし、その動きベクトルの大きさが前記第２閾値以上であるとき前記動き検出範囲を小範囲とし、
前記動きベクトルの大きさが前記第２閾値より大である第３閾値より小であるとき前記次のフレームの読み出しのスキップ無しとし、その動きベクトルの大きさが前記第３閾値以上であるとき前記次のフレームの読み出しのスキップ有りとする請求項５記載の動画像処理装置。
前記動体検出手段は、画像記憶部に記憶された前記映像信号を読み出す読出部と、前記読出部によって読み出された映像信号をフレーム毎に小ブロック単位又は画素単位で前フレームと現フレームとの輝度レベルの差分値を算出する差分値検出部と、前記差分値検出部で算出された差分値が閾値より大である小ブロック又は画素を含むフレームを検出したとき動体検出信号を出力する比較部と、を備え
前記動体検出制御手段は、前記比較部において検出されるフレーム毎に動体数に応じて前記動体検出処理のパラメータを制御することを特徴とする請求項１記載の動画像処理装置。
前記動体検出制御手段によって制御される前記動体検出処理のパラメータは、前記読出部における前記画像記憶部に記憶された映像信号の次のフレームの読み出しのスキップの有無と、その映像信号のフレームの読み出し空間解像度と、であることを特徴とする請求項７記載の動画像処理装置。
前記動体検出制御手段は、前記比較部において検出されるフレーム毎に動体数が第１閾値より小であるとき前記次のフレームの読み出しのスキップ無しとし、その動体数が前記第１閾値以上であるとき前記次のフレームの読み出しのスキップ有りとし、
前記動体数が前記第１閾値より大である第２閾値より小であるとき前記空間解像度を高解像度とし、その動体数が前記第２閾値以上であるとき前記空間解像度を低解像度とする請求項８記載の動画像処理装置。
動画映像信号を符号化して符号化画像データを生成する符号化手段をプロセッサによる符号化処理によって形成し、前記動画映像信号が示す映像中の動体の存在を検出する動体検出手段を前記プロセッサによる動体検出処理によって形成する動画像処理方法であって、
前記プロセッサによる前記符号化処理についての負荷が第１所定量となるように前記符号化処理のパラメータを制御し、
前記プロセッサによる前記動体検出処理についての負荷が第２所定量となるように前記動体検出処理のパラメータを制御することを特徴とする動画像処理方法。