JP4696660B2 - 画像処理装置及び監視カメラ装置 - Google Patents

Description

本発明は画像処理装置及び監視カメラ装置に関し、特に撮影方向や画角を制御可能な撮像装置から得られる画像を処理する画像処理装置及びこの画像処理装置を具備する監視カメラ装置に関する。

従来から、ビル警備や店舗などの防犯や防災を目的とする監視カメラシステムが利用されており、近年では、家庭内などへその利用の場が広がっている。このような監視カメラシステム、たとえば、市街地を監視する監視カメラシステムでは、パン回転、チルト回転及びズームが可能な監視カメラを所定の場所に固定で設置し、必要に応じて撮影範囲を遠隔操作しながら、監視カメラの撮影した映像を遠隔地のモニタで監視する。

ところで、近年では、プライバシー保護の面から、監視カメラの撮影範囲に他人に見せたくない場面が含まれてしまうことが問題となっている。たとえば、上記の市街地を監視する監視カメラシステムにおいて街路など公共の場所を撮影する際に、背後または隣接する個人の住居が映し出されてしまう場合など、その個人のプライバシーの侵害行為になりかねない。

そこで、パン、チルト操作については、予め画面中央でマスキングエリアを設定しておき、パン回転及びチルト回転によって変化するパン角度及びチルト角度に応じてマスキングエリアを移動させ、画像の一部をマスキングするように構成する監視カメラ装置がある（たとえば、特許文献１参照）。

また、ズーム操作については、ズーム操作後の焦点距離に応じた全体の映像サイズに対するマスキングエリアの占める割合を求め、マスクする領域を算出する画像処理方法がある（たとえば、特許文献２参照）。
特開２００１−６９４９４号公報（段落番号〔００３８〕〜〔００５４〕、図１） 特開平８−５１６１１号公報（段落番号〔００２５〕〜〔００２６〕、図１２）

しかし、従来の画像処理装置におけるマスキング処理では、予めマスキングエリアを設定しておき、パン、チルト及びズーム操作が行われると、操作に応じて変化した現在のカメラ画面の向き、たとえばパン、チルト操作の操作量からパン角度とパン座標で表される水平画角やチルト角度とチルト座標で表される垂直画角などを算出する。そして、操作前と操作後の画面のパン角度及びチルト角度の変化に応じて、操作後の画面にマスキングエリアを区画するための変換を行うという煩雑な処理手順が実行される。ズームの場合も同様に、ズーム操作に応じたカメラ画面の画角の変化量を算出し、変化量に応じてマスキングエリアを区画するための変換を行う。

このように、従来の画像処理装置のマスキング処理は、パン、チルト、ズーム操作などの操作に応じたカメラ画面の向きや画角を算出し、パン角度、チルト角度及びズームに応じて変化する画角などの角度変化に応じて、マスキングエリアの座標を変換し、更新画面に適応させるという手順を取っており、変換処理に時間がかかっていた。このため、マスキング処理が施された画面を生成するまでの処理にかかるプロセッサの負担が重いという問題点が生じる。パン、チルト、ズーム操作に応じて撮影画像をリアルタイムに画面を表示させる必要のある監視システムなどでは、画像処理に時間がかかり、画面の更新が難しくなることは避けたい。このため、たとえば、操作速度が速い場合にはマスキングエリアの設定を省略したり、マスキングエリアを任意のエリアとせず、所定の水平画角または垂直画角の外側全体とするなどしてカメラ画面へマスキングエリアを区画するための処理を軽減させるなど、各種制限が設定されていた。

しかしながら、プライバシー保護の観点からは、画面が表示されている間は、マスキングエリアを表示することが望ましい。また、監視カメラとして使用する場合には、マスクする必要のない領域の画面は表示されていることが望ましい。そこで、マスキング処理にかかる負担を軽減し、かつ、マスキングエリア設定の自由度を失わないマスキング処理が求められている。

本発明はこのような点に鑑みてなされたものであり、処理負担が少なく、かつ、任意のマスキングエリア設定が可能な画像処理装置を提供することを目的とする。

本発明では上記課題を解決するために、パン操作、チルト操作及びズーム操作によって撮影方向や画角を制御可能な撮像装置から得られる画像をマスキング処理する画像処理装置が提供される。画像処理装置は、撮像装置が撮影した画面をパン角度、チルト角度及びズーム値を状態パラメータとする３次元座標系によって規定するとともに、状態パラメータによって規定される画面上の１点を原点とする２次元の画角座標によって該画面上に指定された任意のマスキングエリアの位置を規定し、指定されたマスキングエリアに対応する状態パラメータ及び画角座標をマスキングデータとして設定するマスキングデータ設定手段と、マスキングデータを記憶するマスキングデータ記憶手段と、撮影方向や画角の操作量に応じた状態パラメータの変化量と、操作を開始したときからの時間経過に応じた状態パラメータの変化量を規定する加速係数と、を応答特性として記憶する応答特性記憶手段と、撮像装置に関する撮影方向や画角の操作指示を取得すると、該操作指示に応じた応答特性を応答特性記憶手段から検索し、検索された応答特性を用いて該操作指示に基づく撮影方向や画角の操作量に応じた状態パラメータの変化量を算出し、該状態パラメータの変化量に加速係数を乗算して該状態パラメータを補正し、補正された該状態パラメータの変化量を用いて、状態パラメータの変化量に応じて相対的に変化する更新画面上のマスキングエリアの位置を算出するマスキングエリア算出手段と、撮像装置の撮影した画面の画像データに対し、マスキングエリア算出手段によって算出されたマスキングエリアの位置を用いてマスキング処理し、出力画像データを生成するマスキング処理手段と、を具備する。

また、上記課題を解決するために、撮影方向や画角を制御可能な監視カメラに上記説明の画像処理装置が組み込まれた監視カメラ装置が提供される。

本発明の画像処理装置及び監視カメラ装置では、パン、チルト、ズーム操作の変化量に応じて撮影方向や画角を示す状態パラメータの変化量を算出し、算出された状態パラメータの変化量に基づき状態パラメータによって規定される画面のマスキングエリアを算出し、マスキング処理を施す。状態パラメータにより規定される画面上に指定されるマスキングエリアは、状態パラメータの変化量に応じて相対的に画面上を移動する。この対応付けによって、操作後の更新画面のマスキングエリアの位置を容易に算出することができる。したがって、マスキングエリアの設定に制限を設けることなく、画面の変化に追従したマスキング処理をローコストで提供することができる。

以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の実施の形態に適用される画像処理装置の構成図である。
画像処理装置１０は、マスキングデータ１１ａ及び応答特性テーブル１１ｂを記憶する記憶手段１１、マスキングデータ１１ａを設定するマスキングデータ設定手段１２、画面に適合するマスキングエリアを算出するマスキングエリア算出手段１３及び入力画像データにマスキング処理を施すマスキング処理手段１４を具備し、操作指示に応じて撮影方向や画角を制御可能な撮像装置２０の撮影した画像の画像データを入力してマスキング処理を施し、出力画像データとしてモニタなどに供給する。

ここで、撮像装置２０は、外部からのパン（pan）操作、チルト（tilt）操作及びズーム（zoom）操作によって撮影方向及び画角の制御が可能なＰＴＺ（pan,tilt,zoom）カメラである。撮影した画像データは、信号ケーブル、有線または無線の通信ネットワークを介して画像処理装置１０に出力する。

画像処理装置１０の各部について説明する。
記憶手段１１は、画像処理に必要な各種データを記憶し、ここでは、マスキングデータ１１ａを記憶するマスキングデータ記憶手段と、応答特性テーブル１１ｂを記憶する応答特性記憶手段として機能する。マスキングデータ１１ａは、管理者によって予め設定されるマスキングエリアを示す情報で、撮像装置２０の撮影方向や画角を示す状態パラメータと状態パラメータによって規定される画面に区画される任意の数のマスキングエリアの領域とを有する。応答特性テーブル１１ｂは、撮影方向や画角の操作量に応じた状態パラメータの変化の特性に基づき設定され、操作量に応じた状態パラメータの変化量を規定する。

マスキングデータ設定手段１２は、画像処理装置１０の管理者が画面上に設定したマスキング領域についてのマスキングデータ１１ａを設定し、記憶手段１１に格納する。
マスキングエリアは、管理者によって指示される。管理者は、撮像装置２０の撮影した画像データを図示しない表示装置に表示し、撮像装置２０を操作してマスク対象が画面に含まれるように調整を行い、その画面上でマスクしたい領域を指定する。マスキングデータ設定手段１２は、この画面の撮影方向と画角を示す状態パラメータと、この画面上で設定された任意の数のマスキングエリアの領域指定を取得し、マスキングデータ１１ａを設定する。一般的なカメラの場合、画面を規定する状態パラメータは、パン操作に応じて変化するパン角度と、チルト操作に応じて変化するチルト角度と、ズーム操作に応じて変化するズーム値とで構成される。本発明では、この独立した３つのパラメータで３次元座標系を形成し、これをカメラ座標と呼ぶ。カメラ座標のそれぞれの値が決定されると、各座標の値に応じて撮影される画面が規定される。また、この画面内の領域は、画面範囲内の１点、たとえば左上を原点とする２次元座標系によってあらわす。以下、この２次元座標系を画角座標とする。画面上に占めるマスキングエリアは、この直角座上によって指示することができる。なお、マスキングエリアは、１つの画面範囲内で複数設定することができる。座標系の詳細については後述する。

マスキングエリア算出手段１３は、まず、撮影方向や前記画角の操作量に応じた状態パラメータの変化量を規定する応答特性を用いて、操作に対応して変化したカメラ座標の変化量を算出する。カメラ座標上の変化と画角座標上の変化は、相対的な関係がある。たとえば、撮像装置２０を右方向にパンさせると、画面は右方向に移動し、相対的に映っている対象物は、左方向に移動する。すなわち、カメラ座標上で右方向に移動すると、画角座標上は、左方向に移動する。そこで、操作量に応じたカメラ座標の変化量に基づき、操作後の画面におけるマスキングエリアの画角座標を算出する。そして、マスキングエリアをたとえば、黒に設定したマスキングプレーンを生成する。

マスキング処理手段１４は、撮像装置２０の撮影した画面についての画像データに対し、マスキングエリア算出手段１３によって算出されたマスキングプレーンを重ね合わせてマスキング処理を施し、出力画像データを生成する。

このような構成の画像処理装置の動作について説明する。画像処理装置では、マスキングエリアを設定するマスク設定モードと、画像データに対しダイナミックにマスキングを施すダイナミックマスキングモードの２つの動作モードがある。

最初に、マスク設定モードの動作について説明する。
マスク設定モードでは、管理者によってマスク対象物が撮像装置２０の画面内に映るようにパン、チルト及びズーム操作（以下、ＰＴＺ操作とする）が行われる。マスキングデータ設定手段１２は、このときの画面の撮影状態をマスキングエリアを指定する、カメラ座標と画角座標を用いてこのマスキングエリアを指定するマスキングデータを生成する。
マスキングエリア指定について、図２を用いて説明する。図２は、本発明に適用される２つの座標系を説明する図である。（Ａ）はカメラ座標、（Ｂ）は画角座標を示している。

図２に示したように、画面の撮影状態を示す状態パラメータとして、ＰＴＺ操作に応じて変化するパン角度、チルト角度及びズーム値を独立パラメータとし、この３つの独立パラメータが成すカメラ座標によって、画面が規定される。図２（Ａ）の例では、水平方向のパン角度、垂直方向のチルト角度及び図示しない前後方向のズーム値でカメラ座標が形成される。以下、カメラのホームポジション、すなわち、パン角度０（正面）、チルト角度０（水平）及びズーム値０（ワイド）の状態を座標系の原点（０，０，０）とする。画面はこれらのパラメータに応じて形成され、画面範囲を示す画角座標が設定される。図（Ａ）の例は、カメラ座標（０，０，０）についての画角座標３１を示している。図では、簡単のため、カメラ座標のＺ方向を省略している。

画角座標３１は、画角の左上Ａを原点とし右下Ｂを最大点とする画面範囲内の領域を示す。図（Ｂ）に示したように、カメラ座標上のＡを原点（０，０）、Ｂを最大点（６３９、４７９）とし、マスキングエリア３２の座標を指定する。なお、６３９、４７９は画面の画素数に合わせた数であり、その値は任意に設定できる。マスキングエリアが長方形である場合には、マスキングエリアの枠を示す２点（図の例では、開始点（Ｘｓ，Ｙｓ）と終了点（Ｘｅ，Ｙｅ））の座標がマスキングデータに設定される。なお、マスキングエリアは、１つの画角に対して複数指定することができる。マスキングデータには、それぞれの開始点と終了点の座標が設定される。

撮像装置２０が操作されてない状態では、マスキングエリア算出手段１３は、マスキングデータ１１ａに基づいてマスキングプレーンを一旦作成した後は、操作が行われるまで更新しない。マスキング処理手段１４は、画像データにマスキングプレーンを重ね合わせてマスキング処理を行い、出力画像データを生成する。

撮像装置２０に対しＰＴＺ操作が行われると、ＰＴＺ操作の内容とその操作量が撮像装置２０及びマスキングエリア算出手段１３に出力される。撮像装置２０は、ＰＴＺ操作に応じて撮影範囲を移動させ、移動した撮影範囲の画像データをマスキング処理手段１４へ出力する。

一方、画像処理装置１０は、マスキングエリア算出手段１３がＰＴＺ操作の内容とその操作量を取得すると、ＰＴＺ操作の内容に応じて操作後の画面に設定するマスキングエリアを算出する。図３は、本発明に適用されるマスキングエリア移動処理の動作を示した図である。図の例では、撮像装置２０を正面から右方向にパン回転させた場合にパン（ｘ）軸方向に値が増加し、水平方向から上方向にチルト回転させた場合にチルト（ｙ）軸方向に値が増加するとする。

操作前は、中心点３３ａがカメラ座標（０，０）にある画角座標ａ（３１ａ）で示した領域が画面範囲であったとする。このときのマスキングエリアａ（３２ａ）は、カメラ座標で開始点（ｘａ、ｙａ）から指定されているとする。座標系の場合、図の例は、撮像装置２０が右方向にｘ１のパン回転、左方向にｙ１のチルト回転がされたことを示す。

パン操作及びチルト操作により撮像装置２０が撮影する画面は、画角座標ｂ（３１ｂ）で示した領域に移動する。移動後の中心点３３ｂ（ｘ１，ｙ１）の座標は、操作量に応じた座標の変化量によって求められる。すなわち、パン操作量及びチルト操作量によるパン角度及びチルト角度の変化量は撮像装置２０によって固定であるので、それによって求められる。なお、変化量が操作時間に応じて一様に変化しない場合、たとえば、操作時間に応じて変化が加速されるような場合は、時間に応じた応答特性を予め応答特性テーブル１１ｂに設定しておき、これを加味してカメラ座標の変化量を算出する。

カメラ座標の変化量が算出された後、操作後のマスキングエリアａ（３２ａ）の画角座標を算出する。図から明らかなように、操作によって画面は、画角座標ａ（３１ａ）から画角座標ｂ（３１ｂ）に移動するが、マスキングエリアａ（３２ａ）は、カメラ座標上は位置が変化しない。そこで、カメラ座標の変化量に基づき、画角座標ｂ（３１ｂ）におけるマスキングエリアａ（３２ａ）の画角座標値を算出する。そして、指定されたマスキングエリアａ（３２ａ）領域の信号が、たとえば、黒に設定される画角座標ｂ（３１ｂ）に相当する画面の画像データをマスキングプレーンとして設定する。

マスキング処理手段１４は、撮像装置２０の撮影した画面についての画像データに対し、マスキングエリア算出手段１３によって算出されたマスキングプレーンを重ね合わせてマスキング処理を施し、出力画像データを生成する。

以上のように、カメラ座標と、画角座標を用いて、操作後の画面上のマスキングエリアの区画を平面上の処理として行うことにより、マスキング処理を容易、かつ高速に実行することができる。この結果、マスキングエリアの設定に制限を設けることなく、画面の変化に追従したマスキング処理をローコストで実行可能となる。

なお、ズーム操作が行われた場合には、画角の大きさが変わるため、マスキングエリアの大きさ及びマスキングエリアの中心点からのずれも変わる。この場合についても、同様にカメラ座標と画角座標を用いて処理できるが、詳細については後述する。また、実際の撮像装置が撮影する画面の移動は、垂直または水平方向に平行に動くのではなく、パン回転及びチルト回転によって移動する。このため、変化量が大きい場合には、実際の画面ではひずみが生じる。しかしながら、監視カメラなどに利用される場合には、さほど広い角度範囲で撮像装置を移動させることは少なく、それほどの影響はない。また、ある程度のひずみは、応答特性にひずみを補正する要素を加えたり、マスキングエリアを少し大きめに設定することによって対処することができる。

以下、実施の形態を、監視カメラ装置を例に図面を参照して詳細に説明する。
図４は、本発明の実施の形態の監視カメラのハードウェア構成を示したブロック図である。

監視カメラ装置は、ＭＰＵ（Micro Processing Unit）１０１によって装置全体が制御されている。ＭＰＵ１０１には、内部バスを介してＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、不揮発性メモリ１０４、Ａ／Ｄ変換器１０５、ＶＲＡＭ（Video ＲＡＭ）１０６、マスキングプレーン１０７、Ｄ／Ａ変換器１０８が接続され、内部バスまたは有線あるいは無線の信号路を介してＰＴＺカメラ１１０、ＰＴＺ−ＵＩ（User Interface）１２０及びビデオモニタ１３０が接続されている。ＰＴＺカメラ１１０、ＰＴＺ−ＵＩ１２０及びビデオモニタ１３０は、画像処理部１００と一体に形成されている必要はなく、画像処理部１００と通信ネットワークを介して接続し、通信ネットワークを介して画像処理部１００との間のデータ交換を行う構成としてもよい。

ＲＡＭ１０２には、ＭＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＭＰＵ１０１による処理に必要な各種データが格納される。たとえば、マスキングデータなどがＲＡＭ１０２に格納される。ＲＯＭ１０３には、ＯＳやアプリケーションのプログラムが格納される。不揮発性メモリ１０４は、フラッシュメモリなどで、ＰＴＺ応答特性テーブルなどの書き換えが想定されるデータが格納される。また、応答特性テーブル１１ｂをＲＯＭ１０３に格納しておき、起動時にＲＡＭ１０２に転送してもよい。

Ａ／Ｄ変換器１０５は、ＰＴＺカメラ１１０から入力したアナログ映像信号をデジタル信号に変換する。ＶＲＡＭ１０６には、Ａ／Ｄ変換器１０５の出力信号が格納される。マスキングプレーン１０７には、マスキングエリアが設定されており、マスキングエリアの信号はたとえば黒に設定されている。Ｄ／Ａ変換器１０８は、ＶＲＡＭ１０６とマスキングプレーン１０７のデータをアナログ映像信号に戻し、ビデオモニタ１３０に出力する。ビデオモニタ１３０は、Ｄ／Ａ変換器１０８の出力した映像信号に基づく画像を表示する。

ＰＴＺカメラ１１０は、ＭＰＵ１０１が出力するパン、チルト及びズームの制御信号に応じて撮影方向と画角を変更し、撮像した映像信号を出力する。
ＰＴＺ−ＵＩ１２０は、管理者のＰＴＺ操作指示とその操作量をＭＰＵ１０１に伝える。ＰＴＺ−ＵＩ１２０は、たとえば、ジョイスティックなどで、レバーを前後左右に操作することによってＰＴＺ操作を指示する。操作が行われると、ＭＰＵ１０１には、たとえば、「操作方向と操作中」といった情報が送信される。

ビデオモニタ１３０は、画像処理部１００の生成した出力信号に応じた画像を表示する。
このようなハードウェア構成によって、本発明の実施の形態の処理機能を実現することができる。

以下、上記説明の監視カメラ装置の動作について説明する。
監視カメラ装置では、ＰＴＺカメラ１１０の撮影した映像信号は、Ａ／Ｄ変換器１０５でデジタル化されてＶＲＡＭ１０６へ格納される。

ここで、ＰＴＺカメラ１１０のカメラ座標について説明する。ＰＴＺカメラ１１０は、パン、チルト及びズームの３次元の独立パラメータをそれぞれｘ、ｙ，ｚとする３次元のカメラ座標によって、撮影方向及び画角の状態を表す。ｘ座標はパン角度を表し、ＰＴＺカメラ１１０を右にパンするとｘの値が増加し、左にパンすると減少する。ｙ座標はチルト角度を表し、上にチルトするとｙの値が増加し、下にチルトすると減少する。ｚ座標はズーム値を表し、ズームインするとｚの値が増加し、ズームアウトすると減少する。たとえば、このＰＴＺカメラ１１０では、次のような数値でパン角度、チルト角度及びズーム値を表すとする。

ｘ座標：−６５５３５〜６５５３５ で左１２０度から右１２０度を表す。
ｙ座標：−６５５３５〜６５５３５ で上６０度から下６０度を表す。
ｚ座標：０〜６３で広角から望遠を表す。

そして、カメラ座標によって決まる画面の画面範囲内の位置は画角座標によって表す。たとえば、左上を（０，０）、右下を（６３９、４７９）とする。
マスキング処理を行う場合には、管理者などがＰＴＺ−ＵＩ１２０を操作して、ＰＴＺカメラ１１０が撮影する画面にマスク対象が映るようにビデオモニタ１３０の画面を参照しながらＰＴＺカメラ１１０の調整を行う。ＭＰＵ１０１は、ＰＴＺ−ＵＩ１２０から、たとえば、「操作方向と操作中」の情報を取得すると、指定方向に所定のスピードでＰＴＺカメラ１１０の撮影方向と画角を変更するようにＰＴＺカメラ１１０に指示を出す。管理者が、ビデオモニタ１３０の表示画面にマスク対象が映り、ＰＴＺ操作が停止されると、ＭＰＵ１０１は、このときのカメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）をマスキングデータとして格納する。なお、格納は画角座標が設定されてから行ってもよい。続いて、管理者が、ＰＴＺ−ＵＩ１２０に設けられたマスク設定モードキーを操作し、マスキングエリアを設定する。マスキングエリアの形状は特に規定しないが、たとえば、長方形として、画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）を取得し、マスキングデータとして格納する。なお、マスキングエリアは、必要に応じて任意の数が設定される。

以上の処理手順により、マスキングデータとして、マスク対象が含まれる初期画面のカメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）と、マスキングエリアを示す画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ、Ｙｅ）が設定される。また、このとき、応答特性テーブルには、ズーム値に応じたカメラ座標値の変化量の特性を示すズーム値係数、パン操作を開始したときからの加速係数、チルト操作を開始したときからの加速係数及びズーム操作を開始したときからの加速係数などが設定されている。一般に、ＰＴＺカメラ１１０のＰＴＺ操作による変更量は、操作時間が長くなると加速されるように設定されている。この操作時間に応じた変更量の増大は、加速係数として設定する。応答特性テーブルは、たとえば、カメラ座標をいくつかの領域に分け、その領域ごと適宜、計数値を設定するようにしてもよい。これにより、ひずみを補正し、より実際の画面に近い状態でカメラ座標が算出される。

こうしてマスキングデータが設定され、ＰＴＺ−ＵＩ１２０のダイナミックマスキング動作キーが押下されると、監視カメラ装置はダイナミックマスキングモードに移行し、カメラ座標値（Ｘｃ，Ｙｃ，Ｚｃ）、画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）を用いてマスキングプレーン１０７にマスキングエリアを設定する。

ＰＴＺ操作が行われた場合には、マスキングエリアを更新する座標値を決定するために、ＰＴＺ応答特性テーブルを参照し、フレームごとにマスキングプレーンを更新する。
まず、パン操作が行われた場合について、右方向にパンした場合を例に説明する。

図５は、本発明の実施の形態における監視カメラ装置を右方向にパンさせた場合のマスキングエリアの移動を示した図である。
パン操作を行う前の元画面３１０には、画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）とで表されるマスキングエリア３２０が設定されている。監視カメラ装置を右方向にパンさせることによって、カメラ座標のｘ座標が増加するので相対的に画角座標のｘ座標が減少する。図の例では、右にパンすると、操作後の更新画面３１１のカメラ座標はｘ座標が増加する。しかしながら、マスク対象の位置は変わらないので、マスキングエリア３２１は、画角座標ではｘ座標が減少する。このマスキングエリア３２１は、画角座標（ＸｓＮｅｗ、ＹｓＮｅｗ）と（ＸｅＮｅｗ、ＹｅＮｅｗ）とで表す。

すなわち、カメラ座標のｘ座標値の差分は、
カメラ座標値のｘ差分＝ （パンスピード／フレーム数）＊Ｔｚ（ｚ）＊Ｔｓ（ｔ）
・・・（１）
で算出される。ここで、パンスピードは、１秒間に移動する座標値である。また、Ｔｚはズーム値（ｚ）に応じた係数、Ｔｓはパン操作を開始したときからの時間（ｔ）に応じた加速係数で、ともに応答特性テーブルに設定されている。

なお、パン操作の場合、カメラ座標値のｘ差分は画角座標のｘ差分と同等であるので、式（１）は、画角座標値のｘ差分とすることもできる。
この式（１）で得られたｘ差分を元の画面の画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）のｘ座標から減算し、その値で更新する。

ＸｓＮｅｗ＝ Ｘｓ−ｘ差分 ・・・（２）
ＸｅＮｅｗ＝ Ｘｅ−ｘ差分 ・・・（３）
式（２）、（３）によって得られた新しい画角座標（ＸｓＮｅｗ，Ｙｓ）と（ＸｅＮｅｗ，Ｙｅ）を用いてマスキングエリアを更新し、マスキングプレーンに設定する。

更新されたｘ座標の値が画角座標の範囲（０〜６３９）を超えた場合には、マスキングエリアが範囲内となるようにｘ座標の最小値もしくは最大値でクリッピングする。
以上の処理が実行されることにより、更新画面３１１には、右方向のパンによって右に移動した映像に合わせてマスキングエリア３２１が左に移動する。この結果、マスク対象がマスキングされてビデオモニタの表示画面に表示される。

左方向にパンさせた場合には、操作後の画面のカメラ座標は、ｘ座標が減少するので、相対的に画角座標のｘ座標が増加する。この場合も右方向のパンと同様の手順で、式（１）を用いてｘ差分を算出し、ｘ差分を用いて画角座標を算出する。画角座標算出の際には、式（２）、（３）とは逆に、元のｘ座標値にｘ差分を加算する。また、クリッピング処理も同様に行われる。

チルトに関しても同様の考え方でマスキングエリアを更新することができる。上方向にチルトするとカメラ座標はｙ座標が増加するので、相対的に画角座標のｙ座標が減少する。また、下方向にチルトするとカメラ座標はｙ座標が減少するので、相対的に画角座標のｙ座標が増加する。したがって、パンの場合と同様に、カメラ座標のｙ座標値の差分を算出し、算出されたｙ差分値で画角座標のｙ座標を更新する。カメラ座標のｙ差分は、式（１）のパンスピードをチルトスピードに置き換えて算出する。また、更新されたｙ座標の値が画角座標の範囲（０〜４７９）を超えた場合には、マスキングエリアが範囲内となるようにｙ座標の最小値もしくは最大値でクリッピングする。

次に、ズーム操作が行われた場合について、ズームインの場合を例に説明する。ズームは８倍ズームで、ズーム座標は０〜６３の範囲とする。
図６は、本発明の実施の形態における監視カメラ装置をズームインさせた場合のマスキングエリアの移動を示した図である。

ズーム操作を行う前の元画面３１３には、画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）とで表されるマスキングエリア３２３が設定されている。監視カメラ装置をズームインさせることによって、マスキングエリア３２３は大きくなる。また、カメラ座標の中心からのずれに応じてマスキングエリアの位置が変わる。したがって、ズームインによりｘ座標値及びｙ座標値がともに変化する。

まず、ズームインにより変化するカメラ座標値のｘ差分及びｙ差分を算出する。ｘ差分は、
カメラ座標値のｘ差分＝ （Ｘｅ−Ｘｓ）＊（ズームスピード／フレーム数）＊Ｔｚｏｏｍ（ｔ） ・・・（４）
により算出される。ここで、ズームスピードは１秒間にズームする倍率であり、Ｔｚｏｏｍはズーム操作を開始したときからの時間（ｔ）に応じた加速係数で、応答特性テーブルに設定されている。

また、ｙ差分は、画面のｘｙ比率は同じであることから、ｘ差分を用いて、
カメラ座標値のｙ差分＝ ｘ差分＊（４８０／６４０） ・・・（５）
により算出される。なお、４８０／６４０は、画面のｘ／ｙの比率を表す。

以上の式（４）、（５）で得られたｘ差分及びｙ差分を用いて、元の画面の画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）を次のように更新する。更新画面３１４のマスキングエリア３２４の画角座標を（ＸｓＮｅｗ、ＹｓＮｅｗ）と（ＸｅＮｅｗ、ＹｅＮｅｗ）とすると、
ＸｓＮｅｗ＝ Ｘｓ＊（１＋ｘ差分／Ｘｓ） ・・・（６）
ＹｓＮｅｗ＝ Ｘｓ＊（１＋ｙ差分／Ｙｓ） ・・・（７）
ＸｅＮｅｗ＝ Ｘｓ＊（１＋ｘ差分／Ｘｅ） ・・・（８）
ＹｅＮｅｗ＝ Ｘｓ＊（１＋ｙ差分／Ｙｅ） ・・・（９）
式（６）から式（９）によって得られた新しい画角座標（ＸｓＮｅｗ，ＹｓＮｅｗ）と（ＸｅＮｅｗ，ＹｅＮｅｗ）を用いてマスキングエリアを更新し、マスキングプレーンに設定する。

また、更新されたｘ座標の値が画角座標の範囲（０〜６３９）を超えた場合、または更新されたｙ座標の値が画角座標の範囲（０〜４７９）を超えた場合には、マスキングエリアが範囲内となるようにｘ座標及びｙ座標の最小値もしくは最大値でクリッピングする。

以上の処理が実行されることにより、更新画面３１４には、ズームインによって拡大された映像に合わせてマスキングエリア３２４が大きくなり、位置もずれる。この結果、マスク対象がマスキングされてビデオモニタ１３０の表示画面に表示される。

次に、本発明の実施の形態の監視カメラ装置における２つの動作モード、マスク設定モードとダイナミックマスキングモードについて、それぞれのモード時の処理手順を説明する。

図７は、本発明の実施の形態のマスク設定モード時の処理手順を示したフローチャートである。管理者がＰＴＺカメラを操作してマスク対象物が映るように調整し、マスク設定モードキーを操作することによって、処理が開始される。

［ステップＳ１１］ マスク対象物がＰＴＺカメラの画面に映っているので、対象物が映るこの画面のカメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）を決定する。
［ステップＳ１２］ この画面上におけるマスキングエリアの範囲を指定するため、画面上の２点が選択されると、それぞれの画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）を用いてマスキングエリアを決定する。

［ステップＳ１３］ ステップＳ１１及びステップＳ１２で得られたカメラ座標（Ｘｃ，Ｙｃ，Ｚｃ）と、画角座標（Ｘｓ，Ｙｓ）と（Ｘｅ，Ｙｅ）を、マスキングデータとしてメモリに格納する。

図８は、本発明の実施の形態のダイナミックマスキングモード時の処理手順を示したフローチャートである。管理者がマスク設定を行った後、ダイナミックマスキング動作キーを操作することによって、処理が開始される。

［ステップＳ２１］ 現在ＰＴＺ操作が行われているかどうかを判定する。行われていない場合は、処理を終了し、マスキングエリアの更新を行わない。
［ステップＳ２２］ ＰＴＺ操作が行われている場合、ＰＴＺ操作に応じたカメラ座標の差分を用いて、更新後の画面における画角座標の差分を算出する。

［ステップＳ２３］ ステップＳ２２で算出された画角座標の差分に基づき、更新画面のマスキングエリアの画角座標を算出し、この画角座標を用いてマスキングエリアを更新する。

以上の処理手順が実行されることにより、ＰＴＺ操作に応じたカメラ座標における画面の移動量（差分）から更新画面のマスキングエリアの画角座標を算出することができる。

本発明の実施の形態に適用される画像処理装置の構成図である。 本発明に適用される２つの座標系を説明する図である。 本発明に適用されるマスキングエリア移動処理の動作を示した図である。 本発明の実施の形態の監視カメラのハードウェア構成を示したブロック図である。 本発明の実施の形態における監視カメラ装置を右方向にパンさせた場合のマスキングエリアの移動を示した図である。 本発明の実施の形態における監視カメラ装置をズームインさせた場合のマスキングエリアの移動を示した図である。 本発明の実施の形態のマスク設定モード時の処理手順を示したフローチャートである。 本発明の実施の形態のダイナミックマスキングモード時の処理手順を示したフローチャートである。

符号の説明

１０・・・画像処理装置、１１・・・記憶手段、１１ａ・・・マスキングデータ、１１ｂ・・・応答特性テーブル、１２・・・マスキングデータ設定手段、１３・・・マスキングエリア算出手段、１４・・・マスキング処理手段、２０・・・撮像装置

Claims (6)

1. パン操作、チルト操作及びズーム操作によって撮影方向や画角を制御可能な撮像装置から得られる画像をマスキング処理する画像処理装置において、
   前記撮像装置が撮影した画面をパン角度、チルト角度及びズーム値を状態パラメータとする３次元座標系によって規定するとともに、前記状態パラメータによって規定される画面上の１点を原点とする２次元の画角座標によって該画面上に指定された任意のマスキングエリアの位置を規定し、指定された前記マスキングエリアに対応する前記状態パラメータ及び前記画角座標をマスキングデータとして設定するマスキングデータ設定手段と、
   前記マスキングデータを記憶するマスキングデータ記憶手段と、
   撮影方向や画角の操作量に応じた前記状態パラメータの変化量と、操作を開始したときからの時間経過に応じた前記状態パラメータの変化量を規定する加速係数と、を応答特性として記憶する応答特性記憶手段と、
   前記撮像装置に関する撮影方向や画角の操作指示を取得すると、該操作指示に応じた前記応答特性を前記応答特性記憶手段から検索し、検索された前記応答特性を用いて該操作指示に基づく撮影方向や画角の操作量に応じた前記状態パラメータの変化量を算出し、該状態パラメータの変化量に前記加速係数を乗算して該状態パラメータを補正し、補正された該状態パラメータの変化量を用いて、前記状態パラメータの変化量に応じて相対的に変化する更新画面上の前記マスキングエリアの位置を算出するマスキングエリア算出手段と、
   前記撮像装置の撮影した画面の画像データに対し、前記マスキングエリア算出手段によって算出された前記マスキングエリアの位置を用いてマスキング処理し、出力画像データを生成するマスキング処理手段と、
   を具備することを特徴とする画像処理装置。
2. 前記マスキングエリア算出手段は、前記画角座標によって指示される前記マスキングエリアの領域が前記画面の領域を超える場合には、クリッピング処理によって前記マスキングエリアを前記画面内に収めることを特徴とする請求項１記載の画像処理装置。
3. 前記応答特性には、さらに、前記ズーム値に応じた前記パン角度及び前記チルト角度の補正係数が設定されており、
   前記マスキングエリア算出手段は、前記パン操作に応じた前記状態パラメータの変化量及び前記チルト操作に応じた前記状態パラメータの変化量を算出する際に、前記ズーム値に応じた補正係数を用いて前記状態パラメータの変化量を算出する、
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記マスキングエリア算出手段は、前記ズーム操作の操作量に応じて規定される前記３次元座標系上の前記ズーム値方向の変化量に前記ズーム操作の加速係数を乗算して前記ズーム値方向の変化量を算出し、前記ズーム値方向の変化量に応じて前記パン角度方向及び前記チルト角度方向の変化量を算出する、
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記応答特性には、前記状態パラメータが成す前記３次元座標系によって規定される前記画面について、実際の画面に対するひずみの補正が加味されている、
   ことを特徴とする請求項１記載の画像処理装置。
6. 撮影方向や画角を制御可能な撮像手段を備え、前記撮像手段から得られる画像をマスキング処理する監視カメラ装置において、
   パン操作、チルト操作及びズーム操作指示に応じて撮影方向や画角を変更し、対象物を撮像して画像信号を生成する前記撮像手段と、
   前記撮像手段が撮影した画面をパン角度、チルト角度及びズーム値を状態パラメータとする３次元座標系によって規定するとともに、前記状態パラメータによって規定される画面上の１点を原点とする２次元の画角座標によって該画面上に指定された任意のマスキングエリアの位置を規定し、指定された前記マスキングエリアに対応する前記状態パラメータ及び前記画角座標をマスキングデータとして設定するマスキングデータ設定手段と、
   前記マスキングデータを記憶するマスキングデータ記憶手段と、
   撮影方向や画角の操作量に応じた前記状態パラメータの変化量と、操作を開始したときからの時間経過に応じた前記状態パラメータの変化量を規定する加速係数と、を応答特性として記憶する応答特性記憶手段と、
   前記撮像手段に関する撮影方向や画角の操作指示を取得すると、該操作指示に応じた前記応答特性を前記応答特性記憶手段から検索し、検索された前記応答特性を用いて該操作指示に基づく撮影方向や画角の操作量に応じた前記状態パラメータの変化量を算出し、該状態パラメータの変化量に前記加速係数を乗算して該状態パラメータを補正し、補正された該状態パラメータの変化量を用いて、前記状態パラメータの変化量に応じて相対的に変化する更新画面上の前記マスキングエリアの位置を算出するマスキングエリア算出手段と、
   前記撮像手段の撮影した画面の画像データに対し、前記マスキングエリア算出手段によって算出された前記マスキングエリアの位置を用いてマスキング処理し、出力画像データを生成するマスキング処理手段と、
   を具備することを特徴とする監視カメラ装置。

Images