JP5132705B2

JP5132705B2 - Image processing device

Info

Publication number: JP5132705B2
Application number: JP2010072363A
Authority: JP
Inventors: 克也直井; 悠子新井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-03-26
Filing date: 2010-03-26
Publication date: 2013-01-30
Anticipated expiration: 2030-03-26
Also published as: JP2011205517A

Description

本発明は、画像にプライバシーマスク処理を施す画像処理装置に関する。 The present invention relates to an image processing apparatus that performs privacy mask processing on an image.

近年、盗難等の犯罪防止用、事故、事件等の証拠記録用として、街角、マンションの入口、店内等に監視カメラを設置し、撮影箇所において長時間撮影対象物を撮影することにより対象物体の状況や推移をリアルタイムに観察するとともに、撮影した画像をハードディスクドライブ等の記憶装置に記憶させる監視カメラシステムが普及しており、記憶装置に記憶されている画像が、後の分析や事件の証拠として用いられている。一方、看板が写ってしまって住所が特定されてしまったり、窓から建物の内部が写ってしまったりする等、プライバシーの侵害につながる画像が含まれるケースも生じることから、監視カメラで撮影した画像に対して、その一部を隠すためのマスク、いわゆるプライバシーマスクを付加する技術が開発されている（特許文献１参照）。特許文献１に記載された技術では、パン、チルトといった監視カメラの回転に応じてマスクの位置を補正することができる。 In recent years, surveillance cameras have been installed on street corners, apartment entrances, in stores, etc. to prevent crimes such as theft and to record evidence of accidents, incidents, etc. Surveillance camera systems that observe the situation and transition in real time and store the captured images in a storage device such as a hard disk drive are widespread, and the images stored in the storage device are used as evidence for later analysis and incidents. It is used. On the other hand, there are cases where images that lead to infringement of privacy, such as when a signboard appears and the address is specified, or the interior of the building is reflected from the window, etc. On the other hand, a technique for adding a mask for hiding a part thereof, a so-called privacy mask has been developed (see Patent Document 1). With the technique described in Patent Document 1, the position of the mask can be corrected according to the rotation of the surveillance camera such as panning and tilting.

特開２００４−０１５３６２号公報JP 2004-015362 A

一般的な監視カメラにおいて、光学中心と画像中心とは一致しておらず、また、これらのズレ量及び方向は、監視カメラごとに個体差がある上、監視カメラと被写体との距離によっても変わってしまう。しかしながら、特許文献１に記載された技術では、かかる不一致を考慮していないため、ズーム時にはマスクで隠すべき被写体が見えてしまうおそれがある。 In a general surveillance camera, the optical center and the image center do not match, and the amount and direction of these deviations vary depending on the surveillance camera and also varies depending on the distance between the surveillance camera and the subject. End up. However, since the technique described in Patent Document 1 does not consider such inconsistency, there is a possibility that an object to be hidden with a mask may be seen during zooming.

本発明は、前記した問題を解決すべく創案されたものであり、プライバシーマスクによって適切に被写体を隠すことが可能な画像処理装置を提供することを課題とする。 The present invention has been made to solve the above-described problem, and an object of the present invention is to provide an image processing apparatus capable of appropriately hiding a subject with a privacy mask.

前記課題を解決するため、本発明の画像処理装置は、ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部を備え、前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正することを特徴とする。 In order to solve the above problems, an image processing apparatus of the present invention is an image processing apparatus that processes an image captured by a camera having a zoom function and a rotation function, and is a privacy mask that includes a closed region with respect to a subject of the image. A privacy mask adding unit for adding, a subject detecting unit for detecting the position of the subject in the other image based on the feature amount of the subject in the one image, and in the image of the subject by zooming and rotating A privacy mask display calculation unit that calculates a display position of the privacy mask according to movement, and the privacy mask display calculation unit is based on the position of the subject detected by the subject detection unit during zooming. Position the privacy mask so that the privacy mask tracks the subject. Corrected, during rotation, based on the angle of the rotation, the privacy mask and corrects a position of the privacy mask to track the subject.

本発明によれば、プライバシーマスクによって適切に被写体を隠すことができる。 According to the present invention, the subject can be appropriately hidden by the privacy mask.

本発明の実施形態に係る監視システムを模式的に示す図である。It is a figure showing typically the surveillance system concerning the embodiment of the present invention. 図１の画像信号処理部を示すブロック図である。It is a block diagram which shows the image signal processing part of FIG. 図２の検波処理部を示すブロック図である。It is a block diagram which shows the detection process part of FIG. 図１の被写体検出部を示すブロック図である。It is a block diagram which shows the to-be-photographed object detection part of FIG. 図４の記憶部に記憶された情報を説明するための図である。It is a figure for demonstrating the information memorize | stored in the memory | storage part of FIG. ズーム後の被写体の検出手法の一例を説明するための図である。It is a figure for demonstrating an example of the detection method of the to-be-zoomed subject. 移動ベクトル計算部による移動ベクトル決定手法の詳細を説明するための図である。It is a figure for demonstrating the detail of the movement vector determination method by a movement vector calculation part. 図１のプライバシーマスク設定部及びプライバシーマスク表示演算部を示すブロック図である。It is a block diagram which shows the privacy mask setting part and privacy mask display calculating part of FIG. （ａ）は、プライバシーマスクが付加される前の画像を示す図、（ｂ）は、プライバシーマスクが付加された画像を示す図である。(A) is a figure which shows the image before a privacy mask is added, (b) is a figure which shows the image to which the privacy mask was added. プライバシーマスクを付加する際の３次元図である。It is a three-dimensional view when adding a privacy mask. （ａ）は、光学中心と画像中心とが一致する場合のズームによる被写体の広がりを説明するための図であり、（ｂ）は光学中心と画像中心とがずれている場合のズームによる被写体の広がりを説明するための図である。(A) is a figure for demonstrating the breadth of the object by zoom when an optical center and an image center correspond, (b) is a figure of the object by zoom when an optical center and the image center have shifted | deviated. It is a figure for demonstrating breadth. 本発明の実施形態に係る監視システムの第一の動作例を説明するための図である。It is a figure for demonstrating the 1st operation example of the monitoring system which concerns on embodiment of this invention. 本発明の実施形態に係る監視システムの第二の動作例を説明するための図である。It is a figure for demonstrating the 2nd operation example of the monitoring system which concerns on embodiment of this invention.

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。以下の説明において、プライバシーマスクが付加される被写体は、窓、写真、看板等といった静止している被写体、すなわち静止対象物（静止物体）であり、被写体の移動とは、ズーム及び回転による被写体の画像内における大きさの変化、位置の変化を指す。 Hereinafter, embodiments of the present invention will be described with reference to the drawings as appropriate. Similar parts are denoted by the same reference numerals, and redundant description is omitted. In the following description, a subject to which a privacy mask is added is a stationary subject such as a window, a photograph, or a signboard, that is, a stationary object (stationary object). A change in size or position in an image.

まず、本発明の実施形態に係る監視システムの構成について、図１〜図９を参照して説明する。 First, the configuration of a monitoring system according to an embodiment of the present invention will be described with reference to FIGS.

図１に示すように、本発明の実施形態に係る監視システム１は、監視カメラ１０と、端末２０と、を備えており、監視カメラ１０及び端末２０は、ネットワークＮＷを介して通信可能に接続されている。 As shown in FIG. 1, the monitoring system 1 according to the embodiment of the present invention includes a monitoring camera 10 and a terminal 20, and the monitoring camera 10 and the terminal 20 are communicably connected via a network NW. Has been.

＜端末＞
本発明の実施形態に係る端末２０は、キーボード、マウス等からなる入力部２１と、制御部２２と、記憶部２３と、ディスプレイからなる表示部２４とを備えるコンピュータである。端末２０の制御部２２は、監視カメラ１０から送信された映像を記憶部２３に記憶させたり表示部２４に表示させたりする。また、端末２０の制御部２２は、ユーザによる入力部２１の操作（例えば、マウスのドラッグ操作による閉領域の指定等）に基づいて、監視カメラ１０によって撮像された映像にプライバシーマスクを設定する被写体の位置に関する位置情報を生成し、ネットワークＮＷを介して監視カメラ１０へ送信する。また、端末２０の制御部２２は、ユーザによる入力部２１の操作に基づいて、監視カメラ１０の撮像部１１のズーム機構１１ａ及び回転機構１８を駆動させるための信号をネットワークＮＷを介して監視カメラ１０の機構制御部１７へ送信する。 <Terminal>
The terminal 20 according to the embodiment of the present invention is a computer including an input unit 21 including a keyboard and a mouse, a control unit 22, a storage unit 23, and a display unit 24 including a display. The control unit 22 of the terminal 20 stores the video transmitted from the monitoring camera 10 in the storage unit 23 or displays it on the display unit 24. In addition, the control unit 22 of the terminal 20 is a subject that sets a privacy mask on the video imaged by the monitoring camera 10 based on the operation of the input unit 21 by the user (for example, designation of a closed region by dragging the mouse). Is generated and transmitted to the monitoring camera 10 via the network NW. Further, the control unit 22 of the terminal 20 sends a signal for driving the zoom mechanism 11a and the rotation mechanism 18 of the imaging unit 11 of the monitoring camera 10 based on the operation of the input unit 21 by the user via the network NW. 10 to the mechanism control unit 17.

＜監視カメラ＞
本発明の実施形態に係る監視カメラ１０は、撮像部１１と、画像信号処理部１２と、記憶部１３と、被写体検出部１４と、プライバシーマスク設定部１５と、プライバシーマスク表示演算部１６と、機構制御部１７と、回転機構１８と、を備える。これらのうち、撮像部１１及び回転機構１８を除く画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７の組合せが、特許請求の範囲における画像処理装置の一例である。かかる画像処理装置は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、入出力回路等から構成される。 <Monitoring camera>
The surveillance camera 10 according to the embodiment of the present invention includes an imaging unit 11, an image signal processing unit 12, a storage unit 13, a subject detection unit 14, a privacy mask setting unit 15, a privacy mask display calculation unit 16, and A mechanism control unit 17 and a rotation mechanism 18 are provided. Among these, the combination of the image signal processing unit 12 excluding the imaging unit 11 and the rotation mechanism 18, the storage unit 13, the subject detection unit 14, the privacy mask setting unit 15, the privacy mask display calculation unit 16, and the mechanism control unit 17 is patented. It is an example of the image processing apparatus in a claim. Such an image processing apparatus includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read-Only Memory), an input / output circuit, and the like.

≪撮像部及び回転機構≫
撮像部１１は、被写体を撮像するための光学系及び撮像素子を有するカメラ本体である。撮像部１１によって撮像された映像（一連の画像）は、画像信号として、順次、画像信号処理部１２へ出力される。 ≪Image pickup unit and rotation mechanism≫
The imaging unit 11 is a camera body having an optical system and an imaging device for imaging a subject. Video (a series of images) captured by the imaging unit 11 is sequentially output to the image signal processing unit 12 as an image signal.

また、撮像部１１は、ズーム機構１１ａを備える。ズーム機構１１ａは、光学系を駆動することによって、撮影倍率を変更するための機構である。回転機構１８は、パン方向及びチルト方向に回転することによって、監視カメラ１０の撮影方向を変更するための機構である。 The imaging unit 11 includes a zoom mechanism 11a. The zoom mechanism 11a is a mechanism for changing the photographing magnification by driving the optical system. The rotation mechanism 18 is a mechanism for changing the shooting direction of the monitoring camera 10 by rotating in the pan direction and the tilt direction.

≪画像信号処理部１２≫
画像信号処理部１２は、撮像部１１によって撮像された画像にプライバシーマスクを付加した画像を生成し、生成された画像をネットワークＮＷを介して端末２０へ送信する。
図２に示すように、画像信号処理部１２は、機能部として、画像処理部１２ａと、検波処理部１２ｂと、記憶部管理部１２ｃと、プライバシーマスク付加部１２ｄと、画像送信部１２ｅと、を備える。 << Image Signal Processing Unit 12 >>
The image signal processing unit 12 generates an image obtained by adding a privacy mask to the image captured by the imaging unit 11, and transmits the generated image to the terminal 20 via the network NW.
As shown in FIG. 2, the image signal processing unit 12 includes, as function units, an image processing unit 12a, a detection processing unit 12b, a storage management unit 12c, a privacy mask addition unit 12d, an image transmission unit 12e, Is provided.

画像処理部１２ａは、撮像部１１から出力された画像を取得し、取得された画像に輝度補正、色補正、ガンマ補正等を処理を施す。処理された画像は、プライバシーマスク付加部１２ｃへ出力される。 The image processing unit 12a acquires the image output from the imaging unit 11, and performs processing such as luminance correction, color correction, and gamma correction on the acquired image. The processed image is output to the privacy mask adding unit 12c.

検波処理部１２ｂは、撮像部１１から出力された画像を取得し、取得された画像に対して検波処理を施し、各種特徴量を検波する。図３に示すように、検波処理部１２ｂは、特徴量として画像のエッジ特徴量を検波するエッジ検波部１２ｂ１と、特徴量として画像の輝度を検波する輝度検波部１２ｂ２と、特徴量として画像のヒストグラムを検波するヒストグラム検波部１２ｂ３と、を備える。エッジ検波部１２ｂ１、輝度検波部１２ｂ２及びヒストグラム検波部１２ｂ３は、後記するプライバシーマスク表示処理部１６ｃから特徴量を検波すべき位置を取得し、当該位置の各種特徴量を検波する。検波されたエッジ、輝度及びヒストグラムは、特徴量取得部１４ａへ出力される。 The detection processing unit 12b acquires the image output from the imaging unit 11, performs detection processing on the acquired image, and detects various feature amounts. As shown in FIG. 3, the detection processing unit 12b includes an edge detection unit 12b1 that detects an edge feature amount of an image as a feature amount, a luminance detection unit 12b2 that detects the luminance of the image as a feature amount, and an image A histogram detection unit 12b3 for detecting the histogram. The edge detection unit 12b1, the luminance detection unit 12b2, and the histogram detection unit 12b3 acquire a position where the feature value is to be detected from the privacy mask display processing unit 16c described later, and detect various feature values at the position. The detected edge, luminance, and histogram are output to the feature amount acquisition unit 14a.

図２に戻り、記憶部管理部１２ｃは、記憶部１３を管理するものであって、プライバシーマスクが付加される前の画像を記憶部１３に一時的に記憶させたり、記憶部１３に一時的に記憶された、プライバシーマスクが付加される前の画像を読み出してプライバシーマスク付加部１２ｄへ出力したりする。本実施形態では、ズーム及び回転による被写体の画像内における移動後に移動した被写体を検出してプライバシーマスクを付加する構成であるため、画像を遅延させないと、被写体がプライバシーマスクによって隠されずに見えてしまうおそれがある。すなわち、記憶部管理部１２ｃは、プライバシーマスクが付加される前の画像を数コマ分遅延させてプライバシーマスク付加部１２ｄへ出力することにより、プライバシーマスク付加部１２ｄが、プライバシーマスクを被写体の位置に確実に付加することができる。 Returning to FIG. 2, the storage unit management unit 12 c manages the storage unit 13, and temporarily stores the image before the privacy mask is added in the storage unit 13 or temporarily stores the image in the storage unit 13. The image before the privacy mask is added is read out and output to the privacy mask adding unit 12d. In the present embodiment, since the subject moved after the movement in the image by zooming and rotation is detected and the privacy mask is added, the subject appears to be hidden by the privacy mask unless the image is delayed. There is a fear. That is, the storage management unit 12c delays the image before the privacy mask is added by several frames and outputs the delayed image to the privacy mask addition unit 12d, so that the privacy mask addition unit 12d sets the privacy mask at the position of the subject. It can be added reliably.

プライバシーマスク付加部１２ｄは、プライバシーマスク表示演算部１６から出力された位置情報に基づいて、画像にプライバシーマスクを付加する。プライバシーマスクが付加された画像は、画像送信部１２ｅへ出力される。 The privacy mask adding unit 12d adds a privacy mask to the image based on the position information output from the privacy mask display calculation unit 16. The image to which the privacy mask is added is output to the image transmission unit 12e.

画像送信部１２ｅは、プライバシーマスクが付加された画像をネットワークＮＷを介して端末２０の制御部２２へ送信する。端末２０の制御部２２は、プライバシーマスクが付加された画像を取得し、記憶部２３に記憶させたり、表示部２４に表示させたりする。画像送信部１２ｅは、アナログ出力に限定されず、ＲＥＣ６５６等のディジタル出力にも対応可能である。 The image transmission unit 12e transmits the image with the privacy mask added to the control unit 22 of the terminal 20 via the network NW. The control unit 22 of the terminal 20 acquires an image to which a privacy mask is added and stores the image in the storage unit 23 or displays the image on the display unit 24. The image transmission unit 12e is not limited to analog output, and can also support digital output such as REC656.

≪記憶部≫
図１に戻り、記憶部１３には、プライバシーマスクが付加される前の画像が一時的に記憶される。 ≪Storage section≫
Returning to FIG. 1, the image before the privacy mask is added is temporarily stored in the storage unit 13.

≪被写体検出部≫
被写体検出部１４は、プライバシーマスクの位置情報のズーム補正を行うために、一の画像においてプライバシーマスクが付加された被写体の他の画像における位置を検出し、一の画像と他の画像との間における当該被写体の移動ベクトルを計算する。被写体検出部１４は、ズームが実行されているときのみ、被写体の位置を検出する。図４に示すように、被写体検出部１４は、機能部として、特徴量取得部１４ａと、記憶部１４ｂと、特徴量検索部１４ｃと、移動ベクトル計算部１４ｄと、を備える。 ≪Subject detection part≫
The subject detection unit 14 detects a position in another image of the subject to which the privacy mask is added in one image in order to perform zoom correction of the position information of the privacy mask, and between the one image and the other image The movement vector of the subject at is calculated. The subject detection unit 14 detects the position of the subject only when zooming is being performed. As shown in FIG. 4, the subject detection unit 14 includes a feature amount acquisition unit 14a, a storage unit 14b, a feature amount search unit 14c, and a movement vector calculation unit 14d as functional units.

特徴量取得部１４ａは、検波処理部１２ｂから、プライバシーマスクが付加されている被写体の特徴量（エッジ、輝度及びヒストグラム）を取得する。また、特徴量取得部１４ａは、後記するプライバシーマスク表示処理部１６ｃから、現在の被写体の位置情報を取得する。取得された特徴量は、記憶部１４ｂに記憶される。また、取得された特徴量及び現在の被写体の位置情報は、特徴量検索部１４ｃへ出力される。 The feature amount acquisition unit 14a acquires the feature amount (edge, luminance, and histogram) of the subject to which the privacy mask is added from the detection processing unit 12b. Further, the feature amount acquisition unit 14a acquires the current subject position information from the privacy mask display processing unit 16c described later. The acquired feature amount is stored in the storage unit 14b. Further, the acquired feature amount and the current subject position information are output to the feature amount search unit 14c.

記憶部１４ｂには、特徴量取得部１４ａによって取得された特徴量が記憶される。図５に示すように、プライバシーマスクが付加された被写体の特徴量は、マスクＮｏ、日時、プライバシーマスクの中心位置、プライバシーマスクの幅、パン角度及びチルト角度、ズーム倍率、被写体の移動ベクトル、設定中／稼働中のステータスフラグ（後記する）等と関連付けて記憶される。記憶部１４ｂに記憶された特徴量等のデータは、端末２０の表示部２４によって参照可能な構成であってもよい。 The feature quantity acquired by the feature quantity acquisition unit 14a is stored in the storage unit 14b. As shown in FIG. 5, the feature amount of the subject to which the privacy mask is added includes the mask number, date and time, privacy mask center position, privacy mask width, pan angle and tilt angle, zoom magnification, subject movement vector, setting It is stored in association with the status flag (described later), etc. The data such as the feature amount stored in the storage unit 14 b may be configured to be referred to by the display unit 24 of the terminal 20.

特徴量検索部１４ｃは、画像処理部１２ａからズーム後の画像を取得し、特徴量取得部１４ａによって取得された被写体の特徴量に基づいて、ズーム後の画像を順に走査して類似の特徴量の位置を検索することによって、ズーム後の被写体を検出する。 The feature amount search unit 14c acquires a zoomed image from the image processing unit 12a, and sequentially scans the zoomed image on the basis of the feature amount of the subject acquired by the feature amount acquisition unit 14a. The subject after zooming is detected by searching the position of.

特徴量検索部１４ｃによるズーム後の被写体の検出手法の一例について説明する。図６に示すように、ズーム前の被写体の中心位置を（ｉ_０，ｊ_０）、ズーム後の被写体の中心位置を（ｉ，ｊ）、ズーム倍率をＺとする。ズーム前の被写体の大きさを（Ｓ_Ｘ，Ｓ_Ｙ）とすると、ズーム後の被写体の大きさは（Ｓ_Ｘ×Ｚ，Ｓ_Ｙ×Ｚ）となる。ここで、ズーム前後で被写体の大きさが異なるため、特徴量の正規化が必要となる。この場合におけるズームによる特徴量差分ρは、以下の式で記述される。

ここで、Ｃ_Ｈはヒストグラムに関する特徴量、Ｃ_Ｂは輝度に関する特徴量、Ｃ_Ｅはエッジに関する特徴量であり、以下の式で記述される。

この結果、ズーム前の特徴量とズーム後の特徴量との差が最も小さい、すなわち、特徴量差分ρが最小となる（ｉ，ｊ）がズーム後の被写体の位置となる。 An example of a method for detecting a subject after zooming by the feature amount search unit 14c will be described. As shown in FIG. 6, the center position of the subject before zooming is (i ₀ , j ₀ ), the center position of the subject after zooming is (i, j), and the zoom magnification is Z. If the size of the subject before zooming is (S _X , S _Y ), the size of the subject after zooming is (S _X × Z, S _Y × Z). Here, since the size of the subject differs before and after zooming, normalization of the feature amount is necessary. The feature amount difference ρ due to zoom in this case is described by the following equation.

Here, C _H is a feature quantity related to a histogram, C _B is a feature quantity related to luminance, and C _E is a feature quantity related to an edge, and is described by the following expression.

As a result, the difference between the feature quantity before zooming and the feature quantity after zooming is the smallest, that is, (i, j) that minimizes the feature quantity difference ρ is the position of the subject after zooming.

図４に戻り、移動ベクトル計算部１４ｄは、画像内における、ズーム前の被写体とズーム後の被写体との移動ベクトルを計算する。この場合における移動ベクトルは、以下の式で記述される。

Returning to FIG. 4, the movement vector calculation unit 14 d calculates a movement vector between the object before zooming and the object after zooming in the image. The movement vector in this case is described by the following equation.

ここで、移動ベクトル計算部１４ｄによる移動ベクトル決定手法の詳細について、図７を参照して説明する。図７において、（ｉ_ｎ，ｊ_ｎ）は、画像外部に移動した被写体の中心座標であり、（ｉ_ｆ，ｊ_ｆ）は、被写体が画像外部に移動してしまった場合に、誤って検出された被写体の中心座標である。ズームによって被写体が画像外部に移動したり、被写体が他の被写体によって隠れてしまう場合には、特徴量検索部１４ｃが被写体の位置を誤って検出してしまうおそれがある。そこで、移動ベクトル計算部１４ｄは、記憶部１４ｂに記憶された前回計算された移動ベクトルと、今回計算された移動ベクトルと、を比較する。これらの移動ベクトルの向きが異なる場合には、移動ベクトル計算部１４ｄは、計算された移動ベクトルではなく、記憶部１４ｂに記憶された前回計算された移動ベクトルを採用する。向きが一致している場合には、今回計算された移動ベクトルを採用する。
前回計算された移動ベクトルを

とし、
今回計算された移動ベクトルを

とした場合、現在の移動ベクトル

を決定する場合には、下記式が用いられる。

Here, the details of the movement vector determination method by the movement vector calculation unit 14d will be described with reference to FIG. In FIG. 7, (i _n , j _n ) is the center coordinates of the subject moved outside the image, and (i _f , j _f ) is detected erroneously when the subject moves outside the image. The center coordinates of the subject. If the subject moves outside the image due to zooming or the subject is hidden by another subject, the feature amount search unit 14c may erroneously detect the position of the subject. Therefore, the movement vector calculation unit 14d compares the previously calculated movement vector stored in the storage unit 14b with the movement vector calculated this time. When the directions of these movement vectors are different, the movement vector calculation unit 14d adopts the previously calculated movement vector stored in the storage unit 14b instead of the calculated movement vector. If the directions match, the movement vector calculated this time is adopted.
The previously calculated movement vector

age,
The movement vector calculated this time

The current movement vector

Is used, the following equation is used.

前回計算された移動ベクトルと今回計算された移動ベクトルとが同じ方向を向いている場合には、今回計算された移動ベクトルを採用し、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。ただし、移動ベクトルは画像内の位置によって決まるため、撮像部１１が回転された場合には、被写体の画像外の位置の変化するため、記憶部１４ｂに記憶された移動ベクトルは使用することができなくなる。したがって、撮像部１１が回転された場合には、記憶部１４ｂ内の移動ベクトルは（０，０）に更新記憶され、移動ベクトル計算部１４ｄは今回計算された移動ベクトルを採用した後、今回計算された移動ベクトルを記憶部１４ｂに更新記憶させる。この手法は、下記式によって示される。

When the movement vector calculated last time and the movement vector calculated this time are in the same direction, the movement vector calculated this time is adopted, and the movement vector calculated this time is updated and stored in the storage unit 14b. However, since the movement vector is determined by the position in the image, when the imaging unit 11 is rotated, the position of the subject outside the image changes, so the movement vector stored in the storage unit 14b can be used. Disappear. Therefore, when the imaging unit 11 is rotated, the movement vector in the storage unit 14b is updated and stored at (0, 0), and the movement vector calculation unit 14d adopts the movement vector calculated this time and then calculates this time. The stored movement vector is updated and stored in the storage unit 14b. This technique is shown by the following equation.

前回計算された移動ベクトルが採用される場合には、被写体の位置が分からないため、移動ベクトル計算部１４ｄは、前回計算された移動ベクトルとズーム倍率の変化とに基づいて、ズームにより被写体が画像内において移動する量を計算し、移動ベクトルを最終的に決定する。 When the previously calculated movement vector is adopted, the position of the subject is not known, so the movement vector calculation unit 14d uses the zoom to change the image of the subject based on the previously calculated movement vector and the change in zoom magnification. The amount of movement is calculated, and the movement vector is finally determined.

≪プライバシーマスク設定部≫
図１に戻り、プライバシーマスク設定部１５は、ユーザによる入力部２１の操作に基づいて制御部２２から送信された、プライバシーマスクに関する情報（プライバシーマスクを設定する被写体の位置に関する位置情報）を、監視カメラ１内部で取り扱う座標系に設定し直す。図８に示すように、プライバシーマスク設定部１５は、機能部として、位置設定部１５ａと、角度設定部１５ｂと、を備える。 ≪Privacy mask setting part≫
Returning to FIG. 1, the privacy mask setting unit 15 monitors information on the privacy mask (position information on the position of the subject for which the privacy mask is set) transmitted from the control unit 22 based on the operation of the input unit 21 by the user. Set the coordinate system to be handled inside the camera 1 again. As shown in FIG. 8, the privacy mask setting unit 15 includes a position setting unit 15a and an angle setting unit 15b as functional units.

位置設定部１５ａは、端末２０の制御部２２から送信された、プライバシーマスクを設定する位置に関する位置情報（プライバシーマスクの中心位置、幅及び高さに関する情報）を取得し、かかる情報をカメラ内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。 The position setting unit 15a obtains position information (information regarding the center position, width, and height of the privacy mask) transmitted from the control unit 22 of the terminal 20 and related to the position where the privacy mask is set, and stores the information in the camera. It converts into the coordinate system to handle, and transmits to the angle correction process part 16a of the privacy mask display calculating part 16.

ここで、プライバシーマスクの座標の計算手法について、図９を参照して説明する。図９の例においては、監視カメラ１０の撮像部１１は、室内を撮像しており、その窓部分にプライバシーマスクが付加される（外の風景によって監視カメラ１０が設置された建物が判明することを防ぐため）。 Here, a method for calculating the coordinates of the privacy mask will be described with reference to FIG. In the example of FIG. 9, the imaging unit 11 of the monitoring camera 10 images a room, and a privacy mask is added to the window portion (the building in which the monitoring camera 10 is installed is determined by the outside scenery). To prevent).

図９（ｂ）に示すように、撮像部１１によって撮像された画像の横（水平）方向の総画素をＨ、縦（鉛直）方向の総画素をＶ、画像中心の座標を（０，０）とする。位置設定部１５ａは、端末２０の制御部２２から送信されたプライバシーマスクの中心位置（ｍ_ｈ，ｍ_ｖ）、幅ｈ_ｕ及び高さｖ_ｕに基づいて、画素における幅ｈ及び画素における高さｖ（監視カメラ１０の座標系における幅ｈ及び高さｖ）を計算する。

ここで、Ｒ_Ｈは横方向の分解能であり、Ｒ_Ｖは縦方向の分解能である。撮像部１１によって撮像された画像の信号においては、画像左上が（０，０）となるため、位置設定部１５ａは、下記式を用いてプライバシーマスクの四隅の座標を計算する。

As shown in FIG. 9B, the total pixel in the horizontal (horizontal) direction of the image captured by the imaging unit 11 is H, the total pixel in the vertical (vertical) direction is V, and the coordinates of the image center are (0, 0). ). The position setting unit 15a, based on the privacy mask center position (m _h , m _v ), the width h _u and the height v _u transmitted from the control unit 22 of the terminal 20, the width h and the pixel height in the pixel. v (width h and height v in the coordinate system of the monitoring camera 10) is calculated.

Here, _RH is the horizontal resolution, and _RV is the vertical resolution. In the signal of the image captured by the imaging unit 11, the upper left corner of the image is (0, 0), so the position setting unit 15a calculates the coordinates of the four corners of the privacy mask using the following formula.

図８に戻り、角度設定部１５ｂは、端末２０の制御部２２から送信された、監視カメラ１０の撮像部１１の回転角度に関する角度情報を取得し、かかる情報を監視カメラ１０内部で取り扱う座標系に変換し、プライバシーマスク表示演算部１６の角度補正処理部１６ａへ送信する。 Returning to FIG. 8, the angle setting unit 15 b acquires angle information regarding the rotation angle of the imaging unit 11 of the monitoring camera 10 transmitted from the control unit 22 of the terminal 20, and handles the information inside the monitoring camera 10. And transmitted to the angle correction processing unit 16a of the privacy mask display calculation unit 16.

ここで、プライバシーマスクを付加する際の２次元座標系について、図１０を参照して説明する。監視カメラ１０の撮像部１１は、３次元の回転制御が行われる、そのため、プライバシーマスクの同様に３次元に対応しなければならない。角度設定部１５ｂは、端末２０の制御部２２から送信された回転機構１８の回転角度に基づいて、水平方向の回転角度であるパン角θ、鉛直方向の回転角度であるチルト角σ、及び、監視カメラ１０から被写体までの距離ｒを計算する。 Here, a two-dimensional coordinate system for adding a privacy mask will be described with reference to FIG. The imaging unit 11 of the monitoring camera 10 is subjected to three-dimensional rotation control. For this reason, the imaging unit 11 must correspond to three dimensions in the same manner as the privacy mask. Based on the rotation angle of the rotation mechanism 18 transmitted from the control unit 22 of the terminal 20, the angle setting unit 15b is a pan angle θ that is a horizontal rotation angle, a tilt angle σ that is a vertical rotation angle, and The distance r from the monitoring camera 10 to the subject is calculated.

≪プライバシーマスク表示演算部≫
図１に戻り、プライバシーマスク表示演算部１６は、ズーム機構１１ａ及び回転機構１８による撮像方向の移動によって、画像におけるプライバシーマスクの位置を変更する必要が生じた場合に、プライバシーマスクの表示位置を補正する。図８に示すように、プライバシーマスク表示演算部１６は、機能部として、角度補正処理部１６ａと、ズーム補正処理部１６ｂと、プライバシーマスク表示処理部１６ｃと、を備える。 ≪Privacy mask display calculation section≫
Returning to FIG. 1, the privacy mask display calculation unit 16 corrects the display position of the privacy mask when it is necessary to change the position of the privacy mask in the image due to movement in the imaging direction by the zoom mechanism 11 a and the rotation mechanism 18. To do. As shown in FIG. 8, the privacy mask display calculation unit 16 includes an angle correction processing unit 16a, a zoom correction processing unit 16b, and a privacy mask display processing unit 16c as functional units.

角度補正処理部１６ａは、回転機構１８によって監視カメラ１０（撮像部１１）の撮像方向が回転移動したときに、当該回転の角度に基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。かかる補正については、公知の手法が適宜採用可能であるため、詳細な説明を省略する。 When the imaging direction of the monitoring camera 10 (imaging unit 11) is rotated by the rotation mechanism 18, the angle correction processing unit 16a positions the privacy mask so that the privacy mask tracks the subject based on the rotation angle. Correct. For this correction, a known method can be adopted as appropriate, and a detailed description thereof will be omitted.

ズーム補正処理部１６ｂは、ズーム機構１１ａによって撮像部１１の撮像領域が変化したときに、ズームの倍率及び移動ベクトル計算部１４ｄによって計算された移動ベクトルに基づいて、プライバシーマスクが被写体を追跡するようにプライバシーマスクの位置を補正する。 The zoom correction processing unit 16b causes the privacy mask to track the subject based on the zoom magnification and the movement vector calculated by the movement vector calculation unit 14d when the imaging area of the imaging unit 11 is changed by the zoom mechanism 11a. Correct the privacy mask position.

ここで、ズーム時における画像内における被写体の移動について、図１１を参照して説明する。図１１（ａ）に示すように、撮像部１１の光学中心と画像中心とが一致する場合には、当該画像をズームによって拡大すると、被写体は画像中心を中心として放射状に広がっていく。一方、図１１（ｂ）に示すように、撮像部１１の光学中心と画像中心とがずれている場合には、当該画像をズームによって拡大すると、被写体は光学中心を中心として放射状に広がっていくことになる。例えば、図１１（ｂ）に示すように光学中心が画像右下側にある場合には、被写体は全体的に左上に移動していくことになる。また、撮像部１１と被写体との距離によっても、ズームに伴う被写体の移動量は異なってくる。このため、プライバシーマスクが画像上の同じ位置に付加されていたとしても、光学中心と画像中心とのずれの向き及び量が変わればズームに伴う被写体の移動量は異なることになり、計算によってプライバシーマスクの位置を補正することは不可能である。 Here, the movement of the subject in the image during zooming will be described with reference to FIG. As shown in FIG. 11A, when the optical center of the image pickup unit 11 and the image center coincide with each other, when the image is enlarged by zooming, the subject spreads radially around the image center. On the other hand, as shown in FIG. 11B, when the optical center of the imaging unit 11 and the image center are shifted, if the image is enlarged by zooming, the subject spreads radially around the optical center. It will be. For example, as shown in FIG. 11B, when the optical center is on the lower right side of the image, the subject moves to the upper left as a whole. The amount of movement of the subject accompanying zooming also varies depending on the distance between the imaging unit 11 and the subject. For this reason, even if the privacy mask is added at the same position on the image, the amount of movement of the subject due to zooming will change if the direction and amount of deviation between the optical center and the image center changes. It is impossible to correct the position of the mask.

図８に戻り、プライバシーマスク表示処理部１６ｃは、角度補正処理部１６ａ及びズーム補正処理部１６ｂによって補正されたプライバシーマスクの位置に関する位置情報を取得し、これらに基づいて、プライバシーマスクの位置に関する位置情報を決定する。決定された位置情報は、プライバシーマスク付加部１２ｄ及び特徴量取得部１４ａへ出力される。 Returning to FIG. 8, the privacy mask display processing unit 16 c acquires the position information related to the position of the privacy mask corrected by the angle correction processing unit 16 a and the zoom correction processing unit 16 b, and based on these, the position related to the position of the privacy mask is acquired. Determine information. The determined position information is output to the privacy mask adding unit 12d and the feature amount acquiring unit 14a.

＜第一の動作例＞
続いて、本発明の実施形態に係る監視システム１の第一の動作例について、図１２を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ３）。 <First operation example>
Subsequently, a first operation example of the monitoring system 1 according to the embodiment of the present invention will be described with reference to FIG. First, when the user operates the input unit 21 of the terminal 20, the mode of the monitoring camera 10 is switched between setting and operation. When the mode of the monitoring camera 10 is the setting mode (Yes in Step S1), the angle setting unit 15b sets the pan angle and the tilt angle (Step S2), and then the input unit 21 of the terminal 20 by the user. In response to the operation, the position setting unit 15a sets position information related to the position of the privacy mask, and the privacy mask adding unit 12d adds a privacy mask based on the set position information (step S3).

一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ１１でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ１２）。さらに、ステップＳ１１でＮｏの場合及びステップＳ１２の実行後において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ１３でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ１４）。パン又はチルトされていない場合（ステップＳ１１でＮｏ）、かつ、ズームされていない場合（ステップＳ１３でＮｏ）には、プライバシーマスク表示補正処理は行われない。 On the other hand, when the mode of the monitoring camera 10 is the operating mode (No in step S1), when the imaging unit 11 is panned or tilted by operating the input unit 21 of the terminal 20 (step S11). Yes), the angle correction processing unit 16a performs a privacy mask display correction process based on the pan angle or the tilt angle (step S12). Furthermore, in the case of No in step S11 and after the execution of step S12, if the imaging unit 11 is zoomed by the user operating the input unit 21 of the terminal 20 (Yes in step S13), the zoom correction processing unit 16b performs a privacy mask display correction process by feature amount search (step S14). When panning or tilting is not performed (No in step S11) and when zooming is not performed (No in step S13), the privacy mask display correction process is not performed.

＜第二の動作例＞
続いて、本発明の実施形態に係る監視システム１の第二の動作例について、図１３を参照して説明する。まず、ユーザが端末２０の入力部２１を操作することによって、監視カメラ１０のモードが設定中又は稼働中に切り替えられる。監視カメラ１０のモードが設定中モードである場合には（ステップＳ２１でＹｅｓ）、角度設定部１５ｂがパン角及びチルト角を設定し（ステップＳ２２）、続いて、ユーザによる端末２０の入力部２１の操作に応じて、位置設定部１５ａがプライバシーマスクの位置に関する位置情報を設定し、プライバシーマスク付加部１２ｄが設定された位置情報に基づいてプライバシーマスクを付加する（ステップＳ２３）。 <Second operation example>
Next, a second operation example of the monitoring system 1 according to the embodiment of the present invention will be described with reference to FIG. First, when the user operates the input unit 21 of the terminal 20, the mode of the monitoring camera 10 is switched between setting and operation. When the mode of the monitoring camera 10 is the setting mode (Yes in Step S21), the angle setting unit 15b sets the pan angle and the tilt angle (Step S22), and then the input unit 21 of the terminal 20 by the user. In response to the operation, the position setting unit 15a sets position information regarding the position of the privacy mask, and the privacy mask adding unit 12d adds a privacy mask based on the set position information (step S23).

一方、監視カメラ１０のモードが稼働中モードである場合において（ステップＳ２１でＮｏ）、ユーザが端末２０の入力部２１を操作することによって撮像部１１がズームされた場合には（ステップＳ３１でＹｅｓ）、ズーム補正処理部１６ｂが特徴量検索によるプライバシーマスク表示補正処理を行う（ステップＳ３２）。また、ステップＳ３１でＮｏの場合において、ユーザが端末２０の入力部２１を操作することによって撮像部１１がパン又はチルトされた場合には（ステップＳ３３でＹｅｓ）、角度補正処理部１６ａがパン角又はチルト角によるプライバシーマスク表示補正処理を行う（ステップＳ３４）。ズームされていない場合（ステップＳ３１でＮｏ）、かつ、パン又はチルトされていない場合（ステップＳ３３でＮｏ）には、プライバシーマスク表示補正処理は行われない。第二の動作例によると、ズームとパン又はチルトとが同時に行われた場合には、特徴量検索によるプライバシーマスク表示補正処理を優先することができる。 On the other hand, when the mode of the monitoring camera 10 is the operating mode (No in Step S21), when the imaging unit 11 is zoomed by the user operating the input unit 21 of the terminal 20 (Yes in Step S31). ), The zoom correction processing unit 16b performs a privacy mask display correction process based on a feature amount search (step S32). In the case of No in step S31, when the imaging unit 11 is panned or tilted by operating the input unit 21 of the terminal 20 (Yes in step S33), the angle correction processing unit 16a is set to the pan angle. Alternatively, privacy mask display correction processing based on the tilt angle is performed (step S34). If it is not zoomed (No in step S31) and if it is not panned or tilted (No in step S33), the privacy mask display correction process is not performed. According to the second operation example, when zooming and panning or tilting are performed at the same time, priority can be given to the privacy mask display correction processing by the feature amount search.

本発明の実施形態に係る監視カメラ１０は、パン又はチルト時には、パン角又はチルト角によってプライバシーマスクの位置を補正するので、少ない演算量でプライバシーマスクの補正を行うことができ、ズーム時には、特徴量検索によってプライバシーマスクの位置を補正するので、ズーム時において、光学中心と画像中心とのズレによって被写体がプライバシーマスクによって隠されることなく見えてしまうという事態を防ぐことができる。また、本発明の実施形態に係る監視カメラ１０は、被写体検出部１４がズーム時にのみ被写体の位置を検出し、ズームが実行されていないときには被写体の位置の検出を停止するので、演算量を抑えることができる。 The surveillance camera 10 according to the embodiment of the present invention corrects the position of the privacy mask by the pan angle or the tilt angle at the time of panning or tilting. Since the position of the privacy mask is corrected by the amount search, it is possible to prevent a situation in which the subject is not hidden by the privacy mask due to a deviation between the optical center and the image center during zooming. In the monitoring camera 10 according to the embodiment of the present invention, the subject detection unit 14 detects the position of the subject only when zooming, and stops detecting the position of the subject when zooming is not being performed. be able to.

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、図１において、１台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成を図示したが、複数台の監視カメラ１０と１台の端末２０とがネットワークＮＷを介して接続される構成であってもよい。また、監視カメラ１０における画像信号処理部１２、記憶部１３、被写体検出部１４、プライバシーマスク設定部１５、プライバシーマスク表示演算部１６及び機構制御部１７は、撮像部１１と別体に設けられる構成であってもよい。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A design change is possible suitably in the range which does not deviate from the summary of this invention. For example, FIG. 1 illustrates a configuration in which one monitoring camera 10 and one terminal 20 are connected via a network NW, but a plurality of monitoring cameras 10 and one terminal 20 are connected to a network NW. It may be configured to be connected via Further, the image signal processing unit 12, the storage unit 13, the subject detection unit 14, the privacy mask setting unit 15, the privacy mask display calculation unit 16, and the mechanism control unit 17 in the monitoring camera 10 are provided separately from the imaging unit 11. It may be.

１０監視カメラ（画像処理装置）
１１撮像部（カメラ）
１２ｄプライバシーマスク付加部
１４被写体検出部
１６プライバシーマスク表示演算部 10 Surveillance camera (image processing device)
11 Imaging unit (camera)
12d Privacy mask addition unit 14 Subject detection unit 16 Privacy mask display calculation unit

Claims

ズーム機能及び回転機能を有するカメラによって撮像された画像を処理する画像処理装置であって、
画像の被写体に対して閉領域からなるプライバシーマスクを付加するプライバシーマスク付加部と、
一の前記画像における前記被写体の特徴量に基づいて、他の前記画像における前記被写体の位置を検出する被写体検出部と、
ズーム及び回転による前記被写体の画像内における移動に応じて、前記プライバシーマスクの表示位置を演算するプライバシーマスク表示演算部と、
を備え、
前記プライバシーマスク表示演算部は、ズーム時には、前記被写体検出部によって検出された前記被写体の位置に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正し、回転時には、当該回転の角度に基づいて、前記プライバシーマスクが前記被写体を追跡するように前記プライバシーマスクの位置を補正する
ことを特徴とする画像処理装置。 An image processing apparatus that processes an image captured by a camera having a zoom function and a rotation function,
A privacy mask adding unit for adding a privacy mask consisting of a closed region to the subject of the image;
A subject detection unit that detects a position of the subject in the other image based on a feature amount of the subject in the one image;
A privacy mask display calculation unit that calculates a display position of the privacy mask according to movement of the subject in the image by zooming and rotation;
With
The privacy mask display calculation unit corrects the position of the privacy mask so that the privacy mask tracks the subject based on the position of the subject detected by the subject detection unit during zooming, An image processing apparatus that corrects the position of the privacy mask based on the rotation angle so that the privacy mask tracks the subject.

前記被写体検出部は、ズーム時にのみ前記被写体の位置を検出する
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the subject detection unit detects the position of the subject only during zooming.

前記プライバシーマスク付加部は、静止している前記被写体に対して前記プライバシーマスクを付加する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the privacy mask adding unit adds the privacy mask to the stationary subject.