JP2005175970A - Imaging system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging system including a plurality of photographing optical systems with different photographing magnifications and efficiently transmitting a video signal to a network while obtaining a magnified image whereby the figure of an intruder can be sufficiently and visually recognized with the photographing system having a higher photographing magnification. <P>SOLUTION: The photographing system includes: a photographing system; a detection means for detecting and extracting a particular object area in a photographed image obtained with the photographing system; a coding means for coding image data; a transmission means for transmitting the coded image data; and a control means for controlling the coding by the coding means. When the detection means does not detect the particular object area, the control means allows the coding means to code moving image data of the photographed image. When the detection means detects the particular object area, the control means allows the coding means to code the moving image data of the particular object area extracted by the detection means. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、主として監視を目的とした撮像システムに関する。   The present invention relates to an imaging system mainly for monitoring purposes.

≪広角レンズを用いた監視システム≫
従来、撮像装置を用いた映像による監視システムについては様々な提案がされている。そのひとつに魚眼レンズで代表されるような広角レンズを用いた監視システムがある。 ≪Surveillance system using wide-angle lens≫
Conventionally, various proposals have been made on a video monitoring system using an imaging device. One of them is a monitoring system using a wide-angle lens represented by a fish-eye lens.

広角レンズを用いた監視システムの特徴は、一台の撮像装置による撮影像で広範囲な領域を監視できる点にあり、監視エリアに対する撮像装置設備費用のコスト比率が低いという利点もある。また、広範囲な監視領域撮影像は、エリア内で移動する侵入者が画面から外れることも少なく、侵入者の位置が視認しやすいという利点もある。   A feature of a monitoring system using a wide-angle lens is that a wide area can be monitored with a captured image by a single imaging device, and there is also an advantage that the cost ratio of imaging device equipment cost to the monitoring area is low. In addition, a wide range of surveillance area captured images has the advantage that intruders moving within the area are less likely to be off the screen and the position of the intruder is easily visible.

図１６は、あるオフィス内上部に一台の広角カメラ１６０１を設置し、比較的広範囲な監視領域１６０２を監視している状態を表した図である。いま、オフィス内に侵入者１６０３が侵入してきて、窃盗を目的にオフィス内を物色しながら移動している。   FIG. 16 is a diagram showing a state where a single wide-angle camera 1601 is installed in an upper part of a certain office and a relatively wide monitoring area 1602 is monitored. Now, an intruder 1603 has entered the office and is moving around in the office for the purpose of theft.

このような状況において、広角カメラ１６０１は撮像視野範囲が広いため、オフィス内に侵入してきた侵入者１６０３のほか、机、ドアなどオフィス内の多数の什器設備も同一映像内に撮影することができる。これにより、侵入者のいる場所を視覚によって直ちに特定することができる。また、撮像視野範囲が広いため、侵入者１６０３がオフィス内を広い範囲で移動しても、撮影像から外れおそれは少ない。   In such a situation, since the wide-angle camera 1601 has a wide imaging field of view, in addition to the intruder 1603 who has entered the office, a large number of fixtures in the office such as desks and doors can be captured in the same image. . Thereby, the place where the intruder is present can be immediately identified visually. In addition, since the imaging field of view is wide, even if the intruder 1603 moves in the office within a wide range, there is little risk of detachment from the captured image.

このような広角カメラを用いた監視システムに関する技術としては、撮像光学系が広角になるほど撮影像の歪曲が大きくなるため、撮影像の歪曲を画像処理によって補正する技術や、撮像光学系にミラー光学部材を用い、周囲３６０°の全方位を監視領域にするものなどが提案されている。
一方、広角レンズを用いた監視システムにおいて前述のような利点がある一方で、広範囲領域にいる侵入者１６０３の像は監視領域１６０２が広範囲になるほど小さくなって視認しにくくなる。 As a technique related to a monitoring system using such a wide-angle camera, the distortion of the captured image increases as the imaging optical system becomes wider, so the distortion of the captured image is corrected by image processing, or the mirror optical system is used in the imaging optical system. A member using a member and having a 360 ° surrounding as a monitoring region has been proposed.
On the other hand, while the monitoring system using the wide-angle lens has the advantages as described above, the image of the intruder 1603 in the wide area becomes smaller and becomes difficult to visually recognize as the monitoring area 1602 becomes wider.

図１７は、図１６で示したように、オフィス内に侵入者１６０３が侵入してきた状況を広角カメラ１６０１で撮影した映像のうちの１シーンを表した図である。同図からわかるように、撮影領域が広いほど侵入者の位置は認識し易い反面、侵入者の顔、表情、容姿の細部を認識するのは難しくなる。   FIG. 17 is a diagram showing one scene of the video captured by the wide-angle camera 1601 when the intruder 1603 has entered the office as shown in FIG. As can be seen from the figure, the larger the shooting area, the easier it is to recognize the position of the intruder, but it becomes more difficult to recognize details of the intruder's face, facial expression, and appearance.

この問題を解決する技術として、広角カメラで撮影された監視領域内の特定被写体（侵入者）を検出し、特定被写体領域を拡大表示する技術なども提案されている。
≪複数台の撮像装置を用いた監視システム≫
また、他の監視システムとして、監視領域１８０２内を複数台の撮像装置を用いて監視するシステムも提案されている。図１８は、図１６に示す監視領域１６０１を３つの監視領域に分割し、それぞれ各監視領域を標準レンズを搭載した３台のカメラ１８０１で監視している様子を示した図である。 As a technique for solving this problem, a technique for detecting a specific subject (intruder) in a monitoring area photographed by a wide-angle camera and enlarging and displaying the specific subject area has been proposed.
≪Monitoring system using multiple imaging devices≫
As another monitoring system, a system for monitoring the inside of the monitoring area 1802 using a plurality of imaging devices has also been proposed. FIG. 18 is a diagram showing a state in which the monitoring area 1601 shown in FIG. 16 is divided into three monitoring areas, and each monitoring area is monitored by three cameras 1801 equipped with standard lenses.

各カメラ１８０１は、各カメラの撮像領域に対応した監視領域（たとえば監視領域１８０２）を撮像し、その撮影像は各カメラと対になって配置された複数のモニタ（不図示）に表示される。また、映像表示に関しては、複数台のカメラからの映像をマルチチャネル入力し一台のモニタでマルチウィンドウ表示するコントローラーなどもある。   Each camera 1801 images a monitoring area (for example, monitoring area 1802) corresponding to the imaging area of each camera, and the captured image is displayed on a plurality of monitors (not shown) arranged in pairs with each camera. . As for video display, there is a controller that multi-channels video images from multiple cameras and displays them in a multi-window on a single monitor.

図１９は、オフィス内に侵入者１６０３が侵入してきて、図１８に図示した３台のカメラ１８０１のうち、中央に配置されたカメラ１８０１によって撮影された侵入者をモニタの画面に表示した図である。   FIG. 19 is a diagram in which an intruder 1603 invaded into the office and the intruder photographed by the camera 1801 arranged at the center among the three cameras 1801 shown in FIG. 18 is displayed on the monitor screen. is there.

なお、前述の３台のカメラ１８０１からのマルチチャネル映像のうち侵入者を捉えたチャンネルのウィンドウに表示された映像でもよい。この監視システムの特徴は、図１７と図１９の比較によって明らかなように、若干侵入者の大きさが大きく撮影できるため、侵入者の顔、表情、容姿細部の認識は前述の広角カメラを用いた監視システムよりは優れている。   In addition, the image displayed on the window of the channel which caught the intruder among the multi-channel images from the three cameras 1801 described above may be used. As the characteristics of this surveillance system are evident from the comparison between FIG. 17 and FIG. 19, the intruder's face can be photographed slightly larger, so the above-mentioned wide-angle camera is used for recognizing the intruder's face, facial expression, and appearance details. Better than the surveillance system that was there.

しかし、この監視システムの利用者（例えば監視員など）は、常時多数のモニタまたはマルチウィンドウの各画面を監視しなければならない欠点がある。これに関する技術としては、特許文献１に開示されているように、複数のカメラを用いて各監視領域を撮像し、これらの撮影像から移動体を検出し、移動体の存在するカメラ映像を１台のモニタに表示するシステムが提案されている。
≪異なる撮影倍率を有する複数のカメラを用いた監視システム≫
さらにまた、他の監視システムとして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムも提案されている。図２０は、図１６で示したオフィス内に、広角カメラ１６０１を設けるとともにさらにパン・チルト・ズームにより撮像視野範囲を変えることの可能なカメラ（ここでは単にズームカメラと呼ぶ）２００１が設置されており、広角カメラ１６０１で広範囲な領域を監視しつつ、ズームカメラ２００１で侵入者を拡大して撮影し、侵入者の顔や容姿を特定できるような監視システムを表し図である。 However, there is a drawback that a user of this monitoring system (for example, a monitor) has to constantly monitor a large number of monitors or multiple windows. As a technique related to this, as disclosed in Patent Document 1, each monitoring region is imaged using a plurality of cameras, a moving object is detected from these captured images, and a camera image in which the moving object exists is 1 Systems that display on a single monitor have been proposed.
≪Surveillance system using multiple cameras with different shooting magnifications≫
Furthermore, as another monitoring system, a system that uses a plurality of cameras having different shooting magnifications has been proposed. In FIG. 20, a wide-angle camera 1601 is provided in the office shown in FIG. 16, and a camera (herein simply referred to as a zoom camera) 2001 capable of changing the imaging visual field range by pan, tilt, and zoom is installed. FIG. 2 is a diagram illustrating a monitoring system in which a wide-angle camera 1601 monitors a wide area and a zoom camera 2001 enlarges and captures an intruder and identifies the intruder's face and appearance.

図２１は、この監視システムによる撮影像である。図２１（ａ）は広角カメラ１６０１による撮影像で、この映像は図１７と同様である。また、図２１（ｂ）は、ズームカメラ２００１による撮影像を表している。   FIG. 21 is a photographed image by this monitoring system. FIG. 21A is a photographed image by the wide-angle camera 1601, and this image is the same as FIG. FIG. 21B shows an image captured by the zoom camera 2001.

これらの映像は前述の複数台の撮像装置を用いた監視システムと同様に、カメラに１対１対応したモニタにそれぞれ個別に表示される場合やマルチチャネル入力コントローラーを用いて一台のモニタでマルチウィンドウ表示する場合もある。   Similar to the above-described monitoring system using a plurality of imaging devices, these images can be displayed individually on a monitor corresponding to the camera one by one, or can be displayed on a single monitor using a multi-channel input controller. It may be displayed in a window.

この監視システムの特徴は、広角カメラ１６０１の広範囲監視領域撮影像によって侵入者のオフィス内における位置が容易に特定できるという点と、ズームカメラ２００１の侵入者拡大像によって侵入者１６０３の顔、表情、容姿などを詳細に確認できるという点にある。   This surveillance system is characterized by the fact that the position of the intruder in the office can be easily identified by the wide-area monitoring area captured image of the wide-angle camera 1601, and the intruder 1603's face, facial expression, The point is that the appearance can be confirmed in detail.

これに関する技術が、特許文献２に開示されている。この特許文献には、広角カメラとズームカメラの両画像をネットワークを介して接続された監視端末装置に伝送、表示するシステムが開示されており、さらには、広角カメラで撮影された画像を見ながら、監視端末装置を操作することによってズームカメラをパン・チルト・ズームし、所望の被写体の拡大像を得るシステムが提案されている。   A technique related to this is disclosed in Patent Document 2. This patent document discloses a system for transmitting and displaying both images of a wide-angle camera and a zoom camera to a monitoring terminal device connected via a network, and further, while viewing an image photographed by a wide-angle camera. A system has been proposed in which a zoom camera is panned, tilted and zoomed by operating a monitoring terminal device to obtain an enlarged image of a desired subject.

また、特許文献２の拡張として前述の特許文献１に提案されているように、ズームカメラの撮影対象を人為的な操作によるものでなく、広角カメラ撮影像から移動体を検出し、移動体の位置や大きさから自動的にズームカメラをパン・チルト・ズームし、移動体の拡大像を得るシステムが開示されている。
特開２０００−２９５６００号公報(段落番号００１２〜００１５) 特開２０００−３２３１９号公報(段落番号００３１) Further, as proposed in Patent Document 1 as an extension of Patent Document 2, the object to be photographed by the zoom camera is not based on an artificial operation, but a moving object is detected from a wide-angle camera photographed image. A system that automatically pans, tilts, and zooms a zoom camera from a position and size to obtain an enlarged image of a moving object is disclosed.
JP 2000-295600 A (paragraph numbers 0012 to 0015) JP 2000-32319 A (paragraph number 0031)

しかしながら上記従来例は、以下に説明するような問題点を有している。まず、魚眼レンズのような広角レンズを用いた監視システムにおいて、監視領域１６０２内の撮影像のうち侵入者１６０３の大きさが小さく顔などが認識しにくいという問題点がある。前記従来例で示したような侵入者を検知し検知された領域を拡大表示する方法は、デジタル化された画像信号の拡大及び補間処理によって可能ではあるが、拡大像に存在する情報量（画像中の周波数成分）はデジタルサンプリング時に決まるので、拡大処理後の情報量が増えることはない。すなわち、拡大することによって、従来見えていなかった詳細が見えてくることはないのである。ことに周波数成分に関しては拡大率に応じて見かけ上の周波数成分は低周波数にシフトするので、その拡大像は、単にボケた画像、もしくは補間処理を行なわない場合はブロック状のモザイクのかかった画像に感じるのはよく経験的事実が示すところである。   However, the above conventional example has problems as described below. First, in a monitoring system using a wide-angle lens such as a fisheye lens, there is a problem that the intruder 1603 is small in size in the monitoring image 1602 and the face is difficult to recognize. Although the method of detecting an intruder and enlarging and displaying the detected area as shown in the conventional example is possible by enlarging and interpolating the digitized image signal, the amount of information (image The middle frequency component) is determined at the time of digital sampling, so the amount of information after the enlargement process does not increase. In other words, by enlarging, details that were not visible in the past cannot be seen. In particular, with regard to the frequency component, the apparent frequency component shifts to a low frequency according to the enlargement ratio, so that the enlarged image is simply a blurred image, or an image with a block-like mosaic if interpolation processing is not performed. It is often the case that empirical facts show.

次に、監視領域内を複数台の撮像装置を用いて監視するシステムは、単純なシステムであり、特許文献１に開示されているように表示の仕方で監視員の労力を軽減させるなどが工夫されているが、監視領域が広域になるほど多くの台数のカメラが必要となり、設備投資にかかるコスト負荷が重くなるという問題がある。   Next, a system that monitors a monitoring area using a plurality of imaging devices is a simple system, and as disclosed in Patent Document 1, it is devised to reduce the labor of a monitoring person in the manner of display. However, there is a problem that as the surveillance area becomes wider, a larger number of cameras are required, which increases the cost burden for capital investment.

また、各カメラの監視領域が狭いため侵入者１６０３のオフィス内での位置を把握するのが難しくなり、さらに侵入者１６０３の位置する監視領域１８０２に応じて、撮影用のカメラが切り替わるため、視認性に問題がある。   In addition, since the monitoring area of each camera is narrow, it is difficult to grasp the position of the intruder 1603 in the office, and the camera for photographing is switched according to the monitoring area 1802 where the intruder 1603 is located. There is a problem with sex.

また、特許文献１にはカメラからの撮影像を画像処理によって拡大像を得る方法が記載されているが、前述の理由から被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を要する問題がある。   Patent Document 1 describes a method for obtaining a magnified image of a captured image from a camera by image processing. However, for the reasons described above, the maximum magnification that is effective in recognizing a subject, the focal length of the camera (or There are problems that require a lot of labor to create an optimal environment depending on the monitoring location and the visibility accuracy of the intruder, such as the viewing range) and the camera installation interval.

そして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムについては、前記従来例の問題点を光学的に解決しているが、一人の侵入者に対し広角カメラ撮影像とズームカメラ撮影像の２つのビデオ信号をネットワーク上に伝送する必要がありネットワーク伝送路上に多くの負荷をかける問題点がある。   The system for monitoring using a plurality of cameras having different shooting magnifications optically solves the problems of the conventional example. However, a wide-angle camera shot image and a zoom camera shot image for one intruder. These two video signals need to be transmitted over the network, and there is a problem that a lot of load is placed on the network transmission path.

特に広角カメラによる撮影映像は、図１７または図２１（ａ）でもわかるように、侵入者以外の多くの領域は侵入以前の状態と変化がなく動画像毎フレームの多くの部分が冗長な映像を伝送しているという、有効な映像信号の伝送という観点での問題点を含んでいる。   In particular, as shown in FIG. 17 or FIG. 21 (a), the video shot by the wide-angle camera has no change from the state before the intruder in many areas other than the intruder, and many parts of each frame of moving images are redundant. This includes a problem in terms of transmission of an effective video signal.

この点について特許文献２は、ズームカメラ拡大像は広角カメラ広範囲監視領域像より重要度が高いため、ズームカメラ拡大像を伝送するフレームレートを広角カメラ映像を伝送するフレームレートより高くし、ズームカメラ拡大像の動きが滑らかになるようなシステムについて記載されているが（本文中の段落番号００３７）、広角カメラ映像のフレームレートを落とすことで侵入者の行動行為がコマ落ちする可能性があり、監視目的のシステムにおいては問題を含んでいると考えられる。   In this regard, since the zoom camera magnified image has a higher importance than the wide-angle camera wide-area monitoring area image, the frame rate for transmitting the zoom camera magnified image is set higher than the frame rate for transmitting the wide-angle camera video. Although it describes a system that makes the movement of the magnified image smooth (paragraph number 0037 in the text), reducing the frame rate of the wide-angle camera image may cause the intruder's behavior to drop, There is a problem in the monitoring system.

特に犯罪に関する行動は瞬時に行なわれるものも多く、フレームレートの低下は重要な証拠映像をコマ落ちさせる可能性を含んでいる点で監視システムにおいては問題である。   In particular, many crime-related actions are instantaneous, and a decrease in the frame rate is a problem in the surveillance system in that it includes the possibility of dropping important evidence images.

上記課題を解決するために本願発明に係る撮影システムの第１の構成は、撮影系と、該撮影系による撮影映像内における特定被写体領域を検出および抽出する検出手段と、画像データを符号化する符号化手段と、符号化された画像データを送信する送信手段と、符号化手段による符号化を制御する制御手段とを有し、制御手段は、検出手段により特定被写体領域が検出されないときは符号化手段に撮影映像の動画像データを符号化させ、特定被写体領域が検出されたときは検出手段により抽出された該特定被写体領域の動画像データ(例えば、撮影系による撮影範囲内で移動する移動体の動画像データ)を符号化手段に符号化させることを特徴とする。   In order to solve the above problems, a first configuration of a photographing system according to the present invention is a photographing system, a detecting means for detecting and extracting a specific subject region in a photographed image by the photographing system, and encoding image data. An encoding unit; a transmission unit that transmits the encoded image data; and a control unit that controls encoding by the encoding unit. The control unit performs encoding when the specific subject area is not detected by the detection unit. When the moving image data of the captured video is encoded by the converting means and the specific subject area is detected, the moving image data of the specific subject area extracted by the detecting means (for example, movement that moves within the shooting range by the shooting system) Body moving image data) is encoded by an encoding means.

ここで、送信手段から送信された符号化データを受信する受信手段と、受信された符号化データを復号化する復号化手段を設け、制御手段に、特定被写体領域の検出の有無に応じて復号化手段を制御させるようにするのが好ましい。   Here, a receiving means for receiving the encoded data transmitted from the transmitting means and a decoding means for decoding the received encoded data are provided, and the control means performs decoding according to whether or not a specific subject area is detected. It is preferable to control the converting means.

また、第１の構成に特定被写体領域を含まない撮影映像から得た静止画像データを記憶する記憶手段を追加し、制御手段に、撮影画像内に特定被写体領域が検出されたときは、該特定被写体領域の動画像データと記憶手段に記憶された静止画像データとを符号化手段に符号化させるようにするのが好ましい。   In addition, a storage unit that stores still image data obtained from a captured video that does not include the specific subject area is added to the first configuration, and when the specific subject area is detected in the captured image, the specific unit area is detected. It is preferable to cause the encoding means to encode the moving image data of the subject area and the still image data stored in the storage means.

また、送信手段から送信された符号化データを受信する受信手段と、特定被写体領域の符号化データと静止画像データの符号化データとを復号化する復号化手段と、復号化手段で復号化された画像データを合成する合成手段とを設けるのが好ましい。   Further, the reception means for receiving the encoded data transmitted from the transmission means, the decoding means for decoding the encoded data of the specific subject area and the encoded data of the still image data, and the decoding means are decoded. It is preferable to provide combining means for combining the image data.

さらに、検出手段に、撮影映像内での特定被写体領域の形状を抽出させるとともに、符号化手段に、撮影映像の動画像データのうち抽出された形状成分を符号化させるようにするのが好ましい。   Further, it is preferable that the detection unit extracts the shape of the specific subject area in the captured video, and the encoding unit encodes the extracted shape component in the moving image data of the captured video.

本願発明の撮影システムの第２の構成は、第１の撮影倍率を有する第１の撮影系(例えば、広角カメラ)と、第１の撮影倍率よりも大きい第２の撮影倍率を有するとともに、撮影方向が可変である第２の撮影系(例えば、ズームカメラ)と、第１の撮影系による第１の撮影映像内における特定被写体領域を検出および抽出する検出手段と、検出された特定被写体領域に応じて第２の撮影系による撮影領域を決定し、第２の撮影系を該決定した撮影領域の撮影を行うよう制御する第１の制御手段と、画像データを符号化する符号化手段と、符号化されたデータを送信する送信手段と、符号化手段による符号化を制御する第２の制御手段とを有し、第２の制御手段は、検出手段により特定被写体領域が検出されないときは符号化手段に第１の撮影映像の動画像データを符号化させ、特定被写体領域が検出されたときは、第１の撮影映像から抽出された特定被写体領域の動画像データを符号化手段に符号化させるとともに、第２の撮影系による第２の撮影映像の動画像データを符号化させることを特徴とする。   The second configuration of the photographing system of the present invention has a first photographing system (for example, a wide-angle camera) having a first photographing magnification, a second photographing magnification larger than the first photographing magnification, and photographing. A second imaging system (for example, a zoom camera) whose direction is variable, a detection means for detecting and extracting a specific subject area in the first captured video by the first imaging system, and a detected specific subject area In response, a first imaging unit that determines an imaging region by the second imaging system and controls the second imaging system to perform imaging of the determined imaging region; an encoding unit that encodes image data; A transmission unit configured to transmit encoded data; and a second control unit configured to control encoding performed by the encoding unit. The second control unit performs encoding when a specific subject area is not detected by the detection unit. The first photographic video When the moving image data is encoded and the specific subject area is detected, the moving image data of the specific subject area extracted from the first captured video is encoded by the encoding means, and the second imaging system The moving image data of the second photographed video is encoded.

ここで、送信手段から送信された符号化データを受信する受信手段と、受信された符号化データを復号化する復号化手段とを設け、第２の制御手段に、特定被写体領域の検出の有無に応じて復号化手段を制御するようにさせるのが好ましい。   Here, a receiving means for receiving the encoded data transmitted from the transmitting means and a decoding means for decoding the received encoded data are provided, and whether or not the specific subject area is detected in the second control means It is preferable to control the decoding means according to the above.

また、第２の構成に特定被写体領域を含まない第１の撮影映像から得た静止画像データを記憶する第１の記憶手段を追加し、第２の制御手段に、第１の撮影映像内に特定被写体領域が検出されたときは、該特定被写体領域の動画像データと第１の記憶手段に記憶された静止画像データとを符号化手段に符号化させるようにするとよい。   In addition, a first storage means for storing still image data obtained from the first photographed video that does not include the specific subject area is added to the second configuration, and the second control means includes the first photographed video in the first photographed video. When the specific subject area is detected, the encoding means may encode the moving image data of the specific subject area and the still image data stored in the first storage means.

また、送信手段から送信された符号化データを受信する受信手段と、特定被写体領域の符号化データと静止画像データの符号化データとを復号化する復号化手段と、復号化手段で復号化された画像データを合成する合成手段とを設けるようにするのが好ましい。   Further, the reception means for receiving the encoded data transmitted from the transmission means, the decoding means for decoding the encoded data of the specific subject area and the encoded data of the still image data, and the decoding means are decoded. It is preferable to provide combining means for combining the image data.

また、検出手段に第１の撮影映像内での特定被写体領域の形状を抽出させるとともに、符号化手段に、第１の撮影映像の動画像データのうち抽出された形状成分を符号化させるようにするのが好ましい。   Further, the detection unit extracts the shape of the specific subject area in the first captured video, and the encoding unit encodes the extracted shape component in the moving image data of the first captured video. It is preferable to do this.

また、受信手段により受信された符号化データを記憶する第２の記憶手段を設け、該第２の記憶手段に記憶される符号化データを、第１の撮影映像の符号化データと第２の撮影映像の符号化データとを多重化したデータとするのが好ましい。   In addition, a second storage unit for storing the encoded data received by the receiving unit is provided, and the encoded data stored in the second storage unit is used as the encoded data of the first captured video and the second data. It is preferable that the encoded data of the captured video is multiplexed.

受信手段により受信された符号化データを記憶する第２の記憶手段を設け、該第２の記憶手段に記憶される符号化データを、特定被写体領域の符号化データと第２の撮影映像の符号化データとを多重化したデータとするのが好ましい。   Second storage means for storing the encoded data received by the receiving means is provided, and the encoded data stored in the second storage means is encoded with the encoded data of the specific subject area and the code of the second photographed video. Preferably, the data is multiplexed with the data.

本願発明の第１の構成によれば、特定被写体領域が検出されたときは、特定被写体領域の動画像データを符号化して送信することができるため、送信データの容量を減らすことができる。これにより、データ送信の際に、特定被写体領域の動画像データがコマ落ちするのを防止することができる。   According to the first configuration of the present invention, when the specific subject area is detected, the moving image data of the specific subject area can be encoded and transmitted, so that the capacity of the transmission data can be reduced. Thereby, it is possible to prevent the moving image data of the specific subject area from dropping frames during data transmission.

また、記憶手段に記憶された特定被写体領域を含まない撮影映像から得た静止画像データと特定被写体領域の動画像データとを符号化手段により符号化させ、これらの画像データを復号化手段で復号化し、合成手段にて合成することにより、コマ落ちのない特定被写体領域の動画像データを静止画像と結びつけることができる。   Further, still image data obtained from a captured video that does not include the specific subject area and moving image data of the specific subject area stored in the storage means are encoded by the encoding means, and these image data are decoded by the decoding means. By combining and synthesizing with the synthesizing means, it is possible to link the moving image data of the specific subject area without frame dropping with the still image.

本願発明の第２の構成によれば、特定被写体領域が検出されたときは、第１の撮影映像から抽出された特定被写体領域の動画像データを符号化手段に符号化させるとともに、第２の撮影系による第２の撮影映像の動画像データを符号化させて送信することができるため、送信データの容量を減らすことができる。これにより、データ送信の際に、特定被写体領域の動画像データがコマ落ちするのを防止することができる。   According to the second configuration of the present invention, when the specific subject region is detected, the moving image data of the specific subject region extracted from the first captured video is encoded by the encoding unit, and the second Since the moving image data of the second photographed video by the photographing system can be encoded and transmitted, the transmission data capacity can be reduced. Thereby, it is possible to prevent the moving image data of the specific subject area from dropping frames during data transmission.

しかも、第２の撮影系の撮影倍率は第１の撮影系の撮影倍率よりも大きいため、より詳細な特定被写体領域の動画像データを得ることができる。   In addition, since the shooting magnification of the second shooting system is larger than the shooting magnification of the first shooting system, more detailed moving image data of the specific subject area can be obtained.

以下に、本発明の実施例を示す。 Examples of the present invention are shown below.

≪システム構成の説明≫
以下実施例１について説明する。図１は本発明の実施例１である撮影システムを表すブロック図で、特に映像信号のカメラ入力から通信ネットワークへの出力までを表す図である。また、通信ネットネットワークから映像信号を入力し、表示装置への出力を図２で示しているが詳細は後述する。 ≪Explanation of system configuration≫
Example 1 will be described below. FIG. 1 is a block diagram showing a photographing system that is Embodiment 1 of the present invention, and particularly shows from video camera input to communication network output. Also, a video signal is input from the communication network and output to the display device is shown in FIG.

１０１は撮影システムのユーザーインターフェースを備えた操作部であり、例えば監視員などによって撮影システムの起動、終了などシステムに指示することによって撮影システムの動作が制御される。   Reference numeral 101 denotes an operation unit having a user interface of the image capturing system. For example, an operation of the image capturing system is controlled by instructing the system such as activation and termination of the image capturing system by a monitor or the like.

１０２は撮影システムを統括制御するシステム制御部であり、このシステム１０２は、カメラ制御部１０６、１０７の動作制御を司る特許請求の範囲に記載の第１の制御手段と圧縮符号化部１２３、多重化部１２７などの制御を司る特許請求の範囲に記載の第２の制御手段を包含している。   Reference numeral 102 denotes a system control unit that performs overall control of the imaging system. The system 102 controls the operation of the camera control units 106 and 107, and includes a first control unit and a compression encoding unit 123 according to the claims. The second control means described in the claims which control the control unit 127 and the like is included.

１０３は予め設定した監視領域を撮像する広角カメラで、広角カメラ１０３では比較的広範囲な領域を監視領域とし、広角カメラ１０３で使用されるレンズも広角レンズの他に、魚眼レンズなど超広角レンズやミラー光学部材を使った全方位撮像光学系なども含まれる。   Reference numeral 103 denotes a wide-angle camera that captures a preset monitoring area. The wide-angle camera 103 uses a relatively wide area as a monitoring area, and the lens used in the wide-angle camera 103 is not only a wide-angle lens but also a super-wide-angle lens such as a fisheye lens or a mirror. An omnidirectional imaging optical system using an optical member is also included.

１０４は広角カメラ１０３より高い撮影倍率を有し、特に監視領域内に侵入してきた侵入者を適当な倍率で望遠撮影する為の変倍機能を持つズームカメラである。また、ズームカメラ１０４には侵入者を追尾するためのパンニング、チルト可能な図示しない雲台が装備されており、後述する方法によって侵入者の位置に光軸を移動し侵入者を視界内に捉える。   Reference numeral 104 denotes a zoom camera having a higher magnification than the wide-angle camera 103, and in particular, a zoom function for taking a telephoto image of an intruder who has entered the surveillance area at an appropriate magnification. The zoom camera 104 is equipped with a pan head (not shown) that can be panned and tilted to track the intruder, and moves the optical axis to the position of the intruder and captures the intruder in the field of view by a method described later. .

１０５は前述の広角カメラ１０３、ズームカメラ１０４から映像信号を取り込むための映像入力部である。映像入力部１０５は、広角カメラ１０３の撮影条件を設定制御するカメラ制御部１０６とズームカメラ１０４の撮影条件を設定制御するカメラ制御部１０７、広角カメラ１０３から出力されたカメラ機種毎の映像信号形式を例えばフレーム毎のＲＧＢ２４ビットデジタル信号にフォーマット変換する広角カメラ１０３用ビデオキャプチャ１０８とズームカメラ１０４のビデオキャプチャ１０９から構成される。   Reference numeral 105 denotes a video input unit for capturing video signals from the wide-angle camera 103 and the zoom camera 104 described above. The video input unit 105 includes a camera control unit 106 that sets and controls shooting conditions of the wide-angle camera 103, a camera control unit 107 that sets and controls shooting conditions of the zoom camera 104, and a video signal format for each camera model output from the wide-angle camera 103. For example, a video capture 108 for the wide-angle camera 103 and a video capture 109 for the zoom camera 104 that convert the format of each frame into an RGB 24-bit digital signal.

１２０は広角カメラ１０３の撮影像から監視領域内に侵入者が存在するとき侵入者の存在を検出し、監視員に発報、後で詳細に説明するズームカメラによる侵入者追尾のための情報出力などを行なう侵入者検出部である。   120 indicates the presence of an intruder when the intruder is present in the monitoring area from the captured image of the wide-angle camera 103, and notifies the observer, and outputs information for tracking the intruder by a zoom camera, which will be described in detail later. It is an intruder detection part which performs etc.

侵入者検出部１２０は、広角カメラ１０３からの撮影映像を一時記憶するメモリ１２２と、広角カメラ１０３から順次キャプチャされてくるリアルタイム映像から侵入者領域を抽出し、侵入者の位置を推定する被写体抽出部１２１から構成される。   The intruder detection unit 120 extracts the intruder area from the memory 122 that temporarily stores the captured video from the wide-angle camera 103 and the real-time video that is sequentially captured from the wide-angle camera 103, and extracts the subject to estimate the position of the intruder. Part 121.

１２３は映像信号をネットワーク上に伝送するための映像信号圧縮符号化部で、圧縮符号化部１２３は後述するいくつかの方式により構成される。１２４は映像フレームなど映像全領域からその中に含まれる任意形状の構成要素（オブジェクト）のみを符号化する任意形状符号化部である。   Reference numeral 123 denotes a video signal compression / encoding unit for transmitting a video signal over a network, and the compression / encoding unit 123 is configured by several methods to be described later. Reference numeral 124 denotes an arbitrary shape encoding unit that encodes only a component (object) having an arbitrary shape included in the entire video region such as a video frame.

任意形状符号化部１２４は、例えばＩＳＯ／ＩＥＣで標準化が進められているＭＰＥＧ−４符号化方式のオブジェクト単位符号化方式を用いており、以下ＭＰＥＧ−４符号化方式を以って具体的に説明をしていくが、オブジェクト単位の符号化可能な方式であれば、方式は特にＭＰＥＧ−４符号化方式に限定するものでない。   The arbitrary shape encoding unit 124 uses, for example, an object unit encoding method of the MPEG-4 encoding method that is being standardized by ISO / IEC, and is specifically described below using the MPEG-4 encoding method. As will be described, the method is not particularly limited to the MPEG-4 encoding method as long as it can be encoded in units of objects.

１２５は静止画像を圧縮符号化する静止画圧縮符号化部であり、符号化方式はＪＰＥＧやＪＰＥＧ２０００など静止画像用圧縮符号化方式でも良いし、ＭＰＥＧ−４符号化のスプライト符号化を用いても良いし、また単にフレーム数が１枚の動画像としてイントラ符号化を用いてもよい。   A still image compression encoding unit 125 compresses and encodes a still image. The encoding method may be a still image compression encoding method such as JPEG or JPEG 2000, or may use sprite encoding of MPEG-4 encoding. In addition, intra coding may be used simply as a moving image having one frame.

１２６は一般的な動画像のフレームの矩形領域を単位とする矩形領域符号化部であり、符号化方式はＭＰＥＧ−１／ ＭＰＥＧ−２／ ＭＰＥＧ−４の他にＭｏｔｉｏｎＪＰＥＧ／ＭｏｔｉｏｎＪＰＥＧ２０００などを用いてもよい。１２７は圧縮符号化されたビットストリームを多重化する多重化部である。１２８は多重化されたビットストリームを伝送路に送信する為の通信部である。
≪システム起動−初期化まで≫
次に、本撮影システムの動作について説明する。広角カメラ１０３およびズームカメラ１０４は室内を広く見渡せる屋内上部など予め所定の位置に設置されており、特に広角カメラ１０３は予め所望の領域（監視領域）を撮影できるよう光軸方向、撮影倍率が調整されているものとする。 Reference numeral 126 denotes a rectangular area encoding unit that uses a rectangular area of a general moving image frame as a unit. As an encoding method, MotionJPEG / MotionJPEG2000 may be used in addition to MPEG-1 / MPEG-2 / MPEG-4. Good. Reference numeral 127 denotes a multiplexing unit that multiplexes the compression-coded bit stream. A communication unit 128 transmits the multiplexed bit stream to the transmission path.
≪System start-up to initialization≫
Next, the operation of this photographing system will be described. The wide-angle camera 103 and the zoom camera 104 are installed in a predetermined position such as an indoor upper part where the room can be widely viewed. In particular, the wide-angle camera 103 is adjusted in optical axis direction and magnification so that a desired area (monitoring area) can be photographed in advance It is assumed that

また、後述する被写***置推定に必要な初期設定などは、本システム設置時に済ませており、本監視システムはユーザーの指示に従い、いつでも監視状態に入れるとする。   In addition, initial settings necessary for subject position estimation, which will be described later, have been completed when the system is installed, and the monitoring system is always in a monitoring state in accordance with a user instruction.

操作部１０１の図示されてない監視システム稼動スイッチがＯＮにセットされると、まず、システム制御部１０７は、各部に対し初期化命令を下す。例えば初期化命令を受けたカメラ制御部１０６及び１０７は、それぞれ広角カメラ１０３およびズームカメラ１０４に電源を投入し、自動露出（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、オートゲインコントロール（ＡＧＣ）などの初期化が行なわれ、さらにズームカメラ１０４用のカメラ制御部１０７はズームカメラ１０４に対し予め決められた初期光軸方向、初期撮影倍率になるようパン・チルト・ズーミングを行なうよう制御する。   When a monitoring system operation switch (not shown) of the operation unit 101 is set to ON, first, the system control unit 107 issues an initialization command to each unit. For example, the camera control units 106 and 107 that have received the initialization command turn on the wide-angle camera 103 and the zoom camera 104, respectively, and perform automatic exposure (AE), autofocus (AF), auto white balance (AWB), and auto gain. Control (AGC) and the like are initialized, and the camera control unit 107 for the zoom camera 104 performs pan / tilt / zooming so that the zoom camera 104 has a predetermined initial optical axis direction and an initial photographing magnification. Control as follows.

また、侵入者検出部１２０の初期化では、メモリ１２２が初期データとして広角カメラ１０３の監視領域撮影像を１フレーム分記憶保存する。このメモリ１２２の１フレーム分の広角カメラ１０３監視領域撮影像は、後述する被写体領域抽出処理に使用される参照画像で、後に「背景画像」と呼ばれるデータである。   Further, when initializing the intruder detection unit 120, the memory 122 stores and saves one frame of the monitoring area captured image of the wide-angle camera 103 as initial data. The wide-angle camera 103 monitoring area captured image for one frame in the memory 122 is a reference image used for subject area extraction processing, which will be described later, and is data called a “background image” later.

また、このデータは実際に１フレームだけ撮影した映像を記憶保存してもよいが、ある短時間の撮影像を平均化して用いた方がＣＣＤ暗電流ノイズ等の影響を受けにくく好ましい。また、初期化時点から以後システム終了までの期間、システム全体に同期信号が流れ、複数のカメラからの映像信号の多重化、分離などのタイミング調整に使用される。
≪システム監視開始≫
撮影システムの構成要素の初期化が終了すると、システム制御部１０２は監視動作状態に入ることを指示し、画像入力部１０５に対してカメラによる監視領域の撮像と映像信号の取得、侵入者検出部１２０に対して撮影像から不法侵入者の検出が開始される。 Further, this data may store and save an image actually captured for only one frame, but it is preferable to average and use a certain short-time captured image because it is less susceptible to CCD dark current noise and the like. In addition, a synchronization signal flows through the entire system from the initialization time to the end of the system, and is used for timing adjustment such as multiplexing and separation of video signals from a plurality of cameras.
≪Start system monitoring≫
When the initialization of the components of the imaging system is completed, the system control unit 102 instructs to enter the monitoring operation state, and the image input unit 105 is imaged of the monitoring area by the camera and the acquisition of the video signal, the intruder detection unit In 120, detection of an illegal intruder is started from the photographed image.

ここで撮影システムが監視状態にあるときの「監視モード」について説明する。本撮影システムは２つのモードを有する。ひとつは監視領域内に侵入者のいない「正常状態」を表す「正常モード」、他のひとつは監視領域内に侵入者が存在する「異常状態」で、侵入者の行動を追尾する必要のある「侵入者追尾モード」である。   Here, the “monitoring mode” when the photographing system is in the monitoring state will be described. This photographing system has two modes. One is a “normal mode” that represents a “normal state” in which there is no intruder in the monitoring area, and the other is an “abnormal state” in which there is an intruder in the monitoring area. It is necessary to track the behavior of the intruder. Intruder tracking mode.

これら「正常モード」と「侵入者追尾モード」の２つの監視モードは侵入者検出部１２０による侵入者検出結果より判定され、その判定結果であるどちらかのモードはシステム制御部１０２に送られ、それぞれのモードに対応してシステム制御部１０２はシステム各手段の動作を制御する。なお、監視システム稼動スイッチがＯＮされた時点でのモードは「正常モード」である。   These two monitoring modes of “normal mode” and “intruder tracking mode” are determined from the intruder detection result by the intruder detection unit 120, and one of the determination results is sent to the system control unit 102, Corresponding to each mode, the system control unit 102 controls the operation of each means of the system. The mode at the time when the monitoring system operation switch is turned on is the “normal mode”.

システム制御部１０２から監視動作命令を受けたカメラ制御部１０６は広角カメラ１０３に対し前述のＡＥ／ＡＦ／ＡＷＢ／ＡＧＣなどによる自動調整で監視領域を最適な条件で撮影し、その撮影像はビデオキャプチャ１０８で前述のように例えばフレーム毎のＲＧＢ２４ビットデジタル信号にフォーマット変換し、侵入者検出部１２０へと映像信号が送られる。   Upon receiving the monitoring operation command from the system control unit 102, the camera control unit 106 shoots the monitoring area under the optimum conditions by the automatic adjustment by the AE / AF / AWB / AGC described above with respect to the wide-angle camera 103, and the captured image is a video. As described above, the capture 108 converts the format into, for example, an RGB 24-bit digital signal for each frame, and the video signal is sent to the intruder detection unit 120.

一方、ズームカメラ１０４も前述のＡＥ／ＡＦ／ＡＷＢ／ＡＧＣなどによる自動調整で初期監視領域を最適な条件で撮影しているが、その撮影像は後述の侵入者検出部による検出結果で侵入者の存在が検知されるまで（すなわちは「侵入者追尾モード」になるまで）はビデオキャプチャ１０９で映像信号は破棄される。   On the other hand, the zoom camera 104 also captures the initial monitoring area under the optimum conditions by automatic adjustment by the above-described AE / AF / AWB / AGC, etc., but the captured image is a detection result by an intruder detection unit, which will be described later. Until the presence of the video signal is detected (that is, until the “intruder tracking mode” is entered), the video signal is discarded by the video capture 109.

広角カメラ１０３で監視領域内を撮影し、ビデオキャプチャ１０８で読み取られ、侵入者検出部１２０へと送られてきた広角カメラ映像信号は、メモリ１２２に記憶保存されている映像信号が読み出され、２つの映像信号が供に被写体抽出部１２１に入力し、映像中から侵入者領域の抽出処理と、侵入者検出が行なわれる。
≪被写体抽出方法≫
被写体抽出部１２１は、広角データの中の特定被写体領域を抽出するが、被写体抽出方法については本実施例では特に限定しない。よって本実施例では、被写体抽出方法として良く知られている「背景差分法」と一般に呼ばれている方式が被写体抽出部１２１で行なわれるとし、図３を用いてその方式について簡単に説明する。 The wide-angle camera 103 captures an image of the surveillance area, is read by the video capture 108, and is sent to the intruder detection unit 120. The wide-angle camera video signal stored in the memory 122 is read out. Two video signals are input to the subject extraction unit 121, and an intruder area extraction process and intruder detection are performed from the video.
≪Subject extraction method≫
The subject extraction unit 121 extracts a specific subject region in the wide-angle data, but the subject extraction method is not particularly limited in this embodiment. Therefore, in this embodiment, it is assumed that a method generally called “background difference method”, which is well known as a subject extraction method, is performed by the subject extraction unit 121, and the method will be briefly described with reference to FIG.

図３（ａ）は、あるオフィス内のカメラ撮影像を表している図である。本実施例に適用すれば、広角カメラ１０３で監視領域を撮影している撮影像を表しており、監視領域に侵入者が存在しない「正常モード」の監視領域像である。   FIG. 3A is a diagram showing a camera-captured image in a certain office. When applied to the present embodiment, a captured image in which the wide-angle camera 103 captures a monitoring area is represented, and is a “normal mode” monitoring area image in which no intruder exists in the monitoring area.

背景差分法では映像画面中に移動物体が存在しない状態でその映像画面を参照画像として記憶しておく。本実施例においてはメモリ１２２に記憶保存した映像がそれにあたり、本撮影システム起動時に初期化処理としてメモリ１２２に（侵入者がいない）監視領域映像を記憶保存した。   In the background subtraction method, the video screen is stored as a reference image in a state where there is no moving object in the video screen. In this embodiment, the video stored and saved in the memory 122 corresponds to this, and the monitoring area video (no intruder) is stored and saved in the memory 122 as an initialization process when the imaging system is activated.

また、この参照画像は一般に「背景画像」と呼ばれており、本実施例でもそう呼ぶこととする。   In addition, this reference image is generally called a “background image”, which is also referred to in this embodiment.

さて、背景差分法は対象となる画像（対象画像）と参照画像（背景画像）との差を取り、対象画像に背景画像とは異なる領域を見つける方法であり、本実施例に照らし合わせて説明すると、広角カメラ１０３によって撮影され時系列に順次キャプチャされてくるリアルタイム映像（対象画像）は、そのフレーム毎にフレーム座標の対応する「背景画像」（参照画像）との差分が計算される。   The background subtraction method is a method of finding a region different from the background image in the target image by taking the difference between the target image (target image) and the reference image (background image), and will be described in the context of this embodiment. Then, the difference between the real-time video (target image) captured by the wide-angle camera 103 and sequentially captured in time series is calculated for each frame with the “background image” (reference image) corresponding to the frame coordinates.

監視領域に侵入者が存在しない状態（図３（ａ））では、リアルタイム映像の各フレーム映像（対象画像）は背景画像と変わりなくフレーム内の差分はノイズ等の影響を排除すればほぼゼロに等しい。一方、監視領域に侵入者が存在する状態（図３（ｂ））では、対象画像中の侵入者領域は背景画像と信号値が異なる。   In a state where no intruder exists in the monitoring area (FIG. 3A), each frame image (target image) of the real-time image is the same as the background image, and the difference in the frame is almost zero if the influence of noise or the like is eliminated. equal. On the other hand, in a state where an intruder exists in the monitoring area (FIG. 3B), the intruder area in the target image has a signal value different from that of the background image.

これを式で表すと、
ｄ＝（Ｉｒ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ））^２ ・・・ｉ）
ｄ＜Ｔｈのときｂ（ｘ，ｙ）＝０ ・・・ｉｉ）
ｄ＞＝Ｔｈのときｂ（ｘ，ｙ）＝１ ・・・ｉｉ）
ここで、Ｉｒ（ｘ，ｙ）は対象画像の座標（ｘ，ｙ）における信号値、Ｉｂ（ｘ，ｙ）背景画像の座標（ｘ，ｙ）における信号値、Ｔｈは予め決められた閾値、ｂ（ｘ，ｙ）はビットマッププレーンである。 This can be expressed as an expression:
d = (Ir (x, y) −Ib (x, y)) ² ... i)
When d <Th, b (x, y) = 0... ii)
When d> = Th, b (x, y) = 1... ii)
Here, Ir (x, y) is the signal value at the coordinates (x, y) of the target image, Ib (x, y) the signal value at the coordinates (x, y) of the background image, Th is a predetermined threshold value, b (x, y) is a bitmap plane.

また、ｉ）式では対象画像と背景画像の差の２乗を計算しているが、差信号を正符号にそろえるもので、差の２乗のかわりにデジタル信号で表されたｄの符号ビットをマスクし、差の絶対値｜Ｉｒ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ）｜を用いても構わない。
ｉｉ）式で画像中に含まれるノイズ等による影響を排除する為、差分が一定の値以下のときは差分を０とする。 Also, in equation (i), the square of the difference between the target image and the background image is calculated, but the difference signal is aligned with the positive sign, and the sign bit of d represented by a digital signal instead of the square of the difference May be masked and the absolute value of the difference | Ir (x, y) −Ib (x, y) | may be used.
In order to eliminate the influence of noise or the like contained in the image in equation (ii), the difference is set to 0 when the difference is equal to or smaller than a certain value.

また、ｉｉ）式は同時に照明などにより環境変化があるときでも、次に背景画像を取得するまでの耐性も兼ね備えている。すなわち、雲の見え隠れなどによる太陽光の強弱が多少あって、現画像が背景画像より若干暗くなった場合でも、閾値Ｔｈによって侵入物とカウントしない役目を果たしている。   Further, the formula ii) also has resistance until the next background image is acquired even when the environment changes due to illumination or the like. In other words, even if there is some intensity of sunlight due to cloud visibility, etc., and the current image becomes slightly darker than the background image, it plays the role of not counting as an intruder by the threshold Th.

ｉ）ｉｉ）式は画像の全画素について計算され、各画素について閾値以上の画素と閾値以下の画素とを０または１のビットマッププレーンｂ（ｘ，ｙ）で表す。   i) The equation ii) is calculated for all pixels of the image, and for each pixel, the pixel above the threshold and the pixel below the threshold are represented by 0 or 1 bitmap plane b (x, y).

図３（ｃ）は、ビットマッププレーンｂ（ｘ，ｙ）の０を黒、１を白で表した図であり、侵入者の存在する領域のみ他と区別されているのがわかる。また、フレーム内全画素についてｉｉ）式のｄ（ｘ，ｙ）の累積を取ると、背景とは異なる画素の総数を得ることができる。
ｓ＝ΣｙΣｘｄ（ｘ，ｙ）
これをフレーム全画素数で割れば、背景とは異なるがその画面全体との比率がわかり、一定以上の大きさの侵入物が監視領域内に存在するときにのみ、侵入者が存在すると判定してもよい。 FIG. 3C is a diagram in which 0 of the bitmap plane b (x, y) is represented by black and 1 by white, and it can be seen that only the area where the intruder exists is distinguished from others. Further, by taking the accumulation of d (x, y) in equation ii) for all pixels in the frame, the total number of pixels different from the background can be obtained.
s = ΣyΣxd (x, y)
If this is divided by the total number of pixels in the frame, the ratio to the entire screen is known, but it is determined that an intruder exists only when there is an intruder of a certain size or larger in the monitoring area. May be.

以上が背景差分法による被写体抽出の基本的であるが、その他にｉ）式で得られた差分二乗値の分布から照明光と人物の判別を行なったり、背景画像平均濃度を現画像平均濃度などから補正をした上でｉ）式の差分二乗値を求める、また、差分ビットマップの白点連結度などから孤立点や微小領域を削除し、最大連結領域を侵入者と判定するなど、より抽出精度を向上させるための様々な工夫も試みられている。   The above is the basic object extraction by the background subtraction method. In addition, the illumination light and the person are discriminated from the distribution of the difference square value obtained by i), the background image average density is set to the current image average density, etc. After obtaining the correction, the difference square value of equation (i) is obtained, and the isolated points and minute areas are deleted from the white point connectivity of the difference bitmap, and the maximum connected area is determined as an intruder. Various attempts have been made to improve accuracy.

≪「監視モード」の判定≫
このような方法によって、広角カメラ１０３によって撮影され時系列にキャプチャされて送られてくるリアルタイム映像に対し、被写体抽出部１２１は監視領域内の侵入者の有無を検知し、侵入者の存在しない状態である「正常モード」と、侵入者が存在する状態での「侵入者追尾モード」の判定を行なう。 ≪Judgment of `` Monitoring mode''≫
With such a method, the subject extraction unit 121 detects the presence or absence of an intruder in the monitoring area with respect to a real-time image captured by the wide-angle camera 103 and transmitted in time series, and there is no intruder. The “normal mode” and “intruder tracking mode” in the presence of an intruder are determined.

判定結果である「正常モード」および「侵入者追尾モード」の識別信号はシステム制御部１０２に送られるが、システム制御部１０２に送るタイミングは、被写体抽出部１２１が判定の度にすなわち広角カメラ１０３の撮影像毎フレームごとに識別信号を送っても良いし、被写体抽出部１２１が現在のモードを記憶しておきモードが遷移した時（「正常モード」→「侵入者追尾モード」への遷移、または「侵入者追尾モード」→「正常モード」への遷移）、システム制御部１０２に送信しても良い。   The identification signals of “normal mode” and “intruder tracking mode” that are the determination results are sent to the system control unit 102. The timing of sending the identification signals to the system control unit 102 every time the subject extraction unit 121 makes a determination, that is, the wide-angle camera 103 An identification signal may be sent for each frame of the captured image, or when the subject extraction unit 121 stores the current mode and the mode transitions (transition from “normal mode” to “intruder tracking mode”, Or, a transition from “intruder tracking mode” to “normal mode”) may be sent to the system control unit 102.

次に、それぞれの監視モードでの本システムの動作について説明する。   Next, the operation of the present system in each monitoring mode will be described.

≪「正常モード」≫
いま、監視領域内に侵入者が存在しない場合（「正常モード」）、広角カメラ撮影像は侵入者検出部１２０から、図１の１３１の信号線を通り矩形領域符号化部１２６に入力する。 ≪``Normal mode''≫
If there is no intruder in the monitoring area (“normal mode”), the wide-angle camera captured image is input from the intruder detection unit 120 to the rectangular area encoding unit 126 through the signal line 131 in FIG.

本実施例では、信号の流れをわかりやすく説明するため図１では被写体抽出部１２１から出力する映像信号は信号線１２９、１３０及び１３１の各信号線を通るように図示したが、代わりに被写体抽出部１２１から出る一本の信号線と、監視モードによって任意形状符号化部１２４、静止画符号化部１２５及び矩形領域符号化部１２６のいずれかに結線するように切り替わるスイッチの組み合わせによる構成でももちろん問題ない。   In this embodiment, in order to explain the flow of signals in an easy-to-understand manner, the video signal output from the subject extraction unit 121 is illustrated as passing through the signal lines 129, 130, and 131 in FIG. Of course, it may be configured by a combination of a single signal line coming out from the unit 121 and a switch that switches to connect to any of the arbitrary shape encoding unit 124, the still image encoding unit 125, and the rectangular area encoding unit 126 depending on the monitoring mode. no problem.

矩形領域符号化部１２６に入力した広角カメラ撮影像は、フレーム内の映像信号全体が圧縮符号化されネットワーク上に伝送され、後述する伸張復号部２０５で伸張復号化され後述の表示部２１０によって表示される。なお、矩形領域符号化部１２６で行なわれる圧縮符号化については後で詳細に説明する。   The wide-angle camera captured image input to the rectangular area encoding unit 126 is compressed and encoded on the entire video signal in the frame, transmitted over the network, decompressed and decoded by the decompression decoding unit 205 described later, and displayed on the display unit 210 described later. Is done. The compression encoding performed by the rectangular area encoding unit 126 will be described in detail later.

また「正常モード」においては、ズームカメラは特定対象物を撮影する必要もないので、システム処理の負荷軽減からズームカメラ撮影像はキャプチャされない。   Further, in the “normal mode”, the zoom camera does not need to capture the specific object, so that the image captured by the zoom camera is not captured because the load on the system processing is reduced.

≪「侵入者追尾モード」≫
一方、被写体抽出部１２１によって監視領域内に侵入者が存在すると検出された場合、被写体抽出部１２１は、システム制御部１０２に監視領域内に侵入者が存在する「侵入者追尾モード」識別信号を送ると同時に、侵入者の位置情報の推定及びズームカメラ変倍率の決定を行ない、位置情報、ズームカメラ変倍率をシステム制御部１０２に送る。 ≪Intruder tracking mode≫
On the other hand, when the subject extraction unit 121 detects that an intruder exists in the monitoring area, the subject extraction unit 121 sends an “intruder tracking mode” identification signal indicating that the intruder exists in the monitoring area to the system control unit 102. At the same time, the position information of the intruder is estimated and the zoom camera magnification is determined, and the position information and the zoom camera magnification are sent to the system control unit 102.

「侵入者追尾モード」識別信号を受けたシステム制御部１０２は、本発明の特徴である広角カメラ１０３とズームカメラ１０４の相互連動と効率的な映像信号の圧縮符号化および伝送を行なう。   Upon receiving the “intruder tracking mode” identification signal, the system control unit 102 performs the inter-linkage between the wide-angle camera 103 and the zoom camera 104, which is a feature of the present invention, and efficient compression encoding and transmission of a video signal.

≪侵入者位置推定≫
ここで、被写体抽出部１２１の侵入者の位置情報推定とズームカメラ変倍率の決定についてその方式の一例を図を用いて説明する。 ≪Intruder location estimation≫
Here, an example of the method of estimating the position information of the intruder and determining the zoom camera magnification of the subject extracting unit 121 will be described with reference to the drawings.

一般にカメラで撮影された画像座標から物体の３次元位置座標を推定する問題はコンピュータビジョンなどの分野で様々な研究が進められており、その一般式はカメラパラメータと呼ばれる行列要素を用いたアフィン変換によって得られる。   In general, various researches on the problem of estimating the three-dimensional position coordinates of an object from image coordinates photographed by a camera have been conducted in fields such as computer vision. The general formula is an affine transformation using matrix elements called camera parameters. Obtained by.

しかし、本監視システムにおいて侵入者は地面（屋内においては床面）上を移動することを仮定すれば、侵入者の位置座標は地面（床面）である二次元平面上の一点で近似できる。たとえ、床面に凹凸があり侵入者が高さ方向に多少上下しても、本システムの監視カメラを地面（床面）から十分高い位置に設置することで侵入者の位置の近似は十分に成り立つ。   However, in this monitoring system, assuming that the intruder moves on the ground (floor surface indoors), the position coordinates of the intruder can be approximated by one point on the two-dimensional plane that is the ground (floor surface). Even if the floor surface is uneven and the intruder moves slightly in the height direction, the position of the intruder can be sufficiently approximated by installing the surveillance camera of this system at a sufficiently high position from the ground (floor surface). It holds.

よってカメラ撮影画像座標（２次元座標）から物体の３次元位置座標（３次元座標）を推定する問題は、「撮影画像（２次元座標）と地面（２次元座標）」すなわち２次元平面どうしの対応問題に帰着する。これはいわゆる射影変換で簡単に知ることができる。   Therefore, the problem of estimating the three-dimensional position coordinates (three-dimensional coordinates) of an object from the camera-captured image coordinates (two-dimensional coordinates) is the problem of “captured images (two-dimensional coordinates) and the ground (two-dimensional coordinates)”, that is, two-dimensional planes. Reducing the response problem. This can be easily known by so-called projective transformation.

一方、広角カメラは視野範囲が広いほど撮影像は歪曲を持ち、この歪曲を補正しないと正確な位置座標を得ることはできない。この問題に関しては、「７回画像センシングシンポジウム：射影変換を利用した特徴点抽出処理とカメラキャリブレーション」で提案されたように予め補正係数を作成することによって解決できる。   On the other hand, with a wide-angle camera, the wider the field of view, the distorted the captured image, and accurate position coordinates cannot be obtained without correcting this distortion. This problem can be solved by creating correction coefficients in advance as proposed in “7th Image Sensing Symposium: Feature Point Extraction Processing and Camera Calibration Using Projective Transformation”.

そして前述のように補正係数の作成は本撮影システム設置時などに１回行なえばよく、本撮影システムのセットアップアプリケーションとして付属してもよい。具体的作業としては、本監視システム設置時に、図４（ａ）のように監視領域の地面に、お互い同一線上にない４つのランドマークＡ，Ｂ，Ｃ，Ｄを設ける。最も簡単な具体的方法は、監視領域地面（床面）の４隅に長方形となるようにコインやシールなどを置いておく。   As described above, the correction coefficient may be created once when the photographing system is installed, and may be attached as a setup application for the photographing system. Specifically, when the monitoring system is installed, four landmarks A, B, C, and D that are not collinear with each other are provided on the ground of the monitoring area as shown in FIG. The simplest specific method is to place coins, stickers, etc. in a rectangular shape at the four corners of the monitoring area ground (floor surface).

そして例えばランドマークＤを原点とした残り３つのランドマーク（Ａ，Ｂ，Ｃ）の距離（Ｄを原点とした実空間座標値）を測り本監視システムのセットアップアプリケーションソフトウェアに入力する。   Then, for example, the distance (actual space coordinate value with D as the origin) of the remaining three landmarks (A, B, C) with the landmark D as the origin is measured and input to the setup application software of this monitoring system.

また同時に広角カメラによるランドマークＡ，Ｂ，Ｃ，Ｄの撮影像からそれぞれの画像座標値を取得し（人による読み取りでも自動認識でも可）、同様に本監視システムのセットアップアプリケーションソフトウェアに入力する。   At the same time, image coordinate values are acquired from the captured images of the landmarks A, B, C, and D by the wide-angle camera (can be read by humans or automatically recognized), and are similarly input to the setup application software of the monitoring system.

あとは、アプリケーションが射影変換パラメータの決定とレンズ歪み係数の最適化を行い本撮影システムの被写体抽出部１２１に設定され、画像中の侵入者領域から位置情報が推定できる。   After that, the application determines projective transformation parameters and optimizes the lens distortion coefficient, and is set in the subject extraction unit 121 of the imaging system, so that position information can be estimated from the intruder area in the image.

図４（ｂ）は前述の侵入者のビットマップ画像図３（ｃ）であり、見やすくするため白黒反転して侵入者領域を黒、背景領域を白で図示してある。侵入者位置情報は前述のように地面（床面）上の二次元座標で表されるから侵入者ビットマップから図４（ｂ）４０２の侵入者の足元の座標を求める。   FIG. 4B is a bitmap image of the intruder described above, and FIG. 3C shows the intruder area in black and the background area in white with black and white reversed for easy viewing. Since the intruder position information is expressed by two-dimensional coordinates on the ground (floor surface) as described above, the coordinates of the feet of the intruder in FIG. 4B 402 are obtained from the intruder bitmap.

実際には侵入者領域を包括する矩形領域を作成し、矩形左上の座標（Ｘｓ、Ｙｓ）と矩形右下の座標（Ｘｅ、Ｙｅ）をから画像上の侵入者位置（（Ｘｓ＋Ｘｅ）／２、Ｙｅ）を求める。これを前述のレンズ歪み補正および射影変換することで侵入者の位置が実空間（二次元）座標の点（Ｘ、Ｙ）で得ることができる。
≪ズームカメラ変倍率の決定≫
次にズームカメラ１０４の変倍率の決定について説明する。 Actually, a rectangular area including the intruder area is created, and the intruder position ((Xs + Xe) / 2 on the image is obtained from the coordinates (Xs, Ys) at the upper left corner of the rectangle and the coordinates (Xe, Ye) at the lower right corner of the rectangle. Ye). By performing this lens distortion correction and projective transformation, the position of the intruder can be obtained at a point (X, Y) in real space (two-dimensional) coordinates.
≪Determining zoom camera magnification ratio≫
Next, determination of the zoom ratio of the zoom camera 104 will be described.

変倍率の決定でも被写体検出されたビットマッププレーンを用いる。まず図４（ｂ）の示すように、被写体検出されたビットマッププレーン上の特定被写体領域を包括する矩形領域４０１の幅ｗと高さｈを画素数で求める。これは前述の（Ｘｓ、Ｙｓ）と（Ｘｅ、Ｙｅ）を用いると
ｗ＝Ｘｅ−Ｘｓ
ｈ＝Ｙｓ−Ｙｅ
で表される。 The bitmap plane detected by the subject is also used for determining the magnification. First, as shown in FIG. 4B, the width w and the height h of a rectangular area 401 including a specific subject area on a bitmap plane where the subject is detected are obtained by the number of pixels. This is obtained by using the above-mentioned (Xs, Ys) and (Xe, Ye), w = Xe−Xs
h = Ys-Ye
It is represented by

次に侵入者をズームカメラで拡大表示するときの幅Ｗ（画素）と高さＨ（画素）を用いて幅、高さの変倍率（Ｍｗ、Ｍｈ）を計算する。ここで、本実施例では、わかりやすくするため、広角カメラ１０３とズームカメラ１０４は焦点距離以外、例えば撮像素子(ＣＣＤ、ＣＭＯＳセンサ)などの開口サイズ、ピッチなどは同じとするが実際には様々な点で違いがあるが、それぞれの差分は予め補正方法などがわかっているものとする。   Next, using the width W (pixels) and the height H (pixels) when the intruder is enlarged and displayed by the zoom camera, the scaling factors (Mw, Mh) of the width and height are calculated. Here, in this embodiment, for the sake of easy understanding, the wide-angle camera 103 and the zoom camera 104 have the same aperture size, pitch, etc., such as an image sensor (CCD, CMOS sensor) other than the focal length. It is assumed that the correction method is known in advance for each difference.

幅Ｗと高さＨはズームカメラ１０４のイメージセンサ有効領域に若干の余裕を持たせ有効領域の内側に取った矩形の幅と高さとする。図４（ｃ）は、ズームカメラ１０４による侵入者の拡大撮影像を表しており、図中実線枠がイメージセンサ有効領域で、有効領域の内側に点線枠で示す拡大表示領域（Ｗ，Ｈ）を設けている所を表している。   The width W and the height H are the width and height of a rectangle taken inside the effective area with a slight margin in the image sensor effective area of the zoom camera 104. FIG. 4C shows an enlarged photographed image of an intruder by the zoom camera 104. In the figure, the solid line frame is the image sensor effective area, and the enlarged display area (W, H) indicated by the dotted frame inside the effective area. Represents a place where

そしてズームカメラによる拡大撮影時、縦または横方向に被写体が表示領域からはみ出さないように、実際のズーム光学系ユニットで変倍する時の変倍率ＭはＭｗとＭｈのうち小さい方とする。
Ｍｗ＝Ｗ／ｗ
Ｍｈ＝Ｈ／ｈ
Ｍ＝Ｍｉｎ（Ｍｗ，Ｍｈ）
このようにして、位置座標（Ｘ、Ｙ），および変倍率Ｍが求まる。 When zooming in with a zoom camera, the magnification M when zooming with the actual zoom optical system unit is set to the smaller of Mw and Mh so that the subject does not protrude from the display area in the vertical or horizontal direction.
Mw = W / w
Mh = H / h
M = Min (Mw, Mh)
In this way, the position coordinates (X, Y) and the scaling factor M are obtained.

≪侵入者追尾モードのズームカメラ映像信号取得≫
さて、「侵入者追尾モード」においては、カメラの動作及び映像信号の信号処理は「正常モード」のそれと異なる制御で行なわれる。以下、「侵入者追尾モード」での動作について図を用いて説明する。 ≪Intruder tracking mode zoom camera video signal acquisition≫
Now, in the “intruder tracking mode”, the operation of the camera and the signal processing of the video signal are performed by control different from that in the “normal mode”. Hereinafter, the operation in the “intruder tracking mode” will be described with reference to the drawings.

システムが「正常モード」から「侵入者追尾モード」にモード切替されると、システム制御部１０２は、広角カメラ１０３に対しては、引き続き監視領域を撮影するよう指示し（広角カメラは「正常モード」で監視領域を撮影しているので、この指示は無くても可。）、さらにズームカメラ１０４に対しても、撮影を開始するよう制御する。   When the system is switched from the “normal mode” to the “intruder tracking mode”, the system control unit 102 instructs the wide-angle camera 103 to continuously capture the monitoring area (the wide-angle camera Since the monitoring area is photographed in step S <b> 3, this instruction may be omitted.) Further, the zoom camera 104 is also controlled to start photographing.

具体的には、システム制御部１０２はカメラ制御部１０７に対し、侵入者検出部１２０から送られてきた侵入者の位置情報および変倍率を制御パラメータとして、ズームカメラ１０４で侵入者拡大像を撮影するよう要求する。   Specifically, the system control unit 102 captures a magnified image of the intruder with the zoom camera 104, using the position information and the magnification ratio of the intruder sent from the intruder detection unit 120 as control parameters for the camera control unit 107. Request to do.

要求を受けたカメラ制御部１０７は、侵入者位置情報からズームカメラ１０４のパン／チルト角を決定し、図示しない雲台を駆動し、その光軸を侵入者の位置に向ける。また変倍に関しては、広角カメラ１０３の焦点距離をｆとしてＦ＝Ｍｆで表されるＦを、ズームカメラ１０４の焦点距離となるようにズームカメラ１０４のレンズを移動し、ズーミングを行なう。さらに、ビデオキャプチャ１０９も駆動し、システムにズームカメラ撮影像が取り込まれる。   Upon receiving the request, the camera control unit 107 determines the pan / tilt angle of the zoom camera 104 from the intruder position information, drives a head (not shown), and directs its optical axis to the intruder position. Regarding zooming, zooming is performed by moving the lens of the zoom camera 104 so that the focal length of the wide-angle camera 103 is f and F represented by F = Mf becomes the focal length of the zoom camera 104. Furthermore, the video capture 109 is also driven, and a zoom camera image is captured by the system.

このようにしてズームカメラ１０４による侵入者拡大像の撮影が開始され、監視領域に侵入者が存在する間（「侵入者追尾モード」の間）、逐次被写体抽出部１２１から侵入者の位置と変倍率がシステム制御部１０２に送り続けられ、システム制御部１０２はカメラ制御部１０７に対し順次侵入者の位置と変倍率を制御変数としてパン・チルト・ズーム要求を発し続けるためズームカメラ１０４による侵入者追尾が実行される。   In this way, the zoom camera 104 starts taking a magnified image of the intruder, and while the intruder exists in the monitoring area (during “intruder tracking mode”), the subject extraction unit 121 sequentially changes the position of the intruder. The magnification is continuously sent to the system control unit 102, and the system control unit 102 sequentially issues a pan / tilt / zoom request to the camera control unit 107 using the position and magnification of the intruder as control variables. Tracking is performed.

≪ズームカメラ映像信号の圧縮符号化≫
ズームカメラ１０４による侵入者拡大映像は、ビデオキャプチャ１０９によってキャプチャされ、前述のようにそのフレーム内いっぱいに侵入者が撮影されている。よって映像画面中には静止状態の領域はほとんど存在しないので、フレーム全体を矩形領域符号化部１２６によって矩形領域圧縮符号化が行なわれる。 ≪Compression encoding of zoom camera video signal≫
The intruder enlarged image by the zoom camera 104 is captured by the video capture 109, and the intruder is photographed in the entire frame as described above. Accordingly, since there is almost no static area in the video screen, the rectangular area encoding unit 126 performs rectangular area compression encoding on the entire frame.

≪ＭＰＥＧ−４矩形形状ＶＯ符号化≫
ここで、ＭＰＥＧ−４の矩形形状ビデオオブジェクト符号化を例に矩形領域符号化部
１２６の信号処理について図５を用いて簡単に説明する。映像信号はブロック分割ステップ５０１で所定の画素サイズのマクロブロックに分割され、各マクロブロックに対し離散直交変換（ＤＣＴ）ステップ５０２で直交変換され、量子化ステップ５０３で量子化される。 << MPEG-4 Rectangular Shape VO Coding >>
Here, the signal processing of the rectangular area encoding unit 126 will be briefly described with reference to FIG. 5, taking MPEG-4 rectangular video object encoding as an example. The video signal is divided into macroblocks having a predetermined pixel size in a block division step 501, each macroblock is orthogonally transformed in a discrete orthogonal transformation (DCT) step 502, and quantized in a quantization step 503.

そしてこの量子化されたＤＣＴ係数と量子化幅を可変長符号化ステップ５０６で可変長符号化する（イントラ符号化）。一方量子化されたＤＣＴ係数は、逆量子化ステップ５０４で逆量子化され、さらに逆ＤＣＴステップ５０５で逆変換が行なわれ、メモリ５０７に蓄積される。   Then, the quantized DCT coefficient and the quantization width are subjected to variable length coding in a variable length coding step 506 (intra coding). On the other hand, the quantized DCT coefficient is inversely quantized at the inverse quantization step 504, and further inversely transformed at the inverse DCT step 505 and stored in the memory 507.

蓄積された画像情報は、時間的に隣接する別の映像信号がブロック分割ステップ５０１に入力された時点で、供に動き検出ステップ５０８に入力し動きベクトルを生成する。   The stored image information is input to the motion detection step 508 at the time when another temporally adjacent video signal is input to the block division step 501 to generate a motion vector.

そして動きベクトルに基づき動き補償ステップ５０９で最適な予測マクロブロックを生成し、次に対象となるマクロブロックとの差分を求め、この差分信号に対して離散直交変換（ＤＣＴ）ステップ５０２で直交変換し、量子化ステップ５０３で量子化する。量子化ＤＣＴ係数は、動きベクトルや量子化幅と供に可変長符号化ステップ５０６で可変長符号化する（インター符号化）。   Then, based on the motion vector, an optimal prediction macroblock is generated in the motion compensation step 509, a difference from the target macroblock is obtained, and the difference signal is orthogonally transformed in a discrete orthogonal transform (DCT) step 502. Quantization is performed in the quantization step 503. The quantized DCT coefficient is subjected to variable length coding (inter coding) in the variable length coding step 506 together with the motion vector and the quantization width.

このようにしてズームカメラ１０４による侵入者拡大映像は矩形形状ビデオオブジェクト符号化され、符号データは図２の多重化部１２７へ送られる。   In this way, the enlarged video of the intruder by the zoom camera 104 is encoded as a rectangular video object, and the encoded data is sent to the multiplexing unit 127 in FIG.

≪侵入者追尾モードの広角カメラ映像信号処理≫
つぎに「侵入者追尾モード」における広角カメラ１０３撮影の映像信号処理について説明する。前述のように監視領域内に侵入者が存在しない「正常モード」においては、広角カメラ１０３で撮影された監視領域撮影像は信号線１３１を通り、前述の矩形領域符号化部１２６に入力し、映像フレーム全体が圧縮符号化されたあと、ネットワーク上を伝送し、伸張復号され表示部２１０に表示された。 ≪Wide-angle camera video signal processing in intruder tracking mode≫
Next, video signal processing of the wide-angle camera 103 shooting in the “intruder tracking mode” will be described. As described above, in the “normal mode” where no intruder exists in the monitoring area, the monitoring area captured image captured by the wide-angle camera 103 passes through the signal line 131 and is input to the rectangular area encoding unit 126 described above. After the entire video frame was compressed and encoded, it was transmitted over the network, decompressed and decoded, and displayed on the display unit 210.

しかし、侵入者による監視領域内不正侵入によってシステムが「正常モード」から「侵入者追尾モード」にモード切替されると、広角カメラ１０３の撮影像は矩形領域符号化部１２６から任意形状符号化部１２４と静止画符号化部１２５を用いた圧縮符号化処理に切り替わる。   However, when the system is switched from the “normal mode” to the “intruder tracking mode” by unauthorized intrusion in the monitoring area by the intruder, the captured image of the wide-angle camera 103 is changed from the rectangular area encoding unit 126 to the arbitrary shape encoding unit. 124 and the compression encoding process using the still image encoding unit 125.

初めに、「侵入者追尾モード」における符号化方式切り替えの理由について説明する。前述のように広角カメラ１０３は、不正侵入者の発見および侵入者侵入時の監視領域内の動きを把握するため、広範囲な領域を撮像視野範囲としている。そのため、撮像視野範囲が広いほど人物領域の面積は小さく、撮影像のほとんどが静止状態にある。   First, the reason for switching the encoding method in the “intruder tracking mode” will be described. As described above, the wide-angle camera 103 uses a wide area as an imaging field of view range in order to detect unauthorized intruders and grasp the movement in the monitoring area when an intruder enters. For this reason, the area of the person region is smaller as the imaging field of view is wider, and most of the captured images are in a stationary state.

よって、毎フレームほとんど同じ映像全体を圧縮符号化してネットワーク電送路へ流すより、初めに静止状態にある映像を静止画として伝送し、以降移動物体のみを伝送し、受信側で静止画と合成表示した方が伝送の効率が良いのは明らかである。   Therefore, rather than compressing and encoding almost the same video every frame and sending it to the network transmission path, the video in the stationary state is transmitted as a still image first, and then only the moving object is transmitted, and the still image is combined with the still image on the receiving side. Obviously, the transmission efficiency is better.

これはまさにオブジェクト単位符号化方式の思想であり、オブジェクトは侵入者に他ならない。以上の理由から侵入者追尾モードにおける広角カメラ映像信号はオブジェクト単位符号化方式を適用する。   This is exactly the idea of the object unit coding system, and an object is nothing but an intruder. For the above reason, the object unit coding method is applied to the wide-angle camera video signal in the intruder tracking mode.

≪ＭＰＥＧ−４任意形状符号化≫
本実施例では、オブジェクト単位符号化方式にＭＰＥＧ−４の任意形状符号化方式を用いる。ＭＰＥＧ−４における任意形状符号化は、形状信号、画像信号、透過度信号から構成される。 << MPEG-4 Arbitrary Shape Coding >>
In the present embodiment, an MPEG-4 arbitrary shape encoding method is used as the object unit encoding method. Arbitrary shape coding in MPEG-4 includes a shape signal, an image signal, and a transparency signal.

形状信号は、オブジェクト内部を２５５、オブジェクト外を０で定義される二値信号である。本実施例では、オブジェクトは監視領域の侵入者であり、広角カメラ撮影像の侵入者の領域を表す信号は、前述の被写体抽出部１２１で作成したビットマッププレーン（図３（ｃ））がそのまま利用できる。また、画像信号は形状信号でマスクされた侵入者映像信号である。   The shape signal is a binary signal defined by 255 inside the object and 0 outside the object. In this embodiment, the object is an intruder in the surveillance area, and the bitmap plane (FIG. 3C) created by the subject extraction unit 121 is used as it is for the signal indicating the intruder area of the wide-angle camera image. Available. The image signal is an intruder video signal masked with a shape signal.

透過度信号は半透明物体以外のオブジェクトに対しては使用されないので本実施例でも使用しない。図７にビットマッププレーンのうちオブジェクトを包含する矩形領域（バウンディングボックス）と、バウンディングボックスを分割するマクロブロックの例を示した。   Since the transparency signal is not used for objects other than a translucent object, it is not used in this embodiment. FIG. 7 shows an example of a rectangular area (bounding box) that includes an object in the bitmap plane and a macroblock that divides the bounding box.

形状符号化はこのマクロブロックに対して行なわれ、図６に示すようにＣＡＥと呼ばれる算術符号化が用いられる。なおアルゴリズムについては、工業調査会発行、三木編著、「ＭＰＥＧ−４のすべて」（ｐ５８−ｐ９３）にその詳細が記載されており、本実施例でもその方式に従う。   Shape coding is performed on this macroblock, and arithmetic coding called CAE is used as shown in FIG. Details of the algorithm are described in “Implementation of MPEG-4” (p58-p93) published by the Industrial Research Council, edited by Miki, and this method is also followed in this embodiment.

≪広角カメラ映像信号動作≫
次に「侵入者追尾モード」での広角カメラ映像信号に関するシステムの動作について説明する。「侵入者追尾モード」になるとシステム制御部１０２は背景画像の送信を侵入者検出部１２０、圧縮符号化部１２３、多重化部１２７、通信部１２８に対して以下のように指示する。 ≪Wide-angle camera video signal operation≫
Next, the operation of the system relating to the wide-angle camera video signal in the “intruder tracking mode” will be described. In the “intruder tracking mode”, the system control unit 102 instructs the intruder detection unit 120, the compression encoding unit 123, the multiplexing unit 127, and the communication unit 128 to transmit the background image as follows.

指示を受けた侵入者検出部１２０は、メモリ１２２に記憶保持されていた背景画像を呼び出し、これを信号線１３０を介して静止画符号化部１２５に出力する。背景信号を受けた圧縮符号化部１２３は静止画符号化部１２５で圧縮符号化するが、前述のように静止画符号化部１２５の符号化方式は静止画を圧縮符号化可能なものなら特に方式は問わない。   Upon receiving the instruction, the intruder detection unit 120 calls the background image stored in the memory 122 and outputs the background image to the still image encoding unit 125 via the signal line 130. Upon receiving the background signal, the compression encoding unit 123 performs compression encoding with the still image encoding unit 125. As described above, the encoding method of the still image encoding unit 125 is particularly suitable if it can compress and encode still images. Any method is acceptable.

静止画符号化部１２５で圧縮符号化された背景画像は多重化部１２７に入力する。しかし、いま背景画像のみの符号化データしか存在しないため多重化処理はされず、そのまま通信部１２８へ入力し、ネットワーク伝送路による通信に必要な信号処理が施され送信される。   The background image compressed and encoded by the still image encoding unit 125 is input to the multiplexing unit 127. However, since there is only encoded data of only the background image at present, the multiplexing process is not performed, and the signal is input to the communication unit 128 as it is, subjected to signal processing necessary for communication through the network transmission path, and transmitted.

背景画像の送信が終了すると、システム制御部１０２は、侵入者のオブジェクト画像とズームカメラ撮影像の送信を指示する。指示を受け侵入者検出部１２０は、広角カメラ１０３撮影像から被写体抽出部１２１によって侵入者領域を抽出し、抽出処理過程で生成される侵入者領域ビットマッププレーンを形状信号とし、広角カメラ映像と形状信号が任意形状符号化部１２４に入力し、符号化データが生成される。以降、わかりやすいためにこの符号化データを「広角カメラ符号化データ」とよぶ。   When the transmission of the background image is completed, the system control unit 102 instructs transmission of the intruder's object image and the zoom camera image. In response to the instruction, the intruder detection unit 120 extracts the intruder region from the photographed image of the wide-angle camera 103 by the subject extraction unit 121, uses the intruder region bitmap plane generated in the extraction process as a shape signal, The shape signal is input to the arbitrary shape encoding unit 124, and encoded data is generated. Hereinafter, for easy understanding, this encoded data is referred to as “wide-angle camera encoded data”.

一方、被写体抽出部１２１によって侵入者位置および変倍率が推定され、該情報を元に侵入者拡大像を撮影したズームカメラ撮影像は、矩形領域符号化処理１２６によって符号化データが生成される。これも以降、わかりやすいためにこの符号化データを「ズームカメラ符号化データ」とよぶ。   On the other hand, the intruder position and the magnification ratio are estimated by the subject extraction unit 121, and the encoded data is generated by the rectangular area encoding process 126 for the zoom camera captured image obtained by capturing the magnified image of the intruder based on the information. Hereinafter, this encoded data is referred to as “zoom camera encoded data” for easy understanding.

「広角カメラ符号化データ」と「ズームカメラ符号化データ」は同時刻のそれぞれの映像が同一ビットストリームに多重化されるように、システム制御部１０２によって同期が取られ、多重化部１２７によって多重化される。以降、多重化されたビットストリームは前述と同様にネットワーク伝送路送信のために通信部１２８で信号変換され、送信される。   The “wide-angle camera encoded data” and the “zoom camera encoded data” are synchronized by the system control unit 102 and multiplexed by the multiplexing unit 127 so that each video at the same time is multiplexed into the same bit stream. It becomes. Thereafter, the multiplexed bit stream is signal-converted and transmitted by the communication unit 128 for network transmission path transmission as described above.

≪ストリーム受信から画像表示≫
つぎに、本撮影システムの符号化データの受信から、復号化、表示までについて図２を用いて説明する。２０３はネットワーク伝送路から送られてきたデータを受信し、多重化符号データビットストリームに変換する通信部である。２０４は多重化符号データビットストリームをそれぞれの符号データビットストリームに分離する分離部。 ≪Image display from stream reception≫
Next, a process from reception of encoded data of the present photographing system to decoding and display will be described with reference to FIG. A communication unit 203 receives data sent from the network transmission path and converts it into a multiplexed code data bit stream. A separation unit 204 separates the multiplexed code data bit stream into respective code data bit streams.

２０５は圧縮符号化データを伸張、復号化する伸張復号化部であり、それぞれ図１の任意形状符号化部１２４の逆変換を行なう任意形状復号化部２０６、図１の静止画符号化部１２５の逆変換を行なう静止画復号化部２０６、図１の矩形領域符号化部１２６の逆変換を行なう矩形領域復号化部２０８から構成される。   205 is a decompression decoding unit that decompresses and decodes the compressed encoded data. The arbitrary shape decoding unit 206 performs inverse transformation of the arbitrary shape encoding unit 124 in FIG. 1 and the still image coding unit 125 in FIG. 1 and a rectangular area decoding unit 208 that performs inverse conversion of the rectangular area encoding unit 126 of FIG.

２０９はオブジェクト単位符号化によってオブジェクト領域のみ符号化されたオブジェクトと背景などを合成する合成部、２１０はモニタなどの表示部である。   Reference numeral 209 denotes a synthesizing unit that synthesizes an object encoded only in the object region by object unit encoding and the background, and 210 denotes a display unit such as a monitor.

図１の通信部１２８によってネットワーク伝送路に送られた通信データは、システム状態が「正常モード」のとき、分離部２０４を介し（正常モードのときは広角カメラ映像単一符号化データのみの為、分離処理は行なわれない。）、矩形領域復号化部２０８へと入力する。矩形領域復号化部２０８では図２の矩形領域符号化部１２６の逆変換が行なわれ、モニタなどの表示部２１０に表示される。   The communication data sent to the network transmission line by the communication unit 128 in FIG. 1 is transmitted through the separation unit 204 when the system state is “normal mode” (because only the wide-angle camera video single encoded data is obtained in the normal mode). , No separation processing is performed.), And is input to the rectangular area decoding unit 208. In the rectangular area decoding unit 208, the inverse transformation of the rectangular area encoding unit 126 in FIG. 2 is performed and displayed on the display unit 210 such as a monitor.

図８は「正常モード」における広角カメラ監視領域撮影像を表す図である。一方、システム状態が「侵入者追跡モード」のとき、背景画像の圧縮符号化データであるか、広角カメラによる侵入者オブジェクトとズームカメラによる侵入者拡大映像の多重化データのどちらかである。   FIG. 8 is a diagram illustrating a wide-angle camera monitoring area captured image in the “normal mode”. On the other hand, when the system state is the “intruder tracking mode”, it is either compression-encoded data of a background image or multiplexed data of an intruder object by a wide-angle camera and an intruder enlarged video by a zoom camera.

システム状態が「正常モード」から「侵入者追跡モード」にモード切替されると、まず背景画像が符号化データとして送信されてくるのでシステム制御部１０２は、符号化データを静止画復号化部２０７で静止画に伸張復号化する。復号化された背景画像は合成部２０９内に設置された図示しない画像メモリによって記憶保持される。   When the system state is switched from the “normal mode” to the “intruder tracking mode”, the background image is first transmitted as encoded data. Therefore, the system control unit 102 converts the encoded data into the still image decoding unit 207. To decompress and decode still images. The decoded background image is stored and held by an image memory (not shown) installed in the synthesis unit 209.

つぎに、ネットワーク伝送路からは広角カメラ１０３による侵入者オブジェクトとズームカメラ１０４による侵入者拡大映像の多重化データが送信されてくる。それぞれのデータは分離部２０４で侵入者オブジェクト符号化データと侵入者拡大像符号化データとに分離される。   Next, multiplexed data of the intruder object by the wide-angle camera 103 and the enlarged image of the intruder by the zoom camera 104 are transmitted from the network transmission path. Each data is separated into intruder object encoded data and intruder enlarged image encoded data by the separation unit 204.

分離された侵入者オブジェクト符号化データは、任意形状復号化部２０６で伸張復号化され合成部２０９に出力される。合成部２０９では先に送られ記憶保存されている背景画像と合成され、広角カメラで撮影した監視領域映像が再現される。   The separated intruder object encoded data is decompressed and decoded by the arbitrary shape decoding unit 206 and output to the synthesis unit 209. The combining unit 209 combines with the background image previously sent and stored, and reproduces the monitoring area image captured by the wide-angle camera.

一方、侵入者拡大像符号化データは矩形領域復号化部２０８によって伸張復号化されズームカメラ撮影像が再現される。それぞれ再現された広角カメラ撮影像とズームカメラ撮影像はシステム制御部１０２によって同時刻の撮影像が同期を取られて表示部２１０へと出力される。表示部２１０ではこれら映像を操作部１０１の操作によって表示方法を変えて表示する。   On the other hand, the intruder enlarged image encoded data is decompressed and decoded by the rectangular area decoding unit 208 to reproduce a zoom camera image. The wide-angle camera captured image and the zoom camera captured image that are reproduced respectively are output to the display unit 210 by the system control unit 102 synchronizing the captured images at the same time. The display unit 210 displays these videos by changing the display method by operating the operation unit 101.

図９（ａ）−（ｄ）に表示部２１０の表示方法の一例を示す。図９（ａ）では広角カメラ撮影像のみを全画面表示しており、（ｂ）では広角カメラ撮影像を全画面に表示するとともに侵入者拡大像を小ウィンドウで表示しており、（ｃ）では侵入者拡大像を全画面に表示するとともに広角カメラ撮影像を小ウィンドウで表示しており。（ｄ）は侵入者拡大像のみを全画面表示している。   FIGS. 9A to 9D show an example of the display method of the display unit 210. FIG. In FIG. 9 (a), only the wide-angle camera image is displayed in full screen, and in FIG. 9 (b), the wide-angle camera image is displayed on the full screen and the intruder magnified image is displayed in a small window, (c) Displays a magnified image of an intruder on the entire screen and displays a wide-angle camera image in a small window. In (d), only the magnified image of the intruder is displayed on the full screen.

なお、本実施例では、「正常モード」での広角カメラ映像の圧縮符号化および伸張復号化はフレーム全体を符号化／復号化する矩形領域符号化を行なう構成としたが、「正常モード」でも広角カメラ映像の圧縮符号化および伸張復号化を任意形状符号化部および任意形状復号化部に映像信号を出力してもよい。この場合前述の形状信号が存在しない（オブジェクトの存在しない）任意形状符号化および任意形状復号化となる。   In this embodiment, the compression encoding and decompression decoding of the wide-angle camera video in the “normal mode” is configured to perform rectangular area encoding that encodes / decodes the entire frame, but even in the “normal mode”. The video signal may be output to the arbitrary shape encoding unit and the arbitrary shape decoding unit for compression encoding and expansion decoding of the wide-angle camera video. In this case, the above-described shape signal does not exist (no object exists), and arbitrary shape encoding and arbitrary shape decoding are performed.

本発明の実施例２について説明する。実施例１では、監視カメラとして広角カメラ１０３およびズームカメラ１０４の２台のカメラを並べて設置したが、２台のカメラを並べる代わりに本出願人が既に開示した「複眼撮像装置」を使用することでコンパクトかつ簡易で正確に広範囲な映像と侵入者拡大像を得ることができる。   A second embodiment of the present invention will be described. In the first embodiment, two cameras, the wide-angle camera 103 and the zoom camera 104, are installed side by side as surveillance cameras. Instead of arranging the two cameras, the “compound eye imaging device” already disclosed by the present applicant is used. It is compact and simple and can accurately obtain a wide range of images and a magnified intruder.

この「複眼撮像装置」は、１台のカメラの中に広角光学系とズーム光学系の２つの光学系を搭載した複眼カメラで、その特徴は、２つの光学系が１台のカメラに搭載することで基線長が短くでき２つの光学系間の視差量が少ないこと、それぞれの光学系の入射瞳位置を呼びズーム光学系雲台軸が一直線上に並ぶように配置されていることで広角光学系に対する物***置方向とズーム光学系に対する物***置方向は少なくともパンニングではズレが全く生じないことである。よって広角光学系で被写体抽出された位置情報は複雑な変換なしに直接、ズーム光学系の光軸移動角に適用できることである。   This “compound-eye imaging device” is a compound-eye camera in which two optical systems, that is, a wide-angle optical system and a zoom optical system, are mounted in one camera. The feature is that two optical systems are mounted in one camera. This makes it possible to shorten the baseline length and reduce the amount of parallax between the two optical systems, and to call the entrance pupil position of each optical system and to arrange the zoom optical system heads in a straight line so that wide-angle optics The object position direction with respect to the system and the object position direction with respect to the zoom optical system are not displaced at least in panning. Therefore, the position information extracted from the subject by the wide-angle optical system can be directly applied to the optical axis movement angle of the zoom optical system without complicated conversion.

≪「複眼撮像装置」の構成≫
図１０から図１３に、「複眼撮像装置」の構成を示す。図１０は３次元空間上の３座標軸、ＸＹＺ軸のうち地面に水平な平面上の直交する２軸をＸＹ軸、地面に垂直な軸をＺ軸とし、「複眼撮像装置」のＸＺ平面投影像を表している。すなわち「複眼撮像装置」を側面から見た図を表している。ただし、図１０ではその内部構成を明確にするため、本装置の外形枠は図示していない。
図１０の１００１は本複眼撮像装置に搭載される２つの光学系のうち撮影倍率の低い光学系で広角視野範囲を有する広角光学系ユニットである。 ≪Configuration of `` compound eye imaging device''≫
10 to 13 show the configuration of the “compound eye imaging device”. FIG. 10 shows an XZ plane projection image of a “compound eye imaging device” with three coordinate axes in a three-dimensional space, two XYZ axes orthogonal to each other on a plane horizontal to the ground as an XY axis, and an axis perpendicular to the ground as a Z axis. Represents. That is, the figure which looked at the "compound eye imaging device" from the side was represented. However, in FIG. 10, the outer frame of the apparatus is not shown in order to clarify the internal configuration.
Reference numeral 1001 in FIG. 10 denotes a wide-angle optical system unit having a wide-angle visual field range with an optical system having a low photographing magnification out of two optical systems mounted on the compound-eye imaging apparatus.

広角光学系ユニットの撮影倍率は、監視領域の広さと装置の設置場所で最適な倍率が決まり、より広範囲を監視領域とすることは言うまでもなく、広角光学系ユニットは単焦点光学系に限ったものではなく、可変倍率光学系で監視領域の範囲に応じて焦点距離を変え、最適な撮影倍率で撮影してもよい。   The shooting magnification of the wide-angle optical system unit is determined by the size of the monitoring area and the installation location of the device. Needless to say, the wide-angle optical system unit is limited to a single-focus optical system. Instead, a variable magnification optical system may be used to change the focal length according to the range of the monitoring area and take an image at an optimum imaging magnification.

ただし、本実施例においては、監視動作中は撮影倍率を固定しておくことが望ましく、説明を簡単化するため本実施例では単焦点光学系とする。同様に、本広角光学系ユニット１００１は本実施例においてパン・チルト機構を有してないが、監視領域と本装置設置場所によっては、予めパン・チルトをして監視領域内を撮影してもよい。   However, in this embodiment, it is desirable to fix the photographing magnification during the monitoring operation, and in this embodiment, a single focus optical system is used for the sake of simplicity. Similarly, the wide-angle optical system unit 1001 does not have a pan / tilt mechanism in this embodiment. However, depending on the monitoring area and the installation location of the apparatus, panning / tilting may be performed in advance to capture an image of the monitoring area. Good.

ただし、撮影倍率と同様に本実施例においては、監視動作中は光軸方向を固定しておくことが望ましく、説明を簡単化するため本実施例ではパン・チルト機構を有さず、広角光学系ユニットの光軸方向の設定は本装置の設置方向を変えることによって行なうものとする。   However, in the present embodiment, it is desirable to fix the optical axis direction during the monitoring operation, as in the case of the photographing magnification. In order to simplify the explanation, the present embodiment does not have a pan / tilt mechanism and does not have a wide-angle optical system. The setting of the optical axis direction of the system unit is performed by changing the installation direction of the apparatus.

広角光学系ユニット１００１は魚眼レンズなど超広角レンズを含む広角レンズ１０１１、絞り１００３、ＣＣＤエリアセンサーなどからなる結像面１００４から構成され、特に本実施例においては、図示しないレンズ鏡筒、ＣＣＤ駆動回路、イメージプロセッサなど一般的にデジタル動画像を撮影するのに必要な構成部品をまとめて光学系ユニットと呼ぶことにする。また、この広角光学系の入射瞳は絞り左側１０１２に存在するとする。   The wide-angle optical system unit 1001 includes a wide-angle lens 1011 including a super-wide-angle lens such as a fish-eye lens, an imaging surface 1004 including a diaphragm 1003, a CCD area sensor, and the like. In general, components necessary for taking a digital moving image such as an image processor are collectively referred to as an optical system unit. Further, it is assumed that the entrance pupil of this wide-angle optical system exists on the left side 1012 of the stop.

一方、図１０の１００２は本複眼撮像装置に搭載される２つの光学系のうち相対的に撮影倍率の高い光学系で高倍率撮影像を映し出すズーム光学系ユニットである。前述の広角光学系ユニットにおける単焦点光学系に関連して、広角光学系ユニットの撮影倍率に対して相対的に撮影倍率の高い撮影像を映し出す目的であれば、ズーム光学系ユニットは単焦点距離光学系でも可能であるが、装置から特定被写体までの距離、特定被写体の大きさに対応して最適な拡大像を得るには、可変焦点距離光学系がより望ましく、本実施例でもズームレンズを前提に説明する。   On the other hand, reference numeral 1002 in FIG. 10 denotes a zoom optical system unit that projects a high-magnification photographed image with an optical system having a relatively high photographing magnification among the two optical systems mounted on the compound-eye imaging apparatus. In relation to the single-focus optical system in the above-described wide-angle optical system unit, the zoom optical system unit has a single focal length for the purpose of displaying a photographed image having a high photographing magnification relative to the photographing magnification of the wide-angle optical system unit. Although an optical system is possible, a variable focal length optical system is more desirable to obtain an optimal magnified image corresponding to the distance from the apparatus to the specific subject and the size of the specific subject. I will explain it on the premise.

ズーム光学系１０１２も部品構成は広角光学系ユニット１００１とほぼ同じで、ズームレンズ１０２１、絞り１００３、ＣＣＤエリアセンサーなどからなる結像面１００４と、図示しないレンズ鏡筒、ＣＣＤ駆動回路、イメージプロセッサなどから構成される。その他ズーム光学系には、焦点距離と変倍率を変更するズーミング制御装置や、ズームレンズの光軸方向を制御するパン・チルト機構を搭載しているが、図１０では図示していない。またこの光学系における入射瞳は絞り左側の１０２２に存在するとする。   The components of the zoom optical system 1012 are almost the same as those of the wide-angle optical system unit 1001, and an image forming surface 1004 including a zoom lens 1021, an aperture 1003, a CCD area sensor, a lens barrel (not shown), a CCD drive circuit, an image processor, and the like. Consists of In addition, the zoom optical system is equipped with a zooming control device that changes the focal length and the magnification, and a pan / tilt mechanism that controls the optical axis direction of the zoom lens, which are not shown in FIG. Further, it is assumed that the entrance pupil in this optical system exists at 1022 on the left side of the stop.

さて、これら広角光学系ユニット１００１およびズーム光学系ユニット１００２は、垂直方向に間隔Ｈだけ離されて配置されており、間隔Ｈはズーム光学系ユニット１００２がパン・チルトするのに広角光学ユニット１００１を干渉しない最小距離とし、本実施例では垂直（Ｚ軸）方向上部に広角光学ユニット、下部にズーム光学系ユニットを配置し、監視動作前の初期状態においては両ユニットの光軸は平行となるよう設定してある。   The wide-angle optical system unit 1001 and the zoom optical system unit 1002 are spaced apart by a distance H in the vertical direction, and the distance H causes the wide-angle optical unit 1001 to be panned and tilted. In this embodiment, a wide-angle optical unit is arranged at the upper part in the vertical (Z-axis) direction, and a zoom optical system unit is arranged at the lower part. In the initial state before the monitoring operation, the optical axes of both units are parallel to each other. It is set.

一方、図１０のＸ軸方向に関する両ユニットの配置関係は、それぞれの入射瞳位置１０１２および１０２２が同じ位置（そのＸ座標をＸ_０とする）となるよう搭載してある。
ここで水平面（ＸＹ軸平面）内の両ユニットの位置関係を図１１を用いて説明する。 On the other hand, arrangement of the two units in the X-axis direction in FIG. 10, each of the entrance pupil position 1012 and 1022 are mounted to the same position (the X-coordinate and X _0).
Here, the positional relationship between the two units in the horizontal plane (XY axis plane) will be described with reference to FIG.

図１１は図１０をＺ軸方向から見た図で、本装置を上から見下ろした様子を表す図である。Ｚ軸方向から見た本複眼撮像装置（本複眼装置のＸＹ平面写像）は、広角光学系ユニットおよびズーム光学系ユニットそれぞれの入射瞳位置がＸＹ平面上で座標（Ｘ_０，Ｙ_０）で一致するように配置しており、また初期状態においては両ユニットの光軸は図のようにＸＹ平面で一致するようにしてある。 FIG. 11 is a view of FIG. 10 as viewed from the Z-axis direction, and shows a state in which the present apparatus is looked down from above. In this compound-eye imaging device (XY plane mapping of the compound-eye device) viewed from the Z-axis direction, the entrance pupil positions of the wide-angle optical system unit and the zoom optical system unit coincide on the coordinates (X ₀ , Y ₀ ) on the XY plane. Also, in the initial state, the optical axes of both units coincide with each other on the XY plane as shown in the figure.

以上のように、広角光学系ユニットおよびズーム光学系ユニットの配置関係は、ＸＹ平面上で両ユニットの入射瞳位置の一致、ＸＹ面垂直方向にはなるべく近づけた配置とし、その初期状態では両ユニットの光軸がＸＹ平面で一致、ＸＺ面で平行となるようにしてある。   As described above, the arrangement relationship between the wide-angle optical system unit and the zoom optical system unit is such that the entrance pupil positions of both units coincide on the XY plane and are arranged as close as possible in the vertical direction of the XY plane. The optical axes are aligned on the XY plane and parallel on the XZ plane.

次に、図１２を用いてズーム光学系ユニットのパン・チルト機構について説明する。図１２はズーム光学系ユニット１００２とパンニング機構を前述のＸＺ平面で見た図である。図中１２０１はズーム光学系ユニットの視線方向をパンするためのパンニングモータである。実際にはモータはステッピングモータなどにより高精度に回転数などが制御された上で、さらにモータによる回転を適当な回転比率でズーム光学系ユニットに伝達するギア機構や、ズーム光学系レンズ鏡筒を固定し、モータまたはギア機構などと連結する三脚座のような部材、モータを本複眼撮像装置基板などに固定する固定部材なども必須であり、必要に応じて振動などによる撮影画像のぶれを抑制する防振機構も搭載されても良いが、本実施例はそれら全て含めて３０１をパンニングモータと呼ぶこととする。   Next, the pan / tilt mechanism of the zoom optical system unit will be described with reference to FIG. FIG. 12 is a view of the zoom optical system unit 1002 and the panning mechanism as seen in the XZ plane described above. In the figure, reference numeral 1201 denotes a panning motor for panning the viewing direction of the zoom optical system unit. Actually, the motor is controlled by a stepping motor or the like with high precision, and a gear mechanism that transmits the rotation by the motor to the zoom optical system unit at an appropriate rotation ratio or a zoom optical system lens barrel A member such as a tripod mount that is fixed and connected to a motor or gear mechanism, a fixing member that fixes the motor to the compound eye imaging device board, etc. are also indispensable. Although an anti-vibration mechanism may be mounted, in the present embodiment, all of them including 301 are referred to as a panning motor.

パンニングモータ１２０１はその回転軸及び回転軸延長方向が垂直に伸び、かつ回転軸延長方向に入射瞳位置が一致するようにズーム光学系ユニットに取り付けられており、ユニットはモータの回転に伴って、図中矢印で示す方向に回転する。すなわち、パンニングモータ３０１によるパンニングは入射瞳位置を回転中心とし、前述のＸＹ平面に平行に行なわれ、ズーム光学系の視線方向もＸＹ平面に平行移動する。   The panning motor 1201 is attached to the zoom optical system unit so that its rotation axis and the rotation axis extension direction extend vertically, and the entrance pupil position coincides with the rotation axis extension direction. It rotates in the direction indicated by the arrow in the figure. That is, panning by the panning motor 301 is performed in parallel with the XY plane, with the entrance pupil position as the rotation center, and the viewing direction of the zoom optical system is also translated in the XY plane.

図１３は図１２をＺ軸方向から見た図で、図１３を用いてズーム光学系ユニット１００２とチルト機構を説明する。１３の点線で示す円は前述のパンニングモータ１２０１し、パンニングモータ１２０１は本図ではズーム光学系ユニットの下に配置され、その回転軸は入射瞳位置のＸＹ座標（Ｘ０，Ｙ０）で示される。   FIG. 13 is a diagram when FIG. 12 is viewed from the Z-axis direction. The zoom optical system unit 1002 and the tilt mechanism will be described with reference to FIG. A circle indicated by a dotted line 13 is the panning motor 1201 described above, and the panning motor 1201 is arranged below the zoom optical system unit in this drawing, and its rotation axis is indicated by XY coordinates (X0, Y0) of the entrance pupil position.

また、図中１３０１はズーム光学系ユニットの視線方向をチルトするためのチルティングモータである。チルティングモータ１３０１についてもその詳細な構成はパンニングモータ１３０１と同様で、本実施例では全てを総称してチルティングモータと呼ぶことにする。   In the figure, reference numeral 1301 denotes a tilting motor for tilting the viewing direction of the zoom optical system unit. The detailed configuration of the tilting motor 1301 is the same as that of the panning motor 1301, and in this embodiment, all are collectively referred to as a tilting motor.

チルティングモータ１３０１は、その回転軸及び回転軸延長方向がＸＹ平面に平行して伸び、かつ回転軸延長方向に入射瞳位置が一致、さらに光学系光軸に対し直交するようにズーム光学系ユニットに取り付けられており、ユニットはモータの回転に伴って、図中矢印で示す方向に回転する。すなわち、チルティングモータ１３０１によるチルトは入射瞳位置を回転中心とし、チルトによって張られる平面は前述のＸＹ平面に直交する。   The tilting motor 1301 has a zoom optical system unit such that the rotation axis and the rotation axis extending direction extend parallel to the XY plane, the entrance pupil position coincides with the rotation axis extending direction, and is orthogonal to the optical system optical axis. The unit rotates in the direction indicated by the arrow in the figure as the motor rotates. That is, the tilt by the tilting motor 1301 is centered on the entrance pupil position, and the plane stretched by the tilt is orthogonal to the XY plane described above.

≪「複眼撮像装置」によるパン・チルト≫
このような構成の映像入力手段を用いた時、ズーム光学系の侵入者追尾方向について図１４を用いて説明する。図１４は「複眼撮像装置」を上から見た図である。初期状態においては、広角光学系ユニット１００１およびズーム光学系ユニット１００２は図中点線で示す方向に一致しており、この光軸方向を後述のなす角θを求める時の基準方向とする。 ≪Pan / Tilt with `` Composite Imaging Device''≫
The intruder tracking direction of the zoom optical system when the image input means having such a configuration is used will be described with reference to FIG. FIG. 14 is a view of the “compound eye imaging device” as viewed from above. In the initial state, the wide-angle optical system unit 1001 and the zoom optical system unit 1002 coincide with the direction indicated by the dotted line in the figure, and this optical axis direction is used as a reference direction when an angle θ formed later is obtained.

次に、図１で示す侵入者検出部１２０によって監視領域内に侵入した侵入者が検出されると、侵入者から光学系への入射角、すなわち入射瞳位置を原点とした光軸とのなす角θを求める。ただし、その方法については、前述の「複眼撮像装置」に記載の方式と同様なので説明は省略する。   Next, when an intruder entering the monitoring area is detected by the intruder detection unit 120 shown in FIG. 1, the incident angle from the intruder to the optical system, that is, the optical axis with the entrance pupil position as the origin is formed. Find the angle θ. However, the method is the same as the method described in the above-mentioned “compound eye imaging device”, and thus the description thereof is omitted.

いま簡単のため、なす角θはパンニング角のみで表されるとすると、広角光学系で得られたパンニング角θはズーム光学系で侵入者の存在する方向と一致するので、パンニング角θは直ちにズーム光学系ユニット１００２に伝達され、ズーム光学系ユニット１００２はパンニング角θを受け、ズーム光学系視線方向がθだけ移動するようにパンニングモータ１２０１の回転数を決定し、入射瞳位置に一致した回転軸を中心にθ回転する。変倍による視野範囲も前述の「複眼撮像装置」に記載の方式と同様なので説明は省略する。   For the sake of simplicity, if the angle θ formed is represented only by the panning angle, the panning angle θ obtained by the wide-angle optical system matches the direction in which the intruder exists in the zoom optical system, so the panning angle θ is immediately The zoom optical system unit 1002 receives the panning angle θ, determines the rotational speed of the panning motor 1201 so that the zoom optical system line-of-sight direction moves by θ, and rotates in accordance with the entrance pupil position. Rotate θ around the axis. The field-of-view range by zooming is the same as the method described in the above-mentioned “compound eye imaging device”, and thus the description is omitted.

すると、図１４中ハッチングで示すズーム視野領域１４０１のようにズーム光学系ユニット１００２の撮像領域は広角光学系ユニットの視線方向と完全に一致し、侵入者を完全に捉えてることが可能になる。   Then, like the zoom field of view 1401 indicated by hatching in FIG. 14, the imaging area of the zoom optical system unit 1002 is completely coincident with the line-of-sight direction of the wide-angle optical system unit, and the intruder can be completely captured.

よって、１の実施例で示した、侵入者位置の推定の為のランドマーク設定や射影変換係数の算出等が必要なく、本監視システム設置時のキャリブレーションの労力が省ける。また、ズームカメラへの射影変換を必要とせず、直接広角光学系の位置推定値がズーム光学系の光軸方向へ適用可能なため、高速に侵入者追尾が可能となる。   Therefore, it is not necessary to set a landmark for estimating the position of the intruder and to calculate a projective transformation coefficient, as shown in the first embodiment, and the labor of calibration at the time of installing this monitoring system can be saved. In addition, since projection conversion to the zoom camera is not required and the position estimation value of the wide-angle optical system can be directly applied in the optical axis direction of the zoom optical system, intruder tracking can be performed at high speed.

本発明による実施例３を示す。本実施例では、図１５で示すように実施例１に外部記憶部１５０１を装備した構成で、監視映像を記録保持する。また、外部記憶部１５０１に記憶保持されるデータは、なるべく長時間の映像を外部記憶部１５０１に蓄積できるよう、圧縮符号化されたデータを記録する。よって、外部記憶部１５０１の記憶データは、分離部２０４に搭載された図示しないインターフェースから入出力される構成となっている。 Example 3 according to the present invention will be described. In this embodiment, as shown in FIG. 15, the monitoring video is recorded and held in the configuration in which the external storage unit 1501 is provided in the first embodiment. The data stored and held in the external storage unit 1501 records data that has been compression-encoded so that a video as long as possible can be accumulated in the external storage unit 1501. Therefore, the storage data of the external storage unit 1501 is input / output from an interface (not shown) mounted on the separation unit 204.

では本実施例の動作について詳細に説明する。実施例１で説明したように本監視システムが「正常モード」のとき、本システムには広角カメラ撮影像が矩形領域符号化された符号データでネットワークを介し伝送され、符号データは伸張復号化後、表示部で（侵入者のいない）監視領域映像が表示されている。   Now, the operation of this embodiment will be described in detail. As described in the first embodiment, when the present monitoring system is in the “normal mode”, a wide-angle camera image is transmitted to the system as code data that has been encoded by a rectangular area, and the code data is subjected to decompression decoding. The monitoring area video (without an intruder) is displayed on the display unit.

このような「正常モード」のとき、監視領域映像は利用者の好みで録画するか否かが選べるようになっており、操作部１０１の図示しない設定スイッチなどによって選択できるようになっている。もし正常時監視領域映像の録画を希望したとき、前述のように分離部２０４のインターフェースから外部記憶装置１５０１へ符号化データが伝送、記録される。   In such a “normal mode”, it is possible to select whether or not the monitoring area video is recorded according to the user's preference, and can be selected by a setting switch (not shown) of the operation unit 101. If recording of the normal monitoring area video is desired, the encoded data is transmitted and recorded from the interface of the separation unit 204 to the external storage device 1501 as described above.

つぎに、本監視システムが「侵入者追尾モード」に遷移したとき、無条件に符号データの録画が開始される。分離部２０４に入力した符号化データは、データの分離前に外部記憶部に保存される経路と復号表示される経路に分岐する。   Next, when the monitoring system transits to the “intruder tracking mode”, recording of the code data is unconditionally started. The encoded data input to the separation unit 204 branches into a route stored in the external storage unit and a route displayed by decoding before data separation.

前述のように「侵入者追尾モード」に遷移した初めのデータは広角カメラ撮影像の「背景画像」である。背景画像が伝送されてきて外部記憶部１５０１に保存されると同時にシステム制御部は、外部記憶部１５０１のデータベースに時間をしるし、侵入者の侵入時間を記録しておく。   As described above, the first data that has changed to the “intruder tracking mode” is the “background image” of the wide-angle camera image. At the same time as the background image is transmitted and stored in the external storage unit 1501, the system control unit records time in the database of the external storage unit 1501 and records the intruder intrusion time.

続いて広角カメラによる侵入者オブジェクト符号化データとズームカメラによる侵入者拡大映像が多重化されて伝送されてくる。この多重化符号データも直ちに外部記憶部に保存される経路と復号表示される経路に分岐し、順次録画が続けられる。このように侵入者の録画は監視領域内から侵入者が検知されなく「正常モード」に遷移するまで続く。   Subsequently, the intruder object encoded data by the wide-angle camera and the intruder enlarged image by the zoom camera are multiplexed and transmitted. This multiplexed code data also immediately branches to a path stored in the external storage unit and a path to be decoded and displayed, and recording is continued sequentially. As described above, the recording of the intruder continues until the intruder is not detected from the monitoring area and transitions to the “normal mode”.

また、侵入者が一時的に監視領域から外れた後、また監視領域内に侵入してきて侵入者検知部が「侵入者追跡モード」に遷移した場合は同様な動作が繰り返されるのは自明である。   In addition, it is obvious that the same operation is repeated after the intruder temporarily leaves the monitoring area, or enters the monitoring area and the intruder detection unit shifts to the “intruder tracking mode”. .

ところで、図１５で表されるシステム受信部側は、後日、録画された侵入者映像を見るため、外部記憶部１５０１から符号データを呼び出し、伸張復号化、表示を行なう。本システムのこの状態を「再生モード」とする。操作部１０１により図示しないモード選択スイッチより「再生モード」が選択されると、システムは一時的に監視を中断する。   By the way, the system receiving unit side shown in FIG. 15 calls code data from the external storage unit 1501 to perform decompression decoding and display in order to view the recorded intruder video at a later date. This state of the system is referred to as “playback mode”. When “reproduction mode” is selected by a mode selection switch (not shown) by the operation unit 101, the system temporarily stops monitoring.

操作部１０１の図示しないデータベースから録画時刻を元に、録画保存されている符号化データを選択し、図示しない再生スイッチが入れられると背景画像、侵入者オブジェクト、侵入者拡大映像の各符号化データは外部記憶部１５０１から順次読み出され分離部によって分離され復号化、表示される。表示方法についても前述の図９ように表示できるだけでなく、一時停止、逆方向再生、早送りなどが操作部から操作できる。
以上のように外部記憶装置１５０１を設け、特に広角カメラ映像はオブジェクトベース符号化データを保存することで、長時間の録画が可能となる。 When encoded data stored and saved is selected from a database (not shown) of the operation unit 101 based on a recording time and a playback switch (not shown) is turned on, each encoded data of a background image, an intruder object, and an intruder enlarged video is displayed. Are sequentially read from the external storage unit 1501, separated by the separation unit, and decoded and displayed. As for the display method, not only can the display be performed as shown in FIG.
As described above, the external storage device 1501 is provided, and in particular, wide-angle camera images can be recorded for a long time by storing object-based encoded data.

以上の実施例のように、撮像倍率の異なる複数の撮像装置を有し、撮像倍率の低い撮像装置から監視領域内での侵入者の位置と侵入者周辺の状況を撮像し、撮像倍率の高い撮像装置から侵入者の容姿が十分に視認可能な拡大像を得つつ、それぞれの映像信号をその映像の特性に応じてオブジェクト単位符号化を取り入れた圧縮符号化を行なうことで、魚眼レンズのような広角レンズを単体で用いた監視システムと比較して、侵入者の拡大像を十分な解像度で得ることができる。   As in the above-described embodiments, a plurality of imaging devices having different imaging magnifications are used, and the position of the intruder in the monitoring area and the situation around the intruder are imaged from the imaging device having a low imaging magnification, and the imaging magnification is high. While obtaining a magnified image in which the appearance of the intruder is sufficiently visible from the imaging device, each video signal is subjected to compression coding that incorporates object unit coding according to the characteristics of the video, such as a fisheye lens. Compared to a monitoring system that uses a single wide-angle lens, a magnified image of an intruder can be obtained with sufficient resolution.

また、監視領域内を複数台の撮像装置を用いて監視するシステムと比較して、広角カメラによる広範囲領域の監視によって設置台数の削減から設備費用の負担が少ない。また、侵入者拡大映像はズームカメラが撮影するので被写体を認識する上で有効な最大拡大倍率、カメラの焦点距離（または視野範囲）、カメラの設置間隔など、監視場所や侵入者の視認精度によって最適な環境を作るのに多くの労力を必要としない。   In addition, compared to a system that monitors a monitoring area using a plurality of imaging devices, monitoring of a wide area by a wide-angle camera reduces the number of installed equipment and reduces the burden of equipment costs. Intruder magnified images are captured by a zoom camera, so the maximum magnification that is effective for recognizing the subject, the focal length (or field of view) of the camera, the camera installation interval, etc. Does not require much effort to create an optimal environment.

そして、異なる撮影倍率を有する複数のカメラを用いて監視するシステムと比較して、広角カメラ映像はオブジェクト領域のみの符号化とネットワーク伝送路への送信によって、ネットワークに負担をかけずに、また映像のフレームレートを落とすことで画質を劣化させることなどなく、高画質な監視映像を伝送することが可能である。   Compared with a system that monitors using multiple cameras with different shooting magnifications, wide-angle camera video can be transmitted without burdening the network by encoding only the object area and transmitting it to the network transmission path. It is possible to transmit high-quality surveillance video without degrading the image quality by reducing the frame rate.

また、本発明の実施例２においては、光学的に撮像装置を工夫することにより侵入者位置推定に係る画像処理コストが軽減し、高速にシステムが動作し、かつ他の画像処理にコストを配分できる為、より高品質な監視システムが実現できる。   In Embodiment 2 of the present invention, the image processing cost for intruder position estimation is reduced by optically devising the imaging device, the system operates at high speed, and the cost is allocated to other image processing. Therefore, a higher quality monitoring system can be realized.

また、本発明の実施例３によれば、前述のオブジェクト単位符号化データを記録保持するために、静止状態で変化のない情報を毎フレーム保存することなく、必要不可欠な情報のみの記録が可能なため、長時間の記録が可能となる。   Further, according to the third embodiment of the present invention, in order to record and hold the aforementioned object unit encoded data, it is possible to record only indispensable information without storing information that does not change in a stationary state every frame. Therefore, recording for a long time is possible.

本発明の実施例１のシステム構成例で映像の入力からネットワークへのデータ伝送までの構成を表す。The system configuration example of Embodiment 1 of the present invention represents the configuration from video input to data transmission to the network. 本発明の実施例１のシステム構成例でネットワークからのデータ受信から映像の表示までの構成を表す。The system configuration example according to the first embodiment of the present invention represents a configuration from data reception to image display from a network. 本発明の実施例１の被写体抽出処理について説明する図である。It is a figure explaining the to-be-photographed object extraction process of Example 1 of this invention. 本発明の実施例１の被写***置推定について説明する図である。It is a figure explaining the to-be-photographed object position estimation of Example 1 of this invention. 本発明の実施例１の矩形領域圧縮符号化処理を説明するブロック図である。It is a block diagram explaining the rectangular area compression encoding process of Example 1 of this invention. 本発明の実施例１の任意形状圧縮符号化処理を説明するブロック図である。It is a block diagram explaining the arbitrary shape compression encoding process of Example 1 of this invention. 本発明の実施例１のオブジェクトのバウンディングボックスとマクロブロックを示す図である。It is a figure which shows the bounding box and macroblock of the object of Example 1 of this invention. 本発明の実施例１の本装置の表示装置の表示例を説明する図である。It is a figure explaining the example of a display of the display apparatus of this apparatus of Example 1 of this invention. 本発明の実施例１の本装置の表示装置の表示例を説明する図である。It is a figure explaining the example of a display of the display apparatus of this apparatus of Example 1 of this invention. 本発明の実施例２の撮像手段について説明する図で特に横から見た図である。It is a figure explaining the imaging means of Example 2 of this invention, and it is the figure seen especially from the side. 本発明の実施例２の撮像手段について説明する図で特に上から見た図である。It is a figure explaining the imaging means of Example 2 of this invention, and it is the figure seen from the top especially. 本発明の実施例２の撮像手段について説明する図で特にパン回転軸について説明する図である。It is a figure explaining the imaging means of Example 2 of this invention, and is a figure explaining especially a pan rotating shaft. 本発明の実施例２の撮像手段について説明する図で特にチルト回転軸について説明する図である。It is a figure explaining the imaging means of Example 2 of this invention, and is a figure explaining especially a tilt rotation axis. 本発明の実施例２の撮像手段について説明する図で特に光学系の動作ついて説明する図であるIt is a figure explaining the imaging means of Example 2 of this invention, and is a figure explaining especially operation | movement of an optical system. 本発明の実施例３のシステム構成例でネットワークからのデータ受信から映像の表示までの構成を表す。The system configuration example of Example 3 of the present invention represents a configuration from data reception to image display from a network. 従来の監視システムを説明する図で特に広角カメラを利用したシステムを説明する図である。It is a figure explaining the conventional monitoring system, and is a figure explaining the system using especially a wide angle camera. 従来の監視システムを説明する図で特に広角カメラを利用した撮影像を説明する図である。It is a figure explaining the conventional monitoring system, and is a figure explaining especially the picked-up image using a wide angle camera. 従来の監視システムを説明する図で特に複数台数の標準カメラを利用したシステムを説明する図である。It is a figure explaining the conventional monitoring system, and is especially a figure explaining the system using a plurality of standard cameras. 従来の監視システムを説明する図で特に複数台数の標準カメラを利用した撮影像を説明する図である。It is a figure explaining the conventional monitoring system, and is a figure explaining especially the picked-up image using several standard cameras. 従来の監視システムを説明する図で特に広角カメラとズームカメラを併用したシステムを説明する図である。It is a figure explaining the conventional monitoring system, and is a figure explaining the system which used the wide angle camera and the zoom camera together especially. 従来の監視システムを説明する図で特に広角カメラとズームカメラを併用したシステムの広角カメラ撮影像（ａ）とズームカメラ撮影像（ｂ）を説明する図である。It is a figure explaining the conventional monitoring system, and is a figure explaining the wide-angle camera photography image (a) and zoom camera photography image (b) of the system which used a wide-angle camera and a zoom camera together.

符号の説明Explanation of symbols

１０１ 操作手段
１０２ システム制御手段
１０３ 広角カメラ
１０４ ズームカメラ
１０５ 映像入力手段
１０６ カメラ制御手段
１０７ ビデオキャプチャ
１０８ カメラ制御手段
１０９ ビデオキャプチャ
１２０ 侵入者検出手段
１２１ 被写体抽出手段
１２２ メモリ
１２３ 圧縮符号化手段
１２４ 任意形状符号化手段
１２５ 静止画符号化手段
１２６ 矩形領域符号化手段
１２７ 多重化手段
１２８ 通信手段
１２９ 信号経路
１３０ 信号経路
１３１ 信号経路
２０３ 通信手段
２０４ 分離手段
２０５ 伸張復号化手段
２０６ 任意形状復号化手段
２０７ 静止画復号化手段
２０８ 矩形領域復号化手段
２０９ 合成手段
２１０ 表示手段
４０１ 矩形領域
４０２ 位置座標
５０１ ブロック分割ステップ
５０２ 離散コサイン変換ステップ
５０３ 量子化ステップ
５０４ 逆量子化ステップ
５０５ 逆離散コサイン変換ステップ
５０６ 可変長符号化ステップ
５０７ メモリ
５０８ 動き補償ステップ
５０９ 動き検出ステップ
６０１ ブロック分割ステップ
６０２ 形状符号化ＣＡＥ
１００１ 広角光学系ユニット
１００２ ズーム光学系ユニット
１００３ 絞り
１００４ 結像面
１０１１ 広角レンズ
１０１２ 広角光学系入射瞳
１０２１ ズームレンズ
１０２２ ズームレンズ光学系入射瞳
１２０１ パンニングモータ
１３０１ チルティングモータ
１４０１ ズーム光学系視野領域
１５０１ 外部記憶手段
１６０１ 広角カメラ
１６０２ 監視領域
１６０３ 侵入者
１８０１ カメラ
１８０２ 監視領域
２００１ ズームカメラ
101 operation means 102 system control means 103 wide angle camera 104 zoom camera 105 video input means 106 camera control means 107 video capture 108 camera control means 109 video capture 120 intruder detection means 121 subject extraction means 122 memory 123 compression encoding means 124 arbitrary shape Encoding means 125 Still image encoding means 126 Rectangular area encoding means 127 Multiplexing means 128 Communication means 129 Signal path 130 Signal path 131 Signal path 203 Communication means 204 Separation means 205 Decompression decoding means 206 Arbitrary shape decoding means 207 Still Image decoding means 208 Rectangular area decoding means 209 Composition means 210 Display means 401 Rectangular area 402 Position coordinate 501 Block division step 502 Discrete cosine transform step 503 Quantization step 504 Quantization step 505 the inverse discrete cosine transform step 506 the variable length coding step 507 the memory 508 motion compensation step 509 motion detection step 601 block dividing step 602 the coded shape CAE
1001 Wide-angle optical system unit 1002 Zoom optical system unit 1003 Aperture 1004 Imaging surface 1011 Wide-angle lens 1012 Wide-angle optical system entrance pupil 1021 Zoom lens 1022 Zoom lens optical system entrance pupil 1201 Panning motor 1301 Tilting motor 1401 Zoom optical system field area 1501 External Storage means 1601 Wide-angle camera 1602 Monitoring area 1603 Intruder 1801 Camera 1802 Monitoring area 2001 Zoom camera

Claims (12)

撮影系と、
該撮影系による撮影映像内における特定被写体領域を検出および抽出する検出手段と、
画像データを符号化する符号化手段と、
前記符号化された画像データを送信する送信手段と、
前記符号化手段による符号化を制御する制御手段とを有し、
前記制御手段は、前記検出手段により前記特定被写体領域が検出されないときは前記符号化手段に前記撮影映像の動画像データを符号化させ、前記特定被写体領域が検出されたときは前記検出手段により抽出された該特定被写体領域の動画像データを前記符号化手段に符号化させることを特徴とする撮影システム。 Shooting system,
Detecting means for detecting and extracting a specific subject area in a photographed image by the photographing system;
Encoding means for encoding image data;
Transmitting means for transmitting the encoded image data;
Control means for controlling encoding by the encoding means,
The control unit causes the encoding unit to encode the moving image data of the captured video when the detection unit does not detect the specific subject region, and extracts the detection unit using the detection unit when the specific subject region is detected. An imaging system, wherein the encoding means encodes the moving image data of the specific subject area. 前記送信手段から送信された符号化データを受信する受信手段と、
前記受信された符号化データを復号化する復号化手段とを有し、
前記制御手段は、前記特定被写体領域の検出の有無に応じて前記復号化手段を制御することを特徴とする請求項１に記載の撮影システム。 Receiving means for receiving the encoded data transmitted from the transmitting means;
Decoding means for decoding the received encoded data,
The imaging system according to claim 1, wherein the control unit controls the decoding unit according to whether or not the specific subject area is detected. 前記特定被写体領域を含まない前記撮影映像から得た静止画像データを記憶する記憶手段を有し、
前記制御手段は、前記撮影画像内に前記特定被写体領域が検出されたときは、該特定被写体領域の動画像データと前記記憶手段に記憶された前記静止画像データとを前記符号化手段に符号化させることを特徴とする請求項１に記載の撮影システム。 Storage means for storing still image data obtained from the captured video not including the specific subject area;
When the specific subject area is detected in the captured image, the control means encodes the moving image data of the specific subject area and the still image data stored in the storage means to the encoding means. The imaging system according to claim 1, wherein: 前記送信手段から送信された符号化データを受信する受信手段と、
前記特定被写体領域の符号化データと前記静止画像データの符号化データとを復号化する復号化手段と、
前記復号化手段で復号化された画像データを合成する合成手段とを有することを特徴とする請求項３に記載の撮影システム。 Receiving means for receiving the encoded data transmitted from the transmitting means;
Decoding means for decoding the encoded data of the specific subject area and the encoded data of the still image data;
The photographing system according to claim 3, further comprising: a combining unit that combines the image data decoded by the decoding unit. 前記検出手段は、前記撮影映像内での前記特定被写体領域の形状を抽出し、
前記符号化手段は、前記撮影映像の動画像データのうち前記抽出された形状成分を符号化することを特徴とする請求項１から４のいずれか１つに記載の撮影システム。 The detection means extracts the shape of the specific subject area in the captured video,
The imaging system according to claim 1, wherein the encoding unit encodes the extracted shape component in the moving image data of the captured video. 第１の撮影倍率を有する第１の撮影系と、
前記第１の撮影倍率よりも大きい第２の撮影倍率を有するとともに、撮影方向が可変である第２の撮影系と、
前記第１の撮影系による第１の撮影映像内における特定被写体領域を検出および抽出する検出手段と、
前記検出された特定被写体領域に応じて前記第２の撮影系による撮影領域を決定し、前記第２の撮影系を該決定した撮影領域の撮影を行うよう制御する第１の制御手段と、
画像データを符号化する符号化手段と、
前記符号化されたデータを送信する送信手段と、
前記符号化手段による符号化を制御する第２の制御手段とを有し、
前記第２の制御手段は、
前記検出手段により前記特定被写体領域が検出されないときは前記符号化手段に前記第１の撮影映像の動画像データを符号化させ、
前記特定被写体領域が検出されたときは、前記第１の撮影映像から抽出された前記特定被写体領域の動画像データを前記符号化手段に符号化させるとともに、前記第２の撮影系による第２の撮影映像の動画像データを符号化させることを特徴とする撮影システム。 A first imaging system having a first imaging magnification;
A second imaging system having a second imaging magnification larger than the first imaging magnification and having a variable imaging direction;
Detecting means for detecting and extracting a specific subject area in a first photographed image by the first photographing system;
First control means for determining a shooting region by the second shooting system according to the detected specific subject region and controlling the second shooting system to perform shooting of the determined shooting region;
Encoding means for encoding image data;
Transmitting means for transmitting the encoded data;
Second control means for controlling encoding by the encoding means,
The second control means includes
When the specific subject area is not detected by the detection unit, the encoding unit encodes the moving image data of the first captured video,
When the specific subject area is detected, the encoding means encodes the moving image data of the specific subject area extracted from the first photographed video, and the second photographing system uses the second photographing system. An imaging system characterized by encoding moving image data of a captured video. 前記送信手段から送信された符号化データを受信する受信手段と、
前記受信された符号化データを復号化する復号化手段とを有し、
前記第２の制御手段は、前記特定被写体領域の検出の有無に応じて前記復号化手段を制御することを特徴とする請求項６に記載の撮影システム。 Receiving means for receiving the encoded data transmitted from the transmitting means;
Decoding means for decoding the received encoded data,
The imaging system according to claim 6, wherein the second control unit controls the decoding unit according to whether or not the specific subject area is detected. 前記特定被写体領域を含まない前記第１の撮影映像から得た静止画像データを記憶する第１の記憶手段を有し、
前記第２の制御手段は、前記第１の撮影映像内に前記特定被写体領域が検出されたときは、該特定被写体領域の動画像データと前記第１の記憶手段に記憶された前記静止画像データとを前記符号化手段に符号化させることを特徴とする請求項６に記載の撮影システム。 First storage means for storing still image data obtained from the first photographed video not including the specific subject area;
The second control means, when the specific subject area is detected in the first photographed video, the moving image data of the specific subject area and the still image data stored in the first storage means. The imaging system according to claim 6, wherein the encoding unit encodes. 前記送信手段から送信された符号化データを受信する受信手段と、
前記特定被写体領域の符号化データと前記静止画像データの符号化データとを復号化する復号化手段と、
前記復号化手段で復号化された画像データを合成する合成手段とを有することを特徴とする請求項８に記載の撮影システム。 Receiving means for receiving the encoded data transmitted from the transmitting means;
Decoding means for decoding the encoded data of the specific subject area and the encoded data of the still image data;
9. The photographing system according to claim 8, further comprising a combining unit that combines the image data decoded by the decoding unit. 前記検出手段は、前記第１の撮影映像内での前記特定被写体領域の形状を抽出し、
前記符号化手段は、前記第１の撮影映像の動画像データのうち前記抽出された形状成分を符号化することを特徴とする請求項６から９のいずれか１つに記載の撮影システム。 The detection means extracts the shape of the specific subject area in the first captured video,
The imaging system according to any one of claims 6 to 9, wherein the encoding unit encodes the extracted shape component in the moving image data of the first captured video. 前記受信手段により受信された符号化データを記憶する第２の記憶手段を有し、
該第２の記憶手段に記憶される符号化データは、前記第１の撮影映像の符号化データと前記第２の撮影映像の符号化データとを多重化したデータであることを特徴とする請求項６から１０のいずれか１つに記載の撮影システム。 Second storage means for storing the encoded data received by the receiving means;
The encoded data stored in the second storage means is data obtained by multiplexing the encoded data of the first captured video and the encoded data of the second captured video. Item 11. The imaging system according to any one of Items 6 to 10. 前記受信手段により受信された符号化データを記憶する第２の記憶手段を有し、
該第２の記憶手段に記憶される符号化データは、前記特定被写体領域の符号化データと前記第２の撮影映像の符号化データとを多重化したデータであることを特徴とする請求項６から１０のいずれか１つに記載の撮影システム。


Second storage means for storing the encoded data received by the receiving means;
7. The encoded data stored in the second storage means is data obtained by multiplexing encoded data of the specific subject area and encoded data of the second photographed video. The imaging system according to any one of 1 to 10.