JP2003163929A - Image monitor - Google Patents
Image monitorInfo
- Publication number
- JP2003163929A JP2003163929A JP2002243033A JP2002243033A JP2003163929A JP 2003163929 A JP2003163929 A JP 2003163929A JP 2002243033 A JP2002243033 A JP 2002243033A JP 2002243033 A JP2002243033 A JP 2002243033A JP 2003163929 A JP2003163929 A JP 2003163929A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- plane
- camera
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 133
- 230000005540 biological transmission Effects 0.000 claims abstract description 97
- 230000008859 change Effects 0.000 claims description 45
- 230000002194 synthesizing effect Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 15
- 230000004379 myopia Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 14
- 230000010365 information processing Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims 7
- 238000003384 imaging method Methods 0.000 claims 1
- 230000005856 abnormality Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 26
- 208000001491 myopia Diseases 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は移動する被監視物
体に対し所望視野／角度の仮想補間画像として再現をす
る、または最適カメラで表示をする映像監視装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image monitoring apparatus for reproducing a moving object to be monitored as a virtual interpolation image having a desired field of view / angle or displaying the image with an optimum camera.
【０００２】[0002]
【従来の技術】たとえば特開平５−３３４５７２号公報
に示す従来の映像監視装置は図１２のように、固定カメ
ラ５１は、部屋内部全体を固定視野下で常時撮像をす
る。追尾カメラ５１ａは、被監視物体（侵入者など）を
検知するとその移動に応じ、演算部５２から起動部５３
と追尾部５４とを介する起動と追尾指令および倍率指令
により、詳細な特徴（人相など）を把握できるように内
蔵ズーミングモータで追尾動作をし、被監視物体を中心
に視野に応じた拡大画像の撮像をする。画像部５２は、
固定カメラ５１からの映像信号に基づき被監視物体を検
知し起動と追尾指令をすると共に所望拡大画像の倍率指
令をする。録画部５５は、固定と追尾カメラ５１から５
１ａから撮像画像を記録し、要すれば再現し検討する。
またたとえば一般に示す従来の移動する被監視物体（監
視領域への侵入者や侵入物体）の検出／追跡技術とし
て、映像カメラ２台による撮像画像情報に対し特徴点を
認識し当該座標検出後、画像補間中間画像を生成する方
式やパターンマッチング等による抽出物体の中心座標と
カメラの方位角から三角測量で対象物体の３次元位置や
大きさを取得する方式など、また特開平６−３２５１８
０号公報のように撮像画像情報から一定時間後の追跡対
象物位置を予測する方式などがある。2. Description of the Related Art As shown in FIG. 12, a conventional video monitoring apparatus disclosed in, for example, Japanese Patent Laid-Open No. 334572/1990, a fixed camera 51 always takes an image of the entire interior of a room under a fixed field of view. When the tracking camera 51a detects an object to be monitored (intruder or the like), the tracking camera 51a moves from the calculation unit 52 to the activation unit 53 according to the movement of the object.
The start-up and tracking command and the magnification command via the tracking unit 54 and the tracking command are performed by the built-in zooming motor so that detailed features (human phase, etc.) can be grasped by the command and the magnification command, and an enlarged image corresponding to the field of view centered on the monitored object. The image of. The image section 52 is
The object to be monitored is detected based on the video signal from the fixed camera 51, and the start and tracking commands are issued and the magnification command of the desired enlarged image is issued. The recording unit 55 includes fixed and tracking cameras 51 to 5
The captured image is recorded from 1a, reproduced if necessary, and examined.
Further, for example, as a conventional technique of detecting / tracking a moving monitored object (intruder or intruding object into the monitoring area) generally shown, a feature point is recognized with respect to image information captured by two video cameras, and the image is detected after the coordinates are detected. A method of generating an interpolated intermediate image, a method of acquiring the three-dimensional position and size of the target object by triangulation from the center coordinates of the extracted object and the azimuth angle of the camera by pattern matching or the like, and JP-A-6-32518.
There is a method of predicting the position of a tracking target object after a predetermined time from captured image information as in Japanese Patent No. 0.
【０００３】上記従来の映像監視装置は、移動する被監
視物体方向にカメラ自体を動かすか数台のカメラを切り
替えて映像監視をする方式を採る。The above-mentioned conventional video monitoring apparatus adopts a system of video monitoring by moving the camera itself in the direction of a moving object to be monitored or switching several cameras.
【０００４】[0004]
【発明が解決しようとする課題】上記のような従来の映
像監視装置では、移動する被監視物体方向にカメラ自体
を動かすか数台のカメラを切り替える方式を採るから、
カメラ雲台の回転速度やカメラ台数により監視区域を限
定する。また所望視野／角度の映像表示をしたい場合
（複数の監視者がいる場合や複数視野から確認したい場
合など）にカメラ台数を増やす必要がある。また地震や
雷などの天災やシステム異常の発生時、映像監視の自動
起動条件の組合せが固定的で限定されてしまう問題点が
あった。In the conventional image monitoring apparatus as described above, since the camera itself is moved in the direction of the moving object to be monitored or several cameras are switched,
The monitoring area is limited by the rotation speed of the camera platform and the number of cameras. In addition, it is necessary to increase the number of cameras when it is desired to display an image with a desired field of view / angle (when there are a plurality of observers or when it is desired to confirm from a plurality of fields of view). In addition, when a natural disaster such as an earthquake or lightning strike or a system abnormality occurs, the combination of automatic start conditions for video surveillance is fixed and limited.
【０００５】この発明が解決しようとする課題は、映像
監視装置で次の方式を提供することにある。
（１）複数のカメラから取り込む各撮像画像の抽出特徴
点に対し、仮想視点からの距離による重みづけをし合成
する仮想補間画像を用い映像監視をする方式（仮想映像
監視方式）
（２）広域カメラで捉えられる範囲であれば被監視物体
の認識、追跡などを不要とし、自律的に映像監視操作を
する方式（自律映像監視方式）
（３）ネットワーク上に複数配置をする観測系間通信で
広範囲の監視を可能としかつ自律的な協調動作による負
荷分散を計り映像監視をする方式（自律協調分散映像監
視方式）
（４）各システムに対応し所要監視情報を常時モニター
し複数要素の組合せを設定する自動起動条件で映像監視
をする方式（自動起動映像監視方式）The problem to be solved by the present invention is to provide the following system in a video surveillance device. (1) A method of performing video monitoring using a virtual interpolated image in which the extracted feature points of each captured image captured from a plurality of cameras are weighted and combined according to the distance from the virtual viewpoint (virtual video monitoring method) (2) Wide area A system that does not require recognition and tracking of the monitored object within the range that can be captured by the camera, and that autonomously performs video monitoring operation (autonomous video monitoring system) (3) In the inter-observation communication that arranges multiple devices on the network Video monitoring system that enables wide-range monitoring and measures load distribution through autonomous cooperative operation (autonomous cooperative distributed video monitoring system) (4) Corresponding to each system, the required monitoring information is constantly monitored and multiple elements are combined. Video monitoring method under the auto-start condition set (auto-start video monitoring method)
【０００６】[0006]
【課題を解決するための手段】この発明の映像監視装置
は、上記課題を解決するためつぎの手段を設け、仮想／
自律／自律協調分散／自動起動映像監視方式を採ること
を特徴とする。In order to solve the above-mentioned problems, the video monitoring apparatus of the present invention is provided with the following means,
It is characterized by adopting autonomous / autonomous cooperative decentralized / auto-start video monitoring system.
【０００７】画像認識部は、同じ平面上にある３台以上
のカメラから取り込む各撮像画像の特徴点を抽出する。
または同じ平面上にある３台以上のカメラと同じ平面上
にない１台以上のカメラから取り込む各撮像画像の特徴
点を抽出する。The image recognizing section extracts feature points of each captured image taken from three or more cameras on the same plane.
Alternatively, the characteristic points of each captured image captured from three or more cameras on the same plane and one or more cameras not on the same plane are extracted.
【０００８】平面特定部は、同じ平面上にある３台以上
の各カメラ位置で構成する平面を特定する。The plane specifying section specifies a plane formed by the positions of three or more cameras on the same plane.
【０００９】平面距離演算部は、設定する入力手段から
の平面特定部で特定する平面上の所望仮想視点または両
目視差を利用して左もしくは右目用に変換した平面上の
左もしくは右目用所望仮想視点に対する同じ平面上にあ
る３台以上の各カメラ位置との各平面距離を抽出する。The plane distance calculation unit uses the desired virtual viewpoint on the plane specified by the plane specifying unit from the input means to be set or the left or right eye desired virtual image on the plane converted by using the two-eye difference. Extract each plane distance with each of three or more camera positions on the same plane with respect to the viewpoint.
【００１０】平面仮想補間画像合成部は、画像認識部か
らの当該各特徴点に対し、平面距離演算部からの各平面
相対距離による重みづけを繰返し、平面仮想補間画像を
合成する。The plane virtual interpolation image synthesizing unit repeats weighting for each feature point from the image recognizing unit by each plane relative distance from the plane distance calculating unit to synthesize a plane virtual interpolation image.
【００１１】平面視点特定部は、設定する入力手段から
の任意の空間上の所望仮想視点と同じ平面上にないカメ
ラとを通り一意に定まる一直線と平面特定部で特定する
平面との交点として平面上の仮想視点または両目視差を
利用して左もしくは右目用に変換した平面上の左もしく
は右目用仮想視点を特定する。The plane view point specifying section is a plane as an intersection of a straight line uniquely determined by a straight line passing through a camera not on the same plane as the desired virtual view point in an arbitrary space from the input means to be set and the plane specified by the plane specifying section. The virtual viewpoint for the left or right eye on the plane converted for the left or right eye is specified using the above virtual viewpoint or the two-eyes visual difference.
【００１２】空間距離演算部は、平面視点特定部からの
平面上の仮想視点に対する空間上の所望仮想視点と同じ
平面上にないカメラ位置との各空間距離を抽出する。The spatial distance calculation unit extracts each spatial distance between the virtual viewpoint on the plane from the planar viewpoint specifying unit and the desired virtual viewpoint on the space and the camera position not on the same plane.
【００１３】空間仮想補間画像合成部は、画像認識部か
らの同じ平面上にない当該カメラから取り込む撮像画像
の特徴点と平面仮想補間画像合成部からの平面仮想補間
画像とに対し、空間距離演算部からの各空間相対距離に
よる重みづけを繰返し空間仮想補間画像を合成する。The spatial virtual interpolation image synthesizing unit calculates a spatial distance between the feature points of the captured image captured by the camera which is not on the same plane from the image recognizing unit and the planar virtual interpolation image from the planar virtual interpolation image synthesizing unit. The spatial virtual interpolated image is synthesized by repeating weighting according to each spatial relative distance from the part.
【００１４】先行画像保管部は、各カメラから取り込む
各撮像画像を各先行撮像画像として一時保管をする。The preceding image storage unit temporarily stores each captured image captured from each camera as each preceding captured image.
【００１５】変化範囲認識部は、各カメラから取り込む
各現行撮像画像と先行画像保管部からの各先行撮像画像
との差分を取り時間軸方向の変化範囲を特定する。当該
変化範囲だけ画像認識部からの当該各特徴点を平面仮想
補間画像合成部に出力する。The change range recognition section determines the change range in the time axis direction by obtaining the difference between each current captured image captured from each camera and each preceding captured image from the preceding image storage section. The respective feature points from the image recognition unit are output to the plane virtual interpolation image synthesis unit only for the change range.
【００１６】３次元グラフィック画像生成部は、設定す
る入力手段からの平面上の仮想視点による視野画像に対
し、作成済みの３次元データで描画作成をする。The three-dimensional graphic image generation unit draws and creates the created three-dimensional data for the visual field image from the virtual viewpoint on the plane from the input means to be set.
【００１７】３次元監視画像合成部は、３次元グラフィ
ック画像生成部からの３次元グラフィック画像と平面仮
想補間画像合成部からの変化範囲だけの平面仮想補間画
像との画像合成をし３次元監視画像を生成する。The three-dimensional monitoring image synthesizing unit performs image synthesizing of the three-dimensional graphic image from the three-dimensional graphic image generating unit and the plane virtual interpolation image of only the change range from the plane virtual interpolation image synthesizing unit to obtain the three-dimensional monitoring image. To generate.
【００１８】物***置特定部は、被観測区域全体を観測
する広域カメラから取り込む広域撮像画像の特徴点を抽
出し、当該被監視物体の特定位置情報を生成する。The object position specifying unit extracts the characteristic points of the wide area imaged image captured by the wide area camera for observing the entire observed area, and generates the specific position information of the monitored object.
【００１９】近視カメラ制御部は、物***置特定部から
の特定位置情報に従い被観測区域内にある１台以上の近
視カメラから、近視カメラ選択制御手段で選択制御をす
る近視撮像画像を取り込み、画像表示部で表示する。ま
たは物***置特定部からの特定位置情報に従い被観測区
域内にある１台以上の可動機構をもつ近視カメラから、
まず近視カメラ選択制御手段で選択制御をすると共に、
つぎに可動カメラ制御手段で動作制御をする近視撮像画
像を取り込み、画像表示部で表示する。The myopic camera control unit fetches a myopic image which is selected and controlled by the myopic camera selection control means from one or more myopic cameras in the observation area according to the specific position information from the object position specifying unit, and the image is taken. Display on the display. Alternatively, according to the specific position information from the object position specifying unit, from a myopic camera having one or more movable mechanisms in the observation area,
First, the myopia camera selection control means controls the selection,
Next, the near-sighted image whose operation is controlled by the movable camera control means is captured and displayed on the image display unit.
【００２０】仮想カメラ制御部は、近視カメラ制御部に
代えて設け、物***置特定部からの特定位置情報に従い
近視カメラを用いず、仮想補間画像合成手段で被監視物
体を近視する最適位置での仮想視点からの仮想補間画像
として合成をする仮想近視撮像画像を取り込み、画像表
示部で表示する。The virtual camera control section is provided in place of the myopic camera control section, and does not use the myopic camera according to the specific position information from the object position specifying section, but at the optimum position where the monitored object is myopic by the virtual interpolation image synthesizing means. A virtual myopia image to be combined is captured as a virtual interpolation image from a virtual viewpoint, and is displayed on the image display unit.
【００２１】移動物体認識部は、複数設け、被観測区域
全体の一部分を観測する複数のカメラから取り込む各撮
像画像の特徴点を抽出し、当該被監視物体の現在位置と
進行方向情報を生成する。A plurality of moving object recognition units are provided and extract characteristic points of each captured image taken from a plurality of cameras that observe a part of the entire observed area, and generate current position and traveling direction information of the monitored object. .
【００２２】撮像画像データ送受信器は、複数設け、撮
像画像データ送受信制御部を介し、複数のカメラから当
該撮像画像を取り込み、画像表示部で表示する。A plurality of picked-up image data transmitters / receivers are provided, the picked-up image data are taken in from a plurality of cameras via the picked-up image data transmission / reception control unit, and are displayed on the image display unit.
【００２３】被監視物体進行方向情報送信器は、複数設
け、複数の移動物体認識部からの現在位置と進行方向情
報で当該被監視物体が撮像可能範囲内にあるかどうかを
判断し、範囲外であれば当該被監視物体の進行方向にあ
る隣の被監視物体進行方向受信器に通信回線を介しその
旨を通知する。A plurality of monitored object traveling direction information transmitters are provided, and it is judged whether or not the monitored object is within the image capturing range based on the current position and traveling direction information from the plurality of moving object recognition units, and the outside of the range is determined. In that case, the fact is notified to the adjacent monitored object traveling direction receiver in the traveling direction of the monitored object via the communication line.
【００２４】被監視物体進行方向情報受信器は、被監視
物体進行方向情報送信器から当該通知を受け当該被監視
物体が撮像可能範囲内に入ってくると、撮像画像データ
送受信制御部に通信回線を介しその旨を通知する。When the monitored object traveling direction information receiver receives the notification from the monitored object traveling direction information transmitter and the monitored object enters the image capturing range, the captured image data transmission / reception control section communicates with the communication line. It will be notified via.
【００２５】入力情報処理部は、監視カメラ／センサに
よる入力情報から所要監視情報だけを抽出する。The input information processing unit extracts only the required monitoring information from the input information from the monitoring camera / sensor.
【００２６】送信開始条件保持部は、所要監視情報によ
る任意の送信開始条件を予め設定するまたは任意の送信
開始条件をダウンロードして指定するパラメータをもつ
条件判定式を保持する。またはダウンロードする送信開
始条件パラメータに対し自動的に最適化をする送信条件
自動変更手段を設ける。The transmission start condition holding unit holds a condition judgment expression having a parameter for presetting an arbitrary transmission start condition according to required monitoring information or downloading an arbitrary transmission start condition. Alternatively, a transmission condition automatic changing means for automatically optimizing the transmission start condition parameter to be downloaded is provided.
【００２７】条件評価部は、送信開始条件保持部から参
照する条件判定式と入力情報処理部からの所要監視情報
との比較評価をする。The condition evaluation unit compares and evaluates the condition determination formula referred from the transmission start condition holding unit and the required monitoring information from the input information processing unit.
【００２８】送信部は、条件評価部からの判断結果に従
い画像表示部に対し、監視カメラから取り込む撮像画像
の送信を開始する。The transmission unit starts transmission of the picked-up image captured from the surveillance camera to the image display unit according to the judgment result from the condition evaluation unit.
【００２９】[0029]
【発明の実施の形態】この発明の実施の一形態を示す映
像監視装置は図１のように、ＡとＢとＣの監視カメラ１
は、同じ平面上にあり被監視物体を撮像する。ＡとＢと
Ｃの画像認識部２は、ＡとＢとＣの監視カメラ１による
各撮像画像データから被監視物体（特徴点）を認識し当
該位置座標を検出する。平面特定部３は、ＡとＢとＣの
監視カメラ１による３点位置で構成する平面を特定す
る。入力部４は、平面特定部３で特定する平面上の所望
仮想視点をキーボード、マウスその他の入力手段で設定
し、平面距離演算部３に対して入力する。平面距離演算
部５は、入力部４からの平面上の所望仮想視点に対する
ＡとＢとＣの監視カメラ１位置との各平面距離を抽出す
る。平面仮想補間画像合成部６は、ＡとＢとＣの画像認
識部２からの各被監視物***置座標に対し、平面距離演
算部５からの各平面相対距離による重みづけをする画像
補間処理を繰返すことにより、平面上の仮想視点からの
被監視物体撮像画像（平面仮想補間画像）を合成する。
画像表示部７は、平面仮想補間画像合成部６から必要に
応じ平面仮想補間画像を表示する。平面上の所望仮想視
点からの被監視物体撮像画像でカメラ自体の操作や移動
をしないで複数の監視者が所望視点から監視できる。BEST MODE FOR CARRYING OUT THE INVENTION As shown in FIG. 1, a video surveillance apparatus showing an embodiment of the present invention is a surveillance camera 1 for A, B, and C.
Is on the same plane and images the monitored object. The image recognition unit 2 for A, B, and C recognizes the monitored object (feature point) from each image data captured by the monitoring cameras 1 for A, B, and C, and detects the position coordinates. The plane specifying unit 3 specifies a plane formed by the three points A, B, and C of the monitoring cameras 1. The input unit 4 sets a desired virtual viewpoint on the plane specified by the plane specifying unit 3 with a keyboard, a mouse or other input means, and inputs it to the plane distance calculation unit 3. The plane distance calculation unit 5 extracts each plane distance between the positions of the monitoring cameras 1 of A, B, and C with respect to the desired virtual viewpoint on the plane from the input unit 4. The plane virtual interpolation image synthesizing unit 6 performs image interpolation processing for weighting each monitored object position coordinate from the A, B, and C image recognizing units 2 with each plane relative distance from the plane distance calculating unit 5. By repeating this, the monitored object captured image (planar virtual interpolation image) from a virtual viewpoint on the plane is synthesized.
The image display unit 7 displays the plane virtual interpolation image from the plane virtual interpolation image synthesis unit 6 as necessary. Plural observers can monitor from a desired viewpoint without operating or moving the camera itself in the captured image of the monitored object from a desired virtual viewpoint on a plane.
【００３０】上記実施の形態の映像監視装置は、複数の
カメラから取り込む各撮像画像の抽出特徴点に対し、仮
想視点からの距離による重みづけをし合成する仮想補間
画像を用い映像監視をする方式（仮想映像監視方式）を
採る。The video monitoring apparatus according to the above-mentioned embodiment carries out video monitoring using a virtual interpolation image in which the extracted feature points of the captured images captured from a plurality of cameras are weighted by the distance from the virtual viewpoint and synthesized. (Virtual video monitoring method) is adopted.
【００３１】平面仮想補間画像合成部６は図２（ａ）の
ように、ＡとＢとＣの画像認識部２からの各被監視物体
位置座標を（ｘ1 、ｙ1 ）と（ｘ2 、ｙ2 ）と（ｘ3 、
ｙ3）とし、平面距離演算部５からのＡとＢとＣの監視
カメラ１と仮想視点との各相対距離をａとｂとｃとする
と、まず対応する仮想視点からの被監視物***置座標
（ｘ、ｙ）を次のとおり算出し、つぎに当該演算を繰返
すことにより図２（ｂ）のように平面仮想補間画像を合
成する。
ｘ＝（ａ×ｘ1 ＋ｂ×ｘ2 ＋ｃ×ｘ3 ）／３
ｙ＝（ａ×ｙ1 ＋ｂ×ｙ2 ＋ｃ×ｙ3 ）／３As shown in FIG. 2A, the plane virtual interpolated image synthesizing unit 6 converts the position coordinates of each monitored object from the image recognizing units 2 of A, B, and C into (x 1 , y 1 ) and (x 2 ). , Y 2 ) and (x 3 ,
y 3 ), and the relative distances between the monitoring cameras 1 of A, B, and C and the virtual viewpoint from the plane distance calculating unit 5 are a, b, and c, first, the monitored object position coordinates from the corresponding virtual viewpoints. (X, y) is calculated as follows, and then the calculation is repeated to synthesize the plane virtual interpolation image as shown in FIG. x = (a × x 1 + b × x 2 + c × x 3 ) / 3 y = (a × y 1 + b × y 2 + c × y 3 ) / 3
【００３２】なお上記図１に示す発明の実施の形態で図
３のように、ＡとＢとＣの監視カメラ１と同じ平面にな
い監視カメラ１ａと、当該撮像画像データから被監視物
体を認識し当該位置座標を検出する画像認識部２ａとの
ほか、平面視点特定部３ａと入力部４ａと空間距離演算
部５ａと空間仮想補間画像合成部６ａと画像表示部７ａ
とを別途設けてもよい。空間上の所望仮想視点からの被
監視物体撮像画像でカメラ自体の操作や移動をしないで
複数の監視者が所望視点の監視ができる。平面視点特定
部３ａは、入力部４に代えて入力部４ａのキーボード、
マウスその他の入力手段で設定する空間上の第１の所望
仮想視点と監視カメラ１ａとを通り一意に定まる一直線
と平面特定部３で特定する平面との交点として平面上の
第１の仮想視点を特定する。空間距離演算部５ａは、平
面視点特定部３ａからの平面上の第１の仮想視点に対す
る入力部４ａで設定する空間上の第１の所望仮想視点と
監視カメラ１ａ位置との各空間距離を抽出する。空間仮
想補間画像合成部６ａは、画像認識部２ａからの被監視
物***置座標と平面仮想補間画像合成部６からの平面仮
想補間画像とに対し、空間距離演算部５ａからの各空間
相対距離による重みづけをする画像補間処理を繰返すこ
とにより空間仮想補間画像を合成する。画像表示部７ａ
は画像表示部７に代えて、空間仮想補間画像合成部６ａ
から必要に応じ空間仮想補間画像を表示する。In the embodiment of the invention shown in FIG. 1, as shown in FIG. 3, the surveillance camera 1a not on the same plane as the surveillance cameras 1 for A, B, and C, and the monitored object are recognized from the captured image data. In addition to the image recognition unit 2a that detects the position coordinates, the plane view point identification unit 3a, the input unit 4a, the spatial distance calculation unit 5a, the spatial virtual interpolation image synthesis unit 6a, and the image display unit 7a.
And may be separately provided. A plurality of observers can monitor a desired viewpoint without operating or moving the camera itself in a captured object captured image from a desired virtual viewpoint in space. The plane viewpoint specifying unit 3a is a keyboard of the input unit 4a instead of the input unit 4,
The first virtual viewpoint on the plane is defined as an intersection of the first desired virtual viewpoint in the space set by the mouse or other input means and the straight line uniquely determined through the surveillance camera 1a and the plane specified by the plane specifying unit 3. Identify. The spatial distance calculating unit 5a extracts each spatial distance between the first desired virtual viewpoint in the space set by the input unit 4a and the position of the surveillance camera 1a for the first virtual viewpoint on the plane from the planar viewpoint specifying unit 3a. To do. The spatial virtual interpolation image synthesizing unit 6a uses the spatial relative distances from the spatial distance calculating unit 5a for the monitored object position coordinates from the image recognizing unit 2a and the plane virtual interpolating image from the plane virtual interpolating image synthesizing unit 6. The spatial virtual interpolation image is synthesized by repeating the image interpolation processing for weighting. Image display section 7a
Instead of the image display unit 7, the spatial virtual interpolation image synthesizing unit 6a
The spatial virtual interpolation image is displayed as required.
【００３３】また上記図１に示す発明の実施の形態で図
４のように、ＡとＢとＣの先行画像保管部８と、ＡとＢ
とＣの変化範囲認識部９とを別途設け、図５のように平
面仮想補間画像を合成してもよい。画像の変化範囲だけ
で高速の画像補間処理ができる。ＡとＢとＣの先行画像
保管部８は、ＡとＢとＣの監視カメラ１による各撮像画
像データに対し、ＡとＢとＣの画像認識部２で画像処理
をすると共に各先行撮像画像データとして一時保管をす
る。ＡとＢとＣの変化範囲認識部９は、ＡとＢとＣの画
像認識部２から入力する各現行撮像画像データとＡとＢ
とＣの先行画像保管部８からの各先行撮像画像データと
の差分を取り時間軸方向の変化範囲を特定し、ＡとＢと
Ｃの画像認識部２からの各被監視物***置座標を当該変
化範囲だけ平面仮想補間画像合成部６に出力する。In the embodiment of the invention shown in FIG. 1, as shown in FIG. 4, the preceding image storage units 8 of A, B and C, and A and B are stored.
It is also possible to separately provide the change range recognition unit 9 for C and C and synthesize the planar virtual interpolation image as shown in FIG. High-speed image interpolation processing can be performed only with the image change range. The preceding image storage unit 8 of A, B, and C performs image processing on the imaged image data of the monitoring cameras 1 of A, B, and C by the image recognition unit 2 of A, B, and C, and also each preceding captured image. Temporarily store as data. The change range recognizing unit 9 for A, B, and C recognizes each current captured image data and A and B input from the image recognizing unit 2 for A, B, and C.
And C, the difference between each of the preceding captured image data from the preceding image storage unit 8 is obtained, the change range in the time axis direction is specified, and the monitored object position coordinates from the A, B, and C image recognition units 2 are calculated. Only the change range is output to the plane virtual interpolation image synthesizing unit 6.
【００３４】また上記図４に示す発明の実施の形態で図
６のように、入力部４からの平面上の所望仮想視点によ
る視野画像に対し、予め作成済の３次元データで描画作
成をする３次元（３Ｄ）グラフィック画像生成部１０
と、当該３Ｄグラフィック画像データと平面仮想補間画
像合成部６から変化範囲だけの平面仮想補間画像データ
との画像合成をし、監視画像に対する現在の３Ｄ所望視
野画像との合成による３Ｄ監視画像を生成する３Ｄ監視
画像合成部１１とを別途設けてもよい。既存の３Ｄデー
タで簡易に３Ｄ監視画像を合成できる。In the embodiment of the invention shown in FIG. 4, as shown in FIG. 6, the visual field image from the desired virtual viewpoint on the plane from the input unit 4 is drawn and created with the three-dimensional data already created. Three-dimensional (3D) graphic image generation unit 10
Then, the 3D graphic image data and the plane virtual interpolation image synthesizing unit 6 perform image synthesis on the plane virtual interpolation image data only in the change range to generate a 3D monitoring image by synthesizing the monitoring image with the current 3D desired visual field image. The 3D monitoring image synthesizing unit 11 may be separately provided. 3D monitoring images can be easily combined with existing 3D data.
【００３５】また上記図１に示す発明の実施の形態で平
面上の所望仮想視点に代えて、図７のように両目視差を
利用して左（または右）目用に変換した平面上の左（ま
たは右）目用仮想視点を用いてもよい。平面上の左／右
目用仮想視点（原点を左にした場合）は、平面上の所望
仮想視点座標を（ｘ、ｙ）、両目視差をαｃｍとする
と、おおよそ（ｘ−α×θ／２、ｙ）／（ｘ＋α×θ／
２、ｙ）（θは誤差または距離によるずれ）と予測で
き、左／右目用平面仮想補間画像を得て立体視画像を容
易に作成できる。Further, instead of the desired virtual viewpoint on the plane in the embodiment of the invention shown in FIG. 1, the left on the plane converted for the left (or right) eye by utilizing both visual differences as shown in FIG. A virtual viewpoint for the eye (or the right) may be used. If the desired virtual viewpoint coordinates on the plane are (x, y) and the visual difference between them is αcm, the virtual viewpoint for the left / right eyes on the plane (when the origin is on the left) is approximately (x−α × θ / 2, y) / (x + α × θ /
2, y) (θ is an error or a shift due to a distance), and a stereoscopic image can be easily created by obtaining a left / right eye plane virtual interpolation image.
【００３６】また上記図４と図６または図７に示す発明
の実施の形態は図１に示す発明の実施の形態で画像補間
処理をするとして説明したが、上記図２または図２、図
４もしくは図６に示す発明の実施の形態のほか、２台以
上のカメラ入力で画像補間処理をするすべての映像監視
方式にも適用できるのはいうまでもない。Although the embodiment of the invention shown in FIG. 4 and FIG. 6 or FIG. 7 has been described as the image interpolation processing in the embodiment of the invention shown in FIG. 1, the embodiment shown in FIG. 2 or FIG. Alternatively, it is needless to say that the present invention can be applied to all the video surveillance methods in which the image interpolation processing is performed by the input of two or more cameras, in addition to the embodiment of the invention shown in FIG.
【００３７】この発明に関連する実施の一形態を示す映
像監視装置は図８（ａ）のように、ＡとＢとＣの近視カ
メラ２１は、特定位置の被監視物体を撮像する。ＡとＢ
の広域カメラ２１ａは、常に被観測区域全体を観測す
る。ＡとＢの物***置特定部２２は、ＡとＢの広域カメ
ラ２１ａによる各広域撮像画像データから被監視物体を
認識し当該位置座標を検出し、特定位置情報を生成す
る。近視カメラ制御部２３は、ＡとＢの物***置特定部
２２からの特定位置情報に従い近視カメラ選択制御手段
で自動または手動で選択制御をするＡ、ＢまたはＣの近
視カメラ２１から近視撮像画像データを取り込み、近視
カメラ画像表示部２４で表示する。一定フレームごとに
繰返し自律的に最適カメラによる被監視物体を追跡し、
監視操作負荷を軽減できる。As shown in FIG. 8 (a), the myopic cameras 21 of A, B, and C of the image monitoring apparatus according to the embodiment related to the present invention image the monitored object at a specific position. A and B
The wide area camera 21a constantly observes the entire observed area. The A and B object position specifying units 22 recognize the monitored object from the wide area image data captured by the A and B wide area cameras 21a, detect the position coordinates, and generate specific position information. The myopia camera control unit 23 automatically or manually selects and controls the myopia camera 21 from the myopia camera 21 of the A, B or C according to the specific position information from the A and B object position specifying units 22. Is captured and displayed on the near-sighted camera image display unit 24. It repeatedly and autonomously tracks the monitored object by the optimal camera every fixed frame,
The monitoring operation load can be reduced.
【００３８】上記実施の形態の映像監視装置は、広域カ
メラで捉えられる範囲であれば、被監視物体の認識、追
跡などを不要とし、自律的に映像監視操作をする方式
（自律映像監視方式）を採る。The image monitoring apparatus of the above embodiment does not require recognition or tracking of a monitored object within a range captured by a wide area camera, and autonomously performs image monitoring operation (autonomous image monitoring method). Take.
【００３９】なお上記図８（ａ）に示す発明の実施の一
形態で近視カメラ２１と近視カメラ制御部２３に代え
て、図８（ｂ）のようにズーム、パン、チルトなどの可
動機構をもつ近視カメラ（可動カメラ）２１ｂと、Ａと
Ｂの物***置特定部２２からの特定位置情報に従い、ま
ず近視カメラ選択制御手段で自動または手動で選択制御
をすると共に、つぎに可動カメラ制御手段でズーム、パ
ン、チルトなどの動作制御をするＡ、ＢまたはＣの近視
カメラ２１ｂから近視撮像画像データを取り込み、近視
カメラ画像表示部２４で表示する近視カメラ制御部２３
ａとして構成してもよい。一定フレームごとに繰返し自
律的に最適カメラによる最適視野の被監視物体を追跡
し、監視操作負荷を軽減できる。In the embodiment of the invention shown in FIG. 8A, instead of the myopic camera 21 and the myopic camera control section 23, a movable mechanism for zooming, panning, tilting, etc. is provided as shown in FIG. 8B. According to the myopic camera (movable camera) 21b and the specific position information from the object position specifying unit 22 of A and B, first the myopic camera selection control means performs automatic or manual selection control, and then the movable camera control means. A myopic camera control unit 23 that takes in myopic imaged image data from the A, B, or C myopic camera 21b that controls operations such as zooming, panning, and tilting, and displays the data on the myopic camera image display unit 24.
It may be configured as a. The monitoring operation load can be reduced by repeatedly and autonomously tracking the monitored object in the optimum field of view by the optimum camera every fixed frame.
【００４０】また上記図８（ａ）に示す発明の実施の一
形態で近視カメラ制御部２３に代えて、図９のようにＡ
とＢの物***置特定部２２からの各特定位置情報（被監
視物***置座標）に従い、近視カメラ２１を用いず、仮
想補間画像合成手段で被監視物体を近視する最適位置で
の仮想視点からの被監視物体撮像画像（仮想補間画像）
として画像補間処理により合成する仮想近視撮像画像デ
ータを取り込み、近視カメラ画像表示部２４で表示する
仮想カメラ制御部２３ｂとして構成してもよい。一定フ
レームごとに繰返し自律的に仮想視点による被監視物体
を追跡し、監視操作負荷を軽減できる。Further, in place of the myopic camera control unit 23 in the embodiment of the invention shown in FIG. 8 (a), as shown in FIG.
According to each specific position information (monitored object position coordinates) from the object position specifying unit 22 of B and B, the myopic camera 21 is not used, and the virtual interpolation image synthesizing means performs a myopic view of the monitored object from the virtual viewpoint at the optimum position. Image of monitored object (virtual interpolation image)
Alternatively, the virtual camera control unit 23b may be configured to fetch virtual myopic imaged image data to be combined by image interpolation processing and display the image on the myopic camera image display unit 24. It is possible to autonomously track a monitored object from a virtual viewpoint repeatedly every fixed frame and reduce the monitoring operation load.
【００４１】この発明に関連する他の実施の一形態を示
す映像監視装置は図１０のように、ＡとＢとＣとＤの観
測カメラ３１は、被監視区域全体の一部分を観測する。
ＡとＢとＣとＤの移動物体認識部３２は、ＡとＢとＣと
Ｄの観測カメラ３１による撮像画像データから移動する
被監視物体を認識し当該位置と進行方向を特定する。Ａ
とＢとＣとＤの撮像画像データ送受信器３３は、撮像画
像データ送受信制御部３７を介し、ＡとＢとＣとＤの観
測カメラ３１から当該撮像画像データを取り込み画像表
示部３８で表示する。ＡとＢとＣとＤの被監視物体進行
方向情報送信器３４は、ＡとＢとＣとＤの移動物体認識
部３２からの現在位置と進行方向情報で当該被監視物体
が撮像可能範囲内にあるかどうかを判断し、範囲外であ
れば当該被監視物体の進行方向にある隣のＡ、Ｂ、Ｃ、
またはＤの被監視物体進行方向情報受信器３４に通信回
線３６を介しその旨を通知する。Ａ、Ｂ、ＣまたはＤの
被監視物体進行方向情報受信器３５は、当該通知を受け
当該被監視物体が撮像可能範囲内に入ってくると、撮像
画像データ送受信制御部３７に通信回線を介しその旨を
通知する。上記連続動作により広範囲に監視でき、自律
的に協調して負荷分散ができる。なお観測カメラはズー
ム、パン、チルトなどの可動機構をもつ可動カメラでも
よいのはいうまでもない。As shown in FIG. 10, an image monitoring apparatus according to another embodiment related to the present invention has observation cameras 31 for A, B, C and D for observing a part of the entire monitored area.
The moving object recognition unit 32 of A, B, C, and D recognizes the moving monitored object from the image data captured by the observation cameras 31 of A, B, C, and D, and specifies the position and the traveling direction. A
The captured image data transmitter / receiver 33 of B, C, and D captures the captured image data from the observation cameras 31 of A, B, C, and D via the captured image data transmission / reception control unit 37, and displays the captured image data on the image display unit 38. . The monitored object traveling direction information transmitters 34 of A, B, C, and D use the current position and traveling direction information from the moving object recognition units 32 of A, B, C, and D to detect the monitored object within the image capturing range. If it is out of the range, the adjacent A, B, C in the traveling direction of the monitored object,
Alternatively, it notifies the monitored object traveling direction information receiver 34 of D to that effect via the communication line 36. When the monitored object traveling direction information receiver 35 of A, B, C, or D receives the notification and enters the monitored object within the image capturing range, the captured image data transmission / reception control unit 37 transmits the monitored image through the communication line. Notify that. It is possible to monitor a wide range by the above continuous operation, and it is possible to autonomously cooperate and distribute the load. It goes without saying that the observation camera may be a movable camera having a movable mechanism such as zoom, pan and tilt.
【００４２】上記実施の形態の映像監視装置は、ネット
ワーク上に複数配置をする観測系間通信で広範囲の監視
を可能としかつ自律的な協調動作による負荷分散を計り
映像監視をする方式（自律協調分散映像監視方式）を採
る。The video monitoring apparatus according to the above-described embodiment enables a wide range of monitoring through inter-observation system communication arranged on a network, and performs video monitoring by measuring load distribution by autonomous cooperative operation (autonomous cooperation). Distributed video surveillance method).
【００４３】撮像画像データ送受信器３３と被監視物体
進行方向情報送／受信器３５／３６は図１０のように、
たとえばまず被監視物体が図中の位置で右方向へ移動中
とすると、当該撮像可能範囲内にあるＢの観測カメラ３
１からの撮像画像データに対し、Ｂの撮像画像データ送
受信器３３が取り込み撮像画像データ送受信制御部３７
を介し画像表示部３８で表示をする。つぎに被監視物体
が右方向へ移動してＢの観測カメラ３１の撮像可能範囲
外になることが予測される場合、Ｂの被監視物体進行方
向情報送信器３４からＣの被監視物体進行方向情報受信
器３５に通信回線３６を介し、被監視物体の現在位置と
進行方向情報を送受信すると、Ｂよりも右方向の撮像可
能範囲内にあるＣの観測カメラ３１からの撮像画像デー
タに対し、Ｃの撮像画像データ送受信器３３が取り込み
撮像画像データ送受信制御部３７を介し画像表示部３８
で表示をする。The picked-up image data transmitter / receiver 33 and the monitored object traveling direction information transmitter / receiver 35/36 are as shown in FIG.
For example, if the monitored object is moving to the right at the position shown in the figure, the observation camera 3 of B within the imageable range concerned.
The picked-up image data transmission / reception control unit 37 takes in the picked-up image data transceiver 33 of B for the picked-up image data from
The image is displayed on the image display unit 38 via. Next, when it is predicted that the monitored object moves to the right and is out of the image capturing range of the observation camera 31 of B, the monitored object traveling direction information transmitter 34 of B transmits the monitored object traveling direction of C. When the current position and the traveling direction information of the monitored object are transmitted / received to / from the information receiver 35 via the communication line 36, for the image data captured from the observation camera 31 of C in the image capture range to the right of B, The captured image data transmitter / receiver 33 of C loads the image display unit 38 via the captured image data transmission / reception control unit 37.
To display.
【００４４】この発明に関連する他の実施の一形態を示
す映像監視装置は図１１（ａ）のように、監視カメラ４
１は、被監視物体を撮像する。監視センサ４１ａは、た
とえば気温の変化などを検知する。入力情報処理部４２
は、監視カメラ４１や監視センサ４１ａからの入力情報
に対し、画像の変化範囲、振動の大きさ、気温の上昇な
どの所要監視情報だけを抽出する。送信開始条件保持部
４３は、所要監視情報（たとえば画像の変化範囲、振動
の大きさなど）による任意の送信開始条件を予め設定す
る条件判定式（たとえば画像の変化２０％以上‖（また
は）震度２以上）を保持する。条件評価部４４は、送信
開始条件保持部４３から参照する条件判定式と入力情報
処理部４２からの所要監視情報（たとえば画像の変化５
％、震度３など）との比較評価をし、「送信開始」の要
否を判断する。送信部４５は、条件評価部４４から「送
信開始」の判断結果に従い画像表示部４６に対し、監視
カメラ４１から取り込む撮像画像データの送信を開始す
る。各システムに対応し複数要素の組合せで映像監視の
自動起動条件を容易に決定できる。An image monitoring apparatus showing another embodiment related to the present invention is as shown in FIG.
1 images the monitored object. The monitoring sensor 41a detects, for example, a change in temperature. Input information processing unit 42
Extracts only the required monitoring information such as the image change range, the magnitude of vibration, and the temperature rise from the input information from the monitoring camera 41 or the monitoring sensor 41a. The transmission start condition holding unit 43 uses a condition determination formula (for example, image change of 20% or more ‖ (or) seismic intensity that presets an arbitrary transmission start condition based on required monitoring information (for example, image change range, vibration magnitude, etc.). 2 or more). The condition evaluation unit 44 uses the condition determination formula referred from the transmission start condition holding unit 43 and the required monitoring information from the input information processing unit 42 (for example, image change 5).
%, Seismic intensity 3, etc.) to determine whether or not “start transmission” is necessary. The transmission unit 45 starts transmission of the captured image data captured from the surveillance camera 41 to the image display unit 46 according to the determination result of “transmission start” from the condition evaluation unit 44. The automatic start condition for video surveillance can be easily determined by combining multiple elements corresponding to each system.
【００４５】上記実施の形態の映像監視装置は、各シス
テムに対応し所要監視情報を常時モニターし複数要素の
組合せを設定する自動起動条件で映像監視をする方式
（自動起動映像監視方式）を採る。The video monitoring apparatus according to the above-described embodiment adopts a system (automatic startup video monitoring system) that constantly monitors required monitoring information corresponding to each system and performs video monitoring under an automatic startup condition that sets a combination of a plurality of elements. .
【００４６】なお上記図１１（ａ）に示す発明の実施の
一形態で送信開始条件保持部４３は条件判定式に任意の
送信開始条件を予め設定しておく方法を採るとして説明
したが、図１１（ｂ）のように条件判定式のパラメータ
として任意の送信開始条件（たとえばＡ：「画像変化２
０％以上」、Ｂ：「震度２以上」、Ｃ：「‖（「また
は」の意）をとる」などのキーワード）をダウンロード
して指定する方法を採る送信開始条件保持部４３ｂとし
て構成してもよい。任意の送信開始条件パラメータで作
成する条件判定式により自動起動条件を容易に設定し変
更できる。In the embodiment of the invention shown in FIG. 11 (a), the transmission start condition holding unit 43 has been described as a method of presetting an arbitrary transmission start condition in the condition judgment expression. 11 (b), an arbitrary transmission start condition (for example, A: “Image change 2
0% or more ", B:" Seismic intensity of 2 or more ", C:" Keywords such as "takes""(meaning" or ")" and is specified as the transmission start condition holding unit 43b. Good. The automatic start condition can be easily set and changed by the condition judgment formula created with any transmission start condition parameter.
【００４７】また上記図１１（ｂ）に示す発明の実施の
一形態で送信開始条件保持部４３ｂは図１１（ｃ）のよ
うに、送信条件自動変更手段でダウンロードする送信開
始条件パラメータに対し自動的に最適化をする送信開始
条件保持部４３ｃとして構成してもよい。たとえば屋外
設置下で昼間と夜間とで明らかに画像変化が２０％を越
える場合、「画像変化２０％以上」の送信開始条件パラ
メータを「１０秒先行画像との画像変化２０％」に自動
変更をする。ある程度予想できる環境変化に対応し最適
化をする送信開始条件パラメータで作成する条件判定式
により自動起動条件を容易に設定し変更できる。In the embodiment of the invention shown in FIG. 11 (b), the transmission start condition holding section 43b automatically sets the transmission start condition parameters downloaded by the transmission condition automatic changing means as shown in FIG. 11 (c). You may comprise as the transmission start condition holding part 43c which optimizes dynamically. For example, when the image change clearly exceeds 20% between the daytime and nighttime under outdoor installation, the transmission start condition parameter of "image change 20% or more" is automatically changed to "image change 20% with preceding image for 10 seconds". To do. The automatic start condition can be easily set and changed by the condition judgment formula created by the transmission start condition parameter that optimizes in response to the environmental change that can be predicted to some extent.
【００４８】[0048]
【発明の効果】上記のようなこの発明の映像監視装置で
は、仮想／自律／自律協調分散／自動起動映像監視方式
を採るから、従来のように移動する被監視物体方向にカ
メラ自体を動かすか数台のカメラを切り替えて映像監視
をする方式に比べ難点を解消し、各発明ごとにつぎの効
果がある。
（１）平面上の所望仮想視点からの被監視物体撮像画像
でカメラ自体の操作や移動をしないで複数の監視者が所
望平面視点から監視できる。
（２）空間上の所望仮想視点からの被監視物体撮像画像
でカメラ自体の操作や移動をしないで複数の監視者が所
望空間視点から監視できる。
（３）画像の変化範囲だけで高速の画像補間処理ができ
る。
（４）既存の３次元データで簡易に３次元監視画像を合
成できる。
（５）左／右目用平面仮想補間画像を得て立体視画像を
容易に作成できる。
（６）一定フレームごとに繰返し自律的に最適カメラに
よる被監視物体を追跡し、監視操作負荷を軽減できる。
（７）一定フレームごとに繰返し自律的に最適カメラに
よる最適視野の被監視物体を追跡し、監視操作負荷を軽
減できる。
（８）一定フレームごとに繰返し自律的に仮想視点によ
る被監視物体を追跡し、監視操作負荷を軽減できる。
（９）連続動作により広範囲に監視でき、自律的に協調
して負荷分散ができる。
（１０）各システムに対応し複数要素の組合せで映像監
視の自動起動条件を容易に設定できる。
（１１）任意の送信開始条件パラメータで作成する条件
判定式により自動起動条件を容易に設定し変更できる。
（１２）ある程度予想できる環境変化に対応し最適化を
する送信開始条件パラメータで作成する条件判定式によ
り自動起動条件を容易に設定し変更できる。As described above, the video monitoring apparatus according to the present invention adopts the virtual / autonomous / autonomous cooperative distributed / auto-start video monitoring system. Therefore, the camera itself should be moved toward the moving monitored object as in the conventional case. Compared with the method of monitoring video by switching several cameras, the drawbacks are solved and the following effects are obtained for each invention. (1) A plurality of observers can monitor from a desired plane viewpoint without operating or moving the camera itself in a captured image of a monitored object from a desired virtual viewpoint on a plane. (2) A plurality of observers can monitor from the desired space viewpoint without operating or moving the camera itself in the captured image of the monitored object from the desired virtual viewpoint in space. (3) High-speed image interpolation processing can be performed only in the image change range. (4) A three-dimensional monitoring image can be easily combined with existing three-dimensional data. (5) A stereoscopic image can be easily created by obtaining a plane virtual interpolation image for the left / right eyes. (6) The monitoring operation load can be reduced by repeatedly and autonomously tracking the monitored object by the optimum camera every fixed frame. (7) The monitoring operation load can be reduced by repeatedly and autonomously tracking the monitored object in the optimum field of view by the optimum camera every fixed frame. (8) It is possible to autonomously track a monitored object from a virtual viewpoint repeatedly every fixed frame and reduce the monitoring operation load. (9) A wide range of operations can be monitored by continuous operation, and the load can be distributed autonomously in cooperation. (10) Automatic start conditions for video surveillance can be easily set by combining a plurality of elements corresponding to each system. (11) The automatic start condition can be easily set and changed by the condition judgment formula created by the arbitrary transmission start condition parameter. (12) The automatic start condition can be easily set and changed by the condition determination formula created by the transmission start condition parameter that optimizes in response to the environmental change that can be predicted to some extent.
【図１】 この発明の実施の一形態を示す映像監視装置
の構成図。FIG. 1 is a configuration diagram of a video surveillance device showing an embodiment of the present invention.
【図２】 図１に示す平面仮想補間画像合成部の機能を
説明する図。FIG. 2 is a diagram illustrating a function of a plane virtual interpolation image synthesizing unit shown in FIG.
【図３】 この発明の実施の形態の他の一形態を示す構
成図。FIG. 3 is a configuration diagram showing another form of the embodiment of the present invention.
【図４】 この発明の実施の形態の他の一形態を示す構
成図。FIG. 4 is a configuration diagram showing another form of the embodiment of the present invention.
【図５】 図４に示す平面仮想補間画像の合成過程を表
す図。FIG. 5 is a diagram showing a process of synthesizing the plane virtual interpolation image shown in FIG.
【図６】 この発明の実施の他の一形態を示す構成図。FIG. 6 is a configuration diagram showing another embodiment of the present invention.
【図７】 この発明の実施の他の一形態を示す構成図。FIG. 7 is a configuration diagram showing another embodiment of the present invention.
【図８】 この発明に関連する実施の一形態を示す映像
監視装置の構成図。FIG. 8 is a configuration diagram of a video surveillance device showing an embodiment related to the present invention.
【図９】 この発明に関連する実施の他の一形態を示す
構成図。FIG. 9 is a configuration diagram showing another embodiment related to the present invention.
【図１０】 この発明に関連する他の実施の一形態を示
す映像監視装置の構成図。FIG. 10 is a configuration diagram of a video surveillance device showing another embodiment related to the invention.
【図１１】 この発明に関連する他の実施の一形態を示
す映像監視装置の構成図と当該実施の他の二形態を示す
構成図。FIG. 11 is a configuration diagram of a video surveillance device showing another embodiment related to the invention and a configuration diagram showing two other forms of the embodiment.
【図１２】 従来の技術を示す映像監視装置の構成図。FIG. 12 is a configuration diagram of a video surveillance device showing a conventional technique.
１ 監視カメラ、１ａ 同じ平面上にない監視カメラ、
２、２ａ 画像認識部、３ 平面特定部、３ａ 平面視
点特定部、４、４ａ 入力部、５ 平面距離演算部、５
ａ 空間距離演算部、６ 平面仮想補間画像合成部、６
ａ 空間仮想補間画像合成部、７、７ａ 画像表示部、
８ 先行画像保管部、９ 変化範囲認識部、１０ ３次
元（Ｄ）グラフィック画像生成部、１１ 監視画像合成
部、２１近視カメラ、２１ａ 広域カメラ、２１ｂ 可
動カメラ、２２ 物***置特定部、２３、２３ａ 近視
カメラ制御部、２３ｂ 仮想カメラ制御部、２４ 近視
カメラ画像表示部、３１ 観測カメラ、３２ 移動物体
認識部、３３ 撮像画像データ送受信器、３４ 被監視
物体進行方向情報送信器、３５ 被監視物体進行方向情
報受信器、３６ 通信回線、３７ 撮像画像データ送受
信制御部、３８画像表示部、４１ 監視カメラ、４１ａ
監視センサ、４２ 入力情報処理部、４３、４３ａ、
４３ｂ 送信開始条件保持部、４４ 条件評価部、４５
送信部、４６ 画像表示部。なお図中、同一符号は同
一または相当部分を示す。1 surveillance cameras, 1a surveillance cameras not on the same plane,
2, 2a Image recognition unit, 3 Plane specifying unit, 3a Plane viewpoint specifying unit, 4, 4a Input unit, 5 Plane distance calculating unit, 5
a Spatial distance calculator, 6 Plane virtual interpolation image synthesizer, 6
a space virtual interpolation image synthesizing unit, 7, 7a image display unit,
8 preceding image storage unit, 9 change range recognition unit, 10 three-dimensional (D) graphic image generation unit, 11 surveillance image synthesis unit, 21 myopia camera, 21a wide area camera, 21b movable camera, 22 object position specification unit, 23, 23a Myopia camera control unit, 23b virtual camera control unit, 24 myopia camera image display unit, 31 observation camera, 32 moving object recognition unit, 33 imaged image data transceiver, 34 monitored object traveling direction information transmitter, 35 monitored object progress Direction information receiver, 36 communication line, 37 captured image data transmission / reception control unit, 38 image display unit, 41 surveillance camera, 41a
Monitoring sensor, 42 input information processing unit, 43, 43a,
43b Transmission start condition holding unit, 44 Condition evaluation unit, 45
Transmitter, 46 image display. In the drawings, the same reference numerals indicate the same or corresponding parts.
【手続補正書】[Procedure amendment]
【提出日】平成１４年９月１８日（２００２．９．１
８）[Submission date] September 18, 2002 (2002.9.1)
8)
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】全文[Correction target item name] Full text
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【書類名】 明細書[Document name] Statement
【発明の名称】 映像監視装置Title of invention Video surveillance device
【特許請求の範囲】[Claims]
【請求項１】 監視カメラおよび監視センサから撮像画
像および監視情報が入力されるとともに、これらの入力
情報から所要監視情報だけを抽出する入力情報処理部
と、所要監視情報に対する送信開始条件を予め設定する
ための条件判定式を保持する送信開始条件保持部と、送
信開始条件保持部に保持された条件判定式を参照し、入
力情報処理部から出力される所要監視情報を比較評価し
て、監視カメラからの撮像画像の送信の要否を判断する
条件評価部と、条件評価部の判断結果に従い、画像表示
部に対して、監視カメラから取り込まれる撮像画像の送
信を開始する送信部を備えたことを特徴とする映像監視
装置。 1. An image captured by a surveillance camera and a surveillance sensor.
Together with the image and monitoring information is input, the transmission start condition for holding the input information processing section for extracting only the required monitoring information from the input information, the condition determination formula for setting the transmission start condition in advance with respect to the required monitoring information Refer to the holding unit and the condition judgment expression held in the transmission start condition holding unit, and enter
The required monitoring information output from the information processing unit is compared and evaluated.
Te, and <br/> condition evaluation unit that determines the necessity of transmission of the captured image from the surveillance camera, according to the judgment result of the condition evaluation unit, the image display unit, the write Murrell captured image taken from the monitoring camera An image monitoring apparatus comprising a transmission unit for starting transmission.
【請求項２】 送信開始条件保持部が、条件判定式のパ
ラメータをダウンロードによって指定できるよう構成し
たことを特徴とする請求項１記載の映像監視装置。 2. The transmission start condition holding unit is provided with a condition judgment expression
Parameters so that they can be specified by downloading.
The video surveillance device according to claim 1, wherein
【請求項３】 送信開始条件保持部が、ダウンロードに
よって指定された条件判定式のパラメータを自動的に最
適化する送信条件自動変更手段を備えたことを特徴とす
る請求項２記載の映像監視装置。 3. The transmission start condition holding unit downloads.
Therefore, the parameters of the specified condition judgment expression are automatically
It is characterized by being provided with means for automatically changing the transmission conditions to be optimized.
The video surveillance device according to claim 2.
【発明の詳細な説明】Detailed Description of the Invention
【０００１】[0001]
【発明の属する技術分野】この発明は移動する被監視物
体に対し所望視野／角度の仮想補間画像として再現をす
る、または最適カメラで表示をする映像監視装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image monitoring apparatus for reproducing a moving object to be monitored as a virtual interpolation image having a desired field of view / angle or displaying the image with an optimum camera.
【０００２】[0002]
【従来の技術】たとえば特開平５−３３４５７２号公報
に示す従来の映像監視装置は図１２のように、固定カメ
ラ５１は、部屋内部全体を固定視野下で常時撮像をす
る。追尾カメラ５１ａは、被監視物体（侵入者など）を
検知するとその移動に応じ、演算部５２から起動部５３
と追尾部５４とを介する起動と追尾指令および倍率指令
により、詳細な特徴（人相など）を把握できるように内
蔵ズーミングモータで追尾動作をし、被監視物体を中心
に視野に応じた拡大画像の撮像をする。画像部５２は、
固定カメラ５１からの映像信号に基づき被監視物体を検
知し起動と追尾指令をすると共に所望拡大画像の倍率指
令をする。録画部５５は、固定と追尾カメラ５１から５
１ａから撮像画像を記録し、要すれば再現し検討する。
またたとえば一般に示す従来の移動する被監視物体（監
視領域への侵入者や侵入物体）の検出／追跡技術とし
て、映像カメラ２台による撮像画像情報に対し特徴点を
認識し当該座標検出後、画像補間中間画像を生成する方
式やパターンマッチング等による抽出物体の中心座標と
カメラの方位角から三角測量で対象物体の３次元位置や
大きさを取得する方式など、また特開平６−３２５１８
０号公報のように撮像画像情報から一定時間後の追跡対
象物位置を予測する方式などがある。2. Description of the Related Art As shown in FIG. 12, a conventional video monitoring apparatus disclosed in, for example, Japanese Patent Laid-Open No. 334572/1990, a fixed camera 51 always takes an image of the entire interior of a room under a fixed field of view. When the tracking camera 51a detects an object to be monitored (intruder or the like), the tracking camera 51a moves from the calculation unit 52 to the activation unit 53 according to the movement of the object.
The start-up and tracking command and the magnification command via the tracking unit 54 and the tracking command are performed by the built-in zooming motor so that detailed features (human phase, etc.) can be grasped by the command and the magnification command, and an enlarged image corresponding to the field of view centered on the monitored object. The image of. The image section 52 is
The object to be monitored is detected based on the video signal from the fixed camera 51, and the start and tracking commands are issued and the magnification command of the desired enlarged image is issued. The recording unit 55 includes fixed and tracking cameras 51 to 5
The captured image is recorded from 1a, reproduced if necessary, and examined.
Further, for example, as a conventional technique of detecting / tracking a moving monitored object (intruder or intruding object into the monitoring area) generally shown, a feature point is recognized with respect to image information captured by two video cameras, and the image is detected after the coordinates are detected. A method of generating an interpolated intermediate image, a method of acquiring the three-dimensional position and size of the target object by triangulation from the center coordinates of the extracted object and the azimuth angle of the camera by pattern matching or the like, and JP-A-6-32518.
There is a method of predicting the position of a tracking target object after a predetermined time from captured image information as in Japanese Patent No. 0.
【０００３】上記従来の映像監視装置は、移動する被監
視物体方向にカメラ自体を動かすか数台のカメラを切り
替えて映像監視をする方式を採る。The above-mentioned conventional video monitoring apparatus adopts a system of video monitoring by moving the camera itself in the direction of a moving object to be monitored or switching several cameras.
【０００４】[0004]
【発明が解決しようとする課題】上記のような従来の映
像監視装置では、地震や雷などの天災やシステム異常の
発生時、映像監視の自動起動条件の組合せが固定的で限
定されてしまう問題点があった。In THE INVENTION It is an object of the conventional image monitoring apparatus as described above, upon the occurrence of a natural disaster or system abnormality such as earthquakes and lightning, the combination of the automatic start condition of the video monitor is limited fixed a There was a problem.
【０００５】この発明が解決しようとする課題は、映像
監視装置で次の方式を提供することにある。 各システム
に対応し所要監視情報を常時モニターし複数要素の組合
せを設定する自動起動条件で映像監視をする方式（自動
起動映像監視方式）The problem to be solved by the present invention is
The monitoring system provides the following methods. Each system
Corresponding to the situation, the required monitoring information is constantly monitored and a combination of multiple elements
Method to monitor video with automatic start condition
(Startup video monitoring method)
【０００６】[0006]
【課題を解決するための手段】この発明の映像監視装置
は、上記課題を解決するためつぎの手段を設け、自動起
動映像監視方式を採ることを特徴とする。すなわち、こ
の発明に係る映像監視装置は、監視カメラおよび監視セ
ンサから撮像画像および監視情報が入力されるととも
に、これらの入力情報から所要監視情報だけを抽出する
入力情報処理部と、所要監視情報に対する送信開始条件
を予め設定するための条件判定式を保持する送信開始条
件保持部と、送信開始条件保持部に保持された条件判定
式を参照し、入力情報処理部から出力される所要監視情
報を比較評価して、監視カメラからの撮像画像の送信の
要否を判断する条件評価部と、条件評価部の判断結果に
従い、画像表示部に対して、監視カメラから取り込まれ
る撮像画像の送信を開始する送信部を備えたものであ
る。また、送信開始条件保持部が、条件判定式のパラメ
ータをダウンロードによって指定できるよう構成したも
のである。また、送信開始条件保持部が、ダウンロード
によって指定された条件判定式のパラメータを自動的に
最適化する送信条件自動変更手段を備えたものである。 SUMMARY OF THE INVENTION The video monitoring system of the present invention, only setting the following means for solving the above problems, is characterized by taking automatic startup video surveillance system. That is, this
The video surveillance apparatus according to the invention is a surveillance camera and a surveillance camera.
The captured image and monitoring information are input from the sensor.
In addition, only the required monitoring information is extracted from these input information.
Input information processing unit and transmission start condition for required monitoring information
Transmission start condition that holds the condition judgment formula for presetting
Condition determination part stored in the condition holding part and the transmission start condition holding part
The required monitoring information output from the input information processing unit by referring to the formula
Of the transmission of the captured image from the surveillance camera
The condition evaluation part that determines the necessity and the judgment result of the condition evaluation part
Therefore, the image display section is loaded from the surveillance camera.
A transmission unit for starting transmission of the captured image.
It In addition, the transmission start condition holding unit sets the parameters of the condition determination expression.
Configured so that the data can be specified by downloading.
Of. In addition, the transmission start condition holding unit downloads
Parameters of the condition judgment formula specified by
The transmission condition automatic changing means for optimizing is provided.
【０００７】[0007]
【発明の実施の形態】この発明の実施の一形態を示す映
像監視装置は図１のように、ＡとＢとＣの監視カメラ１
は、同じ平面上にあり被監視物体を撮像する。ＡとＢと
Ｃの画像認識部２は、ＡとＢとＣの監視カメラ１による
各撮像画像データから被監視物体（特徴点）を認識し当
該位置座標を検出する。平面特定部３は、ＡとＢとＣの
監視カメラ１による３点位置で構成する平面を特定す
る。入力部４は、平面特定部３で特定する平面上の所望
仮想視点をキーボード、マウスその他の入力手段で設定
し、平面距離演算部３に対して入力する。平面距離演算
部５は、入力部４からの平面上の所望仮想視点に対する
ＡとＢとＣの監視カメラ１位置との各平面距離を抽出す
る。平面仮想補間画像合成部６は、ＡとＢとＣの画像認
識部２からの各被監視物***置座標に対し、平面距離演
算部５からの各平面相対距離による重みづけをする画像
補間処理を繰返すことにより、平面上の仮想視点からの
被監視物体撮像画像（平面仮想補間画像）を合成する。
画像表示部７は、平面仮想補間画像合成部６から必要に
応じ平面仮想補間画像を表示する。平面上の所望仮想視
点からの被監視物体撮像画像でカメラ自体の操作や移動
をしないで複数の監視者が所望視点から監視できる。BEST MODE FOR CARRYING OUT THE INVENTION As shown in FIG. 1, a video surveillance apparatus showing an embodiment of the present invention is a surveillance camera 1 for A, B, and C.
Is on the same plane and images the monitored object. The image recognition unit 2 for A, B, and C recognizes the monitored object (feature point) from each image data captured by the monitoring cameras 1 for A, B, and C, and detects the position coordinates. The plane specifying unit 3 specifies a plane formed by the three points A, B, and C of the monitoring cameras 1. The input unit 4 sets a desired virtual viewpoint on the plane specified by the plane specifying unit 3 with a keyboard, a mouse or other input means, and inputs it to the plane distance calculation unit 3. The plane distance calculation unit 5 extracts each plane distance between the positions of the monitoring cameras 1 of A, B, and C with respect to the desired virtual viewpoint on the plane from the input unit 4. The plane virtual interpolation image synthesizing unit 6 performs image interpolation processing for weighting each monitored object position coordinate from the A, B, and C image recognizing units 2 with each plane relative distance from the plane distance calculating unit 5. By repeating this, the monitored object captured image (planar virtual interpolation image) from a virtual viewpoint on the plane is synthesized.
The image display unit 7 displays the plane virtual interpolation image from the plane virtual interpolation image synthesis unit 6 as necessary. Plural observers can monitor from a desired viewpoint without operating or moving the camera itself in the captured image of the monitored object from a desired virtual viewpoint on a plane.
【０００８】上記実施の形態の映像監視装置は、複数の
カメラから取り込む各撮像画像の抽出特徴点に対し、仮
想視点からの距離による重みづけをし合成する仮想補間
画像を用い映像監視をする方式（仮想映像監視方式）を
採る。The video monitoring apparatus according to the above-described embodiment performs video monitoring by using a virtual interpolation image in which the extracted feature points of each captured image captured from a plurality of cameras are weighted by the distance from the virtual viewpoint and combined. (Virtual video monitoring method) is adopted.
【０００９】平面仮想補間画像合成部６は図２（ａ）の
ように、ＡとＢとＣの画像認識部２からの各被監視物体
位置座標を（ｘ1 、ｙ1 ）と（ｘ2 、ｙ2 ）と（ｘ3 、
ｙ3）とし、平面距離演算部５からのＡとＢとＣの監視
カメラ１と仮想視点との各相対距離をａとｂとｃとする
と、まず対応する仮想視点からの被監視物***置座標
（ｘ、ｙ）を次のとおり算出し、つぎに当該演算を繰返
すことにより図２（ｂ）のように平面仮想補間画像を合
成する。
ｘ＝（ａ×ｘ1 ＋ｂ×ｘ2 ＋ｃ×ｘ3 ）／３
ｙ＝（ａ×ｙ1 ＋ｂ×ｙ2 ＋ｃ×ｙ3 ）／３As shown in FIG. 2A, the plane virtual interpolated image synthesizing unit 6 converts the position coordinates of each monitored object from the image recognizing units 2 of A, B, and C into (x 1 , y 1 ) and (x 2 ). , Y 2 ) and (x 3 ,
y 3 ), and the relative distances between the monitoring cameras 1 of A, B, and C and the virtual viewpoint from the plane distance calculating unit 5 are a, b, and c, first, the monitored object position coordinates from the corresponding virtual viewpoints. (X, y) is calculated as follows, and then the calculation is repeated to synthesize the plane virtual interpolation image as shown in FIG. x = (a × x 1 + b × x 2 + c × x 3 ) / 3 y = (a × y 1 + b × y 2 + c × y 3 ) / 3
【００１０】なお上記図１に示す発明の実施の形態で図
３のように、ＡとＢとＣの監視カメラ１と同じ平面にな
い監視カメラ１ａと、当該撮像画像データから被監視物
体を認識し当該位置座標を検出する画像認識部２ａとの
ほか、平面視点特定部３ａと入力部４ａと空間距離演算
部５ａと空間仮想補間画像合成部６ａと画像表示部７ａ
とを別途設けてもよい。空間上の所望仮想視点からの被
監視物体撮像画像でカメラ自体の操作や移動をしないで
複数の監視者が所望視点の監視ができる。平面視点特定
部３ａは、入力部４に代えて入力部４ａのキーボード、
マウスその他の入力手段で設定する空間上の第１の所望
仮想視点と監視カメラ１ａとを通り一意に定まる一直線
と平面特定部３で特定する平面との交点として平面上の
第１の仮想視点を特定する。空間距離演算部５ａは、平
面視点特定部３ａからの平面上の第１の仮想視点に対す
る入力部４ａで設定する空間上の第１の所望仮想視点と
監視カメラ１ａ位置との各空間距離を抽出する。空間仮
想補間画像合成部６ａは、画像認識部２ａからの被監視
物***置座標と平面仮想補間画像合成部６からの平面仮
想補間画像とに対し、空間距離演算部５ａからの各空間
相対距離による重みづけをする画像補間処理を繰返すこ
とにより空間仮想補間画像を合成する。画像表示部７ａ
は画像表示部７に代えて、空間仮想補間画像合成部６ａ
から必要に応じ空間仮想補間画像を表示する。In the embodiment of the invention shown in FIG. 1, as shown in FIG. 3, the surveillance camera 1a not on the same plane as the surveillance cameras 1 of A, B, and C, and the monitored object are recognized from the captured image data. In addition to the image recognition unit 2a that detects the position coordinates, the plane view point identification unit 3a, the input unit 4a, the spatial distance calculation unit 5a, the spatial virtual interpolation image synthesis unit 6a, and the image display unit 7a.
And may be separately provided. A plurality of observers can monitor a desired viewpoint without operating or moving the camera itself in a captured object captured image from a desired virtual viewpoint in space. The plane viewpoint specifying unit 3a is a keyboard of the input unit 4a instead of the input unit 4,
The first virtual viewpoint on the plane is defined as an intersection of the first desired virtual viewpoint in the space set by the mouse or other input means and the straight line uniquely determined through the surveillance camera 1a and the plane specified by the plane specifying unit 3. Identify. The spatial distance calculating unit 5a extracts each spatial distance between the first desired virtual viewpoint in the space set by the input unit 4a and the position of the surveillance camera 1a for the first virtual viewpoint on the plane from the planar viewpoint specifying unit 3a. To do. The spatial virtual interpolation image synthesizing unit 6a uses the spatial relative distances from the spatial distance calculating unit 5a for the monitored object position coordinates from the image recognizing unit 2a and the plane virtual interpolating image from the plane virtual interpolating image synthesizing unit 6. The spatial virtual interpolation image is synthesized by repeating the image interpolation processing for weighting. Image display section 7a
Instead of the image display unit 7, the spatial virtual interpolation image synthesizing unit 6a
The spatial virtual interpolation image is displayed as required.
【００１１】また上記図１に示す発明の実施の形態で図
４のように、ＡとＢとＣの先行画像保管部８と、ＡとＢ
とＣの変化範囲認識部９とを別途設け、図５のように平
面仮想補間画像を合成してもよい。画像の変化範囲だけ
で高速の画像補間処理ができる。ＡとＢとＣの先行画像
保管部８は、ＡとＢとＣの監視カメラ１による各撮像画
像データに対し、ＡとＢとＣの画像認識部２で画像処理
をすると共に各先行撮像画像データとして一時保管をす
る。ＡとＢとＣの変化範囲認識部９は、ＡとＢとＣの画
像認識部２から入力する各現行撮像画像データとＡとＢ
とＣの先行画像保管部８からの各先行撮像画像データと
の差分を取り時間軸方向の変化範囲を特定し、ＡとＢと
Ｃの画像認識部２からの各被監視物***置座標を当該変
化範囲だけ平面仮想補間画像合成部６に出力する。Further, in the embodiment of the invention shown in FIG. 1, as shown in FIG. 4, the preceding image storage units 8 of A, B and C, and A and B are stored.
It is also possible to separately provide the change range recognition unit 9 for C and C and synthesize the planar virtual interpolation image as shown in FIG. High-speed image interpolation processing can be performed only with the image change range. The preceding image storage unit 8 of A, B, and C performs image processing on the imaged image data of the monitoring cameras 1 of A, B, and C by the image recognition unit 2 of A, B, and C, and also each preceding captured image. Temporarily store as data. The change range recognizing unit 9 for A, B, and C recognizes each current captured image data and A and B input from the image recognizing unit 2 for A, B, and C.
And C, the difference between each of the preceding captured image data from the preceding image storage unit 8 is obtained, the change range in the time axis direction is specified, and the monitored object position coordinates from the A, B, and C image recognition units 2 are calculated. Only the change range is output to the plane virtual interpolation image synthesizing unit 6.
【００１２】また上記図４に示す発明の実施の形態で図
６のように、入力部４からの平面上の所望仮想視点によ
る視野画像に対し、予め作成済の３次元データで描画作
成をする３次元（３Ｄ）グラフィック画像生成部１０
と、当該３Ｄグラフィック画像データと平面仮想補間画
像合成部６から変化範囲だけの平面仮想補間画像データ
との画像合成をし、監視画像に対する現在の３Ｄ所望視
野画像との合成による３Ｄ監視画像を生成する３Ｄ監視
画像合成部１１とを別途設けてもよい。既存の３Ｄデー
タで簡易に３Ｄ監視画像を合成できる。Further, in the embodiment of the invention shown in FIG. 4, as shown in FIG. 6, a visual field image from a desired virtual viewpoint on a plane from the input unit 4 is drawn and created by three-dimensional data which has been created in advance. Three-dimensional (3D) graphic image generation unit 10
Then, the 3D graphic image data and the plane virtual interpolation image synthesizing unit 6 perform image synthesis on the plane virtual interpolation image data only in the change range to generate a 3D monitoring image by synthesizing the monitoring image with the current 3D desired visual field image. The 3D monitoring image synthesizing unit 11 may be separately provided. 3D monitoring images can be easily combined with existing 3D data.
【００１３】また上記図１に示す発明の実施の形態で平
面上の所望仮想視点に代えて、図７のように両目視差を
利用して左（または右）目用に変換した平面上の左（ま
たは右）目用仮想視点を用いてもよい。平面上の左／右
目用仮想視点（原点を左にした場合）は、平面上の所望
仮想視点座標を（ｘ、ｙ）、両目視差をαｃｍとする
と、おおよそ（ｘ−α×θ／２、ｙ）／（ｘ＋α×θ／
２、ｙ）（θは誤差または距離によるずれ）と予測で
き、左／右目用平面仮想補間画像を得て立体視画像を容
易に作成できる。Further, instead of the desired virtual viewpoint on the plane in the embodiment of the invention shown in FIG. 1, the left on the plane converted for the left (or right) eye by utilizing both visual differences as shown in FIG. A virtual viewpoint for the eye (or the right) may be used. If the desired virtual viewpoint coordinates on the plane are (x, y) and the visual difference between them is αcm, the virtual viewpoint for the left / right eyes on the plane (when the origin is on the left) is approximately (x−α × θ / 2, y) / (x + α × θ /
2, y) (θ is an error or a shift due to a distance), and a stereoscopic image can be easily created by obtaining a left / right eye plane virtual interpolation image.
【００１４】また上記図４と図６または図７に示す発明
の実施の形態は図１に示す発明の実施の形態で画像補間
処理をするとして説明したが、上記図２または図２、図
４もしくは図６に示す発明の実施の形態のほか、２台以
上のカメラ入力で画像補間処理をするすべての映像監視
方式にも適用できるのはいうまでもない。Although the embodiment of the invention shown in FIG. 4 and FIG. 6 or FIG. 7 has been described as the image interpolation processing in the embodiment of the invention shown in FIG. 1, the embodiment shown in FIG. 2 or FIG. Alternatively, it is needless to say that the present invention can be applied to all the video surveillance methods in which the image interpolation processing is performed by the input of two or more cameras, in addition to the embodiment of the invention shown in FIG.
【００１５】この発明に関連する実施の一形態を示す映
像監視装置は図８（ａ）のように、ＡとＢとＣの近視カ
メラ２１は、特定位置の被監視物体を撮像する。ＡとＢ
の広域カメラ２１ａは、常に被観測区域全体を観測す
る。ＡとＢの物***置特定部２２は、ＡとＢの広域カメ
ラ２１ａによる各広域撮像画像データから被監視物体を
認識し当該位置座標を検出し、特定位置情報を生成す
る。近視カメラ制御部２３は、ＡとＢの物***置特定部
２２からの特定位置情報に従い近視カメラ選択制御手段
で自動または手動で選択制御をするＡ、ＢまたはＣの近
視カメラ２１から近視撮像画像データを取り込み、近視
カメラ画像表示部２４で表示する。一定フレームごとに
繰返し自律的に最適カメラによる被監視物体を追跡し、
監視操作負荷を軽減できる。As shown in FIG. 8 (a), the myopic cameras 21 of A, B, and C of the image monitoring apparatus according to the embodiment of the present invention pick up an image of a monitored object at a specific position. A and B
The wide area camera 21a constantly observes the entire observed area. The A and B object position specifying units 22 recognize the monitored object from the wide area image data captured by the A and B wide area cameras 21a, detect the position coordinates, and generate specific position information. The myopia camera control unit 23 automatically or manually selects and controls the myopia camera 21 from the myopia camera 21 of the A, B or C according to the specific position information from the A and B object position specifying units 22. Is captured and displayed on the near-sighted camera image display unit 24. It repeatedly and autonomously tracks the monitored object by the optimal camera every fixed frame,
The monitoring operation load can be reduced.
【００１６】上記実施の形態の映像監視装置は、広域カ
メラで捉えられる範囲であれば、被監視物体の認識、追
跡などを不要とし、自律的に映像監視操作をする方式
（自律映像監視方式）を採る。The image monitoring apparatus of the above embodiment does not require recognition or tracking of a monitored object within a range captured by a wide area camera, and autonomously performs image monitoring operation (autonomous image monitoring method). Take.
【００１７】なお上記図８（ａ）に示す発明の実施の一
形態で近視カメラ２１と近視カメラ制御部２３に代え
て、図８（ｂ）のようにズーム、パン、チルトなどの可
動機構をもつ近視カメラ（可動カメラ）２１ｂと、Ａと
Ｂの物***置特定部２２からの特定位置情報に従い、ま
ず近視カメラ選択制御手段で自動または手動で選択制御
をすると共に、つぎに可動カメラ制御手段でズーム、パ
ン、チルトなどの動作制御をするＡ、ＢまたはＣの近視
カメラ２１ｂから近視撮像画像データを取り込み、近視
カメラ画像表示部２４で表示する近視カメラ制御部２３
ａとして構成してもよい。一定フレームごとに繰返し自
律的に最適カメラによる最適視野の被監視物体を追跡
し、監視操作負荷を軽減できる。In addition, instead of the myopic camera 21 and the myopic camera control unit 23 in the embodiment of the invention shown in FIG. 8A, a movable mechanism for zooming, panning, tilting, etc. is provided as shown in FIG. 8B. According to the myopic camera (movable camera) 21b and the specific position information from the object position specifying unit 22 of A and B, first the myopic camera selection control means performs automatic or manual selection control, and then the movable camera control means. A myopic camera control unit 23 that takes in myopic imaged image data from the A, B, or C myopic camera 21b that controls operations such as zooming, panning, and tilting, and displays the data on the myopic camera image display unit 24.
It may be configured as a. The monitoring operation load can be reduced by repeatedly and autonomously tracking the monitored object in the optimum field of view by the optimum camera every fixed frame.
【００１８】また上記図８（ａ）に示す発明の実施の一
形態で近視カメラ制御部２３に代えて、図９のようにＡ
とＢの物***置特定部２２からの各特定位置情報（被監
視物***置座標）に従い、近視カメラ２１を用いず、仮
想補間画像合成手段で被監視物体を近視する最適位置で
の仮想視点からの被監視物体撮像画像（仮想補間画像）
として画像補間処理により合成する仮想近視撮像画像デ
ータを取り込み、近視カメラ画像表示部２４で表示する
仮想カメラ制御部２３ｂとして構成してもよい。一定フ
レームごとに繰返し自律的に仮想視点による被監視物体
を追跡し、監視操作負荷を軽減できる。Further, in place of the myopic camera control unit 23 in the embodiment of the invention shown in FIG. 8 (a), as shown in FIG.
According to each specific position information (monitored object position coordinates) from the object position specifying unit 22 of B and B, the myopic camera 21 is not used, and the virtual interpolation image synthesizing means performs a myopic view of the monitored object from the virtual viewpoint at the optimum position. Image of monitored object (virtual interpolation image)
Alternatively, the virtual camera control unit 23b may be configured to fetch virtual myopic imaged image data to be combined by image interpolation processing and display the image on the myopic camera image display unit 24. It is possible to autonomously track a monitored object from a virtual viewpoint repeatedly every fixed frame and reduce the monitoring operation load.
【００１９】この発明に関連する他の実施の一形態を示
す映像監視装置は図１０のように、ＡとＢとＣとＤの観
測カメラ３１は、被監視区域全体の一部分を観測する。
ＡとＢとＣとＤの移動物体認識部３２は、ＡとＢとＣと
Ｄの観測カメラ３１による撮像画像データから移動する
被監視物体を認識し当該位置と進行方向を特定する。Ａ
とＢとＣとＤの撮像画像データ送受信器３３は、撮像画
像データ送受信制御部３７を介し、ＡとＢとＣとＤの観
測カメラ３１から当該撮像画像データを取り込み画像表
示部３８で表示する。ＡとＢとＣとＤの被監視物体進行
方向情報送信器３４は、ＡとＢとＣとＤの移動物体認識
部３２からの現在位置と進行方向情報で当該被監視物体
が撮像可能範囲内にあるかどうかを判断し、範囲外であ
れば当該被監視物体の進行方向にある隣のＡ、Ｂ、Ｃ、
またはＤの被監視物体進行方向情報受信器３４に通信回
線３６を介しその旨を通知する。Ａ、Ｂ、ＣまたはＤの
被監視物体進行方向情報受信器３５は、当該通知を受け
当該被監視物体が撮像可能範囲内に入ってくると、撮像
画像データ送受信制御部３７に通信回線を介しその旨を
通知する。上記連続動作により広範囲に監視でき、自律
的に協調して負荷分散ができる。なお観測カメラはズー
ム、パン、チルトなどの可動機構をもつ可動カメラでも
よいのはいうまでもない。As shown in FIG. 10, an image monitoring apparatus according to another embodiment related to the present invention has observation cameras 31 for A, B, C and D to observe a part of the entire monitored area.
The moving object recognition unit 32 of A, B, C, and D recognizes the moving monitored object from the image data captured by the observation cameras 31 of A, B, C, and D, and specifies the position and the traveling direction. A
The captured image data transmitter / receiver 33 of B, C, and D captures the captured image data from the observation cameras 31 of A, B, C, and D via the captured image data transmission / reception control unit 37, and displays the captured image data on the image display unit 38. . The monitored object traveling direction information transmitters 34 of A, B, C, and D use the current position and traveling direction information from the moving object recognition units 32 of A, B, C, and D to detect the monitored object within the image capturing range. If it is out of the range, the adjacent A, B, C in the traveling direction of the monitored object,
Alternatively, it notifies the monitored object traveling direction information receiver 34 of D to that effect via the communication line 36. When the monitored object traveling direction information receiver 35 of A, B, C, or D receives the notification and enters the monitored object within the image capturing range, the captured image data transmission / reception control unit 37 transmits the monitored image through the communication line. Notify that. It is possible to monitor a wide range by the above continuous operation, and it is possible to autonomously cooperate and distribute the load. It goes without saying that the observation camera may be a movable camera having a movable mechanism such as zoom, pan and tilt.
【００２０】上記実施の形態の映像監視装置は、ネット
ワーク上に複数配置をする観測系間通信で広範囲の監視
を可能としかつ自律的な協調動作による負荷分散を計り
映像監視をする方式（自律協調分散映像監視方式）を採
る。The video monitoring apparatus according to the above-mentioned embodiment enables video monitoring over a wide range by communication between observation systems arranged in plural on the network, and performs video monitoring by measuring load distribution by autonomous cooperative operation (autonomous cooperation). Distributed video surveillance method).
【００２１】撮像画像データ送受信器３３と被監視物体
進行方向情報送／受信器３５／３６は図１０のように、
たとえばまず被監視物体が図中の位置で右方向へ移動中
とすると、当該撮像可能範囲内にあるＢの観測カメラ３
１からの撮像画像データに対し、Ｂの撮像画像データ送
受信器３３が取り込み撮像画像データ送受信制御部３７
を介し画像表示部３８で表示をする。つぎに被監視物体
が右方向へ移動してＢの観測カメラ３１の撮像可能範囲
外になることが予測される場合、Ｂの被監視物体進行方
向情報送信器３４からＣの被監視物体進行方向情報受信
器３５に通信回線３６を介し、被監視物体の現在位置と
進行方向情報を送受信すると、Ｂよりも右方向の撮像可
能範囲内にあるＣの観測カメラ３１からの撮像画像デー
タに対し、Ｃの撮像画像データ送受信器３３が取り込み
撮像画像データ送受信制御部３７を介し画像表示部３８
で表示をする。The picked-up image data transmitter / receiver 33 and the monitored object traveling direction information transmitter / receiver 35/36 are as shown in FIG.
For example, if the monitored object is moving to the right at the position shown in the figure, the observation camera 3 of B within the imageable range concerned.
The picked-up image data transmission / reception control unit 37 takes in the picked-up image data transceiver 33 of B for the picked-up image data from
The image is displayed on the image display unit 38 via. Next, when it is predicted that the monitored object moves to the right and is out of the image capturing range of the observation camera 31 of B, the monitored object traveling direction information transmitter 34 of B transmits the monitored object traveling direction of C. When the current position and the traveling direction information of the monitored object are transmitted / received to / from the information receiver 35 via the communication line 36, for the image data captured from the observation camera 31 of C in the image capture range to the right of B, The captured image data transmitter / receiver 33 of C loads the image display unit 38 via the captured image data transmission / reception control unit 37.
To display.
【００２２】この発明に関連する他の実施の一形態を示
す映像監視装置は図１１（ａ）のように、監視カメラ４
１は、被監視物体を撮像する。監視センサ４１ａは、た
とえば気温の変化などを検知する。入力情報処理部４２
は、監視カメラ４１や監視センサ４１ａからの入力情報
に対し、画像の変化範囲、振動の大きさ、気温の上昇な
どの所要監視情報だけを抽出する。送信開始条件保持部
４３は、所要監視情報（たとえば画像の変化範囲、振動
の大きさなど）による任意の送信開始条件を予め設定す
る条件判定式（たとえば画像の変化２０％以上‖（また
は）震度２以上）を保持する。条件評価部４４は、送信
開始条件保持部４３から参照する条件判定式と入力情報
処理部４２からの所要監視情報（たとえば画像の変化５
％、震度３など）との比較評価をし、「送信開始」の要
否を判断する。送信部４５は、条件評価部４４から「送
信開始」の判断結果に従い画像表示部４６に対し、監視
カメラ４１から取り込む撮像画像データの送信を開始す
る。各システムに対応し複数要素の組合せで映像監視の
自動起動条件を容易に決定できる。An image monitoring apparatus showing another embodiment related to the present invention is as shown in FIG.
1 images the monitored object. The monitoring sensor 41a detects, for example, a change in temperature. Input information processing unit 42
Extracts only the required monitoring information such as the image change range, the magnitude of vibration, and the temperature rise from the input information from the monitoring camera 41 or the monitoring sensor 41a. The transmission start condition holding unit 43 uses a condition determination formula (for example, image change of 20% or more ‖ (or) seismic intensity that presets an arbitrary transmission start condition based on required monitoring information (for example, image change range, vibration magnitude, etc.). 2 or more). The condition evaluation unit 44 uses the condition determination formula referred from the transmission start condition holding unit 43 and the required monitoring information from the input information processing unit 42 (for example, image change 5).
%, Seismic intensity 3, etc.) to determine whether or not “start transmission” is necessary. The transmission unit 45 starts transmission of the captured image data captured from the surveillance camera 41 to the image display unit 46 according to the determination result of “transmission start” from the condition evaluation unit 44. The automatic start condition for video surveillance can be easily determined by combining multiple elements corresponding to each system.
【００２３】上記実施の形態の映像監視装置は、各シス
テムに対応し所要監視情報を常時モニターし複数要素の
組合せを設定する自動起動条件で映像監視をする方式
（自動起動映像監視方式）を採る。The video monitoring apparatus according to the above-mentioned embodiment adopts a system (automatic startup video monitoring system) which monitors the required monitoring information corresponding to each system at all times and sets the combination of a plurality of elements for automatic video monitoring. .
【００２４】なお上記図１１（ａ）に示す発明の実施の
一形態で送信開始条件保持部４３は条件判定式に任意の
送信開始条件を予め設定しておく方法を採るとして説明
したが、図１１（ｂ）のように条件判定式のパラメータ
として任意の送信開始条件（たとえばＡ：「画像変化２
０％以上」、Ｂ：「震度２以上」、Ｃ：「‖（「また
は」の意）をとる」などのキーワード）をダウンロード
して指定する方法を採る送信開始条件保持部４３ｂとし
て構成してもよい。任意の送信開始条件パラメータで作
成する条件判定式により自動起動条件を容易に設定し変
更できる。In the embodiment of the invention shown in FIG. 11A, the transmission start condition holding unit 43 has been described as a method of presetting an arbitrary transmission start condition in the condition judgment formula. 11 (b), an arbitrary transmission start condition (for example, A: “Image change 2
0% or more ", B:" Seismic intensity of 2 or more ", C:" Keywords such as "takes""(meaning" or ")" and is specified as the transmission start condition holding unit 43b. Good. The automatic start condition can be easily set and changed by the condition judgment formula created with any transmission start condition parameter.
【００２５】また上記図１１（ｂ）に示す発明の実施の
一形態で送信開始条件保持部４３ｂは図１１（ｃ）のよ
うに、送信条件自動変更手段でダウンロードする送信開
始条件パラメータに対し自動的に最適化をする送信開始
条件保持部４３ｃとして構成してもよい。たとえば屋外
設置下で昼間と夜間とで明らかに画像変化が２０％を越
える場合、「画像変化２０％以上」の送信開始条件パラ
メータを「１０秒先行画像との画像変化２０％」に自動
変更をする。ある程度予想できる環境変化に対応し最適
化をする送信開始条件パラメータで作成する条件判定式
により自動起動条件を容易に設定し変更できる。Further, in the embodiment of the invention shown in FIG. 11 (b), the transmission start condition holding unit 43b automatically sets the transmission start condition parameters downloaded by the transmission condition automatic changing means as shown in FIG. 11 (c). You may comprise as the transmission start condition holding part 43c which optimizes dynamically. For example, when the image change clearly exceeds 20% between the daytime and nighttime under outdoor installation, the transmission start condition parameter of "image change 20% or more" is automatically changed to "image change 20% with preceding image for 10 seconds". To do. The automatic start condition can be easily set and changed by the condition judgment formula created by the transmission start condition parameter that optimizes in response to the environmental change that can be predicted to some extent.
【００２６】[0026]
【発明の効果】上記のようなこの発明の映像監視装置で
は、自動起動映像監視方式を採るから、従来のように移
動する被監視物体方向にカメラ自体を動かすか数台のカ
メラを切り替えて映像監視をする方式に比べ難点を解消
し、各発明ごとにつぎの効果がある。 （１
）各システムに対応し複数要素の組合せで映像監視
の自動起動条件を容易に設定できる。
（２）任意の送信開始条件パラメータで作成する条件判
定式により自動起動条件を容易に設定し変更できる。
（３）ある程度予想できる環境変化に対応し最適化をす
る送信開始条件パラメータで作成する条件判定式により
自動起動条件を容易に設定し変更できる。According to the video monitoring apparatus of the present invention as described above,
Adopts an auto-start video monitoring system, so it solves the drawbacks compared to the conventional system in which the camera itself is moved in the direction of the moving monitored object or several cameras are switched to monitor the video. It has the following effects . (1 ) It is possible to easily set automatic start conditions for video surveillance by combining a plurality of elements corresponding to each system. ( 2 ) The automatic start condition can be easily set and changed by the condition judgment formula created by any transmission start condition parameter. ( 3 ) The automatic start condition can be easily set and changed by the condition judgment formula created by the transmission start condition parameter that optimizes in response to the environmental change that can be predicted to some extent.
【図面の簡単な説明】[Brief description of drawings]
【図１】 この発明の実施の一形態を示す映像監視装置
の構成図。FIG. 1 is a configuration diagram of a video surveillance device showing an embodiment of the present invention.
【図２】 図１に示す平面仮想補間画像合成部の機能を
説明する図。FIG. 2 is a diagram illustrating a function of a plane virtual interpolation image synthesizing unit shown in FIG.
【図３】 この発明の実施の形態の他の一形態を示す構
成図。FIG. 3 is a configuration diagram showing another form of the embodiment of the present invention.
【図４】 この発明の実施の形態の他の一形態を示す構
成図。FIG. 4 is a configuration diagram showing another form of the embodiment of the present invention.
【図５】 図４に示す平面仮想補間画像の合成過程を表
す図。FIG. 5 is a diagram showing a process of synthesizing the plane virtual interpolation image shown in FIG.
【図６】 この発明の実施の他の一形態を示す構成図。FIG. 6 is a configuration diagram showing another embodiment of the present invention.
【図７】 この発明の実施の他の一形態を示す構成図。FIG. 7 is a configuration diagram showing another embodiment of the present invention.
【図８】 この発明に関連する実施の一形態を示す映像
監視装置の構成図。FIG. 8 is a configuration diagram of a video surveillance device showing an embodiment related to the present invention.
【図９】 この発明に関連する実施の他の一形態を示す
構成図。FIG. 9 is a configuration diagram showing another embodiment related to the present invention.
【図１０】 この発明に関連する他の実施の一形態を示
す映像監視装置の構成図。FIG. 10 is a configuration diagram of a video surveillance device showing another embodiment related to the invention.
【図１１】 この発明に関連する他の実施の一形態を示
す映像監視装置の構成図と当該実施の他の二形態を示す
構成図。FIG. 11 is a configuration diagram of a video surveillance device showing another embodiment related to the invention and a configuration diagram showing two other forms of the embodiment.
【図１２】 従来の技術を示す映像監視装置の構成図。FIG. 12 is a configuration diagram of a video surveillance device showing a conventional technique.
【符号の説明】
１ 監視カメラ、１ａ 同じ平面上にない監視カメラ、
２、２ａ 画像認識部、３ 平面特定部、３ａ 平面視
点特定部、４、４ａ 入力部、５ 平面距離演算部、５
ａ 空間距離演算部、６ 平面仮想補間画像合成部、６
ａ 空間仮想補間画像合成部、７、７ａ 画像表示部、
８ 先行画像保管部、９ 変化範囲認識部、１０ ３次
元（Ｄ）グラフィック画像生成部、１１ 監視画像合成
部、２１近視カメラ、２１ａ 広域カメラ、２１ｂ 可
動カメラ、２２ 物***置特定部、２３、２３ａ 近視
カメラ制御部、２３ｂ 仮想カメラ制御部、２４ 近視
カメラ画像表示部、３１ 観測カメラ、３２ 移動物体
認識部、３３ 撮像画像データ送受信器、３４ 被監視
物体進行方向情報送信器、３５ 被監視物体進行方向情
報受信器、３６ 通信回線、３７ 撮像画像データ送受
信制御部、３８画像表示部、４１ 監視カメラ、４１ａ
監視センサ、４２ 入力情報処理部、４３、４３ａ、
４３ｂ 送信開始条件保持部、４４ 条件評価部、４５
送信部、４６ 画像表示部。なお図中、同一符号は同
一または相当部分を示す。[Explanation of Codes] 1 surveillance camera, 1a surveillance camera not on the same plane,
2, 2a Image recognition unit, 3 Plane specifying unit, 3a Plane viewpoint specifying unit, 4, 4a Input unit, 5 Plane distance calculating unit, 5
a Spatial distance calculator, 6 Plane virtual interpolation image synthesizer, 6
a space virtual interpolation image synthesizing unit, 7, 7a image display unit,
8 preceding image storage unit, 9 change range recognition unit, 10 three-dimensional (D) graphic image generation unit, 11 surveillance image synthesis unit, 21 myopia camera, 21a wide area camera, 21b movable camera, 22 object position specification unit, 23, 23a Myopia camera control unit, 23b virtual camera control unit, 24 myopia camera image display unit, 31 observation camera, 32 moving object recognition unit, 33 imaged image data transceiver, 34 monitored object traveling direction information transmitter, 35 monitored object progress Direction information receiver, 36 communication line, 37 captured image data transmission / reception control unit, 38 image display unit, 41 surveillance camera, 41a
Monitoring sensor, 42 input information processing unit, 43, 43a,
43b Transmission start condition holding unit, 44 Condition evaluation unit, 45
Transmitter, 46 image display. In the drawings, the same reference numerals indicate the same or corresponding parts.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/00 ３００ Ｇ０６Ｔ 3/00 ３００ 7/60 １８０ 7/60 １８０Ｂ 17/40 17/40 Ｅ Ｆターム(参考） 5B050 AA08 BA06 BA11 BA12 DA07 EA07 EA13 EA19 EA27 FA02 FA09 5B057 AA19 BA02 CA12 CA16 CB13 CB16 CD11 CD14 CE08 DA07 DA16 DB03 DC02 DC32 5C054 AA01 CF05 CH08 DA09 EA01 EA05 FC12 FC15 FD01 FE13 FF02 FF03 GB11 HA19 5L096 AA09 BA02 CA05 FA66 FA69─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 3/00 300 G06T 3/00 300 7/60 180 7/60 180B 17/40 17/40 EF term (Reference) 5B050 AA08 BA06 BA11 BA12 DA07 EA07 EA13 EA19 EA27 FA02 FA09 5B057 AA19 BA02 CA12 CA16 CB13 CB16 CD11 CD14 CE08 DA07 DA16 DB03 DC02 DC32 5C054 AA01 CF05 CH08 DA09 EA01 EA05 FC12 FC15 FF19 FF01 FE01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FF01 FW01 FF01 FF01 FW01 FF01 FF01 FF01 FF01 FW01 FW01 FF01 FF01 FW01 FF01 FW01 FF01 FW01 FW01 FW01 FW01 FF01 FW FA69
Claims (12)
取り込む各撮像画像の特徴点を抽出する画像認識部と、
前記３台以上の各カメラ位置で構成する平面を特定する
平面特定部と、設定する入力手段からの前記平面特定部
で特定する平面上の所望仮想視点に対する前記３台以上
の各カメラ位置との各平面距離を抽出する平面距離演算
部と、前記画像認識部からの当該各特徴点に対し前記平
面距離演算部からの各平面相対距離による重みづけを繰
返し平面仮想補間画像を合成する平面仮想補間画像合成
部とを備える映像監視装置。1. An image recognition unit for extracting feature points of each captured image captured from three or more cameras on the same plane,
A plane specifying unit that specifies a plane formed by the three or more camera positions, and positions of the three or more cameras with respect to a desired virtual viewpoint on the plane specified by the plane specifying unit from the input unit to be set. A plane distance calculation unit that extracts each plane distance, and a plane virtual interpolation that synthesizes a plane virtual interpolation image by repeatedly weighting each feature point from the image recognition unit with each plane relative distance from the plane distance calculation unit. An image monitoring device including an image synthesizing unit.
じ平面上にない１台以上のカメラから取り込む各撮像画
像の特徴点を抽出する画像認識部と、設定する入力手段
からの任意の空間上の所望仮想視点と前記同じ平面上に
ないカメラとを通り一意に定まる一直線と平面特定部で
特定する平面との交点として平面上の仮想視点を特定す
る平面視点特定部と、該平面視点特定部からの平面上の
仮想視点に対する前記空間上の所望仮想視点と前記同じ
平面上にないカメラ位置との各空間距離を抽出する空間
距離演算部と、前記画像認識部からの当該特徴点と平面
仮想補間画像合成部からの平面仮想補間画像とに対し前
記空間距離演算部からの各空間相対距離による重みづけ
を繰返し空間仮想補間画像を合成する空間仮想補間画像
合成部とを別途設けることを特徴とする請求項１記載の
映像監視装置。2. An image recognition unit for extracting feature points of each captured image taken from three or more cameras on the same plane and one or more cameras not on the same plane, and an arbitrary input unit for setting. A plane viewpoint specifying unit that specifies a virtual viewpoint on a plane as an intersection of a straight line that is uniquely determined through a desired virtual viewpoint in space and a camera that is not on the same plane and a plane that is specified by the plane specifying unit, and the plane viewpoint. A spatial distance calculation unit that extracts a spatial distance between a desired virtual viewpoint in the space and a camera position that is not on the same plane with respect to a virtual viewpoint on a plane from a specific unit; and the feature point from the image recognition unit. A spatial virtual interpolation image synthesizing unit for synthesizing the spatial virtual interpolation image by repeatedly weighting the planar virtual interpolation image from the planar virtual interpolation image synthesizing unit with each spatial relative distance from the spatial distance calculating unit is separately provided. The video surveillance device according to claim 1, wherein
行撮像画像として一時保管をする先行画像保管部と、前
記各カメラから取り込む各現行撮像画像と前記先行画像
保管部からの各先行撮像画像との差分を取り時間軸方向
の変化範囲を特定し、当該変化範囲だけ画像認識部から
の当該各特徴点を平面仮想補間画像合成部に出力する変
化範囲認識部とを別途設けることを特徴とする請求項１
または２記載の映像監視装置。3. A preceding image storage unit that temporarily stores each captured image captured from each camera as each preceding captured image, each current captured image captured from each camera, and each preceding captured image from the preceding image storage unit. Is specified, and a change range in the time axis direction is specified, and a change range recognizing unit that outputs each feature point from the image recognizing unit to the plane virtual interpolation image synthesizing unit is provided separately. Claim 1
Alternatively, the video monitoring device described in 2.
点による視野画像に対し作成済みの３次元データで描画
作成をする３次元グラフィック画像生成部と、該３次元
グラフィック画像生成部からの３次元グラフィック画像
と平面仮想補間画像合成部からの変化範囲だけの平面仮
想補間画像との画像合成をし３次元監視画像を生成する
３次元監視画像合成部とを別途設けることを特徴とする
請求項３記載の映像監視装置。4. A three-dimensional graphic image generating section for drawing and creating with a three-dimensional data that has already been created for a visual field image from a virtual viewpoint on a plane from a setting input means, and three from the three-dimensional graphic image generating section. The three-dimensional monitoring image synthesizing unit for separately synthesizing an image of the three-dimensional graphic image and the plane virtual interpolation image of only the change range from the plane virtual interpolation image synthesizing unit to generate a three-dimensional monitoring image is provided separately. 3. The video monitoring device described in 3.
利用して左または右目用に変換した平面上の左または右
目用仮想視点を用いることを特徴とする請求項１、２、
３または４記載の映像監視装置。5. The virtual viewpoint for the left or right eye on the plane, which is converted for the left or right eye by utilizing both visual differences, is used in place of the virtual viewpoint on the plane.
The video monitoring device according to 3 or 4.
ら取り込む広域撮像画像の特徴点を抽出し当該被監視物
体の特定位置情報を生成する物***置特定部と、該物体
位置特定部からの特定位置情報に従い前記被観測区域内
にある１台以上の近視カメラから、近視カメラ選択制御
手段で選択制御をする近視撮像画像を取り込み画像表示
部で表示する近視カメラ制御部とを備える映像監視装
置。6. An object position specifying unit for extracting characteristic points of a wide area imaged image captured from a wide area camera for observing the entire observation area and generating specific position information of the monitored object, and specifying from the object position specifying unit. An image monitoring device comprising: a myopic camera control unit that takes in a myopic imaged image selected and controlled by a myopic camera selection control unit from one or more myopic cameras in the observation area according to position information and displays the image on a display unit.
の特定位置情報に従い被観測区域内にある１台以上の可
動機構をもつ近視カメラから、まず近視カメラ選択制御
手段で選択制御をすると共に、つぎに可動カメラ制御手
段で動作制御をする近視撮像画像を取り込み画像表示部
で表示することを特徴とする請求項６記載の映像監視装
置。7. A myopic camera control section first performs selection control by a myopic camera selection control means from a myopic camera having one or more movable mechanisms in the observed area according to specific position information from the object position specifying section. 7. The video monitoring apparatus according to claim 6, wherein a myopic imaged image whose operation is controlled by the movable camera control means is then taken in and displayed on the image display unit.
定部からの特定位置情報に従い近視カメラを用いず、仮
想補間画像合成手段で被監視物体を近視する最適位置で
の仮想視点からの仮想補間画像として合成をする仮想近
視撮像画像を取り込み画像表示部で表示する仮想カメラ
制御部を設けることを特徴とする請求項６記載の映像監
視装置。8. A virtual from a virtual viewpoint at an optimum position where the monitored object is myopicized by the virtual interpolation image synthesizing means instead of using the myopic camera according to the specific position information from the object position specifying unit instead of the myopic camera control unit. 7. The video monitoring device according to claim 6, further comprising a virtual camera control unit that captures a virtual myopia image to be combined as an interpolation image and displays the image on an image display unit.
のカメラから取り込む各撮像装置の特徴点を抽出し当該
被監視物体の現在位置と進行方向情報を生成する複数の
移動物体認識部と、撮像画像データ送受信制御部を介し
前記複数のカメラから当該撮像画像を取り込み画像表示
部で表示する複数の撮像画像データ送受信器と、前記複
数の移動物体認識部からの現在位置と進行方向情報で当
該監視物体が撮像可能範囲内にあるかどうかを判断し、
範囲外であれば当該被監視物体の進行方向にある隣の被
監視物体進行方向受信器に通信回線を介しその旨を通知
する複数の被監視物体進行方向情報送信器と、該被監視
物体進行方向情報送信器から当該通知を受け当該被監視
物体が撮像可能範囲内に入ってくると、前記撮像画像デ
ータ送受信制御部に通信回線を介しその旨を通知する複
数の被監視物体進行方向情報受信器とを備える映像監視
装置。9. A plurality of moving object recognizing units for extracting characteristic points of each imaging device, which are taken in from a plurality of cameras for observing a part of the entire observed area, and for generating current position and traveling direction information of the monitored object. A plurality of captured image data transmitters / receivers that capture the captured images from the plurality of cameras via the captured image data transmission / reception control unit and display them on the image display unit; and current position and traveling direction information from the plurality of moving object recognition units. Determine whether the surveillance object is within the image capture range,
If it is out of the range, a plurality of monitored object traveling direction information transmitters for notifying to the adjacent monitored object traveling direction receiver in the traveling direction of the monitored object via a communication line, and the monitored object traveling direction Upon receiving the notification from the direction information transmitter and entering the monitored object into the image capturing range, a plurality of monitored object traveling direction information notifications are sent to the captured image data transmission / reception control unit via the communication line. Video surveillance device including a monitor.
ら所要監視情報だけを抽出する入力情報処理部と、前記
所要監視情報による任意の送信開始条件を予め設定する
条件判定式を保持する送信開始条件保持部と、該送信開
始条件保持部から参照する条件判定式と前記入力情報処
理部からの所要監視情報との比較評価をする条件評価部
と、該条件評価部からの判断結果に従い画像表示部に対
し、前記監視カメラから取り込む撮像画像の送信を開始
する送信部とを備える映像監視装置。10. An input information processing unit for extracting only required monitoring information from input information by a surveillance camera / sensor, and a transmission start condition holding for holding a condition judgment formula for presetting an arbitrary transmission start condition according to the required monitoring information. Section, a condition evaluation section that compares and evaluates the condition determination expression referenced from the transmission start condition holding section and the required monitoring information from the input information processing section, and an image display section according to the determination result from the condition evaluation section. On the other hand, a video monitoring device including a transmission unit that starts transmission of a captured image captured from the surveillance camera.
ラメータとして任意の送信開始条件をダウンロードして
指定する方法を採ることを特徴とする請求項１０記載の
映像監視装置。11. The video monitoring apparatus according to claim 10, wherein a method of downloading and specifying an arbitrary transmission start condition as a parameter of the condition determination expression is used by the transmission start condition holding unit.
る送信開始条件パラメータに対し自動的に最適化をする
送信条件自動変更手段を設けることを特徴とする請求項
１１記載の映像監視装置。12. The video monitoring apparatus according to claim 11, further comprising: automatic transmission condition changing means for automatically optimizing transmission start condition parameters downloaded by the transmission start condition holding unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002243033A JP2003163929A (en) | 2002-08-23 | 2002-08-23 | Image monitor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002243033A JP2003163929A (en) | 2002-08-23 | 2002-08-23 | Image monitor |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34086995A Division JP3365182B2 (en) | 1995-12-27 | 1995-12-27 | Video surveillance equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003163929A true JP2003163929A (en) | 2003-06-06 |
Family
ID=19196481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002243033A Abandoned JP2003163929A (en) | 2002-08-23 | 2002-08-23 | Image monitor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003163929A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005015094A (en) * | 2003-06-24 | 2005-01-20 | Mitsubishi Electric Corp | In-cage monitor of elevator |
| JP2005149127A (en) * | 2003-11-14 | 2005-06-09 | Sony Corp | Imaging display device and method, and image sending and receiving system |
| JP2007142527A (en) * | 2005-11-15 | 2007-06-07 | Hitachi Ltd | Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus |
| US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
| JP2010039501A (en) * | 2008-07-31 | 2010-02-18 | Kddi Corp | Method for generating free viewpoint video image in three-dimensional movement, and recording medium |
| US10552980B2 (en) | 2016-11-09 | 2020-02-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
-
2002
- 2002-08-23 JP JP2002243033A patent/JP2003163929A/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
| JP2005015094A (en) * | 2003-06-24 | 2005-01-20 | Mitsubishi Electric Corp | In-cage monitor of elevator |
| JP2005149127A (en) * | 2003-11-14 | 2005-06-09 | Sony Corp | Imaging display device and method, and image sending and receiving system |
| JP4595313B2 (en) * | 2003-11-14 | 2010-12-08 | ソニー株式会社 | Imaging display apparatus and method, and image transmission / reception system |
| JP2007142527A (en) * | 2005-11-15 | 2007-06-07 | Hitachi Ltd | Mobile body supervisory system, mobile body feature quantity calculation apparatus, and inter-camera mobile body collation tracing apparatus |
| JP4700477B2 (en) * | 2005-11-15 | 2011-06-15 | 株式会社日立製作所 | MOBILE BODY MONITORING SYSTEM AND MOBILE BODY FEATURE CALCULATION DEVICE |
| JP2010039501A (en) * | 2008-07-31 | 2010-02-18 | Kddi Corp | Method for generating free viewpoint video image in three-dimensional movement, and recording medium |
| US8259160B2 (en) | 2008-07-31 | 2012-09-04 | Kddi Corporation | Method for generating free viewpoint video image in three-dimensional movement and recording medium |
| US10552980B2 (en) | 2016-11-09 | 2020-02-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3365182B2 (en) | Video surveillance equipment | |
| JP4699040B2 (en) | Automatic tracking control device, automatic tracking control method, program, and automatic tracking system | |
| US9041800B2 (en) | Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking | |
| EP3419283B1 (en) | System and method for tracking moving objects in a scene | |
| EP1128676B1 (en) | Intruding object monitoring method and intruding object monitoring system | |
| US6762789B1 (en) | Omnidirectional video output method and apparatus | |
| US6867799B2 (en) | Method and apparatus for object surveillance with a movable camera | |
| CN103688292B (en) | Image display device and method for displaying image | |
| KR101695249B1 (en) | Method and system for presenting security image | |
| US20130021433A1 (en) | Overview configuration and control method for ptz cameras | |
| CN111242025B (en) | Real-time action monitoring method based on YOLO | |
| JPH11119303A (en) | Monitoring system and monitoring method | |
| WO2009066988A2 (en) | Device and method for a surveillance system | |
| JP2014036414A (en) | Monitoring system | |
| JP2006245648A (en) | Information processing system, information processing apparatus, information processing method, program and recording medium | |
| JPH1169342A (en) | Image processing system for tracking intruding object | |
| JP2003163929A (en) | Image monitor | |
| JP2003158664A (en) | Camera controller | |
| CN115315939A (en) | Information processing apparatus, information processing method, and program | |
| JP6720010B2 (en) | Information processing apparatus, information processing method, and program | |
| CN109637073A (en) | A kind of fire hazard aerosol fog identifying system based on optical flow method | |
| JP2004128646A (en) | Monitoring system and controller | |
| JP2012147083A (en) | Image processor, image processing method, and program | |
| JP2006033188A (en) | Supervisory apparatus and supervisory method | |
| KR101856548B1 (en) | Method for street view service and apparatus for using the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040625 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050510 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20050622 |