JP2001145092A - Video supervisory system and video supervisory method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To enable automatic setting of a supervisory area and holding of the set area when supervising a state of the supervisory area on the basis of a video image of a supervisory camera. SOLUTION: A video input section 1 receives a video image from a supervisory camera 6, an image processing section 2 applies image processing to the video image from the video input section to detect markers at 3 points on a horizontal plane of a supervisory object, a camera parameter calculation section 3 calculates camera parameters by utilizing that the markers at the three points are placed at an equal interval on the horizontal plane, and a supervisory area setting section 4 uses the calculated camera parameters to set a range surrounded by straight lines tying the three points and straight lines in parallel with the straight lines tying the three points at a prescribed interval from them to be the supervisory area.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、監視カメラの映像
をもとに遠隔地にてカメラ設置場所の状況監視を行う映
像監視システムに関するもので、特にカメラの映像を画
像処理することにより映像中の特定のエリアの状況を連
続的に自動監視する画像処理方式において、映像中の監
視エリアを自動的に設定する監視カメラの監視エリア設
定装置及び方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video surveillance system for monitoring the situation of a camera installation location at a remote location based on a video of a surveillance camera. The present invention relates to a surveillance camera setting apparatus and method for automatically setting a surveillance area in an image in an image processing method for automatically and automatically monitoring the situation of a specific area.

【０００２】[0002]

【従来の技術】監視対象場所に監視カメラを設置し、遠
隔地の監視室において監視対象場所の状況監視を行う映
像監視システムが多く運用されている。例えば、鉄道駅
構内の通路や広場での人の流れの監視、プラットホーム
での乗降客と進入する電車との接触等の監視、デパート
やコンビニの店内での客の挙動の監視、美術館や博物館
の展示室の展示品の監視、建物や施設の出入り口の人の
出入り状況の監視、あるいは生産現場における産業用ロ
ボットの動作範囲内への作業員の立ち入り監視など、室
内はもとより、浄水場や変電所における運転状況や侵入
者監視、ダムサイトや農業用水路の取水口近辺へのボー
トや倒木などの接近の監視、工事現場における作業状況
や危険区域内への侵入者の監視、高速道路を中心とした
道路における車両走行状況の監視など、屋外にも監視カ
メラが多く設置されている。2. Description of the Related Art There are many video surveillance systems in which a surveillance camera is installed at a monitoring target place and a situation of the monitoring target place is monitored in a remote monitoring room. For example, monitoring the flow of people in the passages and squares inside the railway station, monitoring the contact between passengers on the platform and incoming trains, monitoring the behavior of customers in department stores and convenience stores, and monitoring museums and museums Monitoring of exhibits in exhibition rooms, monitoring of people entering and exiting buildings and facilities, and monitoring of workers entering the operating range of industrial robots at production sites, as well as indoors, water purification plants and substations Monitoring of driving conditions and intruders in the area, monitoring of approaching boats and fallen trees near the intake of dam sites and agricultural irrigation canals, monitoring of work conditions at construction sites and monitoring of intruders in danger areas, focusing on highways Many surveillance cameras are installed outdoors, such as for monitoring the running conditions of vehicles on the road.

【０００３】これらの監視カメラの利用方法は主として
２つの方法がある。ひとつは、監視員による目視での監
視で、監視室のモニタに映る監視カメラの映像を監視員
が目視にて観察するものである。もう一つの利用方法
は、監視カメラの映像を常時または間欠的にＶＴＲに保
存しておき何らかの異常が発生したときに再生し異常の
原因を調査分析するのに使用する方法である。また、こ
れらの２つの方法を同時に実施する例もある。つまり、
監視カメラの映像をＶＴＲに保存しながらモニタでの監
視も行うものである。There are mainly two methods of using these surveillance cameras. One is visual monitoring by a monitor, in which the monitor observes an image of a monitoring camera reflected on a monitor in a monitoring room. Another method of use is to store the video of the surveillance camera in the VTR constantly or intermittently and to reproduce it when an abnormality occurs and to investigate and analyze the cause of the abnormality. In some cases, these two methods are performed simultaneously. That is,
While monitoring the video of the surveillance camera in the VTR, monitoring is also performed on the monitor.

【０００４】ところで、目視による監視が行われている
施設において、監視カメラが多数設置されており監視室
に設置されたモニタが多い場合に、監視員の疲労軽減と
見落としの予防のために、画像処理による自動監視が行
われている。これは、監視カメラの映像を画像処理装置
に入力し、背景差分法、時間差分法、領域差分法などの
画像処理手法を用いて映像中の異常状況を検出し監視員
に警告するものである。[0004] By the way, in a facility where visual surveillance is performed, if a large number of surveillance cameras are installed and a large number of monitors are installed in a surveillance room, an image is displayed in order to reduce fatigue of surveillance personnel and to prevent oversight. Automatic monitoring by processing is performed. This is to input an image of a surveillance camera to an image processing apparatus, detect an abnormal situation in the image using an image processing method such as a background difference method, a time difference method, and a region difference method, and warn a supervisor. .

【０００５】背景差分法は、正常なときの監視場所の映
像を保存しておき監視カメラの映像がこれと異なる場合
に異常と判断する方法で、ドアや門の前に障害物や侵入
者がいることの検出に使用される。[0005] The background subtraction method is a method of storing an image of a surveillance place in a normal state and judging an abnormality when the image of a surveillance camera is different from this. An obstacle or an intruder is in front of a door or a gate. Used to detect that

【０００６】時間差分法は、時間的に連続する２枚の画
像の異なる部分を検出しこの部分に移動する物体がある
と判断する方法で、夜間のビル内の通路の侵入者や爆発
などの異常検出に使用される。[0006] The time difference method is a method of detecting different portions of two images that are temporally continuous and determining that there is an object moving in these portions. Used for abnormality detection.

【０００７】領域差分法は、入力画像のエッジ検出を行
い、本来検出されるべきでない場所にエッジ成分が抽出
された場合にこれを異常と判断するもので、道路上の障
害物の検出などに使用される。The area difference method detects an edge of an input image, and determines that an edge component is extracted when an edge component is extracted at a place where it should not be detected. This method is used for detecting an obstacle on a road. used.

【０００８】これらの方法は独立に使用されることもあ
るが、これ以外の方法を含む複数の手法を組み合わせて
使用することもある。[0008] These methods may be used independently, or may be used in combination with a plurality of methods including other methods.

【０００９】また、一般に上述の画像処理は入力画像の
全範囲に対して行うことは少なく、異常が発生する可能
性のあるエリアを設定して、そのエリアのみに対して画
像処理を行い異常状況を監視することが行われている。
図１５は、通用門の映像と監視エリアの例を示し、図１
６には道路の映像と追い越し車線の監視エリアの例を示
す。In general, the above-described image processing is rarely performed on the entire range of an input image. An area in which an abnormality may occur is set, and image processing is performed only on the area, and an abnormal state is determined. Monitoring has been done.
FIG. 15 shows an example of an image of a gate and a monitoring area.
6 shows an example of a road image and a surveillance area of a passing lane.

【００１０】このような監視エリアを設定する理由は、
監視カメラの映像中の監視対象は一般に限定されており
異常が発生する場所が決まっているので、特定の監視エ
リア以外の異常状況をノイズとして排除できることと、
画像処理の対象範囲を小さくすることで画像処理装置に
よる画像処理の時間が短縮できることである。The reason for setting such a monitoring area is as follows.
The monitoring target in the video of the surveillance camera is generally limited and the place where the abnormality occurs is determined, so that abnormal situations other than a specific monitoring area can be excluded as noise,
By reducing the target range of the image processing, the time of the image processing by the image processing apparatus can be reduced.

【００１１】この監視エリアの設定は、カメラが固定で
監視場所が決まっている場合は手動で設定が実施され
る。すなわち、オペレータが監視カメラの映像を見て監
視エリアをマウス操作やキー操作により設定する。画像
処理装置はオペレータにより設定された監視エリアのみ
を対象に画像処理を行い、異常検出を行うものである。The setting of the monitoring area is manually performed when the camera is fixed and the monitoring place is determined. That is, the operator views the video of the monitoring camera and sets the monitoring area by mouse operation or key operation. The image processing apparatus performs image processing only on a monitoring area set by an operator and detects an abnormality.

【００１２】[0012]

【発明が解決しようとする課題】しかしながら、従来の
映像監視システムにおける監視エリアの設定には以下に
示す問題点が存在する。However, the setting of the monitoring area in the conventional video monitoring system has the following problems.

【００１３】第一に、監視カメラを移動させる監視を行
う場合、監視カメラに映る場所が時々刻々変化するの
で、監視エリアが設定できない。監視カメラが固定、す
なわち監視カメラの設置位置が固定でカメラの向きも固
定でレンズも焦点距離が固定のレンズを使用する場合
は、監視カメラの映像に映る場所と範囲は同一であり、
従って映像中の監視エリアも一旦設定すればこれを利用
できる。しかしながら、近年の監視カメラは設置位置こ
そ固定だが、電動雲台のパン・チルト機構によりカメラ
本体の旋回と上下振り動作が可能で、さらに電動ズーム
レンズを使用して望遠から広角まで映像の範囲を変化さ
せることができるものが使用されている。この場合、カ
メラの移動によって監視カメラの映像が大きく変化する
ため手動により設定した監視エリアが保持できない。First, when monitoring is performed by moving the surveillance camera, the location reflected by the surveillance camera changes from moment to moment, so that a surveillance area cannot be set. When the surveillance camera is fixed, that is, when the installation position of the surveillance camera is fixed, the direction of the camera is also fixed, and the lens has a fixed focal length, the location and range reflected in the image of the surveillance camera are the same,
Therefore, once the monitoring area in the video is set, it can be used. However, the installation position of recent surveillance cameras is fixed, but the pan / tilt mechanism of the electric pan / tilt head allows the camera body to rotate and swing up and down, and further uses an electric zoom lens to extend the range of images from telephoto to wide-angle. Something that can be changed is used. In this case, since the image of the surveillance camera changes greatly due to the movement of the camera, the manually set monitoring area cannot be maintained.

【００１４】なお、電動雲台の旋回角度や仰角の動作と
電動ズームレンズの焦点距離をセンシングして画像処理
装置にフィードバックすれば、下記の文献１で開示され
るように、監視カメラの向きの変化に対応した監視エリ
アの再計算は可能であるが、センサの設置もセンサ信号
の伝送もコストがかかるもので一般には行われていな
い。By sensing the operation of the turning angle and the elevation angle of the electric pan head and the focal length of the electric zoom lens and feeding them back to the image processing apparatus, the direction of the direction of the surveillance camera is disclosed as disclosed in the following document 1. Although it is possible to recalculate the monitoring area in response to the change, installation of the sensor and transmission of the sensor signal are expensive and are not generally performed.

【００１５】文献１：「除、辻著、三次元ビジョン、共
立出版、１９９８」には、カメラ座標系と三次元空間座
標系の変換行列に１１のパラメータがあり、カメラに映
る４点のカメラ座標（ｕ，ｖ）と三次元空間座標（ｘ，
ｙ，ｚ）またはカメラパラメータ（カメラ設置位置、カ
メラ旋回角度、カメラ仰角、レンズ焦点距離など）が既
知であれば計算（キャリブレーション）することが可能
である。Reference 1: "Ji, Tsuji, 3D Vision, Kyoritsu Shuppan, 1998" has 11 parameters in a conversion matrix between a camera coordinate system and a 3D space coordinate system, and four cameras reflected by a camera. Coordinates (u, v) and three-dimensional spatial coordinates (x,
(y, z) or camera parameters (camera installation position, camera rotation angle, camera elevation angle, lens focal length, etc.) can be calculated (calibrated).

【００１６】第二に、オペレータが監視カメラの映像中
にマウス操作などで監視エリアを設定するので、現場の
位置や距離との対応が不明である。例えば、ダムサイト
の取水口から１０ｍ以内を危険区域として設定したいと
き、監視カメラの映像ではどこが１０ｍなのかがオペレ
ータにはわからないため、正確に１０ｍ以内の監視エリ
アを設定できない。Second, since the operator sets the monitoring area in the video of the monitoring camera by operating the mouse or the like, the correspondence between the location and the distance of the site is unknown. For example, when it is desired to set a danger zone within 10 m from the intake of the dam site, the operator cannot know where the 10 m is from the video of the surveillance camera, so that a monitoring area within 10 m cannot be set accurately.

【００１７】第三に、複数の監視カメラを使用した遠隔
自動監視を行う場合、個々の監視カメラ毎に監視場所と
監視エリアが異なるので、個々の監視カメラに対してそ
れぞれ個別に監視エリアを設定する必要がある。また、
カメラやレンズを交換した後には、厳密には監視カメラ
に映る場所が変わるので、監視カメラの映像の確認と監
視エリアの再設定が必要である。大きな施設の多数の出
入り口の監視を行う場合や長大トンネルの多数の監視カ
メラの設定を行う作業は煩雑である。Third, when performing remote automatic monitoring using a plurality of surveillance cameras, since the surveillance location and the surveillance area are different for each surveillance camera, a surveillance area is individually set for each surveillance camera. There is a need to. Also,
Strictly speaking, the location of the surveillance camera changes after the camera or lens is replaced, so it is necessary to check the surveillance camera image and reset the surveillance area. The task of monitoring a large number of entrances and exits of a large facility and setting many monitoring cameras in a long tunnel is complicated.

【００１８】本発明の目的は、監視カメラの監視エリア
設定における上記の課題を解決した映像監視システムお
よび映像監視方法を提供することにある。An object of the present invention is to provide a video surveillance system and a video surveillance method which solve the above-mentioned problems in setting a surveillance area of a surveillance camera.

【００１９】[0019]

【課題を解決するための手段】（装置の発明）監視カメ
ラで撮影した映像中の特定の監視エリアの状況を連続的
に自動監視する映像監視システムにおいて、前記監視カ
メラの映像を入力する映像入力部と、前記映像入力部か
らの映像を画像処理して監視対象の水平面上の３点のマ
ーカを検出する画像処理部と、前記３点のマーカが水平
面上で等間隔に設置されていることを利用してカメラパ
ラメータ計算を行うカメラパラメータ計算部と、前記計
算されたカメラパラメータを使用して３点のマーカを結
ぶ直線とこれと一定間隔で平行な直線に囲まれた範囲を
監視エリアとして設定する監視エリア設定部とを備えた
ことを特徴とする。(Invention of device) In a video surveillance system for continuously and automatically monitoring the situation of a specific monitoring area in a video taken by a monitoring camera, a video input for inputting a video of the monitoring camera is provided. Unit, an image processing unit that performs image processing on the video from the video input unit to detect three markers on the horizontal plane to be monitored, and the three markers are installed at equal intervals on the horizontal plane A camera parameter calculation unit for calculating camera parameters by using the above, and a range surrounded by a straight line connecting three markers using the calculated camera parameters and a straight line parallel to the marker at a constant interval as a monitoring area. And a monitoring area setting unit for setting.

【００２０】また、前記画像処理部は、入力画像の各画
素ごとにＲＧＢの３成分に分離し、ＲＧＢの各輝度が一
定範囲内の画素を抽出してラベリング処理を行い、一定
の面積を持つ範囲をマーカとして検出し、検出したマー
カの画像中の重心位置を計算してマーカの位置として検
出する手段、あらかじめマーカの形状モデルを登録して
おき、監視カメラの映像を入力して映像中にその形状の
パターンを検索し、同一形状のパターンをマーカとして
検出し、マッチングのとれた形状モデルの中心位置をマ
ーカの位置として検出する手段、あらかじめマーカの形
状モデルと色情報を登録しておき、監視カメラの映像を
入力して映像中にその形状のパターンを検索し、あわせ
て色抽出処理を行い、同一形状で同一色の部分をマーカ
として検出し、マーカの中心位置をマーカの位置として
検出する手段、監視カメラの映像中のエッジ抽出を行
い、エッジ点列の直線成分を抽出し、一定の幅で一定の
長さの平行線を道路上の白線として検出し、検出した白
線の端点の画像中の位置をマーカの位置として検出する
手段、監視カメラの映像を入力して縦方向のエッジ抽出
とこれに基づく特徴抽出を行い、縦方向の線分を抽出し
たあとに線分の下側端点を検出しこれをマーカとして検
出し、線分の下端点の画像中の位置をマーカの位置とし
て検出する手段のいずれか１つの手段を備えたことを特
徴とする。Further, the image processing section separates each pixel of the input image into three components of RGB, extracts pixels in which each luminance of RGB is within a certain range, performs a labeling process, and has a certain area. Means for detecting the range as a marker, calculating the position of the center of gravity in the image of the detected marker and detecting the position as the marker, registering the shape model of the marker in advance, inputting the image of the monitoring camera, and Means for searching the pattern of the shape, detecting the pattern of the same shape as a marker, detecting the center position of the matched shape model as the position of the marker, registering the shape model of the marker and color information in advance, The video of the surveillance camera is input, the pattern of the shape is searched for in the video, color extraction processing is also performed, and the part of the same shape and the same color is detected as a marker. A means for detecting the center position of the camera as a marker position, extracting edges in the image of the surveillance camera, extracting a straight line component of an edge point sequence, and forming a parallel line having a fixed width and a fixed length on a white line on a road. Means for detecting the position of the end point of the detected white line in the image as the position of the marker, inputting the video of the surveillance camera, performing vertical edge extraction and feature extraction based thereon, and performing vertical line segmentation. Is extracted, and the lower end point of the line segment is detected and detected as a marker, and the position of the lower end point of the line segment in the image is detected as the marker position. Features.

【００２１】また、前記監視エリア設定部は、前記３点
のマーカを結ぶ直線とこれと一定間隔で平行な一本また
は複数の直線を監視エリアとして設定する手段、３点の
マーカを結ぶ直線とこれと平行でモニタ上にマウスで指
定された点を通る一本または複数の直線を監視エリアと
して設定する手段のいずれか１つの手段を備えたことを
特徴とする。Further, the monitoring area setting unit includes: a means for setting a straight line connecting the three markers and one or more straight lines parallel to the three markers at a predetermined interval as a monitoring area; One or more means for setting, as a monitoring area, one or a plurality of straight lines passing through a point designated by a mouse on the monitor in parallel with the above is provided.

【００２２】また、前記監視エリアは、入力した監視カ
メラの映像と共にモニタにオーバレイ表示する監視映像
表示手段を備えたことを特徴とする。Further, the surveillance area is provided with surveillance image display means for displaying an input image of the surveillance camera on the monitor as an overlay.

【００２３】また、前記監視映像表示手段は、表示する
監視エリアまたは平行な直線をオペレータの操作指示に
基づき保持する手段を備えたことを特徴とする。[0023] Further, the monitoring video display means includes means for holding a monitoring area to be displayed or a parallel straight line based on an operation instruction of an operator.

【００２４】また、前記監視映像表示手段は、監視カメ
ラの映像を表示したモニタ上でオペレータにより指定さ
れた３点を使用してカメラパラメータ計算を行い、３点
を結ぶ直線とこれと一定間隔で平行な直線に囲まれた監
視エリア、または３点を結ぶ直線とこれと一定間隔で平
行な一本または複数の直線を設定またはモニタ表示する
手段を備えたことを特徴とする。The surveillance video display means calculates camera parameters using three points specified by the operator on the monitor displaying the video of the surveillance camera, and calculates a straight line connecting the three points and a straight line connecting the three points. A monitoring area surrounded by parallel straight lines, or a straight line connecting three points, and one or more straight lines parallel to the monitoring area at a predetermined interval are provided or provided for monitoring.

【００２５】また、前記監視エリア設定部は、前記監視
カメラの仰角を入力設定、またはセンサで計測、もしく
は固定とし、これをもとに前記３点のマーカを結ぶ直線
と、これに水平面上で平行で指定された間隔の一本また
は複数の直線を計算して監視エリアとして設定すること
を特徴とする。The monitoring area setting unit sets the elevation angle of the monitoring camera by inputting or measuring or fixing the elevation angle by a sensor, and based on this, a straight line connecting the three markers and a straight line connecting the three markers on a horizontal plane. The method is characterized in that one or a plurality of straight lines having parallel designated intervals are calculated and set as a monitoring area.

【００２６】（方法の発明）監視カメラで撮影した映像
中の特定の監視エリアの状況を連続的に自動監視する映
像監視方法において、前記監視カメラの映像を入力し、
この映像を画像処理して監視対象の水平面上の３点のマ
ーカを検出し、前記３点のマーカが水平面上で等間隔に
設置されていることを利用してカメラパラメータ計算を
行い、このカメラパラメータを使用して３点のマーカを
結ぶ直線とこれと一定間隔で平行な直線に囲まれた範囲
を監視エリアとして設定することを特徴とする。(Invention of a method) In a video surveillance method for continuously and automatically monitoring the situation of a specific surveillance area in a video shot by a surveillance camera, an image of the surveillance camera is input,
This image is image-processed to detect three markers on the horizontal plane to be monitored, and the camera parameters are calculated using the fact that the three markers are arranged at equal intervals on the horizontal plane. It is characterized in that a range surrounded by a straight line connecting three markers and a straight line parallel to the marker at a certain interval is set as a monitoring area using parameters.

【００２７】また、前記３点のマーカは、入力画像の各
画素ごとにＲＧＢの３成分に分離し、ＲＧＢの各輝度が
一定範囲内の画素を抽出してラベリング処理を行い、一
定の面積を持つ範囲をマーカとして検出し、検出したマ
ーカの画像中の重心位置を計算してマーカの位置として
検出する方法、あらかじめマーカの形状モデルを登録し
ておき、監視カメラの映像を入力して映像中にその形状
のパターンを検索し、同一形状のパターンをマーカとし
て検出し、マッチングのとれた形状モデルの中心位置を
マーカの位置として検出する方法、あらかじめマーカの
形状モデルと色情報を登録しておき、監視カメラの映像
を入力して映像中にその形状のパターンを検索し、あわ
せて色抽出処理を行い、同一形状で同一色の部分をマー
カとして検出し、マーカの中心位置をマーカの位置とし
て検出する方法、監視カメラの映像中のエッジ抽出を行
い、エッジ点列の直線成分を抽出し、一定の幅で一定の
長さの平行線を道路上の白線として検出し、検出した白
線の端点の画像中の位置をマーカの位置として検出する
方法、監視カメラの映像を入力して縦方向のエッジ抽出
とこれに基づく特徴抽出を行い、縦方向の線分を抽出し
たあとに線分の下側端点を検出しこれをマーカとして検
出し、線分の下端点の画像中の位置をマーカの位置とし
て検出する方法のいずれか１つの方法で検出することを
特徴とする。The three markers are separated into three components of RGB for each pixel of the input image, and pixels having respective luminances of RGB within a certain range are extracted and subjected to a labeling process, so that a certain area is obtained. A method of detecting the range possessed as a marker, calculating the position of the center of gravity in the image of the detected marker and detecting it as the position of the marker, registering the shape model of the marker in advance, inputting the image of the monitoring camera, and A method of searching for a pattern of the same shape, detecting a pattern of the same shape as a marker, and detecting the center position of the matched shape model as a marker position, and registering the marker shape model and color information in advance. Input the video of the surveillance camera, search for the pattern of the shape in the video, perform color extraction processing together, detect the same shape and the same color as a marker, The method of detecting the center position of the marker as the position of the marker, extracting the edge in the video of the surveillance camera, extracting the linear component of the edge point sequence, and forming a parallel line with a certain width and a certain length on the road A method of detecting as a white line, detecting the position of the end point of the detected white line in the image as a marker position, inputting a video of a surveillance camera, extracting a vertical edge, and extracting features based on the edge, and performing a vertical line After extracting the segment, the lower end point of the line segment is detected and detected as a marker, and the position of the lower end point of the line segment in the image is detected as a marker position. It is characterized by.

【００２８】また、前記監視エリアは、前記３点のマー
カを結ぶ直線とこれと一定間隔で平行な一本または複数
の直線を監視エリアとして設定する方法、３点のマーカ
を結ぶ直線とこれと平行でモニタ上にマウスで指定され
た点を通る一本または複数の直線を監視エリアとして設
定する方法のいずれか１つの方法で設定することを特徴
とする。The monitoring area is a method of setting a straight line connecting the three markers and one or a plurality of straight lines parallel to the three markers at a predetermined interval as a monitoring area. The method is characterized in that one or more straight lines passing through a point designated by a mouse on a monitor in parallel are set as a monitoring area by one of the methods.

【００２９】また、前記監視エリアの画像表示は、入力
した監視カメラの映像と共にモニタにオーバレイ表示す
ることを特徴とする。The image display of the surveillance area is characterized in that it is displayed on a monitor together with the input image of the surveillance camera.

【００３０】また、前記監視エリアの画像表示は、表示
する監視エリアまたは平行な直線をオペレータの操作指
示に基づき保持することを特徴とする。Further, the image display of the monitoring area is characterized in that the monitoring area to be displayed or a parallel straight line is held based on an operation instruction from an operator.

【００３１】また、前記監視エリアの画像表示は、監視
カメラの映像を表示したモニタ上でオペレータにより指
定された３点を使用してカメラパラメータ計算を行い、
３点を結ぶ直線とこれと一定間隔で平行な直線に囲まれ
た監視エリア、または３点を結ぶ直線とこれと一定間隔
で平行な一本または複数の直線を設定またはモニタ表示
することを特徴とする。In the image display of the surveillance area, camera parameters are calculated using three points designated by an operator on a monitor displaying the image of the surveillance camera.
A monitoring area surrounded by a straight line connecting three points and a straight line parallel thereto at a fixed interval, or a straight line connecting the three points and one or more straight lines parallel thereto at a fixed interval is set or displayed on a monitor. And

【００３２】また、前記監視エリアは、前記監視カメラ
の仰角を入力設定し、またはセンサで計測し、もしくは
固定とし、これらをもとに前記３点のマーカを結ぶ直線
と、これに水平面上で平行で指定された間隔の一本また
は複数の直線を計算して監視エリアとして設定すること
を特徴とする。The monitoring area is set by inputting the elevation angle of the monitoring camera or measuring or fixing the elevation angle of the monitoring camera, and based on these, a straight line connecting the three markers and a straight line connecting the three markers. The method is characterized in that one or a plurality of straight lines having parallel designated intervals are calculated and set as a monitoring area.

【００３３】[0033]

【発明の実施の形態】（１）基本的な方式 本発明に係る監視カメラと監視エリアは、以下の条件を
満たすものとする。ただしこれらの条件は特別なもので
はなく一般的な電動雲台ズームレンズ付監視カメラがこ
れにあたる。DESCRIPTION OF THE PREFERRED EMBODIMENTS (1) Basic system The surveillance camera and surveillance area according to the present invention satisfy the following conditions. However, these conditions are not special, and a general surveillance camera with an electric pan head zoom lens corresponds to this.

【００３４】（ａ）監視カメラは水平面に対して水平に
設置される。(A) The monitoring camera is installed horizontally with respect to the horizontal plane.

【００３５】（ｂ）監視カメラの雲台が旋回動作する。
ただし、旋回動作は水平面内で行われる。(B) The head of the surveillance camera turns.
However, the turning operation is performed in a horizontal plane.

【００３６】（ｃ）監視カメラの雲台が上下振り動作す
る。ただし、上下振り動作は鉛直面内で行われる。(C) The head of the surveillance camera swings up and down. However, the swinging motion is performed in the vertical plane.

【００３７】（ｄ）監視カメラは電動ズームレンズの動
作によりレンズ焦点距離が変化する。(D) The focal length of the surveillance camera changes due to the operation of the electric zoom lens.

【００３８】（ｅ）監視カメラの旋回角度、仰角、レン
ズ焦点距離は検出できない。(E) The turning angle, elevation angle, and lens focal length of the surveillance camera cannot be detected.

【００３９】（ｆ）監視カメラで自動監視する監視エリ
アは実世界では水平面上に存在する。(F) The monitoring area automatically monitored by the monitoring camera exists on a horizontal plane in the real world.

【００４０】さらに、監視エリアの自動設定のために、
監視カメラの映像に映る範囲内で監視エリアと同一の水
平面上に等間隔に直線的に３点以上のマーカを設定する
ものとし、監視エリアはこのマーカがのる直線と平行な
範囲とする。ここで使用するマーカは、特別に着色した
ペイントでも良いし、特別に設置した円盤やパイロンで
も良いし、他の目的のために設置されている工事現場や
道路脇の杭やポストマークでも良いし、道路の車線マー
クや建造物の柱や土台石でも良い。Further, for automatic setting of the monitoring area,
It is assumed that three or more markers are set linearly at regular intervals on the same horizontal plane as the monitoring area within the range shown in the image of the monitoring camera, and the monitoring area is a range parallel to the straight line on which the marker is placed. The marker used here may be a specially colored paint, a specially installed disc or pylon, or a pile or post mark on a construction site or roadside installed for other purposes. It may be a lane mark of a road, a pillar of a building or a foundation stone.

【００４１】次に、監視エリア設定装置は、図１に示す
ように、映像入力部１と画像処理部２と、カメラパラメ
ータ計算部３と、監視エリア設定部４とで構成する。雲
台・ズーム機構５を持つ監視カメラ６の監視映像は、映
像入力部１に入力し、画像処理部２の画像処理により３
点のマーカを検出し、カメラパラメータ計算部３におい
て３点が水平面上で等間隔に設置されていることを利用
したカメラパラメータ計算を行い、監視エリア設定部４
でこのパラメータを使用して３点のマーカを結ぶ直線
と、これと一定間隔で平行な直線に囲まれた監視エリア
を設定する。図示を省略する遠隔監視システムは、設定
された監視エリアに対して画像処理を行い異常の検出な
どを行うものである。Next, as shown in FIG. 1, the monitoring area setting device comprises a video input unit 1, an image processing unit 2, a camera parameter calculation unit 3, and a monitoring area setting unit 4. The surveillance image of the surveillance camera 6 having the camera platform / zoom mechanism 5 is input to the image input unit 1,
The marker of the point is detected, the camera parameter calculation unit 3 calculates the camera parameters using the fact that the three points are arranged at equal intervals on the horizontal plane, and the monitoring area setting unit 4
Using this parameter, a monitoring area surrounded by a straight line connecting the three markers and a straight line parallel to the marker at a fixed interval is set. A remote monitoring system (not shown) performs image processing on a set monitoring area to detect an abnormality or the like.

【００４２】カメラパラメータの計算手順の例を説明す
る。図２に示すような監視カメラの映像中の位置（ｕ，
ｖ）と実世界の空間位置（ｘ，ｙ，ｚ）との関係を決定
するカメラパラメータは、カメラの設置位置（Ｘ，Ｙ，
Ｚ）と、カメラ姿勢（θ、φ、ψ）に関する６つの外部
パラメータと、カメラ自体のレンズ焦点距離ｆと、画像
中心（ｕ０，ｖ０）と、カメラの撮像素子（ＣＣＤ）単
位長比と軸の交差角度の５つの内部パラメータの合計１
１のパラメータが存在する（文献１参照）。An example of a procedure for calculating camera parameters will be described. The position (u,
v) and the camera parameters that determine the relationship between the real world spatial position (x, y, z) are camera installation positions (X, Y,
Z), six external parameters relating to the camera attitude (θ, φ, ψ), the lens focal length f of the camera itself, the image center (u0, v0), the unit length ratio of the image pickup device (CCD) of the camera, and the axis Sum of five internal parameters of the intersection angle of
There is one parameter (see Document 1).

【００４３】これらのうち、通常の工業用監視カメラで
はＣＣＤ素子単位長比が１：１、軸の交差角度が９０度
に調整されている。また、監視カメラが水平に設置され
ているのでψ＝０とすることができ、マーカと監視エリ
アが同一の水平面上にあり，雲台の動作が水平面に水平
または鉛直であれば水平面上の平行線の計算に関してφ
は無関係であるのでφ＝０と置くことができる。さら
に、カメラ座標系の原点をカメラのレンズ中心において
ｕ０＝ｖ０＝０とし、空間座標系の原点も同じくカメラ
のレンズ中心において、Ｘ＝Ｙ＝Ｚ＝０とすれば、図３
に示すように、残るパラメータはレンズ焦点距離とＣＣ
Ｄサイズの比を表すαとカメラの仰角θの２つになる。Of these, in a general industrial surveillance camera, the unit length ratio of the CCD element is adjusted to 1: 1 and the intersection angle of the axes is adjusted to 90 degrees. Also, since the surveillance camera is installed horizontally, it is possible to set ψ = 0. If the marker and the surveillance area are on the same horizontal plane, and the movement of the camera platform is horizontal or vertical to the horizontal plane, Φ for the calculation of the line
Is irrelevant and can be set as φ = 0. Furthermore, if the origin of the camera coordinate system is u0 = v0 = 0 at the center of the camera lens, and the origin of the spatial coordinate system is also X = Y = Z = 0 at the center of the camera lens, FIG.
The remaining parameters are the lens focal length and CC as shown in
Α, which represents the ratio of the D size, and the elevation angle θ of the camera.

【００４４】ある計測点をＭ（Ｘ，Ｙ，Ｚ）、計測点Ｍ
のＣＣＤ上の画像点をｍ（ｕ，ｖ）とすると、Ｍとｍの
関係は、A measurement point is defined as M (X, Y, Z) and a measurement point M
Let m (u, v) be the image point on the CCD of

【００４５】[0045]

【数１】 (Equation 1)

【００４６】で表現される。Is represented by

【００４７】ここで、ｍ＊はｍの拡張ベクトル、Ｍ＊は
Ｍの拡張ベクトル、ｓはスカラ、Ｐは、Here, m * is an extension vector of m, M * is an extension vector of M, s is a scalar, and P is

【００４８】[0048]

【数２】 (Equation 2)

【００４９】で表される変換行列である。ここで、Ａは
カメラ内部パラメータで、Is a transformation matrix represented by Here, A is a camera internal parameter,

【００５０】[0050]

【数３】 (Equation 3)

【００５１】Ｒはθのみのカメラの回転行列で、R is a camera rotation matrix of only θ,

【００５２】[0052]

【数４】 (Equation 4)

【００５３】であるから、（１）式は、Thus, equation (1) is

【００５４】[0054]

【数５】 (Equation 5)

【００５５】となり、これを展開すると、When this is developed,

【００５６】[0056]

【数６】 (Equation 6)

【００５７】となる。Ｘは監視対象の水平面からのカメ
ラ高さで一定であるからｍとＭは一対一に対応し、Is as follows. Since X is constant at the camera height from the horizontal plane to be monitored, m and M correspond one-to-one,

【００５８】[0058]

【数７】 (Equation 7)

【００５９】で表される。いま、カメラ映像中にある３
点ｍ１（ｕ１，ｖ１）、ｍ２（ｕ２，ｖ２）、ｍ３（ｕ
３，ｖ３）が水平面上のＭ１（Ｘ１，Ｙ１，Ｚ１）、Ｍ
２（Ｘ２，Ｙ２，Ｚ２）、Ｍ３（Ｘ３，Ｙ３，Ｚ３）に
対応し、これらが等間隔で直線上にあるとすれば、Is represented by Now, 3 in the camera image
Points m1 (u1, v1), m2 (u2, v2), m3 (u
3, v3) is M1 (X1, Y1, Z1), M on the horizontal plane
2 (X2, Y2, Z2) and M3 (X3, Y3, Z3), and if they are on a straight line at equal intervals,

【００６０】[0060]

【数８】 (Equation 8)

【００６１】であるから、（９）式を利用して、Therefore, using equation (9),

【００６２】[0062]

【数９】 (Equation 9)

【００６３】であり、これを解くと、And solving this gives:

【００６４】[0064]

【数１０】 (Equation 10)

【００６５】のカメラパラメータが求められる。The camera parameters are obtained.

【００６６】次に、平行線で囲まれた監視エリアの計算
の例を示す。Ｍ１−Ｍ２に監視対象の水平面上で平行な
直線Ｍａ（Ｘａ，Ｙａ，Ｚａ）一Ｍｂ（Ｘｂ，Ｙｂ，Ｚ
ｂ）を考える。２直線が平行になる条件は、Next, an example of calculation of a monitoring area surrounded by parallel lines will be described. A straight line Ma (Xa, Ya, Za) -Mb (Xb, Yb, Z) parallel to the monitoring target in the horizontal plane with M1-M2
Consider b). The condition that two straight lines become parallel is

【００６７】[0067]

【数１１】 [Equation 11]

【００６８】であるが、いまＭａとＭ１，ＭｂとＭ２の
Ｚ軸方向の座標を同一とすると、However, if Ma and M1, and Mb and M2 have the same coordinates in the Z-axis direction,

【００６９】[0069]

【数１２】 (Equation 12)

【００７０】であるから（１４）式の分母が同じになる
ので、Since the denominator of the equation (14) becomes the same,

【００７１】[0071]

【数１３】 (Equation 13)

【００７２】となり、（１０）式を代入すれば、By substituting equation (10),

【００７３】[0073]

【数１４】 [Equation 14]

【００７４】が成立する。これをｖｂについて解くと、Is established. Solving this for vb gives

【００７５】[0075]

【数１５】 (Equation 15)

【００７６】となる。これは、ｍａが指定されればｍｂ
が決定し、画像上でｍａとｍｂを結ぶことで水平面上で
平行な直線を画像に設定することが出来ることを意味
し、さらにこの設定のためには３点が水平面上で等間隔
で直線上にあることから、求めたαｔａｎθで計算でき
ることを示す。つまり、上記の（１８）式により、水平
面上で等間隔で直線上にある３点の画像中の座標をもと
にして水平面上でこの３点がのる直線と平行な直線（図
４）およびこれらにより囲まれた監視エリアを画像中に
設定することが可能である。Is obtained. This means that if ma is specified, mb
Is determined, and by connecting ma and mb on the image, it is possible to set a straight line parallel on the horizontal plane to the image. Further, for this setting, three points are straight lines at equal intervals on the horizontal plane. From the above, it is shown that calculation can be performed with the obtained α tan θ. That is, based on the above equation (18), based on the coordinates in the image of three points on the straight line at equal intervals on the horizontal plane, a straight line parallel to the straight line on which the three points are drawn on the horizontal plane (FIG. 4) And a surveillance area surrounded by these can be set in the image.

【００７７】以上のことから、監視対象の水平面上に等
間隔で設置されたマーカを画像中に検出し、これらの画
像中の座標から水平面上でマーカが構成する直線と平行
な直線を画像中に描画するものであり、その特徴は、３
点のマーカが画像中にあればこれと水平面上で平行な直
線を決定することが可能で、これらに囲まれた監視エリ
アを計算により決定できることである。この監視エリア
設定を逐次行うことにより、監視カメラの雲台とズーム
レンズを操作し、時々刻々と映像が変化しても、３点の
マーカが映像に映っていればこれをもとに監視エリアの
更新がなされ、連続的な自動監視が可能となる。As described above, markers arranged at equal intervals on the horizontal plane to be monitored are detected in the image, and a straight line parallel to the straight line formed by the marker on the horizontal plane is detected from the coordinates in these images. The feature is that the 3
If a point marker is present in the image, it is possible to determine a straight line parallel to the point marker on the horizontal plane, and a monitoring area surrounded by these can be determined by calculation. By sequentially setting the surveillance area, the camera platform and zoom lens of the surveillance camera are operated. Even if the image changes every moment, if the three markers are reflected in the image, the surveillance area is determined based on this. Is updated, and continuous automatic monitoring becomes possible.

【００７８】（２）検知すべきマーカとその検出方法 本発明に係る装置は、水平面上に等間隔で直線上に設置
された３点のマーカを画像処理により検出し、カメラパ
ラメータ計算を行い、３点のマーカを結ぶ直線とこれと
一定間隔で平行な直線に囲まれた監視エリアを設定する
もので、遠隔監視システムがこの監視エリアに対して画
像処理を行い異常の検出などを行うものである。以下、
検知すべきマーカの例とその検出方式について説明す
る。(2) Markers to be Detected and Method for Detecting the Markers The apparatus according to the present invention detects, by image processing, three markers set at equal intervals on a horizontal plane on a straight line, and calculates camera parameters. A monitoring area surrounded by a straight line connecting three markers and a straight line parallel to the marker at a fixed interval is set. A remote monitoring system performs image processing on this monitoring area and detects an abnormality. is there. Less than,
An example of a marker to be detected and a detection method thereof will be described.

【００７９】（ａ）マーカとして、特定の色のペンキを
監視対象の水平面上にペイントする。例えば、変電所に
おいて、大型変圧器の周辺部のコンクリートまたは砂利
敷きの地面に赤色のペンキで直径１０ｃｍ程度の大きさ
で円形のマーカをペイントする。マーカは例えば１ｍ間
隔で等間隔に直線上にペイントする。(A) As a marker, paint of a specific color is painted on the horizontal plane to be monitored. For example, at a substation, a circular marker having a size of about 10 cm in diameter is painted with red paint on concrete or gravel ground around a large transformer. The markers are painted on a straight line at equal intervals, for example, at 1 m intervals.

【００８０】このような特定の色のマーカを検出するに
は色抽出で行う。すなわち、図５に示すような色付きの
マーカを含む映像を監視カメラで撮影したとき、入力画
像の各画素ごとにＲＧＢの３成分に分離し、ＲＧＢの各
輝度が一定範囲内の画素を抽出してラベリング処理を行
い、一定の面積を持つ領域をマーカとして検出する。さ
らに、検出したマーカの画像中の重心位置を計算してマ
ーカの位置としてカメラパラメータ計算に使用するもの
とする。In order to detect such a marker of a specific color, color extraction is performed. That is, when an image including a colored marker as shown in FIG. 5 is photographed by a surveillance camera, each pixel of the input image is separated into three components of RGB, and pixels whose RGB luminance is within a certain range are extracted. To perform a labeling process to detect a region having a certain area as a marker. Further, the position of the center of gravity of the detected marker in the image is calculated and used as the position of the marker in the camera parameter calculation.

【００８１】このとき、３つ以上の領域が抽出された場
合は、任意の３点の組を選んで直線性を評価して最も直
線性の高い組を計算に使用するマーカとして選択する、
あるいは画像の下部（カメラに近い）から順に３点を選
択するなどの後処理が必要である。At this time, when three or more regions are extracted, an arbitrary set of three points is selected, the linearity is evaluated, and the set with the highest linearity is selected as a marker to be used for calculation.
Alternatively, post-processing such as selecting three points in order from the bottom of the image (close to the camera) is required.

【００８２】本実施形態の特徴は、安価に容易にマーカ
を設置することが可能な点で、背景と区別しやすい色の
ペンキを選択することによりマーカ検出の信頼性も確保
される利点がある。The feature of the present embodiment is that the marker can be easily set at low cost, and there is an advantage that the reliability of marker detection can be secured by selecting a color paint that is easily distinguishable from the background. .

【００８３】（ｂ）特定の形状の箱、棒、円盤、板等を
監視対象の水平面上に設置する。例えば、図６に示すよ
うに、災害現場において危険区域の境界線上に三重丸の
円盤を設置する、または特定の形状の棒や箱や板を設置
する。マーカは例えば２ｍ間隔で等間隔に直線上に設置
する。(B) A box, bar, disk, plate or the like having a specific shape is placed on the horizontal surface to be monitored. For example, as shown in FIG. 6, a triple-circle disk is installed on the boundary of a danger zone at a disaster site, or a bar, box or plate of a specific shape is installed. The markers are arranged on a straight line at equal intervals, for example, at 2 m intervals.

【００８４】このように特定の形状のマーカを検出する
には形状抽出を使用する。すなわち、あらかじめマーカ
の形状モデルを登録しておき、監視カメラの映像を入力
して映像中にその形状のパターンを検索し、同一形状の
パターンをマーカとして検出するものである。In order to detect a marker having a specific shape, shape extraction is used. That is, a shape model of a marker is registered in advance, an image of a surveillance camera is input, a pattern of the shape is searched in the image, and a pattern of the same shape is detected as a marker.

【００８５】この場合はマッチングのとれた形状モデル
の中心位置をマーカの位置としてカメラパラメータ計算
に使用するものとする。このとき、３つ以上のマーカが
抽出された場合は、任意の３点の組を選んで直線性を評
価して最も直線性の高い組を計算に使用するマーカとし
て選択する、あるいは画像の下部（カメラに近い）から
順に３点を選択するなどの後処理が必要である。In this case, it is assumed that the center position of the matched shape model is used as a marker position for calculating camera parameters. At this time, if three or more markers are extracted, an arbitrary set of three points is selected, the linearity is evaluated, and the set with the highest linearity is selected as a marker to be used for calculation, or the lower part of the image is selected. Post-processing such as selecting three points in order from (close to the camera) is required.

【００８６】本実施形態の特徴は、安価に容易にマーカ
を設置することが可能な点で、背景と区別しやすい形状
マーカを選択することによりマーカ検出の信頼性も確保
される利点がある。また、ペンキと異なり災害が復旧し
た後はマーカを排除すれば良く、復旧が容易である利点
がある。The feature of the present embodiment is that markers can be easily installed at low cost, and there is an advantage that the reliability of marker detection is ensured by selecting a shape marker that is easily distinguishable from the background. Also, unlike the paint, after the disaster is restored, the marker may be removed, and there is an advantage that the restoration is easy.

【００８７】（ｃ）特定の色と形状の標識を監視対象の
水平面上に設置する。例えば、図７及び図８に示すよう
に、工事現場において作業区域の境界線上に赤色のパイ
ロンや黄色と黒の縞模様の棒を設置する。マーカは例え
ば３ｍ間隔で等間隔に直線上に設置する。(C) Place a sign of a specific color and shape on the horizontal plane to be monitored. For example, as shown in FIGS. 7 and 8, a red pylon or a bar of yellow and black stripes is installed on a boundary of a work area at a construction site. The markers are installed on a straight line at equal intervals, for example, at 3 m intervals.

【００８８】このように特定の形状と色をしたのマーカ
を検出するには形状抽出と色抽出の両方による。すなわ
ち、あらかじめマーカの形状モデルと色情報を登録して
おき、監視カメラの映像を入力して映像中にその形状の
パターンを検索し、あわせて色抽出処理を行い、同一形
状で同一色の部分をマーカとして検出するものである。In order to detect a marker having a specific shape and color, both shape extraction and color extraction are performed. That is, the shape model and color information of the marker are registered in advance, the video of the surveillance camera is input, the pattern of the shape is searched in the video, and the color extraction process is also performed. Is detected as a marker.

【００８９】この場合はマッチングのとれた形状モデル
の中心位置をマーカの位置としてカメラパラメータ計算
に使用するものとする。このとき、３つ以上のマーカが
抽出された場合は、任意の３点の組を選んで直線性を評
価して最も直線性の高い組を計算に使用するマーカとし
て選択する、あるいは画像の下部（カメラに近い）から
順に３点を選択するなどの後処理が必要である。In this case, it is assumed that the center position of the matched shape model is used as a marker position for calculating camera parameters. At this time, if three or more markers are extracted, an arbitrary set of three points is selected, the linearity is evaluated, and the set with the highest linearity is selected as a marker to be used for calculation, or the lower part of the image is selected. Post-processing such as selecting three points in order from (close to the camera) is required.

【００９０】本実施形態の特徴は、安価に容易にマーカ
を設置することが可能な点で、背景と区別しやすい形状
と色のマーカを選択することにより、マーカ検出の信頼
性も確保される利点がある。また、ペンキと異なり災害
が復旧した後はマーカを排除すれば良く、復旧が容易で
ある利点がある。さらに、通常の工事現場で使用される
パイロンや棒を使用することが可能で、準備のための費
用が不要で作業員の注意も喚起されるなどの利点があ
る。The feature of the present embodiment is that markers can be easily set at low cost, and by selecting markers of a shape and color that are easily distinguishable from the background, the reliability of marker detection is also ensured. There are advantages. Also, unlike the paint, after the disaster is restored, the marker may be removed, and there is an advantage that the restoration is easy. Furthermore, it is possible to use a pylon or a stick used in a normal construction site, so that there is an advantage that no expense is required for preparation and attention of a worker is brought.

【００９１】（ｄ）道路の監視エリアの設定には車線を
使用する。例えば、高速道路では一定距離ごとに断続的
に車線を区分する白線が道路上に描かれている。(D) The lane is used for setting the road monitoring area. For example, on a highway, a white line that intermittently divides a lane at regular intervals is drawn on the road.

【００９２】このような道路上の白線検出には多くの提
案がある。例えば、図９に示すように、監視カメラの映
像中のエッジ抽出を行い、エッジ点列の直線成分を抽出
し、一定の幅で一定の長さの平行線を白線として検出す
る。There are many proposals for such white line detection on a road. For example, as shown in FIG. 9, an edge is extracted from an image of a surveillance camera, a straight line component of an edge point sequence is extracted, and a parallel line having a fixed width and a fixed length is detected as a white line.

【００９３】この道路の白線をマーカとして使用する場
合は検出した白線の端点の画像中の位置をマーカの位置
としてカメラパラメータ計算に使用するものとする。こ
のとき、３つ以上のマーカ（白線）が抽出された場合
は、任意の３点の組を選んで直線性を評価して最も直線
性の高い組を計算に使用するマーカとして選択する、あ
るいは画像の下部（カメラに近い）から順に３点を選択
するなどの後処理が必要である。When the white line of the road is used as a marker, the position in the image of the end point of the detected white line is used as the marker position in the camera parameter calculation. At this time, when three or more markers (white lines) are extracted, an arbitrary set of three points is selected, the linearity is evaluated, and the set with the highest linearity is selected as a marker to be used for calculation, or Post-processing such as selecting three points in order from the bottom of the image (close to the camera) is required.

【００９４】本実施形態の特徴は、既に道路上に描かれ
ている白線をマーカとして利用することが可能な点で、
監視エリア設定のための特別なマーカの設置が不要な点
がメリットである、なお道路の監視については、本装置
を使用することで、特定の車線や路側帯の監視を行うな
どが可能になる利点がある。The feature of this embodiment is that a white line already drawn on the road can be used as a marker.
The merit is that there is no need to install special markers for setting the monitoring area. For road monitoring, the use of this device makes it possible to monitor specific lanes and roadside zones. There are advantages.

【００９５】（ｅ）ダムサイト取水口の周辺部の監視エ
リアの設定にはダム壁面の縦方向の突起物をマーカとし
て使用する。ダムの貯水部では水位の変動があり特定の
マーカを設置することが難しいが、図１０に示すよう
に、ダム壁面には鉛直方向に伸びるの突起がありこの突
起と水面の交点をマーカとして使用する。(E) To set a monitoring area around the intake of the dam site, a vertical projection on the dam wall is used as a marker. It is difficult to install a specific marker due to fluctuations in the water level in the reservoir of the dam. However, as shown in Fig. 10, there is a vertical protrusion on the wall of the dam, and the intersection of this protrusion and the water surface is used as a marker. I do.

【００９６】このように縦方向の突起と水面の交点の検
出には特徴抽出を使用する。すなわち、監視カメラの映
像を入力して縦方向のエッジ抽出とこれに基づく特徴抽
出を行い、縦方向の線分を抽出したあとに線分の下側端
点を検出しこれをマーカとして検出するものである。As described above, feature extraction is used for detecting the intersection of the vertical projection and the water surface. That is, a video from a surveillance camera is input, vertical edges are extracted, and features are extracted based on the vertical edges. After extracting vertical segments, the lower end points of the segments are detected and detected as markers. It is.

【００９７】この場合は線分の下端点の画像中の位置を
マーカの位置としてカメラパラメータ計算に使用するも
のとする。このとき、３つ以上のマーカが抽出された場
合は、任意の３点の組を選んで直線性を評価して最も直
線性の高い組を計算に使用するマーカとして選択する、
あるいは画像の下部（カメラに近い）から順に３点を選
択するなどの後処理が必要である。In this case, it is assumed that the position of the lower end point of the line segment in the image is used as a marker position in the camera parameter calculation. At this time, when three or more markers are extracted, an arbitrary set of three points is selected, the linearity is evaluated, and the set with the highest linearity is selected as a marker to be used for calculation.
Alternatively, post-processing such as selecting three points in order from the bottom of the image (close to the camera) is required.

【００９８】本実施形態の特徴は、ダムの側壁の特徴を
利用することが可能な点で、監視エリア設定のための特
別なマーカの設置が不要な点がメリットである。The feature of this embodiment is that the feature of the side wall of the dam can be used, and there is a merit that a special marker for setting a monitoring area is not required.

【００９９】（３）監視エリアの設定（その２） 図１１に示すように、水平面上に等間隔で直線上に設置
された３点のマーカを画像処理により検出し、カメラパ
ラメータ計算を行い、３点のマーカを結ぶ直線とこれと
一定間隔で平行な直線に囲まれた監視エリアを設定する
監視カメラの監視エリア設定方式において、設定した監
視エリアを入力した監視カメラの映像と共にモニタにオ
ーバレイ表示する。(3) Monitoring Area Setting (Part 2) As shown in FIG. 11, three markers installed on a horizontal plane at equal intervals on a straight line are detected by image processing, and camera parameters are calculated. In a surveillance area setting method for a surveillance camera, which sets a surveillance area surrounded by a straight line connecting three markers and a straight line parallel to the marker at a fixed interval, the set surveillance area is displayed on the monitor together with the image of the surveillance camera input. I do.

【０１００】本実施形態の特徴は、本装置が計算して設
定した監視エリアをオペレータが確認できる点である。
これにより、画像処理装置による自動監視と平行してオ
ペレータによる目視による監視が可能になる利点があ
る。The feature of the present embodiment is that the operator can confirm the monitoring area calculated and set by the present apparatus.
Thereby, there is an advantage that visual monitoring by an operator becomes possible in parallel with automatic monitoring by the image processing apparatus.

【０１０１】（４）監視エリアの設定（その３） 図１２に示すように、水平面上に等間隔で直線上に設置
された３点のマーカを画像処理により検出し、カメラパ
ラメータ計算を行い、３点のマーカを結ぶ直線とこれと
一定間隔で平行な一本または複数の直線を監視エリアと
して設定し、監視カメラの映像と共にモニタにオーバレ
イ表示する。(4) Setting of Monitoring Area (Part 3) As shown in FIG. 12, three markers installed on a horizontal plane at equal intervals on a straight line are detected by image processing, and camera parameters are calculated. A straight line connecting the three markers and one or a plurality of straight lines parallel to the marker at a fixed interval are set as a monitoring area, and are displayed on the monitor together with the video of the monitoring camera.

【０１０２】本実施形態の特徴は、監視エリアを領域で
なく直線で表現することである。これにより、道路の特
定車線の走行状況の監視、ダムサイトの上面の縁部分の
監視、工事現場の側溝の境界部分の監視などに適用可能
である。また、この直線をオペレータが確認できるの
で、画像処理装置による自動監視と平行してオペレータ
による目視による監視が可能になる利点がある。The feature of this embodiment is that the monitoring area is represented by a straight line instead of an area. As a result, the present invention can be applied to monitoring of a traveling state of a specific lane on a road, monitoring of an upper edge portion of a dam site, monitoring of a boundary portion of a gutter at a construction site, and the like. Further, since this straight line can be confirmed by the operator, there is an advantage that visual monitoring by the operator becomes possible in parallel with automatic monitoring by the image processing apparatus.

【０１０３】（５）監視エリアの設定（その４） 図１３に示すように、水平面上に等間隔で直線上に設置
された３点のマーカを画像処理により検出し、カメラパ
ラメータ計算を行い、３点のマーカを結ぶ直線とこれと
平行でモニタ上にマウスで指定された点を通る一本また
は複数の直線を監視エリアとして設定し、監視カメラの
映像と共にモニタにオーバレイ表示する。(5) Monitoring Area Setting (Part 4) As shown in FIG. 13, three markers installed on a horizontal plane at equal intervals on a straight line are detected by image processing, and camera parameters are calculated. A straight line connecting the three markers and one or more straight lines parallel to the marker and passing through a point designated by the mouse on the monitor are set as a monitoring area, and are displayed on the monitor together with the video of the monitoring camera.

【０１０４】いま、カメラ映像中にある３点ｍ１（ｕ
１，ｖ１）、ｍ２（ｕ２，ｖ２）、ｍ３（ｕ３，ｖ３）
が水平面上のＭ１（Ｘ１，Ｙ１，Ｚ１）、Ｍ２（Ｘ２，
Ｙ２，Ｚ２）、Ｍ３（Ｘ３，Ｙ３，Ｚ３）に対応し、こ
れらが等間隔で直線上にあるときに、画像中の点ｍｐ
（ｕｐ，ｖｐ）が水平面上の点Ｍｐ（Ｘｐ，Ｙｐ，Ｚ
ｐ）に対応し、Ｍｐを通り水平面上でＭ１−Ｍ２に平行
な直線上にある別の点Ｍｑ（Ｘｑ，Ｙｑ，Ｚｑ）の画像
中の点をｍｑ（ｕｑ，ｖｑ）とすると、Ｍ１−Ｍ２とＭ
ｐ−Ｍｑが平行なので、Now, three points m1 (u
1, v1), m2 (u2, v2), m3 (u3, v3)
Are M1 (X1, Y1, Z1) and M2 (X2,
Y2, Z2) and M3 (X3, Y3, Z3), and when these are on a straight line at equal intervals, the point mp in the image
(Up, vp) is a point Mp (Xp, Yp, Z) on the horizontal plane
p), the point in the image of another point Mq (Xq, Yq, Zq) on a straight line parallel to M1-M2 on the horizontal plane passing through Mp is represented by mq (uq, vq). M2 and M
Since p-Mq is parallel,

【０１０５】[0105]

【数１６】 (Equation 16)

【０１０６】である。ここで、Ｍ１とＭｑのＺが等しい
とすると、Is as follows. Here, if Z of M1 and Mq are equal,

【０１０７】[0107]

【数１７】 [Equation 17]

【０１０８】なので、（１９）式にこれを代入し、さら
に（９）（１０）式を代入して整理すると、Therefore, by substituting this into equation (19) and further substituting equations (9) and (10),

【０１０９】[0109]

【数１８】 (Equation 18)

【０１１０】さらに整理して（１７）式をｖｑについて
解くと、By further rearranging equation (17) for vq,

【０１１１】[0111]

【数１９】 [Equation 19]

【０１１２】となる。（２２）式は、画像中にｍｐ（ｕ
ｐ，ｖｐ）が指定されたときにｕｐ，ｖｐからｍｑ（ｕ
１，ｖｐ）を計算する式であり、画像中でｍｐとｍｑを
結べばこの直線は水平面上でＭ１−Ｍ２に平行なＭｐ−
Ｍｑとなる。Is obtained. Equation (22) expresses mp (u) in the image.
When p, vp) is specified, mq (u
1, vp), and if mp and mq are connected in the image, this straight line becomes Mp− parallel to M1-M2 on the horizontal plane.
Mq.

【０１１３】本実施形態の特徴は、監視エリアの設定を
平行線の間隔を設定することで行う替わりに、監視カメ
ラの映像中の点をマウスで指定することで行うことであ
る。これにより、実際の監視エリアの間隔が不明な場合
にも監視カメラの映像で指定する点を通る平行線として
監視エリアを設定することが可能である。A feature of the present embodiment is that the monitoring area is set by specifying a point in the video of the surveillance camera with a mouse instead of setting the interval between parallel lines. Thus, even when the actual interval between the monitoring areas is unknown, it is possible to set the monitoring area as a parallel line passing through a point specified by the video of the monitoring camera.

【０１１４】（６）監視エリアの設定（その５） 水平面上に等間隔で直線上に設置された３点のマーカを
画像処理により検出し、カメラパラメータ計算を行い、
３点のマーカを結ぶ直線とこれと一定間隔で平行な一本
または複数の直線またはこれらにより囲まれるエリアを
監視エリアとして設定し、監視カメラの映像と共にモニ
タにオーバレイ表示する監視カメラの監視エリア設定方
式において、表示する監視エリアまたは平行な直線をオ
ペレータの操作指示に基づき保持する。(6) Monitoring area setting (part 5) Three markers installed on a horizontal plane at equal intervals on a straight line are detected by image processing, and camera parameters are calculated.
A surveillance camera surveillance area setting in which a straight line connecting the three markers and one or more straight lines parallel to the marker at a certain interval or an area surrounded by the straight lines is set as a surveillance area, and the surveillance camera displays an image of the surveillance camera as an overlay. In the method, a monitoring area to be displayed or a parallel straight line is held based on an operation instruction from an operator.

【０１１５】本実施形態の特徴は、監視カメラの雲台を
操作して３点のマーカが映る雲台位置を決定したあと
に、カメラを移動させないことを前提条件として、一度
計算した監視エリアを保持するものである。これによ
り、監視エリアの設定後に何らかの理由でマーカが隠れ
たり移動しても同一の監視エリアを使用することが可能
になる。現場の状況の変化や人の移動などによりマーカ
が隠れたり移動したりする可能性のある、建物の出入り
口や工事現場の監視のときに効果がある。The feature of this embodiment is that, after operating the camera platform of the surveillance camera to determine the camera platform position where the three markers are reflected, the surveillance area calculated once is premised on not moving the camera. To keep. This makes it possible to use the same monitoring area even if the marker is hidden or moved for some reason after the setting of the monitoring area. This is effective when monitoring a doorway of a building or a construction site where the marker may be hidden or moved due to a change in the situation of the site or movement of a person.

【０１１６】（７）監視エリアの設定（その６） 図１４に示すように、監視カメラの映像を表示したモニ
タ上にオペレータがマウス操作で３点をマーカ位置を指
定し、この３点のマーカを使用してカメラパラメータ計
算を行い、３点のマーカを結ぶ直線とこれと一定間隔で
平行な直線に囲まれた監視エリア、または３点のマーカ
を結ぶ直線とこれと一定間隔で平行な一本または複数の
直線を設定またはモニタ表示する。(7) Setting Monitoring Area (Part 6) As shown in FIG. 14, the operator designates three marker positions on the monitor displaying the video of the monitoring camera by operating the mouse, and the three marker positions are set. Is used to calculate the camera parameters, and a monitoring area surrounded by a straight line connecting three markers and a straight line parallel to this at a fixed interval, or a straight line connecting three markers and one parallel to this at a certain interval Set or monitor a book or multiple straight lines.

【０１１７】本実施形態の特徴は、３点のマーカを画像
処理により検出する替わりに、監視カメラの映像中の３
点をオペレータがマウスで指定することである。マウス
で指定するマーカの位置はタイルの目地や橋の欄干な
ど、一定間隔であることが保証されているものであるこ
とが条件である。これにより、画像処理により検出すべ
きマーカがない場合、マーカが検出しにくい場合、専用
のマーカを設置できない場合にも監視エリアを設定する
ことが可能となる。A feature of this embodiment is that instead of detecting three markers by image processing, three markers in the video
The point is specified by the operator with the mouse. The position of the marker specified by the mouse must be a position that is guaranteed to be at a constant interval, such as a joint of a tile or a balustrade of a bridge. This makes it possible to set a monitoring area even when there is no marker to be detected by image processing, when the marker is difficult to detect, or when a dedicated marker cannot be installed.

【０１１８】（８）カメラ仰角を使用した監視エリアの
設定（その１） カメラ仰角θが既知であれば水平面上に等間隔に設置さ
れたマーカの間隔ｄの一定倍の距離比ｄを間隔とする平
行線を決定することができる。そこで、監視エリアの設
定方式として、監視カメラの仰角θを何らかの方法で監
視エリア設定部に入力する手段を備え、仰角θを使用し
て、監視対象の水平面上であらかじめ設定された間隔の
平行線またはこれらの囲まれた領域を監視エリアとして
設定する。(8) Setting of Monitoring Area Using Camera Elevation Angle (Part 1) If the camera elevation angle θ is known, the distance ratio d that is a fixed multiple of the distance d between the markers placed at equal intervals on the horizontal plane is defined as the distance. Can be determined. Therefore, as a method of setting the surveillance area, there is provided a means for inputting the elevation angle θ of the surveillance camera to the surveillance area setting unit by some method, and using the elevation angle θ, parallel lines at predetermined intervals on the horizontal plane to be monitored Alternatively, these enclosed areas are set as monitoring areas.

【０１１９】いま、カメラ映像中にある２点ｍ１（ｕ
１，ｖ１）、ｍ２（ｕ２，ｖ２）が水平面上のＭ１（Ｘ
１，Ｙ１，Ｚ１）、Ｍ２（Ｘ２，Ｙ２，Ｚ２）に対応
し、Ｍ１とＭ２の距離がｄであるとき、水平面上でＭ１
を通り直線Ｍ１−Ｍ２と垂直な直線上にあり、Ｍ１から
の距離がｋｄ（ｋは一定値）である点をＭｒ（Ｘｒ，Ｙ
ｒ，Ｚｒ）、Ｍｒの画像中の点をｍｒ（ｕｒ，ｖｒ）と
すると、Now, two points m1 (u
1, v1) and m2 (u2, v2) are M1 (X
1, Y1, Z1) and M2 (X2, Y2, Z2), and when the distance between M1 and M2 is d, M1 on the horizontal plane
And a point on the straight line perpendicular to the straight line M1-M2 and whose distance from M1 is kd (k is a constant value) is defined as Mr (Xr, Y
r, Zr), and Mr in the image of Mr, as mr (ur, vr),

【０１２０】[0120]

【数２０】 (Equation 20)

【０１２１】である。これらに（９）（１０）式を代入
して整理すると、Is as follows. Substituting equations (9) and (10) into these, and rearranging,

【０１２２】[0122]

【数２１】 (Equation 21)

【０１２３】さらに整理して（１７）式をｖｑについて
解くと、By further rearranging equation (17) with respect to vq,

【０１２４】[0124]

【数２２】 (Equation 22)

【０１２５】ここでHere,

【０１２６】[0126]

【数２３】 (Equation 23)

【０１２７】である。（２７）、（２８）式により画像
中の点ｍｐ（ｕｐ，ｖｐ）が決定し、（２２）式を使用
して、水平面上でＭ１−Ｍ２に平行で距離がｋｄである
直線を画像中に描画することができる。つまり、カメラ
仰角θが既知であれば、監視対象水平面上でＭ１−Ｍ２
に平行で距離がｋｄで奉る直線を画像中に描画すること
ができる。Is as follows. A point mp (up, vp) in the image is determined by the equations (27) and (28), and a straight line parallel to M1-M2 on the horizontal plane and having a distance of kd is determined in the image using the equation (22). Can be drawn. In other words, if the camera elevation angle θ is known, M1-M2 on the monitoring target horizontal plane
Can be drawn in the image.

【０１２８】本実施形態の特徴は、カメラ仰角を何らか
の手段で知ることにより監視エリアの平行線の間隔を実
際の距離、またはマーカの間隔との比ｋで設定できるこ
とである。つまり、監視エリアの設定が、実平面上の間
隔を指定することで行われることであり、これにより、
マーカの間隔が正確であればこの間隔を基準とした正確
な監視エリアを実際の寸法で設定可能である。A feature of this embodiment is that the interval between parallel lines of the monitoring area can be set by the actual distance or the ratio k to the marker interval by knowing the camera elevation angle by some means. That is, the setting of the monitoring area is performed by specifying the interval on the real plane,
If the interval between the markers is accurate, an accurate monitoring area based on this interval can be set with actual dimensions.

【０１２９】オペレータによる監視エリアの設定が実平
面上の間隔を指定することで行われるので、複数のカメ
ラに対して同一の間隔で監視エリアを設定する場合はパ
ラメータの設定を一括して行うことが可能であり、カメ
ラ毎に個別に設定する必要がないため作業が簡便であ
る。また、カメラやレンズを交換したあとの調整が不要
である。Since the setting of the monitoring area by the operator is performed by specifying the interval on the real plane, when setting the monitoring area at the same interval for a plurality of cameras, the parameters must be set collectively. The operation is simple because there is no need to set individually for each camera. Further, adjustment after replacing the camera or lens is unnecessary.

【０１３０】（９）カメラ仰角を使用した監視エリアの
設定（その２） 前記の（８）の方式において、カメラ仰角θの設定は、
監視カメラの雲台の上下振り機構にカメラ仰角θを計測
するセンサを設置し、カメラ仰角の計測値を監視エリア
設定部に入力し、監視エリア入力部でカメラ仰角のデー
タをθとして使用し、監視対象の水平面上であらかじめ
設定された間隔の平行線またはこれらの囲まれた領域を
監視エリアとする。(9) Setting of Monitoring Area Using Camera Elevation Angle (Part 2) In the method of (8), the camera elevation angle θ is set as follows.
A sensor that measures the camera elevation angle θ is installed in the vertical movement mechanism of the head of the surveillance camera, the measured value of the camera elevation angle is input to the monitoring area setting unit, and the data of the camera elevation angle is used as θ in the monitoring area input unit, The monitoring area is a parallel line at a preset interval on the horizontal plane to be monitored or a region surrounded by these parallel lines.

【０１３１】本実施形態の特徴は、カメラ仰角をセンサ
により取得することにより監視エリアの平行線の間隔を
実際の距離、またはマーカの間隔との比ｋで設定できる
ことで監視エリアの設定を平行線の間隔を設定すること
で行う替わりに、監視カメラの映像中の点をマウスで指
定することで行うことである。これにより、マーカの間
隔が正確であればこの間隔を基準とした正確な監視エリ
アを実際の寸法で設定可能である。さらに、カメラ仰角
の計測と使用が自動的に行われるので、連続的な自動監
視が可能となる。The feature of the present embodiment is that the interval between parallel lines of the monitoring area can be set by an actual distance or the ratio k to the interval between markers by acquiring the camera elevation angle by a sensor. Instead of setting by setting the interval, the point in the video of the surveillance camera is specified by a mouse. Thus, if the interval between the markers is accurate, an accurate monitoring area based on the interval can be set with an actual size. Furthermore, since the measurement and use of the camera elevation angle are performed automatically, continuous automatic monitoring is possible.

【０１３２】（１０）カメラ仰角を固定した監視エリア
の設定（その３） 前記の（２７）（２８）式と（２２）式を使用すれば、
カメラ仰角すなわちｓｉｎθが一定であれば他のパラメ
ータが変化しても水平面上で間隔がｋｄである平行線の
画像中の２点を計算することができる。つまり、水平面
上に等間隔で直線上に設置された３点のマーカを画像処
理により検出し、カメラパラメータ計算を行い、３点の
マーカを結ぶ直線とこれと間隔がｋｄで平行な直線に囲
まれた監視エリアを設定することができる。(10) Setting of Monitoring Area with Fixed Camera Elevation Angle (Part 3) Using the above equations (27), (28) and (22),
If the camera elevation angle, ie, sin θ, is constant, it is possible to calculate two points in the image of a parallel line having an interval of kd on the horizontal plane even if other parameters change. In other words, three markers installed on a straight line at equal intervals on a horizontal plane are detected by image processing, camera parameter calculation is performed, and a straight line connecting the three markers and a straight line parallel to this with kd is set. Monitoring area can be set.

【０１３３】そこで、θを固定したままで監視エリアを
設定する。つまり、前記の（１）において、カメラ仰角
を動作させず、パン動作およびズーム動作を行う監視カ
メラにおいて、水平面上に等間隔で直線上に設置された
３点のマーカを画像処理により検出し、カメラパラメー
タ計算を行い、３点のマーカを結ぶ直線とこれと指定さ
れた間隔で平行な直線に囲まれた監視エリアを設定す
る。Therefore, a monitoring area is set while θ is fixed. That is, in the above (1), in the surveillance camera performing the panning operation and the zooming operation without operating the camera elevation angle, three markers installed on a horizontal plane at equal intervals on a straight line are detected by image processing, The camera parameters are calculated, and a monitoring area surrounded by a straight line connecting the three markers and a straight line parallel to the straight line at a specified interval is set.

【０１３４】本実施形態の特徴は、カメラ仰角を固定す
る替わりに、監視エリアの設定を実際の寸法で指定でき
る点である。これにより、マーカの間隔が正確であれば
この間隔を基準とした正確な監視エリアを実際の寸法で
設定可能である。さらに、カメラ仰角の設定や計測が不
要である利点がある。The feature of this embodiment is that the setting of the monitoring area can be designated by the actual dimensions instead of fixing the camera elevation angle. Thus, if the interval between the markers is accurate, an accurate monitoring area based on the interval can be set with an actual size. Further, there is an advantage that setting and measurement of the camera elevation angle are not required.

【０１３５】[0135]

【発明の効果】（１）従来は監視エリアの設定はオペレ
ータが映像中の位置を指定して行っており、現場におけ
る監視エリアの絶対値を設定できなかったが、本発明に
よれば、マーカの間隔をもとにカメラパラメータを計算
するので平行線で構成する監視エリアの幅を現場におけ
る絶対値で設定可能である。例えば、ホームの縁から５
０ｃｍ以内の範囲を監視エリアとして設定可能である。(1) Conventionally, a monitoring area is set by an operator by specifying a position in an image, and an absolute value of a monitoring area at a site cannot be set. However, according to the present invention, a marker is set. Since the camera parameters are calculated based on the interval, the width of the monitoring area composed of parallel lines can be set by the absolute value at the site. For example, 5 from the edge of the home
A range within 0 cm can be set as the monitoring area.

【０１３６】（２）従来は監視エリアの設定はオペレー
タが映像中の位置を指定して行っており、監視カメラが
複数設置されているときは個々の監視カメラ毎に個別に
監視エリアを設定する必要があったが、本発明によれ
ば、複数のカメラで同一の間隔の監視エリアを設定する
場合はパラメータの設定を一括して行うことが可能であ
る。これにより監視エリア設定の煩雑さが解消される。
例えば、ホームに沿って設置された複数の監視カメラの
監視エリアをホームの縁から５０ｃｍ以内の範囲とする
場合は、監視エリアを一括して設定可能である。(2) Conventionally, the monitoring area is set by the operator by specifying the position in the video. When a plurality of monitoring cameras are installed, the monitoring area is individually set for each monitoring camera. Although it was necessary, according to the present invention, when setting monitoring areas at the same interval by a plurality of cameras, it is possible to collectively set parameters. This eliminates the complexity of setting the monitoring area.
For example, when the monitoring area of a plurality of monitoring cameras installed along the home is set to be within 50 cm from the edge of the home, the monitoring area can be set collectively.

【０１３７】（３）従来はパンチ・チルト・ズーム操作
を行う監視カメラについては画像処理による自動監視が
できなかった。理由は監視カメラの映像範囲が変化する
ことにより監視エリアが変わるのでこれを設定すること
ができなかったからであるが、本発明によれば水平面上
に直線的に等間隔で設置されたマーカを検出してこれを
基準とした平行直線を計算することにより監視エリアの
計算が可能であるので、パン・チルト・ズーム動作を行
う監視カメラを使用した画像処理による自動監視が可能
である。(3) Conventionally, a surveillance camera that performs punch, tilt, and zoom operations cannot perform automatic monitoring by image processing. The reason is that the monitoring area cannot be set because the monitoring area changes due to a change in the image range of the monitoring camera, but according to the present invention, markers installed linearly at equal intervals on a horizontal plane are detected. Since the surveillance area can be calculated by calculating a parallel straight line based on this, automatic surveillance by image processing using a surveillance camera that performs a pan, tilt, and zoom operation is possible.

【０１３８】（４）本発明では、特定の色を抽出するこ
とでマーカの検出を行うことにより、ペンキを使用する
ことができるため、安価に容易に監視カメラの監視エリ
アの設定が可能である。背景と区別しやすい色を選択す
ることで信頼性の高いマーカ検出が可能となる。(4) In the present invention, since the paint can be used by detecting the marker by extracting a specific color, the surveillance area of the surveillance camera can be easily set at low cost. . By selecting a color that is easily distinguishable from the background, highly reliable marker detection becomes possible.

【０１３９】（５）本発明では、特定の形状を抽出する
ことでマーカの検出を行うことにより、安価に容易に監
視カメラの監視エリアの設定が可能である。上記の特定
の色を使用する場合と異なり復旧が容易である利点があ
る。(5) In the present invention, by detecting a marker by extracting a specific shape, it is possible to easily and inexpensively set a monitoring area of a monitoring camera. There is an advantage that recovery is easy unlike the case where the above specific color is used.

【０１４０】（６）本発明では、特定の色と形状を抽出
することでマーカの検出を行うことにより、安価に容易
に監視カメラの監視エリアの設定が可能である。通常の
工事現場で使用されるパイロンや棒を使用することが可
能なので、準備の費用が不用で現場でも注意を促すこと
ができる、 （７）本発明では、道路の監視において白線を抽出する
ことでマーカの検出を行うことにより、監視エリアの設
定のための特別なマーカの設置が不要である。(6) According to the present invention, by detecting a marker by extracting a specific color and shape, the surveillance area of the surveillance camera can be easily set at low cost. Since it is possible to use a pylon or a stick used in a normal construction site, preparation costs are unnecessary and attention can be given to the site. (7) In the present invention, white lines are extracted in road monitoring. By performing the marker detection, it is not necessary to install a special marker for setting the monitoring area.

【０１４１】（８）本発明では、ダム壁面の縦方向の突
起と貯水部の水面との交点を抽出することでマーカの検
出を行うことにより、監視エリアの設定のための特別な
マーカの設置が不要である。(8) According to the present invention, a marker is detected by extracting an intersection between a vertical protrusion on a dam wall surface and a water surface of a water storage portion, thereby setting a special marker for setting a monitoring area. Is unnecessary.

【０１４２】（９）本発明では、計算して設定した映像
監視エリアを入力した監視カメラの映像と共にモニタに
オーバレイ表示することにより監視エリアをオペレータ
が確認できる利点がある。これにより、画像処理装置に
よる自動監視と平行してオペレータによる目視による監
視が可能になる。(9) The present invention has an advantage that the operator can confirm the surveillance area by displaying the computed and set surveillance area on the monitor together with the input image of the surveillance camera. This enables visual monitoring by an operator in parallel with automatic monitoring by the image processing apparatus.

【０１４３】（１０）本発明では、３点のマーカを結ぶ
直線とこれと一定間隔で平行な一本または複数の直線を
監視エリアとして設定し、監視カメラの映像と共にモニ
タにオーバレイ表示し、監視エリアを領域でなく直線で
表現するので、道路の特定車線の走行状況の監視、ダム
サイトの上面の縁部分の監視、工事現場の側溝の境界部
分の監視などに適用可能である。また、この直線をオペ
レータが確認できるので、画像処理装置による自動監視
と平行してオペレータによる目視による監視が可能であ
る。(10) In the present invention, a straight line connecting three markers and one or more straight lines parallel to the three markers at a predetermined interval are set as a monitoring area, and are displayed on the monitor as an overlay together with the video of the monitoring camera. Since the area is represented by a straight line instead of a region, the present invention can be applied to monitoring of the traveling state of a specific lane on a road, monitoring of an upper edge of a dam site, monitoring of a boundary of a gutter at a construction site, and the like. Further, since this straight line can be confirmed by the operator, visual monitoring by the operator is possible in parallel with automatic monitoring by the image processing device.

【０１４４】（１１）本発明では、３点のマーカを結ぶ
直線とこれと平行でモニタ上にマウスで指定された点を
通る一本または複数の直線を監視エリアとして設定し、
監視カメラの映像と共にモニタにオーバレイ表示するこ
とにより、実際の監視エリアの間隔が不明な場合にも監
視カメラの映像で指定する点を通る平行線として監視エ
リアを設定することが可能である。(11) In the present invention, a line connecting three markers and one or a plurality of lines parallel to the marker and passing through a point designated by a mouse on a monitor are set as monitoring areas.
By displaying an overlay on the monitor together with the video of the surveillance camera, it is possible to set the surveillance area as a parallel line passing through a point specified by the video of the surveillance camera even when the actual interval between the monitoring areas is unknown.

【０１４５】（１２）本発明では、監視カメラの雲台を
操作して３点のマーカが映る雲台位置を決定したあと
に、一度計算した監視エリアを保持することにより、監
視エリアの設定後に何らかの理由でマーカが隠れたり移
動しても同一の監視エリアを使用することが可能にな
る。現場の状況の変化や人の移動などによりマーカが隠
れたり移動したりする可能性のある、建物の出入り口や
工事現場の監視のときに効果がある。(12) In the present invention, after the camera platform of the surveillance camera is operated to determine the camera platform position at which the three markers are reflected, the monitoring area once calculated is retained, so that after the monitoring area is set, Even if the marker is hidden or moved for some reason, the same monitoring area can be used. This is effective when monitoring a doorway of a building or a construction site where the marker may be hidden or moved due to a change in the situation of the site or movement of a person.

【０１４６】（１３）本発明では、３点のマーカを画像
処理により検出する替わりに、監視カメラの映像中の３
点をオペレータがマウスで指定することにより、画像処
理により検出すべきマーカがない場合、マーカが検出し
にくい場合、専用のマーカを設置できない場合にも監視
エリアを設定することが可能となる。(13) In the present invention, instead of detecting three markers by image processing, three markers in the video of the monitoring camera are used.
By specifying points with a mouse, a monitoring area can be set even when there is no marker to be detected by image processing, when a marker is difficult to detect, or when a dedicated marker cannot be installed.

【０１４７】（１４）本発明では、カメラ仰角を何らか
の手段で入力することにより、マーカの間隔が正確であ
ればこの間隔を基準とした正確な監視エリアを実際の寸
法で設定可能である。オペレータによる監視エリアの設
定が実平面上の間隔を指定することで行われるので、複
数のカメラに対して同一の間隔で監視エリアを設定する
場合はパラメータの設定を一括して行うことが可能であ
り、カメラごとに個別に設定する必要がないため作業が
簡便である。また、カメラやレンズを交換したあとの調
整が不要である。(14) In the present invention, by inputting the camera elevation angle by any means, if the interval between markers is accurate, an accurate monitoring area based on this interval can be set with an actual size. Since the setting of the monitoring area by the operator is performed by specifying the interval on the real plane, when setting the monitoring area at the same interval for multiple cameras, it is possible to set the parameters collectively Since there is no need to set each camera individually, the operation is simple. Further, adjustment after replacing the camera or lens is unnecessary.

【０１４８】（１５）本発明では、カメラ仰角をセンサ
により取得することにより、マーカの間隔が正確であれ
ばこの間隔を基準とした正確な監視エリアを実際の寸法
で設定可能である。さらに、カメラ仰角の計測と使用が
自動的に行われるので、連続的な自動監視が可能とな
る。(15) In the present invention, by acquiring the camera elevation angle by the sensor, if the interval between the markers is accurate, an accurate monitoring area based on this interval can be set with the actual dimensions. Furthermore, since the measurement and use of the camera elevation angle are performed automatically, continuous automatic monitoring is possible.

【０１４９】（１６）本発明では、カメラ仰角を固定と
することにより、監視エリアの設定を実際の寸法で指定
できる。マーカの間隔が正確であればこの間隔を基準と
した正確な監視エリアを実際の寸法で設定可能である。
さらに、カメラ仰角の設定や計測が不要である利点があ
る。(16) In the present invention, by setting the camera elevation angle to be fixed, the setting of the monitoring area can be designated by the actual dimensions. If the interval between the markers is accurate, an accurate monitoring area based on this interval can be set with actual dimensions.
Further, there is an advantage that setting and measurement of the camera elevation angle are not required.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施形態を示す監視エリア設定装置の
構成図。FIG. 1 is a configuration diagram of a monitoring area setting device according to an embodiment of the present invention.

【図２】空間座標系とカメラ座標系の関係図。FIG. 2 is a relationship diagram between a space coordinate system and a camera coordinate system.

【図３】監視カメラのカメラパラメータの説明図。FIG. 3 is an explanatory diagram of camera parameters of a monitoring camera.

【図４】３点のマーカ映像と平行線の表示例。FIG. 4 is a display example of three marker images and parallel lines.

【図５】色抽出によるマーカ検出の例。FIG. 5 is an example of marker detection by color extraction.

【図６】形状抽出によるマーカ検出の例。FIG. 6 is an example of marker detection by shape extraction.

【図７】パイロンをマーカに使用した例。FIG. 7 shows an example in which a pylon is used as a marker.

【図８】棒をマーカに使用した例。FIG. 8 shows an example in which a bar is used as a marker.

【図９】道路の映像における白線の例。FIG. 9 is an example of a white line in a road image.

【図１０】ダムサイトにおける突起部の例。FIG. 10 is an example of a projection at a dam site.

【図１１】設定された領域の監視エリア表示例。FIG. 11 is a monitoring area display example of a set area.

【図１２】設定された平行線の監視エリア表示例。FIG. 12 is a display example of a monitoring area of a set parallel line.

【図１３】平行線の位置をモニタ上でマウスで設定した
例。FIG. 13 shows an example in which the position of a parallel line is set with a mouse on a monitor.

【図１４】マーカの位置をモニタ上でマウスで設定した
例。FIG. 14 is an example in which the position of a marker is set on a monitor with a mouse.

【図１５】通用門の映像と監視エリアの例。FIG. 15 is an example of an image of a gate and a monitoring area.

【図１６】道路の映像と追い越し車線の監視エリアの
例。FIG. 16 is an example of a road image and a surveillance area of a passing lane.

【符号の説明】[Explanation of symbols]

１…映像入力部 ２…画像処理部 ３…カメラパラメータ ４…監視エリア設定部 ５…雲台・ズーム機構 ６…監視カメラ DESCRIPTION OF SYMBOLS 1 ... Video input part 2 ... Image processing part 3 ... Camera parameter 4 ... Surveillance area setting part 5 ... Head / zoom mechanism 6 ... Surveillance camera

Claims (14)

【特許請求の範囲】[Claims] 【請求項１】 監視カメラで撮影した映像中の特定の監
視エリアの状況を連続的に自動監視する映像監視システ
ムにおいて、 前記監視カメラの映像を入力する映像入力部と、前記映
像入力部からの映像を画像処理して監視対象の水平面上
の３点のマーカを検出する画像処理部と、前記３点のマ
ーカが水平面上で等間隔に設置されていることを利用し
てカメラパラメータ計算を行うカメラパラメータ計算部
と、前記計算されたカメラパラメータを使用して３点の
マーカを結ぶ直線とこれと一定間隔で平行な直線に囲ま
れた範囲を監視エリアとして設定する監視エリア設定部
とを備えたことを特徴とする映像監視システム。1. A video surveillance system for continuously and automatically monitoring the status of a specific surveillance area in a video shot by a surveillance camera, comprising: a video input unit for inputting a video of the surveillance camera; An image processing unit that performs image processing on a video to detect three markers on a horizontal plane to be monitored, and performs camera parameter calculation using the fact that the three markers are arranged at equal intervals on the horizontal plane. A camera parameter calculation unit; and a monitoring area setting unit configured to set a range surrounded by a straight line connecting the three markers and a straight line parallel to the three markers at a predetermined interval as a monitoring area using the calculated camera parameters. A video surveillance system characterized by the following. 【請求項２】 前記画像処理部は、入力画像の各画素ご
とにＲＧＢの３成分に分離し、ＲＧＢの各輝度が一定範
囲内の画素を抽出してラベリング処理を行い、一定の面
積を持つ範囲をマーカとして検出し、検出したマーカの
画像中の重心位置を計算してマーカの位置として検出す
る手段、 あらかじめマーカの形状モデルを登録しておき、監視カ
メラの映像を入力して映像中にその形状のパターンを検
索し、同一形状のパターンをマーカとして検出し、マッ
チングのとれた形状モデルの中心位置をマーカの位置と
して検出する手段、 あらかじめマーカの形状モデルと色情報を登録してお
き、監視カメラの映像を入力して映像中にその形状のパ
ターンを検索し、あわせて色抽出処理を行い、同一形状
で同一色の部分をマーカとして検出し、マーカの中心位
置をマーカの位置として検出する手段、 監視カメラの映像中のエッジ抽出を行い、エッジ点列の
直線成分を抽出し、一定の幅で一定の長さの平行線を道
路上の白線として検出し、検出した白線の端点の画像中
の位置をマーカの位置として検出する手段、 監視カメラの映像を入力して縦方向のエッジ抽出とこれ
に基づく特徴抽出を行い、縦方向の線分を抽出したあと
に線分の下側端点を検出しこれをマーカとして検出し、
線分の下端点の画像中の位置をマーカの位置として検出
する手段、のいずれか１つの手段を備えたことを特徴と
する請求項１に記載の映像監視システム。2. The image processing section separates each pixel of an input image into three components of RGB, extracts pixels in which each luminance of RGB is within a certain range, performs a labeling process, and has a certain area. Means for detecting the range as a marker, calculating the position of the center of gravity in the image of the detected marker and detecting the position as the marker, registering the shape model of the marker in advance, inputting the image of the monitoring camera, and Means for searching the pattern of the shape, detecting the pattern of the same shape as a marker, detecting the center position of the matched shape model as the position of the marker, registering the shape model of the marker and color information in advance, The video of the surveillance camera is input, the pattern of the shape is searched for in the video, color extraction processing is also performed, and a portion of the same shape and the same color is detected as a marker. A means for detecting the center position as a marker position, extracting edges in the video of the surveillance camera, extracting the linear components of the edge point sequence, and detecting parallel lines of a fixed width and a fixed length as white lines on the road Means for detecting the position of the end point of the detected white line in the image as the position of the marker; inputting the video of the surveillance camera and extracting vertical edges and extracting features based on the input to extract vertical line segments After that, the lower end point of the line segment is detected, and this is detected as a marker.
2. The video surveillance system according to claim 1, further comprising: means for detecting the position of the lower end point of the line segment in the image as the position of the marker. 【請求項３】 前記監視エリア設定部は、 前記３点のマーカを結ぶ直線とこれと一定間隔で平行な
一本または複数の直線を監視エリアとして設定する手
段、 ３点のマーカを結ぶ直線とこれと平行でモニタ上にマウ
スで指定された点を通る一本または複数の直線を監視エ
リアとして設定する手段、のいずれか１つの手段を備え
たことを特徴とする請求項１または２に記載の映像監視
システム。3. A monitoring area setting unit, comprising: a straight line connecting the three markers and one or more straight lines parallel to the three markers at a predetermined interval as a monitoring area; and a straight line connecting the three markers. 3. A means for setting, as a monitoring area, one or a plurality of straight lines passing through a point designated by a mouse on a monitor in parallel with the above-mentioned means. Video surveillance system. 【請求項４】 前記監視エリアは、入力した監視カメラ
の映像と共にモニタにオーバレイ表示する監視映像表示
手段を備えたことを特徴とする請求項１〜３のいずれか
１に記載の映像監視システム。4. The video surveillance system according to claim 1, wherein the surveillance area includes surveillance video display means for displaying an input video of the surveillance camera on a monitor. 【請求項５】 前記監視映像表示手段は、表示する監視
エリアまたは平行な直線をオペレータの操作指示に基づ
き保持する手段を備えたことを特徴とする請求項１〜４
のいずれか１に記載の映像監視システム。5. The surveillance video display means includes means for holding a surveillance area to be displayed or a parallel straight line based on an operation instruction of an operator.
The video surveillance system according to any one of the above. 【請求項６】 前記監視映像表示手段は、監視カメラの
映像を表示したモニタ上でオペレータにより指定された
３点を使用してカメラパラメータ計算を行い、３点を結
ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エ
リア、または３点を結ぶ直線とこれと一定間隔で平行な
一本または複数の直線を設定またはモニタ表示する手段
を備えたことを特徴とする請求項１〜５のいずれか１に
記載の映像監視システム。6. The surveillance video display means calculates camera parameters using three points specified by an operator on a monitor displaying the video of the surveillance camera, and calculates a straight line connecting the three points and a straight line connecting the three points. 6. A monitoring area surrounded by parallel straight lines, or a straight line connecting three points and means for setting or displaying one or more straight lines parallel to the straight line at a predetermined interval. The video surveillance system according to any one of the above. 【請求項７】 前記監視エリア設定部は、前記監視カメ
ラの仰角を入力設定、またはセンサで計測、もしくは固
定とし、これをもとに前記３点のマーカを結ぶ直線と、
これに水平面上で平行で指定された間隔の一本または複
数の直線を計算して監視エリアとして設定することを特
徴とする請求項１〜６のいずれか１に記載の映像監視シ
ステム。7. The surveillance area setting unit inputs and sets an elevation angle of the surveillance camera, or measures or fixes the elevation angle with a sensor, and based on this, a straight line connecting the three markers,
The video surveillance system according to any one of claims 1 to 6, wherein one or a plurality of straight lines which are specified in parallel on a horizontal plane are calculated and set as a monitoring area. 【請求項８】 監視カメラで撮影した映像中の特定の監
視エリアの状況を連続的に自動監視する映像監視方法に
おいて、 前記監視カメラの映像を入力し、この映像を画像処理し
て監視対象の水平面上の３点のマーカを検出し、前記３
点のマーカが水平面上で等間隔に設置されていることを
利用してカメラパラメータ計算を行い、このカメラパラ
メータを使用して３点のマーカを結ぶ直線とこれと一定
間隔で平行な直線に囲まれた範囲を監視エリアとして設
定することを特徴とする映像監視方法。8. A video monitoring method for continuously and automatically monitoring the status of a specific monitoring area in a video captured by a monitoring camera, comprising: inputting a video of the monitoring camera; The three markers on the horizontal plane are detected,
Camera parameters are calculated by using the fact that point markers are placed at equal intervals on the horizontal plane, and the camera parameters are used to enclose a straight line connecting the three markers and a straight line parallel to this at a fixed interval. A video surveillance method characterized by setting a designated area as a surveillance area. 【請求項９】 前記３点のマーカは、 入力画像の各画素ごとにＲＧＢの３成分に分離し、ＲＧ
Ｂの各輝度が一定範囲内の画素を抽出してラベリング処
理を行い、一定の面積を持つ範囲をマーカとして検出
し、検出したマーカの画像中の重心位置を計算してマー
カの位置として検出する方法、 あらかじめマーカの形状モデルを登録しておき、監視カ
メラの映像を入力して映像中にその形状のパターンを検
索し、同一形状のパターンをマーカとして検出し、マッ
チングのとれた形状モデルの中心位置をマーカの位置と
して検出する方法、 あらかじめマーカの形状モデルと色情報を登録してお
き、監視カメラの映像を入力して映像中にその形状のパ
ターンを検索し、あわせて色抽出処理を行い、同一形状
で同一色の部分をマーカとして検出し、マーカの中心位
置をマーカの位置として検出する方法、 監視カメラの映像中のエッジ抽出を行い、エッジ点列の
直線成分を抽出し、一定の幅で一定の長さの平行線を道
路上の白線として検出し、検出した白線の端点の画像中
の位置をマーカの位置として検出する方法、 監視カメラの映像を入力して縦方向のエッジ抽出とこれ
に基づく特徴抽出を行い、縦方向の線分を抽出したあと
に線分の下側端点を検出しこれをマーカとして検出し、
線分の下端点の画像中の位置をマーカの位置として検出
する方法、のいずれか１つの方法で検出することを特徴
とする請求項８に記載の映像監視方法。9. The three-point marker is separated into three components of RGB for each pixel of the input image.
A pixel in which each luminance of B is within a certain range is extracted and subjected to a labeling process, a range having a certain area is detected as a marker, and a barycenter position in the image of the detected marker is calculated and detected as a marker position. Method, register the shape model of the marker in advance, input the video of the surveillance camera, search for the pattern of the shape in the video, detect the pattern of the same shape as the marker, and find the center of the matched shape model A method of detecting the position as the marker position, registering the marker's shape model and color information in advance, inputting the video of the surveillance camera, searching for the pattern of the shape in the video, and performing color extraction processing together A method of detecting a portion of the same shape and the same color as a marker, and detecting a center position of the marker as a marker position, and extracting an edge in an image of a surveillance camera. A method of extracting a straight line component of an edge point sequence, detecting a parallel line of a fixed width and a fixed length as a white line on a road, and detecting a position of an end point of the detected white line in an image as a marker position, monitoring A camera image is input, vertical edge extraction and feature extraction based on this are performed, and after extracting a vertical line segment, the lower end point of the line segment is detected and detected as a marker,
The video monitoring method according to claim 8, wherein the method detects the position of the lower end point of the line segment in the image as the position of the marker. 【請求項１０】 前記監視エリアは、 前記３点のマーカを結ぶ直線とこれと一定間隔で平行な
一本または複数の直線を監視エリアとして設定する方
法、 ３点のマーカを結ぶ直線とこれと平行でモニタ上にマウ
スで指定された点を通る一本または複数の直線を監視エ
リアとして設定する方法、のいずれか１つの方法で設定
することを特徴とする請求項８または９に記載の映像監
視方法。10. The monitoring area is a method of setting, as a monitoring area, a straight line connecting the three markers and one or a plurality of straight lines parallel to the straight line at a predetermined interval. 10. The method according to claim 8, wherein one or more straight lines passing through a point designated by a mouse on a monitor in parallel are set as a monitoring area. Monitoring method. 【請求項１１】 前記監視エリアの画像表示は、入力し
た監視カメラの映像と共にモニタにオーバレイ表示する
ことを特徴とする請求項１０〜１２のいずれか１に記載
の映像監視方法。11. The video surveillance method according to claim 10, wherein the image display of the surveillance area is overlay-displayed on a monitor together with the input video of the surveillance camera. 【請求項１２】 前記監視エリアの画像表示は、表示す
る監視エリアまたは平行な直線をオペレータの操作指示
に基づき保持することを特徴とする請求項８〜１１のい
ずれか１に記載の映像監視方法。12. The video surveillance method according to claim 8, wherein in the image display of the surveillance area, a surveillance area to be displayed or a parallel straight line is held based on an operation instruction from an operator. . 【請求項１３】 前記監視エリアの画像表示は、監視カ
メラの映像を表示したモニタ上でオペレータにより指定
された３点を使用してカメラパラメータ計算を行い、３
点を結ぶ直線とこれと一定間隔で平行な直線に囲まれた
監視エリア、または３点を結ぶ直線とこれと一定間隔で
平行な一本または複数の直線を設定またはモニタ表示す
ることを特徴とする請求項８〜１２のいずれか１に記載
の映像監視方法。13. An image display of the surveillance area is performed by calculating camera parameters using three points designated by an operator on a monitor displaying an image of a surveillance camera.
A monitoring area surrounded by a straight line connecting points and a straight line parallel thereto at a fixed interval, or a straight line connecting three points and one or more straight lines parallel thereto at a fixed interval is set or displayed on a monitor. The video surveillance method according to any one of claims 8 to 12. 【請求項１４】 前記監視エリアは、前記監視カメラの
仰角を入力設定し、またはセンサで計測し、もしくは固
定とし、これらをもとに前記３点のマーカを結ぶ直線
と、これに水平面上で平行で指定された間隔の一本また
は複数の直線を計算して監視エリアとして設定すること
を特徴とする請求項８〜１３のいずれか１に記載の映像
監視方法。14. The surveillance area is set by inputting an elevation angle of the surveillance camera or by measuring or fixing with a sensor, and based on these, a straight line connecting the three markers and a straight line connecting the three markers. The video surveillance method according to any one of claims 8 to 13, wherein one or a plurality of straight lines having parallel designated intervals are calculated and set as a surveillance area.