JP2010062596A

JP2010062596A - Image monitoring system

Info

Publication number: JP2010062596A
Application number: JP2008223006A
Authority: JP
Inventors: Masato Kazui; 誠人数井; Masanori Miyoshi; 雅則三好; Masahiro Chikara; 雅裕主税
Original assignee: Hitachi Ltd; Hitachi Building Systems Co Ltd
Current assignee: Hitachi Ltd; Hitachi Building Systems Co Ltd
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2010-03-18
Anticipated expiration: 2028-09-01
Also published as: CN101668186B; JP4663767B2; CN101668186A; HK1141181A1

Abstract

<P>PROBLEM TO BE SOLVED: To provide image monitoring in which a processing area to be subjected to image processing for detecting abnormal conditions is easily set. <P>SOLUTION: A structure provided in a monitor area is extracted from an image of the monitor area, an initial area which is adjacent to the extracted structure and is an object of the image processing for detecting the abnormal conditions is set, and the set initial area is corrected in the condition of being adjacent to the structure. The image processing is carried out on the corrected initial area to detect the abnormal conditions in the monitor area. This means facilitates the correction and setting of the initial area to improve the efficiency of operation of an operator who uses the image monitoring system and a customer engineer. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、監視領域の画像によって異常を検知する画像監視システムに関する。 The present invention relates to an image monitoring system that detects an abnormality from an image of a monitoring area.

監視・セキュリティシステムでは、近年、監視領域における不審人物を発見するためや、侵入区域における侵入者を発見するために、画像認識技術が適用されている。従来、画像認識技術は郵便区分機やファクトリー・オートメーションなどの分野で実用化されている。これらの分野では検知対象が限定されていたり、照明条件が安定したりしており、比較的画像認識処理が動作しやすい環境であった。ところが、監視システムのように一般環境下で画像認識処理を行う場合、様々な外乱が発生し、人物の検知能力や異常動作の認識性能が低下する。例えば、カメラ視野内に生じる照明変動によって、本来正常歩行している人物のシーンにおいて、異常動作が発生したと誤認識する場合がある。このような場合には、必要な画像処理領域だけをマスク設定して、その他の領域は処理を行わないことにより、画像認識性能の劣化を避けている。 In the surveillance / security system, in recent years, an image recognition technique has been applied in order to find a suspicious person in a surveillance area or to find an intruder in an intrusion area. Conventionally, image recognition technology has been put into practical use in fields such as postal sorting machines and factory automation. In these fields, the object to be detected is limited and the lighting conditions are stable, so that the image recognition processing is relatively easy to operate. However, when image recognition processing is performed under a general environment as in a monitoring system, various disturbances occur, and human detection ability and abnormal performance recognition performance deteriorate. For example, there may be a case in which it is erroneously recognized that an abnormal operation has occurred in the scene of a person who normally walks normally due to illumination fluctuations occurring in the camera field of view. In such a case, only necessary image processing areas are masked, and other areas are not processed, thereby avoiding degradation of image recognition performance.

画像処理領域を設定する一方法は、マウスで処理エリアを設定する方法である。例えば、特開２００４−９７３８３号公報（特許文献１）に記載されている技術では、画像処理する領域を、規定サイズの矩形を配置するアイコンで選択し、配置した領域をマウスによってドラッグすることにより大きさと位置を変更する。 One method of setting an image processing area is a method of setting a processing area with a mouse. For example, in the technique described in Japanese Patent Application Laid-Open No. 2004-97383 (Patent Document 1), an area to be image-processed is selected with an icon for arranging a rectangle of a prescribed size, and the arranged area is dragged with a mouse. Change the size and position.

また、特開２０００−２７２８６３号公報（特許文献２）に記載されている技術では、乗客コンベアの監視装置において、監視画像から画像処理によって踏み段の走行領域を抽出し、その領域の大きさと位置を基にして監視のための検出領域の位置と大きさを設定する。 Moreover, in the technique described in Unexamined-Japanese-Patent No. 2000-272863 (patent document 2), in the monitoring apparatus of a passenger conveyor, the running area of a step is extracted from a monitoring image by image processing, and the magnitude | size and position of the area | region The position and size of the detection area for monitoring are set based on the above.

また、特開２００１−１４５０９２号公報（特許文献３）に記載されている技術では、監視エリアに等間隔に設置された３点のマーカーを画像処理によって検出し、設置したカメラのカメラパラメータの情報とから３点のマーカーを結ぶ直線と、この直線に平行で、かつ一定間隔の平行線とで囲まれた範囲を監視エリアとして設定する。 In the technique described in Japanese Patent Application Laid-Open No. 2001-145092 (Patent Document 3), three markers set at equal intervals in the monitoring area are detected by image processing, and information on camera parameters of the installed camera is obtained. And a range surrounded by a straight line connecting the three markers and a parallel line that is parallel to the straight line and at a constant interval is set as a monitoring area.

特開２００４−９７３８３号公報JP 2004-97383 A 特開２０００−２７２８６３号公報JP 2000-272863 A 特開２００１−１４５０９２号公報JP 2001-145092 A

特許文献４に記載の技術の場合は、あらかじめ頻繁に使用する領域サイズをアイコンボタンに登録してあり、配置したあとにマウスのドラッグ操作で処理領域の位置と形状を変更する。また特許文献２に記載の技術の場合は、画像処理によって既設の構造物の領域を自動的に検出して、これに隣接した処理領域を自動的に設定する。しかし、これらの技術は共通して、設定した領域が所望の位置，形状，大きさを満たしていなければ、設定した領域を補正する必要がある。 In the case of the technique described in Patent Document 4, a region size that is frequently used is registered in advance in the icon button, and after the placement, the position and shape of the processing region are changed by a mouse drag operation. In the case of the technique described in Patent Document 2, an area of an existing structure is automatically detected by image processing, and a processing area adjacent thereto is automatically set. However, these techniques are common, and if the set area does not satisfy the desired position, shape, and size, it is necessary to correct the set area.

例えば、初期設定した領域形状を補正するために領域の頂点をマウスでドラッグして形状と位置と大きさを変更する場合、設定領域内に画像認識に不要な背景画像が入ることを防ぐために、領域の頂点をマウスで正確に移動させる必要がある。保守員が保守ツールを使ってこのような領域補正を行う場合、監視現場において保守ツールを手持ちしなければならない状況などでは、マウスなどの外部入力インターフェースを使うことができず、例えばノートパソコンなどのタッチパッドを用いて領域設定しなければならない。この場合、領域の頂点を正確に移動させる操作には操作者の集中力が要求され、メンテナンスする監視エリアが多くなるほど、作業効率が低下する。 For example, when changing the shape, position and size by dragging the vertex of the area with the mouse to correct the initially set area shape, in order to prevent a background image unnecessary for image recognition from entering the setting area, It is necessary to move the vertex of the area accurately with the mouse. When maintenance personnel perform such area correction using a maintenance tool, an external input interface such as a mouse cannot be used in situations where the maintenance tool must be held by hand at a monitoring site. The area must be set using the touchpad. In this case, the operator's concentration is required for the operation of accurately moving the apex of the area, and the work efficiency decreases as the number of monitoring areas to be maintained increases.

このような問題点を軽減するために、特許文献３に記載の技術の場合は、規定の条件で設置されたマーカーを画像処理によって検出し、その検出結果に基づいて処理領域を設定する。しかし、この場合においても、既設マーカーの検出結果に基づく設定領域が所望の位置や形状を満たしていない場合には、マウス操作で領域設定する必要がある。 In order to alleviate such a problem, in the case of the technique described in Patent Document 3, a marker placed under a specified condition is detected by image processing, and a processing region is set based on the detection result. However, even in this case, if the setting region based on the detection result of the existing marker does not satisfy the desired position or shape, it is necessary to set the region by operating the mouse.

本発明は、上記の問題点を考慮してなされたものであり、異常を検知するために画像処理を施す処理領域を容易に設定できる画像監視を提供することを目的とする。 The present invention has been made in consideration of the above-described problems, and an object thereof is to provide image monitoring capable of easily setting a processing area on which image processing is performed in order to detect an abnormality.

上記課題を解決するために、本発明による画像監視システムにおいては、監視領域の画像から、監視領域内に設けられた構造体を抽出し、抽出された構造体に隣接し、かつ異常を検出するための画像処理を施す対象とする初期領域を設定し、設定された初期領域を、構造体に隣接したままで補正する。そして、補正された初期領域に画像処理を施して監視領域内における異常を検出する。 In order to solve the above problems, in the image monitoring system according to the present invention, a structure provided in the monitoring area is extracted from the image of the monitoring area, and an abnormality is detected adjacent to the extracted structure. An initial area to be subjected to image processing is set, and the set initial area is corrected while adjacent to the structure. Then, image processing is performed on the corrected initial region to detect an abnormality in the monitoring region.

なお、監視領域の画像から、監視領域内に設けられた構造体あるいはその周辺に設置した発光ダイオードを検知して、構造体を抽出したり、初期領域を設定したりしても良い。特に、発光ダイオードを検知して初期領域を設定する場合、構造体の抽出や初期領域の補正を省略することができる。 Note that a structure provided in the monitoring area or a light emitting diode installed in the vicinity thereof may be detected from the image of the monitoring area, and the structure may be extracted or an initial area may be set. In particular, when an initial region is set by detecting a light emitting diode, extraction of the structure and correction of the initial region can be omitted.

上記手段によれば、初期領域の補正や設定が容易になり、画像監視システムを使用する操作者や保守員の作業効率が向上する。 According to the above means, the correction and setting of the initial area are facilitated, and the work efficiency of the operator and maintenance personnel who use the image monitoring system is improved.

以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.

図１は、本発明の一実施形態である画像監視システムの全体構成を示す機能ブロック図である。図１において１０１は乗客コンベアであるエスカレータのハンドレール、１０２はエスカレータの踏み段、１０３はエスカレータおよびその周辺を含む監視領域の画像を取得するカメラ、１０４はエスカレータの運行を制御するインバータ装置などの制御装置、１０５はカメラ１０３によって撮影した画像を保存する録画装置、１０６はカメラ１０３において撮影した画像を画像処理によって解析し、監視領域における異常の有無を検出する画像処理装置部、１０７は画像処理装置部１０６で異常検出に用いる画像処理領域を設定するメンテナンス装置部である。メンテナンス装置部１０７は画像処理装置部１０６から監視領域の画像を取得し、マウスなどの入力デバイスによって画像処理領域を設定し、画像処理に必要なパラメータを画像処理装置部１０６へ送る。１０８はメンテナンス装置部１０７の作業内容を表示するモニタである。 FIG. 1 is a functional block diagram showing the overall configuration of an image monitoring system according to an embodiment of the present invention. In FIG. 1, 101 is an escalator handrail that is a passenger conveyor, 102 is an escalator step, 103 is a camera that acquires an image of a monitoring area including the escalator and its surroundings, 104 is an inverter device that controls the operation of the escalator, etc. A control device, 105 is a recording device that stores an image captured by the camera 103, 106 is an image processing device that analyzes the image captured by the camera 103 by image processing, and detects whether there is an abnormality in the monitoring area, and 107 is an image processing It is a maintenance device unit that sets an image processing region used for abnormality detection in the device unit 106. The maintenance device unit 107 acquires an image of the monitoring region from the image processing device unit 106, sets the image processing region with an input device such as a mouse, and sends parameters necessary for image processing to the image processing device unit 106. Reference numeral 108 denotes a monitor that displays the work content of the maintenance device unit 107.

次に図２を用いてメンテナンス装置部１０７の内部機能について説明する。画像処理装置部１０６から送られてきた画像は画像入力部２０１で受けて、画像処理部２０２へ送り、異常行動を検知するための画像処理を施す画像領域を設定するための予備領域、すなわち監視領域内に設けられたエスカレータのハンドレールなどの構造体の画像領域を画像処理によって検出するか、または入力デバイス２０６を操作することによって選択する。初期領域設定部２０３は画像処理領域の基になる初期領域を設定する。初期領域は、初期領域設定部２０３に予め登録された形状，大きさを有するとともに、予備領域に隣接する領域に設定される。領域補正部２０４は、初期領域設定部２０３で設定された初期領域を入力デバイス２０６からの指令によって所望の位置，形状，大きさに補正する。初期領域設定部２０３で設定された初期領域が所望の位置，形状，大きさを満たしていれば、領域補正部２０４の処理はスキップされる。 Next, the internal functions of the maintenance device unit 107 will be described with reference to FIG. The image sent from the image processing unit 106 is received by the image input unit 201, sent to the image processing unit 202, and a spare area for setting an image area to be subjected to image processing for detecting abnormal behavior, that is, monitoring. An image region of a structure such as an escalator handrail provided in the region is detected by image processing or selected by operating the input device 206. An initial area setting unit 203 sets an initial area that is a basis of an image processing area. The initial area has a shape and size registered in advance in the initial area setting unit 203 and is set to an area adjacent to the spare area. The area correction unit 204 corrects the initial area set by the initial area setting unit 203 to a desired position, shape, and size according to a command from the input device 206. If the initial region set by the initial region setting unit 203 satisfies a desired position, shape, and size, the processing of the region correction unit 204 is skipped.

奥行き順序設定部２０５は、異常を検出するために用いる画像処理領域を複数設定した場合に、各領域の奥行きの順序を入力デバイス２０６からの指令によって設定する。また、奥行き順序設定部２０５では各領域の属性、例えば、領域が床面なのか壁なのか、あるいはゲートの出入り口なのか窓なのか、なども入力デバイス２０６で設定する。パラメータ記憶部２０７は、画像処理部２０２から奥行き順序設定部２０５までの処理ブロック部において検出されたり、入力デバイス２０６によって設定されたりしたパラメータを、設定したカメラ１０３毎、あるいは画像処理装置部１０６毎に保存する。保存されたパラメータは、経年変化などでカメラ光軸がずれた場合や、カメラまたは画像処理装置部を交換する場合など、再度パラメータ設定が必要になった場合に呼び出され、処理領域の再設定を行う手間を省く。パラメータ出力部２０８は、奥行き順序設定部２０５やパラメータ記憶部２０７から送られてくるパラメータを画像処理装置部１０６へ送る。 The depth order setting unit 205 sets the order of the depth of each area according to a command from the input device 206 when a plurality of image processing areas used for detecting an abnormality are set. The depth order setting unit 205 also sets the attributes of each area, for example, whether the area is a floor or a wall, a gate entrance or a window, and the like using the input device 206. The parameter storage unit 207 detects parameters set in the processing block units from the image processing unit 202 to the depth order setting unit 205 or set by the input device 206 for each set camera 103 or each image processing apparatus unit 106. Save to. The saved parameters are called when the parameter setting is required again, such as when the camera optical axis is shifted due to secular change, or when the camera or image processing unit is replaced. Save time and effort. The parameter output unit 208 sends parameters sent from the depth order setting unit 205 and the parameter storage unit 207 to the image processing apparatus unit 106.

次に図３のフローチャート図を使って、図２における画像処理部２０２と初期領域設定部２０３の詳細について説明する。画像処理部２０２では、まず、画像入力部２０１から送られてきた画像を取得する（ステッフ゜３０１）。ステップ３０２では、抽出したい構造体すなわち予備領域の色は一様であると仮定し、モニタ１０８に表示された画像において、予備領域中の一点をマウスなどの入力デバイスで指定して、指定された部分の色を取得する。ステップ３０３では、ステップ３０２で取得した色と同じ色の画素集合を検出することにより、監視領域においてステップ３０２で取得された色と同じ色を有する領域を検出する。例えば、エスカレータのハンドレールは一定の色を持つので、上記処理によって予備領域を抽出することができる。ハンドレールを予備領域とする例を、図４の領域（ａ）（４０１）に示す。実環境下ではハンドレールと同じ色を持つ領域が存在する可能性があるので、複数の予備領域が抽出された場合はクラスタリング操作によって同一色クラスタ毎に面積およびアスペクト比を計算し、これらの値があるしきい値より大きなクラスタを候補としてモニタ部に複数提示し、複数候補の中から初期領域を入力デバイスによって指定する。 Next, details of the image processing unit 202 and the initial region setting unit 203 in FIG. 2 will be described using the flowchart in FIG. In the image processing unit 202, first, an image sent from the image input unit 201 is acquired (step 301). In step 302, it is assumed that the structure to be extracted, that is, the color of the spare area is uniform, and in the image displayed on the monitor 108, one point in the spare area is designated by an input device such as a mouse. Get the color of the part. In step 303, an area having the same color as the color acquired in step 302 is detected in the monitoring area by detecting a pixel set having the same color as the color acquired in step 302. For example, since the handrail of the escalator has a certain color, the spare area can be extracted by the above processing. An example of using the handrail as a spare area is shown in areas (a) and (401) of FIG. Since there may be an area with the same color as the handrail in the actual environment, when multiple spare areas are extracted, the area and aspect ratio are calculated for each cluster of the same color by the clustering operation, and these values are used. A plurality of clusters larger than a certain threshold value are presented as candidates to the monitor unit, and an initial region is designated by the input device from the plurality of candidates.

次にステップ３０４において、初期領域設定部２０３は、ステップ３０３で検出された予備領域に隣接する一つあるいは複数の領域を初期領域として設定する。例えば、図４の領域４０２のように、エスカレータの外側に位置すると共にハンドレールに接しかつハンドレールに沿って伸びる領域を初期領域として設定する。エスカレータのハンドレールは乗降床部付近で曲線状であるため、ハンドレールに隣接する領域もハンドレールの曲線に沿って曲げて設定する。ステップ３０４でも、予備領域に隣接する初期領域の候補を複数提示し、その中から入力デバイスによって初期領域を指定しても良い。ステップ３０５では、ステップ３０４で設定された初期領域が適切であるか否かを操作者が判定し、判定した結果を操作者が入力デバイスから入力する。もし、適切な初期領域がなければステップ３０２に戻って抽出対象の色抽出を再度行い、ステップ３０２〜３０５までの処理を繰り返す。もし、ステップ３０５において適切な初期領域が設定されれば、それを画像処理領域として面積，形状，位置に関するパラメータが領域補正部２０４に出力される（ステップ３０６）。なお、ステップ３０５においては、モニタ１０８に表示されたアイコンをクリックしたり、キーボードを操作したりすることによって、初期領域の適否を入力することができる。 In step 304, the initial area setting unit 203 sets one or a plurality of areas adjacent to the spare area detected in step 303 as an initial area. For example, a region located outside the escalator and in contact with the handrail and extending along the handrail is set as an initial region, as in a region 402 in FIG. Since the handrail of the escalator is curved in the vicinity of the getting-on / off floor portion, the area adjacent to the handrail is also set by bending along the curve of the handrail. Also in step 304, a plurality of initial area candidates adjacent to the spare area may be presented, and the initial area may be designated by using the input device. In step 305, the operator determines whether or not the initial region set in step 304 is appropriate, and the operator inputs the determination result from the input device. If there is no appropriate initial region, the process returns to step 302 to perform extraction of the color to be extracted again, and repeats the processing from steps 302 to 305. If an appropriate initial region is set in step 305, parameters relating to area, shape, and position are output to the region correction unit 204 as an image processing region (step 306). In step 305, whether or not the initial area is appropriate can be input by clicking an icon displayed on the monitor 108 or operating a keyboard.

次に図４を用いて、領域補正部２０４の詳細について説明する。初期領域設定部２０３から出力された初期領域が所望の位置，形状，大きさを有していれば領域補正部２０４の処理をスキップする。もし、そうでなければ初期処理領域の位置，形状，大きさを補正する。ここではエスカレータにおけるハンドレールからの乗客の乗り出しを検知するための領域設定について説明する。エスカレータにおけるハンドレール領域４０１が図３の予備領域抽出ステップ３０３で設定されたとする。さらに、ハンドレール領域４０１に隣接する初期領域４０２が図２の初期領域設定部２０３で得られたとする。初期領域４０２の大きさとアスペクト比はメンテナンス装置部１０７に記憶されているか、または入力デバイス２０６によって設定される。 Next, details of the region correction unit 204 will be described with reference to FIG. If the initial region output from the initial region setting unit 203 has a desired position, shape, and size, the processing of the region correction unit 204 is skipped. If not, the position, shape, and size of the initial processing area are corrected. Here, the area setting for detecting the passenger's entry from the handrail in the escalator will be described. Assume that the handrail region 401 in the escalator is set in the preliminary region extraction step 303 of FIG. Furthermore, it is assumed that an initial region 402 adjacent to the handrail region 401 is obtained by the initial region setting unit 203 in FIG. The size and aspect ratio of the initial area 402 are stored in the maintenance device unit 107 or set by the input device 206.

まず、初期領域４０２の位置を変更する手順について説明する。初期領域４０２は入力デバイスであるマウスでドラッグすることで、その位置を変更できる。このとき、初期領域４０２はハンドレール領域４０１に接したままでハンドレール領域に沿って移動し、かつ初期領域４０２の中心部分である領域４０３をドラッグすることで移動する。領域４０３の位置は初期領域４０２の中心部とし、大きさは初期領域４０２の面積に対する割合で設定する。この設定パラメータはメンテナンス装置部１０７に記憶されているか、または入力デバイス２０６によって設定される。 First, a procedure for changing the position of the initial region 402 will be described. The position of the initial area 402 can be changed by dragging with the mouse as an input device. At this time, the initial region 402 moves along the handrail region while being in contact with the handrail region 401, and is moved by dragging the region 403 that is the central portion of the initial region 402. The position of the region 403 is set at the center of the initial region 402, and the size is set as a ratio to the area of the initial region 402. This setting parameter is stored in the maintenance device unit 107 or set by the input device 206.

次に初期領域４０２の大きさと形状を変更する手順について説明する。初期領域４０２はマウスでドラッグすることで、その形状を変更できる。このとき、初期領域４０２はハンドレール領域４０１に沿って拡大または縮小するように変形し、かつ初期領域４０２の周辺である領域（図４（ｃ）（４０４））をドラッグすることで変形する。このとき、ハンドレール領域が図４（ａ）のように直線構造ではなく、曲線部分を含む場合には、初期領域もその曲線部分に接しながらこの曲線部分に沿って変形する。従来は、矩形領域であれば、その領域の移動と変形を行うためには領域の頂点をマウスで正確にドラッグする必要があるが、本実施形態のように大まかな領域を操作することで、領域を移動させるときのマウス操作が容易になり、作業者の作業効率が向上する。 Next, a procedure for changing the size and shape of the initial region 402 will be described. The shape of the initial region 402 can be changed by dragging with the mouse. At this time, the initial region 402 is deformed so as to expand or contract along the handrail region 401 and is deformed by dragging a region (FIGS. 4C and 404) around the initial region 402. At this time, when the handrail region is not a straight structure as shown in FIG. 4A and includes a curved portion, the initial region is deformed along the curved portion while being in contact with the curved portion. Conventionally, in the case of a rectangular area, in order to move and transform the area, it is necessary to accurately drag the vertex of the area with a mouse, but by operating a rough area as in this embodiment, The mouse operation when moving the area is facilitated, and the work efficiency of the worker is improved.

上記のような処理により、領域補正部２０４において画像処理領域が設定された後、奥行き順序設定部２０５によって画像処理領域毎に奥行き順序を設定する。これは、２つの処理領域が重なっている場合に、どちらの領域が実空間中で手前にあるかを設定するものである。この情報は、画像処理をする場合の事前知識として与えることで、画像処理性能を向上することができる。例えば、図７おいて、領域７０１がカメラに近い手前の領域、領域７０２がカメラから遠い奥の領域に設定したとする。ここで、人物、または物体が領域７０３、または領域７０４のように検出された場合、これらの検出結果は奥の領域７０２に存在する人物、または物体として判定でき、領域７０５のように２つの領域境界をまたいで検出された人物、または物体は手前の領域７０１に存在すると判定できる。また、例えば人物の頭部のように、検知対象物体の実際の大きさが予め既知であれば手前の領域ほど対象の見かけの大きさが大きくなるので、手前の領域で検出された小さな検知結果を誤検出として判定できる。なお、操作者は、モニタ１０８に表示された画像を見て、マウスなどの入力デバイスによって奥行き順序を入力する。 After the image processing area is set by the area correction unit 204 by the processing as described above, the depth order is set for each image processing area by the depth order setting unit 205. This is to set which region is in front of the real space when two processing regions overlap. By giving this information as prior knowledge when image processing is performed, image processing performance can be improved. For example, in FIG. 7, it is assumed that the area 701 is set in the near area near the camera, and the area 702 is set in the far area far from the camera. Here, when a person or an object is detected as the area 703 or the area 704, these detection results can be determined as a person or an object existing in the back area 702, and two areas such as the area 705 are detected. It can be determined that the person or object detected across the boundary exists in the area 701 in the foreground. Also, for example, if the actual size of the detection target object is known in advance, such as the head of a person, the apparent size of the target becomes larger in the foreground region, so the small detection result detected in the foreground region Can be determined as a false detection. Note that the operator views the image displayed on the monitor 108 and inputs the depth order using an input device such as a mouse.

図５は、予備領域または初期領域を設定するために、発光ダイオード（以下ＬＥＤと記す）のような発光体をマーカーとして用いた場合の、画像処理部２０２または初期領域設定部２０３による設定手順を示すフローチャートである。本実施形態では、設置するマーカーとしてそれ自体が発光する素子であるＬＥＤを用いているが、各ＬＥＤの発光色または発光パターンを領域毎に変えて設定することにより、３次元空間中における複数の領域を設定することができる。 FIG. 5 shows a setting procedure performed by the image processing unit 202 or the initial region setting unit 203 when a light emitter such as a light emitting diode (hereinafter referred to as LED) is used as a marker in order to set a spare region or an initial region. It is a flowchart to show. In this embodiment, an LED, which is an element that emits light as a marker to be installed, is used. However, by setting the emission color or emission pattern of each LED for each region, a plurality of LEDs in a three-dimensional space are set. An area can be set.

監視領域の画像を取得し（ステップ５０１）、取得された画像からＬＥＤを検出する（ステップ５０２）。このために、入力ＲＧＢカラー画像を例えばＨＳＶ色空間に変換し、色相空間（Ｈ）において、ＬＥＤが発光している色を持つ画素を抽出し、クラスタリングによってＬＥＤの位置を検出する。クラスタリングによって検出されたラベルには、背景においてＬＥＤ以外にも似た色のラベルが存在する可能性がある。そこで、本実施形態では、ＬＥＤを、連続的に点灯させるのではなく、ある規則パターンによって点滅させ、背景ノイズと区別してＬＥＤを検出する（ステップ５０３）。ＬＥＤの点滅パターンには、例えばカメラに近い手前の領域は速く点滅させ、カメラから遠い領域は遅く点滅させる。同じ色、および同じタイミングで点滅しているＬＥＤは同一領域に設置するので、ＬＥＤ色および点滅タイミング毎にＬＥＤを分離すれば、容易に複数領域に設置したＬＥＤを分離できる。この複数領域の分離は処理領域の設定ステップ５０４において行われる。 An image of the monitoring area is acquired (step 501), and an LED is detected from the acquired image (step 502). For this purpose, the input RGB color image is converted into, for example, an HSV color space, pixels having a color emitted by the LED are extracted in the hue space (H), and the position of the LED is detected by clustering. There is a possibility that labels detected by clustering have labels of similar colors other than LEDs in the background. Therefore, in this embodiment, the LEDs are not lit continuously, but are blinked according to a certain regular pattern, and the LEDs are detected separately from the background noise (step 503). In the blinking pattern of the LED, for example, the area near the camera is blinked quickly, and the area far from the camera is blinked slowly. Since the LEDs blinking at the same color and at the same timing are installed in the same area, the LEDs installed in a plurality of areas can be easily separated by separating the LEDs for each LED color and blinking timing. The separation of the plurality of areas is performed in the process area setting step 504.

図６は、エスカレータおよびその周辺を含む監視領域にＬＥＤを設置した例を示す。ＬＥＤは領域境界に設置するが、図６では、ハンドレールの外側の領域６０２，乗降口の床板部および欄干部を支持するスカートガードの踏み段付近を含む領域６０３、並びにハンドレールを支持する欄干部６０４を含む領域６０４の各周辺部に、複数のＬＥＤ６０１が設けられている。ＬＥＤの電源は、有線あるいは電池で供給する。領域６０２〜６０４のようにＬＥＤで囲まれる各領域のＬＥＤの発光時間間隔を含む点滅パターンとＬＥＤの発光色の少なくともいずれか一方を、カメラからの距離に応じて設定することにより、前述した奥行き順を設定することができる。ＬＥＤの色が単色の場合は、ＬＥＤの点滅パターンを変えて奥行き順を設定する。もしＬＥＤの色を多数用意できる場合でも、色と点滅パターンの両者を用いることにより、より安定したＬＥＤ検知と領域ごとへの分類を行うことができる。 FIG. 6 shows an example in which LEDs are installed in a monitoring area including the escalator and its periphery. In FIG. 6, the LED is installed at the boundary of the region. In FIG. 6, the region 602 outside the handrail, the region 603 including the step of the skirt guard that supports the floor plate portion and the balustrade portion of the entrance / exit, and the column supporting the handrail A plurality of LEDs 601 are provided in each peripheral portion of the region 604 including the dry portion 604. LED power is supplied by wire or battery. The depth described above is set by setting at least one of the blinking pattern including the LED emission time interval and the LED emission color in each area surrounded by the LEDs as in areas 602 to 604 according to the distance from the camera. The order can be set. When the LED color is single, the depth order is set by changing the blinking pattern of the LED. Even when a large number of LED colors can be prepared, by using both the color and the blinking pattern, more stable LED detection and classification into regions can be performed.

上記の手順によって複数の領域が検出された後、操作者は、これらの領域が予備領域あるいは初期領域として適切であるか否かをモニタ部のＧＵＩ上に表示した領域見て判定し、判定結果を入力デバイスにより入力する（ステップ５０５）。もし、これらの領域が適切であれば領域毎のパラメータ、具体的には位置，形状，大きさ，ＬＥＤの色、点滅パターンを出力する（ステップ５０７）。もし、適切でなければ、例えばＬＥＤの検出漏れがあったり、ＬＥＤでない物体を誤検出してしまったりした場合は、ＬＥＤの位置を入力デバイスにより指定し（ステップ５０６）、ＬＥＤ色およびＬＥＤ点滅パターンを再度検出する（ステップ５０３）。 After a plurality of areas are detected by the above procedure, the operator determines whether or not these areas are suitable as a spare area or an initial area by looking at the area displayed on the GUI of the monitor unit, and the determination result Is input by the input device (step 505). If these areas are appropriate, parameters for each area, specifically, position, shape, size, LED color, and blinking pattern are output (step 507). If it is not appropriate, for example, if there is an LED detection omission or an object that is not an LED is erroneously detected, the position of the LED is designated by the input device (step 506), and the LED color and LED blinking pattern are specified. Is detected again (step 503).

ＬＥＤを用いて初期領域を設定する場合は、初期領域設定部２０３で設定した領域を、補正すること無くそのまま異常検出のための画像処理領域とすることができる。従って、予備領域の設定を省略できると共に、領域補正部２０４の処理をスキップすることができる。また、初期領域が複数設定される場合、ＬＥＤの発光色および点滅パターンの設定によって、各領域のカメラからの奥行き順序を設定するため、奥行き順序設定部２０５の処理をスキップすることができる。 When an initial area is set using an LED, the area set by the initial area setting unit 203 can be used as an image processing area for detecting an abnormality without correction. Accordingly, the setting of the spare area can be omitted and the process of the area correction unit 204 can be skipped. Further, when a plurality of initial regions are set, the depth order setting unit 205 can be skipped because the depth order from the camera in each region is set by setting the emission color and blinking pattern of the LEDs.

なお、図５および図６の実施形態により、予備領域の設定精度が向上できるので、初期領域の設定精度も向上する。また、設定精度が、天候や照明等の外的要因や、カメラと構造体の相対的位置関係などに影響されにくくなる。 5 and FIG. 6, the setting accuracy of the spare area can be improved, so that the setting accuracy of the initial area is also improved. In addition, the setting accuracy is less affected by external factors such as weather and lighting, and the relative positional relationship between the camera and the structure.

なお、上述した実施形態に限らず、本発明の技術的思想の範囲内において、種々の実施形態が可能である。例えば、監視領域はエスカレータのハンドレールの付近に限らず、エレベータの扉，エスカレータの踏み段または乗降床，他の乗客コンベアである動く歩道のハンドレール，動く歩道の踏み板または乗降床，建物に設置される階段の手すりなどの付近であっても良い。 Note that the present invention is not limited to the above-described embodiments, and various embodiments are possible within the scope of the technical idea of the present invention. For example, the monitoring area is not limited to the vicinity of the escalator handrail, but is installed in elevator doors, escalator steps or boarding / exiting floors, moving sidewalk handrails that are other passenger conveyors, moving sidewalk treads or landing boards, buildings It may be near the handrail of the stairs to be used.

本発明の一実施形態である画像監視システムの全体構成の機能ブロック図である。It is a functional block diagram of the whole structure of the image monitoring system which is one Embodiment of this invention. 画像処理領域を設定するメンテナンス装置部の機能ブロック図である。It is a functional block diagram of the maintenance apparatus part which sets an image processing area. 画像処理領域の基になる初期領域設定部のフローチャートである。6 is a flowchart of an initial region setting unit that is a basis of an image processing region. 初期領域を補正する領域補正部の動作例を示した図である。It is the figure which showed the operation example of the area | region correction | amendment part which correct | amends an initial stage area | region. ＬＥＤを用いて画像処理領域を設定する初期領域設定部のフローチャートである。6 is a flowchart of an initial region setting unit that sets an image processing region using an LED. ＬＥＤマーカーを処理領域毎に設置した例を示した図である。It is the figure which showed the example which installed the LED marker for every process area. 複数の画像処理領域が設定された例を示した図である。It is the figure which showed the example in which the several image processing area | region was set.

符号の説明Explanation of symbols

１０１ハンドレール
１０２踏み段
１０３カメラ
１０４制御装置
１０５録画装置
１０６画像処理装置部
１０７メンテナンス装置部
１０８モニタ
２０１画像入力部
２０２画像処理部
２０３初期領域設定部
２０４領域補正部
２０５奥行き順序設定部
２０６入力デバイス
２０７パラメータ記憶部
２０８パラメータ出力部 DESCRIPTION OF SYMBOLS 101 Handrail 102 Step 103 Camera 104 Control apparatus 105 Recording apparatus 106 Image processing apparatus part 107 Maintenance apparatus part 108 Monitor 201 Image input part 202 Image processing part 203 Initial area setting part 204 Area correction part 205 Depth order setting part 206 Input device 207 Parameter storage unit 208 Parameter output unit

Claims

監視領域の画像をカメラから取り込んで、取り込まれた前記画像に基づいて前記監視領域内における異常を検出する画像監視システムにおいて、
前記監視領域の画像から、前記監視領域内に設けられた構造体を抽出する手段と、
前記構造体に隣接し、かつ画像処理を施す対象とする初期領域を設定する手段と、
前記初期領域を、前記構造体に隣接したままで補正する手段と、を備え、
補正された初期領域に画像処理を施して前記監視領域内における前記異常を検出することを特徴とする画像監視システム。 In an image monitoring system that captures an image of a monitoring area from a camera and detects an abnormality in the monitoring area based on the captured image,
Means for extracting a structure provided in the monitoring area from an image of the monitoring area;
Means for setting an initial region adjacent to the structure and subject to image processing;
Means for correcting the initial region while remaining adjacent to the structure,
An image monitoring system, wherein image processing is performed on the corrected initial region to detect the abnormality in the monitoring region.

請求項１に記載の画像監視システムにおいて、前記構造体の画像から前記構造体の色を検出し、検出された色を有する領域を抽出することにより前記構造体を抽出することを特徴とする画像監視システム。 The image monitoring system according to claim 1, wherein the structure is extracted by detecting a color of the structure from the image of the structure and extracting a region having the detected color. Monitoring system.

請求項１または請求項２に記載の画像監視システムにおいて、前記初期領域の中心部分を前記入力デバイスでドラッグすると前記初期領域が前記構造体の領域に沿って移動し、前記初期領域の周辺部分をドラッグすると、前記構造物に沿って移動または変形すること特徴とする画像監視システム。 3. The image monitoring system according to claim 1, wherein when the central portion of the initial region is dragged with the input device, the initial region moves along the region of the structure, and a peripheral portion of the initial region is moved. An image monitoring system that moves or deforms along the structure when dragged.

請求項１から３のいずれか１項に記載の画像監視システムにおいて、補正された前記初期領域が複数設定され、補正された前記初期領域毎に奥行き順序を設定する手段を備えることを特徴とする画像監視システム。 4. The image monitoring system according to claim 1, further comprising a unit that sets a plurality of corrected initial regions and sets a depth order for each of the corrected initial regions. 5. Image surveillance system.

請求項１ないし４のいずれか一項において、前記監視領域の前記画像から、前記構造体あるいはその周辺に設置した発光ダイオードを検知して、前記構造体を抽出することを特徴とする画像監視システム。 5. The image monitoring system according to claim 1, wherein the structure is extracted from the image of the monitoring area by detecting a light emitting diode installed in or around the structure. .

監視領域の画像をカメラから取り込んで、取り込まれた前記画像に基づいて前記監視領域内における異常を検出する画像監視システムにおいて、
前記構造体に隣接し、かつ画像処理を施す対象とする初期領域を、前記監視領域の前記画像から、前記構造体あるいはその周辺に設置した発光ダイオードを検知して設定する手段と、を備え、
前記初期領域に画像処理を施して前記監視領域内における前記異常を検出することを特徴とする画像監視システム。 In an image monitoring system that captures an image of a monitoring area from a camera and detects an abnormality in the monitoring area based on the captured image,
Means for detecting and setting an initial region adjacent to the structure and subject to image processing from the image of the monitoring region by detecting a light emitting diode installed in the structure or its surroundings;
An image monitoring system, wherein the abnormality is detected in the monitoring area by performing image processing on the initial area.

請求項６において、前記初期領域が複数設定され、前記ＬＥＤの発光時間間隔、発光色を前記初期領域ごと変えて、前記初期領域毎に奥行き情報を設定することを特徴とする画像監視システム。 7. The image monitoring system according to claim 6, wherein a plurality of the initial areas are set, depth information is set for each of the initial areas by changing a light emission time interval and a light emission color of the LED for each of the initial areas.