JP4976939B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4976939B2 JP4976939B2 JP2007176039A JP2007176039A JP4976939B2 JP 4976939 B2 JP4976939 B2 JP 4976939B2 JP 2007176039 A JP2007176039 A JP 2007176039A JP 2007176039 A JP2007176039 A JP 2007176039A JP 4976939 B2 JP4976939 B2 JP 4976939B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- monitoring
- image
- information
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 92
- 238000003384 imaging method Methods 0.000 claims description 205
- 238000000034 method Methods 0.000 claims description 63
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 description 209
- 238000012806 monitoring device Methods 0.000 description 147
- 230000006870 function Effects 0.000 description 16
- 238000009434 installation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像装置により撮像される画像に対して領域などの情報を設定する画像処理装置に関し、特に、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、領域などの情報の設定に要する作業の負担を低減した画像処理装置に関する。 The present invention relates to an image processing apparatus that sets information such as a region for an image captured by an imaging apparatus, and particularly, for example, when a plurality of imaging apparatuses having different arrangements are used or the arrangement of imaging apparatuses is changed. Even in such a case, the present invention relates to an image processing apparatus that reduces the burden of work required for setting information such as areas.
例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって監視領域を撮像した画像（入力画像）を画像処理機能によって処理し、入力画像中の所定の物体を自動的に検出するような監視装置が、従来より広く用いられている。 For example, an image (input image) obtained by imaging a monitoring area by an imaging device equipped with a solid-state imaging device such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) is processed by an image processing function. Monitoring devices that automatically detect a predetermined object have been widely used.
このような入力画像中の所定の物体を自動的に検出する方法の一例として、差分法と呼ばれる方法が従来より使用されている。
図１２を参照して、差分法の基本的な処理の様子を説明する。
図１２には、差分法による物体検出方法の概略の一例を示してある。
まず、入力画像３０１と、予め用意された背景画像３０２がある。差分器３０３は、入力画像３０１と背景画像３０２との画素毎の差分を計算し、差分画像３０４を算出する。ここで、入力画像３０１に映る人型の物体（検出すべき物体）３１１は、差分画像３０４中で、差分が生じた領域３１２として検出される。次に、二値化器３０５は、差分画像３０４の各画素の値と所定のしきい値（例えば、１画素８ビットを仮定して、しきい値２０）とを比較し、しきい値以上の画素の値を“２５５”とする一方でしきい値未満の画素の値を“０”とする変換を行う。これにより、二値化画像３０６が得られる。ここで、差分画像３０４で差分が生じた領域３１２は、二値化された画素（検出された物体）３１３として検出され、更にラベリングなどの処理によって、二値化された画素のかたまりを番号付けすることで、検出された物体が存在する領域３１４が得られる。
As an example of a method for automatically detecting a predetermined object in such an input image, a method called a difference method has been conventionally used.
With reference to FIG. 12, the basic process of the difference method will be described.
FIG. 12 shows an example of an outline of the object detection method based on the difference method.
First, there are an
このような監視装置では、撮像された入力画像中で、いずれの領域に存在する物体を検出すべき物体とするかという情報（領域情報）を予め設定する必要がある。従来の監視装置では、このような領域設定を行うために、入力画像を表示装置に表示し、例えば人がマウス等の指示装置を用いて、多角形の頂点を表示画面中で設定することで所望の領域を指定する。 In such a monitoring apparatus, it is necessary to set in advance information (region information) as to whether an object existing in which region is to be detected in the captured input image. In the conventional monitoring device, in order to perform such area setting, an input image is displayed on a display device, and for example, a person uses a pointing device such as a mouse to set a polygon vertex on the display screen. Specify the desired area.
図１３（ａ）及び図１３（ｂ）を参照して、このような領域設定の様子を説明する。
図１３（ａ）には、撮像装置による入力画像３２１の一例を示してあり、建物３２２が映っている。
図１３（ｂ）には、図１３（ａ）に示される入力画像３２１において指定されて設定された多角形の監視領域３３１を示してある。
例えば、入力画像３２１中の建物３２２に近づく物体を検出する場合には、図１３（ｂ）に示されるように、入力画像３２１に対して所定の指示装置を用いて、例えば多角形３３１のような領域（図１３（ｂ）中の点線部分）を指定する。このようにして指定された多角形３３１の中に、上述した差分法などのような方法で物体が検出されるか否かを判断することにより、建物３３２に近づく物体を検出することができる。
With reference to FIG. 13A and FIG. 13B, the state of such region setting will be described.
FIG. 13A shows an example of an
FIG. 13B shows a
For example, when an object approaching the
また、上述した監視装置を撮像装置の位置や角度などが異なる条件で複数台配置することにより、監視精度の向上や監視範囲の拡大などを実現する監視方法も、従来より用いられている。
図１及び図５（ａ）〜図５（ｃ）を参照して、このような監視方法を説明する。なお、図１及び図５（ａ）〜図５（ｃ）は、後述する本発明に係る実施例で参照されるものであるが、ここでは、本発明を不要に限定する意図は無い。
図１には、監視領域を地面に垂直な方向から見下ろした見取り図１０１の一例が示されている。
本例では、３台の監視装置を用いて、多角形の監視領域１１４に侵入する物体を監視することを想定する。図１に示されるように配置された撮像装置１１１、撮像装置１１２、撮像装置１１３を用いて領域を撮像する。
In addition, a monitoring method that improves the accuracy of monitoring and expands the monitoring range by arranging a plurality of the above-described monitoring devices under conditions where the positions and angles of the imaging devices are different has been conventionally used.
Such a monitoring method will be described with reference to FIGS. 1 and 5A to 5C. 1 and 5 (a) to 5 (c) are referred to in examples according to the present invention described later, but there is no intention to unnecessarily limit the present invention here.
FIG. 1 shows an example of a
In this example, it is assumed that an object entering the
図５（ａ）、図５（ｂ）、図５（ｃ）には、それぞれ、撮像装置１１１、撮像装置１１２、撮像装置１１３により撮像される映像（入力画像）１２１、１３１、１４１の一例が示されている。
このような監視方法では、それぞれの映像（入力画像）について、領域情報を多角形１２２、１３２、１４２のように指定して、差分法によって指定領域に侵入する物体の自動検出をそれぞれの監視装置で行う。それぞれの監視装置による検出結果を見ることで、１台の監視装置で監視するよりも、全体的な監視領域の死角を少なくして、広範囲での監視を実現することができる。
5A, 5B, and 5C show examples of video images (input images) 121, 131, and 141 captured by the
In such a monitoring method, for each video (input image), area information is designated as
しかしながら、上述の方法により所望の領域を指定する作業は、当然に撮像装置を配置する場所や角度などによって映像上の領域の見え方が異なってくるため、使用する監視装置を追加したり或いは監視装置の場所や角度などを変更したりする毎に、新たに領域を指定しなければならないという問題があった。
領域の設定作業は、例えば、撮像装置から離れている場所（例えば、画像の上部）ほど撮像装置に近い場所（例えば、画像の下部）と比較して建物等の見かけの大きさが小さくなるため、撮像装置から離れている場所への設定作業は細かく困難な作業となるなどのように、熟練性と時間を要する作業である。このような作業が、監視装置（撮像装置）の数を増やすことや撮像装置の位置などを変更することに伴って必要となることは、監視装置の利用者にとって大きな負担となっていた。
However, in the operation of designating a desired area by the above-described method, since the appearance of the area on the image varies depending on the location and angle of the imaging device, the monitoring device to be used is added or monitored. There is a problem that a new area has to be designated every time the location or angle of the apparatus is changed.
In the area setting operation, for example, the apparent distance of a building or the like is smaller in a place farther from the imaging device (for example, the upper portion of the image) than in a location closer to the imaging device (for example, the lower portion of the image). The work for setting the place away from the imaging device is a work that requires skill and time, such as a detailed and difficult work. It is a heavy burden on the user of the monitoring device that such work is required in association with increasing the number of monitoring devices (imaging devices) or changing the position of the imaging device.
このように、従来の監視装置や領域設定方法においては、撮像装置により得られる入力画像に対して領域設定が必要となるが、その設定作業はカメラからの距離によって見かけの大きさが変わる画像上で１つ乃至はそれ以上の領域情報を設定しなけれならないという困難な作業である上、複数の監視装置を用いた監視を行う場合には、全ての監視装置について同様な領域情報の設定が必要となり、作業量が大幅に増えるという問題があった。また、撮像装置の場所や角度などを変えるなどのように監視装置の運用方法を変更する場合においても、再度、領域の設定作業を行わなければならないという問題があった。
また、設定する情報としては、領域の情報に限られず、例えば、検出対象とする物体に関する情報などもあり、設定作業の負担が大きかった。
As described above, in the conventional monitoring apparatus and area setting method, area setting is required for the input image obtained by the imaging apparatus. However, the setting operation is performed on an image whose apparent size changes depending on the distance from the camera. In addition, it is a difficult task to set one or more area information, and when monitoring using a plurality of monitoring devices, it is necessary to set the same region information for all the monitoring devices. As a result, there was a problem that the amount of work increased significantly. Further, even when the operation method of the monitoring device is changed, such as changing the location or angle of the imaging device, there is a problem that the region setting operation must be performed again.
Further, the information to be set is not limited to the information on the area, but includes information on an object to be detected, for example, and the burden of setting work is large.
本発明は、このような従来の事情に鑑み為されたもので、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる画像処理装置を提供することを目的とする。 The present invention has been made in view of such conventional circumstances. For example, even when a plurality of imaging devices having different arrangements are used or when the arrangement of the imaging devices is changed, imaging is performed by the imaging device. An object of the present invention is to provide an image processing apparatus capable of reducing the work load required for setting information such as an area for an image to be processed.
上記目的を達成するため、本発明では、画像を処理する画像処理装置において、次のような構成とした。
すなわち、表示手段が、撮像装置による撮像時の座標系である第１の座標系（カメラ座標系）の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系（シーン座標系）の画像へ変換された当該画像（第２の座標系の画像）を表示する。受付手段が、前記表示手段により表示された画像に関する設定情報をユーザから受け付ける。座標系変換手段が、前記受付手段により受け付けられた設定情報を、第２の座標系の情報から、撮像装置の配置によらない基準となる平面上に設けられた第３の座標系（ワールド座標系）の情報へ変換する。
In order to achieve the above object, in the present invention, an image processing apparatus for processing an image has the following configuration.
In other words, the display means has the second coordinates provided on the plane on which the image of the first coordinate system (camera coordinate system), which is the coordinate system at the time of imaging by the imaging device, is based on the arrangement of the imaging device. The image (second coordinate system image) converted into an image of the system (scene coordinate system) is displayed. The accepting means accepts setting information related to the image displayed by the display means from the user. The coordinate system converting means converts the setting information received by the receiving means from the information of the second coordinate system to a third coordinate system (world coordinate system) provided on a reference plane that does not depend on the arrangement of the imaging device. System) information.
従って、各撮像装置の配置に応じた画像を見ることができて遠近による見かけ上の大きさの違いが無い第２の座標系の画像を見て、ユーザ（人）により設定情報を入力することにより、ユーザにとって設定情報の設定を感覚的に（例えば、視覚的に）分かり易く容易に行うことができ、また、第２の座標系の設定情報が撮像装置の配置によらない第３の座標系の設定情報へ変換されることにより、配置が異なる撮像装置においても設定情報の共有を可能とすることができる。
これにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。また、撮像装置を追加する場合や、設定情報を追加或いは変更する場合などにおいても、設定情報を効率的に設定することができる。
Therefore, the user (person) inputs setting information by looking at the image of the second coordinate system in which an image corresponding to the arrangement of each imaging device can be seen and there is no difference in apparent size depending on perspective. Thus, the setting information can be easily and intuitively understood (for example, visually) for the user, and the second coordinate system setting information does not depend on the arrangement of the imaging device. By converting into system setting information, it is possible to share setting information even in imaging apparatuses having different arrangements.
Thereby, for example, even when a plurality of imaging devices having different arrangements are used or when the arrangement of the imaging devices is changed, the burden of work required for setting information such as an area for an image captured by the imaging device Can be reduced. Also, the setting information can be set efficiently when an imaging device is added, or when setting information is added or changed.
ここで、画像処理装置の構成としては、種々な構成が用いられてもよく、例えば、複数の撮像装置がそれぞれの配置で設置されるような場合に、各撮像装置毎に異なる処理装置（例えば、監視装置）を設けて、これら複数の処理装置を用いて画像処理装置を構成するようなことができ、或いは、複数の撮像装置を１つの処理装置で管理する構成として、この処理装置を画像処理装置とみなすようなことができる。また、撮像装置やその処理装置（例えば、監視装置）ばかりでなく、処理装置とは別体の記憶装置や、処理装置とは別体の表示装置や、処理装置とは別体のサーバ装置などを画像処理装置に含めて構成するようなこともできる。 Here, various configurations may be used as the configuration of the image processing device. For example, when a plurality of imaging devices are installed in respective arrangements, different processing devices (for example, each imaging device) The image processing apparatus can be configured by using the plurality of processing apparatuses, or the processing apparatus can be configured as a configuration in which the plurality of imaging apparatuses are managed by one processing apparatus. It can be regarded as a processing device. In addition to the imaging device and its processing device (for example, a monitoring device), a storage device separate from the processing device, a display device separate from the processing device, a server device separate from the processing device, etc. Can be included in the image processing apparatus.
また、画像処理装置が複数の装置から構成される場合には、それぞれの装置に任意の機能手段が備えられてもよく、異なる装置の間で情報の受け渡しが必要な場合には当該異なる装置の間でその情報が通信（入出力）される。
なお、画像を撮像する撮像装置としては、例えば、画像処理装置に備えられてもよく、或いは、画像処理装置の外部に備えられて、撮像装置により撮像された画像が画像処理装置に入力されてもよい。
In addition, when the image processing apparatus is composed of a plurality of apparatuses, each apparatus may be provided with an arbitrary functional unit. When it is necessary to exchange information between different apparatuses, The information is communicated (input / output).
In addition, as an imaging device which images an image, for example, the image processing device may be provided, or an image processing device provided outside the image processing device and input by the imaging device is input to the image processing device. Also good.
また、画像の処理としては、種々な処理が行われてもよく、一例として、画像に映る所定の対象を検出する処理を行うことができる。また、このような画像処理は、任意の座標系で行われてもよい。一例として、ワールド座標系上で設定情報や撮像装置の配置情報を表示させると、複数の設定情報や複数の撮像装置があるような場合に、これらを人にとって視覚的に一括して把握し易くすることができる。 In addition, various types of processing may be performed as image processing. For example, processing for detecting a predetermined target in an image can be performed. Such image processing may be performed in an arbitrary coordinate system. As an example, when setting information and arrangement information of an imaging device are displayed on the world coordinate system, when there are a plurality of setting information and a plurality of imaging devices, it is easy for a person to grasp them visually and collectively. can do.
また、撮像装置の配置としては、例えば、設置される位置や、視点の方向（例えば、設置状態において撮像する角度）がある。
また、位置の情報としては、例えば、緯度や経度などのように絶対的な位置の情報を用いることもでき、或いは、１つの撮像装置などの位置を基準として相対的な位置の情報を用いることもできる。
Further, the arrangement of the imaging device includes, for example, an installation position and a viewpoint direction (for example, an imaging angle in the installation state).
Also, as position information, for example, absolute position information such as latitude and longitude can be used, or relative position information is used with reference to the position of one imaging device or the like. You can also.
また、撮像時の座標系である第１の座標系（カメラ座標系）としては、例えば、撮像装置（例えば、カメラ）の視点で見た座標系が用いられる。
また、基準となる平面上に設けられた第２の座標系（シーン座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第２の座標系は、撮像装置の配置に依存して異なり得る。
また、基準となる平面上に設けられた第３の座標系（ワールド座標系）としては、例えば、地面の平面を基準となる平面として、当該平面（地面）に対して真上から見た座標系が用いられる。第３の座標系は、撮像装置の配置に依存せずに一定である。
Further, as a first coordinate system (camera coordinate system) that is a coordinate system at the time of imaging, for example, a coordinate system viewed from the viewpoint of an imaging device (for example, a camera) is used.
Further, as the second coordinate system (scene coordinate system) provided on the reference plane, for example, the ground plane is used as a reference plane, and the coordinates viewed from directly above the plane (ground) are used. A system is used. The second coordinate system may be different depending on the arrangement of the imaging device.
In addition, as a third coordinate system (world coordinate system) provided on the reference plane, for example, the ground plane is used as a reference plane, and coordinates viewed from directly above the plane (ground) are used. A system is used. The third coordinate system is constant without depending on the arrangement of the imaging device.
なお、基準となる平面の座標系（第２の座標系や第３の座標系）は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、一例として、地面を真上から見た当該地面の平面が用いられるが、地面は完全には平らではないことや、必ずしも完全に地面の平面にしなくてもよい場合もあることなどから、実用上で有効な程度で、ずれがあってもよい。
具体例として、第２の座標系は、撮像装置毎に、設置位置を原点として、高さ方向をｚ軸として、初期的な視点方向（或いは、雲台の方向などのように所定の方向）に応じて予め決められた直交するｘ軸及びｙ軸から構成され、また、第３の座標系は、高さ方向をＺ軸として、予め決められた直交するＸ軸及びＹ軸から構成される。
Note that the reference plane coordinate system (second coordinate system or third coordinate system) is set in advance by the user and stored in the memory of the image processing apparatus, for example. As a reference plane, for example, the ground plane viewed from directly above the ground is used. However, the ground plane is not completely flat or may not necessarily be completely ground plane. For some reasons, there may be a deviation in a practically effective level.
As a specific example, the second coordinate system is an initial viewpoint direction (or a predetermined direction such as a pan head direction) with the installation position as the origin and the height direction as the z-axis for each imaging device. The third coordinate system is composed of a predetermined orthogonal X-axis and Y-axis with the height direction as the Z-axis. .
また、第１の座標系（カメラ座標系）と第２の座標系（シーン座標系）との座標変換は、例えば、撮像装置（例えば、カメラ）の設置状況や撮像状況に応じたパラメータを用いて行うことができる。
また、第２の座標系（シーン座標系）と第３の座標系（ワールド座標系）とは、例えば、同一の基準となる平面上に設けられるため、これらの座標変換は、回転や平行移動により行うことができる。具体的には、第２の座標系の原点と第３の座標系の原点との差異（位置の差異）を補正するために平行移動し、第２の座標系の平面上の座標軸（例えば、直交するｘ軸及びｙ軸）と第３の座標系の平面上の座標軸との差異（角度の差異）を補正するために回転する。なお、第２の座標系と第３の座標系とで、基準となる平面が異なっていて平行である（つまり、高さ方向のみ異なる）場合には、高さ方向の移動の処理を加えて、これらの座標変換を行うことができる。
また、必要に応じて、第１の座標系と第３の座標系との間で直接的に座標変換が行われてもよい。
The coordinate conversion between the first coordinate system (camera coordinate system) and the second coordinate system (scene coordinate system) uses, for example, parameters according to the installation status and imaging status of the imaging device (for example, camera). Can be done.
Further, since the second coordinate system (scene coordinate system) and the third coordinate system (world coordinate system) are provided on the same reference plane, for example, these coordinate transformations can be performed by rotation or parallel movement. Can be performed. Specifically, in order to correct the difference (positional difference) between the origin of the second coordinate system and the origin of the third coordinate system, the coordinate axis on the plane of the second coordinate system (for example, In order to correct the difference (angle difference) between the coordinate axes on the plane of the third coordinate system and the orthogonal coordinate axes x and y). When the second coordinate system and the third coordinate system have different reference planes and are parallel (that is, only the height direction is different), a process for moving in the height direction is added. These coordinate transformations can be performed.
Further, if necessary, coordinate conversion may be directly performed between the first coordinate system and the third coordinate system.
具体的には、画像処理装置では、例えば、設定された基準となる平面の座標系（第２の座標系や第３の座標系）と、設置された撮像装置（例えば、カメラ）の配置や焦点距離などに基づく座標系（第１の座標系）との間で、変換式（数式）などを用いて、直接的に或いは間接的に、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、例えば、ユーザにより画像処理装置に設定されてもよく、或いは、画像処理装置が撮像装置などからの情報に基づいて（自動的に）検出してもよく、或いは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。
Specifically, in the image processing apparatus, for example, the arrangement of a plane coordinate system (second coordinate system or third coordinate system) serving as a set reference and an installed imaging apparatus (for example, a camera) It is possible to perform coordinate conversion with each other directly or indirectly using a conversion formula (formula) or the like with a coordinate system (first coordinate system) based on a focal length or the like.
Information such as the arrangement and focal length of the imaging device may be set in the image processing device by a user, or may be detected (automatically) based on information from the imaging device or the like. Alternatively, the image processing apparatus may control the arrangement and focal length of the imaging device, and information such as the arrangement and focal length of the imaging device realized by the control may be used.
また、ユーザにより入力される情報を受け付ける手段としては、例えば、ユーザにより操作されるマウスやキーボードなどの操作部を用いて構成することができる。
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第２の座標系（或いは、他の構成例として、他の座標系）の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。
The means for receiving information input by the user can be configured using an operation unit such as a mouse or a keyboard operated by the user, for example.
In addition, as an aspect of receiving information input by the user, for example, the user can operate the operation unit while viewing an image of the second coordinate system (or another coordinate system as another configuration example) displayed on the screen. By using a mode in which information can be input by operating, or a mode in which information such as area, size, length, and numerical values received from the user is displayed on the screen, convenience is provided to the user. It is possible to increase.
また、画像を表示する手段としては、例えば、画面に画像を表示出力する表示装置を用いて構成することができる。
また、ユーザから受け付ける設定情報としては、種々な情報が用いられてもよく、例えば、画像を処理する際に使用されるパラメータなどの数値や各種の条件の情報を用いることができる。
Moreover, as a means to display an image, it can comprise using the display apparatus which displays and outputs an image on a screen, for example.
Various information may be used as setting information received from the user. For example, numerical values such as parameters used when processing an image and information on various conditions can be used.
本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第３の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第２の座標系の情報へ変換する。
また、当該画像処理装置では、変換情報設定手段が、前記座標系変換手段により変換された情報（第２の座標系の設定情報）を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する。
The image processing apparatus according to the present invention has the following configuration as one configuration example.
That is, the coordinate system conversion unit corresponds to the setting information of the third coordinate system acquired based on the image captured by one imaging device having a predetermined arrangement, in an arrangement different from the predetermined arrangement. Conversion into information of the second coordinate system.
Further, in the image processing apparatus, the conversion information setting unit is configured to convert the information (second coordinate system setting information) converted by the coordinate system conversion unit into the one image pickup having an arrangement different from the predetermined arrangement. The setting is made with respect to an image obtained by an imaging device different from the device or the one imaging device whose arrangement is changed.
従って、第３の座標系の設定情報を取得して、その情報を任意の配置（撮像装置の配置）に対応した第２の座標系の情報へ変換することにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。 Therefore, by acquiring setting information of the third coordinate system and converting the information into information of the second coordinate system corresponding to an arbitrary arrangement (arrangement of the imaging device), for example, a plurality of pieces having different arrangements Even when the image pickup apparatus is used or when the arrangement of the image pickup apparatus is changed, it is possible to reduce a burden of work required for setting information such as a region for an image picked up by the image pickup apparatus.
ここで、ある撮像装置により撮像された画像に基づいて取得された設定情報を、異なる配置を有する同一又は異なる撮像装置により得られる画像に関して設定する態様としては、その設定情報と同等な設定情報がその画像の処理で使用されるようにする態様が用いられ、例えば、その画像を処理する処理装置（例えば、監視装置）にその設定情報と同等な設定情報が設定されるようにする。 Here, as an aspect of setting setting information acquired based on an image captured by a certain imaging device with respect to images obtained by the same or different imaging devices having different arrangements, setting information equivalent to the setting information is included. For example, the setting information equivalent to the setting information is set in a processing device (for example, a monitoring device) that processes the image.
また、ここでは、第３の座標系の設定情報を第２の座標系の設定情報へ変換して設定する場合を示したが、他の構成例として、第３の座標系の設定情報を（例えば、第２の座標系を経由して）第１の座標系の情報へ変換して設定するような態様が用いられてもよい。
通常、第２の座標系の設定情報が設定される場合には、その設定情報を用いて第２の座標系の画像が処理され、また、第１の座標系の設定情報が設定される場合には、その設定情報を用いて第１の座標系の画像が処理される。また、第３の座標系の設定情報を用いて第３の座標系の画像が処理されてもよい。
In addition, here, the setting information of the third coordinate system is converted into the setting information of the second coordinate system and set. However, as another configuration example, the setting information of the third coordinate system is ( For example, an aspect may be used in which the information is converted into the information of the first coordinate system and set (via the second coordinate system).
Usually, when setting information of the second coordinate system is set, an image of the second coordinate system is processed using the setting information, and setting information of the first coordinate system is set The image of the first coordinate system is processed using the setting information. Further, the third coordinate system image may be processed using the setting information of the third coordinate system.
本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記画像に関する設定情報として、監視する領域を指定する情報、又は、検出の対象に関する情報、のうちの少なくとも一方が用いられる。
従って、これらの情報を、異なる配置を有する同一又は異なる撮像装置の間で共有することができる。
The image processing apparatus according to the present invention has the following configuration as one configuration example.
That is, at least one of information specifying a region to be monitored and information regarding a detection target is used as the setting information regarding the image.
Therefore, these pieces of information can be shared between the same or different imaging devices having different arrangements.
ここで、監視する領域としては、種々な領域が用いられてもよく、例えば、画像に映る対象を検出する領域を用いることができる。
また、検出の対象としては、例えば、画像に映る所定の物体などを用いることができる。
また、検出の対象に関する情報としては、種々な情報が用いられてもよく、例えば、対象の大きさや幅や高さや長さなどに関する閾値の情報を用いることができる。一例として、対象の大きさ等がその閾値以上である場合（又は、その閾値以下や、ある範囲（範囲を表す閾値）内などでもよい）に、その対象を検出するような処理を行うことができる。
また、画像に関する設定情報としては、これらに限られず、種々なものが用いられてもよい。
Here, various areas may be used as the area to be monitored. For example, an area for detecting an object shown in an image can be used.
As a detection target, for example, a predetermined object shown in an image can be used.
Various information may be used as the information regarding the detection target. For example, threshold information regarding the size, width, height, length, and the like of the target can be used. As an example, when the size or the like of the target is equal to or greater than the threshold (or may be equal to or smaller than the threshold or within a certain range (threshold indicating the range)), a process for detecting the target may be performed. it can.
Further, the setting information regarding the image is not limited to these, and various types of information may be used.
なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、当該コンピュータを各種の手段として機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理（手順）を当該コンピュータに実行させる。
The present invention can also be provided as a method, a program, a recording medium, and the like.
In the method according to the present invention, each unit executes various processes in the apparatus or system.
The program according to the present invention is executed by a computer constituting the apparatus or system, and causes the computer to function as various means.
In the recording medium according to the present invention, a program to be executed by a computer constituting an apparatus or system is recorded so as to be readable by input means of the computer, and the program executes various processes (procedures) on the computer. Let
以上説明したように、本発明に係る画像処理装置によると、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。 As described above, according to the image processing device of the present invention, for example, even when a plurality of imaging devices having different arrangements are used or when the arrangement of the imaging devices is changed, images are taken by the imaging device. It is possible to reduce the work burden required for setting information such as an area for an image.
本発明に係る実施例を図面を参照して説明する。 Embodiments according to the present invention will be described with reference to the drawings.
本発明の第１実施例を説明する。
本例では、少なくとも１台（１台以上）の監視装置を用いて監視を行う監視システムの例を示す。
図１には、本例の監視システムで監視を行う監視領域並びにその周辺の見取り図１０１の一例を示してある。この見取り図１０１は、監視領域を地面に垂直な方向から見下ろしたものである。
具体的には、道路や建物や空き地があり、第１の監視装置に備えられた第１の撮像装置１１１の配置（位置や方向）と、第２の監視装置に備えられた第２の撮像装置１１２の配置と、第３の監視装置に備えられた第３の撮像装置１１３の配置と、建物の付近に設定された多角形の監視領域１１４が示されている。
A first embodiment of the present invention will be described.
In this example, an example of a monitoring system that performs monitoring using at least one (one or more) monitoring device is shown.
FIG. 1 shows an example of a layout diagram 101 of the monitoring area monitored by the monitoring system of this example and its surroundings. This
Specifically, there are roads, buildings, and vacant lots, the arrangement (position and direction) of the
図２には、本例の監視システムの構成例を示してある。
本例の監視システム１は、３台の監視装置１１、１２、１３（第１の監視装置１１、第２の監視装置１２、第３の監視装置１３）を備えており、これらがネットワーク１４で接続されている。
各監視装置１１、１２、１３は、本例では、監視の対象となる領域を撮像して領域内に進入する物体を自動検出する装置であり、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のプロトコルを使用するネットワーク１４を介してそれぞれ接続され、それぞれの監視装置１１、１２、１３で異なる位置や角度やレンズの焦点距離などによって監視を行っている。各監視装置１１、１２、１３における撮像装置１１１、１１２、１１３は、それぞれ、図１に示されるように配置されている。
FIG. 2 shows a configuration example of the monitoring system of this example.
The monitoring system 1 of this example includes three
In the present example, each of the
図３には、監視装置１１の構成例を示してある。なお、本例では、他の監視装置１２、１３の構成や動作についても、監視装置１１の構成や動作と同様である。
本例の監視装置１１は、例えばカメラを用いて構成された撮像装置２１と、映像入力回路２２と、画像処理プロセッサ２３と、プログラムメモリ２４と、ワークメモリ２５と、例えば直接的に或いはネットワーク１４などを介して間接的に外部の装置と接続される外部Ｉ／Ｆ回路２６と、映像出力回路２７と、例えば表示画面を有する表示装置２８と、例えば人により操作されるキーボードやマウスなどを有する入力装置２９と、入力回路３０と、例えばメモリを用いて構成された記憶装置３１と、データバス３２を備えている。映像入力回路２２と画像処理プロセッサ２３とプログラムメモリ２４とワークメモリ２５と外部Ｉ／Ｆ回路２６と映像出力回路２７と入力回路３０と記憶装置３１は、データバス３２に接続されている。
なお、撮像装置２１の構成としては、例えば、従来より知られる技術として、撮像装置２１の制御のための装置や、各種の外部記録装置等の構成要素を持つものも存在するが、本例では、説明を簡単にするために、それらについては図示や詳しい説明を省略する。
FIG. 3 shows a configuration example of the
The
The configuration of the
本例の監視装置１１において行われる動作の一例を示す。
撮像装置２１は監視の対象となる領域を撮像する。撮像装置２１により撮像された映像（入力画像）は、映像入力回路２２を介して、ワークメモリ２５に記録される。
画像処理プロセッサ２３は、プログラムメモリ２４に記録されているプログラムに従って、ワークメモリ２５内に記録された入力画像を処理（例えば、物体検出処理）し、その処理結果を映像出力回路２７を介して表示装置２８に表示する。また、画像処理プロセッサ２３は、物体検出処理以外にも、各種の処理を実行する。
An example of the operation performed in the
The
The
また、画像処理プロセッサ２３は、外部Ｉ／Ｆ回路２６から入力される指示又は入力装置２９から入力回路３０を介して入力される指示に基づいて前記プログラムのパラメータを変更や修正しながら、前記入力画像の処理などを行う。ここで、このような指示としては、例えば、入力装置２９又は外部Ｉ／Ｆ回路２６を介して接続された入力機能を持つ外部装置を使ったオペレータ（人）からの指示が用いられる。
記憶装置３１は、監視を所望する領域の情報などの保持や、監視装置１１により出力された監視結果の情報などの保存を行う。なお、領域情報などはワークメモリ２５内にも記録されてもよい。
Also, the
The
図４には、画像処理プロセッサ２３により実行されるプログラムの処理のフローの一例を示してある。
なお、図４では、説明を分かり易くするために、処理のステップＳ１〜Ｓ９以外に、ワークメモリ２５（或いは、記憶装置３１など）に記録される背景画像Ｔ１及び領域情報Ｔ２と、表示装置２８と、入力装置２９（或いは、外部Ｉ／Ｆ回路２６を介する監視装置１１の外部からの入力機能でもよい）と、記憶装置３１（或いは、外部Ｉ／Ｆ回路２６を介する監視装置１１の外部にある記憶装置でもよい）を示してある。また、図４において、点線で示す矢印は、データの流れを表している。
FIG. 4 shows an example of the processing flow of the program executed by the
In FIG. 4, in order to make the explanation easy to understand, in addition to the processing steps S <b> 1 to S <b> 9, the background image T <b> 1 and the region information T <b> 2 recorded in the work memory 25 (or the storage device 31), And an input device 29 (or an input function from outside the
まず、画像入力処理ステップでは、撮像装置２１で撮像した映像（画像）を、映像入力回路２２を介してワークメモリ２５へ転送する処理を行う（ステップＳ１）。
次に、設定判定処理ステップでは、入力装置２９からオペレータの設定指示があるか否かを判定し、このような設定指示があった場合には領域設定処理ステップ（ステップＳ９）へ分岐し、このような設定指示がなかった場合には差分処理ステップ（ステップＳ３）へ分岐する（ステップＳ２）。
ここで、入力装置２９からの領域の設定に関する指示は、例えば、領域情報としてオペレータなどが任意の情報を指定することや、或いは、記憶装置３１に予め記録された領域情報を参照することにより実現する。
First, in the image input processing step, a process of transferring a video (image) captured by the
Next, in the setting determination processing step, it is determined whether or not there is an operator setting instruction from the
Here, the instruction regarding the setting of the area from the
差分処理ステップでは、画像入力処理ステップ（ステップＳ１）で入力された入力画像（図１２では、入力画像３０１）とワークメモリ２５内に記録されている背景画像Ｔ１（図１２では、背景画像３０２）との画素毎の差分を計算して、差分画像（図１２では、差分画像３０４）を得る（ステップＳ３）。
次に、二値化処理ステップでは、差分画像の各画素の値と所定のしきい値（例えば、１画素８ビットを仮定して、しきい値２０）とを比較し、しきい値以上の画素の値を“２５５”とする一方でしきい値未満の画素の値を“０”とする変換を行う（ステップＳ４）。これにより、二値化画像（図１２では、二値化画像３０６）を得る。
In the difference processing step, the input image (
Next, in the binarization processing step, the value of each pixel of the difference image is compared with a predetermined threshold value (for example, a threshold value 20 assuming 8 bits per pixel), Conversion is performed in which the pixel value is set to “255” and the pixel value less than the threshold value is set to “0” (step S4). Thereby, a binarized image (
次に、ラベリング処理ステップでは、二値化画像中の画素値“２５５”の画素のかたまりに番号を付け、各かたまり毎を区別して処理できるようにする（ステップＳ５）。
次に、背景更新処理ステップでは、画像入力処理ステップ（ステップＳ１）で得られた入力画像を用いてワークメモリ２５内に記録している背景画像Ｔ１を更新する（ステップＳ６）。
ここで、背景画像の更新としては、例えば、背景画像Ｔ１と入力画像の画素毎の移動平均などの方法を用いて新しい背景画像Ｔ１を作成することができ、これにより、監視環境の天候変化などによる照度変化に追従して、背景画像Ｔ１を常に最新の状態に保つことができる。
Next, in the labeling processing step, a number is assigned to the cluster of pixels having the pixel value “255” in the binarized image so that each cluster can be distinguished and processed (step S5).
Next, in the background update processing step, the background image T1 recorded in the
Here, as the update of the background image, for example, a new background image T1 can be created by using a method such as moving average for each pixel of the background image T1 and the input image. The background image T1 can always be kept up-to-date following the change in illuminance due to the above.
次に、領域判定処理ステップでは、ワークメモリ２５内に記録された領域情報Ｔ２に基づいて、例えば、指定された領域内に二値化画像のラベリング処理したかたまりが存在するか否かを判定して、存在する場合には、当該かたまりを侵入物体であると判断する（ステップＳ７）。
次に、処理結果表示ステップでは、領域判定処理ステップ（ステップＳ７）の判定結果を、例えば表示装置２８の画面に表示する（ステップＳ８）。この処理結果表示ステップの処理が終了すると、画像入力処理ステップ（ステップＳ１）へ分岐する。
Next, in the area determination processing step, based on the area information T2 recorded in the
Next, in the processing result display step, the determination result of the region determination processing step (step S7) is displayed, for example, on the screen of the display device 28 (step S8). When the processing result display step is completed, the process branches to the image input processing step (step S1).
一方、上記した設定判定処理ステップ（ステップＳ２）において入力装置２９によってオペレータなどからの設定指示があったと判定された場合に分岐される領域設定処理ステップでは、領域情報Ｔ２の設定を行う（ステップＳ９）。
なお、本例では、領域情報Ｔ２の設定について示したが、例えば、物体検出に関する他の情報が設定されてもよい。
On the other hand, in the above-described setting determination processing step (step S2), in the region setting processing step that is branched when it is determined that there is a setting instruction from the operator or the like by the
In this example, the setting of the region information T2 has been described. However, for example, other information related to object detection may be set.
ここで、図５（ａ）〜図５（ｆ）を参照して、領域設定処理の流れを説明する。
図５（ａ）には、画像入力処理ステップ（ステップＳ１）において第１の撮像装置１１１（図３では、撮像装置２１）により撮像された入力画像１２１の一例を示してある。また、多角形の監視領域（点線）１２２の一例を示してある。
図５（ｂ）には、画像入力処理ステップ（ステップＳ１）において第２の撮像装置１１２（図３では、撮像装置２１）により撮像された入力画像１３１の一例を示してある。また、多角形の監視領域（点線）１３２の一例を示してある。
図５（ｃ）には、画像入力処理ステップ（ステップＳ１）において第３の撮像装置１１３（図３では、撮像装置２１）により撮像された入力画像１４１の一例を示してある。また、多角形の監視領域（点線）１４２の一例を示してある。
Here, the flow of the region setting process will be described with reference to FIGS. 5 (a) to 5 (f).
FIG. 5A shows an example of the input image 121 captured by the first imaging device 111 (the
FIG. 5B shows an example of the
FIG. 5C shows an example of the
図５（ｄ）には、第１の監視装置について、第１の撮像装置１１１の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１２１を撮像装置１１１が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１５１の一例を示してある。また、監視領域（点線）１５２の一例を示してある。
図５（ｅ）には、第２の監視装置について、第２の撮像装置１１２の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１３１を撮像装置１１２が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１６１の一例を示してある。
図５（ｆ）には、第３の監視装置について、第３の撮像装置１１３の位置や撮像角度や焦点距離などの情報に基づいて、入力画像１４１を撮像装置１１３が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像１７１の一例を示してある。
FIG. 5D shows the input image 121 with respect to the ground on which the
FIG. 5E shows an
In FIG. 5F, the
本例では、領域設定処理は、最初に、撮像装置１１１、１１２、１１３の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１２１、１３１、１４１を、撮像装置１１１、１１２、１１３の位置や撮像角度などに依存するシーン座標系で表現されたシーン画像１５１、１６１、１７１へ変換し、そして、シーン座標系上に表現されたシーン画像（例えば、シーン画像１５１）上で所望する監視領域１５２を設定することで実現する。この場合、各撮像装置１１１、１１２、１１３毎に、その位置や撮像角度に応じて見える画像を用いて、監視領域を設定することができるため、人にとって監視領域の設定が感覚的に分かり易く容易となり、また、遠近による見かけ上の大きさの違いも無く設定を行い易い。なお、この場合、監視領域の設定作業は、例えば、表示装置２８の画面に表示されたシーン座標系のシーン画像を人が見ながら行われる。
また、この場合、シーン座標系で設定された領域情報は、ワールド座標系の情報へ変換されて記憶される。
In this example, in the area setting process, first, the
In this case, the area information set in the scene coordinate system is converted into information in the world coordinate system and stored.
他の例として、領域設定処理は、最初に、撮像装置１１１、１１２、１１３の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像１２１、１３１、１４１を、撮像装置１１１、１１２、１１３の位置や撮像角度などに依存せずに常に座標軸が一定となるワールド座標系で表現できるシーン画像（シーン画像１５１、１６１、１７１に対応するもの）へ変換し、そして、ワールド座標系上に表現したシーン画像（例えば、シーン画像１５１に対応するもの）上で所望する監視領域（監視領域１５２に対応するもの）を設定することで実現する。なお、この場合、監視領域の設定作業は、例えば、表示装置２８の画面に表示されたワールド座標系のシーン画像を人が見ながら行われる。
As another example, in the region setting process, first,
ここで、どのような条件で撮像された入力画像についても、シーン座標系又はワールド座標系のシーン画像へ変換すれば全て同一のワールド座標系で表現することが可能であるため、シーン座標系上又はワールド座標系上で設定した監視領域（例えば、監視領域１５２に対応するもの）を、同じ領域を一部分でも撮像する全ての監視装置に対して適用することができる利点がある。 Here, any input image captured under any conditions can be expressed in the same world coordinate system if converted to a scene image in the scene coordinate system or the world coordinate system. Alternatively, there is an advantage that a monitoring area set on the world coordinate system (for example, one corresponding to the monitoring area 152) can be applied to all monitoring apparatuses that capture even a part of the same area.
次に、カメラ座標系の座標とワールド座標系の座標との間の変換処理方法の一例を示す。本例では、この変換処理は、例えば、画像処理プロセッサ２３により行われる。
なお、本例では、カメラ座標系からワールド座標系への直接的な座標変換は場合によっては計算が複雑となることや、シーン座標系が領域などの設定に役立つことなどから、最初に、ワールド座標系を回転や並行移動した座標系であって撮像装置２１の鉛直下向きベクトルと地面との交点を原点とするシーン座標系へカメラ座標系から変換し、その後に、シーン座標系からワールド座標系へ変換する処理を示す。
つまり、本例では、カメラ座標系とシーン座標系との変換や、シーン座標系とワールド座標系との変換を行う。
Next, an example of a conversion processing method between the coordinates of the camera coordinate system and the coordinates of the world coordinate system will be described. In this example, this conversion process is performed by the
In this example, the direct coordinate conversion from the camera coordinate system to the world coordinate system may be complicated in some cases, and the scene coordinate system may be useful for setting the area. A coordinate system obtained by rotating or translating the coordinate system and converting from the camera coordinate system to a scene coordinate system having an intersection point between the vertical downward vector of the
That is, in this example, conversion between the camera coordinate system and the scene coordinate system and conversion between the scene coordinate system and the world coordinate system are performed.
具体的には、本例では、撮像装置２１により撮像されたカメラ座標系で表現される入力画像１２１から、地面に対して平行な平面に投影したワールド座標系で表現することが可能なシーン画像（シーン画像１５１に対応するもの）への変換処理について説明する。なお、この変換の逆変換を行うことで、ワールド座標系の座標からカメラ座標系の座標へ変換することもできる。
本例では、カメラ座標系の入力画像１２１からシーン画像１５１への変換はカメラ座標系からシーン座標系への座標変換により行う。また、シーン座標系はワールド座標系を単純に回転や平行移動した直交座標系であるため、シーン画像１５１は、その回転や平行移動の逆変換を行うことにより、ワールド座標系上で表現することができる。
Specifically, in this example, a scene image that can be expressed in a world coordinate system projected on a plane parallel to the ground from an input image 121 expressed in a camera coordinate system captured by the
In this example, the conversion from the input image 121 of the camera coordinate system to the
図６（ａ）には、地面に対して水平な方向で（真横から）撮像装置２１を見た場合の様子の一例を示してある。
図６（ｂ）には、地面に対して垂直な方向で（真上から）撮像装置２１を見た場合の様子の一例を示してある。
図６（ａ）及び図６（ｂ）は、シーン座標系で表現されている。本例では、シーン座標系は、原点Ｏを撮像装置２１の鉛直下向き（ｚ方向）で基準となる平面（地面）と交差する点として、地面の平面上にｘ軸及びｙ軸を取り、高さ方向にｚ軸を取る直交座標系である。また、撮像装置２１が向いている視線方向（光軸方向）にｒ軸を設けてある。
FIG. 6A shows an example of a state when the
FIG. 6B shows an example of a state when the
6A and 6B are expressed in the scene coordinate system. In this example, the scene coordinate system takes the x-axis and the y-axis on the ground plane as the point where the origin O intersects the reference plane (ground) vertically downward (z direction) of the
本例では、撮像装置２１の設置の高さをＨで表しており、撮像装置２１の俯角をθＴで表しており、撮像装置２１の縦方向の視野角をθＶで表している。
また、撮像装置２１の横方向の視野角をθＨで表している。なお、撮像装置２１の縦方向の視野角θＶは、撮像装置２１の横方向の視野角θＨから撮像素子のアスペクト比（縦横比）によって算出することができる。
また、撮像装置２１により撮像される画像の視野の中で、撮像装置２１から最も近い所までの水平距離をＬＮで表しており、撮像装置２１から最も遠い所までの水平距離をＬＦで表している。
In this example, represents the height of installation of the
Also, it represents the viewing angle in the lateral direction of the
Further, in the field of view of the image captured by the
まず、例えば、撮像装置２１の位置や方向を変更するための電動台座（カメラ雲台）の現在の方向（例えば、雲台の正面を原点として、パン角θＰ、チルト角θＴ）を取得し、撮像装置２１の撮像レンズの現在の焦点距離ｆを取得する。これらの取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸が無いとする。
撮像装置２１の横方向の視野角である画角θＨは（式１）により求められる。
First, for example, the current direction of the electric pedestal (camera head) for changing the position and direction of the imaging device 21 (for example, the pan angle θ P and the tilt angle θ T with the front of the head as the origin) is acquired. The current focal length f of the imaging lens of the
A method for calculating the position of the imaging range will be described. In this example, in order to simplify the description, it is assumed that the monitoring target area is a plane and has no unevenness on the ground.
The angle of view θ H that is the viewing angle in the horizontal direction of the
ここで、ｗは、撮像装置２１の撮像素子である例えばＣＣＤ素子の横幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θＨ＝３３．４°となる。すなわち、撮像装置２１の視野は横方向に３３．４°の範囲を有する。
Here, w is the horizontal width of, for example, a CCD element that is an image pickup element of the
通常、撮像装置２１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θＴに応じて、撮像装置２１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置２１から視線方向ＬＮの範囲に現れる。それ以上の所定の領域（距離ＬＮと距離ＬＦとの間の領域）は、撮像装置２１の視野に入る。
これらの距離ＬＮ、ＬＦについて説明する。
撮像装置２１の縦方向の視野角である画角θＶは（式２）により求められる。
Usually, the
The distances L N and L F will be described.
The angle of view θ V that is the viewing angle in the vertical direction of the
ここで、ｈは、撮像装置２１の撮像素子である例えばＣＣＤ素子の縦幅であり、一例として、１／３インチの撮像素子を使用した場合には、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置２１の画角は、θＶ＝２５．４°となる。すなわち、撮像装置２１の視野は、縦方向に２５．４°の範囲を有する。
距離ＬＮ及び距離ＬＦは、（式３）により求められる。
Here, h is the vertical width of, for example, a CCD element, which is an image pickup element of the
The distance L N and the distance L F are obtained by (Equation 3).
この結果、撮像装置２１により撮像することができる範囲は、図６（ａ）に示される撮像装置２１と距離ＬＮの点と距離ＬＦの点で囲まれる三角形の領域の内部と、図６（ｂ）に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθＴ＝３０°とし、撮像装置２１の設置高をＨ＝５．０ｍとした場合には、ＬＮ＝５．４２ｍ、ＬＦ＝１６．１ｍとなる。
As a result, a range that can be imaged by the
As an example, using a 1/3 inch imaging device, the focal length of the imaging lens is f = 8.00 mm, the current direction of the camera platform is θ T = 30 °, and the installation height of the
上述のように、撮像装置２１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、視野範囲に含まれるカメラ座標系の画像上の各位置（ｘ’、ｙ’）をシーン座標系の（ｘ、ｙ）座標へ変換することができる。
例えば、画像上（ｘ’、ｙ’）で表される画素が図６（ａ）における点Ｃの位置を撮像したものである場合、入力画像１２１の縦方向の画素数を４８０画素とすると、点Ｃを撮像する俯角θｙは（式４）により表される。
As described above, the position of the field-of-view range of the
Based on this result, each position (x ′, y ′) on the image of the camera coordinate system included in the visual field range can be converted to the (x, y) coordinate of the scene coordinate system.
For example, when the pixel represented by (x ′, y ′) on the image is an image of the position of point C in FIG. 6A, if the number of pixels in the vertical direction of the input image 121 is 480 pixels, The depression angle θ y for imaging the point C is expressed by (Equation 4).
また、カメラ座標における画素（ｘ’、ｙ’）が、例えば、図６（ｂ）における点Ｄの位置（空間的な位置は図６（ａ）における点Ｃの位置と同じもの）を撮像したものである場合、入力画像１２１の横方向の画素数を６４０とすると、点Ｄを撮像する回転角θｘは（式５）により表される。 In addition, the pixel (x ′, y ′) in the camera coordinates images, for example, the position of the point D in FIG. 6B (the spatial position is the same as the position of the point C in FIG. 6A). If the number of pixels in the horizontal direction of the input image 121 is 640, the rotation angle θ x for capturing the point D is expressed by (Equation 5).
ここで、θＰは、撮像装置２１のパン角であり、本例では、ｘ軸と撮像装置２１の光軸とのなす角を示す。従って、カメラ座標系の入力画像１２１上の（ｘ’、ｙ’）で表される任意の位置の画素は、シーン座標系のシーン画像１５１の座標（ｘ、ｙ）として、（式６）により求められる。
Here, θ P is the pan angle of the
すなわち、シーン画像１５１は、入力画像１２１を（式１）〜（式６）に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置２１のパンやチルトやズームにより変化し得る。また、シーン座標系に変換した画像は、（式４）〜（式６）で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
ここでは、第１の撮像装置１１１（撮像装置２１）について説明したが、他の撮像装置１１２、１１３により撮影されたカメラ座標における入力画像１３１、１４１についても、（式１）〜（式６）と同様な座標変換を行うことで、シーン座標系上で表現されるシーン画像１６１、１７１へ変換することができる。
That is, the
Here, the first imaging device 111 (imaging device 21) has been described, but the
ここで、上述した座標変換法で得られるシーン座標系は、各撮像装置１１１、１１２、１１３の位置からの鉛直方向と地面との交点に原点を取る座標系であるため、それぞれのシーン画像１５１、１６１、１７１の座標系は異なる。
このため、全ての監視装置１１、１２、１３（全ての撮像装置１１１、１１２、１１３）から得られたシーン画像１５１、１６１、１７１を統一された座標系で見るためには、各シーン座標系から唯一の座標系であるワールド座標系への座標変換が必要となる。
Here, since the scene coordinate system obtained by the coordinate transformation method described above is a coordinate system having an origin at the intersection of the vertical direction from the position of each of the
Therefore, in order to view the
例えば、ワールド座標系が、その原点Ｏｗに対して、地面の平面上から鉛直上向きにｚｗ軸を取り、地面の平面上にｘｗ軸及びｙｗ軸を取る直交座標系であるとすると、各シーン座標系が地面の平面上にｘ軸及びｙ軸を取って各撮像装置の鉛直方向にｚ軸を取る直交座標系であることから、各シーン座標系はワールド座標系を回転や平行移動した座標系となる。このため、各シーン座標系の座標（ｘ、ｙ、ｚ）は、ワールド座標系上におけるシーン座標系の原点Ｏ’の位置ベクトルをＯｗＯ’＝（ｑｘ、ｑｙ）Ｔとし、ワールド座標系とシーン座標系との回転角をθとすると、ワールド座標系の座標（ｘｗ、ｙｗ、ｚｗ）としては（式７）により表現される。 For example, suppose that the world coordinate system is an orthogonal coordinate system that takes the z w axis vertically upward from the ground plane and the x w axis and the y w axis on the ground plane with respect to the origin O w . Since each scene coordinate system is an orthogonal coordinate system that takes the x-axis and y-axis on the ground plane and takes the z-axis in the vertical direction of each imaging device, each scene coordinate system rotates or parallels the world coordinate system. It becomes the moved coordinate system. For this reason, the coordinates (x, y, z) of each scene coordinate system are represented by the position vector of the origin O ′ of the scene coordinate system on the world coordinate system as O w O ′ = (q x , q y ) T Assuming that the rotation angle between the coordinate system and the scene coordinate system is θ, the coordinates (x w , y w , z w ) of the world coordinate system are expressed by (Expression 7).
（式７）により、図７（ａ）に示されるように、シーン画像１５１をワールド座標系上で表現することができる。
図７（ａ）には、シーン画像１５１をワールド座標系上で表現したもの（シーン画像１８１）と、多角形の監視領域（点線）１８２（図５（ｄ）における監視領域１５２に対応するもの）を示してある。
By (Expression 7), as shown in FIG. 7A, the
7A shows a
特に、このようにして得られるワールド座標系上のシーン画像１８１（及びシーン画像系上のシーン画像１５１）は、監視領域の地図と相似の関係にあり、例えば、道路などは平行な線として表示される。また、画像中に写る植木の大きさや、標識の大きさなどは、実際の大きさ（例えば、メートル法による単位）に比例したものとなる。
例えば、図１３（ｂ）に示されるようなカメラ座標系の画像を用いた従来の領域指定方法では、建物３２２から一定距離の領域を指定するような場合に、画像上の位置によって見かけの大きさが異なってしまう問題があったが、本例のように、（各撮像装置毎に個別のシーン座標系における、又は、全ての撮像装置に共通なワールド座標系における）シーン画像を用いて領域を指定する場合には、画像上の位置によって見かけの大きさが異なる問題は発生しない。
In particular, the
For example, in the conventional area designation method using the camera coordinate system image as shown in FIG. 13B, when an area of a certain distance from the
次に、以上で述べた各手法によって、シーン座標（或いは、ワールド座標でもよい）を用いて監視領域を設定する方法及び監視装置間で監視領域の情報を共有する方法について説明する。
監視領域の設定や共有を行うために、まず、各監視装置１１、１２、１３において撮像した入力画像１２１、１３１、１４１を、（式１）〜（式６）によって、それぞれ、シーン座標系のシーン画像１５１、１６１、１７１へ変換する。次に、例えば１つの監視装置１１において、入力装置２９を用いて、そのシーン座標系のシーン画像１５１上で監視を所望する領域を例えば多角形１５２で設定する。そして、（式７）により、各シーン座標系のシーン画像１５１、１６１、１７１及び設定された監視領域１５２の座標系をワールド座標系へ変換する。
Next, a method for setting a monitoring area using scene coordinates (or world coordinates) by each method described above and a method for sharing monitoring area information between monitoring apparatuses will be described.
In order to set and share the monitoring area, first, the
図７（ｂ）には、ワールド座標系上で表現した各シーン画像１９１、１９２、１９３（それぞれシーン画像１５１、１６１、１７１に対応するもの）及び監視領域（点線）１９４（監視領域１５２に対応するもの）の一例を示してある。
監視装置１１では、ワールド座標系で表現される監視領域１９４の情報を、例えば記憶装置３１に保存するなどして、他の監視装置１２、１３と共有できるように保持しておく。そして、監視装置１１は、当該監視装置１１上で定めた監視領域１９４のワールド座標の情報を、必要に応じて、他の監視装置１２、１３に対してネットワーク１４を介して伝送する。
FIG. 7B shows
In the
なお、本例では、例えば外部Ｉ／Ｆ回路２６により接続するネットワーク１４を介して監視領域１９４のワールド座標の情報を伝送する場合を示したが、他の構成例として、外部Ｉ／Ｆ回路２６などに接続されるＣＤ−ＲＡＭなどの可搬な媒体を利用して伝送を行うことも可能である。
In this example, the case where the world coordinate information of the
次に、例えば、各監視装置１２、１３に対して、入力装置２９などを用いて、受信された監視領域１９４のワールド座標の情報に基づいて監視領域を設定するように指示を出す。これに応じて、各監視装置１２、１３では、それぞれの監視装置１２、１３が持つ画像処理プロセッサ２３により、受信された監視領域１９４の情報に基づく領域設定を行う。
具体的には、監視領域１９４と各シーン画像１９２、１９３は、ワールド座標系上では図７（ｂ）に示されるように表現できるため、それぞれのシーン画像１９２、１９３と監視領域１９４とが重複する領域の座標を、各監視装置１２、１３における監視領域として設定する。つまり、１つの監視装置１１上で決定した監視領域１９４（監視領域１５２に対応するもの）と同等な監視領域を、他の監視装置１２、１３で共有して設定することができる。また、ワールド座標系上での監視領域の設定情報をそれぞれの監視装置１２、１３に対応するシーン座標系の情報やカメラ座標系の情報へ変換して設定することができる。
Next, for example, the
Specifically, since the
例えば、従来の方法で複数台の監視装置に対して監視領域を設定する場合には、監視する全ての撮像装置により撮像された画像のそれぞれ毎に対して、マウスなどの入力装置を用いて、手動で直接的に、その監視領域を例えば図５（ａ）、図５（ｂ）、図５（ｃ）における多角形１２２、１３２、１４２のように設定する必要があり、監視装置の数が増えるほど、領域の設定作業に時間と労力がかかっていた。
これに対して、本例の場合には、１つの監視装置によって得られたシーン座標系（或いは、ワールド座標系）のシーン画像に対して、例えば図５（ｄ）における多角形１５２のように監視領域の設定を行えば、監視装置の台数に係らず、他の全ての監視装置に対して、前記監視領域と等しい監視領域を自動的且つ瞬時に設定することが可能である。
For example, when setting a monitoring area for a plurality of monitoring devices by a conventional method, an input device such as a mouse is used for each of the images captured by all the imaging devices to be monitored, The monitoring area needs to be set manually and directly like the
On the other hand, in the case of this example, for a scene image in the scene coordinate system (or world coordinate system) obtained by one monitoring device, for example, a
以上のように、本例の監視装置１１〜１３では、監視領域を撮像する撮像装置２１と、撮像装置２１で撮影した入力画像を処理して当該監視領域の中の物体を検出する処理などを行う画像処理装置（本例では、画像処理プロセッサ２３などの機能）と、画像処理装置による物体の検出結果などに基づいて出力画像を表示する表示装置２８を備えている。画像処理装置は、前記監視領域を撮像装置２１で撮像した第１の座標系（カメラ座標系）の入力画像を第２の座標系（シーン座標系）に基づくシーン画像へ変換する画像変換機能と、前記入力画像を処理するために必要な情報（例えば、領域情報）を前記画像変換機能によって得られたシーン画像上で設定する設定機能を有し、前記した入力画像を処理するために必要な情報に基づいて前記監視領域の中の物体を検出する処理などを行う。
As described above, in the
また、画像処理装置は、画像の情報或いは領域などの設定情報について、カメラ座標系とシーン座標系とワールド座標系との間の変換を任意に行うことが可能な機能を有している。特に、シーン座標系で設定された領域情報をワールド座標系の情報へ変換して記憶する。
また、本例の監視装置１１〜１３では、領域情報や各監視装置１１〜１３における検出結果の情報などを保持（記憶）するための記憶装置３１を備えており、例えば、記憶装置３１などに対して領域情報などを入力するための入力装置２９を備えている。
In addition, the image processing apparatus has a function capable of arbitrarily performing conversion between the camera coordinate system, the scene coordinate system, and the world coordinate system with respect to setting information such as image information or regions. In particular, the area information set in the scene coordinate system is converted into information in the world coordinate system and stored.
In addition, the
また、本例の監視装置１１〜１３では、シーン座標系（或いは、ワールド座標系）のシーン画像上で設定した情報を内部或いは外部の記憶部に保持しておき、前記監視領域の一部若しくは全てを含む領域内の物体を異なる位置や角度などから監視する少なくとも１台（１台以上）の監視装置に対して、前記記憶部に記録された前記情報を参照して、その撮像装置における監視情報（例えば、領域情報）を設定する。
また、本例の監視装置１１〜１３では、前記した入力画像を処理するために必要な情報として、物体を検出する領域を表す検出領域（監視領域）の情報が用いられる。
Further, in the
Further, in the
また、本例の監視装置１１〜１３では、前記した第２の座標系（シーン座標系）は、前記監視領域の地図に相似する座標系である。
また、本例の監視装置１１〜１３では、第３の座標系として、前記監視領域を監視する全ての監視装置において共通な座標系であるワールド座標系を用いている。ワールド座標系も、前記監視領域の地図に相似する座標系である。
In the
In the
具体例として、監視領域の監視を、１台以上の監視装置を用いて行う。
１台以上の監視装置において撮影した監視領域の画像は、それぞれの監視装置の撮像条件で見え方が異なる情報であり、すなわちそれぞれのカメラ座標系毎に異なる情報となるが、これらの異なるカメラ座標系で表現された入力画像情報を物体の絶対的な位置を示すことができる共通のワールド座標系で表現できるように座標変換することで、監視領域などの情報を異なる監視装置間並びに異なる監視条件間で共有して扱うことができる状況が実現される。また、カメラ座標系の入力画像を各撮像装置毎のシーン座標系のシーン画像へ変換し、得られたシーン座標系のシーン画像上で所望の監視領域の設定などを行うことで、人にとって感覚的に分かり易いシーン座標系のシーン画像を用いて領域などの設定を効果的に行うことができる。なお、ワールド座標系の画像において領域などの設定が行われてもよい。
As a specific example, monitoring of a monitoring area is performed using one or more monitoring devices.
The image of the monitoring area captured by one or more monitoring devices is information that looks different depending on the imaging conditions of each monitoring device, that is, information that differs for each camera coordinate system. By converting the input image information expressed in the system so that it can be expressed in a common world coordinate system that can indicate the absolute position of the object, information such as the monitoring area is different between different monitoring devices and different monitoring conditions A situation that can be shared and handled between the two is realized. In addition, by converting the input image of the camera coordinate system into a scene image of the scene coordinate system for each imaging device and setting a desired monitoring area on the scene image of the obtained scene coordinate system, a human sense Thus, it is possible to effectively set a region or the like using a scene image in a scene coordinate system that is easy to understand. Note that an area or the like may be set in an image of the world coordinate system.
ここで、複数の監視装置或いは複数の監視条件で共有される監視領域などの情報は、ワールド座標系上であれば、ほかの監視装置の領域などの決定においても、そのまま適用することができる。このように、複数の監視装置或いは複数の監視条件で監視領域などの情報を共有することを可能とすることで、例えば、同じ監視領域（の一部又は全部）を監視する撮像装置（監視装置）の追加や同一の撮像装置（監視装置）の移動などがあった場合においても、監視領域などの新たな情報設定作業の必要をなくすことができる。 Here, information such as a monitoring area shared by a plurality of monitoring devices or a plurality of monitoring conditions can be applied as it is in determining the area of other monitoring devices as long as it is on the world coordinate system. As described above, for example, an imaging device (monitoring device) that monitors the same monitoring region (part or all) by enabling sharing of information such as a monitoring region with a plurality of monitoring devices or a plurality of monitoring conditions. ) And the movement of the same imaging device (monitoring device), etc., it is possible to eliminate the need for new information setting work such as a monitoring area.
また、監視を所望する領域などの情報の変更が必要となった場合においても、共有可能としたワールド座標系上における領域などの情報を１つの監視装置において変更することで、その変更を全ての監視装置に対して容易に反映させることができる。
また、シーン座標系やワールド座標系は、監視領域の地面に対して平行な平面に投影した座標系として、当該監視領域の地図に相似する座標系にすることが可能であり、このような座標系とすることで、領域などの情報を人により直感的且つ簡単に設定することが可能となる。
In addition, even when it is necessary to change information such as an area desired to be monitored, by changing information such as an area on the world coordinate system that can be shared in one monitoring device, the change can be made to all This can be easily reflected in the monitoring device.
In addition, the scene coordinate system and the world coordinate system can be a coordinate system similar to the map of the monitoring area as a coordinate system projected onto a plane parallel to the ground of the monitoring area. By using the system, information such as a region can be set intuitively and easily by a person.
従って、本例では、被写体を領域毎に区別して検出するために用いる監視領域などの設定情報を、撮像装置の位置や角度などが異なる複数の監視装置間並びに撮像装置の位置や角度などが異なる同一の監視装置間（配置が変更された場合）で共有することができる。そして、撮像された入力画像中に映る物体を、監視対象となる領域の地図に相似するシーン座標系或いはワールド座標系において設定された領域情報などに基づいて監視することにより、効果的な監視を行うことができる。 Therefore, in this example, the setting information such as the monitoring area used for distinguishing and detecting the subject for each area is different among a plurality of monitoring apparatuses having different positions and angles of the imaging apparatus, and the positions and angles of the imaging apparatuses are different. It can be shared between the same monitoring devices (when arrangement is changed). Then, effective monitoring is performed by monitoring an object shown in the captured input image based on the area information set in the scene coordinate system or the world coordinate system similar to the map of the area to be monitored. It can be carried out.
例えば、従来では、撮像する入力画像中でいずれの領域に存在する物体を検出すべき物体とするかという情報などを各監視装置で用いられる撮像装置により得られる入力画像毎に予め設定する必要があったために、監視装置の追加や監視装置の使用条件の変更の際に、膨大な作業が必要であった。
これに対して、本例のような監視装置や監視情報の設定方法では、撮像装置により撮像された入力画像を地図に相似するワールド座標系で表現可能なシーン画像へ変換することで、ワールド座標系で全ての撮像装置で撮像された入力画像情報や領域情報などを表現することができ、シーン座標系或いはワールド座標系で所望の領域などを設定して、当該領域などの情報を全ての撮像装置で共有することができる。これにより、監視装置の追加や使用条件の変更に伴う領域などの設定作業の手間が削減され、より効率的で簡単で容易な監視装置の運用が可能となる。
For example, conventionally, it is necessary to previously set information such as in which area in an input image to be captured an object to be detected for each input image obtained by an imaging device used in each monitoring device. For this reason, enormous work is required when adding a monitoring device or changing usage conditions of the monitoring device.
On the other hand, in the monitoring device and the monitoring information setting method as in the present example, the world coordinates are obtained by converting the input image captured by the imaging device into a scene image that can be expressed in a world coordinate system similar to a map. It is possible to express input image information and area information captured by all imaging devices in the system, and set a desired area in the scene coordinate system or the world coordinate system, and capture all the information such as the area. Can be shared by devices. As a result, it is possible to reduce the labor of setting work such as an area associated with addition of a monitoring device or change of use conditions, and it is possible to operate the monitoring device more efficiently, easily and easily.
ここで、本例では、入力画像を処理するために必要な情報として、主に、監視領域の情報を設定する場合を示したが、このような情報としては種々なものが用いられてもよく、例えば、検出対象とする物体の大きさや幅や高さや長さなどに関する閾値の情報を設定するようなことも可能である。
また、本例では、監視領域の形状として、多角形を用いたが、他の任意の形状が用いられてもよい。
Here, in this example, the case where information of a monitoring area is mainly set as information necessary for processing an input image has been shown, but various kinds of information may be used as such information. For example, it is possible to set threshold information related to the size, width, height, length, etc. of an object to be detected.
In this example, a polygon is used as the shape of the monitoring area, but any other shape may be used.
なお、本例では、複数の監視装置１１、１２、１３やネットワーク１４の全体により画像処理装置が構成されている。
本例の画像処理装置では、例えば、監視装置１１〜１３に備えられた表示装置２８により画像を表示する機能により表示手段が構成されており、監視装置１１〜１３に備えられた入力装置２９などによりユーザ（人）から領域などの設定情報を受け付ける機能により受付手段が構成されており、監視装置１１〜１３に備えられた画像処理プロセッサ２３などにより情報の座標系を変換する機能により座標系変換手段が構成されており、ある撮像装置の配置で取得された設定情報を他の配置を有する（前記ある撮像装置と同一の又は異なる）撮像装置に設定する機能により変換情報設定手段が構成されている。
本例では、例えば、各監視装置１１〜１３毎に自装置で取得された設定情報などをワールド座標系の情報へ変換して、監視装置１１〜１３の間ではワールド座標系の情報を通信するが、他の態様が用いられてもよい。
In this example, the image processing apparatus is configured by the plurality of
In the image processing apparatus of this example, for example, a display unit is configured by a function of displaying an image by the
In this example, for example, the setting information acquired by the own device for each of the
本発明の第２実施例を説明する。
なお、上記した第１実施例の場合と同様な構成や動作については詳しい説明を省略する。
上記した第１実施例では、少なくとも１つの監視装置の各々で設定した監視領域のワールド座標系で表される情報を、例えばネットワークを介して他の監視装置で共有できるようにした。この監視領域の情報は、少なくとも１つの監視装置で共有するものであるため、情報の保存管理を担う情報サーバを設ける形態を用いることも可能であり、本例では、このような形態について説明する。
A second embodiment of the present invention will be described.
Detailed description of the same configuration and operation as in the first embodiment will be omitted.
In the first embodiment described above, information represented in the world coordinate system of the monitoring area set in each of at least one monitoring device can be shared with other monitoring devices via a network, for example. Since this monitoring area information is shared by at least one monitoring device, it is possible to use a form in which an information server responsible for information storage management is provided. In this example, such a form will be described. .
図８には、本発明の一実施例に係る監視システムの構成例を示してある。
本例の監視システム４１は、３台以上の監視装置５１、５２、５３（第１の監視装置５１、第２の監視装置５２、第３の監視装置５３、・・・）を備えており、これらがネットワーク５５で接続されており、また、ネットワーク５５に接続された情報サーバ５４を備えている。情報サーバ５４は、例えば、人により操作されることや、各種の情報を内部或いは外部の記憶装置に記憶することや、各種の情報を画面に表示することなどが可能である。
なお、監視装置の数は任意であってもよく、本例では、説明の便宜上から、まず３台として説明し、次に１台追加する場合を示す。
FIG. 8 shows a configuration example of a monitoring system according to an embodiment of the present invention.
The monitoring system 41 of this example includes three or
Note that the number of monitoring devices may be arbitrary, and in this example, for convenience of explanation, the description will first be made on the assumption that there are three devices, and then one device is added.
情報サーバ５４は、全て若しくはいずれかの監視装置５１、５２、５３から得られた監視を所望する領域の情報や、監視装置５１、５２、５３に対する入出力情報及び監視装置５１、５２、５３で得られた侵入物体の有無などの情報の保持を行い、更に、必要に応じて、各監視装置５１、５２、５３に対してこれらの情報を伝送する。例えば、監視装置５１、５２、５３のうちの１つ（例えば、監視装置５１）に対してオペレータがシーン座標系のシーン画像上で監視領域の情報を修正すると、その修正後の情報がワールド座標系の領域情報へ変換され、当該変換された領域情報に基づいて情報サーバ５４に保存されている監視領域の情報が更新される。
ここで、本例では、情報サーバ５４には、ワールド座標系の情報が保持されるが、必要に応じて、各監視装置毎のシーン座標系やカメラ座標系の情報が保持されてもよい。
The
Here, in this example, the
また、各監視装置５１、５２、５３では、定期的（例えば、１０分間隔など）に情報サーバ５４にアクセスし、そして、情報サーバ５４における監視領域の情報が更新されていた場合には、それに基づいて当該各監視装置５１、５２、５３の記憶装置３１などに記憶された領域情報が更新され、このようにして更新された領域情報がそれ以降における物体の検出処理などで利用される。
Each of the
図９（ａ）には、ワールド座標系上でシーン画像を表現したものの一例を示してある。具体的には、第１の監視装置５１により得られたシーン画像２０１と、第２の監視装置５２により得られたシーン画像２０２と、第３の監視装置５３により得られたシーン画像２０３と、多角形の監視領域（点線）２０４をワールド座標系上で示してある。
FIG. 9A shows an example of a scene image expressed on the world coordinate system. Specifically, the
なお、本例では、例えば、各監視装置５１、５２、５３におけるシーン画像２０１、２０２、２０３の情報をネットワーク５５を介して情報サーバ５４へ伝送し、情報サーバ５４を用いてワールド座標系上で各シーン画像２０１、２０２、２０３を表現することができる。そして、このようなワールド座標系上で人の操作によって多角形２０４を監視領域として描いて設定することも可能であり、当該監視領域２０４のワールド座標の情報を例えば情報サーバ５４などにおいて監視システム全体で共有可能な情報とすることで、全ての監視装置５１、５２、５３に対して監視領域２０４と重複する領域を監視すべき領域として設定することが可能となる。
本例のように、監視装置５１、５２、５３間に、情報の保存管理を行う情報サーバ５４を設けることで、監視領域２０４の情報を一括管理することができるとともに、監視領域２０４の設定や変更なども一括して行うことができる。
In this example, for example, the information of the
As in this example, by providing the
更に、本例の監視システム４１では、新たな監視領域を追加する場合にも効率的である。
図９（ｂ）には、ワールド座標系上でシーン画像を表現したものの一例を示してある。具体的には、３つの監視装置５１、５２、５３により得られたシーン画像２１１、２１２、２１３（シーン画像２０１、２０２、２０３と同じもの）と、既に設定されている多角形の監視領域（点線）２１４（監視領域２０４と同じもの）と、新たに設定された多角形の監視領域（点線）２１５をワールド座標系上で示してある。
Furthermore, the monitoring system 41 of this example is efficient when a new monitoring area is added.
FIG. 9B shows an example of a scene image represented on the world coordinate system. Specifically, the
例えば、新たな監視領域として図９（ｂ）に示される多角形２１５を追加して、２つの監視領域２１４、２１５を監視することを所望する場合には、いずれかの監視装置５１、５２、５３或いは情報サーバ５４に対してマウスなどの入力装置によって、新しい監視領域の多角形２１５のシーン座標系或いはワールド座標系の座標を入力することで、情報サーバ５４に新しい監視領域のワールド座標の情報を設定する。そして、情報サーバ５４から、当該監視領域２１５を監視する全ての監視装置５１、５２、５３（いずれかの監視装置で新たな監視領域を設定した場合にはその監視装置は除かれてもよい）に対して当該監視領域２１５のワールド座標の情報を伝送して、２つの監視領域２１４、２１５の両方を監視するように当該監視装置５１、５２、５３（いずれかの監視装置で新たな監視領域を設定した場合にはその監視装置は除かれてもよい）に指示を出すことで、瞬時に監視システム４１全体で監視領域を追加することができる。
For example, when it is desired to add the
例えば、従来の方法では、監視領域の追加についても、監視を行う全ての監視装置のそれぞれに対して、例えばマウスなどの入力装置によって手動で多角形を描くことで、監視領域を追加指定する必要があった。
これに対して、本例では、例えばいずれかの監視装置５１、５２、５３或いは情報サーバ５４を用いて追加を所望する監視領域をマウスなどの入力装置によって手動で設定して、当該監視領域のワールド座標の情報を情報サーバ５４から各監視装置５１、５２、５３へ送信することにより、一度の追加領域の設定で全ての監視装置５１、５２、５３に対してその追加領域を瞬時に反映させることができ、監視装置５１、５２、５３を運用する利用者の負担を削減することができる。
For example, in the conventional method, it is necessary to additionally specify a monitoring area by manually drawing a polygon with an input device such as a mouse for each monitoring apparatus to be monitored. was there.
On the other hand, in this example, a monitoring area desired to be added is manually set by an input device such as a mouse using any one of the
また、本例の監視システム４１では、監視装置（撮像装置）の追加についても、簡易に実現することができる。
図１０には、本例の監視システム４１で監視を行う監視領域並びにその周辺の見取り図２２１の一例を示してある。この見取り図２２１は、監視領域を地面に垂直な方向から見下ろしたものである。
具体的には、道路や建物や空き地があり、第１の監視装置５１に備えられた第１の撮像装置２３１の配置（位置や方向）と、第２の監視装置５２に備えられた第２の撮像装置２３２の配置と、第３の監視装置５３に備えられた第３の撮像装置２３３の配置と、第４の監視装置（新規な監視装置）に備えられた第４の撮像装置２３４の配置が示されている。
例えば、監視精度の向上などを目的として、図１０に示される地図上におけるある地点（建物の屋上）２３４に撮像装置を持つ新たな監視装置Ｐを追加する場合においても、本例の監視システム４１では、この新規な監視装置Ｐに対して監視領域などの情報を設定することを簡単に実現することができる。
Moreover, in the monitoring system 41 of this example, addition of a monitoring device (imaging device) can be easily realized.
FIG. 10 shows an example of a
Specifically, there are roads, buildings, and vacant lots, the arrangement (position and direction) of the
For example, even when a new monitoring device P having an imaging device is added to a certain point (the roof of a building) 234 on the map shown in FIG. 10 for the purpose of improving the monitoring accuracy, the monitoring system 41 of this example. Then, it is possible to easily realize setting of information such as a monitoring area for the new monitoring device P.
図１１（ａ）には、新規な監視装置Ｐの撮像装置２３４により撮像される入力画像２４１の一例を示してあり、また、設定される監視領域２４２の一例を示してある。
図１１（ｂ）には、新規な監視装置Ｐにおいて、図１１（ａ）に示される入力画像２４１を（式１）〜（式６）により変換して得られたシーン画像２５１の一例を示してある。
図１１（ｃ）には、図１１（ｂ）に示されるシーン座標系上のシーン画像２５１を（式７）により変換して得られたワールド座標系上のシーン画像２６１の一例を示してあり、また、多角形の監視領域２６２の一例をワールド座標系上で示してある。
FIG. 11A shows an example of the
FIG. 11B shows an example of a
FIG. 11C shows an example of the
新規な監視装置Ｐに対する領域設定では、まず、図１１（ｂ）に示されるシーン画像２５１を（式７）に従って図１１（ｃ）に示されるようにワールド座標系で表現し、次に、新規な監視装置Ｐに対して情報サーバ５４などにより共有可能とされた監視領域のワールド座標として例えば多角形２６２の座標を送信して、当該監視領域２６２のワールド座標を新規な監視装置Ｐで監視するように指示を出す。これにより、この監視領域２６２は、図１１（ｃ）に示される多角形のように設定され、瞬時且つ自動的に監視領域を設定することができる。
In the area setting for the new monitoring device P, first, the
このような結果として、監視システム４１では、図１１（ｄ）に示されるように、複数の監視装置（本例では、監視装置５１、５２、５３及び新規な監視装置Ｐ）により、同じ監視領域２６２を重複して監視することができる。
図１１（ｄ）には、４つの監視装置（本例では、監視装置５１、５２、５３及び新規な監視装置Ｐ）により得られたシーン画像２７１、２７２、２７３、２７４の一例と、共通な監視領域２７５の一例をワールド座標系上で示してある。
As a result, in the monitoring system 41, as shown in FIG. 11D, the same monitoring area is obtained by a plurality of monitoring devices (in this example, the
FIG. 11D shows a
例えば、従来の方法では、監視システムに新たな監視装置を追加して監視領域を監視するときには、その新たな監視装置により得られた入力画像に対して、例えばマウスなどの入力装置を用いて、監視領域の多角形を手動で設定する必要があり、監視装置の追加に伴って監視領域を手動で追加する作業が必要であった。
これに対して、本例では、監視システム４１で共有可能とした監視領域の情報をワールド座標系に変換することで、当該監視領域を監視する全ての監視装置において数値的に設定することが可能であるため、たとえ監視装置を何台追加することとなっても、当該監視領域を監視する分には、新たに手動で監視領域を設定する必要はなくなり、監視システム４１の運用者は非常に少ない負担で監視装置を追加することができる。
For example, in the conventional method, when a monitoring area is monitored by adding a new monitoring device to the monitoring system, an input device such as a mouse is used for an input image obtained by the new monitoring device, It is necessary to manually set the polygon of the monitoring area, and it is necessary to manually add the monitoring area as the monitoring apparatus is added.
On the other hand, in this example, by converting the information of the monitoring area that can be shared by the monitoring system 41 into the world coordinate system, it can be set numerically in all the monitoring devices that monitor the monitoring area. Therefore, no matter how many monitoring devices are added, it is not necessary to manually set a monitoring area for monitoring the monitoring area, and the operator of the monitoring system 41 is very A monitoring device can be added with a small burden.
また、本例では、例えば、監視装置における撮像装置の位置や角度を変更して、監視領域を監視する場合においても、当該監視領域と同じ領域を監視する限り、新たに監視領域を手動で変更する必要がない。
例えば、図１１（ｃ）に示される監視領域２６２を監視する監視装置Ｐにおける撮像装置の位置と角度と焦点距離を変更したところ、図１１（ａ）に示されるように撮像されていた入力画像２４１が、撮像装置の位置と角度と焦点距離の変更に伴って図１１（ｅ）に示される入力画像２８１のように変化した場合を考える。
図１１（ｅ）には、監視装置Ｐの撮像装置により撮像された入力画像２８１の一例と、監視領域（点線）２８２の一例を示してある。
In this example, for example, even when the monitoring area is monitored by changing the position or angle of the imaging device in the monitoring apparatus, the monitoring area is manually changed as long as the same area as the monitoring area is monitored. There is no need to do.
For example, when the position, the angle, and the focal length of the imaging device in the monitoring device P that monitors the
FIG. 11E shows an example of the
この場合、従来の方法では、図１１（ａ）に示される監視領域２４２と重複する領域を監視領域として設定し直すために、例えば、入力画像２８１に対して、監視を所望する領域２８２をマウスなどの入力装置により手動で設定する必要があった。
これに対して、本例では、撮像装置の設定を変更する前における監視装置Ｐの監視領域をワールド座標系上で図１１（ｃ）に示される多角形２６２のように設定してワールド座標の値を保持しておく。これにより、たとえ撮像装置の設定を変更して入力画像が図１１（ｅ）に示されるように変化した場合においても、この入力画像２８１を図１１（ｆ）に示されるワールド座標系上のシーン画像２９１へ変換することでワールド座標上で表現することが可能であるため、撮像装置の設定を変更する前に決定した監視領域２６２の座標を撮像装置の設定変更後もそのまま監視領域として用いることができ、新たに監視領域を設定し直す手間が削減される。
図１１（ｆ）には、図１１（ｅ）に示される入力画像２８１をワールド座標系上で表現したシーン画像２９１の一例と、監視領域２９２の一例をワールド座標系上で示してある。
In this case, in the conventional method, in order to reset the area overlapping the
On the other hand, in this example, the monitoring area of the monitoring device P before changing the setting of the imaging device is set on the world coordinate system like a
FIG. 11F shows an example of a
また、シーン座標系上やワールド座標系上で表現されたシーン画像が監視領域の地図と相似の関係にあるという特徴を利用して、地図により直感的な監視領域などの設定や、監視システム４１間での監視情報の共有が可能である。
例えば、図９（ａ）に示されるワールド座標系上で表現されたシーン画像２０１、２０２、２０３と、図１に示されるこれらの領域を真上から見下ろした見取り図１０１とは相似であり、建物の位置などの情報において相違ない。
In addition, by using the feature that scene images expressed on the scene coordinate system and the world coordinate system are similar to the map of the monitoring area, it is possible to set an intuitive monitoring area or the like based on the map, or the monitoring system 41. Monitoring information can be shared between them.
For example, the
このため、図１に示されるように設定された監視領域１１４のワールド座標系上での座標を例えば見取り図の縮尺率を考慮して算出し、当該監視領域１１４のワールド座標を情報サーバ５４などにより共有可能とすることで、当該監視領域１１４と重複する領域を全ての監視装置に対して瞬時に設定することができる。一例として、見取り図や地図などを用いて監視装置の外部の媒体を利用して監視領域を設定するような場合には、シーン画像などのように監視装置の出力結果に基づく情報を用いる必要がないため、監視装置の利用に熟練しない人であっても直感的に領域などの指定が可能である。
Therefore, the coordinates of the
以上のように、本例の監視装置５１、５２、５３では、入力画像を処理するために必要な情報（例えば、領域情報）をネットワーク５５を介して外部記憶装置（本例では、情報サーバ５４）により保存や管理する情報外部記憶機能を備えている。また、本例の監視システム４１は、ネットワーク５５に接続された監視装置５１、５２、５３との間で前記情報などを送受信する情報サーバ５４を有している。
従って、本例では、監視装置５１、５２、５３の外部に設けられた情報サーバ５４により、複数の監視装置５１、５２、５３に関する情報を共有して一括して記憶や管理や設定などすることができる。
As described above, in the
Therefore, in this example, the
なお、本例では、複数の監視装置５１、５２、５３や情報サーバ５４やネットワーク５５の全体により画像処理装置が構成されている。
また、本例の画像処理装置では、画像を表示する表示手段の機能や、ユーザ（人）から設定情報を受け付ける受付手段の機能や、情報の座標系を変換する座標系変換手段の機能や、配置が異なる撮像装置間で設定情報を設定する変換情報設定手段の機能の一部又は全部が情報サーバ５４に備えられており、また、これらの機能の一部又は全部は監視装置５１〜５３にも備えられている。
本例では、例えば、各監視装置５１〜５３毎に自装置で取得された設定情報などをワールド座標系の情報へ変換して、監視装置５１〜５３と情報サーバ５４との間ではワールド座標系の情報を通信するが、他の態様が用いられてもよい。
In this example, the image processing apparatus is configured by the plurality of
In the image processing apparatus of this example, the function of a display unit that displays an image, the function of a reception unit that receives setting information from a user (person), the function of a coordinate system conversion unit that converts a coordinate system of information, A part or all of the function of the conversion information setting means for setting the setting information between the imaging devices having different arrangements is provided in the
In this example, for example, the setting information acquired by the own device for each of the
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configuration of the system and apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various systems and devices.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the system and apparatus according to the present invention, for example, the processor executes a control program stored in a ROM (Read Only Memory) in hardware resources including a processor and a memory. A controlled configuration may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
The present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the control program, and the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.
１、４１・・監視システム、 １１〜１３、５１〜５３・・監視装置、 １４、５５・・ネットワーク、 ２１・・撮像装置、 ２２・・映像入力回路、 ２３・・画像処理プロセッサ、 ２４・・プログラムメモリ、 ２５・・ワークメモリ、 ２６・・外部Ｉ／Ｆ回路、 ２７・・映像出力回路、 ２８・・表示装置、 ２９・・入力装置、 ３０・・入力回路、 ３１・・記憶装置、 ３２・・データバス、 ５４・・情報サーバ、
１０１、２２１・・見取り図、 １１１〜１１３、２３１〜２３４・・撮像装置、 １１４、１２２、１３２、１４２、１５２、１８２、１９４、２０４、２１４、２１５、２４２、２６２、２７５、２８２、２９２・・監視領域、 １２１、１３１、１４１、２４１、２８１・・入力画像、 １５１、１６１、１７１、１８１、１９１〜１９３、２０１〜２０３、２１１〜２１３、２５１、２６１、２７１〜２７４、２９１・・シーン画像、
３０１、３２１・・入力画像、 ３０２・・背景画像、 ３０３・・差分器、 ３０４・・差分画像、 ３０５・・二値化器、 ３０６・・二値化画像、 ３１１・・物体、 ３１２・・領域、 ３１３・・画素、 ３１４・・領域、 ３２２・・建物、 ３３１・・監視領域、
Ｔ１・・背景画像、 Ｔ２・・領域情報、
1, 41 ... Monitoring system, 11-13, 51-53 ... Monitoring device, 14, 55 ... Network, 21 ... Imaging device, 22 ... Video input circuit, 23 ... Image processor, 24 ... Program memory, 25 ... Work memory, 26 ... External I / F circuit, 27 ... Video output circuit, 28 ... Display device, 29 ... Input device, 30 ... Input circuit, 31 ... Storage device, 32 ..Data bus 54.Information server
101, 221, sketch, 111 to 113, 231 to 234,
301, 321 ...
T1, ... background image, T2, ... area information,
Claims (3)
撮像装置による撮像時の座標系である第１の座標系の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第２の座標系の画像へ変換された当該画像を表示する表示手段と、
前記表示手段により表示された画像に関する設定情報をユーザから受け付ける受付手段と、
前記受付手段により受け付けられた設定情報を第２の座標系の情報から撮像装置の配置によらない基準となる平面上に設けられた第３の座標系の情報へ変換する座標系変換手段と、
を備えたことを特徴とする画像処理装置。 In an image processing apparatus that processes an image,
Displaying the image obtained by converting the image of the first coordinate system, which is the coordinate system at the time of imaging by the imaging device, into the image of the second coordinate system provided on the reference plane based on the arrangement of the imaging device Display means to
Accepting means for accepting setting information regarding the image displayed by the display means from a user;
Coordinate system conversion means for converting the setting information received by the receiving means from information of the second coordinate system to information of a third coordinate system provided on a reference plane independent of the arrangement of the imaging device;
An image processing apparatus comprising:
前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第３の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第２の座標系の情報へ変換し、
当該画像処理装置は、前記座標系変換手段により変換された情報を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する変換情報設定手段を備えた、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The coordinate system conversion means uses second information corresponding to an arrangement different from the predetermined arrangement for setting information of the third coordinate system acquired based on an image captured by one imaging device having a predetermined arrangement. To the coordinate system information of
The image processing apparatus uses the imaging apparatus different from the one imaging apparatus having an arrangement different from the predetermined arrangement or the one imaging apparatus whose arrangement has been changed, by converting the information converted by the coordinate system conversion unit. Provided with conversion information setting means for setting the obtained image;
An image processing apparatus.
前記画像に関する設定情報として、監視する領域を指定する情報又は検出の対象に関する情報のうちの少なくとも一方が用いられる、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
As the setting information related to the image, at least one of information specifying an area to be monitored or information related to a detection target is used.
An image processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007176039A JP4976939B2 (en) | 2007-07-04 | 2007-07-04 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007176039A JP4976939B2 (en) | 2007-07-04 | 2007-07-04 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009017179A JP2009017179A (en) | 2009-01-22 |
| JP4976939B2 true JP4976939B2 (en) | 2012-07-18 |
Family
ID=40357526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007176039A Active JP4976939B2 (en) | 2007-07-04 | 2007-07-04 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4976939B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10192128B2 (en) | 2015-03-27 | 2019-01-29 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9948897B2 (en) | 2012-05-23 | 2018-04-17 | Sony Corporation | Surveillance camera management device, surveillance camera management method, and program |
| JP6381918B2 (en) * | 2013-01-23 | 2018-08-29 | キヤノンメディカルシステムズ株式会社 | Motion information processing device |
| JP6226539B2 (en) | 2013-03-15 | 2017-11-08 | キヤノン株式会社 | Information processing apparatus, information processing apparatus control method, and program |
| JP6226538B2 (en) * | 2013-03-15 | 2017-11-08 | キヤノン株式会社 | Display control apparatus, display control method, and program |
| US10032249B2 (en) | 2014-09-05 | 2018-07-24 | Sakai Display Products Corporation | Image generating apparatus, image generating method, and computer program |
| JP6509546B2 (en) * | 2014-12-12 | 2019-05-08 | 株式会社日立システムズ | Image search system and image search method |
| JP6494418B2 (en) * | 2015-05-25 | 2019-04-03 | キヤノン株式会社 | Image analysis apparatus, image analysis method, and program |
| JP6700845B2 (en) * | 2016-02-22 | 2020-05-27 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| US11457180B2 (en) | 2018-03-28 | 2022-09-27 | Nec Corporation | Video monitoring support apparatus, video monitoring support method, and computer readable recording medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001319218A (en) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | Image monitoring device |
| JP4424031B2 (en) * | 2004-03-30 | 2010-03-03 | 株式会社日立製作所 | Image generating apparatus, system, or image composition method. |
-
2007
- 2007-07-04 JP JP2007176039A patent/JP4976939B2/en active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10192128B2 (en) | 2015-03-27 | 2019-01-29 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
| US10650263B2 (en) | 2015-03-27 | 2020-05-12 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
| US10769468B2 (en) | 2015-03-27 | 2020-09-08 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
| US11144776B2 (en) | 2015-03-27 | 2021-10-12 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
| US11644968B2 (en) | 2015-03-27 | 2023-05-09 | Nec Corporation | Mobile surveillance apparatus, program, and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009017179A (en) | 2009-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4976939B2 (en) | Image processing device | |
| CN108830894B (en) | Remote guidance method, device, terminal and storage medium based on augmented reality | |
| US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
| EP3550513B1 (en) | Method of generating panorama views on a mobile mapping system | |
| JP4478510B2 (en) | Camera system, camera, and camera control method | |
| JP2010128727A (en) | Image processor | |
| JP5183152B2 (en) | Image processing device | |
| JP7051616B2 (en) | Image display system and method | |
| US20190303685A1 (en) | Monitoring system, monitoring method, and non-transitory computer-readable storage medium | |
| CN110796738B (en) | Three-dimensional visualization method and device for state tracking of inspection equipment | |
| JP6381265B2 (en) | Information processing apparatus, display method, and program | |
| US10462448B2 (en) | Image generation system and image generation method | |
| JP2017076943A (en) | Content projector, content projection method and content projection program | |
| CN112514366A (en) | Image processing method, image processing apparatus, and image processing system | |
| JP5574551B2 (en) | Image processing apparatus and image processing method | |
| JP2016197797A (en) | Image processing apparatus, image processing method, and image processing system | |
| US10728522B2 (en) | Control device for a camera apparatus, camera arrangement and method for the stereoscopic recording of a monitoring area | |
| US10089726B2 (en) | Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image | |
| EP4258015A1 (en) | Support system for mobile coordinate scanner | |
| JP3785033B2 (en) | Surveillance camera control system and surveillance camera control device | |
| WO2021138856A1 (en) | Camera control method, device, and computer readable storage medium | |
| CA3201066A1 (en) | Collaborative augmented reality measurement systems and methods | |
| KR102057845B1 (en) | Method for video control by interaction with terminal and video control system using the method | |
| CN111950420A (en) | Obstacle avoidance method, device, equipment and storage medium | |
| JP2005333628A (en) | Camera control apparatus, and monitoring camera system using same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100702 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4976939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |