JP2008015573A - Image processor, image processing method and image monitoring system - Google Patents
Image processor, image processing method and image monitoring system Download PDFInfo
- Publication number
- JP2008015573A JP2008015573A JP2006182940A JP2006182940A JP2008015573A JP 2008015573 A JP2008015573 A JP 2008015573A JP 2006182940 A JP2006182940 A JP 2006182940A JP 2006182940 A JP2006182940 A JP 2006182940A JP 2008015573 A JP2008015573 A JP 2008015573A
- Authority
- JP
- Japan
- Prior art keywords
- real space
- region
- unit
- image
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
この発明は、画像処理装置、画像処理方法および画像監視システムに関する。詳しくは、この発明は、実空間を撮影した複数の画像からそれぞれ所定領域である複数の領域を検出し、この検出された複数の領域をそれぞれ実空間内の指定された平面座標系に変換し、この変換された複数の画像の重なりにより実空間内の指定された平面における所定領域の存在を判定することによって、実空間内における所定領域の存在を良好に判定できるようにした画像処理装置等に係るものである。 The present invention relates to an image processing apparatus, an image processing method, and an image monitoring system. Specifically, the present invention detects a plurality of areas, which are predetermined areas, from a plurality of images obtained by photographing a real space, and converts each of the detected plurality of areas into a designated plane coordinate system in the real space. An image processing apparatus or the like that can determine the presence of a predetermined region in the real space by determining the presence of the predetermined region in the specified plane in the real space by overlapping the plurality of converted images. It is related to.
画像を用いた三次元物体計測では、一般にステレオ画像処理アルゴリズムが用いられることが多い。しかし、ステレオ画像処理システムには、演算量が多いためハードウェア化が必要になる、カメラ間間隔(ベースライン)を長くすることが難しいため正確なキャリブレーションが必要である、などのデメリットが知られている。 In three-dimensional object measurement using images, a stereo image processing algorithm is generally used in many cases. However, the stereo image processing system has disadvantages such as a large amount of computation, which requires hardware, and it is difficult to lengthen the inter-camera interval (baseline), so accurate calibration is necessary. It has been.
視体積交差法は、ステレオ画像処理に比べ、正確な三次元形状を取得する必要がなく、より多くのカメラを用いて簡便な手法で立体形状を計測することが可能である。視体積交差法では、複数視点のシルエット画像を取得し、それを三次元空間上に逆投影することにより、その形状を復元する。ステレオ画像処理アルゴリズムを用いた場合よりも三次元計測の精度は落ちるが、物体のだいたいの大きさ、構造を求めるには十分である。この視体積交差法は、例えば非特許文献１に記載されており、図１１はその概念図を示している。
The visual volume intersection method does not need to acquire an accurate three-dimensional shape as compared with stereo image processing, and can measure a three-dimensional shape by a simple method using more cameras. In the view volume intersection method, silhouette images of a plurality of viewpoints are acquired, and their shapes are restored by back projecting them onto a three-dimensional space. Although the accuracy of three-dimensional measurement is lower than when using a stereo image processing algorithm, it is sufficient to determine the approximate size and structure of an object. This visual volume intersection method is described in Non-Patent
この視体積交差法では、ある空間に物体が存在することを、各カメラで得られた画像を実空間内のある平面に投影し、各画像を重ね合わせ、テクスチャの違いを見ることで判定する。各変換画像のテクスチャが同じであれば、そこに物体があると判定する。この視体積交差法を使った物体検知方法は、例えば特許文献１等に記載されている。
特許文献１等に記載される物体検知方法では、実空間内のある平面に投影された各画像のテクスチャの違いを見ることで物体の存在を判定するものであり、処理部の負荷が大きく、また夜間等でテクスチャが十分に取れない場合、あるいはノイズが多く載っている場合には、テクスチャの比較が難しいことから物体の存在の判定を良好に行うことができない。
In the object detection method described in
この発明の目的は、実空間内における所定領域の存在を良好に判定可能とすることにある。 An object of the present invention is to make it possible to satisfactorily determine the presence of a predetermined area in real space.
この発明の概念は、
実空間を撮影して得られた第１〜第Ｎ（Ｎは２以上の整数）の画像からそれぞれ所定領域である第１〜第Ｎの領域を検出する領域検出部と、
上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域検出部で検出された上記第１〜第Ｎの領域をそれぞれ上記平面座標系の領域に変換する座標変換部と、
上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、
上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における所定領域の存在を判定する判定部と
を備えることを特徴とする画像処理装置にある。
The concept of this invention is
An area detection unit that detects first to Nth areas, which are predetermined areas, from first to Nth (N is an integer of 2 or more) images obtained by photographing a real space;
The first to N-th images detected by the region detection unit using the first to N-th coordinate conversion information for converting the first to N-th images respectively into a designated plane coordinate system in the real space. A coordinate conversion unit for converting each of the Nth region into a region of the planar coordinate system;
An overlap detection unit for detecting an overlap of a plurality of regions of the planar coordinate system obtained by the coordinate conversion unit;
An image processing apparatus comprising: a determination unit that determines presence of a predetermined region in a specified plane in the real space based on a detection result of the overlap detection unit.
この発明においては、実空間を撮影して得られた第１〜第Ｎの画像からそれぞれ所定領域である第１〜第Ｎの領域が検出される。第１〜第Ｎの画像は、例えば第１〜第Ｎの画像撮影部により、互いに視野の一部が重なるように実空間が撮影されて得られる。所定領域は、例えば動体領域（画像内で動物体が存在する領域）等であって、何らかの方法で検出可能な領域である。例えば、動体領域の検出は、従来周知のフレーム間差分処理あるいは背景差分処理等を用いて行われる。 In the present invention, first to Nth areas, which are predetermined areas, are detected from first to Nth images obtained by photographing a real space. The first to Nth images are obtained, for example, by photographing the real space so that the fields of view overlap each other by the first to Nth image photographing units. The predetermined area is, for example, a moving object area (an area where a moving object exists in an image) or the like, and can be detected by some method. For example, the moving object region is detected by using a conventionally known inter-frame difference process or background difference process.
このように検出された第１〜第Ｎの画像はそれぞれ実空間内の指定された平面座標系に変換される。この場合、第１〜第Ｎの画像をそれぞれ実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報が用いられる。この第１〜第Ｎの座標変換情報としては予め設定されているもの、あるいは変換情報取得部を備えていて第１〜第Ｎの画像に基づいて適宜のタイミングで取得したものが使用される。座標変換情報を適宜なタイミングで取得することで、例えば画像撮影部（カメラ）が風などで動く場合であっても常に最適な座標変換情報を使用し得る。 The first to Nth images detected in this way are each converted into a designated plane coordinate system in the real space. In this case, first to Nth coordinate conversion information for converting each of the first to Nth images into a designated plane coordinate system in the real space is used. As the first to N-th coordinate conversion information, information set in advance or information obtained at an appropriate timing based on the first to N-th images provided with a conversion information acquisition unit is used. By acquiring the coordinate conversion information at an appropriate timing, for example, even when the image capturing unit (camera) moves in the wind or the like, the optimal coordinate conversion information can always be used.
平面座標系に変換された複数の領域の重なりが検出される。そして、その検出結果に基づいて、実空間における所定領域の存在が判定される。例えば、重なり領域がある一定以上の大きさがある場合に、その平面に所定領域が存在するものと判定される。この判定結果は、例えばモニタ部（ＰＣ）で提示される。 Overlap of a plurality of areas converted into the plane coordinate system is detected. Based on the detection result, the presence of the predetermined area in the real space is determined. For example, when the overlap area has a certain size or more, it is determined that the predetermined area exists on the plane. This determination result is presented, for example, on a monitor unit (PC).
この場合、所定領域が存在すると判定された実空間の位置を、該位置を示すメタデータに変換するメタデータ化部をさらに備えるようにしてもよい。例えば、このメタデータで表示部に所定領域が存在する位置を表示することで、ユーザは所定領域が存在する実空間位置を容易に把握できる。 In this case, you may make it further provide the metadata conversion part which converts the position of the real space determined that the predetermined area | region exists into the metadata which shows this position. For example, by displaying the position where the predetermined area exists on the display unit with this metadata, the user can easily grasp the real space position where the predetermined area exists.
この発明は、上述したように、実空間を撮影して得られた複数の画像からそれぞれ所定領域である複数の領域を検出し、この検出された複数の領域をそれぞれ実空間内の指定された平面座標系に変換し、この変換された複数の画像の重なりにより実空間内の指定された平面における所定領域の存在を判定するものであり、上述した特許文献１に記載されるように各変換画像のテクスチャの違いをみるものではなく、処理部の負荷が小さくなり、また夜間やノイズが多く乗っている場合であっても所定領域の存在を良好に判定できる。
As described above, the present invention detects a plurality of areas, which are predetermined areas, from a plurality of images obtained by photographing a real space, and each of the detected plurality of areas is designated in the real space. It is converted into a plane coordinate system, and the presence of a predetermined area in a specified plane in the real space is determined by the overlap of the plurality of converted images. As described in
なお、実空間内の指定された平面座標系は、この平面に直交した方向に所定間隔をもって存在する複数の平面にそれぞれ対応した複数の平面座標系であって、領域検知部で検出された第１〜第Ｎの領域がそれぞれ複数の平面座標系の領域に変換されるようにしてもよい。この場合、複数の平面座標系に交わる上述した直交した方向にある程度の大きさを持つ所定領域の存在を判定できる。 The designated plane coordinate system in the real space is a plurality of plane coordinate systems respectively corresponding to a plurality of planes existing at a predetermined interval in a direction orthogonal to the plane, and the first coordinate system detected by the area detection unit. The 1st to Nth areas may be converted into areas of a plurality of plane coordinate systems, respectively. In this case, it is possible to determine the presence of a predetermined area having a certain size in the above-described orthogonal direction intersecting a plurality of plane coordinate systems.
この発明によれば、実空間を撮影した複数の画像からそれぞれ所定領域である複数の領域を検出し、この検出された複数の領域をそれぞれ実空間内の指定された平面座標系に変換し、この変換された複数の画像の重なりにより実空間内の指定された平面における所定領域の存在を判定するものであり、実空間内における所定領域の存在を良好に判定できる。 According to the present invention, a plurality of areas that are predetermined areas are detected from a plurality of images obtained by photographing the real space, and the detected plurality of areas are respectively converted into designated plane coordinate systems in the real space, The presence of the predetermined area in the designated plane in the real space is determined by the overlap of the plurality of converted images, and the presence of the predetermined area in the real space can be determined well.
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像監視システム１００の概略構成を示している。この画像監視システム１００は、監視部１１０と、処理部１２０と、モニタ部１３０とを有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a schematic configuration of an
監視部１１０は、カメラ等を用いた画像入力の機能を持つ。この監視部１１０は、２台以上のカメラを用いて構成でき、カメラの台数が多いほど、処理部１２０における後述する実空間における所定領域の存在の判定精度を高めることができる。この実施の形態では、説明を簡単にするために、２台のカメラを用いたものとする。
The
処理部１２０は、監視部１１０のカメラで撮影して得られる画像に基づいて、実空間内における所定領域、この実施の形態では動体領域（動いている物体が存在する領域）の検知機能を持つ。モニタ部１３０は、処理部１２０の判定結果をユーザに提示する機能を持つ。
The
例えば、監視部１１０はカメラユニットで構成され、処理部１２０およびモニタ部１３０はＰＣ（パーソナルコンピュータ）で構成される。また例えば、監視部１１０および処理部１２０はカメラユニットで構成され、モニタ部１３０はＰＣで構成される。この場合、カメラユニットからＰＣに処理結果がメタデータ等で送られて提示される。
For example, the
さらに例えば、監視部１１０および処理部１２０の一部はカメラユニットで構成され、処理部１２０の一部およびモニタ部１３０はＰＣで構成される。この場合、カメラユニットからＰＣに画像と処理結果がメタデータ等で送られ、ＰＣで残りの処理が行われ、処理結果が提示される。カメラユニット内で処理部の一部もしくは全部を行うことで、後段の処理を軽減できる。
Further, for example, a part of the
モニタ部１３０では、監視部１１０のカメラからの画像信号による画像が表示される他、その画像上に処理によって検出された動体領域が重ねて表示され、さらにはその動体領域における実空間の位置を示す文字、記号、マークなどが表示される。この文字、記号、マークなどの表示は、動体領域における実空間の位置（座標）が例えばテーブルを参照してその位置を示すメタデータに変換されことで可能とされる。
In the
また、このモニタ部１３０では、実空間に動体領域が存在するとの判定時点でアラーム音を発生してユーザに知らせることができる。なお、この他、メール送信、バイブレーション等、ユーザの注意を引くことのできる警告が利用可能である。また、判定時点で画像の録画を開始するなどのトリガとしても利用可能である。
In addition, the
図２は、画像監視システム１００の具体的な構成を示している。
FIG. 2 shows a specific configuration of the
監視部１１０は、２台のカメラ１１１，１１２を有している。これらカメラ１１１，１１２は、それぞれ画像撮影部を構成している。カメラ１１１，１１２は、それぞれ、互いに視野の一部が重なるように実空間を撮影する。例えば、カメラ１１１，１１２は、いわゆるステレオカメラのように近くに並べて配置してもよいし、あるいは所定の距離を取って配置してもよい。
The
処理部１２０は、変換情報取得部１２１と、動体領域検出部１２２と、座標変換部１２３と、重なり検出部１２４と、判定部１２５とを有している。変換情報取得部１２１は、カメラ１１１，１１２で撮影して得られた画像に基づき、それらの画像をそれぞれ実空間内の指定された平面座標系に変換するための座標変換情報（カメラ画像座標系と実空間座標系間の変換情報）を取得する。
The
この場合、変換情報取得部１２１は、例えば実空間に設置されたマーカーの画像上における位置と実空間での位置から、キャリブレーションを行って、変換情報を算出する。もしくは、明確にマーカーを使わなくても、画像内の数点と実空間の数点の対応をとることで、変換情報を算出する。たとえば、画像内を身長などのわかっている人に動き回ってもらうことで、対応を取ることができる。また、画像内に特徴的な物が写っている場合にはそれを手がかりにすることでマーカーをつける必要はなくなる。
In this case, the conversion
この変換情報取得部１２１における変換情報の算出を、実空間における動体領域の存在の判定処理を行う前に予め行っておくことで、処理の高速化をはかることができる。カメラ１１１，１１２等が風邪や振動によって動くことを考慮する場合は、毎時位置関係を把握しキャリブレーションすることも可能である。
By calculating the conversion information in the conversion
ここで、座標変換情報の算出処理について、さらに説明する。 Here, the coordinate conversion information calculation process will be further described.
座標変換情報は、例えば、実空間内に所定数、例えば４つのマーカーを配置し、それをカメラで撮影することで算出できる。このとき、実空間内でのマーカーの位置は分かっているものとする。 The coordinate conversion information can be calculated, for example, by arranging a predetermined number, for example, four markers in the real space and photographing them with a camera. At this time, it is assumed that the position of the marker in the real space is known.
カメラ画像座標におけるある点Ｐｉの位置を（ｘｉ，ｙｉ，ｚｈ）Ｔとする。ｚｈは定数（例えば１）と考えてよい。このとき、実空間座標における同じ点の位置を（Ｘｉ，Ｙｉ，Ｚｉ）Ｔと表すと、カメラ座像座標と実空間座標の関係は、（１）式で表すことができる。ここで、λｉは倍率を表す定数、Ｈは射影変換行列である。 The position of a certain point Pi in the camera image coordinates is assumed to be (x i , y i , z h ) T. z h may be considered as a constant (eg, 1). At this time, if the position of the same point in the real space coordinates is expressed as (X i , Y i , Z i ) T , the relationship between the camera seat image coordinates and the real space coordinates can be expressed by the following equation (1). Here, λ i is a constant representing a magnification, and H is a projective transformation matrix.
ここで、射影変換行列Ｈは、（２）式で表される。 Here, the projective transformation matrix H is expressed by equation (2).
この射影変換行列を求めることで、カメラ画像座標と実空間座標の関連が求められる。（１）式を変形することで、λｉは（３）式のように求まる。 By obtaining this projective transformation matrix, the relationship between camera image coordinates and real space coordinates is obtained. By modifying equation (1), λ i can be obtained as in equation (3).
この（３）式を再度（１）式に代入することで、（４）式および（５）式の関係式が求まる。 By substituting Equation (3) into Equation (1) again, the relational expressions of Equations (4) and (5) can be obtained.
そして、この（４）式、（５）式を、Ａｈ＝０の形式に書き直すと、（６）式のようになる。 Then, when rewriting Formulas (4) and (5) in the format of Ah = 0, Formula (6) is obtained.
（６）式における射影変換行列ｈ＝（Ｈ１１ Ｈ１２ Ｈ１３ Ｈ２１ Ｈ２２ Ｈ２３ Ｈ３１ Ｈ３２ Ｈ３３）Ｔを求めるためには、複数のカメラ画像上の点と実空間上の点の位置の組を複数用意することで算出可能である。複数の点を用いた場合、Ａは（７）式に示すようになる。 In order to obtain the projective transformation matrix h = (H 11 H 12 H 13 H 21 H 22 H 23 H 31 H 32 H 33 ) T in Equation (6), a point on a plurality of camera images and a point on the real space It can be calculated by preparing a plurality of sets of positions. When a plurality of points are used, A is as shown in Equation (7).
例えば、実空間上で同一平面上にある点を両座標系で十分なだけ用意し、行列Ａを作成することで、ｈはＡＴＡの最小固有値に対する固有ベクトルとして求まる。このようにして求まった座標変換情報は、上述したように、カメラ画像を実空間内の指定された平面に投影する際に用いられる。この平面の指定は、例えばＰＣの操作部を操作することで行うことができる。 For example, a sufficient number of points on the same plane in real space are prepared in both coordinate systems, and the matrix A is created, whereby h is obtained as an eigenvector for the minimum eigenvalue of A T A. As described above, the coordinate conversion information obtained in this way is used when a camera image is projected onto a designated plane in real space. The designation of this plane can be performed by operating the operation unit of the PC, for example.
動体領域検出部１２２は、カメラ１１１，１１２で撮影して得られた画像から、それぞれ、動体領域（画像内で動いている物体が存在する領域）を検出する。この動体領域検出部１２２は、従来周知の背景差分処理やフレーム間差分処理を用いることで、画像内で動いている物体の領域を検出する。
The moving body
背景差分処理は、動体領域が写っていない背景画像を作成し、この背景画像と入力画像とを比較することで、動体領域を検出する手法である。フレーム間差分処理は、入力画像（現在の画像）と過去の画像とを比較することで、変化領域を動体領域として検出する手法である。 Background difference processing is a method of detecting a moving object region by creating a background image that does not include a moving object region and comparing the background image with an input image. The inter-frame difference process is a method of detecting a change area as a moving object area by comparing an input image (current image) with a past image.
座標変換部１２３は、カメラ１１１，１１２のそれぞれで得られる画像に対応して変換情報取得部１２１で取得された座標変換情報を用いて、カメラ１１１，１１２の画像から動体領域検出部１２２で検出された各動体領域を、それぞれ、実空間内の指定された平面座標系に変換する。この処理により、各動体領域は、それぞれ、実空間における指定平面に投影変換される。ここで、指定平面は、１つの平面だけでなく、この平面に直交した方向に所定間隔を持って存在する複数の平面であってもよい。
The coordinate
重なり検出部１２４は、座標変換部１２３で実空間内の指定された平面座標系に変換された各動体領域の重なりを検出する。判定部１２５は、重なり検出部１２４の検出結果に基づいて、実空間内の指定された平面における動体領域の存在を判定する。例えば、重なり領域がある一定以上の大きさである場合に、動体領域が存在すると判定する。重なり領域は実空間に投影されているため、判定部１２５では、動体領域が存在する実空間における位置も同時に特定できる。
The
複数の平面での動体領域の重なり結果を用いることで、例えば地面からの高さの異なる複数の平面において同一地点に動体領域が存在するという判定結果を得ることができ、高さのある動物体の検知精度を向上できる。 By using the overlapping results of moving object areas in a plurality of planes, for example, it is possible to obtain a determination result that a moving object area exists at the same point in a plurality of planes having different heights from the ground. Detection accuracy can be improved.
この判定部１２５の判定結果が上述したようにモニタ部１３０に送られる。そして、モニタ部１３０で、ユーザに、判定結果、つまり実空間内における動体領域の検知結果が提示される。
The determination result of the
なお、判定部１２５では、動体領域が存在するかしないかの判定を行うと同時に、上述したように動体領域が存在する実空間における位置を求めることが可能である。動体領域が重なる領域の位置は投影された実空間の位置に合致する。そのため、動体領域の位置を後段のモニタ部１３０に送り、動体領域の位置をユーザに提示することができる。たとえば、監視している場所が、電車のプラットホームの場合であれば、何両目あたりの箇所に動体領域が存在するかという細かい情報を提示することができる。このとき処理部１２０で得られた処理結果は、例えばメタデータ化されてモニタ部１３０に送られる。この場合、判定部１２５は、メタデータ化部も構成している。
The
次に、図１、図２に示す画像監視システム１００における処理の流れを説明する。
Next, the flow of processing in the
図３は、処理の流れを大まかに示している。処理は大きく二つに別れ、座標変換情報を取得する処理（ステップＳＴ１）と、実際に実空間内における動体領域（動物体）を検知する処理（ステップＳＴ２）とからなる。なお、図３では、座標変換情報を取得した後、実空間内における動体領域を検知するようになっているが、座標変換情報の取得を、動体領域を検知しながら行うこともできる。 FIG. 3 roughly shows the flow of processing. The processing is roughly divided into two, and includes processing for acquiring coordinate conversion information (step ST1) and processing for actually detecting a moving object region (animal body) in real space (step ST2). In FIG. 3, the moving object region in the real space is detected after the coordinate conversion information is acquired. However, the coordinate conversion information can be acquired while detecting the moving object region.
図４は、動体領域検知処理の流れを示している。 FIG. 4 shows the flow of the moving object region detection process.
処理が開始された後、ステップＳＴ１１で、処理平面の番号を示すＮを１とすると共に、処理カメラの番号を示すＭを１とする。この実施の形態では、例えばカメラ１１１のカメラ番号が１とされ、カメラ１１２のカメラ番号が２とされ、Ｍの最大値Ｍmaxは２である。そして、ステップＳＴ１２で、番号Ｍのカメラで撮影されて得られた画像が動体領域検出部１２２に入力される。
After the processing is started, in step ST11, N indicating the number of the processing plane is set to 1, and M indicating the number of the processing camera is set to 1. In this embodiment, for example, the camera number of the
次に、ステップＳＴ１３で、動体領域検出部１２２により、ステップＳＴ１２で入力された番号Ｍのカメラの画像から動体領域が検出される。そして、ステップＳＴ１４で、座標変換部１２３により、変換情報取得部１２１で取得された番号Ｍのカメラの画像を変換するための座標変換情報に基づいて、当該番号Ｍのカメラの画像からステップＳＴ１３で検出された動体領域を、実空間内の、番号Ｎの平面の座標系に変換する。
Next, in step ST13, the moving object
次に、ステップＳＴ１５で、平面番号Ｎが最大値Ｎmaxより小さいか否かを判定する。Ｎ＜Ｎmaxであるときは、ステップＳＴ１６で、Ｎの値を１だけ増加し、ステップＳＴ１４に戻り、当該番号Ｍのカメラの画像を次の平面の座標系に変換する処理に移行する。平面番号Ｎが最大値ＮmaxとなってＮ＜Ｎmaxでなくなるときは、ステップＳＴ１７に進む。 Next, in step ST15, it is determined whether or not the plane number N is smaller than the maximum value Nmax. When N <Nmax, the value of N is incremented by 1 in step ST16, and the process returns to step ST14 to shift to the process of converting the image of the camera with the number M into the coordinate system of the next plane. When the plane number N becomes the maximum value Nmax and N <Nmax is not satisfied, the process proceeds to step ST17.
このステップＳＴ１７では、カメラ番号Ｍが最大値Ｍmaxより小さいか否かを判定する。Ｍ＜Ｍmaxであるときは、ステップＳＴ１８で、Ｍの値を１だけ増加し、ステップＳＴ１２に戻り、次のカメラの画像の座標変換処理に移行する。カメラ番号Ｍが最大値ＭmaxとなってＭ＜Ｍmaxでなくなるときは、ステップＳＴ１９に進む。 In step ST17, it is determined whether the camera number M is smaller than the maximum value Mmax. If M <Mmax, the value of M is increased by 1 in step ST18, and the process returns to step ST12 to shift to the coordinate conversion process for the next camera image. When the camera number M becomes the maximum value Mmax and M <Mmax is not satisfied, the process proceeds to step ST19.
このステップＳＴ１９では、重なり検出部１２４により、上述したように実空間内の指定された平面座標系に変換された各カメラの画像に係る動体領域の重なりを検出する。例えば、全ての動体領域のアンド処理を行うことで、全てのカメラに係る全ての平面に動体領域が存在する領域のみを検出できる。
In this step ST19, the
次に、ステップＳＴ２０で、判定部１２５により、ステップＳＴ１９の検出結果に基づいて、実空間内の指定された平面に動体領域が存在するか否かが判定される。例えば、ステップＳＴ１９で検出される領域が十分に大きい場合には存在すると判定し、一方ステップＳＴ１９で検出される領域が小さい場合にはノイズとして除外する。また、ステップＳＴ１９で検出される領域があまりにも大きい場合を取り除くことも可能である。
Next, in step ST20, the
なお、図４に示す動体検知処理の流れでは、画像入力から各平面への座標変換の処理を各カメラからの画像に対してシーケンシャルに行うようになっているが、各カメラからの画像を並列的に処理してもよい。 In the flow of the moving object detection process shown in FIG. 4, the coordinate conversion process from image input to each plane is performed sequentially on the image from each camera, but the images from each camera are arranged in parallel. May be processed automatically.
次に、図１、図２に示す画像監視システム１００における、動体領域検知処理の具体例について説明する。この具体例は、電車のプラットホームに沿って、カメラ１１１，１１２を所定距離、例えば５０ｍほど間をあけて設置した場合の例である。
Next, a specific example of moving object region detection processing in the
図５Ａ，Ｂは、それぞれ、カメラ１１１，１１２で撮影されて得られ、変換情報取得部１２１および動体領域検出部１２２に入力される画像の一例を示している。これら図５Ａ，Ｂの画像例では、動きのある物体である人物ＭＮは、プラットホームＰＦにおり、線路ＬＷには侵入していない。一方、図６Ａ，Ｂは、それぞれ、カメラ１１１，１１２で撮影されて得られ、変換情報取得部１２１および動体領域検出部１２２に入力される画像の他の例を示している。これら図６Ａ，Ｂの画像例では、動きのある物体である人物ＭＮは、線路ＬＷに侵入している。動体領域検知処理では、このように人物ＭＮが線路ＬＷに侵入したことを検知できる。
5A and 5B show examples of images obtained by being photographed by the
図７Ａ，Ｂは、それぞれ、図６Ａ，Ｂに示すカメラ画像を、実空間内の座標系に変換して得られた画像（上方から観察した画像）の一例を示している。ただし、実際には、座標変換部１２３では、動体領域検出部１２２で検出された動体領域が、実空間内の指定された平面座標系、ここでは地面に平行な平面の座標系に変換されるので、図６Ａ，Ｂに示すカメラ画像から検出された動体領域が、それぞれ、図８Ａ，Ｂに示すように、実空間内の指定された平面の動体領域ＭＡａ，ＭＡｂに変換される。なお、図８Ａ，Ｂは１つの平面の座標系に変換されたものを示しているが、実空間内に地面に平行な複数の高さの平面の座標系が指定されているときは、それぞれの平面に対応して変換が行われる。
7A and 7B show examples of images (images observed from above) obtained by converting the camera images shown in FIGS. 6A and 6B into a coordinate system in real space, respectively. However, in practice, the coordinate
重なり検出部１２４では、図８Ａ，Ｂに示すように実空間内の平面座標系に変換された動体領域ＭＡａ，ＭＡｂの重なりが検出される。図９は、動体領域ＭＡａ，ＭＡｂが重なった状態を示している。また、図１０は、動体領域ＭＡａ，ＭＡｂが重なっていない状態を示している。
8A and 8B, the
判定部１２５では、重なりの検出結果に基づいて、実空間内の指定された平面における動体領域の存在が判定される。例えば、図９に示すように動体領域ＭＡａ，ＭＡｂの重なり領域が大きいときには、実空間内の指定された平面に動体が存在しているものと判定され、図１０に示すように動体領域ＭＡａ，ＭＡｂの重なり領域が全くないか、あるいは小さいときは、実空間内の指定された平面に動体が存在していないと判定される。
The
この場合、上述したように実空間内に地面に平行な複数の高さの複数の平面の座標系が予め指定されている場合であって、各平面座標系に変換された動体領域の重なり領域が大きい場合には、線路上に各平面に跨る高さの動物体、例えば人物がいると判定できる。 In this case, as described above, the coordinate system of a plurality of planes having a plurality of heights parallel to the ground is designated in advance in the real space, and the overlapping area of the moving object regions converted into the respective plane coordinate systems When is large, it can be determined that there is an animal body, such as a person, having a height straddling each plane on the track.
図１、図２に示す画像監視システム１００によれば、カメラ１１１，１１２で実空間を撮影して得られた画像からそれぞれ動体領域が検出され、この検出領域がそれぞれ実空間内の指定された平面座標系に変換され、この変換された複数の動体領域の重なりにより実空間内の指定された平面における動体領域の存在が判定されるものである。各変換画像のテクスチャの違いをみるものではなく、処理部１２０の負荷を低減でき、また夜間やノイズが多く乗っている場合であっても動体領域の存在を良好に判定できる。
According to the
なお、上述実施の形態においては、カメラ１１１，１１２で撮影されて得られた画像に基づいて、実空間内で指定された平面に動体領域が存在しているか否かを判定可能としたものであるが、判断対象は動体領域に限定されるものではなく、その他の所定領域、例えば道路上の固定障害物等であってもよい。
In the above-described embodiment, it is possible to determine whether or not a moving object area exists on a plane designated in the real space based on images obtained by the
この発明は、実空間内における所定領域の存在を良好に判定できるものであり、例えば線路上の障害物等を監視する画像監視システム等に適用できる。 The present invention can satisfactorily determine the presence of a predetermined region in real space, and can be applied to, for example, an image monitoring system for monitoring obstacles on a track.
１００・・・画像監視システム、１１０・・・監視部、１１１，１１２・・・カメラ、１２０・・・処理部、１２１・・・変換情報取得部、１２２・・・動体領域検出部、１２３・・・座標変換部、１２４・・・重なり検出部、１２５・・・判定部、１３０・・・モニタ部
DESCRIPTION OF
Claims (7)
上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域検出部で検出された上記第１〜第Ｎの領域を、それぞれ上記平面座標系の領域に変換する座標変換部と、
上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、
上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における上記所定領域の存在を判定する判定部と
を備えることを特徴とする画像処理装置。 An area detection unit that detects first to Nth areas, which are predetermined areas, from first to Nth (N is an integer of 2 or more) images obtained by photographing a real space;
The first to N-th images detected by the region detection unit using the first to N-th coordinate conversion information for converting the first to N-th images respectively into a designated plane coordinate system in the real space. A coordinate conversion unit for converting each of the Nth region into a region of the planar coordinate system;
An overlap detection unit for detecting an overlap of a plurality of regions of the planar coordinate system obtained by the coordinate conversion unit;
An image processing apparatus comprising: a determination unit that determines presence of the predetermined region on a specified plane in the real space based on a detection result of the overlap detection unit.
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the predetermined area is a moving body area in which a moving object is present.
ことを特徴とする請求項１に記載の画像処理装置。 Conversion information for acquiring the first to N-th coordinate conversion information for converting the first to N-th images into the designated plane coordinate system in the real space based on the first to N-th images, respectively. The image processing apparatus according to claim 1, further comprising an acquisition unit.
上記座標変換部は、上記領域検出部で検出された上記第１〜第Ｎの領域を、それぞれ上記複数の平面座標系の領域に変換する
ことを特徴とする請求項１に記載の画像処理装置。 The designated plane coordinate system in the real space is a plurality of plane coordinate systems respectively corresponding to a plurality of planes existing at a predetermined interval in a direction orthogonal to the plane,
The image processing apparatus according to claim 1, wherein the coordinate conversion unit converts the first to Nth areas detected by the area detection unit into areas of the plurality of planar coordinate systems. .
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising: a metadata conversion unit that converts the position of the real space determined by the determination unit to include the predetermined area into metadata indicating the position. .
上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域検出ステップで検出された上記第１〜第Ｎの領域を、それぞれ上記平面座標系の領域に変換する座標変換ステップと、
上記座標変換ステップで得られた上記平面座標系の複数の領域の重なりを検出する重なり検出ステップと、
上記重なり検出ステップの検出結果に基づいて、上記実空間内の指定された平面における上記所定領域の存在を判定する判定ステップと
を備えることを特徴とする画像処理方法。 An area detection step of detecting first to Nth areas, which are predetermined areas, from first to Nth (N is an integer of 2 or more) images obtained by photographing a real space;
The first to N-th images detected in the region detection step using the first to N-th coordinate conversion information for converting the first to N-th images respectively into a designated plane coordinate system in the real space. A coordinate conversion step of converting each of the Nth region to the region of the planar coordinate system;
An overlap detection step of detecting an overlap of a plurality of regions of the planar coordinate system obtained in the coordinate conversion step;
An image processing method comprising: a determination step of determining the presence of the predetermined region on a specified plane in the real space based on a detection result of the overlap detection step.
上記第１〜第Ｎの画像撮影部で撮影して得られた第１〜第Ｎの画像からそれぞれ所定領域である第１〜第Ｎの領域を検出する領域検出部と、
上記第１〜第Ｎの画像をそれぞれ上記実空間内の指定された平面座標系に変換するための第１〜第Ｎの座標変換情報を用いて、上記領域検出部で検出された上記第１〜第Ｎの領域を、それぞれ上記平面座標系の領域に変換する座標変換部と、
上記座標変換部で得られた上記平面座標系の複数の領域の重なりを検出する重なり検出部と、
上記重なり検出部の検出結果に基づいて、上記実空間内の指定された平面における上記所定領域の存在を判定する判定部と、
上記判定部の判定結果を提示するするモニタ部と
を備えることを画像監視システム。 First to Nth (N is an integer greater than or equal to 2) image photographing units that photograph real space so that parts of the field of view overlap each other;
An area detecting unit for detecting first to Nth areas, which are predetermined areas, from the first to Nth images obtained by photographing with the first to Nth image photographing parts;
The first to N-th images detected by the region detection unit using the first to N-th coordinate conversion information for converting the first to N-th images respectively into a designated plane coordinate system in the real space. A coordinate conversion unit for converting each of the Nth region to the region of the planar coordinate system;
An overlap detection unit for detecting an overlap of a plurality of regions of the planar coordinate system obtained by the coordinate conversion unit;
A determination unit that determines the presence of the predetermined region in a specified plane in the real space based on a detection result of the overlap detection unit;
An image monitoring system comprising: a monitor unit that presents a determination result of the determination unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006182940A JP2008015573A (en) | 2006-07-03 | 2006-07-03 | Image processor, image processing method and image monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006182940A JP2008015573A (en) | 2006-07-03 | 2006-07-03 | Image processor, image processing method and image monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008015573A true JP2008015573A (en) | 2008-01-24 |
Family
ID=39072553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006182940A Pending JP2008015573A (en) | 2006-07-03 | 2006-07-03 | Image processor, image processing method and image monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008015573A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010101227A1 (en) | 2009-03-04 | 2010-09-10 | 日本電気株式会社 | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| WO2010126071A1 (en) | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | Object position inference device, object position inference method, and program |
| US9299000B2 (en) | 2010-06-23 | 2016-03-29 | Nec Corporation | Object region extraction system, method and program |
| US9652857B2 (en) | 2011-07-01 | 2017-05-16 | Nec Corporation | Object detection apparatus detection method and program |
| KR101785205B1 (en) | 2016-05-17 | 2017-10-18 | 한국과학기술원 | Method and Apparatus for Multi-object Segmentation based on Shadow using Depth Sensor |
| JP2018055198A (en) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US10769951B2 (en) | 2015-09-30 | 2020-09-08 | Sony Corporation | Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body |
| CN111951201A (en) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | Unmanned aerial vehicle aerial image splicing method and device and storage medium |
| JP2021033601A (en) * | 2019-08-23 | 2021-03-01 | 公益財団法人鉄道総合技術研究所 | Safety confirmation method |
-
2006
- 2006-07-03 JP JP2006182940A patent/JP2008015573A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010101227A1 (en) | 2009-03-04 | 2010-09-10 | 日本電気株式会社 | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| US8995714B2 (en) | 2009-03-04 | 2015-03-31 | Nec Corporation | Information creation device for estimating object position and information creation method and program for estimating object position |
| EP2405393A4 (en) * | 2009-03-04 | 2016-10-26 | Nec Corp | Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program |
| WO2010126071A1 (en) | 2009-04-28 | 2010-11-04 | 日本電気株式会社 | Object position inference device, object position inference method, and program |
| CN102414718A (en) * | 2009-04-28 | 2012-04-11 | 日本电气株式会社 | Object position inference device, object position inference method, and program |
| JP5454573B2 (en) * | 2009-04-28 | 2014-03-26 | 日本電気株式会社 | Object position estimation apparatus, object position estimation method, and program |
| US8885879B2 (en) | 2009-04-28 | 2014-11-11 | Nec Corporation | Object position estimation device, object position estimation method and program |
| US9299000B2 (en) | 2010-06-23 | 2016-03-29 | Nec Corporation | Object region extraction system, method and program |
| US9652857B2 (en) | 2011-07-01 | 2017-05-16 | Nec Corporation | Object detection apparatus detection method and program |
| US10769951B2 (en) | 2015-09-30 | 2020-09-08 | Sony Corporation | Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body |
| KR101785205B1 (en) | 2016-05-17 | 2017-10-18 | 한국과학기술원 | Method and Apparatus for Multi-object Segmentation based on Shadow using Depth Sensor |
| JP2018055198A (en) * | 2016-09-26 | 2018-04-05 | キヤノン株式会社 | Image processing device, image processing method, and program |
| CN111951201A (en) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | Unmanned aerial vehicle aerial image splicing method and device and storage medium |
| CN111951201B (en) * | 2019-05-16 | 2024-01-23 | 杭州海康威视数字技术股份有限公司 | Unmanned aerial vehicle aerial image splicing method, device and storage medium |
| JP2021033601A (en) * | 2019-08-23 | 2021-03-01 | 公益財団法人鉄道総合技術研究所 | Safety confirmation method |
| JP7141987B2 (en) | 2019-08-23 | 2022-09-26 | 公益財団法人鉄道総合技術研究所 | Safety confirmation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008015573A (en) | Image processor, image processing method and image monitoring system | |
| JP5097765B2 (en) | Measuring method, measuring program and measuring device | |
| JP4537557B2 (en) | Information presentation system | |
| JP3054681B2 (en) | Image processing method | |
| JP2016057108A (en) | Arithmetic device, arithmetic system, arithmetic method and program | |
| JP2008506953A5 (en) | ||
| JP2003083742A (en) | Distance correction apparatus and method of monitoring system | |
| KR101011813B1 (en) | Installaion for displaying overlap line of adjoined digital aerial photograph | |
| JPH0997337A (en) | Trespasser monitor device | |
| JP5463584B2 (en) | Displacement measuring method, displacement measuring apparatus, and displacement measuring program | |
| EP3161412B1 (en) | Indexing method and system | |
| JP2016175586A (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP4077385B2 (en) | Global coordinate acquisition device using image processing | |
| JP7121644B2 (en) | Temperature treatment device and temperature treatment method | |
| CN108510528A (en) | A kind of method and device of visible light and infrared image registration fusion | |
| JP6171781B2 (en) | Gaze analysis system | |
| JP4914870B2 (en) | Congestion degree measuring device, congestion degree measuring method, congestion degree measuring program, and recording medium recording the program | |
| JP4752319B2 (en) | Image recognition apparatus and image recognition method | |
| JP5837404B2 (en) | Image processing apparatus and image processing method | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| JPH11248431A (en) | Three-dimensional model forming apparatus and computer readable medium recorded with three-dimensional model generating program | |
| WO2019186677A1 (en) | Robot position/posture estimation and 3d measurement device | |
| WO2018134866A1 (en) | Camera calibration device | |
| JP5230354B2 (en) | POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE | |
| JP4742695B2 (en) | Gaze recognition apparatus and gaze recognition method |