JP2017219377A - Monitoring device, monitoring method, and airport monitoring system - Google Patents
Monitoring device, monitoring method, and airport monitoring system Download PDFInfo
- Publication number
- JP2017219377A JP2017219377A JP2016112790A JP2016112790A JP2017219377A JP 2017219377 A JP2017219377 A JP 2017219377A JP 2016112790 A JP2016112790 A JP 2016112790A JP 2016112790 A JP2016112790 A JP 2016112790A JP 2017219377 A JP2017219377 A JP 2017219377A
- Authority
- JP
- Japan
- Prior art keywords
- probability map
- target object
- camera
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims description 50
- 238000000034 method Methods 0.000 title claims description 23
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000009826 distribution Methods 0.000 claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 239000002131 composite material Substances 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 15
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 101150013335 img1 gene Proteins 0.000 description 4
- 101150071665 img2 gene Proteins 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、航空機及び車両などの物体を監視する画像処理技術に関し、特に、空港内の航空機及び車両などの物体を監視するためにカメラ画像に基づいて当該物体の位置を検出する画像処理技術に関する。 The present invention relates to an image processing technique for monitoring an object such as an aircraft or a vehicle, and more particularly to an image processing technique for detecting the position of the object based on a camera image in order to monitor an object such as an aircraft or a vehicle in an airport. .
従来より、空港における滑走路及び誘導路などの地表面（以下「空港面」ともいう。）の監視のために、ＡＳＤＥ（Ａｉｒｐｏｒｔ Ｓｕｒｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｅｑｕｉｐｍｅｎｔ：空港面探知装置）と呼ばれるレーダ装置、及び監視カメラなどの監視装置が使用されている。空港の管制官は、ＡＳＤＥにより得られたレーダエコー画面とカメラ画像とを通じて、空港面に存在する航空機または車両などの物体の動きを把握することができる。 Conventionally, a radar device called an ASDE (Airport Surface Detection Equipment) and a monitoring camera for monitoring the ground surface (hereinafter also referred to as “airport surface”) such as runways and taxiways at airports. Monitoring devices such as are used. The airport controller can grasp the movement of an object such as an aircraft or a vehicle existing on the airport surface through a radar echo screen and a camera image obtained by ASDE.
また、レーダ装置と監視カメラとを用いて空港面に存在する物体を自動的に識別する技術も存在する。たとえば、特許文献１（特開平１１−１６０４２４号公報）に開示されている空港面監視装置は、レーダエコーに基づいて航空機または車両などの目標物体の方位及び距離信号を含む目標物情報を生成するＡＳＤＥ目標検出装置と、監視カメラの画像データを解析することにより目標物体を抽出しその識別情報（機体番号または車両識別番号）、移動方向及び位置座標をそれぞれ検出するパターン認識装置と、その移動方向及び位置座標の組と当該目標物情報との間の位置相関の有無を判定する位置相関処理装置とを備えている。位置相関処理装置は、位置相関があったとき、ＡＳＤＥ目標検出装置で検出された目標物体が、画像データから抽出された目標物体と同一であると識別し、ＡＳＤＥ目標検出装置で検出された目標物体に当該識別情報のタグを付加する。 There is also a technology for automatically identifying an object existing on an airport surface using a radar device and a monitoring camera. For example, an airport surface monitoring device disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 11-160424) generates target information including a direction signal and a distance signal of a target object such as an aircraft or a vehicle based on a radar echo. ASDE target detection device, pattern recognition device for extracting target object by analyzing image data of surveillance camera and detecting its identification information (machine number or vehicle identification number), moving direction and position coordinate, and moving direction thereof And a position correlation processing device that determines the presence or absence of position correlation between the set of position coordinates and the target object information. When there is a position correlation, the position correlation processing device identifies that the target object detected by the ASDE target detection device is the same as the target object extracted from the image data, and detects the target detected by the ASDE target detection device. A tag of the identification information is added to the object.
しかしながら、ＡＳＤＥ目標検出装置においてレーダエコーを基に検出された目標物体の方位及び距離信号の検出誤差は、空港面における当該目標物体の存在位置に応じて変化する。このため、その検出精度が低いと、当該目標物体の検出位置精度が低くなるおそれがある。 However, the detection error of the azimuth of the target object and the distance signal detected based on the radar echo in the ASDE target detection device changes according to the position of the target object on the airport surface. For this reason, if the detection accuracy is low, the detection position accuracy of the target object may be lowered.
上記に鑑みて本発明の目的は、空港面に存在する物体の位置を高い精度で検出することを可能とする監視装置、監視方法及び空港監視システムを提供することである。 In view of the above, an object of the present invention is to provide a monitoring device, a monitoring method, and an airport monitoring system that can detect the position of an object existing on an airport surface with high accuracy.
本発明の一態様による監視装置は、空港面に存在する目標物体の測位座標を検出する空港面探知センサと、前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部とを用いて前記目標物体を監視する監視装置であって、前記測位座標を２次元の画像座標に変換する座標変換部と、前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得し、当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うセンサ確率マップ生成部と、前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うカメラ確率マップ生成部と、前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行する物体検出部とを備えることを特徴とする。 A monitoring apparatus according to an aspect of the present invention includes an airport surface detection sensor that detects positioning coordinates of a target object existing on an airport surface, an image of the airport surface by imaging the airport surface, and an image of a background other than the target object. A monitoring device that monitors the target object using an imaging unit that outputs a camera image including a coordinate conversion unit that converts the positioning coordinates into two-dimensional image coordinates, and a positioning position by the airport surface detection sensor Error distribution data representing a spatial error distribution of the sensor probability map, and based on the error distribution data and the image coordinates, a sensor probability map indicating a probability distribution in which the target object and the background respectively appear in a two-dimensional image space. Based on the sensor probability map generation unit that performs the calculation and the camera image, the probability that the target object and the background will appear in the two-dimensional image space, respectively. A foreground region representing the target object based on a combined probability map obtained by combining the sensor probability map and the camera probability map; and a camera probability map generation unit that calculates a camera probability map indicating cloth And an object detection unit that performs segmentation to separate the background region.
本発明によれば、空港面に存在する目標物体の位置を高い精度で検出することが可能となる。 According to the present invention, the position of the target object existing on the airport surface can be detected with high accuracy.
以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。 Hereinafter, various embodiments according to the present invention will be described in detail with reference to the drawings. In addition, the component to which the same code | symbol was attached | subjected in the whole drawing shall have the same structure and the same function.
実施の形態１．
図１は、本発明に係る実施の形態１の空港監視システム１の概略構成を示すブロック図である。この空港監視システム１は、図１に示されるように空港面探知センサ２、撮像部３、監視装置４、及び、画像表示装置を含む表示部２１を備えて構成されている。空港面探知センサ２は、滑走路または誘導路などの空港面に存在する航空機、トラック、バスまたは特殊車両などの移動物体を探知してその位置座標（以下「測位座標」ともいう。）を測定する測位機能を有し、当該測位座標を示す測位データＧＤを監視装置４に送信する通信機能を有する。測位座標は、たとえば、ＧＥＯ座標系（ＧＥＯｄｅｔｉｃ ｃｏｏｒｄｉｎａｔｅｓ：測地座標系）の緯度φ、経度Ω及び高度ｈで表現されている。特殊車両としては、たとえば、トーイングカー（航空機のプッシュバックまたはトーイングのために使用される車両）、コンテナ運搬車、燃料給油作業車及び給水車が挙げられる。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a schematic configuration of an airport monitoring system 1 according to the first embodiment of the present invention. As shown in FIG. 1, the airport monitoring system 1 includes an airport
また、空港面探知センサ２は、たとえば、ＡＳＤＥ（Ａｉｒｐｏｒｔ Ｓｕｒｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｅｑｕｉｐｍｅｎｔ：空港面探知装置）やＡＳＲ（Ａｉｒｐｏｒｔ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）などの監視レーダで構成可能である。また、空港面探知センサ２は、監視レーダが探知できない領域を監視するために、ＭＬＡＴ（Ｍｕｌｔｉ−ＬＡＴｅｒａｔｉｏｎ：マルチラテレーション）などの監視システムを備えている。ＭＬＡＴとは、航空機のトランスポンダから送信された応答信号またはスキッタ信号などの信号を３カ所以上の受信局で受信して、これら受信信号間の受信時刻の差に基づいて当該航空機の位置を測定する監視システムである。
Moreover, the airport
更に、空港面探知センサ２は、ＭＬＡＴなどの監視システムを利用して、移動物体の種類を示す移動体情報ＢＴを供給することができる。移動体情報ＢＴとしては、航空機の機種情報または特殊車両の車種情報が挙げられる。この移動体情報ＢＴは、本実施の形態では使用されないが、後述する実施の形態２及び実施の形態３で使用される情報である。
Furthermore, the airport
撮像部３は、空港内に設置された単数または複数の監視カメラで構成されており、各監視カメラは、空港面と空などの背景とを撮像するように配置されている。各監視カメラの構造は、被写体を撮像してその被写体の撮像画像ＩＭＧを監視装置４に転送することができる構成を有していればよく、その構造は特に限定されるものではない。このような監視カメラは、たとえば、撮像光学系から入射された被写体の光学像を電気信号に変換する固体撮像素子と、この固体撮像素子の出力に信号処理を施して撮像画像データを生成する信号処理回路と、その撮像画像データを一時的に記憶するバッファメモリと、このバッファメモリから撮像画像データを読み出して監視装置４に転送するデータ送信部とで構成可能である。固体撮像素子としては、たとえば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、または、光電子増倍管などの光電変換デバイスを含む高感度イメージセンサを使用することができる。
The
監視装置４は、図１に示されるように、座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５、出力部１６及びセンサ誤差記憶部１７を備えて構成される。
As shown in FIG. 1, the monitoring device 4 includes a
座標変換部１０は、空港面探知センサ２から測位データＧＤを受信すると、この測位データＧＤで示される、移動物体（以下「目標物体」という。）の測位座標を２次元の画像座標ＩＣに投影変換し、その画像座標ＩＣの情報をセンサ確率マップ生成部１２に供給する。投影変換は、たとえば、ＷＧＳ−８４（Ｗｏｒｌｄ Ｇｅｏｄｅｔｉｃ Ｓｙｓｔｅｍ−８４）座標系を使用して行われる。空港面探知センサ２で得られる測位座標がＧＥＯ座標系の情報であるため、座標変換部１０は、測位座標をＥＣＦ（Ｅａｒｔｈ−Ｃｅｎｔｅｒｅｄ−Ｅａｒｔｈ−Ｆｉｘｅｄ）座標に変換し、このＥＣＦ座標をＥＮＵ（Ｅａｓｔ−Ｎｏｒｔｈ−Ｕｐ）座標に変換する。そして、座標変換部１０は、そのＥＮＵ座標に基づいて画像座標を算出する。
Upon receiving the positioning data GD from the airport
具体的には、座標変換部１０は、先ず、次式（１）に従って、ＧＥＯ座標系の測位座標［φ，Ω，ｈ］Ｔ（Ｔは転置記号）をＥＣＦ座標［ＸＦ，ＹＦ，ＺＦ］Ｔに変換する。
ここで、φは緯度（単位：ラジアン）、Ωは経度（単位：ラジアン）、ｈは楕円体高（単位：ｍ）、ｅは地球の離心率、ｆは地球の偏平率、Ｎは地球半径である。離心率ｅ、偏平率ｆ及び地球半径Ｎは、次式（２）で与えられる。
次に、座標変換部１０は、次式（３）に従って、ＥＣＦ座標［ＸＦ，ＹＦ，ＺＦ］ＴをＥＮＵ座標［ＸＮ，ＹＮ，ＺＮ］Ｔに変換する。
式（３）の右辺のベクトル［ＸＦＳ，ＹＦＳ，ＺＦＳ］Ｔは、基準点のＥＣＦ座標である。また、式（３）の右辺のＴＦＮは、次式（４）で与えられる回転行列である。
なお、回転行列ＴＦＮは、この回転行列の転置ＴＦＮ Ｔと等しい。 Note that the rotation matrix T FN is equal to the transpose T FN T of this rotation matrix.
そして、座標変換部１０は、同次座標（Ｈｏｍｏｇｅｎｏｕｓ Ｃｏｏｒｄｉｎａｔｅｓ）を用いて、次式（５）により、ＥＮＵ座標［ＸＮ，ＹＮ，ＺＮ］Ｔを２次元の画像座標［ｕ，ｖ］Ｔに変換することができる。
ここで、右辺のＡは、カメラの内部パラメータを示すスカラー量であり、［Ｒ｜Ｔ］は、３行４列の行列である。また、Ｒは、２行２列の回転行列要素を含む３行２列の行列であり、Ｔは、並行移動量を含む３行１列の行列である。内部パラメータＡ、行列Ｒ，Ｔは、予めカメラキャリブレーションにより求められる。 Here, A on the right side is a scalar quantity indicating an internal parameter of the camera, and [R | T] is a 3 × 4 matrix. Further, R is a 3 × 2 matrix including 2 × 2 rotation matrix elements, and T is a 3 × 1 matrix including parallel movement amounts. The internal parameter A and the matrices R and T are obtained in advance by camera calibration.
センサ誤差記憶部１７は、空港面探知センサ２による測位位置の空間的な誤差分布を示す誤差分布データＥＤをセンサ確率マップ生成部１２に供給する記録媒体である。誤差分布データＥＤは、たとえば、空港面探知センサ２における監視レーダまたはＭＬＡＴにより得られた測位情報（緯度、経度及び高度）に対して発生する誤差分布を示すデータであればよい。この誤差分布は、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）などのＧＮＳＳ（全地球航法衛星システム）の高精度測位情報と、空港面探知センサ２で得られた測位情報の平均値及び分散値とを用いて予め算出されたものである。また、ＧＮＳＳが使用されない場合には、空港内の定点に置かれた測定器のデータを使用して平均値及び分散値を求める方法が使用されてもよい。更には、ＭＬＡＴに代えて、ＡＤＳ−Ｂ（Ａｕｔｏｍａｔｉｃ Ｄｅｐｅｎｄｅｎｔ Ｓｕｒｖｅｉｌｌａｎｃｅ−Ｂｒｏａｄｃａｓｔ）システムから得た測位情報が使用されてもよい。
The sensor
なお、本実施の形態のセンサ誤差記憶部１７は、監視装置４の構成要素の１つであるが、これに限定されるものではない。センサ誤差記憶部１７は、監視装置４の外部に配置され、ケーブルまたは通信回線を介して監視装置４と接続されていてもよい。
In addition, although the sensor
図２に概念的に示されるように、監視装置４は、空港面探知センサ２から目標物体の測位位置Ｐｔを示す測位データＧＤを受信し、撮像部３から目標物体が現れるカメラ画像ＩＭＧを受信する。監視装置４は、測位データＧＤ及びカメラ画像ＩＭＧに加えて、センサ誤差記憶部１７から誤差分布を示す誤差分布データＥＤを取得し、これら測位データＧＤ、カメラ画像ＩＭＧ及び誤差分布データＥＤに基づいて、目標物体の正確な位置を推定することができる。また、監視装置４は、図２に示されるような監視用画像ＩＭＧ１，ＩＭＧ２を図１の表示部２１に表示させることができる。空港の管制官は、表示部２１に表示された監視用画像ＩＭＧ１，ＩＭＧ２を用いて効率的な管制業務を行うことが可能である。一方の監視用画像ＩＭＧ１は、カメラ画像に目標物体を指す検出枠Ｆｍの画像を重畳させて得られる画像である。また、他方の監視用画像ＩＭＧ２は、空港内に配置された監視カメラ２５と、空港面に存在する目標物体２６とを模式的に表す画像である。
As conceptually shown in FIG. 2, the monitoring device 4 receives the positioning data GD indicating the positioning position Pt of the target object from the airport
次に、図３を参照しつつ、センサ確率マップ生成部１２、カメラ確率マップ生成部１１、モデル生成部１３及び物体検出部１４の動作を以下に説明する。図３は、実施の形態１に係る物体検出処理の手順の一例を概略的に示すフローチャートである。
Next, operations of the sensor probability
図３を参照すると、先ず、センサ確率マップ生成部１２は、誤差分布データＥＤと目標物体の画像座標［ｕ，ｖ］Ｔとに基づき、２次元画像空間において目標物体及びこれ以外の背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップＰＭｂを算出する（ステップＳＴ１０）。
Referring to FIG. 3, first, the sensor probability
ここで、本実施の形態のセンサ誤差記憶部１７に記憶されている誤差分布は、ＥＣＦ座標系の誤差分布であるので、センサ確率マップ生成部１２は、その誤差分布を、カメラ画像に対応した画像座標系上の誤差分布に変換する必要がある。この変換は、カメラパラメータを用いた座標変換により、誤差分布を画像座標系に投影するものである。センサ確率マップ生成部１２は、画像座標系上の誤差分布と画像座標［ｕ，ｖ］Ｔとを用いて、センサ確率マップＰＭｂを算出する。
Here, since the error distribution stored in the sensor
今、目標物体の画像座標を［ｕ，ｖ］Ｔ＝［ｕＳ，ｖＳ］Ｔとし、画像座標系上の誤差分布をＵ（ｕ，ｖ）とする。このとき、センサ確率マップ生成部１２は、次式（６），（７）に従って、センサ確率マップＰＭｂを算出することができる。
ここで、Ｓｍａｐ ｆｇ（ｕ，ｖ）は、２次元画像空間において目標物体（すなわち前景）が現れる確からしさの分布を示す前景確率マップであり、Ｓｍａｐ ｂｇ（ｕ，ｖ）は、２次元画像空間において背景が現れる確からしさの分布を示す背景確率マップである。センサ確率マップＰＭｂは、これら前景確率マップＳｍａｐ ｆｇ（ｕ，ｖ）と背景確率マップＳｍａｐ ｂｇ（ｕ，ｖ）との組で構成されている。また、式（７）中のｍａｘ｛Ｓｍａｐ ｆｇ（ｕ，ｖ）｝は、Ｓｍａｐ ｆｇ（ｕ，ｖ）の最大値である。式（６）は、画像上の目標物体の存在確率の値が、検出位置座標［ｕＳ，ｖＳ］Ｔから離れるに従って小さくなることを示している。 Here, S map fg (u, v) is a foreground probability map indicating the probability distribution in which the target object (ie, foreground) appears in the two-dimensional image space, and S map bg (u, v) is two-dimensional. It is a background probability map which shows distribution of the probability that a background will appear in image space. The sensor probability map PMb is composed of a set of the foreground probability map S map fg (u, v) and the background probability map S map bg (u, v). Further, max {S map fg (u, v)} in equation (7) is the maximum value of S map fg (u, v). Equation (6) shows that the value of the existence probability of the target object on the image decreases as the distance from the detected position coordinates [u S , v S ] T increases.
次に、カメラ確率マップ生成部１１、モデル生成部１３及び物体検出部１４は、連携して動作し、カメラ画像ＩＭＧに基づいて、２次元画像空間において目標物体及びこれ以外の背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップＰＭａを算出する（ステップＳＴ１１）。
Next, the camera probability
具体的には、初回（１回目）にカメラ確率マップＰＭａの算出が行われる場合、物体検出部１４が、ステップＳＴ１０で算出された前景確率マップＳｍａｐ ｆｇ（ｕ，ｖ）に基づいて、画像における目標物体の存在確率が高い局所画像領域Ｖｐ（たとえば、存在確率が一定以上の領域）を初期の前景領域として検出する。モデル生成部１３は、この前景領域Ｖｐを用いて目標物体を表す前景の色分布モデルを算出し、前景領域Ｖｐ以外の背景領域ＶＢＧ（複数の目標物体が存在する場合には、これらすべての目標物体以外の背景領域）を用いて背景の色分布モデルを算出する。前景の色分布モデルは、たとえば、その前景領域Ｖｐの濃度の相対頻度分布（すなわち濃度ヒストグラム）である前景画像の色ヒストグラムＨｆｇ（ｃ）（ｃは、濃度階調値）として算出可能である。すなわち、モデル生成部１３は、次式（８）に従って前景画像の色ヒストグラムＨｆｇ（ｃ）を算出することができる。
ここで、右辺の分母のＭ（Ｖｐ）は、前景領域Ｖｐに含まれる画素の総数である。右辺の分子は、カメラ画像全体について、画素座標（ｕ，ｖ）が前景領域Ｖｐに属し且つ画像濃度Ｉ（ｕ，ｖ）が濃度階調値ｃに一致する場合にのみ１を加算することを意味している。 Here, M (V p ) in the denominator on the right side is the total number of pixels included in the foreground region V p . The numerator on the right side adds 1 only when the pixel coordinates (u, v) belong to the foreground region V p and the image density I (u, v) matches the density gradation value c for the entire camera image. Means.
一方、背景の色分布モデルは、たとえば、背景領域ＶＢＧの濃度の相対頻度分布（すなわち濃度ヒストグラム）である背景画像の色ヒストグラムＨｂｇ（ｃ）として算出可能である。すなわち、モデル生成部１３は、次式（９）に従って背景画像の色ヒストグラムＨｂｇ（ｃ）を算出することができる。
ここで、右辺の分母のＭ（ＶＢＧ）は、背景領域ＶＢＧに含まれる画素の総数である。右辺の分子は、カメラ画像全体について、画素座標（ｕ，ｖ）が背景領域ＶＢＧに属し且つ画像濃度Ｉ（ｕ，ｖ）が濃度階調値ｃに一致する場合にのみ１を加算することを意味している。 Here, M (V BG ) in the denominator on the right side is the total number of pixels included in the background region V BG . The numerator on the right side adds 1 only when the pixel coordinates (u, v) belong to the background region VBG and the image density I (u, v) matches the density gradation value c for the entire camera image. Means.
カメラ確率マップ生成部１１は、次式（１０），（１１）に従って、カメラ確率マップＰＭａを算出することができる。
ここで、ｃｕ，ｖは、座標（ｕ，ｖ）での濃度階調値ｃである。また、Ｉｍａｐ ｆｇ（ｕ，ｖ）は、２次元画像空間において目標物体（すなわち前景）が現れる確からしさの分布を示す前景確率マップであり、Ｉｍａｐ ｂｇ（ｕ，ｖ）は、２次元画像空間において背景が現れる確からしさの分布を示す背景確率マップである。カメラ確率マップＰＭａは、これら前景確率マップＩｍａｐ ｆｇ（ｕ，ｖ）と背景確率マップＩｍａｐ ｂｇ（ｕ，ｖ）との組で構成されている。 Here, c u, v is the density gradation value c at the coordinates (u, v). Further, I map fg (u, v) is a foreground probability map indicating a probability distribution in which a target object (ie, foreground) appears in a two-dimensional image space, and I map bg (u, v) is a two-dimensional image. It is a background probability map which shows distribution of the probability that a background will appear in space. The camera probability map PMa is composed of a set of the foreground probability map I map fg (u, v) and the background probability map I map bg (u, v).
２回目以後のステップＳＴ１１が実行される場合は、カメラ確率マップ生成部１１は、 次式（１２），（１３）に従って、カメラ確率マップＰＭａを算出することができる。
上記したカメラ確率マップＰＭａの算出（ステップＳＴ１１）後、物体検出部１４は、カメラ確率マップＰＭａ及びセンサ確率マップＰＭｂを合成して得られる合成確率マップに基づいて、カメラ画像を、目標物体を表す前景領域とこれ以外の背景領域とに分離するセグメンテーションを実行する（ステップＳＴ１２）。具体的には、物体検出部１４は、グラフ理論に基づくグラフカット法を用いて、合成確率マップを有するデータ項と、隣接画素間の滑らかさを定める平滑化項とを含むエネルギー関数Ｅ（Ｘ）の値が最小化するようにセグメンテーションを実行する。グラフカット法によれば、エネルギー関数Ｅ（Ｘ）は、次式（１４）で与えられる。
ここで、右辺の第１項は、カメラ確率マップＩｍａｐ Ｘｍ（ｕ，ｖ）とセンサ確率マップＳｍａｐ Ｘｍ（ｕ，ｖ）とが合成（すなわち線形加算）された合成確率マップを有するデータ項（ｄａｔａ ｔｅｒｍ）である。このデータ項では、Ｖは、サイト（画素）ｒを表す集合を意味する。Ｘｍは、サイトｒに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味する。 Here, the first term on the right side is a data term having a composite probability map in which the camera probability map I map Xm (u, v) and the sensor probability map S map Xm (u, v) are combined (that is, linear addition). (Data term). In this data term, V means a set representing a site (pixel) r. Xm means a label (either foreground fg or background bg) to be assigned to site r.
一方、式（１４）の右辺の第２項は、互いに隣接するサイト（画素）ｒ，ｑ間の滑らかさを定める平滑項（ｓｍｏｏｔｈｉｎｇ ｔｅｒｍ）である。この平滑項では、Ｅは、サイトｑ，ｒ間の隣接関係を表す集合であり、（ｑ，ｒ）∈Ｅの場合は、２つのサイトｑ，ｒが隣接することを意味する。また、Ｘ１は、サイトｑに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味し、Ｘ２は、サイトｒに割り当てられるべきラベル（前景ｆｇまたは背景ｂｇのいずれか）を意味する。これは、グラフ理論では、Ｖを頂点の集合とし、Ｅを辺の集合とする無向グラフと考えることができる。ｈＸ１，Ｘ２（Ｘ１，Ｘ２）は、たとえば、次式（１５）で定義可能である。
ここで、Ｘ１＝Ｘ２以外の場合（ｏｔｈｅｒｗｉｓｅ）の式（１５）の右辺の分母ｄｉｓｔ（Ｘ１，Ｘ２）は、２つのサイト間の距離であり、（ｕＸ１，ｖＸ１）は一方のサイトの画像座標を、（ｕＸ２，ｖＸ２）は他方のサイトの画像座標をそれぞれ示す。平滑化項は、近傍のサイト（画素）に同じラベル（前景ｆｇまたは背景ｂｇ）が割り当てられた場合に小さい値となるように定義されている。たとえば、図４Ａに示されるように入力画像Ｇ０が与えられたとき、図４Ｂに示されるように、前景ｆｇが割り当てられた画素Ｐｆと背景ｂｇが割り当てられた画素Ｐｂとからなるラベル画像Ｇ１が生成される。ラベル画像Ｇ１の中央付近において白色の画素Ｐｆで囲まれた黒色画素Ｐｂは、周囲の画素のラベルとは異なるためにペナルティが加えられる。黒色画素Ｐｆは同じラベルが付くように設定される。 Here, the denominator dist (X1, X2) on the right side of the equation (15) in the case of other than X1 = X2 is the distance between the two sites, and (u X1 , v X1 ) is the value of one site The image coordinates (u X2 , v X2 ) indicate the image coordinates of the other site, respectively. The smoothing term is defined to be a small value when the same label (foreground fg or background bg) is assigned to a nearby site (pixel). For example, when an input image G0 is given as shown in FIG. 4A, as shown in FIG. 4B, a label image G1 composed of a pixel Pf to which the foreground fg is assigned and a pixel Pb to which the background bg is assigned is obtained. Generated. The black pixel Pb surrounded by the white pixel Pf near the center of the label image G1 is different from the labels of the surrounding pixels, so a penalty is added. The black pixels Pf are set to have the same label.
物体検出部１４は、グラフカット法に従い、エネルギー関数Ｅ（Ｘ）を最小化するように各サイトのラベルを決定する（大域最小化する）ことにより、カメラ画像を前景領域と背景領域とに分離（セグメント）することができる（ステップＳＴ１２）。より具体的な分離方法としては、たとえば、下記の非特許文献１に開示されている方法を採用すればよい。
・非特許文献１：Y. Boykov and M-P. Jolly.: Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images, In ICCV2001, I:105-112, 2001.
The
Non-Patent Document 1: Y. Boykov and MP. Jolly .: Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in ND Images, In ICCV2001, I: 105-112, 2001.
なお、カラー画像に基づく色分布モデルを使用する場合には、色分布モデルとして混合正規分布（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）を採用すればよい。この場合のセグメンテーションとしては、たとえば、下記の非特許文献２に開示されている方法を使用すればよい。
・非特許文献２：C. Rother, V. Kolmogorov, and A. Blake.: “Grab-Cut”: Interactive Foreground Extraction Using Iterated Graph Cuts, ACM Transactions on Graphics (Proc. SIGGRAPH 2004), 23(3):309-314, 2004.
When a color distribution model based on a color image is used, a mixed normal distribution (GMM: Gaussian Mixture Model) may be employed as the color distribution model. As segmentation in this case, for example, a method disclosed in
Non-Patent Document 2: C. Rother, V. Kolmogorov, and A. Blake .: “Grab-Cut”: Interactive Foreground Extraction Using Iterated Graph Cuts, ACM Transactions on Graphics (Proc. SIGGRAPH 2004), 23 (3): 309-314, 2004.
上記ステップＳＴ１２の実行後は、ステップＳＴ１０〜ＳＴ１２の繰り返し回数（反復回数）が上限に到達していない場合（ステップＳＴ１３のＮＯ）、物体検出部１４は、ステップＳＴ１４に処理を移行させる。
After the execution of step ST12, when the number of repetitions (the number of repetitions) of steps ST10 to ST12 has not reached the upper limit (NO in step ST13), the
ステップＳＴ１４では、モデル生成部１３は、ステップＳＴ１２で得られた前景領域と背景領域とを用いて、色分布モデルを更新する。すなわち、モデル生成部１３は、ステップＳＴ１２で得られた前景領域と背景領域とを用いて、上式（８），（９）に従って色分布モデルＨｆｇ（ｃ），Ｈｂｇ（ｃ）を新たに生成する。次の２回目以後のステップＳＴ１１では、そして、カメラ確率マップ生成部１１は、これら色分布モデルＨｆｇ（ｃ），Ｈｂｇ（ｃ）を用いて、上式（１２），（１３）に従ってカメラ確率マップＰＭａを算出する。
In step ST14, the
このような繰り返し処理を行うことにより、前景の色分布モデルと背景の色分布モデルとの精度が向上し、前景と背景との分離精度が向上する。繰り返し回数の上限は、定数で指定されてもよいし、あるいは、グラフ理論を用いた目標物体検出結果による変化がしきい値以下となった場合を終了条件としてもよい。たとえば、図５Ａのカメラ画像ＩＭＧが与えられたとき、グラフ理論を用いた大域最小化により、図５Ｂに例示されるように、ラベル画像ＩＭＧａには目標物体が白色（濃度値＝２５５）で示され、背景が黒色（濃度値＝０）で示される。 By performing such repeated processing, the accuracy of the foreground color distribution model and the background color distribution model is improved, and the separation accuracy of the foreground and the background is improved. The upper limit of the number of repetitions may be specified by a constant, or the end condition may be a case where a change due to the target object detection result using graph theory is equal to or less than a threshold value. For example, when the camera image IMG of FIG. 5A is given, the target object is shown in white (density value = 255) in the label image IMGa as illustrated in FIG. 5B by global minimization using graph theory. The background is shown in black (density value = 0).
その後、繰り返し回数が上限に到達した場合（ステップＳＴ１３のＹＥＳ）、物体検出部１４は、得られた前景領域で特定される目標物体に対する検出枠を生成する（ステップＳＴ１５）。具体的には、物体検出部１４は、たとえば、図５Ｃの白色の前景領域を内包するように白色の検出枠を生成すればよい。検出枠のための座標算出法として、検出枠の左上座標を（ｕＬ、ｖＬ）、右下座標を（ｕＲ、ｖＲ）とするとき、物体検出部１４は、白色領域の最小座標を（ｕＬ、ｖＬ）に、その最大座標を（ｕＲ、ｖＲ）に設定することができる。
Thereafter, when the number of repetitions reaches the upper limit (YES in step ST13), the
次に、物体検出部１４は、全ての目標物体について処理が完了したか否かを判定する（ステップＳＴ１６）。全ての目標物体について処理が完了していない場合（ステップＳＴ１６のＮＯ）、物体検出部１４は、次の目標物体を指定してステップＳＴ１０に処理を移行させる。一方、全ての目標物体について処理が完了した場合（ステップＳＴ１６のＹＥＳ）、以上の物体検出処理は終了する。
Next, the
上記物体検出処理の完了後は、座標推定部１５は、目標物体の前景領域と背景領域とを示す検出結果ＤＴを用いて、空港面における各目標物体の位置座標を推定する。具体的には、座標推定部１５は、当該検出結果ＤＴ及び撮像部３の内部パラメータを用いて、画像座標をＥＮＵ座標に変換し、そのＥＮＵ座標をＥＣＦ座標に変換する。更に、座標推定部１５は、そのＥＣＦ座標をＧＥＯ座標に変換する。
After the object detection process is completed, the coordinate
たとえば、座標推定部１５は、次式（１６）に示すように２次元の画像座標［ｕ，ｖ］Ｔに基づいて３次元座標［ｖｅｃｘ Ｃ，ｖｅｃｙ Ｃ，ｖｅｃｚ Ｃ］Ｔを生成する。
ここで、（Ｃｕ，Ｃｖ）は、撮像部３のカメラの内部パラメータのレンズ中心を示し、（ｆｕ，ｆｖ）は焦点距離を示す。
Here, (C u , C v ) indicates the lens center of the internal parameters of the camera of the
次に、座標推定部１５は、３次元座標［ｖｅｃｘ Ｃ，ｖｅｃｙ Ｃ，ｖｅｃｚ Ｃ］ＴをＥＮＵ座標［ＸＮ，ＹＮ，ＺＮ］Ｔに変換する。具体的には、座標推定部１５は、次式（１７）に示されるように回転行列｛Ｒｉｊ｝を用いて、３次元座標［ｖｅｃｘ Ｃ，ｖｅｃｙ Ｃ，ｖｅｃｚ Ｃ］Ｔを座標変換する。
次に、座標推定部１５は、次式（１８）に示されるような座標変換を実行してＥＮＦ座標［ＸＮ，ＹＮ，ＺＮ］Ｔを生成する。
ここで、たとえば、ＺＮ＝０のとき、式（１８）により、定数ｋは、−Ｔｚ／ｖｅｃｚ Ｅとして算出される。 Here, for example, when Z N = 0, the constant k is calculated as −T z / vec z E by Expression (18).
次に、座標推定部１５は、次式（１９）に示されるように、ＥＮＦ座標［ＸＮ，ＹＮ，ＺＮ］ＴをＥＣＦ座標［ＸＦ，ＹＦ，ＺＦ］Ｔに変換する。
ここで、行列ＴＮＦは、行列ＴＦＮに対する逆行列である。 Here, the matrix T NF is an inverse matrix with respect to the matrix T FN .
そして、座標推定部１５は、次式（２０Ａ）〜（２０Ｃ）に従って、ＥＣＦ座標［ＸＦ，ＹＦ，ＺＦ］ＴをＧＥＯ座標［φ，Ω，ｈ］Ｔに変換する。
ここで、ｐ，ｒ，μは次式（２１）のとおりである。
出力部１６は、座標推定部１５による推定結果ＥＴを用いて、たとえば、図２に示されるように検出枠Ｆｍが描画された表示画像ＩＭＧ１、あるいは、目標物体のシンボル２６が描画された空港面の地図を示す表示画像ＩＭＧ２を表示部２１に表示させることができる。
The
上記した監視装置４のハードウェア構成は、たとえば、パーソナルコンピュータ、ワークステーションまたはメインフレームなどのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内蔵のコンピュータで実現可能である。あるいは、監視装置４のハードウェア構成は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらの組み合わせなどのＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）により実現されてもよい。 The hardware configuration of the monitoring device 4 described above can be realized by, for example, a computer with a CPU (Central Processing Unit) such as a personal computer, a workstation, or a main frame. Alternatively, the hardware configuration of the monitoring device 4 may be an LSI (Circuit Real Gate Array) such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array), or a combination thereof. May be.
図６Ａは、監視装置４のハードウェア構成を実現する情報処理装置４Ｓの概略構成を示すブロック図である。図６Ａに示されるように情報処理装置４Ｓは、ＣＰＵ３１ｃを含むプロセッサ３１と、プロセッサ３１によって作業用メモリとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３２と、ソフトウェア及びファームウェアの一方または双方のコンピュータ・プログラムが格納される不揮発性メモリ３３と、センサ誤差記憶部１７に接続されるメモリインタフェース回路（メモリＩ／Ｆ回路）３４と、空港面探知センサ２及び撮像部３から観測データを受信する入力インタフェース回路（入力Ｉ／Ｆ回路）３５と、表示部２１に接続される出力インタフェース回路（出力Ｉ／Ｆ回路）３６とを備えて構成されている。プロセッサ３１、ＲＡＭ３２、不揮発性メモリ３３、メモリＩ／Ｆ回路３４、入力Ｉ／Ｆ回路３５及び出力Ｉ／Ｆ回路３６は、バス回路などの信号路３０を介して相互に接続されている。
FIG. 6A is a block diagram illustrating a schematic configuration of an information processing device 4S that implements the hardware configuration of the monitoring device 4. As shown in FIG. 6A, the information processing apparatus 4S includes a
プロセッサ３１は、不揮発性メモリ３３から、ソフトウェアもしくはファームウェアまたはこれらの組み合わせであるコンピュータ・プログラムを読み出して実行することにより、図１の座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５及び出力部１６の機能を実現する。不揮発性メモリ３３としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、磁気ディスクまたは光ディスクを使用することができるが、これらに限定されるものではない。プロセッサ３１は、メモリＩ／Ｆ回路３４を介してセンサ誤差記憶部１７から誤差分布データを取得し、入力Ｉ／Ｆ回路３５を介して空港面探知センサ２及び撮像部３から測位データＧＤ及び撮像画像ＩＭＧを取得することができる。また、プロセッサ３１は、出力Ｉ／Ｆ回路３６を介して表示部２１に表示データを供給することができる。
The
図６Ｂは、監視装置４の他のハードウェア構成を実現する情報処理装置４Ｈの概略構成を示すブロック図である。図６Ｂに示されるように情報処理装置４Ｈは、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどの処理回路４１と、センサ誤差記憶部１７に接続されるメモリインタフェース回路（メモリＩ／Ｆ回路）４２と、空港面探知センサ２及び撮像部３から観測データを受信する入力インタフェース回路（入力Ｉ／Ｆ回路）４３と、表示部２１に接続される出力インタフェース回路（出力Ｉ／Ｆ回路）４４とを備えて構成されている。処理回路４１、メモリＩ／Ｆ回路４２、入力Ｉ／Ｆ回路４３及び出力Ｉ／Ｆ回路４４は、バス回路などの信号路４０を介して相互に接続されている。処理回路４１は、図１の座標変換部１０、カメラ確率マップ生成部１１、センサ確率マップ生成部１２、モデル生成部１３、物体検出部１４、座標推定部１５及び出力部１６の機能を実現する信号処理回路である。処理回路４１は、メモリＩ／Ｆ回路４２を介してセンサ誤差記憶部１７から誤差分布データを取得し、入力Ｉ／Ｆ回路４３を介して空港面探知センサ２及び撮像部３から測位データＧＤ及び撮像画像ＩＭＧを取得することができる。また、処理回路４１は、出力Ｉ／Ｆ回路４４を介して表示部２１に表示データを供給することができる。
FIG. 6B is a block diagram illustrating a schematic configuration of an information processing device 4H that realizes another hardware configuration of the monitoring device 4. As shown in FIG. 6B, the information processing apparatus 4H includes a
以上に説明したように実施の形態１の監視装置４は、カメラ確率マップＰＭａとセンサ確率マップＰＭｂとを合成して得られる合成確率マップを用いて、空港面に存在する物体の位置を高い精度で検出することができる。 As described above, the monitoring device 4 according to the first embodiment uses the composite probability map obtained by combining the camera probability map PMa and the sensor probability map PMb to accurately determine the position of an object existing on the airport surface. Can be detected.
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図７は、本発明に係る実施の形態２の空港監視システム１Ａの概略構成を示すブロック図である。
Next, a second embodiment according to the present invention will be described. FIG. 7 is a block diagram showing a schematic configuration of an airport monitoring system 1A according to the second embodiment of the present invention.
図７に示される空港監視システム１Ａは、空港面探知センサ２、撮像部３、監視装置４Ａ及び表示部２１を備えて構成されている。監視装置４Ａの構成は、図１のセンサ確率マップ生成部１２に代えてセンサ確率マップ生成部１２Ａ、サイズ判別部１８及びサイズ情報記憶部１９を有する点を除いて、上記実施の形態１の監視装置４の構成と同じである。
An airport monitoring system 1A shown in FIG. 7 includes an airport
サイズ判別部１８は、空港面探知センサ２から供給された移動体情報ＢＴに基づき、サイズ情報記憶部１９を参照して当該目標物体の物理的なサイズを判別することができる。サイズ情報記憶部１９には、各種物体と物理的なサイズとの対応関係を示すデータが記憶されている。センサ確率マップ生成部１２Ａは、当該判別されたサイズを用いてセンサ確率マップＰＭｂの算出を行うことができる。
The
具体的には、センサ確率マップ生成部１２Ａは、上式（６），（７）に代えて次式（６Ａ），（７Ａ）に従って、前景確率マップＳｍａｐ ｆｇ（ｕ，ｖ）と背景確率マップＳｍａｐ ｂｇ（ｕ，ｖ）とを算出することができる。
上式（６Ａ）は、画像座標［ｕＳ，ｖＳ］Ｔから遠くなるほど値が低くなり、且つサイズの長さＬＢを半径とした領域以外の領域に目標物体が存在しないと仮定するものである。なお、航空機などの目標物体の移動方向を推定し、当該目標物体の向きを推定することで、ＥＣＦ座標系で楕円体の確率分布を生成し、その確率分布を画像座標系に投影する方法を採用してもよい。 The above equation (6A) assumes that the value decreases as the distance from the image coordinates [u S , v S ] T decreases, and that the target object does not exist in a region other than the region having the size length L B as the radius. It is. A method of generating a probability distribution of an ellipsoid in an ECF coordinate system by estimating a moving direction of a target object such as an aircraft and estimating a direction of the target object, and projecting the probability distribution to an image coordinate system. It may be adopted.
センサ確率マップ生成部１２Ａの機能は、当該判別されたサイズを用いてセンサ確率マップＰＭｂの算出を行う点以外は、上記センサ確率マップ生成部１２の機能と同じである。
The function of the sensor
以上に説明したように実施の形態２の監視装置４Ａは、目標物体を絞り込むことが可能となり、検出枠の算出精度を向上させることができる。
As described above, the
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図８は、本発明に係る実施の形態３の空港監視システム１Ｂの概略構成を示すブロック図である。図８に示される空港監視システム１Ｂは、空港面探知センサ２、撮像部３、監視装置４Ｂ及び表示部２１を備えて構成されている。監視装置４Ｂの構成は、図１のモデル生成部１３に代えて、モデル生成部１３Ｂ及び色ヒストグラム抽出部２０を有する点を除いて、上記実施の形態１の監視装置４の構成と同じである。
Next, a third embodiment according to the present invention will be described. FIG. 8 is a block diagram showing a schematic configuration of an airport monitoring system 1B according to the third embodiment of the present invention. An airport monitoring system 1B shown in FIG. 8 includes an airport
モデル生成部１３Ｂは、空港面探知センサ２から供給された移動体情報ＢＴを色ヒストグラム抽出部２０に与える。色ヒストグラム抽出部２０は、移動体情報ＢＴに基づき、当該目標物体の既知の色分布モデルを供給することができる。モデル生成部１３Ｂは、その既知の色分布モデルをカメラ確率マップ生成部１１に供給することが可能である。よって、カメラ確率マップ生成部１１は、当該既知の色分布モデルを初期の色分布モデルとして用いて前記カメラ確率マップＰＭａの算出を行うことができる。
The
以上に説明したように実施の形態３の監視装置４Ｂは、機種などの目標物体の種類に合わせた色分布モデルを最初から使用することができる。よって、目標物体を絞り込むことが容易となり、検出枠の算出精度が向上する。
As described above, the
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態１〜３の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 Although various embodiments according to the present invention have been described above with reference to the drawings, these embodiments are examples of the present invention, and various forms other than these embodiments can be adopted. In addition, within the scope of the present invention, the above-described first to third embodiments can be freely combined, any constituent element of each embodiment can be modified, or any constituent element of each embodiment can be omitted.
１，１Ａ，１Ｂ 空港監視システム、２ 空港面探知センサ、３ 撮像部、４，４Ａ，４Ｂ 監視装置、４Ｓ，４Ｈ 情報処理装置、１０ 座標変換部、１１ カメラ確率マップ生成部、１２，１２Ａ センサ確率マップ生成部、１３ モデル生成部、１４ 物体検出部、１５ 座標推定部、１６ 出力部、１７ センサ誤差記憶部、１８ サイズ判別部、１９ サイズ情報記憶部、２０ 色ヒストグラム抽出部、２１ 表示部、３０ 信号路、３１ プロセッサ、３１ｃ ＣＰＵ、３２ ＲＡＭ、３３ 不揮発性メモリ、３４ メモリＩ／Ｆ回路、３５ 入力Ｉ／Ｆ回路、３６ 出力Ｉ／Ｆ回路、４０ 信号路、４１ 処理回路、４２ メモリＩ／Ｆ回路、４３ 入力Ｉ／Ｆ回路、４４ 出力Ｉ／Ｆ回路。 1, 1A, 1B Airport monitoring system, 2 Airport surface detection sensor, 3 Imaging unit, 4, 4A, 4B Monitoring device, 4S, 4H Information processing device, 10 Coordinate conversion unit, 11 Camera probability map generation unit, 12, 12A sensor Probability map generation unit, 13 model generation unit, 14 object detection unit, 15 coordinate estimation unit, 16 output unit, 17 sensor error storage unit, 18 size discrimination unit, 19 size information storage unit, 20 color histogram extraction unit, 21 display unit , 30 signal path, 31 processor, 31c CPU, 32 RAM, 33 nonvolatile memory, 34 memory I / F circuit, 35 input I / F circuit, 36 output I / F circuit, 40 signal path, 41 processing circuit, 42 memory I / F circuit, 43 input I / F circuit, 44 output I / F circuit.
Claims (12)
前記測位座標を２次元の画像座標に変換する座標変換部と、
前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得し、当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うセンサ確率マップ生成部と、
前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うカメラ確率マップ生成部と、
前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行する物体検出部と
を備えることを特徴とする監視装置。 An airport surface detection sensor for detecting positioning coordinates of a target object existing on the airport surface; and an imaging unit that images the airport surface and outputs a camera image including an image of the target object and an image of a background other than the target object; A monitoring device for monitoring the target object using
A coordinate converter for converting the positioning coordinates into two-dimensional image coordinates;
Error distribution data indicating a spatial error distribution of the positioning position by the airport surface detection sensor is acquired, and the target object and the background are likely to appear in a two-dimensional image space based on the error distribution data and the image coordinates. A sensor probability map generation unit for calculating a sensor probability map indicating the distribution of
A camera probability map generation unit that calculates a camera probability map indicating a probability distribution in which the target object and the background each appear in the two-dimensional image space based on the camera image;
An object detection unit for performing segmentation for separating the camera image into a foreground region and a background region representing the target object based on a combined probability map obtained by combining the sensor probability map and the camera probability map; A monitoring device characterized by that.
前記センサ確率マップは、前記２次元画像空間において前記目標物体が現れる確からしさの分布を示す第１の前景確率マップと、前記２次元画像空間において前記背景が現れる確からしさの分布を示す第１の背景確率マップとを含み、
前記カメラ確率マップは、前記２次元画像空間において前記目標物体が現れる確からしさの分布を示す第２の前景確率マップと、前記２次元画像空間において前記背景が現れる確からしさの分布を示す第２の背景確率マップとを含む、
ことを特徴とする監視装置。 The monitoring device according to claim 1 or 2,
The sensor probability map includes a first foreground probability map indicating a probability distribution in which the target object appears in the two-dimensional image space, and a first probability distribution in which the background appears in the two-dimensional image space. Including a background probability map,
The camera probability map includes a second foreground probability map indicating a probability distribution in which the target object appears in the two-dimensional image space, and a second probability distribution in which the background appears in the two-dimensional image space. Including a background probability map,
A monitoring device characterized by that.
前記カメラ確率マップ生成部は、前記前景の色分布モデル及び前記背景の色分布モデルを用いて前記カメラ確率マップの算出を行うことを特徴とする監視装置。 4. The monitoring device according to claim 1, wherein the foreground color distribution model represents the target object in the camera image based on the foreground region obtained by the object detection unit. 5. A model generation unit that calculates the background color distribution model in the camera image based on the background region obtained by the object detection unit,
The monitoring apparatus, wherein the camera probability map generation unit calculates the camera probability map using the foreground color distribution model and the background color distribution model.
前記センサ確率マップ生成部は、前記センサ誤差記憶部から前記誤差分布データを取得することを特徴とする監視装置。 The monitoring apparatus according to any one of claims 1 to 5, further comprising a sensor error storage unit in which the error distribution data is stored in advance.
The monitoring apparatus, wherein the sensor probability map generation unit acquires the error distribution data from the sensor error storage unit.
前記物体検出部により得られた当該前景領域の画像座標に基づいて、前記空港面における前記目標物体の位置座標を推定する座標推定部と、
当該推定された位置座標を表す画像情報を表示部に表示させる出力部と
を更に備えることを特徴とする監視装置。 The monitoring device according to any one of claims 1 to 6,
A coordinate estimation unit that estimates the position coordinates of the target object on the airport surface based on the image coordinates of the foreground region obtained by the object detection unit;
A monitoring apparatus, further comprising: an output unit that causes the display unit to display image information representing the estimated position coordinates.
前記センサ確率マップ生成部は、当該判別されたサイズを用いて前記センサ確率マップの算出を行うことを特徴とする監視装置。 The monitoring device according to any one of claims 1 to 7, further comprising a size determination unit that determines a physical size of the target object,
The monitoring apparatus according to claim 1, wherein the sensor probability map generation unit calculates the sensor probability map using the determined size.
前記カメラ確率マップ生成部は、当該既知の色分布モデルを用いて前記カメラ確率マップの算出を行うことを特徴とする監視装置。 The monitoring apparatus according to claim 4 or 5, further comprising a color histogram extraction unit that supplies a known color distribution model of the target object,
The monitoring apparatus, wherein the camera probability map generation unit calculates the camera probability map using the known color distribution model.
前記空港面を撮像して前記目標物体の画像及び該目標物体以外の背景の画像を含むカメラ画像を出力する撮像部と
請求項１から請求項１０のうちのいずれか１項記載の監視装置と
を備えることを特徴とする空港監視システム。 An airport surface detection sensor for detecting positioning coordinates of a target object existing on the airport surface;
An imaging unit that images the airport surface and outputs a camera image including an image of the target object and a background image other than the target object, and the monitoring device according to any one of claims 1 to 10. An airport monitoring system comprising:
前記測位座標を２次元の画像座標に変換するステップと、
前記空港面探知センサによる測位位置の空間的な誤差分布を示す誤差分布データを取得するステップと、
当該誤差分布データ及び前記画像座標に基づき、２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すセンサ確率マップの算出を行うステップと、
前記カメラ画像に基づき、前記２次元画像空間において前記目標物体及び前記背景がそれぞれ現れる確からしさの分布を示すカメラ確率マップの算出を行うステップと、
前記センサ確率マップ及び前記カメラ確率マップを合成して得られる合成確率マップに基づき、前記カメラ画像を、前記目標物体を表す前景領域と背景領域とに分離するセグメンテーションを実行するステップと
を備えることを特徴とする監視方法。 An airport surface detection sensor for detecting positioning coordinates of a target object existing on the airport surface; and an imaging unit that images the airport surface and outputs a camera image including an image of the target object and an image of a background other than the target object; A monitoring method executed in a monitoring device that monitors the target object using
Converting the positioning coordinates into two-dimensional image coordinates;
Obtaining error distribution data indicating a spatial error distribution of a positioning position by the airport surface detection sensor;
Calculating a sensor probability map indicating a probability distribution in which the target object and the background each appear in a two-dimensional image space based on the error distribution data and the image coordinates;
Calculating a camera probability map indicating a probability distribution in which the target object and the background each appear in the two-dimensional image space based on the camera image;
Performing segmentation for separating the camera image into a foreground region and a background region representing the target object based on a combined probability map obtained by combining the sensor probability map and the camera probability map. A characteristic monitoring method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016112790A JP6632474B2 (en) | 2016-06-06 | 2016-06-06 | Monitoring device, monitoring method and airport monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016112790A JP6632474B2 (en) | 2016-06-06 | 2016-06-06 | Monitoring device, monitoring method and airport monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017219377A true JP2017219377A (en) | 2017-12-14 |
| JP6632474B2 JP6632474B2 (en) | 2020-01-22 |
Family
ID=60657040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016112790A Active JP6632474B2 (en) | 2016-06-06 | 2016-06-06 | Monitoring device, monitoring method and airport monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6632474B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108508425A (en) * | 2018-03-26 | 2018-09-07 | 微瞳科技（深圳）有限公司 | Foreground target detection method based on neighborhood characteristics under a kind of radar near-earth ambient noise |
| JP6447706B1 (en) * | 2017-12-20 | 2019-01-09 | オムロン株式会社 | Calibration data generation apparatus, calibration data generation method, calibration system, and control program |
| CN109324505A (en) * | 2018-06-22 | 2019-02-12 | 中国人民解放军海军航空大学青岛校区 | A kind of collaboration detecting and control method based on machine learning |
| CN110082756A (en) * | 2019-05-11 | 2019-08-02 | 王志东 | Region intelligent monitor system and its recognition methods of probability identification are done based on background |
| JP2019158692A (en) * | 2018-03-15 | 2019-09-19 | 東芝電波プロダクツ株式会社 | Precision approach radar and display system |
| CN111028287A (en) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | Method and device for determining transformation matrix of radar coordinates and camera coordinates |
| CN111145599A (en) * | 2019-12-17 | 2020-05-12 | 中国民用航空总局第二研究所 | Curve flight segment and error distribution establishing method |
| CN111563428A (en) * | 2020-04-23 | 2020-08-21 | 杭州云视通互联网科技有限公司 | Airport parking space intrusion detection method and system |
| JP2020198024A (en) * | 2019-06-05 | 2020-12-10 | 日本無線株式会社 | Remote control system and remote control method |
| KR102353336B1 (en) * | 2021-05-06 | 2022-01-20 | (주)공간인소프트 | Electronic device for recognizing port structure based on artificial intelligence model and control method thereof |
| CN114360296A (en) * | 2021-12-15 | 2022-04-15 | 中国飞行试验研究院 | Full-automatic airplane approach landing process monitoring method based on foundation photoelectric equipment |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11160424A (en) * | 1997-11-27 | 1999-06-18 | Nec Corp | Airport ground surface monitor device |
| JP2002048860A (en) * | 2000-07-31 | 2002-02-15 | Mitsubishi Electric Corp | Device and method for tracking moving body |
| JP2004163218A (en) * | 2002-11-12 | 2004-06-10 | Toshiba Corp | Airport monitoring system |
| JP2008547097A (en) * | 2005-06-17 | 2008-12-25 | マイクロソフト コーポレーション | Image segmentation |
| US20100002077A1 (en) * | 2005-01-13 | 2010-01-07 | Sensis Corporation | Method and system for tracking position of an object using imaging and non-imaging surveillance devices |
| JP2013156718A (en) * | 2012-01-27 | 2013-08-15 | National Institute Of Advanced Industrial & Technology | Person tracking attribute estimation device, person tracking attribute estimation method and program |
-
2016
- 2016-06-06 JP JP2016112790A patent/JP6632474B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11160424A (en) * | 1997-11-27 | 1999-06-18 | Nec Corp | Airport ground surface monitor device |
| JP2002048860A (en) * | 2000-07-31 | 2002-02-15 | Mitsubishi Electric Corp | Device and method for tracking moving body |
| JP2004163218A (en) * | 2002-11-12 | 2004-06-10 | Toshiba Corp | Airport monitoring system |
| US20100002077A1 (en) * | 2005-01-13 | 2010-01-07 | Sensis Corporation | Method and system for tracking position of an object using imaging and non-imaging surveillance devices |
| JP2008547097A (en) * | 2005-06-17 | 2008-12-25 | マイクロソフト コーポレーション | Image segmentation |
| JP2013156718A (en) * | 2012-01-27 | 2013-08-15 | National Institute Of Advanced Industrial & Technology | Person tracking attribute estimation device, person tracking attribute estimation method and program |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6447706B1 (en) * | 2017-12-20 | 2019-01-09 | オムロン株式会社 | Calibration data generation apparatus, calibration data generation method, calibration system, and control program |
| WO2019123988A1 (en) * | 2017-12-20 | 2019-06-27 | オムロン株式会社 | Calibration data generating device, calibration data generating method, calibration system, and control program |
| JP2019109200A (en) * | 2017-12-20 | 2019-07-04 | オムロン株式会社 | Data generation device for calibration, data generation method for calibration, calibration system, and control program |
| JP2019158692A (en) * | 2018-03-15 | 2019-09-19 | 東芝電波プロダクツ株式会社 | Precision approach radar and display system |
| CN108508425A (en) * | 2018-03-26 | 2018-09-07 | 微瞳科技（深圳）有限公司 | Foreground target detection method based on neighborhood characteristics under a kind of radar near-earth ambient noise |
| CN108508425B (en) * | 2018-03-26 | 2020-08-04 | 微瞳科技（深圳）有限公司 | Method for detecting foreground target based on neighborhood characteristics under radar near-earth background noise |
| CN109324505A (en) * | 2018-06-22 | 2019-02-12 | 中国人民解放军海军航空大学青岛校区 | A kind of collaboration detecting and control method based on machine learning |
| CN111028287A (en) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | Method and device for determining transformation matrix of radar coordinates and camera coordinates |
| CN111028287B (en) * | 2018-10-09 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | Method and device for determining a transformation matrix of radar coordinates and camera coordinates |
| CN110082756A (en) * | 2019-05-11 | 2019-08-02 | 王志东 | Region intelligent monitor system and its recognition methods of probability identification are done based on background |
| JP2020198024A (en) * | 2019-06-05 | 2020-12-10 | 日本無線株式会社 | Remote control system and remote control method |
| CN111145599A (en) * | 2019-12-17 | 2020-05-12 | 中国民用航空总局第二研究所 | Curve flight segment and error distribution establishing method |
| CN111563428B (en) * | 2020-04-23 | 2023-10-17 | 杭州云视通互联网科技有限公司 | Airport stand intrusion detection method and system |
| CN111563428A (en) * | 2020-04-23 | 2020-08-21 | 杭州云视通互联网科技有限公司 | Airport parking space intrusion detection method and system |
| KR102353336B1 (en) * | 2021-05-06 | 2022-01-20 | (주)공간인소프트 | Electronic device for recognizing port structure based on artificial intelligence model and control method thereof |
| CN114360296A (en) * | 2021-12-15 | 2022-04-15 | 中国飞行试验研究院 | Full-automatic airplane approach landing process monitoring method based on foundation photoelectric equipment |
| CN114360296B (en) * | 2021-12-15 | 2024-04-09 | 中国飞行试验研究院 | Full-automatic aircraft approach landing process monitoring method based on foundation photoelectric equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6632474B2 (en) | 2020-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6632474B2 (en) | Monitoring device, monitoring method and airport monitoring system | |
| EP4109331A1 (en) | Obstacle detection method and apparatus, computer device, and storage medium | |
| US10964054B2 (en) | Method and device for positioning | |
| US7733342B2 (en) | Method of extracting 3D building information using shadow analysis | |
| EP3876189A1 (en) | Geographic object detection device, geographic object detection method, and geographic object detection program | |
| WO2022067647A1 (en) | Method and apparatus for determining pavement elements | |
| JP2015201183A (en) | Context-aware object detection in aerial photographs/videos using travel path metadata | |
| US11841421B2 (en) | Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program | |
| Toschi et al. | Combining airborne oblique camera and LiDAR sensors: Investigation and new perspectives | |
| KR102346676B1 (en) | Method for creating damage figure using the deep learning-based damage image classification of facility | |
| KR20210090573A (en) | Method and device for monitoring harbor and ship considering sea level | |
| CN113608234A (en) | City data acquisition system | |
| WO2022126540A1 (en) | Obstacle detection and re-identification method, apparatus, movable platform, and storage medium | |
| CN111553342B (en) | Visual positioning method, visual positioning device, computer equipment and storage medium | |
| JP2014099055A (en) | Detector, detection method, and program | |
| KR100981588B1 (en) | A system for generating geographical information of city facilities based on vector transformation which uses magnitude and direction information of feature point | |
| WO2022083529A1 (en) | Data processing method and apparatus | |
| Baeck et al. | Drone based near real-time human detection with geographic localization | |
| CN110660113A (en) | Method and device for establishing characteristic map, acquisition equipment and storage medium | |
| CN114051627A (en) | Camera calibration method | |
| JP6546898B2 (en) | Three-dimensional space identification apparatus, method, and program | |
| JP2006172099A (en) | Changed region recognition device and change recognition system | |
| Long et al. | Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images. | |
| Weinmann et al. | A step towards dynamic scene analysis with active multi-view range imaging systems | |
| Reddy et al. | Implementation of Lane Detection Algorithms for Autonomous Vehicle Using Lidar Point Cloud Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6632474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |