JP2010014482A - Image target detector - Google Patents
Image target detector Download PDFInfo
- Publication number
- JP2010014482A JP2010014482A JP2008173545A JP2008173545A JP2010014482A JP 2010014482 A JP2010014482 A JP 2010014482A JP 2008173545 A JP2008173545 A JP 2008173545A JP 2008173545 A JP2008173545 A JP 2008173545A JP 2010014482 A JP2010014482 A JP 2010014482A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- luminance
- imaging device
- average luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
この発明は、撮影画像に基づいて目標を検出する画像目標検出装置に関するものである。 The present invention relates to an image target detection apparatus that detects a target based on a photographed image.
従来、赤外線撮像装置により目標を撮像したフレーム画像に対して、注目画素の輝度値と注目画素周辺近傍におけるノイズ輝度分布を計測し、注目画素毎に上記ノイズ輝度分布の計測値を用いて二値化閾値を求め、求めた二値化閾値により撮像した画像を二値化処理することで、複雑な輝度分布の領域にある雲などのクラッタを抑圧し、かつクリアスカイ領域にある目標を安定して検出する画像目標検出装置が知られている(例えば特許文献1)。この画像目標検出装置では、二値化画像を用いて目標のラベリング処理、及び目標の特徴量として重心、面積、領域を演算することで、飛来してくる航空機や飛翔体等の微小目標を上空から撮像した画像を用いて、微小目標を探知することができる。 Conventionally, the luminance value of the target pixel and the noise luminance distribution in the vicinity of the target pixel are measured for the frame image obtained by capturing the target with the infrared imaging device, and binary using the measured value of the noise luminance distribution for each target pixel. By calculating the threshold value and binarizing the image captured using the calculated threshold value, it suppresses clutter such as clouds in the complex luminance distribution area and stabilizes the target in the clear sky area. An image target detection device that detects the image is known (for example, Patent Document 1). In this image target detection apparatus, the target labeling process is performed using the binarized image, and the center of gravity, area, and area are calculated as the target feature amount, so that a minute target such as an aircraft or a flying object flying over the sky. The minute target can be detected by using the image captured from the image.
図8は、赤外線撮像装置の撮像する高度とクリアスカイ背景空間の輝度の関係を説明する図である。
従来の画像目標検出装置は、赤外線撮像装置により撮像した微小目標のクリアスカイ背景空間にあるノイズの輝度分布が、主に赤外線撮像装置の出力するショットノイズに依った均一分布であることを前提として、安定して目標検出を行うことができる。しかしながら、実際には図8に示すように高度に対する大気透過率の影響で、クリアスカイ背景空間においては、高度の高い上空ほど輝度値が大きく、高度の低い上空ほど輝度値が小さいというように、高度に対して輝度がグラデーションを持つことが知られている。
FIG. 8 is a diagram illustrating the relationship between the altitude captured by the infrared imaging device and the brightness of the clear sky background space.
The conventional image target detection device is based on the premise that the luminance distribution of noise in the clear sky background space of the minute target imaged by the infrared imaging device is a uniform distribution mainly due to the shot noise output by the infrared imaging device. , Stable target detection can be performed. However, in reality, as shown in FIG. 8, due to the influence of the atmospheric transmittance on the altitude, in the clear sky background space, the higher the altitude, the larger the luminance value, and the lower the altitude, the smaller the luminance value. It is known that brightness has gradation with respect to altitude.
このため、平均輝度演算回路や標準偏差演算回路を用いてノイズ輝度分布を計測する際、平均輝度演算回路の計測値がクリアスカイ背景のグラデーションに依存して変動し、標準偏差演算回路の計測値が上記背景グラデーションに影響して大きくなるため、しきい値演算回路により計測する閾値が、赤外線撮像装置の出力するショットノイズ分布より極端に大きくかつ変動する。この結果、目標に相当する輝度レベルが赤外線撮像装置の出力するショットノイズより大きな輝度レベルであったとしても、目標検出が十分に、また安定して行えないという問題があった。 For this reason, when measuring the noise luminance distribution using the average luminance calculation circuit or the standard deviation calculation circuit, the measurement value of the average luminance calculation circuit varies depending on the gradation of the clear sky background, and the measurement value of the standard deviation calculation circuit However, the threshold value measured by the threshold value calculation circuit is extremely larger and fluctuates than the shot noise distribution output from the infrared imaging device. As a result, even if the luminance level corresponding to the target is higher than the shot noise output from the infrared imaging device, there is a problem that target detection cannot be performed sufficiently and stably.
この発明は係る課題を解決することを目的になされたものであり、クリアスカイ背景空間がグラデーションを持っても、安定して目標検出を行うことのできる画像目標検出装置を得ることを目的とする。 The present invention has been made in order to solve such problems, and an object thereof is to obtain an image target detection apparatus capable of stably performing target detection even when the clear sky background space has gradation. .
この発明による画像目標検出装置は、ジンバル機構部により回転可能に軸支され、視線方向を水平に保ちながら走査される赤外線撮像装置の撮影画像に基づいて、ラスタ走査方向について注目画素を間に挟む2領域から輝度データを切り出すウィンド回路と、上記ウィンド回路で切り出された2領域の輝度データの平均輝度を算出する平均輝度演算回路と、上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から2値化閾値を算出する閾値算出回路と、上記閾値算出回路により算出された2値化閾値に基づいて減算回路で減算された輝度データを2値化する2値化回路と、を備えたものである。 The image target detection device according to the present invention is rotatably supported by a gimbal mechanism, and sandwiches a pixel of interest in the raster scanning direction based on a captured image of an infrared imaging device that is scanned while keeping the line-of-sight direction horizontal. A window circuit that cuts out luminance data from two areas, an average luminance calculation circuit that calculates the average luminance of the luminance data of the two areas cut out by the window circuit, and an average luminance calculation circuit that calculates from the captured image of the infrared imaging device The average luminance and standard deviation around the target pixel are calculated from the subtraction circuit that subtracts the average luminance and the luminance data subtracted by the subtraction circuit, and the binarization threshold is calculated from the calculated average luminance and standard deviation. 2 that binarizes the luminance data subtracted by the subtraction circuit based on the threshold calculation circuit and the binarization threshold calculated by the threshold calculation circuit And circuit, in which with a.
また、ジンバル機構部により回転可能に軸支された赤外線撮像装置の指向方向に対応して、予め計測された上記赤外線撮像装置のフレーム画像における背景画像の回転角度情報を格納したデータベースと、上記ジンバル駆動制御部により得られる上記赤外線撮像装置の指向方向に基づいて上記データベースから回転角度情報を得て、得られた回転角度情報に基づいて背景グラデーションの方向がラスタ走査に垂直な方向に一致するように背景画像を逆回転して画像補正を行う画像補正回路と、上記画像補正回路により補正された画像に基づいて、ラスタ走査方向について注目画素を間に挟む2領域から輝度データを切り出すウィンド回路と、上記ウィンド回路で切り出された2領域の輝度データの平均輝度を算出する平均輝度演算回路と、上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から2値化閾値を算出する閾値算出回路と、上記閾値算出回路により算出された2値化閾値に基づいて減算回路で減算された輝度データを2値化する2値化回路と、を備えたものであっても良い。 A database storing rotational angle information of a background image in a frame image of the infrared imaging device measured in advance corresponding to a directivity direction of the infrared imaging device rotatably supported by the gimbal mechanism; Based on the orientation direction of the infrared imaging device obtained by the drive control unit, rotation angle information is obtained from the database, and based on the obtained rotation angle information, the direction of the background gradation matches the direction perpendicular to the raster scan. An image correction circuit for performing image correction by reversely rotating the background image, and a window circuit for cutting out luminance data from two regions sandwiching the target pixel in the raster scanning direction based on the image corrected by the image correction circuit; An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit; A subtraction circuit that subtracts the average luminance calculated by the average luminance calculation circuit from the image captured by the infrared imaging device, and the average luminance and standard deviation around the target pixel are calculated from the luminance data subtracted by the subtraction circuit. A threshold value calculation circuit for calculating a binarization threshold value from the averaged luminance and standard deviation, and binarization for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold value calculated by the threshold value calculation circuit. And a circuit.
この発明によれば、背景グラデーションの影響を受けずに、かつ、目標と均一な周辺領域の信号レベルの差を検出して、十分に安定して目標検出することができる。 According to the present invention, it is possible to detect a target sufficiently stably by detecting a difference in signal level between the target and a uniform peripheral region without being affected by the background gradation.
以下、この発明に係る実施の形態について、図面に基づき説明する。なお、各実施の形態同士で、同様の構成には互いに同一の符号を付し、重複説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. In addition, in each embodiment, the same code | symbol is attached | subjected to the same structure, and duplication description is abbreviate | omitted.
実施の形態1.
図1は、この発明の実施の形態1による画像目標検出装置の構成を示すブロック図である。
図において、赤外線撮像装置1はジンバル機構部10に格納されて高度上空を飛行する機体等に搭載され、赤外線検知器により赤外線画像を撮像する。ジンバル機構部10は、赤外線撮像装置1を回転可能に軸支する。ジンバル駆動制御部11が、ジンバル機構部10を上下方向および方位方向の回転2軸周りに回転駆動し、赤外線撮像装置1の視線方向を任意の高度および方位に指向させることで、赤外線撮像装置1が上空を飛来する飛翔体、航空機等の目標を撮像する。ジンバル駆動制御部11は、赤外線撮像装置1の視線方向が水平に保たれるようにジンバル機構部10を回転駆動して、赤外線撮像装置1により撮像される画像を走査する。画像目標検出装置9aは、赤外線撮像装置1により撮像された画像が入力され、入力された画像について目標を自動的に探知する。
FIG. 1 is a block diagram showing the configuration of an image target detection apparatus according to
In the figure, an
なお、赤外線撮像装置1により撮像される画像が、赤外線撮像装置1の視線軸周りに回転しないよう、ジンバル駆動制御部11がジンバル機構部10を赤外線撮像装置1の視線軸に周りに回転させるように、ジンバル機構部10を構成しても良い。
Note that the gimbal drive control unit 11 rotates the
画像目標検出装置9aは、背景グラデーションを均一に抑圧する前処理部15と、目標検出部8と、特徴量演算回路7を備えている。
前処理部15は、ウィンド回路12と、平均輝度演算回路14と、減算回路13とから構成される。ウィンド回路12は、赤外線撮像装置1の出力するフレーム画像に対して、ラスタ走査方向に対してフレーム画像を構成する各画素(以降、注目画素と称する)の両近傍における固定した2領域内の画素の輝度データを切り出す。平均輝度演算回路14は、ウィンド回路12により切り出された画素の輝度データにおける平均輝度値を演算する。減算回路13は、平均輝度演算回路14により計測した平均輝度値を、注目画素の輝度データより減算する。
The image target detection device 9 a includes a preprocessing unit 15 that uniformly suppresses background gradation, a target detection unit 8, and a feature amount calculation circuit 7.
The preprocessing unit 15 includes a
目標検出部8は、ウィンド回路2と、平均輝度演算回路3と、標準偏差演算回路4と、しきい値演算回路5と、空間二値化回路6を備えている。ウィンド回路2は、前処理部15の減算回路13により減算されたフレーム画像の輝度データについて、注目画素毎に画素周辺のウィンド内における画素データの切り出しを行う。平均輝度演算回路3は、ウィンド回路2により切り出した画素データについて、注目画素周辺のウィンド内における輝度平均値の計測を行う。標準偏差演算回路4は、ウィンド回路2により切り出した画素データおよび平均輝度演算回路3により計測された輝度平均値について、注目画素周辺のウィンド内における標準偏差値の計測を行う。
The target detection unit 8 includes a
しきい値演算回路5は、平均輝度演算回路3および標準偏差演算回路4により計測した注目画素近傍のウィンド内における輝度平均値、標準偏差値、及び数式1を用いて、注目画素について二値化閾値演算を行う。
The threshold calculation circuit 5 binarizes the pixel of interest using the luminance average value, standard deviation value, and
空間二値化回路6は、前処理部15の減算回路13により減算されたフレーム画像の輝度データについて、しきい値演算回路5により求められた二値化閾値を用いて二値化処理を行う。空間二値化回路6は、注目画素毎の二値化閾値演算値、注目画素の輝度値及び数2を用いて二値化画像を算出し、かつ数2のように、上記二値化閾値より大きい輝度の注目画素を“1”に二値化した画素を目標とみなすことで目標検出を行う。
The spatial binarization circuit 6 performs binarization processing on the luminance data of the frame image subtracted by the subtraction circuit 13 of the preprocessing unit 15 using the binarization threshold obtained by the threshold calculation circuit 5. . The spatial binarization circuit 6 calculates a binarized image using the binarization threshold value for each pixel of interest, the luminance value of the pixel of interest, and
図2は目標検出部8の空間二値化回路6における、二値化処理の演算原理を示す図である。
前処理部15からリアルタイムに入力されるフレーム画像に対して、目標検出部8においてラスタ走査を行いながら、平均輝度演算回路3および標準偏差演算回路4にてリアルタイムに注目画素近傍のノイズの輝度平均値、輝度標準偏差値を計測することで、しきい値演算回路5において注目画素毎に注目画素近傍のノイズの輝度分布に応じて閾値を設定することができる。このため、目標の誤警報率を常に一定にする二値化閾値を注目画素毎に設定することができる。
FIG. 2 is a diagram illustrating a calculation principle of binarization processing in the spatial binarization circuit 6 of the target detection unit 8.
For the frame image input in real time from the pre-processing unit 15, the average luminance calculation circuit 3 and the standard deviation calculation circuit 4 perform the luminance average of noise in the vicinity of the target pixel in real time while performing raster scanning in the target detection unit 8. By measuring the value and the luminance standard deviation value, the threshold value calculation circuit 5 can set a threshold value for each target pixel according to the luminance distribution of noise near the target pixel. For this reason, the binarization threshold value which makes the target false alarm rate always constant can be set for each target pixel.
特徴量演算回路7は、目標検出部8の空間二値化回路6により処理された二値化画像を用いて目標のラベリング処理を行い、目標の特徴量として重心、面積、領域を演算し、その結果を出力する。以上により、画像目標検出装置9は、飛来してくる航空機や飛翔体等の微小目標を上空から撮像した画像から、複雑な輝度分布の領域にある雲などのクラッタを抑圧し、目標を安定して検出することができる。 The feature amount calculation circuit 7 performs a target labeling process using the binarized image processed by the spatial binarization circuit 6 of the target detection unit 8, calculates the center of gravity, area, and region as the target feature amount, The result is output. As described above, the image target detection device 9 suppresses clutter such as clouds in a complex luminance distribution region from an image obtained by imaging a minute target such as an aircraft or a flying object from above, and stabilizes the target. Can be detected.
次に、画像目標検出装置9aの動作について説明する。
ジンバル駆動制御部11は、ジンバル機構部10の方位角度を水平に保つように運用する。これにより、ジンバル駆動制御部11は、図3に示すように物理的に赤外線撮像装置1の撮像した画像における背景グラデーションの方向をラスタ走査と垂直な方向に一致させる。ウィンド回路12は、注目画素100の近傍周辺で注目画素100を間に挟む2つの領域101において、画像データを切り出す。
Next, the operation of the image target detection device 9a will be described.
The gimbal drive control unit 11 operates so as to keep the azimuth angle of the
ここで、ウィンド回路12により切り出された画像データは、背景輝度102のグラデーションと垂直なライン方向の輝度データで構成されるため、グラデーションに依存しない均一な輝度データを得ることができる。
Here, since the image data cut out by the
さらに、平均輝度演算回路14はウィンド回路12によって切り出された画像データの平均値を算出し、減算回路13は注目画素の輝度値から平均輝度演算回路14により算出された画像データの平均値を減算する。
Further, the average luminance calculation circuit 14 calculates the average value of the image data cut out by the
これによって、前処理部15の出力する輝度データは、注目画素とグラデーションに依存しない均一な周辺領域の信号レベルの差を検出することができるとともに、目標に相当する輝度レベルを劣化させることなく、背景のグラデーションを均一に抑圧することができる。かくして、目標検出部8において、背景のグラデーションを抑圧した均一画像を用いることができるので、背景のグラデーションの影響を受けずに安定して目標検出することができる。 As a result, the luminance data output from the preprocessing unit 15 can detect a difference in signal level between uniform peripheral areas that do not depend on the target pixel and gradation, and without deteriorating the luminance level corresponding to the target. Background gradation can be suppressed uniformly. Thus, since the target detection unit 8 can use a uniform image in which the background gradation is suppressed, the target can be detected stably without being affected by the background gradation.
以上説明したように、この実施の形態1の画像目標検出装置では、高度上空を飛行する機体に搭載された赤外線撮像装置を内蔵するジンバル機構部について、赤外線撮像装置の視線を水平に保ちながらジンバル機構部の上下角度および方位角度を制御する走査撮像を行うことによって、赤外線撮像装置の撮像画像における、高度に対する大気透過率等の影響で発生する背景にあるグラデーションの方向を画像目標検出装置におけるラスタ走査と垂直な方向に一致させる。このようにして、ラスタ走査方向に対する注目画素両近傍における固定2領域を切り出すウィンド回路によってグラデーションに依存しない均一な輝度データを得て、輝度データの平均値を算出し、注目画素の輝度値から上記の平均値を減算する前処理部を具備することにより、背景グラデーションの影響を受けずに、かつ、目標と均一な周辺領域の信号レベルの差を検出して、十分に安定して目標検出することができる。 As described above, in the image target detection device according to the first embodiment, the gimbal mechanism unit incorporating the infrared imaging device mounted on the aircraft flying above the altitude is gimbaled while keeping the line of sight of the infrared imaging device horizontal. By performing scanning imaging to control the vertical angle and azimuth angle of the mechanism unit, the direction of the gradation in the background generated by the influence of atmospheric transmittance, etc. on the altitude in the captured image of the infrared imaging device is rasterized in the image target detection device. Match in the direction perpendicular to the scan. In this way, uniform luminance data independent of gradation is obtained by the window circuit that cuts out the two fixed regions in the vicinity of the target pixel in the raster scanning direction, the average value of the luminance data is calculated, and the above-mentioned luminance value of the target pixel is calculated. By including a pre-processing unit that subtracts the average value of the target, the target detection is sufficiently stable by detecting the difference between the signal level of the target and the uniform peripheral region without being affected by the background gradation. be able to.
実施の形態2.
図4は、この発明の実施の形態2による画像目標検出装置9bの構成を示すブロック図である。画像目標検出装置9bの前処理部15aは、フレームメモリ16と、減算回路13と、ウィンド回路12aと、平均輝度演算回路14を備える。画像目標検出装置9bの目標検出部8については実施の形態1と同じものである。ここで、画像目標検出装置9bの前処理部15aは、実施の形態1の前処理部15における固定の2領域を切り出すウィンド回路12を、可変の2領域を切り出すウィンド回路12bに代えるとともに、赤外線撮像部1の出力するフレーム画像を取得するフレームメモリ16を具備したことを特徴とする。
FIG. 4 is a block diagram showing a configuration of an image target detection device 9b according to
フレームメモリ16は、赤外線撮像装置1により得られたフレーム画像を格納する。ウィンド回路12aは、フレームメモリ16に格納された撮影画像に基づいて、ラスタ走査方向について注目画素を間に挟む2つの可変領域の大きさを可変し、可変した2つの可変領域から画素の輝度データを切り出す。また、減算回路13は、フレームメモリ16に格納されたフレーム画像から平均輝度演算回路14で算出した平均輝度を減算する。
The
次に、画像目標検出装置9bの動作について説明する。
装置の運用によっては、赤外線撮像装置1によって撮像されるフレーム画像における目標の大きさは、必ずしも一定であるとは限らない。このため、前処理部15aでは、可変ウィンド回路12aを構成するラスタ走査方向に配置する2つウィンドの隙間を、赤外線撮像装置1の出力するフレーム画面上で想定する目標の大きさに合わせて、操作員が可変設定できるようにする。これにより、運用によって検出する必要のある大きさの目標について、背景のグラデーションの影響を受けずに安定して検出が可能となる。
Next, the operation of the image target detection device 9b will be described.
Depending on the operation of the apparatus, the target size in the frame image captured by the
ウィンド回路12aにより、赤外線撮像装置1の出力するフレーム画像より一部の画像領域を切り出した後、平均輝度演算回路14にて演算処理を行う。このため、前処理部15aによる前処理後の画像データに重畳するノイズばらつき(標準偏差)は、赤外線撮像装置1によって撮像されるフレーム画像に重畳するノイズばらつき(標準偏差)に対して、統計学上(1+1/m)倍になり、mを小さくする程、前処理部15aによる前処理後のノイズばらつき(標準偏差)が大きくなることが一般的に知られている。
After a part of the image area is cut out from the frame image output from the
ここに、mはウィンド回路12aによって切り出された画素数である。反対に、mを大きくする程、赤外線撮像装置1の出力するフレーム画像において、グラデーションと垂直なライン方向に重畳する低周波のノイズを増幅することも懸念される。このため、赤外線撮像装置1の出力するフレーム画像をフレームメモリ16に取得し、取得したフレーム画像に重畳するノイズ分布を操作員によって解析し、解析したノイズ分布に応じて、ウィンド回路12aによって切り出すウィンド領域内の画素数を調整できるようにすることによって、前処理部15aによる処理後のノイズばらつき(標準偏差)を抑圧させる。これにより、前処理部15aによるノイズばらつき(標準偏差)の増加を防ぐことができ、後段の目標検出部8において、安定して目標を検出することができる。
Here, m is the number of pixels cut out by the window circuit 12a. Conversely, as m is increased, there is a concern that in the frame image output from the
以上説明したように、この実施の形態2の画像目標検出装置では、赤外線撮像装置の出力するフレーム画像を取得するフレームメモリ16を具備する。また、ウィンド回路12aにおいて、ラスタ走査方向に対する注目画素両近傍の可変2領域について、赤外線撮像装置1から出力されフレームメモリ16に格納されたフレーム画面上で運用上想定する目標の大きさに合わせて、操作員が可変2領域の大きさを可変することで、画素データの切り出しを行う。これによって、運用上検出する必要のある大きさの目標について、背景のグラデーションの影響を受けずに安定して目標検出することができる。
As described above, the image target detection apparatus according to the second embodiment includes the
また、取得したフレーム画像に重畳するノイズ分布に応じて、ウィンド回路12aにおいて切り出す画像領域内の画素数を操作員が調整するようにして、グラデーションに依存しない均一な輝度データを得ることができるので、平均輝度演算回路14により得られた輝度データの平均値を算出し、減算回路15aにより注目画素の輝度値から算出した平均値を減算する。かくして、前処理部15aの作用によって生じるノイズばらつき(標準偏差)の増加を防ぎ、目標検出部8により安定して目標検出することができる。 In addition, since the operator adjusts the number of pixels in the image area cut out in the window circuit 12a according to the noise distribution superimposed on the acquired frame image, uniform luminance data independent of gradation can be obtained. Then, the average value of the luminance data obtained by the average luminance calculation circuit 14 is calculated, and the average value calculated from the luminance value of the target pixel is subtracted by the subtraction circuit 15a. Thus, an increase in noise variation (standard deviation) caused by the action of the preprocessing unit 15a can be prevented, and the target detection can be stably performed by the target detection unit 8.
実施の形態3.
図5は、この発明の実施の形態3による画像目標検出装置9cの構成を示すブロック図である。図において、ジンバル機構部10は、赤外線検知器により赤外線画像を撮像する赤外線撮像装置1を、回転可能に軸支する。ジンバル駆動制御部11は、ジンバル機構部10を回転駆動し、赤外線撮像装置1の視線方向を所定方向に指向制御するとともに、赤外線撮像装置1の視線方向の高度情報(上下角度、または仰角または俯角)および方位情報(方位角度)を画像目標検出装置9cに出力する。
Embodiment 3 FIG.
FIG. 5 is a block diagram showing a configuration of an image target detection apparatus 9c according to Embodiment 3 of the present invention. In the figure, a
実施の形態3による画像目標検出装置9cは、図4に示す実施の形態2の画像目標検出装置9bに対し、画像補正回路17を付加して構成される。フレームメモリ16は、赤外線撮像装置1により得られたフレーム画像を格納している。画像補正回路17は、フレームメモリ16から読み出した画像データから、ジンバル駆動制御部11からの高度情報および方位角度情報を元に、幾何学的な画像回転処理を施す。
The image target detection device 9c according to the third embodiment is configured by adding an image correction circuit 17 to the image target detection device 9b according to the second embodiment shown in FIG. The
次に、画像補正回路17の動作について説明する。
ジンバル機構部10は赤外線撮像装置1を回転2軸周りに支持する。ジンバル機構部10は、ジンバル駆動制御部11により任意の高度情報および方位情報に基づいて、赤外線撮像装置1の視線を回転2軸周りに所望方向に指向させ、上空を飛来する飛翔体、航空機等の目標を撮像走査する。図6は、ジンバル駆動制御部11からの高度、方位指向による背景画像回転の原理を示した図である。図6に示すように、ジンバル機構部10により支持された赤外線撮像装置1の撮像する画像は、赤外線撮像装置1を構成する例えばクーデ光学系の作用によって、撮像した背景画像が回転することが一般的に知られている。この回転作用の結果、赤外線撮像装置1の撮像した画像は、背景グラデーションの方向とラスタ走査の方向が必ずしも垂直になるとは限らない。このため、このままではウィンド回路12aによって切り出された画像データが、必ずしもグラデーションと垂直なライン方向の輝度データで構成することができず、前処理部15の出力する輝度データは、背景グラデーションの影響を受けた不均一な輝度データとなってしまう。
Next, the operation of the image correction circuit 17 will be described.
The
そこで、ウィンド回路12aによって切り出された画像データをグラデーションと垂直なライン方向の輝度データで構成するようにするため、この実施の形態3による画像目標検出装置9cでは次の処理を行う。
まず、赤外線撮像装置1の撮像するフレーム画像を一旦フレームメモリ16に格納する。画像補正回路17では、予め、ジンバル駆動制御部11の指向する高度、方位とそれに対する赤外線撮像装置1の撮像するフレーム画像における背景画像の回転角度を計測して、それらの値をデータベースとして記憶格納する。このデータベースは画像補正回路17の内部に設けてもいいし、画像補正回路17の外部装置に設けても良い。
Therefore, the image target detection apparatus 9c according to the third embodiment performs the following processing so that the image data cut out by the window circuit 12a is composed of luminance data in the line direction perpendicular to the gradation.
First, the frame image captured by the
次に、赤外線撮像装置1の撮像するフレーム画像に同期して、ジンバル駆動制御部11よりジンバル駆動制御部11の指向する高度、方位を画像補正回路16に送信する。画像補正回路17では、赤外線撮像装置1の撮像するフレーム画像に対して、ジンバル駆動制御部11の指向する高度、方位から、上記データベースを参照して得られた背景画像の回転角度を用いて、数式3に示すように背景画像の逆回転演算を実施する。
Next, in synchronization with the frame image captured by the
なお、画像逆回転後の画像データの位置は、幾何学的に赤外線撮像装置1の検知器を構成する本来の画素の位置に一致するとは限らない。このため、図9に示す画像逆回転前の画像データにおいて、画像逆回転後の注目画素周辺に隣接して赤外線検知器に実在する4画素位置での画像データを用いて、数式4に示すバイリニア補間処理を実施する。
Note that the position of the image data after the reverse image rotation does not necessarily geometrically coincide with the position of the original pixel that constitutes the detector of the
これにより、画像補正回路17によって、赤外線撮像装置1の撮像した画像における背景グラデーションの方向を電気的にラスタ走査と垂直な方向に一致させることができ、ウィンド回路12aによって切り出された画像データは、グラデーションと垂直なライン方向の輝度データで構成される。このため、グラデーションに依存しない均一な輝度データを得ることができる。
Thus, the image correction circuit 17 can electrically match the background gradation direction in the image captured by the
平均輝度演算回路14は、ウィンド回路12aによって切り出された上記画像データの平均値を算出し、減算回路13によって注目画素の輝度値から上記平均値を減算する。これによって、前処理部15の出力する輝度データは、注目画素とグラデーションに依存しない均一な周辺領域の信号レベルの差を検出することができ、目標に相当する輝度レベルを劣化させることなく、背景のグラデーションを均一に抑圧することができる。このとき、目標検出部8において、背景のグラデーションを抑圧した画像を用いることができるので、ジンバル機構部10が任意に高度・方位を指向しても、背景のグラデーションの影響を受けずに安定して目標検出できる。
The average luminance calculation circuit 14 calculates the average value of the image data cut out by the window circuit 12a, and the subtraction circuit 13 subtracts the average value from the luminance value of the target pixel. As a result, the luminance data output from the preprocessing unit 15 can detect a difference in signal level between the target pixel and a uniform peripheral region that does not depend on the gradation, and the background can be detected without degrading the luminance level corresponding to the target. Can be suppressed uniformly. At this time, since the target detection unit 8 can use an image in which the background gradation is suppressed, even if the
以上説明したように、この実施の形態3の画像目標検出装置9cでは、赤外線撮像装置1を内蔵するジンバル機構部10を任意の高度・方位に指向し、走査撮像した赤外線撮像装置1の撮像画像に対して、予めジンバル駆動制御部11の指向する高度、方位とそれに対する赤外線撮像装置1の撮像するフレーム画像における背景画像の回転角度を計測し記憶したデータベースを設ける。また、ジンバル駆動制御部11の指向する高度、方位を用いて、電気的に背景グラデーションの方向を、画像目標検出装置1におけるラスタ走査と垂直な方向に一致するように背景画像を逆回転し、かつ、画像回転後の画像データを、実在する画像逆回転後の隣接する4画素のデータを用いて補間処理する画像補正回路17を設ける。これによって、ジンバル機構部10が任意に高度・方位を指向しても、背景のグラデーションの影響を受けずに安定して目標検出することが可能となる。
As described above, in the image target detection device 9c of the third embodiment, the captured image of the
かくして、この実施の形態3の画像目標検出装置では、実施の形態1、2の画像目標検出装置9a,9bにおいて必要とした、ジンバル駆動制御部11によりジンバル機構部10の方位を水平に保つことによって、物理的に赤外線撮像装置1の撮像した画像における背景グラデーションの方向をラスタ走査と垂直な方向に一致させる運用上の制約が不要となる。このため、ジンバル機構部10の任意の高度・方位指向に対応して、目標検出部8において、安定して目標検出することができる。
Thus, in the image target detection apparatus according to the third embodiment, the gimbal drive control section 11 keeps the azimuth of the
1 赤外線撮像装置、2 ウィンド回路、3 平均輝度演算回路、4 標準偏差演算回路、5 しきい値演算回路、6 空間二値化回路、7 特徴量演算回路、8 目標検出部、9a,9b,9c 画像目標検出装置、10 ジンバル機構部、11 ジンバル駆動制御部、12,12a ウィンド回路、13 減算回路、14 平均輝度演算回路、15 前処理部、16 フレームメモリ、17 画像補正回路。
DESCRIPTION OF
Claims (3)
上記ウィンド回路で切り出された2領域の輝度データの平均輝度を算出する平均輝度演算回路と、
上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、
上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から2値化閾値を算出する閾値算出回路と、
上記閾値算出回路により算出された2値化閾値に基づいて減算回路で減算された輝度データを2値化する2値化回路と、
を備えた画像目標検出装置。 Based on a captured image obtained by an infrared imaging device that is pivotally supported by a gimbal mechanism and scanned while keeping the line-of-sight direction horizontal, luminance data is obtained from two regions sandwiching the target pixel in the raster scanning direction. A window circuit to cut out,
An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit;
A subtracting circuit for subtracting the average luminance calculated by the average luminance calculating circuit from the captured image of the infrared imaging device;
A threshold value calculation circuit for calculating an average luminance and a standard deviation around the target pixel from the luminance data subtracted by the subtraction circuit, and calculating a binarization threshold value from the calculated average luminance and the standard deviation;
A binarization circuit for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold calculated by the threshold calculation circuit;
An image target detection apparatus.
上記ウィンド回路は、上記フレームメモリに格納されたフレーム画像に基づいて、ラスタ走査方向について注目画素を間に挟む2領域の大きさを可変し、可変した2領域から輝度データを切り出し、
上記減算回路は、上記フレームメモリに格納された撮影画像から上記平均輝度演算回路で算出された平均輝度を減算することを特徴とする請求項1記載の画像目標検出装置。 A frame memory for storing a frame image taken by the infrared imaging device;
The window circuit varies the size of the two regions sandwiching the pixel of interest in the raster scanning direction based on the frame image stored in the frame memory, and extracts luminance data from the two variable regions,
2. The image target detecting apparatus according to claim 1, wherein the subtracting circuit subtracts the average luminance calculated by the average luminance calculating circuit from a photographed image stored in the frame memory.
上記赤外線撮像装置の指向方向に基づいて上記データベースから回転角度情報を得て、得られた回転角度情報に基づいて背景グラデーションの方向がラスタ走査に垂直な方向に一致するように背景画像を逆回転して画像補正を行う画像補正回路と、
上記画像補正回路により補正された画像に基づいて、ラスタ走査方向について注目画素を間に挟む2領域から輝度データを切り出すウィンド回路と、
上記ウィンド回路で切り出された2領域の輝度データの平均輝度を算出する平均輝度演算回路と、
上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、
上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から2値化閾値を算出する閾値算出回路と、
上記閾値算出回路により算出された2値化閾値に基づいて減算回路で減算された輝度データを2値化する2値化回路と、
を備えた画像目標検出装置。 A database storing rotation angle information of a background image in a frame image of the infrared imaging device measured in advance, corresponding to the directivity direction of the infrared imaging device rotatably supported by the gimbal mechanism,
Rotation angle information is obtained from the database based on the orientation direction of the infrared imaging device, and the background image is reversely rotated based on the obtained rotation angle information so that the direction of the background gradation coincides with the direction perpendicular to the raster scan. An image correction circuit for correcting the image,
A window circuit that cuts out luminance data from two regions sandwiching the pixel of interest in the raster scanning direction based on the image corrected by the image correction circuit;
An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit;
A subtracting circuit for subtracting the average luminance calculated by the average luminance calculating circuit from the captured image of the infrared imaging device;
A threshold calculation circuit for calculating an average luminance and a standard deviation around the target pixel from the luminance data subtracted by the subtraction circuit, and calculating a binarization threshold from the calculated average luminance and the standard deviation;
A binarization circuit for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold calculated by the threshold calculation circuit;
An image target detection apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008173545A JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008173545A JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010014482A true JP2010014482A (en) | 2010-01-21 |
Family
ID=41700732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008173545A Pending JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010014482A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011055772A1 (en) * | 2009-11-05 | 2011-05-12 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
JP2011182252A (en) * | 2010-03-02 | 2011-09-15 | Ricoh Co Ltd | Imaging device, and image imaging method |
JP2011196939A (en) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | Image target detector and method of detecting image target |
JP2012063195A (en) * | 2010-09-15 | 2012-03-29 | Mitsubishi Space Software Kk | Target detection image generation apparatus, target detection apparatus, clutter image generation apparatus, target detection image generation program, target detection program, clutter image generation program, target detection image generation method for target detection image generation apparatus, target detection method for target detection apparatus, and clutter image generation method for clutter image generation apparatus |
JPWO2011074413A1 (en) * | 2009-12-14 | 2013-04-25 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
US11260486B2 (en) | 2016-08-01 | 2022-03-01 | Smw-Autoblok Spannsysteme Gmbh | Clamping fixture, in particular a vice |
-
2008
- 2008-07-02 JP JP2008173545A patent/JP2010014482A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011055772A1 (en) * | 2009-11-05 | 2011-05-12 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
JPWO2011055772A1 (en) * | 2009-11-05 | 2013-03-28 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
US8818035B2 (en) | 2009-11-05 | 2014-08-26 | Nec Corporation | Image target identification device, image target identification method, and image target identification program |
JP5742722B2 (en) * | 2009-11-05 | 2015-07-01 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
JPWO2011074413A1 (en) * | 2009-12-14 | 2013-04-25 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
JP5741447B2 (en) * | 2009-12-14 | 2015-07-01 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
JP2011182252A (en) * | 2010-03-02 | 2011-09-15 | Ricoh Co Ltd | Imaging device, and image imaging method |
JP2011196939A (en) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | Image target detector and method of detecting image target |
JP2012063195A (en) * | 2010-09-15 | 2012-03-29 | Mitsubishi Space Software Kk | Target detection image generation apparatus, target detection apparatus, clutter image generation apparatus, target detection image generation program, target detection program, clutter image generation program, target detection image generation method for target detection image generation apparatus, target detection method for target detection apparatus, and clutter image generation method for clutter image generation apparatus |
JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
US11260486B2 (en) | 2016-08-01 | 2022-03-01 | Smw-Autoblok Spannsysteme Gmbh | Clamping fixture, in particular a vice |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200349687A1 (en) | Image processing method, device, unmanned aerial vehicle, system, and storage medium | |
US10783656B2 (en) | System and method of determining a location for placement of a package | |
JP2010014482A (en) | Image target detector | |
US10495756B2 (en) | Multi-camera laser scanner | |
CN108303747B (en) | Inspection apparatus and method of detecting a gun | |
US10666927B2 (en) | Method and device for inspection of an asset | |
US8284986B2 (en) | Method for remote spectral analysis of gas plumes | |
US8072482B2 (en) | Imaging system having a rotatable image-directing device | |
JP3909377B2 (en) | Outdoor distance measuring device | |
US9049397B2 (en) | Image processing device and image processing method | |
US8248590B2 (en) | Method and apparatus for auxiliary illumination for detecting an object | |
EP3267150B1 (en) | Scanning with frame averaging | |
CN107066638B (en) | Position detection device, position detection method, information processing program, and recording medium | |
US20150373286A1 (en) | Imaging device and infrared image generation method | |
JP2014197762A (en) | Image processing system and image processing program | |
JP4771797B2 (en) | Distance measuring device and distance measuring method | |
CN113108919B (en) | Human body temperature detection method, device and storage medium | |
WO2016063595A1 (en) | Image processing device, image processing method and program | |
KR20200016508A (en) | Method and Apparatus for Synthesizing Image | |
KR102235018B1 (en) | Apparatus for aligning multiple camera images having different resolutions and method thereof | |
JP2009115765A (en) | Target imaging detector | |
JP4151624B2 (en) | Pupil detection device, iris authentication device, and pupil detection method | |
CN107977974B (en) | Beam splitter boundary detection method and system | |
JP2001307017A (en) | Character plate recognizing device | |
JP2009290831A (en) | Image tracking apparatus, image tracking processing method and image tracking processing program |