JP2010014482A - Image target detector - Google Patents
Image target detector Download PDFInfo
- Publication number
- JP2010014482A JP2010014482A JP2008173545A JP2008173545A JP2010014482A JP 2010014482 A JP2010014482 A JP 2010014482A JP 2008173545 A JP2008173545 A JP 2008173545A JP 2008173545 A JP2008173545 A JP 2008173545A JP 2010014482 A JP2010014482 A JP 2010014482A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- luminance
- imaging device
- average luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
この発明は、撮影画像に基づいて目標を検出する画像目標検出装置に関するものである。 The present invention relates to an image target detection apparatus that detects a target based on a photographed image.
従来、赤外線撮像装置により目標を撮像したフレーム画像に対して、注目画素の輝度値と注目画素周辺近傍におけるノイズ輝度分布を計測し、注目画素毎に上記ノイズ輝度分布の計測値を用いて二値化閾値を求め、求めた二値化閾値により撮像した画像を二値化処理することで、複雑な輝度分布の領域にある雲などのクラッタを抑圧し、かつクリアスカイ領域にある目標を安定して検出する画像目標検出装置が知られている（例えば特許文献１）。この画像目標検出装置では、二値化画像を用いて目標のラベリング処理、及び目標の特徴量として重心、面積、領域を演算することで、飛来してくる航空機や飛翔体等の微小目標を上空から撮像した画像を用いて、微小目標を探知することができる。 Conventionally, the luminance value of the target pixel and the noise luminance distribution in the vicinity of the target pixel are measured for the frame image obtained by capturing the target with the infrared imaging device, and binary using the measured value of the noise luminance distribution for each target pixel. By calculating the threshold value and binarizing the image captured using the calculated threshold value, it suppresses clutter such as clouds in the complex luminance distribution area and stabilizes the target in the clear sky area. An image target detection device that detects the image is known (for example, Patent Document 1). In this image target detection apparatus, the target labeling process is performed using the binarized image, and the center of gravity, area, and area are calculated as the target feature amount, so that a minute target such as an aircraft or a flying object flying over the sky. The minute target can be detected by using the image captured from the image.
図８は、赤外線撮像装置の撮像する高度とクリアスカイ背景空間の輝度の関係を説明する図である。
従来の画像目標検出装置は、赤外線撮像装置により撮像した微小目標のクリアスカイ背景空間にあるノイズの輝度分布が、主に赤外線撮像装置の出力するショットノイズに依った均一分布であることを前提として、安定して目標検出を行うことができる。しかしながら、実際には図８に示すように高度に対する大気透過率の影響で、クリアスカイ背景空間においては、高度の高い上空ほど輝度値が大きく、高度の低い上空ほど輝度値が小さいというように、高度に対して輝度がグラデーションを持つことが知られている。
FIG. 8 is a diagram illustrating the relationship between the altitude captured by the infrared imaging device and the brightness of the clear sky background space.
The conventional image target detection device is based on the premise that the luminance distribution of noise in the clear sky background space of the minute target imaged by the infrared imaging device is a uniform distribution mainly due to the shot noise output by the infrared imaging device. , Stable target detection can be performed. However, in reality, as shown in FIG. 8, due to the influence of the atmospheric transmittance on the altitude, in the clear sky background space, the higher the altitude, the larger the luminance value, and the lower the altitude, the smaller the luminance value. It is known that brightness has gradation with respect to altitude.
このため、平均輝度演算回路や標準偏差演算回路を用いてノイズ輝度分布を計測する際、平均輝度演算回路の計測値がクリアスカイ背景のグラデーションに依存して変動し、標準偏差演算回路の計測値が上記背景グラデーションに影響して大きくなるため、しきい値演算回路により計測する閾値が、赤外線撮像装置の出力するショットノイズ分布より極端に大きくかつ変動する。この結果、目標に相当する輝度レベルが赤外線撮像装置の出力するショットノイズより大きな輝度レベルであったとしても、目標検出が十分に、また安定して行えないという問題があった。 For this reason, when measuring the noise luminance distribution using the average luminance calculation circuit or the standard deviation calculation circuit, the measurement value of the average luminance calculation circuit varies depending on the gradation of the clear sky background, and the measurement value of the standard deviation calculation circuit However, the threshold value measured by the threshold value calculation circuit is extremely larger and fluctuates than the shot noise distribution output from the infrared imaging device. As a result, even if the luminance level corresponding to the target is higher than the shot noise output from the infrared imaging device, there is a problem that target detection cannot be performed sufficiently and stably.
この発明は係る課題を解決することを目的になされたものであり、クリアスカイ背景空間がグラデーションを持っても、安定して目標検出を行うことのできる画像目標検出装置を得ることを目的とする。 The present invention has been made in order to solve such problems, and an object thereof is to obtain an image target detection apparatus capable of stably performing target detection even when the clear sky background space has gradation. .
この発明による画像目標検出装置は、ジンバル機構部により回転可能に軸支され、視線方向を水平に保ちながら走査される赤外線撮像装置の撮影画像に基づいて、ラスタ走査方向について注目画素を間に挟む２領域から輝度データを切り出すウィンド回路と、上記ウィンド回路で切り出された２領域の輝度データの平均輝度を算出する平均輝度演算回路と、上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から２値化閾値を算出する閾値算出回路と、上記閾値算出回路により算出された２値化閾値に基づいて減算回路で減算された輝度データを２値化する２値化回路と、を備えたものである。 The image target detection device according to the present invention is rotatably supported by a gimbal mechanism, and sandwiches a pixel of interest in the raster scanning direction based on a captured image of an infrared imaging device that is scanned while keeping the line-of-sight direction horizontal. A window circuit that cuts out luminance data from two areas, an average luminance calculation circuit that calculates the average luminance of the luminance data of the two areas cut out by the window circuit, and an average luminance calculation circuit that calculates from the captured image of the infrared imaging device The average luminance and standard deviation around the target pixel are calculated from the subtraction circuit that subtracts the average luminance and the luminance data subtracted by the subtraction circuit, and the binarization threshold is calculated from the calculated average luminance and standard deviation. 2 that binarizes the luminance data subtracted by the subtraction circuit based on the threshold calculation circuit and the binarization threshold calculated by the threshold calculation circuit And circuit, in which with a.
また、ジンバル機構部により回転可能に軸支された赤外線撮像装置の指向方向に対応して、予め計測された上記赤外線撮像装置のフレーム画像における背景画像の回転角度情報を格納したデータベースと、上記ジンバル駆動制御部により得られる上記赤外線撮像装置の指向方向に基づいて上記データベースから回転角度情報を得て、得られた回転角度情報に基づいて背景グラデーションの方向がラスタ走査に垂直な方向に一致するように背景画像を逆回転して画像補正を行う画像補正回路と、上記画像補正回路により補正された画像に基づいて、ラスタ走査方向について注目画素を間に挟む２領域から輝度データを切り出すウィンド回路と、上記ウィンド回路で切り出された２領域の輝度データの平均輝度を算出する平均輝度演算回路と、上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から２値化閾値を算出する閾値算出回路と、上記閾値算出回路により算出された２値化閾値に基づいて減算回路で減算された輝度データを２値化する２値化回路と、を備えたものであっても良い。 A database storing rotational angle information of a background image in a frame image of the infrared imaging device measured in advance corresponding to a directivity direction of the infrared imaging device rotatably supported by the gimbal mechanism; Based on the orientation direction of the infrared imaging device obtained by the drive control unit, rotation angle information is obtained from the database, and based on the obtained rotation angle information, the direction of the background gradation matches the direction perpendicular to the raster scan. An image correction circuit for performing image correction by reversely rotating the background image, and a window circuit for cutting out luminance data from two regions sandwiching the target pixel in the raster scanning direction based on the image corrected by the image correction circuit; An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit; A subtraction circuit that subtracts the average luminance calculated by the average luminance calculation circuit from the image captured by the infrared imaging device, and the average luminance and standard deviation around the target pixel are calculated from the luminance data subtracted by the subtraction circuit. A threshold value calculation circuit for calculating a binarization threshold value from the averaged luminance and standard deviation, and binarization for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold value calculated by the threshold value calculation circuit. And a circuit.
この発明によれば、背景グラデーションの影響を受けずに、かつ、目標と均一な周辺領域の信号レベルの差を検出して、十分に安定して目標検出することができる。 According to the present invention, it is possible to detect a target sufficiently stably by detecting a difference in signal level between the target and a uniform peripheral region without being affected by the background gradation.
以下、この発明に係る実施の形態について、図面に基づき説明する。なお、各実施の形態同士で、同様の構成には互いに同一の符号を付し、重複説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. In addition, in each embodiment, the same code | symbol is attached | subjected to the same structure, and duplication description is abbreviate | omitted.
実施の形態１．
図１は、この発明の実施の形態１による画像目標検出装置の構成を示すブロック図である。
図において、赤外線撮像装置１はジンバル機構部１０に格納されて高度上空を飛行する機体等に搭載され、赤外線検知器により赤外線画像を撮像する。ジンバル機構部１０は、赤外線撮像装置１を回転可能に軸支する。ジンバル駆動制御部１１が、ジンバル機構部１０を上下方向および方位方向の回転２軸周りに回転駆動し、赤外線撮像装置１の視線方向を任意の高度および方位に指向させることで、赤外線撮像装置１が上空を飛来する飛翔体、航空機等の目標を撮像する。ジンバル駆動制御部１１は、赤外線撮像装置１の視線方向が水平に保たれるようにジンバル機構部１０を回転駆動して、赤外線撮像装置１により撮像される画像を走査する。画像目標検出装置９ａは、赤外線撮像装置１により撮像された画像が入力され、入力された画像について目標を自動的に探知する。
FIG. 1 is a block diagram showing the configuration of an image target detection apparatus according to
In the figure, an
なお、赤外線撮像装置１により撮像される画像が、赤外線撮像装置１の視線軸周りに回転しないよう、ジンバル駆動制御部１１がジンバル機構部１０を赤外線撮像装置１の視線軸に周りに回転させるように、ジンバル機構部１０を構成しても良い。
Note that the gimbal drive control unit 11 rotates the
画像目標検出装置９ａは、背景グラデーションを均一に抑圧する前処理部１５と、目標検出部８と、特徴量演算回路７を備えている。
前処理部１５は、ウィンド回路１２と、平均輝度演算回路１４と、減算回路１３とから構成される。ウィンド回路１２は、赤外線撮像装置１の出力するフレーム画像に対して、ラスタ走査方向に対してフレーム画像を構成する各画素（以降、注目画素と称する）の両近傍における固定した２領域内の画素の輝度データを切り出す。平均輝度演算回路１４は、ウィンド回路１２により切り出された画素の輝度データにおける平均輝度値を演算する。減算回路１３は、平均輝度演算回路１４により計測した平均輝度値を、注目画素の輝度データより減算する。
The image target detection device 9 a includes a preprocessing unit 15 that uniformly suppresses background gradation, a target detection unit 8, and a feature amount calculation circuit 7.
The preprocessing unit 15 includes a
目標検出部８は、ウィンド回路２と、平均輝度演算回路３と、標準偏差演算回路４と、しきい値演算回路５と、空間二値化回路６を備えている。ウィンド回路２は、前処理部１５の減算回路１３により減算されたフレーム画像の輝度データについて、注目画素毎に画素周辺のウィンド内における画素データの切り出しを行う。平均輝度演算回路３は、ウィンド回路２により切り出した画素データについて、注目画素周辺のウィンド内における輝度平均値の計測を行う。標準偏差演算回路４は、ウィンド回路２により切り出した画素データおよび平均輝度演算回路３により計測された輝度平均値について、注目画素周辺のウィンド内における標準偏差値の計測を行う。
The target detection unit 8 includes a
しきい値演算回路５は、平均輝度演算回路３および標準偏差演算回路４により計測した注目画素近傍のウィンド内における輝度平均値、標準偏差値、及び数式１を用いて、注目画素について二値化閾値演算を行う。
The threshold calculation circuit 5 binarizes the pixel of interest using the luminance average value, standard deviation value, and
空間二値化回路６は、前処理部１５の減算回路１３により減算されたフレーム画像の輝度データについて、しきい値演算回路５により求められた二値化閾値を用いて二値化処理を行う。空間二値化回路６は、注目画素毎の二値化閾値演算値、注目画素の輝度値及び数２を用いて二値化画像を算出し、かつ数２のように、上記二値化閾値より大きい輝度の注目画素を“１”に二値化した画素を目標とみなすことで目標検出を行う。
The spatial binarization circuit 6 performs binarization processing on the luminance data of the frame image subtracted by the subtraction circuit 13 of the preprocessing unit 15 using the binarization threshold obtained by the threshold calculation circuit 5. . The spatial binarization circuit 6 calculates a binarized image using the binarization threshold value for each pixel of interest, the luminance value of the pixel of interest, and
図２は目標検出部８の空間二値化回路６における、二値化処理の演算原理を示す図である。
前処理部１５からリアルタイムに入力されるフレーム画像に対して、目標検出部８においてラスタ走査を行いながら、平均輝度演算回路３および標準偏差演算回路４にてリアルタイムに注目画素近傍のノイズの輝度平均値、輝度標準偏差値を計測することで、しきい値演算回路５において注目画素毎に注目画素近傍のノイズの輝度分布に応じて閾値を設定することができる。このため、目標の誤警報率を常に一定にする二値化閾値を注目画素毎に設定することができる。
FIG. 2 is a diagram illustrating a calculation principle of binarization processing in the spatial binarization circuit 6 of the target detection unit 8.
For the frame image input in real time from the pre-processing unit 15, the average luminance calculation circuit 3 and the standard deviation calculation circuit 4 perform the luminance average of noise in the vicinity of the target pixel in real time while performing raster scanning in the target detection unit 8. By measuring the value and the luminance standard deviation value, the threshold value calculation circuit 5 can set a threshold value for each target pixel according to the luminance distribution of noise near the target pixel. For this reason, the binarization threshold value which makes the target false alarm rate always constant can be set for each target pixel.
特徴量演算回路７は、目標検出部８の空間二値化回路６により処理された二値化画像を用いて目標のラベリング処理を行い、目標の特徴量として重心、面積、領域を演算し、その結果を出力する。以上により、画像目標検出装置９は、飛来してくる航空機や飛翔体等の微小目標を上空から撮像した画像から、複雑な輝度分布の領域にある雲などのクラッタを抑圧し、目標を安定して検出することができる。 The feature amount calculation circuit 7 performs a target labeling process using the binarized image processed by the spatial binarization circuit 6 of the target detection unit 8, calculates the center of gravity, area, and region as the target feature amount, The result is output. As described above, the image target detection device 9 suppresses clutter such as clouds in a complex luminance distribution region from an image obtained by imaging a minute target such as an aircraft or a flying object from above, and stabilizes the target. Can be detected.
次に、画像目標検出装置９ａの動作について説明する。
ジンバル駆動制御部１１は、ジンバル機構部１０の方位角度を水平に保つように運用する。これにより、ジンバル駆動制御部１１は、図３に示すように物理的に赤外線撮像装置１の撮像した画像における背景グラデーションの方向をラスタ走査と垂直な方向に一致させる。ウィンド回路１２は、注目画素１００の近傍周辺で注目画素１００を間に挟む２つの領域１０１において、画像データを切り出す。
Next, the operation of the image target detection device 9a will be described.
The gimbal drive control unit 11 operates so as to keep the azimuth angle of the
ここで、ウィンド回路１２により切り出された画像データは、背景輝度１０２のグラデーションと垂直なライン方向の輝度データで構成されるため、グラデーションに依存しない均一な輝度データを得ることができる。
Here, since the image data cut out by the
さらに、平均輝度演算回路１４はウィンド回路１２によって切り出された画像データの平均値を算出し、減算回路１３は注目画素の輝度値から平均輝度演算回路１４により算出された画像データの平均値を減算する。
Further, the average luminance calculation circuit 14 calculates the average value of the image data cut out by the
これによって、前処理部１５の出力する輝度データは、注目画素とグラデーションに依存しない均一な周辺領域の信号レベルの差を検出することができるとともに、目標に相当する輝度レベルを劣化させることなく、背景のグラデーションを均一に抑圧することができる。かくして、目標検出部８において、背景のグラデーションを抑圧した均一画像を用いることができるので、背景のグラデーションの影響を受けずに安定して目標検出することができる。 As a result, the luminance data output from the preprocessing unit 15 can detect a difference in signal level between uniform peripheral areas that do not depend on the target pixel and gradation, and without deteriorating the luminance level corresponding to the target. Background gradation can be suppressed uniformly. Thus, since the target detection unit 8 can use a uniform image in which the background gradation is suppressed, the target can be detected stably without being affected by the background gradation.
以上説明したように、この実施の形態１の画像目標検出装置では、高度上空を飛行する機体に搭載された赤外線撮像装置を内蔵するジンバル機構部について、赤外線撮像装置の視線を水平に保ちながらジンバル機構部の上下角度および方位角度を制御する走査撮像を行うことによって、赤外線撮像装置の撮像画像における、高度に対する大気透過率等の影響で発生する背景にあるグラデーションの方向を画像目標検出装置におけるラスタ走査と垂直な方向に一致させる。このようにして、ラスタ走査方向に対する注目画素両近傍における固定２領域を切り出すウィンド回路によってグラデーションに依存しない均一な輝度データを得て、輝度データの平均値を算出し、注目画素の輝度値から上記の平均値を減算する前処理部を具備することにより、背景グラデーションの影響を受けずに、かつ、目標と均一な周辺領域の信号レベルの差を検出して、十分に安定して目標検出することができる。 As described above, in the image target detection device according to the first embodiment, the gimbal mechanism unit incorporating the infrared imaging device mounted on the aircraft flying above the altitude is gimbaled while keeping the line of sight of the infrared imaging device horizontal. By performing scanning imaging to control the vertical angle and azimuth angle of the mechanism unit, the direction of the gradation in the background generated by the influence of atmospheric transmittance, etc. on the altitude in the captured image of the infrared imaging device is rasterized in the image target detection device. Match in the direction perpendicular to the scan. In this way, uniform luminance data independent of gradation is obtained by the window circuit that cuts out the two fixed regions in the vicinity of the target pixel in the raster scanning direction, the average value of the luminance data is calculated, and the above-mentioned luminance value of the target pixel is calculated. By including a pre-processing unit that subtracts the average value of the target, the target detection is sufficiently stable by detecting the difference between the signal level of the target and the uniform peripheral region without being affected by the background gradation. be able to.
実施の形態２．
図４は、この発明の実施の形態２による画像目標検出装置９ｂの構成を示すブロック図である。画像目標検出装置９ｂの前処理部１５ａは、フレームメモリ１６と、減算回路１３と、ウィンド回路１２ａと、平均輝度演算回路１４を備える。画像目標検出装置９ｂの目標検出部８については実施の形態１と同じものである。ここで、画像目標検出装置９ｂの前処理部１５ａは、実施の形態１の前処理部１５における固定の２領域を切り出すウィンド回路１２を、可変の２領域を切り出すウィンド回路１２ｂに代えるとともに、赤外線撮像部１の出力するフレーム画像を取得するフレームメモリ１６を具備したことを特徴とする。
FIG. 4 is a block diagram showing a configuration of an image target detection device 9b according to
フレームメモリ１６は、赤外線撮像装置１により得られたフレーム画像を格納する。ウィンド回路１２ａは、フレームメモリ１６に格納された撮影画像に基づいて、ラスタ走査方向について注目画素を間に挟む２つの可変領域の大きさを可変し、可変した２つの可変領域から画素の輝度データを切り出す。また、減算回路１３は、フレームメモリ１６に格納されたフレーム画像から平均輝度演算回路１４で算出した平均輝度を減算する。
The
次に、画像目標検出装置９ｂの動作について説明する。
装置の運用によっては、赤外線撮像装置１によって撮像されるフレーム画像における目標の大きさは、必ずしも一定であるとは限らない。このため、前処理部１５ａでは、可変ウィンド回路１２ａを構成するラスタ走査方向に配置する２つウィンドの隙間を、赤外線撮像装置１の出力するフレーム画面上で想定する目標の大きさに合わせて、操作員が可変設定できるようにする。これにより、運用によって検出する必要のある大きさの目標について、背景のグラデーションの影響を受けずに安定して検出が可能となる。
Next, the operation of the image target detection device 9b will be described.
Depending on the operation of the apparatus, the target size in the frame image captured by the
ウィンド回路１２ａにより、赤外線撮像装置１の出力するフレーム画像より一部の画像領域を切り出した後、平均輝度演算回路１４にて演算処理を行う。このため、前処理部１５ａによる前処理後の画像データに重畳するノイズばらつき（標準偏差）は、赤外線撮像装置１によって撮像されるフレーム画像に重畳するノイズばらつき（標準偏差）に対して、統計学上（１＋1／ｍ）倍になり、ｍを小さくする程、前処理部１５ａによる前処理後のノイズばらつき（標準偏差）が大きくなることが一般的に知られている。
After a part of the image area is cut out from the frame image output from the
ここに、ｍはウィンド回路１２ａによって切り出された画素数である。反対に、ｍを大きくする程、赤外線撮像装置１の出力するフレーム画像において、グラデーションと垂直なライン方向に重畳する低周波のノイズを増幅することも懸念される。このため、赤外線撮像装置１の出力するフレーム画像をフレームメモリ１６に取得し、取得したフレーム画像に重畳するノイズ分布を操作員によって解析し、解析したノイズ分布に応じて、ウィンド回路１２ａによって切り出すウィンド領域内の画素数を調整できるようにすることによって、前処理部１５ａによる処理後のノイズばらつき（標準偏差）を抑圧させる。これにより、前処理部１５ａによるノイズばらつき（標準偏差）の増加を防ぐことができ、後段の目標検出部８において、安定して目標を検出することができる。
Here, m is the number of pixels cut out by the window circuit 12a. Conversely, as m is increased, there is a concern that in the frame image output from the
以上説明したように、この実施の形態２の画像目標検出装置では、赤外線撮像装置の出力するフレーム画像を取得するフレームメモリ１６を具備する。また、ウィンド回路１２ａにおいて、ラスタ走査方向に対する注目画素両近傍の可変２領域について、赤外線撮像装置１から出力されフレームメモリ１６に格納されたフレーム画面上で運用上想定する目標の大きさに合わせて、操作員が可変２領域の大きさを可変することで、画素データの切り出しを行う。これによって、運用上検出する必要のある大きさの目標について、背景のグラデーションの影響を受けずに安定して目標検出することができる。
As described above, the image target detection apparatus according to the second embodiment includes the
また、取得したフレーム画像に重畳するノイズ分布に応じて、ウィンド回路１２ａにおいて切り出す画像領域内の画素数を操作員が調整するようにして、グラデーションに依存しない均一な輝度データを得ることができるので、平均輝度演算回路１４により得られた輝度データの平均値を算出し、減算回路１５ａにより注目画素の輝度値から算出した平均値を減算する。かくして、前処理部１５ａの作用によって生じるノイズばらつき（標準偏差）の増加を防ぎ、目標検出部８により安定して目標検出することができる。 In addition, since the operator adjusts the number of pixels in the image area cut out in the window circuit 12a according to the noise distribution superimposed on the acquired frame image, uniform luminance data independent of gradation can be obtained. Then, the average value of the luminance data obtained by the average luminance calculation circuit 14 is calculated, and the average value calculated from the luminance value of the target pixel is subtracted by the subtraction circuit 15a. Thus, an increase in noise variation (standard deviation) caused by the action of the preprocessing unit 15a can be prevented, and the target detection can be stably performed by the target detection unit 8.
実施の形態３．
図５は、この発明の実施の形態３による画像目標検出装置９ｃの構成を示すブロック図である。図において、ジンバル機構部１０は、赤外線検知器により赤外線画像を撮像する赤外線撮像装置１を、回転可能に軸支する。ジンバル駆動制御部１１は、ジンバル機構部１０を回転駆動し、赤外線撮像装置１の視線方向を所定方向に指向制御するとともに、赤外線撮像装置１の視線方向の高度情報（上下角度、または仰角または俯角）および方位情報（方位角度）を画像目標検出装置９ｃに出力する。
Embodiment 3 FIG.
FIG. 5 is a block diagram showing a configuration of an image target detection apparatus 9c according to Embodiment 3 of the present invention. In the figure, a
実施の形態３による画像目標検出装置９ｃは、図４に示す実施の形態２の画像目標検出装置９ｂに対し、画像補正回路１７を付加して構成される。フレームメモリ１６は、赤外線撮像装置１により得られたフレーム画像を格納している。画像補正回路１７は、フレームメモリ１６から読み出した画像データから、ジンバル駆動制御部１１からの高度情報および方位角度情報を元に、幾何学的な画像回転処理を施す。
The image target detection device 9c according to the third embodiment is configured by adding an image correction circuit 17 to the image target detection device 9b according to the second embodiment shown in FIG. The
次に、画像補正回路１７の動作について説明する。
ジンバル機構部１０は赤外線撮像装置１を回転２軸周りに支持する。ジンバル機構部１０は、ジンバル駆動制御部１１により任意の高度情報および方位情報に基づいて、赤外線撮像装置１の視線を回転２軸周りに所望方向に指向させ、上空を飛来する飛翔体、航空機等の目標を撮像走査する。図６は、ジンバル駆動制御部１１からの高度、方位指向による背景画像回転の原理を示した図である。図６に示すように、ジンバル機構部１０により支持された赤外線撮像装置１の撮像する画像は、赤外線撮像装置１を構成する例えばクーデ光学系の作用によって、撮像した背景画像が回転することが一般的に知られている。この回転作用の結果、赤外線撮像装置１の撮像した画像は、背景グラデーションの方向とラスタ走査の方向が必ずしも垂直になるとは限らない。このため、このままではウィンド回路１２ａによって切り出された画像データが、必ずしもグラデーションと垂直なライン方向の輝度データで構成することができず、前処理部１５の出力する輝度データは、背景グラデーションの影響を受けた不均一な輝度データとなってしまう。
Next, the operation of the image correction circuit 17 will be described.
The
そこで、ウィンド回路１２ａによって切り出された画像データをグラデーションと垂直なライン方向の輝度データで構成するようにするため、この実施の形態３による画像目標検出装置９ｃでは次の処理を行う。
まず、赤外線撮像装置１の撮像するフレーム画像を一旦フレームメモリ１６に格納する。画像補正回路１７では、予め、ジンバル駆動制御部１１の指向する高度、方位とそれに対する赤外線撮像装置１の撮像するフレーム画像における背景画像の回転角度を計測して、それらの値をデータベースとして記憶格納する。このデータベースは画像補正回路１７の内部に設けてもいいし、画像補正回路１７の外部装置に設けても良い。
Therefore, the image target detection apparatus 9c according to the third embodiment performs the following processing so that the image data cut out by the window circuit 12a is composed of luminance data in the line direction perpendicular to the gradation.
First, the frame image captured by the
次に、赤外線撮像装置１の撮像するフレーム画像に同期して、ジンバル駆動制御部１１よりジンバル駆動制御部１１の指向する高度、方位を画像補正回路１６に送信する。画像補正回路１７では、赤外線撮像装置１の撮像するフレーム画像に対して、ジンバル駆動制御部１１の指向する高度、方位から、上記データベースを参照して得られた背景画像の回転角度を用いて、数式３に示すように背景画像の逆回転演算を実施する。
Next, in synchronization with the frame image captured by the
なお、画像逆回転後の画像データの位置は、幾何学的に赤外線撮像装置１の検知器を構成する本来の画素の位置に一致するとは限らない。このため、図９に示す画像逆回転前の画像データにおいて、画像逆回転後の注目画素周辺に隣接して赤外線検知器に実在する４画素位置での画像データを用いて、数式４に示すバイリニア補間処理を実施する。
Note that the position of the image data after the reverse image rotation does not necessarily geometrically coincide with the position of the original pixel that constitutes the detector of the
これにより、画像補正回路１７によって、赤外線撮像装置１の撮像した画像における背景グラデーションの方向を電気的にラスタ走査と垂直な方向に一致させることができ、ウィンド回路１２ａによって切り出された画像データは、グラデーションと垂直なライン方向の輝度データで構成される。このため、グラデーションに依存しない均一な輝度データを得ることができる。
Thus, the image correction circuit 17 can electrically match the background gradation direction in the image captured by the
平均輝度演算回路１４は、ウィンド回路１２ａによって切り出された上記画像データの平均値を算出し、減算回路１３によって注目画素の輝度値から上記平均値を減算する。これによって、前処理部１５の出力する輝度データは、注目画素とグラデーションに依存しない均一な周辺領域の信号レベルの差を検出することができ、目標に相当する輝度レベルを劣化させることなく、背景のグラデーションを均一に抑圧することができる。このとき、目標検出部８において、背景のグラデーションを抑圧した画像を用いることができるので、ジンバル機構部１０が任意に高度・方位を指向しても、背景のグラデーションの影響を受けずに安定して目標検出できる。
The average luminance calculation circuit 14 calculates the average value of the image data cut out by the window circuit 12a, and the subtraction circuit 13 subtracts the average value from the luminance value of the target pixel. As a result, the luminance data output from the preprocessing unit 15 can detect a difference in signal level between the target pixel and a uniform peripheral region that does not depend on the gradation, and the background can be detected without degrading the luminance level corresponding to the target. Can be suppressed uniformly. At this time, since the target detection unit 8 can use an image in which the background gradation is suppressed, even if the
以上説明したように、この実施の形態３の画像目標検出装置９ｃでは、赤外線撮像装置１を内蔵するジンバル機構部１０を任意の高度・方位に指向し、走査撮像した赤外線撮像装置１の撮像画像に対して、予めジンバル駆動制御部１１の指向する高度、方位とそれに対する赤外線撮像装置１の撮像するフレーム画像における背景画像の回転角度を計測し記憶したデータベースを設ける。また、ジンバル駆動制御部１１の指向する高度、方位を用いて、電気的に背景グラデーションの方向を、画像目標検出装置１におけるラスタ走査と垂直な方向に一致するように背景画像を逆回転し、かつ、画像回転後の画像データを、実在する画像逆回転後の隣接する４画素のデータを用いて補間処理する画像補正回路１７を設ける。これによって、ジンバル機構部１０が任意に高度・方位を指向しても、背景のグラデーションの影響を受けずに安定して目標検出することが可能となる。
As described above, in the image target detection device 9c of the third embodiment, the captured image of the
かくして、この実施の形態３の画像目標検出装置では、実施の形態１、２の画像目標検出装置９ａ，９ｂにおいて必要とした、ジンバル駆動制御部１１によりジンバル機構部１０の方位を水平に保つことによって、物理的に赤外線撮像装置１の撮像した画像における背景グラデーションの方向をラスタ走査と垂直な方向に一致させる運用上の制約が不要となる。このため、ジンバル機構部１０の任意の高度・方位指向に対応して、目標検出部８において、安定して目標検出することができる。
Thus, in the image target detection apparatus according to the third embodiment, the gimbal drive control section 11 keeps the azimuth of the
１ 赤外線撮像装置、２ ウィンド回路、３ 平均輝度演算回路、４ 標準偏差演算回路、５ しきい値演算回路、６ 空間二値化回路、７ 特徴量演算回路、８ 目標検出部、９ａ,９ｂ,９ｃ 画像目標検出装置、１０ ジンバル機構部、１１ ジンバル駆動制御部、１２,１２ａ ウィンド回路、１３ 減算回路、１４ 平均輝度演算回路、１５ 前処理部、１６ フレームメモリ、１７ 画像補正回路。
DESCRIPTION OF
Claims (3)
上記ウィンド回路で切り出された２領域の輝度データの平均輝度を算出する平均輝度演算回路と、
上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、
上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から２値化閾値を算出する閾値算出回路と、
上記閾値算出回路により算出された２値化閾値に基づいて減算回路で減算された輝度データを２値化する２値化回路と、
を備えた画像目標検出装置。 Based on a captured image obtained by an infrared imaging device that is pivotally supported by a gimbal mechanism and scanned while keeping the line-of-sight direction horizontal, luminance data is obtained from two regions sandwiching the target pixel in the raster scanning direction. A window circuit to cut out,
An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit;
A subtracting circuit for subtracting the average luminance calculated by the average luminance calculating circuit from the captured image of the infrared imaging device;
A threshold value calculation circuit for calculating an average luminance and a standard deviation around the target pixel from the luminance data subtracted by the subtraction circuit, and calculating a binarization threshold value from the calculated average luminance and the standard deviation;
A binarization circuit for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold calculated by the threshold calculation circuit;
An image target detection apparatus.
上記ウィンド回路は、上記フレームメモリに格納されたフレーム画像に基づいて、ラスタ走査方向について注目画素を間に挟む２領域の大きさを可変し、可変した２領域から輝度データを切り出し、
上記減算回路は、上記フレームメモリに格納された撮影画像から上記平均輝度演算回路で算出された平均輝度を減算することを特徴とする請求項１記載の画像目標検出装置。 A frame memory for storing a frame image taken by the infrared imaging device;
The window circuit varies the size of the two regions sandwiching the pixel of interest in the raster scanning direction based on the frame image stored in the frame memory, and extracts luminance data from the two variable regions,
2. The image target detecting apparatus according to claim 1, wherein the subtracting circuit subtracts the average luminance calculated by the average luminance calculating circuit from a photographed image stored in the frame memory.
上記赤外線撮像装置の指向方向に基づいて上記データベースから回転角度情報を得て、得られた回転角度情報に基づいて背景グラデーションの方向がラスタ走査に垂直な方向に一致するように背景画像を逆回転して画像補正を行う画像補正回路と、
上記画像補正回路により補正された画像に基づいて、ラスタ走査方向について注目画素を間に挟む２領域から輝度データを切り出すウィンド回路と、
上記ウィンド回路で切り出された２領域の輝度データの平均輝度を算出する平均輝度演算回路と、
上記赤外線撮像装置の撮影画像から上記平均輝度演算回路で算出された平均輝度を減算する減算回路と、
上記減算回路で減算された輝度データから、注目画素周辺の平均輝度および標準偏差を算出し、算出した平均輝度および標準偏差から２値化閾値を算出する閾値算出回路と、
上記閾値算出回路により算出された２値化閾値に基づいて減算回路で減算された輝度データを２値化する２値化回路と、
を備えた画像目標検出装置。 A database storing rotation angle information of a background image in a frame image of the infrared imaging device measured in advance, corresponding to the directivity direction of the infrared imaging device rotatably supported by the gimbal mechanism,
Rotation angle information is obtained from the database based on the orientation direction of the infrared imaging device, and the background image is reversely rotated based on the obtained rotation angle information so that the direction of the background gradation coincides with the direction perpendicular to the raster scan. An image correction circuit for correcting the image,
A window circuit that cuts out luminance data from two regions sandwiching the pixel of interest in the raster scanning direction based on the image corrected by the image correction circuit;
An average luminance calculation circuit for calculating the average luminance of the luminance data of the two regions cut out by the window circuit;
A subtracting circuit for subtracting the average luminance calculated by the average luminance calculating circuit from the captured image of the infrared imaging device;
A threshold calculation circuit for calculating an average luminance and a standard deviation around the target pixel from the luminance data subtracted by the subtraction circuit, and calculating a binarization threshold from the calculated average luminance and the standard deviation;
A binarization circuit for binarizing the luminance data subtracted by the subtraction circuit based on the binarization threshold calculated by the threshold calculation circuit;
An image target detection apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008173545A JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008173545A JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010014482A true JP2010014482A (en) | 2010-01-21 |
Family
ID=41700732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008173545A Pending JP2010014482A (en) | 2008-07-02 | 2008-07-02 | Image target detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010014482A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011055772A1 (en) * | 2009-11-05 | 2011-05-12 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
| JP2011182252A (en) * | 2010-03-02 | 2011-09-15 | Ricoh Co Ltd | Imaging device, and image imaging method |
| JP2011196939A (en) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | Image target detector and method of detecting image target |
| JP2012063195A (en) * | 2010-09-15 | 2012-03-29 | Mitsubishi Space Software Kk | Target detection image generation apparatus, target detection apparatus, clutter image generation apparatus, target detection image generation program, target detection program, clutter image generation program, target detection image generation method for target detection image generation apparatus, target detection method for target detection apparatus, and clutter image generation method for clutter image generation apparatus |
| JPWO2011074413A1 (en) * | 2009-12-14 | 2013-04-25 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
| JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
| US11260486B2 (en) | 2016-08-01 | 2022-03-01 | Smw-Autoblok Spannsysteme Gmbh | Clamping fixture, in particular a vice |
-
2008
- 2008-07-02 JP JP2008173545A patent/JP2010014482A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011055772A1 (en) * | 2009-11-05 | 2011-05-12 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
| JPWO2011055772A1 (en) * | 2009-11-05 | 2013-03-28 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
| US8818035B2 (en) | 2009-11-05 | 2014-08-26 | Nec Corporation | Image target identification device, image target identification method, and image target identification program |
| JP5742722B2 (en) * | 2009-11-05 | 2015-07-01 | 日本電気株式会社 | Image target identification device, image target identification method, and image target identification program |
| JPWO2011074413A1 (en) * | 2009-12-14 | 2013-04-25 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
| JP5741447B2 (en) * | 2009-12-14 | 2015-07-01 | 日本電気株式会社 | Image generation apparatus, image generation method, and image generation program |
| JP2011182252A (en) * | 2010-03-02 | 2011-09-15 | Ricoh Co Ltd | Imaging device, and image imaging method |
| JP2011196939A (en) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | Image target detector and method of detecting image target |
| JP2012063195A (en) * | 2010-09-15 | 2012-03-29 | Mitsubishi Space Software Kk | Target detection image generation apparatus, target detection apparatus, clutter image generation apparatus, target detection image generation program, target detection program, clutter image generation program, target detection image generation method for target detection image generation apparatus, target detection method for target detection apparatus, and clutter image generation method for clutter image generation apparatus |
| JP2014134442A (en) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | Infrared target detection device |
| US11260486B2 (en) | 2016-08-01 | 2022-03-01 | Smw-Autoblok Spannsysteme Gmbh | Clamping fixture, in particular a vice |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200349687A1 (en) | Image processing method, device, unmanned aerial vehicle, system, and storage medium | |
| US10783656B2 (en) | System and method of determining a location for placement of a package | |
| JP2010014482A (en) | Image target detector | |
| US10495756B2 (en) | Multi-camera laser scanner | |
| CN108303747B (en) | Inspection apparatus and method of detecting a gun | |
| US10666927B2 (en) | Method and device for inspection of an asset | |
| US8284986B2 (en) | Method for remote spectral analysis of gas plumes | |
| US8072482B2 (en) | Imaging system having a rotatable image-directing device | |
| JP3909377B2 (en) | Outdoor distance measuring device | |
| US9049397B2 (en) | Image processing device and image processing method | |
| US8248590B2 (en) | Method and apparatus for auxiliary illumination for detecting an object | |
| EP3267150B1 (en) | Scanning with frame averaging | |
| CN107066638B (en) | Position detection device, position detection method, information processing program, and recording medium | |
| US20150373286A1 (en) | Imaging device and infrared image generation method | |
| JP2014197762A (en) | Image processing system and image processing program | |
| JP4771797B2 (en) | Distance measuring device and distance measuring method | |
| CN113108919B (en) | Human body temperature detection method, device and storage medium | |
| WO2016063595A1 (en) | Image processing device, image processing method and program | |
| KR20200016508A (en) | Method and Apparatus for Synthesizing Image | |
| KR102235018B1 (en) | Apparatus for aligning multiple camera images having different resolutions and method thereof | |
| JP2009115765A (en) | Target imaging detector | |
| JP4151624B2 (en) | Pupil detection device, iris authentication device, and pupil detection method | |
| CN107977974B (en) | Beam splitter boundary detection method and system | |
| JP2001307017A (en) | Character plate recognizing device | |
| JP2009290831A (en) | Image tracking apparatus, image tracking processing method and image tracking processing program |