JP2003139834A - Image correlation tracking device - Google Patents
Image correlation tracking deviceInfo
- Publication number
- JP2003139834A JP2003139834A JP2001334045A JP2001334045A JP2003139834A JP 2003139834 A JP2003139834 A JP 2003139834A JP 2001334045 A JP2001334045 A JP 2001334045A JP 2001334045 A JP2001334045 A JP 2001334045A JP 2003139834 A JP2003139834 A JP 2003139834A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation value
- target area
- output
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、例えば航空機に
搭載した赤外線画像センサの画像により目標物を追尾す
る画像相関追尾装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image correlation tracking device for tracking a target by using an image of an infrared image sensor mounted on an aircraft, for example.
【０００２】[0002]
【従来の技術】従来の航空機に搭載される画像相関追尾
装置は、航空機搭載の赤外線画像センサで得た画像内の
指示された目標画像と、更新された赤外線画像センサの
画像との相関の度合いを測定し、最も相関の度合いの大
きい位置に赤外線画像センサの視軸を動かすことにより
目標の追尾を継続する。2. Description of the Related Art A conventional image correlation tracking device mounted on an aircraft has a degree of correlation between an instructed target image in an image obtained by an infrared image sensor mounted on the aircraft and an updated image of the infrared image sensor. Is measured, and the tracking of the target is continued by moving the visual axis of the infrared image sensor to the position where the degree of correlation is greatest.
【０００３】図１１は航空機に搭載される画像相関追尾
装置の様子を示す図である。２３は赤外線画像センサ及
び画像相関追尾装置を搭載する航空機、２４は航空機２
３に搭載された赤外線画像センサ、４８は航空機２３に
搭載された赤外線画像センサ２４で撮影された画像、４
９は画像４８の中の目標領域、５０は航空機の飛行によ
り目標位置がずれた赤外線画像センサ２４よる更新され
た画像、５１は追尾により画像中心に目標を捕捉した時
の赤外線画像センサ２４よる更新された画像、５２は画
像中心に目標捕捉後の更新された目標領域、５３は画像
５１に対応する赤外線画像センサの視軸方向を示す。FIG. 11 is a diagram showing a state of an image correlation tracking device mounted on an aircraft. 23 is an aircraft equipped with an infrared image sensor and an image correlation tracking device, and 24 is an aircraft 2
3 is an infrared image sensor mounted on the aircraft 3, 48 is an image captured by the infrared image sensor 24 mounted on the aircraft 23, 4
Reference numeral 9 is a target area in the image 48, 50 is an image updated by the infrared image sensor 24 whose target position is displaced due to flight of the aircraft, and 51 is an update by the infrared image sensor 24 when the target is captured in the center of the image by tracking. The image obtained is 52, the updated target area after target acquisition is centered on the image, and 53 is the visual axis direction of the infrared image sensor corresponding to the image 51.
【０００４】航空機２３は、目標を捕捉可能な距離まで
近づいた後、航空機２３に搭載された赤外線画像センサ
２４で目標を撮影し、画像４８を得る。航空機２３は、
画像４８の中で目標が撮影されている領域を指定し、目
標領域４９として画像相関追尾装置に出力する。目標領
域を指定する方法は、航空機のパイロットが指定するな
どの方法で実現可能である。画像５０を処理した画像相
関追尾装置からの目標位置により赤外線画像センサの視
軸５３を目標に指向することにより、画像５１のように
目標を追尾する。視軸指向は赤外線画像センサをジンバ
ルに搭載するなどの方法で実現可能である。目標領域５
２は画像５１の状態で視軸を中心とする更新された目標
領域である。After approaching the target to a distance where it can be captured, the aircraft 23 captures an image 48 by capturing an image of the target with an infrared image sensor 24 mounted on the aircraft 23. The aircraft 23
An area in which the target is photographed is designated in the image 48, and is output to the image correlation tracking device as the target area 49. The method of specifying the target area can be realized by a method of specifying by the pilot of the aircraft. The target is tracked like the image 51 by pointing the visual axis 53 of the infrared image sensor to the target according to the target position from the image correlation tracking device that processed the image 50. The direction of the visual axis can be realized by mounting an infrared image sensor on the gimbal. Target area 5
Reference numeral 2 is an updated target area centered on the visual axis in the state of the image 51.
【０００５】図１２は従来の画像相関追尾装置の構成図
である。１６は航空機搭載の赤外線画像センサより入力
される入力画像信号、１７は指定された目標領域、３１
は入力画像信号１６の中の目標領域１７の最大輝度及び
最小輝度をもとに入力画像信号１６を線形変換する画像
線形変換処理手段、３２は画像線形変換処理手段３１が
出力する画像線形変換の入力画像信号、２は入力画像信
号３２内の目標領域１７の部分画像を記憶する目標領域
テンプレート画像記憶手段、３３は目標領域テンプレー
ト画像記憶手段が出力する目標領域テンプレート画像信
号、３は入力画像信号３２と目標領域テンプレート画像
信号３３との相関値を算出する目標領域相関値算出手
段、３４は目標領域相関値算出手段３が出力する目標領
域相関値、４は目標領域相関値３４の極大点を算出する
相関値極大点位置算出手段、３５は相関値極大点位置算
出手段４が出力する相関値極大点位置、５は相関値極大
点位置３５の中で最も相関値が大きくなる相関値極大点
位置を目標位置として出力する相関値極大点位置判定手
段、３６は相関値極大点位置判定手段の出力する目標位
置、６は赤外線画像センサ２４の視軸位置（画面中心）
から目標位置３６のずれを算出する追尾誤差算出手段、
２１は追尾誤差出力である。FIG. 12 is a block diagram of a conventional image correlation tracking device. 16 is an input image signal input from an infrared image sensor mounted on the aircraft; 17 is a designated target area;
Is an image linear conversion processing means for linearly converting the input image signal 16 based on the maximum brightness and the minimum brightness of the target area 17 in the input image signal 16, and 32 is an image linear conversion output by the image linear conversion processing means 31. Input image signal, 2 is a target area template image storage means for storing a partial image of the target area 17 in the input image signal 32, 33 is a target area template image signal output by the target area template image storage means, 3 is an input image signal Target area correlation value calculating means for calculating the correlation value between 32 and the target area template image signal 33, 34 is the target area correlation value output by the target area correlation value calculating means 3, and 4 is the maximum point of the target area correlation value 34. The correlation value maximum point position calculating means for calculating, 35 is the correlation value maximum point position output by the correlation value maximum point position calculating means 4, and 5 is the maximum among the correlation value maximum point positions 35. Correlation value maximum point position determination means for outputting the correlation value maximum point position where the correlation value increases as the target position, 36 is the target position output by the correlation value maximum point position determination means, and 6 is the visual axis position of the infrared image sensor 24 ( (Center of screen)
Tracking error calculation means for calculating the deviation of the target position 36 from
Reference numeral 21 is a tracking error output.
【０００６】図１３は赤外線画像センサより得た画像と
相関値極大点位置の関係を示す図である。航空機２３
は、図１３（ａ）に示す目標領域４９を画像線形変換処
理手段３１及び目標領域テンプレート画像記憶手段２に
目標領域１７として出力する。目標領域テンプレート画
像記憶手段２は、画像線形変換処理手段３１が出力する
画像線形変換の入力画像信号内の目標領域１７の部分の
画像を記憶し、目標領域テンプレート画像信号３３とし
て出力する。FIG. 13 is a diagram showing the relationship between the image obtained from the infrared image sensor and the position of the maximum correlation value point. Aircraft 23
Outputs the target area 49 shown in FIG. 13A to the image linear conversion processing means 31 and the target area template image storage means 2 as the target area 17. The target area template image storage means 2 stores the image of the portion of the target area 17 in the input image signal of the image linear conversion output by the image linear conversion processing means 31, and outputs it as the target area template image signal 33.
【０００７】赤外線画像センサ２４で更新された画像は
航空機２３の飛行により図１３（b）に示すような目標
位置がずれた撮影画像５０が入力画像信号３２として入
力される。目標領域相関値算出手段３は、前記入力画像
信号３２と前記目標領域テンプレート画像信号３３との
相関値を算出し、図１３（c）に示す目標領域相関値３
４を得る。As the image updated by the infrared image sensor 24, a photographed image 50 whose target position is displaced as shown in FIG. The target area correlation value calculation means 3 calculates the correlation value between the input image signal 32 and the target area template image signal 33, and the target area correlation value 3 shown in FIG.
Get 4.
【０００８】相関値極大点位置算出手段４は、図１３
（c）の位置Pの相関値極大点位置３５を検出する。相関
値極大点位置判定手段５は、前記相関値極大点位置３５
の中で最も相関値の大きくなる相関値極大点位置を判定
し目標位置３６として出力する。The correlation value maximum point position calculating means 4 is shown in FIG.
The correlation value maximum point position 35 of the position P in (c) is detected. The correlation value maximum point position determination means 5 determines the correlation value maximum point position 35.
Among them, the correlation value maximum point position having the largest correlation value is determined and output as the target position 36.
【０００９】図１４は、追尾誤差検出手段６の説明図で
ある。図１４(a)において、追尾誤差検出手段６では、
相関値極大点位置判定手段５の出力する目標位置（Ｘ
Ｓ，ＹＳ）と画像中心位置（ＸＣ，ＹＣ）との誤差（ｄ
ｘ、ｄｙ）を数１により算出し、追尾誤差出力２１とし
て出力する。追尾誤差出力２１により航空機２３は赤外
線画像センサの視軸を目標方向に移動し目標を画像セン
サの中心に捕らえ、図１４（b）に示す画像５１が次の
入力画像として画像線形変換処理手段３１に出力され、
目標領域テンプレート画像記憶手段２は目標領域５２の
部分の画像を記憶することにより目標領域テンプレート
画像信号３３を更新し、目標領域相関値算出手段３に出
力する。FIG. 14 is an explanatory diagram of the tracking error detecting means 6. In FIG. 14 (a), the tracking error detection means 6
The target position (X
Error (d between S, YS) and the image center position (XC, YC)
x, dy) is calculated by Equation 1 and output as a tracking error output 21. Due to the tracking error output 21, the aircraft 23 moves the visual axis of the infrared image sensor in the target direction and catches the target at the center of the image sensor, and the image 51 shown in FIG. 14B is used as the next input image. Is output to
The target area template image storage means 2 updates the target area template image signal 33 by storing the image of the portion of the target area 52, and outputs it to the target area correlation value calculation means 3.
【００１０】[0010]
【数１】 [Equation 1]
【００１１】図１５は、画像線形変換処理手段３１の説
明図である。図１５（ａ）は画像線形変換処理手段３１
により入力画像信号１６の１６bit階調Ｎを線形変換処
理により８bit階調Ｎcに変換する例である。目標領域１
７内の最大輝度Ｎmax及び最小輝度Ｎminをもとに入力画
像信号１６を数２により線形変換する。図１５（ｂ）は
入力画像信号１６の１６bit階調の入力画像信号１６内
の目標領域部分を示した例である。図１５（ｃ）は、図
１５（ｂ）の入力画像を線形変換した結果の例である。
画像線形変換処理手段３１により階調を変換することに
より相関値算出のための計算速度を小さくできる。FIG. 15 is an explanatory diagram of the image linear conversion processing means 31. FIG. 15A shows the image linear conversion processing means 31.
Is an example in which the 16-bit gradation N of the input image signal 16 is converted into an 8-bit gradation Nc by a linear conversion process. Target area 1
Based on the maximum brightness Nmax and the minimum brightness Nmin in 7, the input image signal 16 is linearly converted by the equation 2. FIG. 15B is an example showing a target area portion in the input image signal 16 of 16-bit gradation of the input image signal 16. FIG. 15C is an example of the result of linearly converting the input image of FIG. 15B.
By converting the gradation by the image linear conversion processing means 31, the calculation speed for calculating the correlation value can be reduced.
【００１２】[0012]
【数２】 [Equation 2]
【００１３】図１６により追尾が不安定になる現象を説
明する。図１６（ａ）は目標である滑走路を航空機搭載
の赤外線画像センサ２４より撮影した場合の画像であ
る。５４は目標とする滑走路である。目標が目標領域４
９よりも大きく、かつ滑走路や道路のように輝度分布に
変化がないような場合、図１６（ｂ）に示すように相関
値極大点がＸＹ座標上で山脈のように１点（位置P）に
ならないため、相関値極大点位置判定手段５の判定結果
が不安定になり、滑走路や道路上を赤外線画像センサ２
４の視軸５３がX軸方向にドリフトしてしまい、追尾が
安定しない。A phenomenon in which tracking becomes unstable will be described with reference to FIG. FIG. 16A shows an image of the target runway taken by the infrared image sensor 24 mounted on the aircraft. 54 is a target runway. Goal is target area 4
When the luminance distribution is larger than 9 and there is no change in the luminance distribution like a runway or a road, as shown in FIG. 16 (b), the correlation value maximum point is one point (position P ) Is not satisfied, the determination result of the correlation value maximum point position determination means 5 becomes unstable, and the infrared image sensor 2 detects the runway or the road.
The visual axis 53 of 4 drifts in the X-axis direction, and tracking is not stable.
【００１４】図１７により画像線形変換処理手段３１で
画像のつぶれが発生する現象を説明する。画像線形変換
処理手段３１において、図１７（ａ）に示すような最大
輝度及び最小輝度の間に微小な輝度変化がある場合、図
１７（ｂ）のとおり線形変換後にはつぶれてしまい、階
調変化がなくなった部分は相関値算出に寄与しなくな
り、追尾が不安定になることがある。The phenomenon in which the image collapse occurs in the image linear conversion processing means 31 will be described with reference to FIG. In the image linear conversion processing means 31, when there is a slight change in brightness between the maximum brightness and the minimum brightness as shown in FIG. 17A, it is crushed after the linear conversion as shown in FIG. The part where there is no change does not contribute to the calculation of the correlation value, and tracking may become unstable.
【００１５】[0015]
【発明が解決しようとする課題】従来の画像相関追尾装
置は上記のように構成されているので、航空機搭載の赤
外線画像センサ２４で得た目標が目標領域４９よりも大
きく、かつ滑走路や道路のように輝度分布に変化がない
ような場合、目標追尾位置を不安定になるという問題が
あった。Since the conventional image correlation tracking device is constructed as described above, the target obtained by the infrared image sensor 24 mounted on the aircraft is larger than the target area 49, and the runway or the road. In the case where there is no change in the luminance distribution as described above, there is a problem that the target tracking position becomes unstable.
【００１６】また、従来の画像相関追尾装置は上記のよ
うに構成されているので、航空機搭載の赤外線画像セン
サ２４で得た画像の最大輝度及び最小輝度の間に微小な
輝度変化がある場合、線形変換後にはつぶれてしまい、
階調変化がなくなった部分は相関値算出に寄与しなくな
り追尾が不安定になることがあるという問題があった。Further, since the conventional image correlation tracking device is constructed as described above, when there is a slight change in brightness between the maximum brightness and the minimum brightness of the image obtained by the infrared image sensor 24 mounted on the aircraft, It collapses after linear conversion,
There is a problem that the part where the gradation change disappears does not contribute to the calculation of the correlation value and tracking may become unstable.
【００１７】この発明は、上記のような課題を解決する
ためになされたもので、視軸のドリフトを抑制して目標
追尾位置が不安定になることを防ぎ、また階調変化が小
さい画像においても安定した追尾ができる画像相関追尾
装置を得ることを目的とする。The present invention has been made to solve the above problems, and suppresses the drift of the visual axis to prevent the target tracking position from becoming unstable, and in an image with a small gradation change. Another object is to obtain an image correlation tracking device capable of stable tracking.
【００１８】[0018]
【課題を解決するための手段】第１の発明による画像相
関追尾装置は、狭視野と広視野の２つの赤外線画像を同
時に撮像する赤外線画像センサを搭載した航空機に搭載
される画像相関追尾装置において、狭視野の赤外線画像
センサで構成される従来の実施例の構成に加えて、赤外
線画像センサの出力する広視野の入力画像信号を線形変
換する第２の画像線形変換処理手段と、狭視野の目標領
域の中心方向が等しい広視野画像上の目標領域を設定す
る広視野目標領域設定手段と、広視野画像の目標領域テ
ンプレート画像を記憶する第２の目標領域テンプレート
画像記憶手段と、赤外線画像センサの出力する広視野画
像と第２の目標領域テンプレート画像記憶手段の出力す
る目標領域テンプレート画像の相関値を算出する第２の
目標領域相関値算出手段と、第２の目標領域相関値算出
手段の出力する相関値の極大点の位置を目標位置として
算出する第２の相関値極大点位置算出手段と、第２の相
関値極大点位置算出手段の出力する目標位置と追尾誤差
算出手段の追尾誤差から広視野画像上の狭視野視軸位置
との追尾誤差を算出する視野間追尾誤差算出手段と、視
野間追尾誤差算出手段の出力する追尾誤差から狭視野の
赤外線画像センサの視軸のドリフト発生を判定するドリ
フト判定手段と、ドリフト判定手段の判定結果と視野間
追尾誤差算出手段の出力する追尾誤差から追尾誤差算出
手段の出力する狭視野の追尾誤差を補正する追尾誤差補
正手段を設けたものである。The image correlation tracking device according to the first invention is an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for simultaneously capturing two infrared images of a narrow field of view and a wide field of view. In addition to the configuration of the conventional embodiment including the narrow-field infrared image sensor, second image linear conversion processing means for linearly converting the wide-field input image signal output from the infrared image sensor, and the narrow-field infrared image sensor Wide-field target area setting means for setting a target area on the wide-field image in which the center directions of the target areas are the same, second target area template image storage means for storing a target area template image of the wide-field image, and an infrared image sensor. Second target area correlation value calculation for calculating a correlation value between the wide-field image output by the second target area template image and the target area template image output by the second target area template image storage means. Means, second correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output from the second target area correlation value calculating means as the target position, and second correlation value maximum point position calculating means. Inter-field tracking error calculation means for calculating the tracking error between the target position output by the tracking error calculation means and the tracking error of the narrow-field visual axis position on the wide-field image, and the tracking error output by the inter-field tracking error calculation means. From drift determination means for determining the occurrence of the drift of the visual axis of the narrow-field infrared image sensor, the determination result of the drift determination means and the tracking error output from the inter-field tracking error calculation means from the narrow-field output of the tracking error calculation means. A tracking error correction means for correcting the tracking error is provided.
【００１９】第２の発明による画像相関追尾装置は、狭
視野と広視野の２つの赤外線画像を同時に撮像する赤外
線画像センサを搭載した航空機に搭載される画像相関追
尾装置において、狭視野の赤外線画像センサで構成され
る従来の実施例の構成に加えて、赤外線画像センサの出
力する広視野の入力画像信号を線形変換する第２の画像
線形変換処理手段と、狭視野の目標領域の中心方向が等
しい広視野画像上の目標領域を設定する広視野目標領域
設定手段と、広視野画像の目標領域テンプレート画像を
記憶する第２の目標領域テンプレート画像記憶手段と、
赤外線画像センサの出力する広視野画像と第２の目標領
域テンプレート画像記憶手段の出力する目標領域テンプ
レート画像の相関値を算出する第２の目標領域相関値算
出手段と、第２の目標領域相関値算出手段の出力する相
関値の極大点の位置を目標位置として算出する第２の相
関値極大点位置算出手段と、第２の相関値極大点位置算
出手段の出力する目標位置と追尾誤差算出手段の追尾誤
差から広視野画像上の狭視野視軸位置との追尾誤差を算
出する視野間追尾誤差算出手段と、狭視野の目標領域相
関値算出手段の相関値マップを二値化処理する相関値マ
ップ二値化手段と、相関値マップ二値化手段の二値化さ
れた相関値から狭視野の赤外線画像センサの視軸のドリ
フト発生を判定するドリフト判定手段と、ドリフト判定
手段の判定結果と視野間追尾誤差算出手段の出力する追
尾誤差から追尾誤差算出手段の出力する狭視野の追尾誤
差を補正する追尾誤差補正手段を設けたものである。The image correlation tracking device according to the second invention is an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for simultaneously capturing two infrared images of a narrow field of view and a wide field of view. In addition to the configuration of the conventional embodiment including a sensor, a second image linear conversion processing unit that linearly converts a wide-field input image signal output from an infrared image sensor, and a center direction of a narrow-field target area Wide-field target-area setting means for setting target areas on the same wide-field image; second target-area template image storage means for storing a target area template image of the wide-field image;
Second target area correlation value calculation means for calculating a correlation value between the wide-field image output by the infrared image sensor and the target area template image output by the second target area template image storage means, and a second target area correlation value Second correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the calculating means as the target position, and target position and tracking error calculating means output by the second correlation value maximum point position calculating means. Correlation value for binarizing the correlation value map of the inter-field tracking error calculation means for calculating the tracking error with the narrow-field visual axis position on the wide-field image from the tracking error of Map binarization means, drift determination means for determining the occurrence of drift of the visual axis of the narrow-field infrared image sensor from the binarized correlation value of the correlation value map binarization means, and the determination result of the drift determination means Noma is provided with a tracking error correction means for correcting the tracking error of the narrow-field output of the tracking error calculating means from the tracking error output by the tracking error calculation means.
【００２０】第３の発明による画像相関追尾装置は、赤
外線画像センサを搭載した航空機に搭載される画像相関
追尾装置において、従来の実施例の構成に加えて、目標
領域相関値算出手段の相関値マップを二値化処理する相
関値マップ二値化手段と、相関値マップ二値化手段の二
値化された相関値から赤外線画像センサの視軸のドリフ
ト発生を判定するドリフト判定手段と、航空機の飛行高
度及び位置と赤外線センサの慣性空間における視軸角度
から目標地点を算出する目標座標点算出手段と、ドリフ
ト判定手段の判定結果により追尾誤差による視軸制御と
目標座標点による視軸制御とを切り換える視軸指令角切
換え手段を設けたものである。An image correlation tracking device according to a third aspect of the invention is an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor, in addition to the configuration of the conventional embodiment, the correlation value of the target area correlation value calculating means. Correlation value map binarizing means for binarizing the map, drift determining means for determining occurrence of drift of the visual axis of the infrared image sensor from the binarized correlation value of the correlation value map binarizing means, and aircraft Target coordinate point calculating means for calculating the target point from the flight altitude and position of the infrared sensor and the visual axis angle in the inertial space of the infrared sensor, and visual axis control by tracking error and visual axis control by the target coordinate point based on the determination result of the drift determining means. And a visual axis command angle switching means for switching between.
【００２１】第４の発明による画像相関追尾装置は、赤
外線画像を撮像する赤外線画像センサを搭載した航空機
に搭載される画像相関追尾装置において、赤外線画像セ
ンサの出力する入力画像信号を線形変換する画像線形変
換処理手段と、画像の目標領域テンプレート画像を記憶
する目標領域テンプレート画像記憶手段と、赤外線画像
センサの出力する画像と目標領域テンプレート画像記憶
手段の出力する目標領域テンプレート画像の相関値を算
出する目標領域相関値算出手段と、目標領域相関値算出
手段の出力する相関値の極大点の位置を目標位置として
算出する相関値極大点位置算出手段と、相関値極大点位
置算出手段の出力する目標位置と赤外線画像センサの出
力する画像の中心位置との誤差を算出する追尾誤差算出
手段と、航空機の飛行高度及び位置と赤外線センサの慣
性空間における視軸角度から目標地点を算出する目標座
標点算出手段と、目標座標点算出手段による相関追尾開
始時の座標点と現在の座標点からドリフト発生を判定す
るドリフト判定手段と、ドリフト判定手段の判定結果に
より追尾誤差による視軸制御と目標座標点による視軸制
御とを切り換える視軸指令角切換え手段を設けたもので
ある。An image correlation tracking device according to a fourth aspect of the present invention is an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for picking up an infrared image, which is an image for linearly converting an input image signal output from the infrared image sensor. Linear conversion processing means, target area template image storage means for storing the target area template image of the image, correlation value between the image output by the infrared image sensor and the target area template image output by the target area template image storage means is calculated. Target area correlation value calculating means, correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the target area correlation value calculating means as the target position, and target output by the correlation value maximum point position calculating means Tracking error calculating means for calculating the error between the position and the center position of the image output by the infrared image sensor; Target coordinate point calculation means for calculating the target point from the line altitude and position and the visual axis angle in the inertial space of the infrared sensor, and determination of occurrence of drift from the coordinate point at the time of starting correlation tracking and the current coordinate point by the target coordinate point calculation means And a visual axis command angle switching means for switching between visual axis control based on a tracking error and visual axis control based on a target coordinate point according to the determination result of the drift determining means.
【００２２】第５の発明による画像相関追尾装置は、赤
外線画像を撮像する赤外線画像センサを搭載した航空機
に搭載される画像相関追尾装置において、赤外線画像セ
ンサの出力する入力画像信号を非線形変換する画像非線
形変換処理手段と、画像の目標領域テンプレート画像を
記憶する目標領域テンプレート画像記憶手段と、赤外線
画像センサの出力する画像と目標領域テンプレート画像
記憶手段の出力する目標領域テンプレート画像の相関値
を算出する目標領域相関値算出手段と、目標領域相関値
算出手段の出力する相関値の極大点の位置を目標位置と
して算出する相関値極大点位置算出手段と、相関値極大
点位置算出手段の出力する目標位置と赤外線画像センサ
の出力する画像の中心位置との誤差を算出する追尾誤差
算出手段を設けたものである。An image correlation tracking device according to a fifth aspect of the present invention is an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for picking up an infrared image, which is an image for nonlinearly converting an input image signal output from the infrared image sensor. Non-linear conversion processing means, target area template image storage means for storing the target area template image of the image, correlation value between the image output by the infrared image sensor and the target area template image output by the target area template image storage means is calculated. Target area correlation value calculating means, correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the target area correlation value calculating means as the target position, and target output by the correlation value maximum point position calculating means A tracking error calculation means for calculating the error between the position and the center position of the image output by the infrared image sensor is provided. Than it is.
【００２３】[0023]
【発明の実施の形態】実施の形態１．図１はこの発明の
実施の形態１を示す画像相関追尾装置の構成図であり、
１は赤外線画像センサの出力する狭視野の入力画像信号
を線形変換する第１の画像線形変換処理手段、２は狭視
野画像の目標領域テンプレート画像を記憶する第１の目
標領域テンプレート画像記憶手段、３は赤外線画像セン
サの出力する狭視野画像と第１の目標領域テンプレート
画像記憶手段２の出力する目標領域テンプレート画像と
の相関値を算出する第１の目標領域相関値算出手段、４
は第１の目標領域相関値算出手段３の出力する相関値の
極大点の位置を目標位置として算出する第１の相関値極
大点位置算出手段、５は第１の相関値極大点位置算出手
段４が出力する相関値極大点位置の中で最も相関値が大
きくなる相関値極大点位置を目標位置として出力する第
１の相関値極大点位置判定手段、６は第１の相関値極大
点位置判定手段５の出力する目標位置と赤外線画像セン
サの出力する狭視野画像の中心位置との誤差を算出する
追尾誤差算出手段、７は狭視野の目標領域の中心方向が
等しい広視野画像上の目標領域を設定する広視野目標領
域設定手段、８は赤外線画像センサの出力する広視野の
入力画像信号を線形変換する第２の画像線形変換処理手
段、９は広視野画像の目標領域テンプレート画像を記憶
する第２の目標領域テンプレート画像記憶手段、１０は
赤外線画像センサの出力する広視野画像と第２の目標領
域テンプレート画像記憶手段９の出力する目標領域テン
プレート画像との相関値を算出する第２の目標領域相関
値算出手段、１１は第２の目標領域相関値算出手段６の
出力する相関値の極大点の位置を目標位置として算出す
る第２の相関値極大点位置算出手段、１２は第２の相関
値極大点位置算出手段１１が出力する相関値極大点位置
の中で最も相関値が大きくなる相関値極大点位置を目標
位置として出力する第２の相関値極大点位置判定手段、
１３は第２の相関値極大点位置判定手段１２の出力する
目標位置と追尾誤差算出手段６の出力する追尾誤差から
広視野画像上の狭視野追尾位置との追尾誤差を算出する
視野間追尾誤差算出手段、１４は追尾誤差算出手段６及
び視野間追尾誤差算出手段１３の出力する各追尾誤差か
ら狭視野の赤外線画像センサの視軸のドリフト発生を判
定するドリフト判定手段、１５はドリフト判定手段１４
の判定結果と視野間追尾誤差算出手段１３の出力する追
尾誤差から追尾誤差算出手段６の出力する狭視野の追尾
誤差を補正する追尾誤差補正手段、１６は航空機搭載の
赤外線画像センサより入力される狭視野の入力画像信
号、１７は指定された目標領域、１８は航空機搭載の赤
外線画像センサより入力される広視野の入力画像信号、
１９は広視野目標領域設定手段７から出力される広視野
画像上の目標領域、２０は狭視野の赤外線画像センサの
補正後の追尾誤差、２１は狭視野の赤外線画像センサの
補正前の追尾誤差、２２は広視野画像上の狭視野視軸位
置である。BEST MODE FOR CARRYING OUT THE INVENTION Embodiment 1. 1 is a block diagram of an image correlation tracking device showing a first embodiment of the present invention,
Reference numeral 1 is a first image linear conversion processing means for linearly converting a narrow-field input image signal output from the infrared image sensor, 2 is a first target area template image storage means for storing a target area template image of the narrow-field image, Reference numeral 3 denotes first target area correlation value calculation means for calculating a correlation value between the narrow-field image output by the infrared image sensor and the target area template image output by the first target area template image storage means 2.
Is a first correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output from the first target area correlation value calculating means 3 as a target position, and 5 is a first correlation value maximum point position calculating means. First correlation value maximum point position determining means for outputting the correlation value maximum point position having the largest correlation value among the correlation value maximum point positions output by 4 as a target position, and 6 is the first correlation value maximum point position. Tracking error calculation means for calculating an error between the target position output by the determination means 5 and the center position of the narrow-field image output by the infrared image sensor, and 7 is a target on the wide-field image in which the center directions of the target areas of the narrow-field are equal. Wide-field target area setting means for setting an area, 8 is second image linear conversion processing means for linearly converting a wide-field input image signal output from the infrared image sensor, and 9 is a target area template image of the wide-field image. Second goal area to do Template image storage means 10 is a second target area correlation value calculation means for calculating a correlation value between the wide-field image output by the infrared image sensor and the target area template image output by the second target area template image storage means 9. , 11 are second correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output from the second target area correlation value calculating means 6 as the target position, and 12 is the second correlation value maximum point position. Second correlation value maximum point position determining means for outputting the correlation value maximum point position having the largest correlation value among the correlation value maximum point positions output by the calculating means 11 as a target position;
Reference numeral 13 is an inter-field tracking error for calculating a tracking error between the target position output from the second correlation value maximum point position determination means 12 and the tracking error output from the tracking error calculation means 6 with the narrow-field tracking position on the wide-field image. Calculating means, 14 is drift determining means for determining occurrence of drift of the visual axis of the narrow-field infrared image sensor from each tracking error output from the tracking error calculating means 6 and the inter-field of view tracking error calculating means 13, and 15 is drift determining means 14.
Tracking error correction means for correcting the narrow-field tracking error output by the tracking error calculation means 6 based on the determination result and the tracking error output by the inter-field tracking error calculation means 13, and 16 is input from an infrared image sensor mounted on the aircraft. Narrow-field input image signal, 17 is a designated target area, 18 is a wide-field input image signal input from an airborne infrared image sensor,
Reference numeral 19 is a target area on the wide-field image output from the wide-field target area setting means 7, 20 is a tracking error after correction of the narrow-field infrared image sensor, and 21 is a tracking error before correction of the narrow-field infrared image sensor. , 22 are narrow-field visual axis positions on the wide-field image.
【００２４】図１に示す実施の形態において、狭視野画
像の入力画像信号１６と目標領域１７から追尾誤差２１
を算出するまでの動作は従来の実施例と同じである。広
視野目標領域設定手段７は、狭視野と同時に撮像された
広視野画像上で、狭視野の目標領域の中心方向と一致し
狭視野の目標領域より広い領域を広視野画像の目標領域
１９として出力する。広視野画像の入力信号１８と前記
目標領域１９から第２の相関値極大点位置判定手段１２
から目標位置を出力するまでの動作は従来の実施例と同
じである。視野間追尾誤差算出手段１３は広視野画像上
の狭視野視軸位置２２と前記目標位置とのずれを追尾誤
差として算出し、ドリフト判定手段１４は視野間追尾誤
差算出手段１３の出力する追尾誤差（ｄＸw,ｄＹw）、
判定値Tとすると数３が成立するときドリフト発生と判
定する。In the embodiment shown in FIG. 1, the tracking error 21 is calculated from the input image signal 16 and the target area 17 of the narrow-field image.
The operation up to the calculation of is the same as in the conventional example. The wide-field target area setting means 7 sets, as a target area 19 of the wide-field image, an area on the wide-field image that is captured at the same time as the narrow-field and that matches the center direction of the target area of the narrow-field and is wider than the target area of the narrow-field. Output. From the input signal 18 of the wide-field image and the target area 19 to the second correlation value maximum point position determination means 12
The operation from to outputting the target position is the same as in the conventional embodiment. The inter-view tracking error calculation means 13 calculates the deviation between the narrow-field visual axis position 22 on the wide-field image and the target position as a tracking error, and the drift determination means 14 outputs the tracking error output by the inter-view tracking error calculation means 13. (DXw, dYw),
When the judgment value is T, it is judged that the drift occurs when the expression 3 is satisfied.
【００２５】[0025]
【数３】 [Equation 3]
【００２６】追尾誤差補正手段１５はドリフト発生無し
の場合は従来の実施例と同様に追尾誤差２１を追尾誤差
２０として出力し、ドリフト発生有りの場合は狭視野の
追尾誤差を補正するため数４により追尾誤差２０を出力
する。The tracking error correction means 15 outputs the tracking error 21 as the tracking error 20 when the drift does not occur, as in the conventional embodiment, and corrects the narrow-field tracking error when the drift occurs and the formula 4 is used. Outputs a tracking error 20.
【００２７】[0027]
【数４】 [Equation 4]
【００２８】図２は、航空機に搭載されるこの発明の実
施の形態１を示す画像相関追尾装置の様子を示す図であ
る。２３は赤外線画像センサ及び画像相関追尾装置を搭
載する航空機、２４は航空機２３に搭載された狭視野の
赤外線画像センサ、２５は航空機２３に搭載された広視
野の赤外線画像センサ、２６は赤外線画像センサ２４で
撮影された狭視野の撮像領域、２７は赤外線画像センサ
２５で撮影された広視野の撮像領域、２８は狭視野の撮
像領域２６に対応する狭視野画像、２９は狭視野画像２
８の中の目標領域、３０は広視野の撮像領域２７に対応
する広視野画像、３１は広視野画像３０の中の目標領域
を示す。FIG. 2 is a diagram showing a state of the image correlation tracking device according to the first embodiment of the present invention mounted on an aircraft. Reference numeral 23 is an aircraft equipped with an infrared image sensor and an image correlation tracking device, 24 is a narrow-field infrared image sensor mounted on the aircraft 23, 25 is a wide-field infrared image sensor mounted on the aircraft 23, and 26 is an infrared image sensor. The narrow-field imaging region captured by 24, 27 the wide-field imaging region captured by the infrared image sensor 25, 28 the narrow-field image corresponding to the narrow-field imaging region 26, 29 the narrow-field image 2
Reference numeral 8 denotes a target area, numeral 30 denotes a wide-field image corresponding to the wide-field imaging area 27, and numeral 31 denotes a target area in the wide-field image 30.
【００２９】図２に示す狭視野画像２８と目標領域２９
の間では目標領域２９よりも大きく、かつ輝度分布に変
化がない滑走路のような目標を追尾する場合、相関値極
大点が山脈のようになり１点にならないが、広視野画像
３０と目標領域３１の間では、相関値極大点が１点にな
るため、狭視野のドリフトは追尾誤差を広視野の相関値
極大点により補正することで抑制できる。The narrow field image 28 and the target area 29 shown in FIG.
When tracking a target such as a runway that is larger than the target area 29 and has no change in the luminance distribution between the areas, the correlation value maximum points become like a mountain range and do not become one point, but the wide-field image 30 and the target Since there is only one correlation value maximum point in the regions 31, the narrow-field drift can be suppressed by correcting the tracking error with the wide-field correlation value maximum point.
【００３０】図２に示す広視野の赤外線センサの視野角
を航空機に搭載されたHUD(ヘッドアップディスプレイ)
の視野角に合わせ、広視野画像をHUDに表示することに
より、広視野を航法用画像として運用しながら相関追尾
を行う狭視野のドリフトを抑制できる。The wide-angle infrared sensor shown in FIG. 2 has a viewing angle of HUD (head-up display) mounted on an aircraft.
By displaying the wide-field image on the HUD in accordance with the viewing angle of, it is possible to suppress the drift of the narrow-field that performs correlation tracking while operating the wide field as the navigation image.
【００３１】実施の形態２．図３はこの発明の実施の形
態２を示す画像相関追尾装置の構成図であり、図におい
て１〜２２は実施の形態１と同じである。３７は第１の
目標領域相関値算出手段の相関値マップを二値化処理す
る相関値マップ二値化手段、３８は相関値マップ二値化
手段３７の二値化された相関値から狭視野の赤外線画像
センサの視軸のドリフト発生を判定するドリフト判定手
段である。Embodiment 2. 3 is a block diagram of an image correlation tracking device showing a second embodiment of the present invention. In the figure, 1 to 22 are the same as those in the first embodiment. Reference numeral 37 is a correlation value map binarizing means for binarizing the correlation value map of the first target area correlation value calculating means, and 38 is a narrow visual field from the binarized correlation value of the correlation value map binarizing means 37. Is a drift determining means for determining occurrence of visual axis drift of the infrared image sensor.
【００３２】図４で相関値マップ二値化手段を説明す
る。図４(a)の２３〜２９は実施の形態１と同じであ
る。図４(b)は目標領域相関値算出手段の相関値マップ
を１次元で説明した図で、相関値マップ二値化手段３７
は規定の閾値で２値化し、２値化した相関値マップから
２値化された領域の長さを求める。ドリフト判定手段３
８は、図４(c)に示す相関値マップ二値化手段３７によ
る２値化された領域の長さが判定値を越えた場合、ドリ
フトと判定する。 図３において、実施の形態１と同様
に、追尾誤差補正手段１５はドリフト発生無しの場合は
追尾誤差２１を追尾誤差２０として出力し、ドリフト発
生有りの場合は狭視野の追尾誤差を補正して追尾誤差２
０を出力することにより、ドリフトを抑制できる。The correlation value map binarization means will be described with reference to FIG. 23 to 29 in FIG. 4A are the same as those in the first embodiment. FIG. 4B is a diagram for explaining the correlation value map of the target area correlation value calculating means in one dimension, and the correlation value map binarizing means 37.
Is binarized with a prescribed threshold and the length of the binarized region is obtained from the binarized correlation value map. Drift determination means 3
When the length of the binarized area by the correlation value map binarization means 37 shown in FIG. In FIG. 3, as in the first embodiment, the tracking error correction means 15 outputs the tracking error 21 as the tracking error 20 when the drift does not occur, and corrects the narrow-field tracking error when the drift occurs. Tracking error 2
By outputting 0, the drift can be suppressed.
【００３３】実施の形態３．図５はこの発明の実施の形
態３を示す画像相関追尾装置の構成図であり、図におい
て１〜６、１６、１７、２１、３７，３８は実施の形態
２と同じである。３９は航空機から出力される飛行高度
情報及び位置情報、４０は航空機に搭載された慣性空間
における視軸角度情報、４１は航空機に搭載された飛行
高度と赤外線センサの慣性空間における視軸角度から算
出した目標地点に視軸を指向するための視軸指向角を出
力する目標座標点算出手段、４２はドリフト判定手段３
８の判定結果により追尾誤差による視軸制御と目標座標
点による視軸制御とを切り換える視軸指令角切換え手段
である。Embodiment 3. FIG. 5 is a block diagram of an image correlation tracking device showing a third embodiment of the present invention. In the figure, 1 to 6, 16, 17, 21, 37 and 38 are the same as those in the second embodiment. 39 is flight altitude information and position information output from the aircraft, 40 is visual axis angle information in the inertial space mounted on the aircraft, 41 is calculated from flight altitude mounted on the aircraft and visual axis angle in the inertial space of the infrared sensor Target coordinate point calculation means for outputting the visual axis directivity angle for directing the visual axis to the designated target point, 42 is the drift determination means 3
The visual axis command angle switching means switches between visual axis control based on a tracking error and visual axis control based on a target coordinate point according to the determination result of No. 8.
【００３４】図６で目標座標点算出手段を説明する。目
標座標点算出手段は、航空機の飛行高度及び位置（緯
度、経度）と、航空機の姿勢角によらない慣性空間での
赤外線センサの視軸角度とから、飛行高度の高度ゼロの
面を仮想水平面した時の水平面と視軸との交点を追尾地
点として算出する。The target coordinate point calculating means will be described with reference to FIG. The target coordinate point calculation means determines the plane of zero altitude at the flight altitude from the plane of the altitude of the aircraft and the position (latitude, longitude) of the aircraft and the visual axis angle of the infrared sensor in the inertial space that does not depend on the attitude angle of the aircraft. The intersection point between the horizontal plane and the visual axis at that time is calculated as the tracking point.
【００３５】図５で視軸指令角切換え手段４２は、ドリ
フト判定手段３８の判定結果がドリフト無しの場合は従
来の実施例と同様に視軸制御情報４３として航空機に追
尾誤差２１を出力し、ドリフト判定手段３８の判定結果
がドリフト有りの場合は、目標座標点算出手段４１で求
めたドリフト判定時点の目標座標点へ視軸を指向するた
めの所要角度を航空機の移動による位置の変化から算出
し出力する。In FIG. 5, the visual axis command angle switching means 42 outputs the tracking error 21 to the aircraft as the visual axis control information 43 when the determination result of the drift determining means 38 indicates no drift, as in the conventional embodiment. When the determination result of the drift determination unit 38 indicates that there is a drift, the required angle for directing the visual axis to the target coordinate point at the time of the drift determination obtained by the target coordinate point calculation unit 41 is calculated from the change in the position due to the movement of the aircraft. And output.
【００３６】以上のようにドリフト発生時は画像に依存
しない航空機の位置、高度及び視軸角度だけからドリフ
ト判定時の目標地点に視軸を指向させるため、ドリフト
を抑制できる。As described above, when the drift occurs, the visual axis is directed to the target point at the time of the drift determination only from the position, altitude and visual axis angle of the aircraft which do not depend on the image, so that the drift can be suppressed.
【００３７】実施の形態４．図７はこの発明の実施の形
態３を示す画像相関追尾装置の構成図であり、図におい
て１〜６、１６、１７、２１、３９〜４３は実施の形態
３と同じである。４４は、目標座標点算出手段４１によ
る相関追尾開始時の座標点と現在の座標点からドリフト
発生を判定するドリフト判定手段である。Fourth Embodiment 7 is a configuration diagram of an image correlation tracking device showing a third embodiment of the present invention, and in the figure, 1 to 6, 16, 17, 21, 39 to 43 are the same as those of the third embodiment. Reference numeral 44 is a drift determination means for determining the occurrence of drift from the coordinate point at the time of starting the correlation tracking by the target coordinate point calculation means 41 and the current coordinate point.
【００３８】ドリフト判定手段４４は、航空機からの追
尾指令等をトリガに目標座標点算出手段４１から出力さ
れる相関追尾開始時の初期座標点を記憶し、目標座標点
算出手段４１から出力される相関追尾により指向された
後の座標点との差を計算し、その差が規定値より大きく
なった場合にドリフト発生と判定する。実施の形態４と
同様にドリフト発生時は、視軸制御を相関追尾から画像
に依存しない航空機の位置、高度及び視軸角度だけから
ドリフト判定時の目標地点に視軸を指向させるため、ド
リフトを抑制できる。The drift determining means 44 stores the initial coordinate point at the start of correlation tracking output from the target coordinate point calculating means 41 triggered by a tracking command from the aircraft, etc., and outputs from the target coordinate point calculating means 41. The difference from the coordinate point after being pointed by the correlation tracking is calculated, and if the difference becomes larger than the specified value, it is determined that drift has occurred. As in the case of the fourth embodiment, when a drift occurs, the visual axis is directed from the correlation tracking to the target point at the time of the drift determination based on only the position, altitude and visual axis angle of the aircraft that does not depend on the image. Can be suppressed.
【００３９】実施の形態５．図８はこの発明の実施の形
態３を示す画像相関追尾装置の構成図であり、図におい
て２〜６、１６、１７、２１は従来の実施例と同じであ
る。４５は赤外線画像センサの出力する入力画像信号を
非線形変換する画像非線形変換処理手段である。Embodiment 5. FIG. 8 is a block diagram of an image correlation tracking device showing a third embodiment of the present invention, in which 2 to 6, 16, 17, and 21 are the same as those of the conventional example. Reference numeral 45 denotes image non-linear conversion processing means for performing non-linear conversion of the input image signal output from the infrared image sensor.
【００４０】図９は画像非線形変換処理手段４５の一例
である。４６は入力画像信号１６に対して規定画素数
（例えば８×８画素等）のフィルタサイズで局所的濃度
変換処理を実施する局所的濃度変換処理手段、４７は局
所的濃度変換された入力画像を階調ヒストグラムが平坦
化するように処理するヒストグラム平坦化処理手段であ
る。FIG. 9 shows an example of the image non-linear conversion processing means 45. Reference numeral 46 is a local density conversion processing means for performing local density conversion processing on the input image signal 16 with a filter size of a prescribed number of pixels (for example, 8 × 8 pixels), and 47 is an input image subjected to local density conversion. It is a histogram flattening processing unit that processes so that the gradation histogram is flattened.
【００４１】図１０は画像非線形変換処理手段４５によ
る１６bit階調の入力画像信号１６を非線形変換処理に
より８bit階調に変換する場合を説明する図である。図
１０（ａ）は、図１０（ｂ）の入力画像を線形変換した
結果の例である。最大輝度及び最小輝度の間が微小な輝
度変化の場合に従来の実施例である線形変換処理ではつ
ぶれていたが、画像非線形変換処理手段４５により階調
を変換することによりつぶれずに階調変化が残るため、
相関値算出上の問題がなくなる。この画像非線形変換処
理手段は、実施の形態１〜４においても線形変換処理手
段にかわって使用できるものである。FIG. 10 is a diagram for explaining a case where the input image signal 16 of 16-bit gradation is converted by the image non-linear conversion processing means 45 into 8-bit gradation by the non-linear conversion processing. FIG. 10A is an example of the result of linear conversion of the input image of FIG. 10B. In the case where there is a slight change in brightness between the maximum brightness and the minimum brightness, the linear conversion processing according to the conventional embodiment has been distorted, but the image non-linear conversion processing means 45 converts the gradation, so that the gradation is not distorted. Remains,
There is no problem in calculating the correlation value. This image non-linear conversion processing means can be used instead of the linear conversion processing means in the first to fourth embodiments.
【００４２】[0042]
【発明の効果】以上のようにこの発明によれば、視軸の
ドリフト発生を判定し、ドリフトを抑制する手段を設け
たので、航空機搭載の赤外線画像センサで得た目標が目
標領域よりも大きく、かつ滑走路や道路のように輝度分
布に変化がないような場合の追尾においても、目標追尾
位置を安定にできるという効果がある。As described above, according to the present invention, since the means for judging the occurrence of the visual axis drift and suppressing the drift is provided, the target obtained by the infrared image sensor mounted on the aircraft is larger than the target area. In addition, there is an effect that the target tracking position can be stabilized even in tracking when there is no change in the luminance distribution such as on a runway or a road.
【００４３】また、入力画像信号の変換を非線形処理す
る手段を設けたので、赤外線画像センサで得た画像の最
大輝度及び最小輝度の間の輝度変化がに微小な場合でも
つぶれないため、相関値算出に寄与でき、目標追尾位置
を安定にできるという効果がある。Further, since the means for performing the non-linear processing of the conversion of the input image signal is provided, even if the change in the brightness between the maximum brightness and the minimum brightness of the image obtained by the infrared image sensor does not collapse, the correlation value This has the effect of contributing to the calculation and stabilizing the target tracking position.
【図１】 この発明による画像相関追尾装置の第１の実
施の形態を示す構成図である。FIG. 1 is a configuration diagram showing a first embodiment of an image correlation tracking device according to the present invention.
【図２】 この発明の実施の形態１を示す画像相関追尾
装置の様子を示す図である。FIG. 2 is a diagram showing a state of the image correlation tracking device according to the first embodiment of the present invention.
【図３】 この発明による画像相関追尾装置の第２の実
施の形態を示す構成図である。FIG. 3 is a configuration diagram showing a second embodiment of an image correlation tracking device according to the present invention.
【図４】 この発明による画像相関追尾装置の第２の実
施の形態の相関値マップ二値化手段を説明する図であ
る。FIG. 4 is a diagram illustrating a correlation value map binarizing means of a second embodiment of the image correlation tracking device according to the present invention.
【図５】 この発明による画像相関追尾装置の第３の実
施の形態を示す構成図である。FIG. 5 is a configuration diagram showing a third embodiment of an image correlation tracking device according to the present invention.
【図６】 この発明による画像相関追尾装置の第３の実
施の形態の目標座標点算出手段を説明する図である。FIG. 6 is a diagram illustrating target coordinate point calculating means of a third embodiment of an image correlation tracking device according to the present invention.
【図７】 この発明による画像相関追尾装置の第４の実
施の形態を示す構成図である。FIG. 7 is a configuration diagram showing a fourth embodiment of an image correlation tracking device according to the present invention.
【図８】 この発明による画像相関追尾装置の第５の実
施の形態を示す構成図である。FIG. 8 is a configuration diagram showing a fifth embodiment of an image correlation tracking device according to the present invention.
【図９】 この発明による画像相関追尾装置の第５の実
施の形態の画像非線形変換処理手段の構成図である。FIG. 9 is a configuration diagram of image non-linear conversion processing means of a fifth embodiment of the image correlation tracking device according to the present invention.
【図１０】 この発明による画像相関追尾装置の第５の
実施の形態の画像非線形変換処理手段による入力画像信
号を非線形変換処理を説明する図であるFIG. 10 is a diagram for explaining a non-linear conversion process of an input image signal by an image non-linear conversion processing means of the fifth embodiment of the image correlation tracking device according to the present invention.
【図１１】 航空機に搭載される従来の画像相関追尾装
置の様子を示す図である。FIG. 11 is a diagram showing a state of a conventional image correlation tracking device mounted on an aircraft.
【図１２】 従来の画像相関追尾装置の構成図であるFIG. 12 is a configuration diagram of a conventional image correlation tracking device.
【図１３】 赤外線画像センサより得た画像と相関値極
大点位置の関係を示す図である。FIG. 13 is a diagram showing a relationship between an image obtained from an infrared image sensor and a correlation value maximum point position.
【図１４】 追尾誤差検出手段の説明図である。FIG. 14 is an explanatory diagram of tracking error detection means.
【図１５】 画像線形変換処理手段の説明図である。FIG. 15 is an explanatory diagram of image linear conversion processing means.
【図１６】 従来の画像相関追尾装置で追尾が不安定に
なる現象を説明する図である。FIG. 16 is a diagram illustrating a phenomenon in which tracking is unstable in a conventional image correlation tracking device.
【図１７】 従来の画像相関追尾装置で画像線形変換処
理手段で画像のつぶれが発生する現象を説明する図であ
る。FIG. 17 is a diagram for explaining a phenomenon in which image crushing occurs in the image linear conversion processing means in the conventional image correlation tracking device.
１ 第１の画像線形変換処理手段、 ２ 第１の目標領
域テンプレート画像記憶手段、 ３ 第１の目標領域相
関値算出手段、 ４ 第１の相関値極大点位置算出手
段、 ５ 第１の相関値極大点位置判定手段、 ６ 追
尾誤差算出手段
７ 広視野目標領域設定手段、 ８ 第２の画像線形変
換処理手段、 ９ 第２の目標領域テンプレート画像記
憶手段、 １０ 第２の目標領域相関値算出手段、 １
１ 第２の相関値極大点位置算出手段、 １２ 第２の
相関値極大点位置判定手段、 １３ 視野間追尾誤差算
出手段、 １４ ドリフト判定手段、１５ 追尾誤差補
正手段、 １６ 狭視野の入力画像信号、 １７ 指定
された目標領域、 １８ 広視野の入力画像信号、 １
９ 広視野画像上の目標領域、２０ 狭視野の赤外線画
像センサの補正後の追尾誤差、 ２１ 狭視野の赤外線
画像センサの補正前の追尾誤差、 ２２ 広視野画像上
の狭視野視軸位置、２３ 赤外線画像センサ及び画像相
関追尾装置を搭載する航空機、 ２４ 狭視野の赤外線
画像センサ、 ２５ 広視野の赤外線画像センサ、 ２
６ 狭視野の撮像領域、 ２７ 広視野の撮像領域、
２８ 狭視野画像、 ２９ 狭視野画像の中の目標領
域、 ３０ 広視野画像、 ３１ 広視野画像の中の目
標領域、３２ 画像線形変換処理手段が出力する入力画
像信号、 ３３ 目標領域テンプレート画像信号、 ３
４ 目標領域相関値、 ３５ 相関値極大点位置、 ３
６ 目標位置、 ３７ 相関値マップ二値化手段、 ３
８ ドリフト判定手段、３９ 飛行高度情報及び位置情
報、 ４０ 慣性空間における視軸角度情報、４１ 目
標座標点算出手段、 ４２ 視軸指令角切換え手段、
４３ 視軸制御情報
４４ ドリフト判定手段、 ４５ 画像非線形変換処理
手段、 ４６ 局所的濃度変換処理手段、 ４７ ヒス
トグラム平坦化処理手段、 ４８ 赤外線画像センサの
画像、 ４９ 赤外線画像内の目標領域、 ５０ 目標
位置がずれた赤外線画像、 ５１ 画像中心に目標を捕
捉した時の赤外線画像、 ５２ 画像中心に目標捕捉後
の目標領域、 ５３ 赤外線画像センサの視軸方向、
５４ 滑走路の赤外線画像1 1st image linear conversion processing means, 2 1st target area template image storage means, 3 1st target area correlation value calculation means, 4 1st correlation value maximum point position calculation means, 5 1st correlation value Maximum point position determination means, 6 Tracking error calculation means 7, Wide field of view target area setting means, 8 Second image linear conversion processing means, 9 Second target area template image storage means, 10 Second target area correlation value calculation means , 1
DESCRIPTION OF SYMBOLS 1 2nd correlation value maximum point position calculation means, 12 2nd correlation value maximum point position determination means, 13 Inter-field tracking error calculation means, 14 Drift determination means, 15 Tracking error correction means, 16 Narrow-field input image signal , 17 designated target area, 18 wide-field input image signal, 1
9 target area on wide-field image, 20 tracking error after correction of narrow-field infrared image sensor, 21 tracking error before correction of narrow-field infrared image sensor, 22 narrow-field visual axis position on wide-field image, 23 An aircraft equipped with an infrared image sensor and an image correlation tracking device, 24 a narrow-field infrared image sensor, 25 a wide-field infrared image sensor, 2
6 narrow-field imaging area, 27 wide-field imaging area,
28 narrow-field image, 29 target area in narrow-field image, 30 wide-field image, 31 target area in wide-field image, 32 input image signal output from image linear conversion processing means, 33 target-area template image signal, Three
4 target area correlation value, 35 correlation value maximum point position, 3
6 target position, 37 correlation value map binarization means, 3
8 drift determination means, 39 flight altitude information and position information, 40 visual axis angle information in inertial space, 41 target coordinate point calculation means, 42 visual axis command angle switching means,
43 visual axis control information 44 drift determination means, 45 image non-linear conversion processing means, 46 local density conversion processing means, 47 histogram flattening processing means, 48 infrared image sensor image, 49 target area in infrared image, 50 target position Misaligned infrared image, 51 infrared image when a target is captured in the center of the image, 52 target region after target capture in the center of the image, 53 visual axis direction of infrared image sensor,
54 Thermal image of the runway
Claims (5)
時に撮像する赤外線画像センサを搭載した航空機に搭載
される画像相関追尾装置において、赤外線画像センサの
出力する狭視野の入力画像信号を線形変換する第１の画
像線形変換処理手段と、赤外線画像センサの出力する広
視野の入力画像信号を線形変換する第２の画像線形変換
処理手段と、狭視野の目標領域の中心方向が等しい広視
野画像上の目標領域を設定する広視野目標領域設定手段
と、狭視野画像の目標領域テンプレート画像を記憶する
第１の目標領域テンプレート画像記憶手段と、広視野画
像の目標領域テンプレート画像を記憶する第２の目標領
域テンプレート画像記憶手段と、赤外線画像センサの出
力する狭視野画像と第１の目標領域テンプレート画像記
憶手段の出力する目標領域テンプレート画像の相関値を
算出する第１の目標領域相関値算出手段と、赤外線画像
センサの出力する広視野画像と第２の目標領域テンプレ
ート画像記憶手段の出力する目標領域テンプレート画像
の相関値を算出する第２の目標領域相関値算出手段と、
第１の目標領域相関値算出手段の出力する相関値の極大
点の位置を目標位置として算出する第１の相関値極大点
位置算出手段と、第２の目標領域相関値算出手段の出力
する相関値の極大点の位置を目標位置として算出する第
２の相関値極大点位置算出手段と、第１の相関値極大点
位置算出手段の出力する目標位置と赤外線画像センサの
出力する狭視野画像の中心位置との誤差を算出する追尾
誤差算出手段と、第２の相関値極大点位置算出手段の出
力する目標位置と追尾誤差算出手段の追尾誤差から広視
野画像上の狭視野視軸位置との追尾誤差を算出する視野
間追尾誤差算出手段と、視野間追尾誤差算出手段の出力
する追尾誤差から狭視野の赤外線画像センサの視軸のド
リフト発生を判定するドリフト判定手段と、ドリフト判
定手段の判定結果と視野間追尾誤差算出手段の出力する
追尾誤差から追尾誤差算出手段の出力する狭視野の追尾
誤差を補正する追尾誤差補正手段を有することを特徴と
する画像相関追尾装置。1. In an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for simultaneously capturing two infrared images of a narrow field of view and a wide field of view, an input image signal of the narrow field of view output from the infrared image sensor is linear. A first image linear conversion processing unit for converting, a second image linear conversion processing unit for linearly converting a wide-field input image signal output from the infrared image sensor, and a wide field of view in which the center directions of the narrow-field target regions are the same. Wide-field target area setting means for setting a target area on an image, first target area template image storage means for storing a target area template image of a narrow-field image, and first target area template image for a wide-field image Second target area template image storage means, narrow-field image output by the infrared image sensor, and eyes output by the first target area template image storage means First target area correlation value calculating means for calculating the correlation value of the target area template image, correlation value between the wide field image output by the infrared image sensor and the target area template image output by the second target area template image storage means Second target area correlation value calculating means for calculating
A first correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the first target area correlation value calculating means and a correlation output by the second target area correlation value calculating means. The second correlation value maximum point position calculating means for calculating the position of the maximum value point of the value as the target position; the target position output by the first correlation value maximum point position calculating means; and the narrow-field image output by the infrared image sensor. A tracking error calculating means for calculating an error from the center position, a target position output from the second correlation value maximum point position calculating means, and a narrow-field visual axis position on the wide-field image based on the tracking error of the tracking error calculating means. Inter-field tracking error calculating means for calculating tracking error, drift determining means for determining occurrence of visual axis drift of narrow-field infrared image sensor from tracking error output by inter-field tracking error calculating means, and determination by drift determining means result Image correlation tracking device characterized in that it comprises a tracking error correction means for correcting the tracking error of the narrow-field output of the tracking error calculating means from the tracking error of the output of the field between the tracking error calculation means.
時に撮像する赤外線画像センサを搭載した航空機に搭載
される画像相関追尾装置において、赤外線画像センサの
出力する狭視野の入力画像信号を線形変換する第１の画
像線形変換処理手段と、赤外線画像センサの出力する広
視野の入力画像信号を線形変換する第２の画像線形変換
処理手段と、狭視野の目標領域の中心方向が等しい広視
野画像上の目標領域を設定する広視野目標領域設定手段
と、狭視野画像の目標領域テンプレート画像を記憶する
第１の目標領域テンプレート画像記憶手段と、広視野画
像の目標領域テンプレート画像を記憶する第２の目標領
域テンプレート画像記憶手段と、赤外線画像センサの出
力する狭視野画像と第１の目標領域テンプレート画像記
憶手段の出力する目標領域テンプレート画像の相関値を
算出する第１の目標領域相関値算出手段と、赤外線画像
センサの出力する広視野画像と第２の目標領域テンプレ
ート画像記憶手段の出力する目標領域テンプレート画像
の相関値を算出する第２の目標領域相関値算出手段と、
第１の目標領域相関値算出手段の出力する相関値の極大
点の位置を目標位置として算出する第１の相関値極大点
位置算出手段と、第２の目標領域相関値算出手段の出力
する相関値の極大点の位置を目標位置として算出する第
２の相関値極大点位置算出手段と、第１の相関値極大点
位置算出手段の出力する目標位置と赤外線画像センサの
出力する狭視野画像の中心位置との誤差を算出する追尾
誤差算出手段と、第２の相関値極大点位置算出手段の出
力する目標位置と追尾誤差算出手段の追尾誤差から広視
野画像上の狭視野視軸位置との追尾誤差を算出する視野
間追尾誤差算出手段と、第１の目標領域相関値算出手段
の相関値マップを二値化処理する相関値マップ二値化手
段と、相関値マップ二値化手段の二値化された相関値か
ら狭視野の赤外線画像センサの視軸のドリフト発生を判
定するドリフト判定手段と、ドリフト判定手段の判定結
果と視野間追尾誤差算出手段の出力する追尾誤差から追
尾誤差算出手段の出力する狭視野の追尾誤差を補正する
追尾誤差補正手段を有することを特徴とする画像相関追
尾装置。2. In an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor that simultaneously captures two infrared images of a narrow field of view and a wide field of view, a narrow field of view input image signal output from the infrared image sensor is linear. A first image linear conversion processing unit for converting, a second image linear conversion processing unit for linearly converting a wide-field input image signal output from the infrared image sensor, and a wide field of view in which the center directions of the narrow-field target regions are the same. Wide-field target area setting means for setting a target area on an image, first target area template image storage means for storing a target area template image of a narrow-field image, and first target area template image for a wide-field image Second target area template image storage means, narrow-field image output by the infrared image sensor, and eyes output by the first target area template image storage means First target area correlation value calculating means for calculating the correlation value of the target area template image, correlation value between the wide field image output by the infrared image sensor and the target area template image output by the second target area template image storage means Second target area correlation value calculating means for calculating
A first correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the first target area correlation value calculating means and a correlation output by the second target area correlation value calculating means. The second correlation value maximum point position calculating means for calculating the position of the maximum value point of the value as the target position; the target position output by the first correlation value maximum point position calculating means; and the narrow-field image output by the infrared image sensor. A tracking error calculating means for calculating an error from the center position, a target position output from the second correlation value maximum point position calculating means, and a narrow-field visual axis position on the wide-field image based on the tracking error of the tracking error calculating means. Two of the inter-field tracking error calculating means for calculating the tracking error, the correlation value map binarizing means for binarizing the correlation value map of the first target area correlation value calculating means, and the correlation value map binarizing means. Infrared with narrow field of view from digitized correlation values Drift determination means for determining the occurrence of drift of the visual axis of the image sensor, and a narrow-field tracking error output by the tracking error calculation means from the determination result of the drift determination means and the tracking error output by the inter-field tracking error calculation means. An image correlation tracking device having tracking error correction means.
を搭載した航空機に搭載される画像相関追尾装置におい
て、赤外線画像センサの出力する入力画像信号を線形変
換する画像線形変換処理手段と、画像の目標領域テンプ
レート画像を記憶する目標領域テンプレート画像記憶手
段と、赤外線画像センサの出力する画像と目標領域テン
プレート画像記憶手段の出力する目標領域テンプレート
画像の相関値を算出する目標領域相関値算出手段と、目
標領域相関値算出手段の出力する相関値の極大点の位置
を目標位置として算出する相関値極大点位置算出手段
と、相関値極大点位置算出手段の出力する目標位置と赤
外線画像センサの出力する画像の中心位置との誤差を算
出する追尾誤差算出手段と、目標領域相関値算出手段の
相関値マップを二値化処理する相関値マップ二値化手段
と、相関値マップ二値化手段の二値化された相関値から
赤外線画像センサの視軸のドリフト発生を判定するドリ
フト判定手段と、航空機の飛行高度及び位置と赤外線セ
ンサの慣性空間における視軸角度から目標地点を算出す
る目標座標点算出手段と、ドリフト判定手段の判定結果
により追尾誤差による視軸制御と目標座標点による視軸
制御とを切り換える視軸指令角切換え手段を有すること
を特徴とする画像相関追尾装置。3. In an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for capturing an infrared image, image linear conversion processing means for linearly converting an input image signal output from the infrared image sensor, and an image target. Target area template image storage means for storing the area template image, target area correlation value calculation means for calculating the correlation value between the image output by the infrared image sensor and the target area template image output by the target area template image storage means, and the target Correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the area correlation value calculating means, and the target position output by the correlation value maximum point position calculating means and the image output by the infrared image sensor Binarize the correlation value map of the tracking error calculation means that calculates the error with the center position of the Correlation value map binarizing means for processing, drift determining means for determining occurrence of drift of the visual axis of the infrared image sensor from the binarized correlation values of the correlation value map binarizing means, and flight altitude and position of the aircraft. And a target coordinate point calculating means for calculating a target point from a visual axis angle in the inertial space of the infrared sensor, and a visual axis command for switching between visual axis control by a tracking error and visual axis control by a target coordinate point according to the determination result of the drift determining means. An image correlation tracking device having a corner switching means.
を搭載した航空機に搭載される画像相関追尾装置におい
て、赤外線画像センサの出力する入力画像信号を線形変
換する画像線形変換処理手段と、画像の目標領域テンプ
レート画像を記憶する目標領域テンプレート画像記憶手
段と、赤外線画像センサの出力する画像と目標領域テン
プレート画像記憶手段の出力する目標領域テンプレート
画像の相関値を算出する目標領域相関値算出手段と、目
標領域相関値算出手段の出力する相関値の極大点の位置
を目標位置として算出する相関値極大点位置算出手段
と、相関値極大点位置算出手段の出力する目標位置と赤
外線画像センサの出力する画像の中心位置との誤差を算
出する追尾誤差算出手段と、航空機の飛行高度及び位置
と赤外線センサの慣性空間における視軸角度から目標地
点を算出する目標座標点算出手段と、目標座標点算出手
段による相関追尾開始時の座標点と現在の座標点からド
リフト発生を判定するドリフト判定手段と、ドリフト判
定手段の判定結果により追尾誤差による視軸制御と目標
座標点による視軸制御とを切り換える視軸指令角切換え
手段を有することを特徴とする画像相関追尾装置。4. In an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for picking up an infrared image, image linear conversion processing means for linearly converting an input image signal output from the infrared image sensor, and an image target. Target area template image storage means for storing the area template image, target area correlation value calculation means for calculating the correlation value between the image output by the infrared image sensor and the target area template image output by the target area template image storage means, and the target Correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the area correlation value calculating means, and the target position output by the correlation value maximum point position calculating means and the image output by the infrared image sensor Error calculating means for calculating the error from the center position of the aircraft, the flight altitude and position of the aircraft, and the inertia of the infrared sensor Target coordinate point calculating means for calculating the target point from the visual axis angle in space, drift determining means for determining the occurrence of drift from the coordinate point at the time of starting correlation tracking by the target coordinate point calculating means, and the drift determining means An image correlation tracking device having a visual axis command angle switching means for switching between visual axis control based on a tracking error and visual axis control based on a target coordinate point according to the determination result.
を搭載した航空機に搭載される画像相関追尾装置におい
て、赤外線画像センサの出力する入力画像信号を非線形
変換する画像非線形変換処理手段と、画像の目標領域テ
ンプレート画像を記憶する目標領域テンプレート画像記
憶手段と、赤外線画像センサの出力する画像と目標領域
テンプレート画像記憶手段の出力する目標領域テンプレ
ート画像の相関値を算出する目標領域相関値算出手段
と、目標領域相関値算出手段の出力する相関値の極大点
の位置を目標位置として算出する相関値極大点位置算出
手段と、相関値極大点位置算出手段の出力する目標位置
と赤外線画像センサの出力する画像の中心位置との誤差
を算出する追尾誤差算出手段を有することを特徴とする
画像相関追尾装置。5. An image non-linear conversion processing means for performing non-linear conversion of an input image signal output from the infrared image sensor in an image correlation tracking device mounted on an aircraft equipped with an infrared image sensor for capturing an infrared image, and an image target. Target area template image storage means for storing the area template image, target area correlation value calculation means for calculating the correlation value between the image output by the infrared image sensor and the target area template image output by the target area template image storage means, and the target Correlation value maximum point position calculating means for calculating the position of the maximum point of the correlation value output by the area correlation value calculating means, and the target position output by the correlation value maximum point position calculating means and the image output by the infrared image sensor An image correlation tracking device having a tracking error calculation means for calculating an error from the center position of the image correlation tracking device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334045A JP2003139834A (en) | 2001-10-31 | 2001-10-31 | Image correlation tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334045A JP2003139834A (en) | 2001-10-31 | 2001-10-31 | Image correlation tracking device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003139834A true JP2003139834A (en) | 2003-05-14 |
Family
ID=19149235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334045A Pending JP2003139834A (en) | 2001-10-31 | 2001-10-31 | Image correlation tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003139834A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117572885A (en) * | 2023-11-20 | 2024-02-20 | 鸣飞伟业技术有限公司 | Night tracking method, system and related device based on thermal infrared camera of unmanned aerial vehicle |
-
2001
- 2001-10-31 JP JP2001334045A patent/JP2003139834A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117572885A (en) * | 2023-11-20 | 2024-02-20 | 鸣飞伟业技术有限公司 | Night tracking method, system and related device based on thermal infrared camera of unmanned aerial vehicle |
| CN117572885B (en) * | 2023-11-20 | 2024-05-31 | 鸣飞伟业技术有限公司 | Night tracking method, system and related device based on thermal infrared camera of unmanned aerial vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018225446A1 (en) | Map points-of-change detection device | |
| EP1950532B1 (en) | Vehicle display system and method with enhanced vision system and synthetic vision system image display | |
| US20170180640A1 (en) | System and method for correlating camera views | |
| US8036823B2 (en) | Navigation system | |
| EP1182465B1 (en) | Moving object tracking apparatus | |
| JP4832321B2 (en) | Camera posture estimation apparatus, vehicle, and camera posture estimation method | |
| KR102151815B1 (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence | |
| US20040105579A1 (en) | Drive supporting device | |
| WO2012063593A1 (en) | Object display device and object display method | |
| JP2016189184A (en) | Real time multi dimensional image fusing | |
| US20180137629A1 (en) | Processing apparatus, imaging apparatus and automatic control system | |
| JP7072641B2 (en) | Road surface detection device, image display device using road surface detection device, obstacle detection device using road surface detection device, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
| JP2010109452A (en) | Vehicle surrounding monitoring device and vehicle surrounding monitoring method | |
| JPH04313199A (en) | Distance between cars detector | |
| JP5178454B2 (en) | Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method | |
| JP2001076156A (en) | Device for monitoring image | |
| JP5183152B2 (en) | Image processing device | |
| JP5086824B2 (en) | TRACKING DEVICE AND TRACKING METHOD | |
| US11740315B2 (en) | Mobile body detection device, mobile body detection method, and mobile body detection program | |
| JP6634502B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2008210084A (en) | Road marking recognition device | |
| US20180186287A1 (en) | Image processing device and image processing method | |
| JP2002148064A (en) | Device and method for correcting present location | |
| JP2003139834A (en) | Image correlation tracking device | |
| JPH1141521A (en) | Image pickup device, instrument and method for measuring distance between vehicles |