JP4772341B2 - Target identification device - Google Patents
Target identification device Download PDFInfo
- Publication number
- JP4772341B2 JP4772341B2 JP2005051538A JP2005051538A JP4772341B2 JP 4772341 B2 JP4772341 B2 JP 4772341B2 JP 2005051538 A JP2005051538 A JP 2005051538A JP 2005051538 A JP2005051538 A JP 2005051538A JP 4772341 B2 JP4772341 B2 JP 4772341B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- image sequence
- target
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、レーダで観測した時系列画像データから、目標の種類を決定する類識別問題を対象とし、さらに詳しくは、目標の種類を解として求める目標識別装置に関するものである。 The present invention relates to a class identification problem for determining a target type from time-series image data observed by a radar, and more particularly to a target identification apparatus that obtains a target type as a solution.
類識別問題の例として、船舶または航空機等の目標の類識別問題について考える。従来より、レーダで観測した時系列画像データから目標の類識別を行う装置がよく知られている(例えば、特許文献1参照)。この特許文献1に開示された従来装置は、辞書画像生成器、目標パラメータ推定器、正規化/重畳処理器、辞書画像選択器、種類判別器、辞書画像ファイル、目標別諸元ファイル、追尾データファイル、レーダ観測諸元ファイル、観測時系列画像列ファイル、種類判別結果ファイルを備えている。 As an example of a class identification problem, consider a class identification problem of a target such as a ship or an aircraft. 2. Description of the Related Art Conventionally, a device for classifying a target from time series image data observed by a radar is well known (see, for example, Patent Document 1). The conventional apparatus disclosed in Patent Document 1 includes a dictionary image generator, a target parameter estimator, a normalization / superimposition processor, a dictionary image selector, a type discriminator, a dictionary image file, a target specification file, and tracking data. File, radar observation specification file, observation time series image sequence file, and type discrimination result file.
次に、特許文献1に開示された従来装置の動作について説明する。まず、辞書画像生成器において、目標別諸元ファイルからの目標の3次元形状データを含む目標別諸元情報を入力として、それぞれの候補目標の様々な姿勢での辞書画像を生成し、辞書画像ファイルに出力する。 Next, the operation of the conventional apparatus disclosed in Patent Document 1 will be described. First, in the dictionary image generator, the target-specific specification information including the target three-dimensional shape data from the target-specific specification file is input to generate dictionary images in various postures of the respective candidate targets. Output to a file.
次に、目標パラメータ推定器おいて、追尾データファイルからの目標の追尾情報を第一の入力とし、レーダ観測諸元ファイルからのレーダ観測諸元情報を第二の入力として、これらの情報に基づき各候補目標の進行方向/姿勢/回転運動等のパラメータである目標パラメータ値を推定もしくは決定し出力する。 Next, in the target parameter estimator, the tracking information of the target from the tracking data file is used as the first input, and the radar observation specification information from the radar observation specification file is used as the second input. A target parameter value which is a parameter such as a traveling direction / posture / rotational motion of each candidate target is estimated or determined and output.
さらに、辞書画像選択器において、辞書画像ファイルからの複数の辞書画像データを第一の入力とし、目標パラメータ推定器から出力される目標パラメータ値を第二の入力として、これらの情報に基づき種類判別の際に用いる画像を選択し、辞書画像データとして出力する。 Further, in the dictionary image selector, a plurality of dictionary image data from the dictionary image file are set as the first input, and the target parameter value output from the target parameter estimator is set as the second input, and the type is determined based on these information. An image to be used at the time of selection is selected and output as dictionary image data.
また、正規化/重畳処理器において、観測時系列画像ファイルからの観測時系列画像列データを入力として、観測時系列画像列データに対し、正規化処理による軸合わせ後、重畳処理により単一の観測画像データを生成し、出力する。 Further, in the normalization / superimposition processor, the observation time-series image sequence data from the observation time-series image file is input, and the observation time-series image sequence data is aligned with the normalization process, and then a single process is performed by the superimposition process. Generate and output observation image data.
次に、種類判別器では、辞書画像選択器から出力される辞書画像データを第一の入力とし、正規化/重畳処理器から出力される観測画像データを第二の入力として、辞書画像データと観測画像データから、輪郭などの特徴量を抽出、もしくは画像の画素強度情報を用いて、それらのマッチングを行い、最も一致する辞書画像を選択して、辞書画像の候補目標を目標種類として出力する。この出力は、従来装置全体の出力となり、種類判別結果ファイルに入力される。 Next, in the type discriminator, the dictionary image data output from the dictionary image selector is used as a first input, and the observed image data output from the normalization / superimposition processor is used as a second input. Extract feature values such as contours from the observed image data, or match them using pixel intensity information of the image, select the most matched dictionary image, and output the dictionary image candidate target as the target type . This output becomes the output of the entire conventional apparatus and is input to the type discrimination result file.
上述した特許文献1に開示された従来装置は、時系列画像列に対する正規化/重畳処理により生成された一画像を対象に種類判別を行う装置であったが、それ以外にも、目標の移動ベクトル等の、時系列画像間にまたがる特徴量を用いて種類判別を行う従来装置も提案されている(例えば、特許文献2参照)。この特許文献2に開示された従来装置は、画像抽出器、移動ベクトル抽出器、種類判別器、特徴量辞書ファイル、観測時系列画像列ファイル、種類判別結果ファイルを備えている。
The conventional device disclosed in Patent Document 1 described above is a device that performs type determination for one image generated by normalization / superimposition processing on a time-series image sequence. There has also been proposed a conventional apparatus that performs type discrimination using a feature amount that spans between time-series images, such as a vector (see, for example, Patent Document 2). The conventional apparatus disclosed in
次に、特許文献2の従来装置の動作について説明する。まず、画像別特徴量抽出器において、観測時系列画像列ファイルからの観測時系列画像列データを入力とし、観測時系列画像列データの個々の画像に対し、明度等の特徴量を抽出し、画像別特徴量として出力する。
Next, the operation of the conventional device of
次に、移動ベクトル抽出器において、観測時系列画像列ファイルからの観測時系列画像列データを入力とし、オプティカルフロー等の目標(移動体領域)の移動ベクトルを抽出し、出力する。 Next, in the movement vector extractor, the observation time-series image sequence data from the observation time-series image sequence file is input, and a movement vector of a target (moving body region) such as an optical flow is extracted and output.
次に、種類判別器において、特徴量辞書ファイルからの特徴量辞書データを第一の入力とし、画像別特徴量抽出器から出力される画像別特徴量を第二の入力とし、移動ベクトル抽出器から出力される移動ベクトルを第三の入力とし、画像別特徴量抽出器から出力された明度等の画像別特徴量と、移動ベクトル抽出器から出力された移動ベクトルと合わせて、種類判別に用いる特徴量とする。 Next, in the type discriminator, the feature quantity dictionary data from the feature quantity dictionary file is used as a first input, and the image feature quantity output from the image feature quantity extractor is used as a second input. 3 is used as a third input, and is used for type discrimination in combination with the image-specific feature quantity output from the image-specific feature quantity extractor and the movement vector output from the movement vector extractor. The feature value.
さらに、種類判別器において、これらの特徴量に対する主成分分析等の解析で得られた二次的な特徴量に対し、特徴量辞書データに登録されている目標種類ごとの範囲との照らし合わせにより種類判別を行い、結果を種類判別結果として出力する。この出力は、従来装置全体の出力となり、種類判別結果ファイルに入力される。 Furthermore, in the type discriminator, the secondary feature values obtained by analysis such as principal component analysis for these feature values are compared with the range for each target type registered in the feature value dictionary data. Type discrimination is performed, and the result is output as a type discrimination result. This output becomes the output of the entire conventional apparatus and is input to the type discrimination result file.
しかしながら、従来技術には次のような課題がある。特許文献1に開示された従来装置では、複数の時系列画像を正規化及び重畳して、種類判別対象となる一画像を生成するため、観測する角度への依存が少ない特徴的部位が強調される反面、角度ごとにあらわれる特徴的部位が類識別の特徴量として有効に用いられず、形状が類似している目標間での類識別が困難という課題があった。 However, the prior art has the following problems. In the conventional device disclosed in Patent Document 1, a plurality of time-series images are normalized and superimposed to generate one image that is a type discrimination target, so that characteristic parts that are less dependent on the observation angle are emphasized. On the other hand, there is a problem that the characteristic part appearing for each angle is not effectively used as the characteristic amount for class identification, and class identification between targets having similar shapes is difficult.
一方、特許文献2に開示された従来装置では、時系列に得られた画像列に対し、独立した画像として明度等の特徴量の抽出を行っており、これらの特徴量では画像の順序列を考慮していないため、形状変化情報を有効に活用することができない。また、もう一つの特徴量である移動ベクトルは、目標の動きの把握という観点では有効であるが、目標の微小な部位の形状的変化等は把握できない。したがって、形状や運動の似た目標間でのわずかな差異による種類判別が困難という課題があった。
On the other hand, in the conventional device disclosed in
本発明はかかる課題を解決するためになされたものであり、レーダで得られる画像データを対象に、形状や運動が似ている目標間での類識別を実現する目標識別装置を得ることを目的とする。 The present invention has been made to solve such a problem, and an object of the present invention is to obtain a target identification device that realizes class identification between targets having similar shapes and motions for image data obtained by a radar. And
本発明に係る目標識別装置は、レーダで観測済みの候補目標の追尾データおよびシミュレーションで生成済みの追尾データを含み、目標の位置/速度情報である追尾データと、レーダ観測諸元データとに基づいて、目標の運動あるいは姿勢に関する目標パラメータ推定値を推定する目標パラメータ推定器と、候補目標の3次元形状データである目標別諸元データと、レーダ観測諸元データと、目標パラメータ推定器からの目標パラメータ推定値とに基づいて、候補目標ごとの辞書時系列画像列データを生成する辞書時系列画像列生成器と、種類不明の目標をレーダで観測して得られた観測時系列画像列データと、辞書時系列画像列生成器からの辞書時系列画像列データとに基づいて、観測時系列画像列データに含まれる種類不明の目標の種類判別を行う種類判別器とを備えたものである。
A target identification device according to the present invention includes tracking data of candidate targets that have been observed by a radar and tracking data that has been generated by simulation, and is based on tracking data that is target position / velocity information and radar observation data. A target parameter estimator for estimating a target parameter estimation value relating to the motion or posture of the target, specification data for each target, which is three-dimensional shape data of the candidate target, radar observation specification data, and a target parameter estimator A dictionary time-series image sequence generator that generates dictionary time-series image sequence data for each candidate target based on the target parameter estimate, and observation time-series image sequence data obtained by observing an unknown target with a radar And the type of target of unknown type included in the observed time-series image sequence data based on the dictionary time-series image sequence data from the dictionary time-series image sequence generator Is obtained by a type discriminator do another.
本発明によれば、レーダで得られる画像データを対象に、目標の微小な形状変化情報を利用して、観測時系列画像列データと辞書時系列画像列データとに基づく類似度比較、または辞書時系列画像列データに基づく種類学習を行い、観測時系列画像列データに含まれる種類不明の目標種別を決定することにより、形状や運動が似ている目標間での類識別を実現する目標識別装置を得ることができる。 According to the present invention, similarity comparison based on observation time-series image sequence data and dictionary time-series image sequence data is performed on image data obtained by a radar, using target minute shape change information, or a dictionary Target identification that realizes class identification between targets with similar shapes and motions by performing type learning based on time-series image sequence data and determining target types of unknown type included in observation time-series image sequence data A device can be obtained.
以下、本発明の目標識別装置の好適な実施の形態につき図面を用いて説明する。
本発明の目標識別装置は、レーダで得られる画像データに含まれている種類不明の目標の種類判別を、観測時系列画像列データと辞書時系列画像列データとに基づく類似度比較、または辞書時系列画像列データに基づく種類学習により特定することを特徴とするものである。
Hereinafter, preferred embodiments of a target identification device of the present invention will be described with reference to the drawings.
The target identification device according to the present invention uses a similarity comparison based on observation time-series image sequence data and dictionary time-series image sequence data to determine the type of an unknown target included in image data obtained by a radar, or a dictionary. It is characterized by specifying by type learning based on time-series image sequence data.
実施の形態1.
図1は、本発明の実施の形態1による目標識別装置の構成図である。図1に示す実施の形態1における目標識別装置10は、目標パラメータ推定器1、辞書時系列画像列生成器2、種類判別器3で構成される。
Embodiment 1 FIG.
FIG. 1 is a configuration diagram of a target identification device according to Embodiment 1 of the present invention. A
また、目標識別装置10との間で入出力を行うデータベースとして、候補目標の形状データである目標別諸元データが蓄積された目標別諸元ファイル11、目標の位置/速度情報である追尾データが蓄積された追尾ファイル12、レーダの観測諸元情報が蓄積されたレーダ観測諸元ファイル13、辞書時系列画像列生成器2で生成された辞書時系列画像列データが記憶される辞書時系列画像列ファイル14、種類判別の対象となる目標をレーダで観測して得られた時系列の画像データである観測時系列画像列データが蓄積された観測時系列画像列ファイル15、および種類判別器3により決定された種類判別結果が記憶される種類判別結果ファイル16を備えている。
In addition, as a database for input / output with the
次に、実施の形態1に係る目標識別装置10の動作について説明する。まず、目標パラメータ推定器1は、目標識別装置10全体の入力として、追尾ファイル12からの追尾情報、およびレーダ観測諸元ファイル13からのレーダ観測諸元情報を読み込む。ここで、レーダ観測諸元情報は、例えば、画像列長、観測時間等を含むものである。さらに、目標パラメータ推定器1は、辞書時系列画像列データ生成及び種類判別に必要な、目標に関するパラメータ推定値である目標パラメータ推定値を推定もしくは決定し、出力する。
Next, the operation of the
目標パラメータ推定値としては、各候補目標の進行方向/回転運動等の運動パラメータや、姿勢に関するパラメータが考えられる。なお、目標パラメータ推定値は、辞書時系列画像列データ生成に用いる目標パラメータ推定値である辞書目標パラメータ推定値と、種類判別対象となる観測目標の目標パラメータ推定値である観測目標パラメータ推定値からなる。 As the target parameter estimated value, a motion parameter such as the traveling direction / rotational motion of each candidate target, or a parameter related to the posture can be considered. The target parameter estimated value is obtained from the dictionary target parameter estimated value that is the target parameter estimated value used for generating the dictionary time-series image sequence data and the observed target parameter estimated value that is the target parameter estimated value of the observation target that is the type discrimination target. Become.
ここで、辞書目標パラメータ推定値は、レーダで観測済みの候補目標の追尾データや、シミュレーションで生成された追尾データから推定される。また、観測目標パラメータ推定値は、レーダで取得された種類判別対象となる観測目標の追尾データから推定される。観測目標パラメータ推定値は、図1には図示されていないが、目標パラメータ推定器1から種類判別器3に出力される。これにより、種類判別器3は、観測目標パラメータ推定値を用いた種類判別を行うことができる。
Here, the dictionary target parameter estimated value is estimated from tracking data of candidate targets that have been observed by the radar, or tracking data generated by simulation. The observation target parameter estimated value is estimated from the tracking data of the observation target that is the type discrimination target acquired by the radar. Although the observation target parameter estimated value is not shown in FIG. 1, it is output from the target parameter estimator 1 to the
次に、辞書時系列画像列生成器2は、目標識別装置10全体の入力として目標別諸元ファイル11からの候補目標の形状情報である目標別諸元情報を第一の入力とし、同じく目標識別装置10全体の入力としてレーダ観測諸元ファイル13からのレーダ観測諸元情報を第二の入力とし、目標パラメータ推定器1から出力される辞書目標パラメータ推定値を第三の入力として、辞書時系列画像列データを生成する。
Next, the dictionary time-series
辞書時系列画像列生成器2は、辞書目標パラメータ推定値として与えられた辞書目標の進行方向/回転運動等の運動パラメータ、姿勢のパラメータと、レーダ観測諸元情報として与えられた画像列長及び観測時間に基づき、各候補目標に対する辞書時系列画像列データを生成し、辞書時系列画像列ファイル14に出力する。
The dictionary time-series
種類判別器3は、観測時系列画像列ファイル15からの種類判別対象の観測時系列画像列データを第一の入力とし、辞書時系列画像列ファイル14からの候補目標ごとの辞書時系列画像列データを第二の入力として、各候補目標の辞書時系列画像列データと観測時系列画像列データとのマッチングを行い、類似度の最大値を候補目標の類似度とする。
The
さらに、種類判別器3は、全候補目標の類似度算出後、最大の類似度を持つ候補目標を目標種類と判定し、結果を種類判別結果として出力する。この出力は、本発明の目標識別装置10全体の出力となり、種類判別結果ファイル16に格納される。
Further, after calculating the similarity of all candidate targets, the
なお、個々の画像の類似度は、画像を構成する画素の輝度差や、輝度分布から算出し、画像列全体の類似度は、各画像の類似度の合計や、平均/分散等から算出する方法が考えられる。 Note that the similarity of each image is calculated from the luminance difference between the pixels constituting the image and the luminance distribution, and the similarity of the entire image sequence is calculated from the sum of the similarities of each image, average / variance, and the like. A method is conceivable.
実施の形態1によれば、レーダ観測画像データを対象に、目標の形状的変化情報を表す画像列単位で、観測画像列と辞書画像列とのマッチングを行うことにより、目標の微小な形状変化に基づく類識別を行うことができ、形状や運動が似ている目標間の識別が可能となる。 According to the first embodiment, the observation image sequence and the dictionary image sequence are matched in units of image sequences representing the target shape change information for the radar observation image data, so that the minute shape change of the target is achieved. Class identification can be performed, and identification between targets having similar shapes and motions is possible.
実施の形態2.
以下、本発明の実施の形態2による目標識別装置を図1、図2に基づいて説明する。図2は、本発明の実施の形態2における辞書時系列画像列生成器2の構成図である。実施の形態2に係る目標識別装置10は、図1に示す構成を備え、辞書時系列画像列生成器2として、図2に示す構成を有する。図2に示すように、辞書時系列画像列生成器2は、辞書領域分割幅決定器21、辞書領域分割器22、シミュレーション画像生成器23、分割領域辞書画像決定器24、および辞書時系列画像列決定器25で構成される。
Hereinafter, a target identification device according to
また、辞書時系列画像列生成器2との間で入出力を行うデータベースとして、実施の形態1で説明した目標別諸元ファイル11、レーダ観測諸元ファイル13、辞書時系列画像列ファイル14とともに、シミュレーション画像ファイル17をさらに備えている。
In addition, as a database for inputting / outputting from / to the dictionary time-series
次に、実施の形態2の動作について説明する。実施の形態1では、目標パラメータ推定器1で目標の進行方向/回転運動等の運動パラメータや、姿勢に関するパラメータ等、全ての目標パラメータを推定して、これらの目標パラメータ推定値に基づき、辞書時系列画像列生成器2で、辞書時系列画像列を生成する例を示した。
Next, the operation of the second embodiment will be described. In the first embodiment, the target parameter estimator 1 estimates all target parameters such as motion parameters such as the target traveling direction / rotational motion and parameters related to the posture, and based on these target parameter estimates, An example is shown in which the sequence
これに対して、本実施の形態2では、図2に示すように、辞書領域分割幅決定器21と辞書領域分割器22とシミュレーション画像生成器23において、候補目標が領域の中心に位置する辞書領域を設定後、辞書領域を分割した各分割領域から候補目標を観測したシミュレーション画像データを生成し、さらに、分割領域辞書画像決定器24と辞書時系列画像列決定器25において、目標パラメータ推定器1で推定された目標の運動に関するパラメータに基づき、辞書時系列画像列生成を行う例を示す。
On the other hand, in the second embodiment, as shown in FIG. 2, in the dictionary area
辞書領域分割幅決定器21は、目標別諸元ファイル11からの目標別諸元データを入力として、辞書領域の分割幅を決定し、辞書領域分割幅として出力する。目標別諸元データとしては、例えば、目標種類別の回転速度の想定範囲等が考えられる。この場合に、辞書領域分割幅決定器21は、想定範囲から目標の平均回転角速度を見積もり、辞書領域の分割幅として設定する。
The dictionary area
例えば、回転速度の想定範囲が10〜20度/秒の場合、平均回転角速度を15度/秒と見積もり、分割幅を15度に設定する。なお、これは想定観測時間を1秒とした場合であるが、想定観測時間に比例するように、分割幅を調整する。例えば、想定観測時間が2秒の場合は、分割幅を30度に設定する。また、想定観測時間は、事前にシステムで固定とするか、あるいはレーダ観測諸元ファイルからレーダ観測諸元データとして得る。 For example, when the assumed range of the rotational speed is 10 to 20 degrees / second, the average rotational angular speed is estimated to be 15 degrees / second, and the division width is set to 15 degrees. This is a case where the assumed observation time is 1 second, but the division width is adjusted so as to be proportional to the assumed observation time. For example, when the assumed observation time is 2 seconds, the division width is set to 30 degrees. Further, the assumed observation time is fixed in advance by the system, or is obtained as radar observation specification data from a radar observation specification file.
辞書領域分割器22は、辞書領域分割幅決定器21から出力される辞書領域分割幅を入力とし、辞書領域の分割を行い、辞書領域分割結果を出力する。図3および図4は、本発明の実施の形態2における辞書領域分割器22による辞書領域分割例を示した図である。辞書領域としては、図3のような球面が考えられ、また、図4のような正二十面体でもよい。分割方法としては、分割幅を基準に等角度間隔で分割を行う。
The
シミュレーション画像生成器23は、辞書領域分割器22から出力される辞書領域分割結果と、目標別諸元ファイル11からの目標別諸元データを入力とし、各分割領域から観測した候補目標ごとのシミュレーション画像データを生成し、シミュレーション画像ファイル17に出力する。
The
候補目標の重心は、辞書領域の中心に位置し、各分割領域の中心点から各候補目標を観測した画像を、目標別諸元データとして得られた候補目標の3次元形状データに基づき、シミュレーションで生成する。なお、候補目標の回転軸方向は未定のため、各分割領域において、複数の回転軸方向を想定して、各回転軸方向に対するシミュレーション画像データを生成する。 The center of gravity of the candidate target is located at the center of the dictionary area, and an image obtained by observing each candidate target from the center point of each divided area is simulated based on the three-dimensional shape data of the candidate target obtained as target-specific data. Generate with Since the rotation axis direction of the candidate target is undecided, simulation image data for each rotation axis direction is generated in each divided region assuming a plurality of rotation axis directions.
以上の処理は、目標観測時ではなく、事前にバッチ処理として行い、各候補目標に対する全シミュレーション画像データをシミュレーション画像ファイル17にデータベース化して蓄えておく。
The above processing is performed as a batch process in advance, not at the time of target observation, and all simulation image data for each candidate target is stored in the
分割領域辞書画像決定器24は、シミュレーション画像ファイル17からのシミュレーション画像データと、目標パラメータ推定器1から出力される目標パラメータ推定値を入力とし、候補目標ごとに各分割領域の辞書画像を決定し、分割領域辞書画像として出力する。目標パラメータ推定値としては、回転軸方向推定値が与えられる。分割領域辞書画像決定器24は、複数の回転軸方向のシミュレーション画像データの中から、該当する回転軸方向のシミュレーション画像データを選択し、各分割領域の辞書画像である分割領域辞書画像として出力する。
The divided area
辞書時系列画像列決定器25は、分割領域辞書画像決定器24から出力される分割領域辞書画像と、レーダ観測諸元ファイル13からのレーダ観測諸元データを入力とし、複数の分割領域辞書画像からなる辞書時系列画像列を候補目標ごとに生成し、出力する。レーダ観測諸元データとしては、観測画像列の画像列長が与えられる。辞書時系列画像列決定器25は、辞書領域を構成する分割領域辞書画像から、画像列長を満たす、辞書画像の順序列を決定し、辞書画像列とする。画像列の方向は、水平方向、垂直方向、45度方向等が考えられる。
The dictionary time-series
なお、上述の実施の形態2においては、辞書領域分割幅決定器21にて、辞書領域分割幅を一つ決定し、全辞書領域を等角度間隔で分割する例を示したが、辞書領域分割幅を辞書領域の位置によって変更してもよい。例えば、分割した辞書領域の面積が均等になるよう、分割する方法が考えられる。
In the second embodiment described above, an example is shown in which the dictionary region
図3のような等角度で分割した場合、目標の重心を中心とし、目標の機首方向をX軸、横方向をY軸、高さ方向をZ軸とした座標系を考える。目標を基準としたレーダの方向を、XYZ座標系におけるXY平面内でX軸から反時計回りに図ったアジマス角、およびXY平面からZ軸方向に図ったエレベーション角で定義する。エレベーション角±90度付近では分割領域の面積が小さく、逆に0度付近では大きくなる傾向があり、この面積比の違いは、観測位置の違いによる目標の動きに対する感度差と直結する。 In the case of division at an equal angle as shown in FIG. 3, a coordinate system with the target center of gravity as the center, the target nose direction as the X axis, the horizontal direction as the Y axis, and the height direction as the Z axis is considered. The direction of the radar with respect to the target is defined by the azimuth angle measured counterclockwise from the X axis in the XY plane in the XYZ coordinate system and the elevation angle measured in the Z axis direction from the XY plane. The area of the divided region tends to be small near an elevation angle of ± 90 degrees, and conversely tends to be large near 0 degrees, and this difference in area ratio is directly linked to a difference in sensitivity to target movement due to a difference in observation position.
すなわち、90度付近では、微小な動きでも隣接する画像間にまたがるのに対し、0度付近では、かなり大きな動きがあった時に隣接画像間にまたがるという違いが出てくる。具体的には、エレベーション角±90度付近のアジマス方向の刻み幅を、0度付近の刻み幅より相対的に大きくする。 That is, there is a difference in that even if the movement is small, it extends between adjacent images at around 90 degrees, while the movement between adjacent images occurs when there is a considerably large movement at around 0 degrees. Specifically, the step width in the azimuth direction near the elevation angle of ± 90 degrees is made relatively larger than the step width near 0 degrees.
実施の形態2によれば、目標パラメータの推定を回転軸方向といった運動に関するパラメータのみにし、パラメータ推定精度への依存を最小限に抑えた類識別を実現することができる。 According to the second embodiment, the target parameter is estimated only for the motion parameter such as the direction of the rotation axis, and class identification can be realized with the dependence on the parameter estimation accuracy minimized.
さらに、辞書領域分割幅を辞書領域位置によって変更することにより、目標観測位置による目標の動きに対する感度の差を無くし、目標観測位置による精度のばらつきをおさえた類識別を行うことができる。 Furthermore, by changing the dictionary area division width according to the dictionary area position, it is possible to eliminate the difference in sensitivity to the target movement at the target observation position and perform class identification with reduced accuracy variations depending on the target observation position.
実施の形態3.
以下、本発明の実施の形態3による目標識別装置を図5に基づいて説明する。図5は、本発明の実施の形態3における目標識別装置10の構成図である。実施の形態3における目標識別装置10の構成は、実施の形態1における目標識別装置10の構成を示した図1と比較すると、新たに観測画像列加工器4が付加されている点が異なる。また、目標識別装置10との間で入出力を行うデータベースは、図1と同様である。
Hereinafter, a target identification device according to
新たに付加された観測画像列加工器4は、レーダ観測諸元ファイル13からのレーダ観測諸元データと、観測時系列画像列ファイル15からの観測時系列画像列データとの入力に基づいて、観測時系列画像列データを加工して、観測画像列加工データを出力する機能を有する。
The newly added observation image sequence processor 4 is based on the input of the radar observation specification data from the radar
次に、実施の形態3に係る目標識別装置10の動作について説明する。まず、目標パラメータ推定器1は、実施の形態1同様、追尾ファイル12からの追尾情報、およびレーダ観測諸元ファイル13からのレーダ観測諸元情報を読み込む。そして、目標パラメータ推定器1は、目標パラメータ推定値を推定もしくは決定し、出力する。
Next, the operation of the
観測画像列加工器4は、レーダ観測諸元ファイル13からのレーダ観測諸元データと、観測時系列画像列ファイル15からの観測時系列画像列データを入力とする。レーダ観測諸元データとしては、観測時系列画像列の画像列長と観測時間が与えられる。観測時系列画像列の加工を行う条件としては、例えば、観測時間が想定していた観測時間と異なる場合が考えられ、観測画像列加工器4は、観測時間に合わせて観測時系列画像列データを加工する。
The observation image sequence processor 4 receives the radar observation specification data from the radar
観測時系列画像列データを加工する第一の方法としては、観測時系列画像列データの長さを伸長する方法がある。例えば、観測時間が想定していた時間より長く、画像間の目標の回転の度合いが大きい場合が考えられる。伸長方法としては、画像列にnull画像(全画素強度が0)を挿入することが考えられる。null画像の挿入位置は、挿入画像数に依存するが、例えば、奇数もしくは偶数番目や、n番目(nは、挿入画像数から算出した正数)を挿入位置とする。 As a first method for processing the observation time-series image sequence data, there is a method of extending the length of the observation time-series image sequence data. For example, the observation time may be longer than the expected time and the degree of target rotation between images may be large. As an expansion method, it is conceivable to insert a null image (all pixel intensities are 0) into the image sequence. The insertion position of the null image depends on the number of insertion images. For example, the insertion position is an odd or even number or the nth (n is a positive number calculated from the number of insertion images).
観測画像列を加工する第二の方法としては、観測画像列の長さを縮小する方法がある。例えば、観測時間が想定していた時間より短く、画像間の目標の回転の度合いが小さい場合が考えられる。縮小方法としては、画像列から指定した位置の画像を削除することが考えられる。画像の削除位置は、削除画像数に依存するが、例えば、奇数もしくは偶数番目や、n番目(nは、削除画像数から算出した正数)を削除位置とする。観測画像列加工器4は、このようにして加工した観測画像列加工データと加工画像列長を出力する。 As a second method of processing the observation image sequence, there is a method of reducing the length of the observation image sequence. For example, the observation time may be shorter than the expected time and the degree of target rotation between images may be small. As a reduction method, it is conceivable to delete an image at a specified position from the image sequence. Although the deletion position of the image depends on the number of deleted images, for example, the deletion position is an odd or even number or nth (n is a positive number calculated from the number of deleted images). The observed image sequence processor 4 outputs the observed image sequence processed data and the processed image sequence length processed in this way.
辞書時系列画像列生成器2は、目標別諸元ファイル11からの目標別諸元情報と、レーダ観測諸元ファイル13からのレーダ観測諸元情報に含まれる観測時間と、目標パラメータ推定器1から出力される辞書目標パラメータ推定値とともに、観測画像列加工器4から出力される加工画像列長をさらに入力として、辞書時系列画像列データを生成し、辞書時系列画像列ファイル14に出力する。
The dictionary time-series
すなわち、本実施の形態3における辞書時系列画像列生成器2は、観測画像列加工器4から出力される加工画像列長を加味して辞書時系列画像列データを生成する点が、実施の形態1における辞書時系列画像列生成器2と異なる。
That is, the dictionary time-series
種類判別器3は、観測画像列加工器4から出力される観測画像列加工データと、辞書時系列画像列ファイル14からの辞書時系列画像列データを入力として、観測画像列加工データを種類判別対象データとして、種類判別処理を行い、種類判別結果を出力する。この出力は、本発明の目標識別装置10全体の出力となり、種類判別結果ファイル16に格納される。
The
すなわち、本実施の形態3における種類判別器3は、観測画像列加工器4から出力される観測画像列加工データに基づいて、例えば、観測時間が想定していた時間と異なる場合等を加味して種類判別処理を行う点が、実施の形態1における種類判別器3と異なる。
That is, the
なお、本実施の形態3の目標識別装置10に対して、実施の形態2の辞書時系列画像列生成器2を組み合わせる場合は、観測画像列加工器4から辞書時系列画像列決定器25に対して、加工画像列長を出力する。観測時系列画像列の加工を行う条件としては、目標の回転速度が、シミュレーション画像データ生成時に想定した平均回転角速度に比べ速い場合も該当する。
When the dictionary time-series
実施の形態3によれば、観測時間の変化や、目標の回転運動の変動に合わせて、観測時系列画像列の加工、辞書時系列画像列の生成を行うことにより、目標の観測条件に合わせた類識別を行うことができる。 According to the third embodiment, the observation time-series image sequence is processed and the dictionary time-series image sequence is generated in accordance with the change in the observation time and the fluctuation of the target rotational motion, so that it matches the target observation condition. Class identification.
なお、観測時系列画像列加工方法として、観測時系列画像列の伸長及び縮小のいずれかを行う例を示したが、これに限定されない。それ以外にもこれらを組み合わせて、観測時系列画像列を伸長したもの、縮小したもの、加工なしのものを生成し、全てを種類判別対象として、もっとも類似度の高い辞書画像列が見つかったものを、候補目標の評価結果である候補目標評価値としてもよい。観測時系列画像列の長さを様々に調整した画像を組み合わせて種類判別対象とすることにより、目標の回転運動等のパラメータの推定誤差の影響を抑えた類識別が可能となる。 In addition, although the example which performs either expansion | extension and reduction | decrease of an observation time series image sequence was shown as an observation time series image sequence processing method, it is not limited to this. In addition to these, the observation time-series image sequence is expanded, reduced, or unprocessed, and the dictionary image sequence with the highest degree of similarity is found for all types to be classified. May be a candidate target evaluation value which is an evaluation result of the candidate target. By combining the images in which the lengths of the observation time-series image sequences are variously combined to be the type discrimination target, it is possible to perform class discrimination while suppressing the influence of parameter estimation errors such as target rotational motion.
実施の形態4.
以下、本発明の実施の形態4による目標識別装置を図1、図6に基づいて説明する。図6は、本発明の実施の形態4における辞書時系列画像列生成器2の構成図である。実施の形態4に係る目標識別装置10は、図1に示す構成を備え、辞書時系列画像列生成器2として、図6に示す構成を有する。図6に示すように、辞書時系列画像列生成器2は、複数辞書領域分割幅決定器21a、辞書領域分割器22、シミュレーション画像生成器23、辞書領域分割幅選択器26、分割領域辞書画像決定器24、辞書時系列画像列決定器25で構成される。
Embodiment 4 FIG.
Hereinafter, a target identification device according to Embodiment 4 of the present invention will be described with reference to FIGS. FIG. 6 is a configuration diagram of the dictionary time-series
実施の形態2における辞書時系列画像列生成器2の構成を示した図2と比較すると、図6の構成は、辞書領域分割幅決定器21の代わりに複数辞書領域分割幅決定器21aが用いられているとともに、新たに辞書領域分割幅選択器26が付加されている点が異なる。
Compared with FIG. 2 showing the configuration of the dictionary time-series
複数辞書領域分割幅決定器21aは、目標別諸元データを入力とし、辞書領域の分割幅を複数決定し、辞書領域分割幅候補値として出力する。この複数辞書領域分割幅決定器21aは、実施の形態2で説明した辞書領域分割幅決定器21に対して、複数の辞書領域分割幅を辞書領域分割幅候補値として求める機能をさらに備えた辞書領域分割幅決定器に相当する。
The plural dictionary area
また、辞書領域分割幅選択器26は、レーダ観測諸元データと、目標パラメータ推定器1から出力される目標パラメータ推定値と、複数辞書領域分割幅決定器21aから出力される辞書領域分割幅候補値を入力とし、辞書領域分割幅を選択して出力する機能を有する。
The dictionary area
次に、実施の形態4の動作について説明する。実施の形態2では、辞書領域分割幅決定器21で辞書領域分割幅を一意に決定する例を示したが、本実施の形態4では、辞書領域分割幅決定器21の代わりに用いられている複数辞書領域分割幅決定器21aにおいて、複数の辞書領域分割幅候補値を決定し、辞書領域分割幅選択器26において、複数の辞書領域分割幅候補値の中から適切な辞書領域分割幅の選択を行う例を示す。
Next, the operation of the fourth embodiment will be described. In the second embodiment, an example is shown in which the dictionary region
複数辞書領域分割幅決定器21aは、目標別諸元ファイル11からの目標別諸元データを入力とし、辞書領域の分割幅を複数決定し、辞書領域分割幅候補値として出力する。複数の分割幅の決定方法としては、目標種類別の回転速度の想定範囲内で等間隔に複数生成する方法や、平均回転角速度を中心にある一定間隔で分割幅を増減し、例えば、平均回転角速度15度を中心に5、10、15、20、25度と、複数の分割幅を決定する方法が考えられる。また分割幅候補数は、事前に固定としてもよいし、実行時にユーザが設定してもよい。
The multiple dictionary area
辞書領域分割器22は、複数の辞書領域分割幅候補値に対し、実施の形態2同様に、辞書領域分割を行い、異なる複数の辞書領域分割幅候補値による複数の辞書領域分割結果である辞書領域分割結果群を出力する。さらに、シミュレーション画像生成器23は、辞書領域分割結果群に対し、実施の形態2と同様に、候補目標ごとにシミュレーション画像データの生成を行い、シミュレーション画像データ群としてシミュレーション画像ファイル17に出力する。
The
辞書領域分割幅選択器26は、レーダ観測諸元ファイル13からのレーダ観測諸元データと、目標パラメータ推定器1から出力される目標パラメータ推定値と、複数辞書領域分割幅決定器21aから出力される辞書領域分割幅候補値を入力とし、辞書領域分割幅を選択して出力する。レーダ観測諸元データとしては観測時間が与えられ、目標パラメータ推定値としては目標の回転速度が与えられる。辞書領域分割幅選択器26は、これらの値から目標の観測時間あたりの回転の度合いを算出し、それに基づき辞書領域分割幅候補値の中から、もっとも値の近い辞書領域分割幅を選択する。
The dictionary region
分割領域辞書画像決定器24は、シミュレーション画像ファイル17からのシミュレーション画像データ群と、目標パラメータ推定器1から出力される目標パラメータ推定値と、辞書領域分割幅選択器26から出力される辞書領域分割幅を入力とし、シミュレーション画像データ群の中から、指定された辞書領域分割幅のシミュレーション画像データを抽出する。さらに、分割領域辞書画像決定器24は、抽出したシミュレーション画像データの中から、目標パラメータ推定値として与えられた回転軸方向に基づき、候補目標ごとの分割領域辞書画像を決定し出力する。
The divided region
辞書時系列画像列決定器25は、実施の形態2と同様に、分割領域辞書画像決定器24から出力される分割領域辞書画像と、レーダ観測諸元ファイル13からのレーダ観測諸元データを入力とし、複数の分割領域辞書画像からなる候補目標ごとの辞書時系列画像列を生成し、出力する。
Similar to the second embodiment, the dictionary time-series
実施の形態4によれば、観測時間の変化や、目標の回転運動の変動に合わせて、複数の辞書領域分割幅を有する辞書の中から1つの辞書を選択することにより、目標の観測条件に合わせた類識別を行うことができる。 According to the fourth embodiment, a single dictionary is selected from dictionaries having a plurality of dictionary area division widths in accordance with changes in observation time and fluctuations in the target rotational motion, so that the target observation conditions are met. Combined class identification can be performed.
なお、辞書領域分割幅候補値の中から辞書領域分割幅を一意に選択する例を示したが、これに限定されない。それ以外にも複数の辞書領域分割幅をそのまま残し、辞書領域分割幅の異なる辞書画像列を種類判別時に用いて、もっとも観測時系列画像列との類似度の高い値を、候補目標の評価結果である候補目標評価値としてもよい。辞書領域分割幅の異なる辞書画像列を種類判別に用いることにより、目標の回転運動等のパラメータの推定誤差の影響を抑えた類識別が可能となる。 In addition, although the example which selects a dictionary area | region divided width uniquely from the dictionary area | region dividing width candidate value was shown, it is not limited to this. Other than that, leave multiple dictionary region division widths as they are, use dictionary image sequences with different dictionary region division widths when determining the type, and select the value with the highest similarity to the observed time-series image sequence. It is good also as a candidate target evaluation value. By using dictionary image sequences having different dictionary area division widths for type discrimination, it is possible to perform class identification while suppressing the influence of parameter estimation errors such as target rotational motion.
実施の形態5.
以下、本発明の実施の形態5による目標識別装置を図1、図7に基づいて説明する。図7は、本発明の実施の形態5における種類判別器3の構成図である。実施の形態5に係る目標識別装置10は、図1に示す構成を備え、種類判別器3として、図7に示す構成を有する。図7に示すように、種類判別器3は、種類学習器31および種類算出器32で構成される。
Embodiment 5 FIG.
Hereinafter, a target identification device according to Embodiment 5 of the present invention will be described with reference to FIGS. FIG. 7 is a configuration diagram of the
次に、実施の形態5の動作について説明する。実施の形態1では、種類判別器3において、辞書時系列画像列と観測時系列画像列とのマッチングにより種類判別を行う例を示したが、本実施の形態5では、種類判別器3を構成する種類学習器31と種類算出器32とを用いて、種類学習を伴った種類判別を行う例を示す。図8は、本発明の実施の形態5における種類学習器31による種類学習と種類算出器32による種類判別の説明図である。
Next, the operation of the fifth embodiment will be described. In the first embodiment, the
まず始めに、種類学習器31により種類学習を行う例を示す。本実施の形態5では、学習手法として、境界線を決定する手法である線形判別法を適用する。線形判別法にはいくつかの手法があるが、ここでは共分散行列に基づく線形判別法を用いる。共分散行列に基づく線形判別法とは、異なる種類のデータ同士はできるだけ離れ、同一種類のデータ同士はなるべく近くに分布するように、全データの中心を表すクラスタ中心を通るベクトルwにデータを射影して判別分析を行う方法である。 First, an example in which type learning is performed by the type learning device 31 will be described. In the fifth embodiment, a linear discriminant method that is a method for determining a boundary line is applied as a learning method. There are several linear discriminant methods. Here, a linear discriminant method based on a covariance matrix is used. The linear discriminant method based on the covariance matrix projects data to a vector w that passes through the cluster center representing the center of all data so that different types of data are separated as much as possible and the same type of data is distributed as close as possible. This is a method for discriminant analysis.
種類学習器31は、共分散行列に基づく線形判別を行う場合、各データの射影結果yと各種類の平均ベクトルの射影結果yxとを比較し、最も近いyxを持つ種類に射影結果yが属するものと判別する。境界は、wに垂直でクラスタ中心を通る直線として定義される。図8(a)は、線形判別法による種類学習例を示したものである。△は、種類1の候補目標の教師データ、■は、種類2の候補目標の教師データであるとすると、種類学習器31による種類学習により、図8(a)に示したような境界線が決定される。
When performing the linear discrimination based on the covariance matrix, the type learning device 31 compares the projection result y of each data with the projection result yx of each type of average vector, and the projection result y belongs to the type having the closest yx. It is determined as a thing. The boundary is defined as a straight line perpendicular to w and passing through the cluster center. FIG. 8A shows an example of type learning by the linear discriminant method. If Δ is the teacher data of the type 1 candidate target, and ■ is the
前述の例では、種類学習に共分散行列に基づく線形判別を適用する例を示したが、その他にもサポートベクターマシンなどの高次元データでの有効性が示されている学習手法を適用してもよい。サポートベクターマシンは、全教師データからの距離と方向に基づいて境界となる直線を求める方法であり、距離を最大にし、かつそれぞれの種類ごとに、教師データからみた直線の方向が同じになるような直線を決定する。 In the above example, linear discrimination based on the covariance matrix is applied to type learning, but other learning methods that have been shown to be effective in high-dimensional data such as support vector machines are applied. Also good. The support vector machine is a method to find a straight line that is a boundary based on the distance and direction from all the teacher data. The distance is maximized and the direction of the straight line seen from the teacher data is the same for each type. Determine a straight line.
サポートベクターマシンは、線形判別法の変形手法の一つとして考えられている。前述の共分散行列に基づく線形判別法等の一般的な線形判別法と比較して、サポートベクターマシンは、カーネル関数とよばれる関数の線形和で学習に必要な関数を表すことにより、非線形な境界定義が可能な点で大きく異なる。カーネル関数は、複数種類存在し、学習パラメータにおいて、いずれのカーネルを選択するかを指定する。 The support vector machine is considered as one of the modification methods of the linear discriminant method. Compared to general linear discriminant methods such as the linear discriminant method based on the covariance matrix described above, the support vector machine represents a function necessary for learning by a linear sum of functions called kernel functions. It is very different in that boundary definition is possible. There are a plurality of kernel functions, and the learning parameter specifies which kernel is selected.
以上のように、観測時系列画像列データの性質/分布状況等によって、適する種類学習手法は異なるため、それぞれの学習手法の特徴を踏まえた上で、手法の選択を行えばよい。 As described above, the appropriate type learning method differs depending on the property / distribution status of the observation time-series image sequence data. Therefore, the method may be selected based on the characteristics of each learning method.
次に、種類学習器31から出力される種類学習結果と、観測時系列画像列データとを入力として、種類算出器32により行う種類判別について説明する。図8(b)は、種類判別を行った例を示している。種類算出器32は、種類学習結果として求められた境界線に基づき、観測時系列画像列データに含まれる種類不明の目標の種類を判別する。 Next, type discrimination performed by the type calculator 32 using the type learning result output from the type learner 31 and the observation time-series image sequence data as inputs will be described. FIG. 8B shows an example of performing type discrimination. The type calculator 32 determines the type of an unknown target included in the observed time-series image sequence data based on the boundary line obtained as the type learning result.
図8(b)において、種類1に相当する△が多く属する境界線の上側の領域を種類1の境界領域、逆に、種類2に相当する■が多く属する境界線の下側の領域を種類2の境界領域とする。この場合に、種類算出器32は、種類判別対象である観測時系列画像列データが、いずれの領域に属するかによってその種類を判別する。 In FIG. 8B, the area above the boundary line to which many Δs corresponding to type 1 belong is the type 1 boundary area, and conversely, the area below the boundary line to which many ■ corresponding to type 2 belong is typed. 2 boundary region. In this case, the type calculator 32 determines the type depending on which region the observation time-series image sequence data that is the type determination target belongs to.
図8(b)において、黒三角と◇は、それぞれ種類不明の観測データである。種類算出器32は、黒三角の分布が種類1の境界領域にあることから、黒三角が種類1であると判別する。同様に、種類算出器32は、◇の分布が種類2の境界領域にあることから、◇が種類2であると判別する。
In FIG. 8B, black triangles and ◇ are observation data of unknown types. The type calculator 32 determines that the black triangle is of type 1 because the distribution of black triangles is in the boundary region of type 1. Similarly, the type calculator 32 determines that ◇ is
なお、これらの手法による種類学習及び種類判別は、基本的には種類が2つの場合の境界線を決定する方法であるため、多数の種類を対象として種類判別を行う場合には、例えば、トーナメント方式と呼ばれる方式がある。トーナメント方式では、2種類ずつ全ての種類の組み合わせで種類学習を行い、それぞれの境界線(判別平面)を決定する。次に、判別対象データがどちらの種類に近いかの種類判別を、勝ち残り方式で、複数の種類の組合せに対して行い、最終的に勝ち残った種類を目標の種類とする。 Note that type learning and type discrimination by these methods are basically methods for determining a boundary line when there are two types, so when performing type discrimination for a large number of types, for example, a tournament There is a method called a method. In the tournament method, type learning is performed with combinations of all two types, and each boundary line (discrimination plane) is determined. Next, the type discrimination of which type the discrimination target data is close to is performed with respect to a combination of a plurality of types by the remaining winning method, and the finally winning type is set as the target type.
実施の形態5によれば、辞書時系列画像列と観測時系列画像列とのマッチングではなく、辞書時系列画像列の種類学習結果に基づいて、観測時系列画像列の種類判別処理を行うことができる。これにより、辞書画像列生成方法や辞書領域分割幅等の辞書生成時のパラメータへの依存度を少なくした種類判別を行うことができる。 According to the fifth embodiment, the type determination process of the observation time-series image sequence is performed based on the type learning result of the dictionary time-series image sequence, not the matching between the dictionary time-series image sequence and the observation time-series image sequence. Can do. As a result, it is possible to perform type determination with less dependence on parameters at the time of dictionary generation, such as a dictionary image sequence generation method and dictionary area division width.
さらに、このような種類判別処理を用いることにより、例えば、辞書領域分割幅が観測目標の運動と一致していない場合にも、必ずしも類似した画像列が見つからないといった問題を回避することができ、種類不明の目標の種類を判別することができる。 Furthermore, by using such a type determination process, for example, even when the dictionary area division width does not match the motion of the observation target, it is possible to avoid the problem that a similar image sequence is not necessarily found, The type of target of unknown type can be determined.
実施の形態6.
以下、本発明の実施の形態6による目標識別装置を図1、図9に基づいて説明する。図9は、本発明の実施の形態6における種類判別器3の構成図である。実施の形態6に係る目標識別装置10は、図1に示す構成を備え、種類判別器3として、図9に示す構成を有する。図9に示すように、種類判別器3は、類似度算出パラメータ決定器33、類似度上位辞書画像抽出器34、画像列生成器35、画像列評価器36、および種類決定器37で構成される。
Embodiment 6 FIG.
Hereinafter, a target identification device according to Embodiment 6 of the present invention will be described with reference to FIGS. FIG. 9 is a configuration diagram of the
次に、実施の形態6の動作について説明する。実施の形態1では、種類判別器3において、辞書時系列画像列全体と観測時系列画像列全体とのマッチングにより種類判別を行う例を示したが、本実施の形態6では、種類判別器3において、観測時系列画像列を構成する個々の画像毎にマッチング処理をした後に、画像列全体の種類判別を行う例を示す。
Next, the operation of the sixth embodiment will be described. In the first embodiment, the
類似度算出パラメータ決定器33は、観測時系列画像列ファイル15からの観測時系列画像列データを入力とし、類似度算出のためのパラメータである類似度算出パラメータを決定して出力する。類似度算出パラメータとしては、類似画像探索対象画像番号と探索領域がある。具体的には、類似画像探索対象画像番号として、観測時系列画像列の全画像の画像番号を指定する。観測時系列画像列の画像列長は、観測時系列画像列データから与えられる。探索領域としては、全分割辞書領域が指定される。
The similarity
類似度上位辞書画像抽出器34は、類似度算出パラメータ決定器33から出力される類似度算出パラメータと、観測時系列画像列ファイル15からの観測時系列画像列データと、辞書時系列画像列ファイル14からの辞書時系列画像列データとを入力とし、類似度上位の辞書画像である類似度上位辞書画像を抽出し、位置情報と類似度情報を含む類似度上位辞書画像情報として出力する。
The similarity higher-order
具体的には、類似画像探索対象画像番号として指定された、観測時系列画像列を構成する全観測画像と、全辞書画像との類似度を算出し、各観測画像に対する類似度上位の辞書画像を類似度上位辞書画像として抽出し、それらの辞書領域上の位置情報と、類似の度合いを示す類似度情報を出力する。各観測画像に対する類似度上位辞書画像の抽出数は、固定とする、もしくは実行時に動的に指定可能としてもよい。 Specifically, the similarity between all observation images constituting the observation time-series image sequence designated as the similar image search target image number and all dictionary images is calculated, and the dictionary image with the highest similarity for each observation image Are extracted as similarity high-order dictionary images, and position information on those dictionary regions and similarity information indicating the degree of similarity are output. The number of similar high-order dictionary images for each observation image may be fixed, or dynamically specified at the time of execution.
画像列生成器35は、類似度上位辞書画像抽出器34から出力される類似度上位辞書画像情報を入力とし、類似度上位辞書画像の組合せからなる画像列である類似度上位辞書画像列を生成し、位置情報と類似度情報を含む類似度上位辞書画像列情報として出力する。具体的には、対応する観測画像の順序列にしたがって、全類似度上位辞書画像から、観測時系列画像列の画像列長と等しい画像列を生成する。
The
例えば、各観測画像に対応する類似度上位L個の画像が抽出され、画像列長がKの場合、LK個の類似度上位辞書画像列が生成される。位置情報としては、画像列を構成する類似度上位辞書画像の位置番号列が、類似度情報としては、画像列を構成する類似度上位辞書画像の類似度列が出力される。 For example, when the images with the highest similarity L corresponding to the respective observation images are extracted and the image sequence length is K, L K similarity higher-order dictionary image sequences are generated. As the position information, the position number string of the similarity higher rank dictionary image constituting the image string is output, and as the similarity information, the similarity string of the similarity higher rank dictionary image constituting the image string is output.
図10は、本発明の実施の形態6における類似度上位画像列生成の例示図である。図10は、類似度上位辞書画像抽出数L=3、観測画像列長K=3とした場合において、ある1つの候補目標について抽出されたそれぞれの類似度上位辞書画像を正方形で表している。さらに、それらの正方形を3つ連ねた線で示したものが、生成された類似度上位画像列に相当する。 FIG. 10 is a view showing an example of generation of a similarity high-order image sequence according to Embodiment 6 of the present invention. FIG. 10 shows each similarity upper dictionary image extracted for a certain candidate target as a square when the similarity upper dictionary image extraction number L = 3 and the observed image sequence length K = 3. Further, a line formed by connecting three of these squares corresponds to the generated similarity high-order image sequence.
図10の正方形の中で、斜線で塗られた正方形は、画像番号1の観測画像に対する類似度上位辞書画像を示している。すなわち、この斜線で塗られた正方形は、観測時系列画像列の1番目の観測画像に対して、ある1つの候補目標の辞書画像の中から類似度の高い3つの辞書画像を抽出したものに相当する。同様に、黒塗りの正方形は、画像番号2の観測画像に対する類似度上位辞書画像を示し、白塗りの正方形は、画像番号3の観測画像に対する類似度上位辞書画像を示している。
Among the squares in FIG. 10, the squares shaded with diagonal lines indicate the similarity high-order dictionary image for the observation image with the image number 1. That is, the hatched square is obtained by extracting three dictionary images having high similarity from one candidate target dictionary image with respect to the first observation image in the observation time-series image sequence. Equivalent to. Similarly, a black square indicates a similarity high-order dictionary image with respect to an observation image with an
そして、斜線で塗られた正方形、黒塗りの正方形、白塗りの正方形の3つの正方形を順番につなぐことにより、画像列生成器35は、類似度上位辞書画像列を生成することができる。なお、図10では、算出可能な類似度上位辞書画像列のうちの、4例のみを例示しているが、実際は、全組合せに相当するLK個の類似度上位辞書画像列を算出して出力する。
Then, the
画像列評価器36は、画像列生成器35から出力される類似度上位辞書画像列情報および辞書時系列画像列ファイル14からの辞書時系列画像列データを入力とし、類似度上位辞書画像列の評価を行い、候補目標の評価結果である候補目標評価値を決定し出力する。類似度上位辞書画像列の評価方法としては、各類似度上位辞書画像列の類似度から算出する類似度評価値や、位置情報に基づく位置評価値から、類似度上位辞書画像列の評価を行う方法が考えられる。
The
位置評価値としては、距離評価値と角度評価値が考えられる。画像列評価器36は、このような位置評価値から、類似度上位辞書画像列を構成する類似度上位辞書画像の位置関係を評価する。具体的には、例えば、各辞書画像間の距離と、隣接画像を結んだ線の直線からのずれの度合いを算出する。連続する辞書画像間の距離の分散から距離評価値を、隣接する3画像間を結ぶ2直線(図10の線分s1と線分s2が該当)のなす角度から角度評価値を求める。画像間の距離の差が少なく、また角度が0に近いほど、評価値が高くなるよう設定する。
As the position evaluation value, a distance evaluation value and an angle evaluation value can be considered. The
類似度評価値としては、例えば、各類似度上位辞書画像列を構成する類似度上位辞書画像の類似度の分散、及び類似度合計値を求める。類似度の分散が少なく、合計値が高いほど、評価値が高くなるよう設定する。 As the similarity evaluation value, for example, a variance of similarity between the similarity higher-level dictionary images constituting each similarity higher-level dictionary image sequence, and a similarity total value are obtained. The evaluation value is set higher as the variance of the similarity is smaller and the total value is higher.
各類似度上位辞書画像列の評価方法としては、類似度評価値と位置評価値のうち、例えば位置評価値のみから評価を行う方法が考えられる。具体的には、例えば、位置評価値として与えられた距離評価値と角度評価値に対し、角度評価値の降順になるよう類似度上位辞書画像列を並べ、角度評価値の上位から順に、距離評価値と事前に与えられた閾値との比較を行い、距離評価値がしきい値以上で、かつ角度評価値がもっとも上位である類似度上位辞書画像列を抽出する。 As an evaluation method for each similarity higher-level dictionary image sequence, a method of evaluating only from the position evaluation value, for example, among the similarity evaluation value and the position evaluation value is conceivable. Specifically, for example, with respect to the distance evaluation value and the angle evaluation value given as the position evaluation value, the similarity high-order dictionary image sequence is arranged in descending order of the angle evaluation value, and the distance in order from the top of the angle evaluation value The evaluation value is compared with a threshold value given in advance, and a similarity high-order dictionary image sequence having a distance evaluation value equal to or higher than the threshold value and the highest angle evaluation value is extracted.
あるいは、類似度評価値も評価に反映させる方法としては、距離評価値がしきい値以上である角度評価値の上位M個から、類似度評価値がもっとも高い類似度上位辞書画像列を抽出すればよい。その他、これら複数の評価値を変数として持つ関数を設定する等、全評価値を反映するような総評価値を求め、もっとも総評価値が高い類似度上位辞書画像を抽出してもよい。 Alternatively, as a method of reflecting the similarity evaluation value in the evaluation, the highest similarity similarity dictionary image sequence having the highest similarity evaluation value is extracted from the top M angle evaluation values having the distance evaluation value equal to or greater than the threshold value. That's fine. In addition, it is also possible to obtain a total evaluation value that reflects all evaluation values, such as by setting a function having these multiple evaluation values as variables, and to extract a similarity high-order dictionary image having the highest total evaluation value.
類似度上位辞書画像列の評価を位置評価値に基づいて行う例を、図10を用いて示す。図10に示す4つの類似度上位辞書画像列のうち、もっとも角度評価値が高く、すなわち隣接画像が直線的に位置し、かつ距離評価値も上位である類似度上位辞書画像列として、類似度上位画像G1、G2、G3からなる類似度上位辞書画像列が抽出される。なお、いずれの評価方法を適用した場合においても、画像列評価器36が出力する候補目標評価値としては、類似度評価値、もしくは類似度評価値と角度評価値からなるベクトルのいずれかとする。
An example in which the evaluation of the similarity higher rank dictionary image sequence is performed based on the position evaluation value will be described with reference to FIG. Among the four similarity high-order dictionary image sequences shown in FIG. 10, the similarity is determined as the similarity high-level dictionary image sequence having the highest angle evaluation value, that is, the adjacent images are linearly positioned and the distance evaluation value is high. A similarity high-order dictionary image sequence composed of the high-order images G1, G2, and G3 is extracted. Regardless of which evaluation method is applied, the candidate target evaluation value output by the
なお、観測画像列が一定方向に並ぶ画像列であるのに対して、類似度上位辞書画像列は、必ずしも一定方向でなくてもよい。すなわち途中での折り返しが可能である。例えば、図10において、観測画像列の第一画像から第五画像までが、辞書画像の{G2, G3, G2, G1, G2}と対応する場合を考える。 Note that while the observed image sequence is an image sequence arranged in a certain direction, the similarity higher-level dictionary image sequence does not necessarily have to be in a certain direction. That is, it can be turned back halfway. For example, in FIG. 10, a case is considered where the first image to the fifth image in the observed image sequence correspond to {G2, G3, G2, G1, G2} of the dictionary image.
この場合、G3とG1で折り返しが発生していると考えられ、目標の振動運動への対応が可能となる。なお想定不可能な運動を表す辞書画像列に対しては、除外できるよう、連続画像間の距離の変動状況を評価指標に組入れる等して、絞込みを行う方法が考えられる。 In this case, it is considered that folding is generated between G3 and G1, and it is possible to cope with the target vibration motion. It should be noted that a method of narrowing down a dictionary image sequence representing an unimaginable motion can be considered by incorporating a variation state of a distance between consecutive images into an evaluation index so that it can be excluded.
種類決定器37は、画像列評価器36から出力されるそれぞれの候補目標に対する候補目標評価値を入力とし、観測目標の種類判別結果を決定し出力する。具体的には、種類決定器37は、各候補目標の評価値を比較し、もっとも評価値が高い候補目標名を種類判別結果として出力する、あるいは評価値上位の候補目標名を評価値の降順に、順位とともに出力する。
The
実施の形態6によれば、個々の観測画像、辞書画像間の類似度を算出して、類似度の高い画像から辞書画像列を生成することにより、実施の形態1で示した想定される全辞書画像列との類似度算出を行う場合に比べて、類似度算出時の演算量を削減できる。 According to the sixth embodiment, the similarity between individual observation images and dictionary images is calculated, and a dictionary image sequence is generated from images having a high similarity, so that all the assumed ones shown in the first embodiment can be obtained. Compared with the case of calculating the similarity with the dictionary image sequence, the amount of calculation at the time of calculating the similarity can be reduced.
さらに、辞書画像列生成を辞書領域内の隣接画像間で行わずに、観測時系列画像列を構成するそれぞれの観測画像に対する辞書画像の類似度に基づいて辞書画像列を自由に生成した後に、辞書画像間の距離や位置関係を指標として絞り込む。したがって、辞書領域分割幅の直接的な影響を受けることなく、観測時間の変化や、目標の回転運動の変動に合わせて、辞書を生成可能となり、目標の観測条件に合わせた類識別を行うことができる。 Furthermore, without generating the dictionary image sequence between the adjacent images in the dictionary region, after freely generating the dictionary image sequence based on the similarity of the dictionary image to each observation image constituting the observation time-series image sequence, Narrow down the distance and positional relationship between dictionary images as an index. Therefore, it is possible to generate a dictionary in accordance with changes in observation time and fluctuations in target rotational movement without being directly affected by the dictionary area division width, and class identification according to target observation conditions should be performed. Can do.
さらに、画像間での距離の違いを許容することにより、目標の回転運動の加速度変化にも対応可能となる。さらに、辞書画像間の位置関係を角度評価値と距離評価値のみで評価することにより、類似度上位辞書画像列の折り返しが可能となり、目標の振動運動に対応することも可能となる。 Furthermore, by allowing a difference in distance between images, it is possible to deal with a change in acceleration of a target rotational motion. Furthermore, by evaluating the positional relationship between the dictionary images using only the angle evaluation value and the distance evaluation value, it is possible to fold back the upper similarity dictionary image sequence, and it is also possible to deal with the target vibration motion.
実施の形態7.
以下、本発明の実施の形態7による目標識別装置を図1、図11に基づいて説明する。図11は、本発明の実施の形態7における種類判別器3の構成図である。実施の形態7に係る目標識別装置10は、図1に示す構成を備え、種類判別器3として、図11に示す構成を有する。図11に示すように、種類判別器3は、近傍領域決定器38、類似度上位辞書画像抽出器34、画像列評価器36、および種類決定器37で構成される。
Embodiment 7 FIG.
Hereinafter, a target identification device according to Embodiment 7 of the present invention will be described with reference to FIGS. FIG. 11 is a configuration diagram of the
実施の形態6における種類判別器3の構成を示した図9と比較すると、類似度算出パラメータ決定器33の代わりに近傍領域決定器38が用いられているとともに、画像列生成器35が構成要素から削除されている点が異なる。
Compared with FIG. 9 showing the configuration of the
次に、実施の形態7の動作について説明する。実施の形態6では、種類判別器3において、観測時系列画像列を構成する個々の画像ごとにマッチング処理を行った後に、その結果の組合せからなる辞書画像列全体に基づく種類判別を行う例を示した。これに対して、本実施の形態7では、種類判別器3において、観測時系列画像列を構成する画像に対し、画像列を構成する順番にマッチング処理を行うことにより複数の候補を選択して、それらの複数の候補をつなげることにより分岐した画像列を生成し、生成した画像列全体の種類判別を行う例を示す。
Next, the operation of the seventh embodiment will be described. In the sixth embodiment, the
近傍領域決定器38は、観測時系列画像列ファイル15からの観測時系列画像列データと、類似度上位辞書画像抽出器34から出力される類似度上位辞書画像情報とを入力とし、類似度算出パラメータを決定して出力する処理を繰り返し、類似度上位辞書画像抽出器34から繰り返し出力される類似度上位辞書画像情報をつなぎ合わせることにより、類似度上位辞書画像列情報を生成して出力する。観測時系列画像列データからは、観測時系列画像列長が与えられる。
The
以下、近傍領域決定器38と類似度上位辞書画像抽出器34とによる繰り返し処理手順を示す。まず、近傍領域決定器38は、最初に観測時系列画像列の第一画像に対し、近傍領域として、全辞書領域を設定し、類似度算出パラメータである類似画像探索対象画像番号として第一画像を示す番号を、探索領域として近傍領域、すなわち、全辞書領域を設定し、出力する。この段階では、類似度上位辞書画像情報の入力はなし、もしくはnull情報が入力される。
Hereinafter, iterative processing procedures by the
次に、類似度上位辞書画像抽出器34は、近傍領域決定器38から出力される類似度算出パラメータと、観測時系列画像列ファイル15からの観測時系列画像列データと、辞書時系列画像列ファイル14からの辞書時系列画像列データとを入力とし、類似度算出パラメータで指定された近傍領域を探索領域として、類似度上位辞書画像を抽出し、位置情報と類似度情報とを含む類似度上位辞書画像情報として出力する。類似度上位辞書画像の抽出数は、固定とする、もしくは実行時に動的に指定可能としてもよい。
Next, the similarity high-order
次に、再び、近傍領域決定器38は、観測時系列画像列ファイル15からの観測時系列画像列データと、類似度上位辞書画像抽出器から出力される類似度上位辞書画像情報とを入力とし、類似度上位辞書画像情報として入力された、第一観測画像に対する全類似度上位辞書画像の位置情報から、各類似度上位辞書画像の近傍領域を決定し、観測時系列画像列の第二画像に対する類似度上位画像の探索領域として設定し、探索領域と類似度探索画像番号として第二画像を示す番号を出力する。
Next, the
次に、再び、類似度上位辞書画像抽出器34は、近傍領域決定器38から出力される類似度算出パラメータと、辞書時系列画像列データとを入力とし、類似度算出パラメータで指定された探索領域内において、類似度上位辞書画像を抽出し、位置情報と類似度情報とを含む類似度上位辞書画像情報として出力する。
Next, again, the similarity higher-order
以下、近傍領域決定器38と類似度上位辞書画像抽出器34との間において、上記の処理を繰り返し、全観測画像列を構成する画像列に対する類似度上位画像を決定したところで、近傍領域決定器38は、最終的に類似度上位辞書画像列を生成し、出力する。例えば、各観測画像に対応する類似度上位L個の画像が抽出され、画像列長がKの場合、LK個の類似度上位辞書画像列が生成される。
Thereafter, the above processing is repeated between the
図12は、本発明の実施の形態7における設定された探索領域及び生成された類似度上位辞書画像列の例示図である。図12は、類似度上位辞書画像抽出数L=3、観測画像列長K=3とした場合において、ある1つの候補目標について抽出されたそれぞれの類似度上位辞書画像を正方形で表している。さらに、それらの正方形を3つ連ねた線で示したものが、生成された類似度上位画像列に相当する。 FIG. 12 is a view showing an example of a set search area and a generated similarity higher-order dictionary image string according to Embodiment 7 of the present invention. FIG. 12 shows each similarity upper dictionary image extracted for one candidate target as a square when the similarity upper dictionary image extraction number L = 3 and the observed image sequence length K = 3. Further, a line formed by connecting three of these squares corresponds to the generated similarity high-order image sequence.
図12の正方形の中で、斜線で塗られた正方形は、画像番号1の観測画像に対する類似度上位辞書画像を示している。すなわち、この斜線で塗られた正方形は、観測時系列画像列の1番目の観測画像に対して、ある1つの候補目標の辞書画像の中から類似度の高い3つの辞書画像を抽出したものに相当する。同様に、黒塗りの正方形は、画像番号2の観測画像に対する類似度上位辞書画像を示し、白塗りの正方形は、画像番号3の観測画像に対する類似度上位辞書画像を示している。
Among the squares in FIG. 12, the hatched squares indicate the similarity higher-order dictionary image with respect to the observation image with the image number 1. That is, the hatched square is obtained by extracting three dictionary images having high similarity from one candidate target dictionary image with respect to the first observation image in the observation time-series image sequence. Equivalent to. Similarly, a black square indicates a similarity high-order dictionary image with respect to an observation image with an
画像番号1の観測画像に対する類似度上位辞書画像(斜線で塗られた正方形)の中心点からの距離が、事前に設定された、探索領域の大きさを定義するパラメータである伸縮係数以内である領域(図12の斜線で塗られた正方形を中心とする円内に相当)を画像番号2の観測画像の探索領域とする。
The distance from the center point of the similarity higher-order dictionary image (square with hatching) with respect to the observation image with the image number 1 is within a preset expansion / contraction coefficient that is a parameter that defines the size of the search area. A region (corresponding to a circle centered on a square painted with diagonal lines in FIG. 12) is set as a search region for the observation image of
画像番号3の観測画像の探索領域は、画像番号2の観測画像の探索領域と同様に、まず、画像番号2の観測画像に対する類似度上位辞書画像(黒塗りの正方形)の中心点からの距離が伸縮係数以内である領域が設定された後に、さらに画像間を結ぶ線分のなす角度がより直線に近くなるように制限される(図12の黒塗りの正方形を中心とする扇形領域に相当)。
The search area for the observation image with the
具体的には、斜線で塗られた正方形と黒塗りの正方形とを結ぶ線分と、黒塗りの正方形と白塗りの正方形とを結ぶ線分とのなす角度が、事前に設定された、探索領域の角度を定義するパラメータである角度係数以内となる領域を画像番号3の観測画像の探索領域とする。以下同様にして、近傍領域決定器38は、後続の探索領域を設定していき、類似度上位辞書画像抽出器34は、探索領域内から類似度上位辞書画像を抽出する処理を繰り返す。
Specifically, a search is performed in which the angle between the line connecting the hatched square and the black square and the line connecting the black square and the white square is set in advance. A region that is within an angle coefficient that is a parameter that defines the angle of the region is set as a search region for the observation image of
そして、近傍領域決定器38は、繰り返し抽出された類似度上位辞書画像から、最終的な類似度上位辞書画像列を決定する。ここで、伸縮係数と角度係数は、事前に設定された固定値とする場合を示したが、実行時に指定可能としてもよい。
Then, the
なお、画像番号3の観測画像以降の探索領域は、必ずしも直線上の一方向ではなく、両方向に設定可能とする。図13は、本発明の実施の形態7における画像番号3の観測画像以降の探索領域の説明図である。図13の黒塗りの正方形が画像番号2の観測画像に対する類似度上位辞書領域とすると、画像番号3の観測画像の探索領域は、図13の白塗りの正方形のように設定する。
The search area after the observation image with the
これにより、画像番号3の観測画像の探索領域は、斜線で塗られた正方形の領域も含めることができる。その結果として、類似度上位画像列の折り返しが許容され、目標の振動運動への対応が可能となる。
Thereby, the search area of the observation image of
画像列評価器36は、近傍領域決定器38から出力される類似度上位辞書画像列情報を入力とし、類似度上位辞書画像列の評価を行い、候補目標評価値を決定し出力する。類似度上位辞書画像列の評価は、各類似度上位辞書画像列の類似度から算出する類似度評価値に基づいて行う。類似度評価値としては、実施の形態6同様、例えば、各類似度上位辞書画像列を構成する類似度上位辞書画像の類似度の分散、及び類似度合計値を求める。類似度の分散が少なく、合計値が高いほど、評価値が高くなるよう設定する。類似度上位辞書画像列の類似度評価値のうち、もっとも高い値を該候補目標の候補目標評価値として出力する。
The
種類決定器37は、画像列評価器36から出力されるそれぞれの候補目標に対する候補目標評価値を入力とし、観測目標の種類判別結果を決定し出力する。具体的には、種類決定器37は、各候補目標の評価値を比較し、もっとも評価値が高い候補目標名を種類判別結果として出力する、あるいは評価値上位の候補目標名を評価値の降順に、順位とともに出力する。
The
実施の形態7によれば、各観測画像に対し、画像列の順番にしたがって、対応する類似度上位辞書画像の近傍領域を算出後、近傍領域内の辞書画像のみとの類似度算出を行うことにより、実施の形態6で示した全観測画像と辞書領域内の全辞書画像との間で類似度算出を行う場合に比べて、さらに類似度算出時の演算量を削減できる。 According to the seventh embodiment, for each observed image, after calculating the neighborhood area of the corresponding higher-order dictionary image according to the order of the image sequence, the similarity with only the dictionary image in the neighborhood area is calculated. As a result, the amount of calculation at the time of calculating the similarity can be further reduced as compared to the case of calculating the similarity between all the observed images and all the dictionary images in the dictionary area shown in the sixth embodiment.
さらに、辞書画像列生成を辞書領域内の隣接画像間で行わずに、近傍領域内の辞書画像から類似度に基づいて抽出して生成する。したがって、辞書領域分割幅の直接的な影響を受けることなく、観測時間の変化や、目標の回転運動の変動に合わせて、辞書を生成可能となり、目標の観測条件に合わせた類識別を行うことができる。 Further, the dictionary image sequence is not generated between adjacent images in the dictionary area, but is extracted from the dictionary images in the neighboring area based on the similarity. Therefore, it is possible to generate a dictionary in accordance with changes in observation time and fluctuations in target rotational movement without being directly affected by the dictionary area division width, and class identification according to target observation conditions should be performed. Can do.
さらに、近傍領域内で抽出することにより、画像間での距離の違いを許容する形となり、目標の回転運動の加速度変化にも対応可能となる。さらに、近傍領域を一方向でなく、両方向に設定することにより、類似度上位辞書画像列の折り返しが可能となり、目標の振動運動に対応可能となる。 Furthermore, by extracting within the vicinity region, a difference in distance between images is allowed, and it is possible to cope with a change in acceleration of a target rotational motion. Furthermore, by setting the neighborhood region in both directions instead of one direction, the similarity higher-order dictionary image sequence can be folded, and the target vibration motion can be dealt with.
なお、上述の実施の形態においては、辞書時系列画像列生成器2と種類判別器3の組合せのいくつかを説明したが、これに限定されるものではない。図1または図5に示した目標識別装置10に対して、図2または図6に示された辞書時系列画像列生成器2と、図7、図9または図11で示された種類判別器3との任意の組合せを適用することが可能である。
In the above-described embodiment, some combinations of the dictionary time-series
1 目標パラメータ推定器、2 辞書時系列画像列生成器、3 種類判別器、4 観測画像列加工器、10 目標識別装置、11 目標別諸元ファイル、12 追尾ファイル、13 レーダ観測諸元ファイル、14 辞書時系列画像列ファイル、15 観測時系列画像列ファイル、16 種類判別結果ファイル、17 シミュレーション画像ファイル、21 辞書領域分割幅決定器、21a 複数辞書領域分割幅決定器、22 辞書領域分割器、23 シミュレーション画像生成器、24 分割領域辞書画像決定器、25 辞書時系列画像列決定器、26 辞書領域分割幅選択器、31 種類学習器、32 種類算出器、33 類似度算出パラメータ決定器、34 類似度上位辞書画像抽出器、35 画像列生成器、36 画像列評価器、37 種類決定器、38 近傍領域決定器。 1 target parameter estimator, 2 dictionary time-series image sequence generator, 3 type discriminator, 4 observation image sequence processor, 10 target identification device, 11 target specification file, 12 tracking file, 13 radar observation specification file, 14 dictionary time-series image sequence file, 15 observation time-series image sequence file, 16 type discrimination result file, 17 simulation image file, 21 dictionary area division width determiner, 21a multiple dictionary area division width determiner, 22 dictionary area divider, 23 simulation image generator, 24 divided region dictionary image determiner, 25 dictionary time-series image sequence determiner, 26 dictionary region divided width selector, 31 type learner, 32 type calculator, 33 similarity calculation parameter determiner, 34 Similarity upper dictionary image extractor, 35 image sequence generator, 36 image sequence evaluator, 37 type determiner, 3 8 Neighborhood determiner.
Claims (9)
候補目標の3次元形状データである目標別諸元データと、前記レーダ観測諸元データと、前記目標パラメータ推定器からの目標パラメータ推定値とに基づいて、候補目標ごとの辞書時系列画像列データを生成する辞書時系列画像列生成器と、
種類不明の目標をレーダで観測して得られた観測時系列画像列データと、前記辞書時系列画像列生成器からの前記辞書時系列画像列データとに基づいて、前記観測時系列画像列データに含まれる種類不明の目標の種類判別を行う種類判別器と
を備えたことを特徴とする目標識別装置。 Target data related to the motion or attitude of the target based on the tracking data, which is the position / velocity information of the target, and the radar observation data, including the tracking data of the candidate target observed by the radar and the tracking data generated by the simulation A target parameter estimator for estimating parameter estimates;
Dictionary time-series image sequence data for each candidate target based on the target-specific data that is the three-dimensional shape data of the candidate target, the radar observation data, and the target parameter estimation value from the target parameter estimator A dictionary time-series image sequence generator for generating
Based on the observed time-series image sequence data obtained by observing an unknown target with a radar and the dictionary time-series image sequence data from the dictionary time-series image sequence generator, the observed time-series image sequence data A type discriminator comprising: a type discriminator for discriminating the type of a target of unknown type included in.
前記レーダ観測諸元データと前記観測時系列画像列データとに基づいて、画像列に全画素強度が0の画像を挿入することで観測時系列画像列データの長さを伸長して観測画像列加工データを生成し、前記観測画像列加工データの長さである加工画像列長を算出する観測画像列加工器をさらに備え、
前記辞書時系列画像列生成器は、前記目標別諸元データと、前記レーダ観測諸元データと、前記目標パラメータ推定値と、前記観測画像列加工器からの前記加工画像列長とに基づいて、候補目標ごとの辞書時系列画像列データを生成し、
前記種類判別器は、観測画像列加工器からの前記観測画像列加工データと、前記辞書時系列画像列生成器からの辞書時系列画像列データとに基づいて、前記観測画像列加工データに含まれる種類不明の目標の種類判別を行う
ことを特徴とする目標識別装置。 The target identification device according to claim 1,
Based on the radar observation data and the observation time-series image sequence data, the length of the observation time-series image sequence data is expanded by inserting an image with all pixel intensities being zero in the image sequence. Further comprising an observed image sequence processor for generating processed data and calculating a processed image sequence length that is the length of the observed image sequence processed data;
The dictionary time-series image sequence generator is based on the target specification data, the radar observation specification data, the target parameter estimation value, and the processed image sequence length from the observation image sequence processor. , Generate dictionary time-series image sequence data for each candidate target,
The type discriminator is included in the observed image sequence processed data based on the observed image sequence processed data from the observed image sequence processor and the dictionary time-series image sequence data from the dictionary time-series image sequence generator. A target discriminating apparatus characterized by discriminating the type of a target whose type is unknown.
前記レーダ観測諸元データと前記観測時系列画像列データとに基づいて、画像列から指定した位置の画像を削除することで観測時系列画像列データの長さを縮小して観測画像列加工データを生成し、前記観測画像列加工データの長さである加工画像列長を算出する観測画像列加工器をさらに備え、
前記辞書時系列画像列生成器は、前記目標別諸元データと、前記レーダ観測諸元データと、前記目標パラメータ推定値と、前記観測画像列加工器からの前記加工画像列長とに基づいて、候補目標ごとの辞書時系列画像列データを生成し、
前記種類判別器は、観測画像列加工器からの前記観測画像列加工データと、前記辞書時系列画像列生成器からの辞書時系列画像列データとに基づいて、前記観測画像列加工データに含まれる種類不明の目標の種類判別を行う
ことを特徴とする目標識別装置。 The target identification device according to claim 1,
Based on the radar observation data and the observation time series image sequence data, the length of the observation time series image sequence data is reduced by deleting the image at the specified position from the image sequence , and the observed image sequence processing data And an observation image sequence processor for calculating a processed image sequence length that is the length of the observed image sequence processing data,
The dictionary time-series image sequence generator is based on the target specification data, the radar observation specification data, the target parameter estimation value, and the processed image sequence length from the observation image sequence processor. , Generate dictionary time-series image sequence data for each candidate target,
The type discriminator is included in the observed image sequence processed data based on the observed image sequence processed data from the observed image sequence processor and the dictionary time-series image sequence data from the dictionary time-series image sequence generator. A target discriminating apparatus characterized by discriminating the type of a target whose type is unknown.
前記辞書時系列画像列生成器は、
前記目標別諸元データに基づいて、辞書領域分割幅を決定する辞書領域分割幅決定器と、
前記辞書領域分割幅決定器からの前記辞書領域分割幅に基づいて、辞書領域の分割を行い、辞書領域分割結果を算出する辞書領域分割器と、
前記目標別諸元データと、前記辞書領域分割器からの前記辞書領域分割結果とに基づいて、各分割領域から観測した候補目標ごとの画像データであるシミュレーション画像データを生成するシミュレーション画像生成器と、
前記シミュレーション画像データと、前記目標パラメータ推定器からの前記目標パラメータ推定値とに基づいて、各分割領域の辞書画像である分割領域辞書画像を決定する分割領域辞書画像決定器と、
前記レーダ観測諸元データと、前記分割領域辞書画像決定器からの前記分割領域辞書画像とに基づいて、複数の分割領域辞書画像からなる候補目標ごとの辞書時系列画像列データを決定する辞書時系列画像列決定器と
を備えたことを特徴とする目標識別装置。 The target identification device according to any one of claims 1 to 3,
The dictionary time series image sequence generator
A dictionary area division width determiner for determining a dictionary area division width based on the target-specific data;
Based on the dictionary region division width from the dictionary region division width determiner, the dictionary region is divided, and a dictionary region division unit that calculates a dictionary region division result;
A simulation image generator for generating simulation image data, which is image data for each candidate target observed from each divided area, based on the target-specific data and the dictionary area division result from the dictionary area divider; ,
A divided region dictionary image determiner that determines a divided region dictionary image that is a dictionary image of each divided region based on the simulation image data and the target parameter estimation value from the target parameter estimator;
Based on the radar observation data and the divided region dictionary image from the divided region dictionary image determiner, the dictionary time series image sequence data for each candidate target consisting of a plurality of divided region dictionary images is determined. A target identification apparatus comprising: a sequence image sequence determiner.
前記辞書時系列画像列生成器は、
前記目標別諸元データに基づいて、辞書領域分割幅を複数の辞書領域分割幅候補値として決定する辞書領域分割幅決定器と、
前記辞書領域分割幅決定器からの前記複数の辞書領域分割幅候補値に基づいて、辞書領域の分割を行い、辞書領域分割結果群を求める辞書領域分割器と、
前記目標別諸元データと、前記辞書領域分割器からの前記辞書領域分割結果群とに基づいて、辞書領域分割結果群を構成する分割領域から観測した候補目標ごとの画像データであるシミュレーション画像データを生成し、シミュレーション画像データ群を算出するシミュレーション画像生成器と、
前記レーダ観測諸元データと、前記目標パラメータ推定器からの前記目標パラメータ推定値とに基づいて、前記辞書領域分割幅決定器からの前記辞書領域分割幅候補値から辞書領域分割幅を選択する辞書領域分割幅選択器と、
前記シミュレーション画像データ群と、前記目標パラメータ推定器からの前記目標パラメータ推定値と、前記辞書領域分割幅選択器からの前記辞書領域分割幅とに基づいて、前記シミュレーション画像データ群の中からシミュレーション画像データを抽出して、各分割領域の辞書画像である分割領域辞書画像を決定する分割領域辞書画像決定器と、
前記レーダ観測諸元データと、前記分割領域辞書画像決定器からの前記分割領域辞書画像とに基づいて、複数の分割領域辞書画像からなる候補目標ごとの辞書時系列画像列データを決定する辞書時系列画像列決定器と
を備えたことを特徴とする目標識別装置。 The target identification device according to any one of claims 1 to 3,
The dictionary time series image sequence generator
A dictionary area division width determiner for determining a dictionary area division width as a plurality of dictionary area division width candidate values based on the target-specific data;
Based on the plurality of dictionary area division width candidate values from the dictionary area division width determiner, the dictionary area division is performed to obtain a dictionary area division result group by dividing the dictionary area;
Simulation image data which is image data for each candidate target observed from the divided areas constituting the dictionary area division result group based on the specification data by target and the dictionary area division result group from the dictionary area divider A simulation image generator for generating a simulation image data group,
A dictionary that selects a dictionary area division width from the dictionary area division width candidate value from the dictionary area division width determiner based on the radar observation data and the target parameter estimation value from the target parameter estimator An area division width selector;
Based on the simulation image data group, the target parameter estimation value from the target parameter estimator, and the dictionary area division width from the dictionary area division width selector, a simulation image is selected from the simulation image data group. A divided region dictionary image determiner that extracts data and determines a divided region dictionary image that is a dictionary image of each divided region;
Based on the radar observation data and the divided region dictionary image from the divided region dictionary image determiner, the dictionary time series image sequence data for each candidate target consisting of a plurality of divided region dictionary images is determined. A target identification apparatus comprising: a sequence image sequence determiner.
前記辞書領域分割幅決定器は、辞書領域分割幅を位置によって変更することを特徴とする目標識別装置。 In the target identification device according to claim 4 or 5,
The dictionary area division width determiner changes the dictionary area division width according to a position.
前記種類判別器は、
前記辞書時系列画像列データに基づいて種類学習結果を求める種類学習器と、
前記種類学習器からの前記種類学習結果と、前記観測時系列画像列ファイルからの前記観測時系列画像列データとに基づいて、前記観測時系列画像列データに含まれる種類不明の目標の種類判別を行う種類算出器と
を備えたことを特徴とする目標識別装置。 In the target identification device according to any one of claims 1 to 6,
The type discriminator is:
A type learner for obtaining a type learning result based on the dictionary time-series image sequence data;
Based on the type learning result from the type learner and the observation time series image sequence data from the observation time series image sequence file, the type determination of the type unknown target included in the observation time series image sequence data A target discriminating apparatus comprising: a type calculator for performing
前記種類判別器は、
前記観測時系列画像列データを構成するそれぞれの観測画像および類似画像検索領域を特定する類似度算出パラメータを決定する類似度算出パラメータ決定器と、
前記類似度算出パラメータ決定器からの前記類似度算出パラメータと、前記観測時系列画像列ファイルからの前記観測時系列画像列データと、前記辞書時系列画像列ファイルからの前記辞書時系列画像列データとに基づいて、前記観測時系列画像列データを構成するそれぞれの観測画像に対して候補目標ごとに類似度上位の辞書画像を抽出し、位置情報と類似度情報とを含む類似度上位辞書画像情報を生成する類似度上位辞書画像抽出器と、
前記類似度上位辞書画像情報に基づいて、前記観測時系列画像列データの画像列長と等しい画像列となる複数の類似度上位辞書画像列を候補目標ごとに生成し、前記位置情報と前記類似度情報とを含む類似度上位辞書画像列情報を生成する画像列生成器と、
前記画像列生成器からの候補目標ごとの前記複数の類似度上位辞書画像列情報および前記辞書時系列画像列データに基づいて、前記複数の類似度上位辞書画像列の評価を行い、候補目標ごとの候補目標評価値を決定する画像列評価器と、
前記画像列評価器からの前記候補目標評価値に基づいて、前記種類不明の目標の種類判別を行う種類決定器と
を備えたことを特徴とする目標識別装置。 In the target identification device according to any one of claims 1 to 6,
The type discriminator is:
A degree-of-similarity calculation parameter determiner for determining a degree-of-similarity calculation parameter that specifies each observation image and similar image search area constituting the observation time-series image sequence data;
The similarity calculation parameter from the similarity calculation parameter determiner, the observation time series image sequence data from the observation time series image sequence file, and the dictionary time series image sequence data from the dictionary time series image sequence file Based on the above, a similarity high-order dictionary image including position information and similarity information is extracted for each candidate target for each observation image constituting the observation time-series image sequence data. A similarity high-order dictionary image extractor that generates information;
Based on the similarity high-order dictionary image information, a plurality of similarity high-order dictionary image sequences that are image sequences equal to the image sequence length of the observation time-series image sequence data are generated for each candidate target, and the position information and the similarity An image sequence generator for generating similarity high-order dictionary image sequence information including degree information,
Based on the plurality of similarity higher-order dictionary image sequence information and the dictionary time-series image sequence data for each candidate target from the image sequence generator, the plurality of similarity upper-level dictionary image sequences are evaluated, and each candidate target is evaluated. An image sequence evaluator that determines candidate target evaluation values for
And a type determiner for determining the type of the unknown target based on the candidate target evaluation value from the image sequence evaluator.
前記種類判別器は、
観測画像および類似画像検索領域が特定された類似度算出パラメータと、前記観測時系列画像列ファイルからの前記観測時系列画像列データと、前記辞書時系列画像列ファイルからの前記辞書時系列画像列データとに基づいて、前記観測時系列画像列データを構成するそれぞれの観測画像に対して候補目標ごとに類似度上位の辞書画像を抽出し、位置情報と類似度情報とを含む類似度上位辞書画像情報を生成する類似度上位辞書画像抽出器と、
前記類似度上位辞書画像抽出器からの前記類似度上位辞書画像情報に基づいて類似画像検索領域を特定し、前記観測時系列画像列データを構成するそれぞれの観測画像および前記類似画像検索領域を含む類似度算出パラメータを決定し、決定した前記類似度算出パラメータを類似度上位辞書画像抽出器に対して出力した応答として前記類似度上位辞書画像情報を取得する処理を、前記観測時系列画像列データを構成する画像列長に応じて繰り返し、候補目標ごとに前記画像列長に応じた類似度上位辞書画像列情報を生成する近傍領域決定器と、
前記近傍領域決定器からの候補目標ごとの前記複数の類似度上位辞書画像列情報に基づいて、前記複数の類似度上位辞書画像列の評価を行い、候補目標ごとの候補目標評価値を決定する画像列評価器と、
前記画像列評価器からの前記候補目標評価値に基づいて、前記種類不明の目標の種類判別を行う種類決定器と
を備えたことを特徴とする目標識別装置。 In the target identification device according to any one of claims 1 to 6,
The type discriminator is:
A similarity calculation parameter in which an observation image and a similar image search area are specified, the observation time series image sequence data from the observation time series image sequence file, and the dictionary time series image sequence from the dictionary time series image sequence file Based on the data, a high-similarity dictionary including position information and similarity information is extracted for each candidate target based on the observation time-series image sequence data, and a dictionary image with high similarity is extracted for each candidate target. A similarity high-order dictionary image extractor for generating image information;
A similar image search area is specified based on the similarity high-order dictionary image information from the similarity high-order dictionary image extractor, and each observation image and the similar image search area constituting the observation time-series image sequence data are included. A process for determining the similarity calculation parameter and obtaining the similarity higher dictionary image information as a response to the determined similarity calculation parameter output to the similarity higher dictionary image extractor is performed as the observation time-series image string data. A neighborhood region determiner that repeats according to the image sequence length that constitutes and generates similarity higher-order dictionary image sequence information according to the image sequence length for each candidate target;
Based on the plurality of similarity high-order dictionary image string information for each candidate target from the neighborhood region determiner, the plurality of similarity high-level dictionary image strings are evaluated, and a candidate target evaluation value for each candidate target is determined. An image sequence evaluator;
And a type determiner for determining the type of the unknown target based on the candidate target evaluation value from the image sequence evaluator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005051538A JP4772341B2 (en) | 2005-02-25 | 2005-02-25 | Target identification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005051538A JP4772341B2 (en) | 2005-02-25 | 2005-02-25 | Target identification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006234678A JP2006234678A (en) | 2006-09-07 |
JP4772341B2 true JP4772341B2 (en) | 2011-09-14 |
Family
ID=37042479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005051538A Expired - Fee Related JP4772341B2 (en) | 2005-02-25 | 2005-02-25 | Target identification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4772341B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2492502C1 (en) * | 2012-02-29 | 2013-09-10 | ОАО "Корпорация "Фазотрон-Научно-исследовательский институт радиостроения" | Method of resolving group target |
RU2524349C2 (en) * | 2011-12-26 | 2014-07-27 | Открытое акционерное общество "Научно-производственная корпорация "Конструкторское бюро машиностроения" | Method for detection of target pulse and measurement of its parameters |
RU2692470C2 (en) * | 2016-11-21 | 2019-06-25 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Method of complex identification of objects detected by a radar station |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5660978B2 (en) * | 2011-06-07 | 2015-01-28 | 三菱電機株式会社 | Target classifier |
EP3023808A4 (en) * | 2013-07-18 | 2017-09-06 | Mitsubishi Electric Corporation | Target type identification device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3668928B2 (en) * | 2000-03-21 | 2005-07-06 | 三菱電機株式会社 | Radar equipment |
JP3697433B2 (en) * | 2002-08-29 | 2005-09-21 | 三菱電機株式会社 | Target identification device |
JP4140827B2 (en) * | 2002-12-06 | 2008-08-27 | 三菱電機株式会社 | Observation target class identification device |
JP3750860B2 (en) * | 2002-12-27 | 2006-03-01 | 三菱電機株式会社 | Image radar device |
-
2005
- 2005-02-25 JP JP2005051538A patent/JP4772341B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2524349C2 (en) * | 2011-12-26 | 2014-07-27 | Открытое акционерное общество "Научно-производственная корпорация "Конструкторское бюро машиностроения" | Method for detection of target pulse and measurement of its parameters |
RU2524349C9 (en) * | 2011-12-26 | 2021-04-20 | Открытое акционерное общество "Научно-производственная корпорация "Конструкторское бюро машиностроения" | Method for detection of target pulse and measurement of its parameters |
RU2492502C1 (en) * | 2012-02-29 | 2013-09-10 | ОАО "Корпорация "Фазотрон-Научно-исследовательский институт радиостроения" | Method of resolving group target |
RU2492502C9 (en) * | 2012-02-29 | 2013-11-27 | ОАО "Корпорация "Фазотрон-Научно-исследовательский институт радиостроения" | Method of resolving group target |
RU2692470C2 (en) * | 2016-11-21 | 2019-06-25 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Method of complex identification of objects detected by a radar station |
Also Published As
Publication number | Publication date |
---|---|
JP2006234678A (en) | 2006-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10380413B2 (en) | System and method for pose-invariant face alignment | |
JP5677798B2 (en) | 3D object recognition and position and orientation determination method in 3D scene | |
KR101588254B1 (en) | Improvements in or relating to three dimensional close interactions | |
EP2720171B1 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
US20110103700A1 (en) | Image classification device and image classification program | |
JP5251080B2 (en) | Object recognition method | |
EP2302581A1 (en) | Finger shape estimating device, and finger shape estimating method and program | |
JP4772341B2 (en) | Target identification device | |
CN112651944B (en) | 3C component high-precision six-dimensional pose estimation method and system based on CAD model | |
JP2012113353A (en) | Specific area selection device, specific area selection method and program | |
JP7439004B2 (en) | Behavior recognition device, learning device, and behavior recognition method | |
JP7424573B2 (en) | 3D model generation device based on 3D point cloud data | |
Gokberk et al. | Comparative analysis of decision-level fusion algorithms for 3D face recognition | |
US20210272295A1 (en) | Analysing Objects in a Set of Frames | |
CN110546687B (en) | Image processing device and two-dimensional image generation program | |
JP4721829B2 (en) | Image retrieval method and apparatus | |
CN110580497B (en) | Spatial scene matching method based on rotation invariance | |
JPH0620055A (en) | Method and device for picture signal processing | |
JP7059701B2 (en) | Estimator, estimation method, and estimation program | |
JP6725310B2 (en) | Image processing device and program | |
EP1828959A1 (en) | Face recognition using features along iso-radius contours | |
WO2022162844A1 (en) | Work estimation device, work estimation method, and work estimation program | |
JP4917575B2 (en) | Database device for image search, database management method for image search, and program | |
JP7252591B2 (en) | Image processing method and image processing apparatus by geometric shape matching | |
JP7367775B2 (en) | Feature learning system, feature learning method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110622 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |