JP6049882B2 - 目標類識別装置 - Google Patents

目標類識別装置 Download PDF

Info

Publication number
JP6049882B2
JP6049882B2 JP2015527321A JP2015527321A JP6049882B2 JP 6049882 B2 JP6049882 B2 JP 6049882B2 JP 2015527321 A JP2015527321 A JP 2015527321A JP 2015527321 A JP2015527321 A JP 2015527321A JP 6049882 B2 JP6049882 B2 JP 6049882B2
Authority
JP
Japan
Prior art keywords
pattern
polygon
luminance
dictionary
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015527321A
Other languages
English (en)
Other versions
JPWO2015008798A1 (ja
Inventor
かおり 川上
かおり 川上
啓 諏訪
啓 諏訪
赳寛 星野
赳寛 星野
照幸 原
照幸 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6049882B2 publication Critical patent/JP6049882B2/ja
Publication of JPWO2015008798A1 publication Critical patent/JPWO2015008798A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)

Description

この発明は、目標の種類を判定する目標類識別装置に関するものである。
従来の目標類識別装置では、事前に、種類が既知である既知目標(例えば、機種が既知の飛行機など)の参照画像から特徴量辞書を生成しておき、レーダ観測で得られた静止目標(種類判定対象の未知目標)の観測画像と複数の特徴量辞書を照合することで、静止目標の種類を判定するようにしている。
ここで、参照画像は、一般的に、事前に観測された実画像(一部の諸元が未知の画像)、または、計算機のシミュレーションで生成されたシミュレーション画像(諸元既知の画像)のいずれかである。
また、以下の非特許文献1には、レーダ観測画像から目標形状を表す特徴量を抽出し(例えば、テクスチャ特徴として、輝度分布の標準偏差や、フラクタル次元等を抽出する)、その特徴量と参照画像から生成された特徴量辞書とを照合することで、目標を類別する目標類識別装置が開示されている。
Leslie M,Novak"Performance of a High-Resolution Polarimetric SAR Automatic Target Recognition System",The Lincoln Journal,vol.6,No.1,1993
従来の目標類識別装置は以上のように構成されているので、レーダ観測画像から目標形状を表す特徴量を抽出する必要があるが、例えば、分解能等の制約により、所望の特徴点を抽出することができずに、目標を正確に類別することができないことがある課題があった。
また、特徴量の抽出精度が抽出対象の特徴点(特徴量)の選択精度に依存するため、特徴量の抽出精度が低い場合もあり、このような場合には、目標を正確に類別することができない課題があった。
なお、レーダ観測画像と事前に得られている各機種の参照画像とのパターンマッチングを実施して、目標を類別する手法を用いれば、分解能の制約や、特徴量の選択精度に依存しないで、目標を類別することができるが、輝度分布状況の変動(画素間の相対的な輝度値の大小や、観測条件の変動に伴う新たな高輝度点の発生)等が起きると、生成されるフィルタの輝度分布が発散して、異機種との適合度が高くなり、その結果、誤検出が起き易くなる課題があった。
この発明は上記のような課題を解決するためになされたもので、分解能の制約や特徴量の選択精度の影響を受けることなく、観測諸元等の微小な変動があっても、目標を正確に類別することができる目標類識別装置を得ることを目的とする。
この発明に係る目標類識別装置は、種類判定対象の目標が観測されたレーダ画像である観測画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出して、その抽出した複数の輝度点を頂点とする多角形の形状パターンである目標多角形パターンを生成する多角形パターン生成手段と、辞書画像からそれぞれ抽出された輝度値が輝度閾値以上の画素である輝度点を頂点とする多角形の形状パターンである辞書多角形パターンと多角形パターン生成手段により生成された目標多角形パターンを照合するパターン照合手段とを設け、種類判定手段が、パターン照合手段による多角形パターンの照合結果を用いて、種類判定対象の目標の種類を判定するようにしたものである。
この発明によれば、種類判定対象の目標が観測された画像であるレーダ画像である観測画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出して、その抽出した複数の輝度点を頂点とする多角形の形状パターンである目標多角形パターンを生成する多角形パターン生成手段と、辞書画像からそれぞれ抽出された輝度値が輝度閾値以上の画素である輝度点を頂点とする多角形の形状パターンである辞書多角形パターンと多角形パターン生成手段により生成された目標多角形パターンを照合するパターン照合手段とを設け、種類判定手段が、パターン照合手段による多角形パターンの照合結果を用いて、種類判定対象の目標の種類を判定するように構成したので、分解能の制約や特徴量の選択精度の影響を受けることなく、観測諸元等の微小な変動があっても、目標を正確に類別することができる効果がある。
この発明の実施の形態1による目標類識別装置を示す構成図である。 この発明の実施の形態1による目標類識別装置の処理内容を示すフローチャートである。 多角形パターン生成部6による辞書多角形パターン(三角形状のパターン)の生成例を示す説明図である。 パターン照合部10による辞書多角形パターンと目標多角形パターンの照合例を示す説明図である。 多角形パターンを構成する輝度点の許容存在領域の設定例を示す説明図である。 多角形パターンペア間の適合度の評価指標の一例を示す説明図である。 パターン統合/拡張部12の統合処理で多角形化される辞書多角形パターン及び目標多角形パターンを示す説明図である。 辞書多角形パターン及び目標多角形パターンを構成している輝度点の座標系の変換例を示す説明図である。 辞書多角形パターンと目標多角形パターンの位置関係の評価例を示す説明図である。 この発明の実施の形態7による目標類識別装置を示す構成図である。 パターン拡張部17の拡張処理で多角形化される辞書多角形パターン及び目標多角形パターンを示す説明図である。 目標類識別装置における目標レーダ画像(参照画像、観測画像)の一例を示す説明図である。 図12の目標レーダ画像から抽出された輝度点を表している説明図である。 多角形パターン生成部6により輝度点の集約処理が実施された場合の集約処理後の輝度点を表している説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1はこの発明の実施の形態1による目標類識別装置を示す構成図である。
図1において、参照画像データ格納部1は例えばRAMやハードディスクなどの記憶装置から構成されており、種類が既知の各々の既知目標(例えば、機種が既知の飛行機、船舶や車両など)の画像である参照画像を示す参照画像データLや、その参照画像データLの観測諸元を格納している。なお、参照画像データ格納部1は参照画像データ格納手段を構成している。
参照画像データは、事前に観測された既知目標の実画像、または、計算機のシミュレーションで生成された既知目標のシミュレーション画像のいずれかであり、参照画像データ格納部1には、複数の既知目標の参照画像データが格納されている。
観測画像データ格納部2は例えばRAMやハードディスクなどの記憶装置から構成されており、種類判定対象の未知目標(例えば、機種が未知の飛行機、船舶や車両など)が観測された画像である観測画像を示す観測画像データTや、その観測画像データTの観測諸元を格納している。なお、観測画像データ格納部2は観測画像データ格納手段を構成している。
図1には記載していないが、観測画像データ格納部2の入力側には、撮像装置や信号処理装置が接続されている。
信号処理装置は、撮像装置により撮像された観測画像を示す観測画像データTを算出する装置である。
画像調整部3は参照画像データ格納部1により格納されている複数の参照画像データLに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の参照画像データL(以下、「画像調整後参照画像データL’」と称する)を辞書画像データ生成部4に出力する処理を実施する。
また、画像調整部3は観測画像データ格納部2により格納されている観測画像データTに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の観測画像データT(以下、「画像調整後観測画像データT’」と称する)を多角形パターン生成部6に出力する処理を実施する。なお、画像調整部3は画像調整手段を構成している。
辞書画像データ生成部4は参照画像データ格納部1により格納されている複数の参照画像データLの観測諸元と既知の種類別に、画像調整部3から出力された複数の画像調整後参照画像データL’をグループ分けし(例えば、既知目標の種類の数がNあれば、複数の画像調整後参照画像データL’をN個のクラスに分類してから、各クラスに属する画像調整後参照画像データL’を観測諸元によって、それぞれグループ分けする)、各グループの画像調整後参照画像データL’から、観測画像との照合に用いる各グループの辞書画像を示す辞書画像データを生成する処理を実施する。なお、辞書画像データ生成部4は辞書画像データ生成手段を構成している。
辞書画像データ格納部5は例えばRAMやハードディスクなどの記憶装置から構成されており、辞書画像データ生成部4により生成された各グループの辞書画像データを格納する。
多角形パターン生成部6は辞書画像データ格納部5により格納されている各グループの辞書画像データが示す辞書画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする辞書多角形パターンを生成する処理を実施する。
また、多角形パターン生成部6は画像調整部3から出力された画像調整後観測画像データT’が示す観測画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする目標多角形パターンを生成する処理を実施する。なお、多角形パターン生成部6は多角形パターン生成手段を構成している。
辞書多角形パターン格納部7は例えばRAMやハードディスクなどの記憶装置から構成されており、多角形パターン生成部6により生成された各グループに属する複数の辞書多角形パターンを格納する。
目標多角形パターン格納部8は例えばRAMやハードディスクなどの記憶装置から構成されており、多角形パターン生成部6により生成された複数の目標多角形パターンを格納する。
多角形パターン選択部9は辞書多角形パターン格納部7により格納されている複数の辞書多角形パターンの中から、照合対象の辞書多角形パターンを選択して、その辞書多角形パターンをパターン照合部10に出力するとともに、目標多角形パターン格納部8により格納されている複数の目標多角形パターンの中から、照合対象の目標多角形パターンを選択して、その目標多角形パターンをパターン照合部10に出力する処理を実施する。なお、多角形パターン選択部9は多角形パターン選択手段を構成している。
パターン照合部10は多角形パターン選択部9から出力された各グループに属する複数の辞書多角形パターンと、複数の目標多角形パターンとを照合する処理を実施する。
また、パターン照合部10はパターン統合/拡張部12による統合処理/拡張処理後の辞書多角形パターンと統合処理/拡張処理後の目標多角形パターンとを照合する処理を実施する。
パターン照合結果格納部11は例えばRAMやハードディスクなどの記憶装置から構成されており、パターン照合部10の照合結果を格納する。
パターン統合/拡張部12はパターン照合部10の照合結果を参照して、複数の辞書多角形パターンと複数の目標多角形パターンとの組み合わせの中で、対応関係がある辞書多角形パターンと目標多角形パターンのペアを複数特定し、その特定した複数のペアにおける辞書多角形パターン同士を統合するとともに、その特定した複数のペアにおける目標多角形パターン同士を統合する処理を実施する。
また、パターン統合/拡張部12は対応関係がある辞書多角形パターンと目標多角形パターンのペアを特定する処理を実施したのち、多角形パターン生成部6により観測画像から抽出された輝度点の中に、前記ペアにおける目標多角形パターンの構成点に含まれていない輝度点が存在している場合、その輝度点に対応する辞書画像内の輝度点を探索し、その輝度点に対応する輝度点が辞書画像内にあれば、対応関係がある各輝度点を辞書多角形パターン及び目標多角形パターンの構成点に含めるパターン拡張処理を実施する。
なお、パターン統合/拡張部12はパターン統合部を構成しており、パターン照合部10及びパターン統合/拡張部12はパターン照合手段を構成している。
全体適合度算出部13はパターン照合部10による各グループの統合処理/拡張処理後の辞書多角形パターンと統合処理/拡張処理後の目標多角形パターンとの照合結果を用いて、各グループの全体適合度を算出する処理を実施する。
全体適合度データ格納部14は例えばRAMやハードディスクなどの記憶装置から構成されており、全体適合度算出部13により算出された全体適合度を格納する。
種類判定部15は各辞書グループの中で、全体適合度算出部13により算出された全体適合度が最も高い辞書グループを特定して、その辞書グループの種類が未知目標の種類であると判定する処理を実施する。
種類判定結果格納部16は例えばRAMやハードディスクなどの記憶装置から構成されており、種類判定部15の種類判定結果を格納する。
なお、全体適合度算出部13及び種類判定部15から種類判定手段が構成されている。
図1の例では、目標類識別装置の構成要素である参照画像データ格納部1、観測画像データ格納部2、画像調整部3、辞書画像データ生成部4、辞書画像データ格納部5、多角形パターン生成部6、辞書多角形パターン格納部7、目標多角形パターン格納部8、多角形パターン選択部9、パターン照合部10、パターン照合結果格納部11、パターン統合/拡張部12、全体適合度算出部13、全体適合度データ格納部14、種類判定部15及び種類判定結果格納部16のそれぞれが専用のハードウェアで構成(格納部以外の構成部は、例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどで構成)されているものを想定しているが、目標類識別装置の全体又は一部がコンピュータで構成されていてもよい。
例えば、目標類識別装置の全体がコンピュータで構成されている場合、参照画像データ格納部1、観測画像データ格納部2、辞書画像データ格納部5、辞書多角形パターン格納部7、目標多角形パターン格納部8、パターン照合結果格納部11、全体適合度データ格納部14及び種類判定結果格納部16をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、画像調整部3、辞書画像データ生成部4、多角形パターン生成部6、多角形パターン選択部9、パターン照合部10、パターン統合/拡張部12、全体適合度算出部13及び種類判定部15の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2はこの発明の実施の形態1による目標類識別装置の処理内容を示すフローチャートである。
この実施の形態1で取り扱うレーダ画像では、類識別法の一手法である点パターンマッチング法で用いられる光学画像と異なり、与えられた観測諸元によってスケーリング(大きさの正規化処理)を前処理として行うことが可能であるため、大きさの変換を基本的に考慮する必要がない。
また、光学画像では、基本的には構成点の位置関係の相似性が保持されるのに対して、レーダ画像では、観測諸元の変動によって、構成点(輝度点)の位置関係の相似性が保たれない。したがって、光学画像では、基本的には辞書画像を1対象物毎に固定できるのに対して、レーダ画像では、観測諸元毎に、異なる辞書画像が必要になる。
具体的には、目標方向角度や、撮像での入射角度を或る範囲でグループ分けして、角度範囲毎に辞書画像を用意する。したがって、角度範囲内に属する画像の輝度分布差に対応可能な辞書画像を用意する必要がある。
次に動作について説明する。
まず、画像調整部3は、参照画像データ格納部1により格納されている複数の参照画像データL(想定される全種類(機種)の参照画像データであって、微小な観測諸元差がある複数の参照画像の画像データ)に対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の参照画像データLである画像調整後参照画像データL’を辞書画像データ生成部4に出力する(図2のステップST1a)。
即ち、画像調整部3は、各々の既知目標の画像である参照画像の視認性を高めるために、例えば、画像の輝度の対数を取ることで、輝度差(濃淡差、振幅差)を小さくするLOG法などを用いて、複数の参照画像データLに対する輝度調整処理(参照画像の輝度を調整する処理)を実施する。
画像調整部3は、複数の参照画像データLに対する輝度調整処理を実施すると、参照画像における1画素当りの目標の大きさが、観測諸元に依存しないようにするために、参照画像データ格納部1により格納されている各参照画像データLの観測諸元に基づいて、複数の参照画像データLに対する大きさの正規化処理(スケーリング)を実施する。
大きさの正規化処理(スケーリング)自体は公知の技術であるため詳細な説明は省略する。
画像調整部3は、複数の参照画像データLに対する輝度調整処理と正規化処理を実施すると、処理後の複数の参照画像の中から、基準となる1つの参照画像を基準画像として任意に選定し、その基準画像と残りの参照画像とを1画素ずつずらしながら重ね合わせを行って、その基準画像と残りの参照画像との相関係数を算出する。
そして、画像調整部3は、その基準画像と残りの参照画像との相関係数が最大になる位置を特定し、その位置を位置合わせ点に決定して、その基準画像と残りの参照画像の位置合わせを行う。
次に、画像調整部3は、観測画像データ格納部2により格納されている観測画像データTに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の観測画像データTである画像調整後観測画像データT’を多角形パターン生成部6に出力する(ステップST1b)。
観測画像データTに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理は、上記の参照画像データLに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理と同様である。
辞書画像データ生成部4は、画像調整部3から想定される全種類(機種)の画像調整後参照画像データL’を受けると、目標の種類(機種)と観測諸元グループの組み合わせ毎に辞書画像データを生成し、その辞書画像データを辞書画像データ格納部5に格納する(ステップST2)。
以下、辞書画像データ生成部4による辞書画像データの生成処理を具体的に説明する。
まず、辞書画像データ生成部4は、参照画像データ格納部1により格納されている複数の参照画像データLの観測諸元と既知の種類別に、画像調整部3から出力された全種類(機種)の画像調整後参照画像データL’をグループ分けする。
例えば、既知目標の種類の数がNあれば、複数の画像調整後参照画像データL’をN個のクラスに分類してから、各クラスに属する画像調整後参照画像データL’を観測諸元によって、それぞれグループ分けする。
例えば、1番目のクラスに属する画像調整後参照画像データL’については、その観測諸元によってM個に分類することが可能であれば、1番目のクラスに属する画像調整後参照画像データL’をM個のグループに分類し、2番目のクラスに属する画像調整後参照画像データL’については、その観測諸元によってG個に分類することが可能であれば、2番目のクラスに属する画像調整後参照画像データL’をG個のグループに分類する。
辞書画像データ生成部4は、全種類(機種)の画像調整後参照画像データL’をグループ分けすると、各グループに属する複数の画像調整後参照画像データL’から、観測画像との照合に用いる各グループの画像である辞書画像を示す辞書画像データをそれぞれ生成する。
辞書画像データの生成方法としては、例えば、相関係数などの指標に基づいて、複数の画像調整後参照画像データL’を統合することで辞書画像データを生成する方法などが考えられる。
具体的には、辞書画像データ生成部4は、例えば、同一のグループに属する複数の画像調整後参照画像データL’をそれぞれ二次元フーリエ変換し、そのフーリエ変換結果をラスタ走査によってベクトル化して参照画像ベクトルをそれぞれ求める。ここでは、画像調整後参照画像データL’を二次元フーリエ変換したのち、そのフーリエ変換結果をラスタ走査によってベクトル化する公知の手法を例示しているが、2次元の画像調整後参照画像データL’を1次元の参照画像ベクトルに変換できるものであればよく、他の手法を用いてもよい。
辞書画像データ生成部4は、複数の画像調整後参照画像データL’から参照画像ベクトルをそれぞれ求めると、複数の参照画像ベクトル間の内積行列を求め、その内積行列と、各参照画像ベクトルの重みベクトル(各参照画像ベクトルの重み値からなるベクトル)との積が1のベクトルになるように、各参照画像ベクトルの重みベクトル(重み値)を求める。
例えば、3個の画像調整後参照画像データL’,L’,L’から参照画像ベクトルV,V,Vをそれぞれ求め、各々の参照画像ベクトル間の相関を表す内積行列を求めているものとする。このとき、内積行列の要素である参照画像ベクトルVと参照画像ベクトルVの内積をIP1−2、参照画像ベクトルVと参照画像ベクトルVの内積をIP2−3、参照画像ベクトルVと参照画像ベクトルVの内積をIP3−1とする。
また、参照画像ベクトルVの重みベクトルをW、参照画像ベクトルVの重みベクトルをW、参照画像ベクトルVの重みベクトルをWとする。
この場合、下記に示すように、各々の内積行列の要素と重みベクトルの積が1になるような重みベクトルW,W,Wを求める。
IP1−2×W=1
IP2−3×W=1
IP3−1×W=1
辞書画像データ生成部4は、重みベクトルW,W,Wを求めると、下記に示すように、その重みベクトルW,W,Wを用いて、重み付き参照画像ベクトルの和を求め、その和を辞書画像ベクトル(辞書画像を示す辞書画像データ)に決定する。
辞書画像ベクトル=V×W+V×W+V×W
以上の手順により、辞書画像ベクトルと全参照画像ベクトルとの相関が全て1になるように、辞書画像ベクトル(辞書画像データ)が算出される。
多角形パターン生成部6は、グループ毎に、辞書画像データ格納部5により格納されている辞書画像データを取得し、その辞書画像データが示す辞書画像から、輝度値が輝度閾値Sb以上の画素をそれぞれ輝度点として抽出する。
ここで、輝度閾値Sbは、高輝度の輝度点を抽出するための閾値であり、事前に設定されている高輝度点の輝度値の下限値などが該当する。
多角形パターン生成部6は、辞書画像から複数の高輝度の輝度点を抽出すると、複数の高輝度の輝度点の中から、N角形(多角形)の頂点に用いる輝度点の組み合わせを複数決定する。
頂点数であるNは3以上の整数であり、事前にパラメータとして設定されているものとする。
例えば、辞書画像から高輝度の輝度点が5点抽出されているとき、三角形の頂点に用いる輝度点の組み合わせを決定する場合、全部で、=10通りの組み合わせが決定される。
ただし、N角形の頂点に用いる輝度点のうち、3点以上が同一直線上に位置する場合、N角形を構成することができないため、このような位置関係がある輝度点の組み合わせは除外する。
多角形パターン生成部6は、N角形の頂点に用いる輝度点の組み合わせを複数決定すると、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする辞書多角形パターンを生成し、その辞書多角形パターンを辞書多角形パターン格納部7に格納する(ステップST3a)。
ここで、図3は多角形パターン生成部6による辞書多角形パターン(三角形状のパターン)の生成例を示す説明図である。
図3において、●は輝度値が輝度閾値Sb以上の高輝度の輝度点、○は輝度値が輝度閾値Sb未満の低輝度の輝度点であり、●の輝度点だけが抽出されている。
特に、図3(a)の辞書画像からは高輝度の輝度点が6個抽出され、図3(b)の辞書画像からは高輝度の輝度点が7個抽出されている。
図3(a)の例では、6個の輝度点が抽出されているので、全部で、=20通りの辞書多角形パターン(三角形状のパターン)が生成される。
また、図3(b)の例では、7個の輝度点が抽出されているので、全部で、=35通りの辞書多角形パターン(三角形状のパターン)が生成される。
図中、辞書多角形パターンは、3個の●を頂点する三角形で表されている。
また、多角形パターン生成部6は、画像調整部3から画像調整後観測画像データT’を受けると、その画像調整後観測画像データT’が示す観測画像から、輝度値が輝度閾値Sb以上の画素をそれぞれ輝度点として抽出する。
多角形パターン生成部6は、観測画像から複数の高輝度の輝度点を抽出すると、辞書画像の場合と同様に、複数の高輝度の輝度点の中から、N角形(多角形)の頂点に用いる輝度点の組み合わせを複数決定する。
多角形パターン生成部6は、N角形の頂点に用いる輝度点の組み合わせを複数決定すると、辞書画像の場合と同様に、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする目標多角形パターンを生成し、その目標多角形パターンを目標多角形パターン格納部8に格納する(ステップST3b)。
多角形パターン選択部9は、多角形パターン生成部6がグループ毎に複数の辞書多角形パターンを生成して辞書多角形パターン格納部7に格納すると、グループ毎に、辞書多角形パターン格納部7により格納されている複数の辞書多角形パターンの中から、照合対象の辞書多角形パターンを選択して、その辞書多角形パターンをパターン照合部10に出力する(ステップST4a)。
例えば、辞書多角形パターン格納部7により格納されている複数の辞書多角形パターン毎に、当該辞書多角形パターンを構成している辺の長さの合計(または、パターンの面積)を求め、複数の辞書多角形パターンを辺の長さの合計(または、パターンの面積)の昇順にソートする。そして、複数の辞書多角形パターンの中から、辺の長さの合計(または、パターンの面積)が小さい順に、辞書多角形パターンを選択して、その辞書多角形パターンを照合対象の辞書多角形パターンに決定する。
また、多角形パターン選択部9は、多角形パターン生成部6が複数の目標多角形パターンを生成して目標多角形パターン格納部8に格納すると、目標多角形パターン格納部8により格納されている複数の目標多角形パターンの中から、照合対象の目標多角形パターンを選択して、その目標多角形パターンをパターン照合部10に出力する(ステップST4b)。
照合対象の目標多角形パターンの選択についても、照合対象の辞書多角形パターンの選択と同様に、各目標多角形パターンを構成している辺の長さの合計(または、パターンの面積)を求めて、複数の目標多角形パターンを辺の長さの合計(または、パターンの面積)の昇順にソートする。そして、複数の目標多角形パターンの中から、辺の長さの合計(または、パターンの面積)が小さい順に、目標多角形パターンを選択して、その目標多角形パターンを照合対象の目標多角形パターンに決定する。
パターン照合部10は、多角形パターン選択部9から辞書多角形パターンと目標多角形パターンを受ける毎に、その辞書多角形パターンと目標多角形パターンを照合して、その辞書多角形パターンと目標多角形パターンの対応関係の有無を判定する(ステップST5)。
即ち、パターン照合部10は、辞書多角形パターンと目標多角形パターンの対応関係の有無の判定基準として、その辞書多角形パターンと目標多角形パターンの適合度を算出する。
パターン照合部10は、その辞書多角形パターンと目標多角形パターンの適合度が事前に設定されている照合閾値Sc以上であれば、その辞書多角形パターンと目標多角形パターンは対応関係が有ると判定する。
パターン照合部10は、対応関係が有ると判定すれば、パターンの照合結果として、例えば、「該当多角形パターンペアの対応関係(対応関係が有る辞書多角形パターンと目標多角形パターンを特定する情報)と、該当多角形パターンペアの適合度(評価値)と、対応関係が有る辞書多角形パターン及び目標多角形パターンの構成点(高輝度の輝度点)の位置情報(例えば、構成点の座標、基軸に対する基本辺のなす角度など)と形状情報(例えば、多角形を構成する辺の長さ、2辺間の角度など)」をパターン照合結果格納部11に格納する。
図4はパターン照合部10による辞書多角形パターンと目標多角形パターンの照合例を示す説明図である。
図4では、辞書多角形パターンと目標多角形パターンが三角形状のパターンである場合の例を示している。
辞書多角形パターンと目標多角形パターンの適合度の算出方法としては、例えば、多角形パターン間の整合の度合から算出する方法などが考えられる。
多角形パターン間の整合の度合は、例えば、多角形が三角形である場合、双方の三角形の形状の一致度及び双方の三角形の位置の一致度などから求めることができる。
ここで、三角形の形状の一致度は、三角形の合同条件の一致度から求めることができ、三角形の合同条件としては、「3辺の長さの一致」、「2辺の長さと、その2辺のはさむ角度の一致」、「1辺の長さと、その両端の角度の一致」がある。
以下、三角形の合同条件の一致度の算出方法を具体的に説明する。
まず、パターン照合部10は、辞書多角形パターンを構成している各々の辺の長さ(3辺の長さ)を算出するとともに、目標多角形パターンを構成している各々の辺の長さ(3辺の長さ)を算出し、双方の多角形パターンにおける各々の辺の長さが全て一致していれば、3辺の長さの一致度である整合度Aを1に決定し、双方の多角形パターンにおける各々の辺の長さが一致していなければ、双方の多角形パターンにおける各々の辺の長さの差分の2乗和の逆数を整合度Aに決定する。
次に、パターン照合部10は、辞書多角形パターンを構成している3辺のうち、例えば、長さが最も長い辺と、2番目に長い辺とに着目して、最も長い辺の長さと2番目に長い辺の長さを算出するとともに、最も長い辺と2番目に長い辺がはさむ角度を特定する。
また、パターン照合部10は、目標多角形パターンを構成している3辺のうち、例えば、長さが最も長い辺と、2番目に長い辺とに着目して、最も長い辺の長さと2番目に長い辺の長さを算出するとともに、最も長い辺と2番目に長い辺がはさむ角度を算出する。
パターン照合部10は、辞書多角形パターンにおける2辺の長さと、目標多角形パターンにおける2辺の長さとが一致していれば、2辺の長さの一致度である整合度Bを1に決定し、辞書多角形パターンにおける2辺の長さと、目標多角形パターンにおける2辺の長さとが一致していなければ、双方の多角形パターンにおける各々の辺(最も長い辺、2番目に長い辺)の長さの差分の2乗和の逆数を整合度Bに決定する。
また、パターン照合部10は、辞書多角形パターンに係るはさむ角度と目標多角形パターンに係るはさむ角度が一致していれば、はさむ角度の一致度である整合度Bを1に決定し、双方のはさむ角度が一致していなければ、双方のはさむ角度の差分の逆数を整合度Bに決定する。
そして、パターン照合部10は、予め設定されている重み係数w,wを用いて、「2辺の長さと、その2辺のはさむ角度」の一致度である整合度Bを算出する。
B=(B・w+B・w)/2
次に、パターン照合部10は、辞書多角形パターンを構成している3辺のうち、例えば、長さが最も長い辺に着目して、最も長い辺の両端の角度α,α(最も長い辺と他の辺のなす角)を特定する。α,αのうち「他方と等しいか、もしくは大きい方の角度」をαとする。
また、パターン照合部10は、目標多角形パターンを構成している3辺のうち、例えば、長さが最も長い辺に着目して、最も長い辺の両端の角度β,β(最も長い辺と他の辺のなす角)を特定する。β,βのうち「他方と等しいか、もしくは大きい方の角度」をβとする。
パターン照合部10は、辞書多角形パターンに係る最も長い辺の長さと目標多角形パターンに係る最も長い辺の長さが一致していれば、1辺の長さの一致度である整合度Cを1に決定し、双方の辺の長さが一致していなければ、双方の辺の長さの差分の逆数を整合度Cに決定する。
また、パターン照合部10は、辞書多角形パターンに係る角度αと目標多角形パターンに係る角度βが一致していれば、角度の一致度である整合度Cを1に決定し、角度αと角度βが一致していなければ、角度αと角度βの差分の逆数を整合度Cに決定する。
同様に、辞書多角形パターンに係る角度αと目標多角形パターンに係る角度βが一致していれば、角度の一致度である整合度Cを1に決定し、角度αと角度βが一致していなければ、角度αと角度βの差分の逆数を整合度Cに決定する。
そして、パターン照合部10は、予め設定されている重み係数w,w,wを用いて、「1辺の長さと、その両端の角度」の一致度である整合度Cを算出する。
C=(C・w+C・w+C・w)/3
三角形の位置の一致度は、次のようにして求める(後述の実施の形態6での説明に用いている図9(b)を参照)。
まず、パターン照合部10は、辞書多角形パターン及び目標多角形パターンが存在している2次元空間の例えばX座標軸を基軸に決定する。
次に、パターン照合部10は、辞書多角形パターンを構成している各辺と、基軸(X座標軸)とのなす角をそれぞれ求め、3つのなす角の中で最小のなす角を特定する。
また、パターン照合部10は、目標多角形パターンを構成している各辺と、基軸(X座標軸)とのなす角をそれぞれ求め、3つのなす角の中で最小のなす角を特定する。
パターン照合部10は、辞書多角形パターンに係る最小のなす角と目標多角形パターンに係る最小のなす角が一致していれば、三角形の位置の一致度である整合度Dを1に決定し、双方の最小のなす角が一致していなければ、双方の最小のなす角の差分の逆数を整合度Dに決定する。
パターン照合部10は、上記のようにして、整合度「AもしくはBもしくはCのいずれか一つ」とDを決定すると、その整合度「AもしくはBもしくはCのいずれか一つ」とDの総和を求め、その総和を辞書多角形パターンと目標多角形パターンの適合度とする。
ここでは、パターン照合部10が、整合度「AもしくはBもしくはCのいずれか一つ」とDの総和を辞書多角形パターンと目標多角形パターンの適合度としているが、整合度「AもしくはBもしくはCのいずれか一つ」とDに対し、各々に事前に設定された重み値を乗じた値の総和等を辞書多角形パターンと目標多角形パターンの適合度としてもよい。
上記の照合閾値Scは、事前に設定される閾値であるが、例えば、辞書画像を生成する際に、「事前に得られている種類既知の参照画像データのうち、辞書画像の算出対象外である参照画像データ」の辞書多角形パターンへの適合度合の最小値や、平均値から事前に設定されている定数が減じられた値などが考えられる。
パターン統合/拡張部12は、パターン照合部10の照合結果を参照して、複数の辞書多角形パターンと複数の目標多角形パターンとの組み合わせの中で、対応関係がある辞書多角形パターンと目標多角形パターンのペアを複数特定し、その特定した複数のペアにおける辞書多角形パターン同士を統合するとともに、その特定した複数のペアにおける目標多角形パターン同士を統合する(ステップST6)。
以下、パターン統合/拡張部12による多角形パターンの統合処理を具体的に説明する。
パターン統合/拡張部12は、パターン照合結果格納部11により格納されている照合結果を参照して、対応関係が有る辞書多角形パターンと目標多角形パターンを特定する。
パターン統合/拡張部12は、対応関係が有る複数のパターンペア(辞書多角形パターン、目標多角形パターン)の中から、任意の2つのパターンペア(辞書多角形パターン、目標多角形パターン)を選択する。
ここでは、説明の便宜上、選択した1つのパターンペアをF1、もう1つのパターンペアをF2で表記する。
また、パターンペアF1における辞書多角形パターンをDP1、そのパターンペアF1における目標多角形パターンをTP1で表記する。同様に、パターンペアF2における辞書多角形パターンをDP2、そのパターンペアF2における目標多角形パターンをTP2で表記する。
パターン統合/拡張部12は、2つのパターンペアF1,F2を選択すると、パターン照合結果格納部11から、2つのパターンペアF1,F2における辞書多角形パターンDP1,DP2及び目標多角形パターンTP1,TP2の構成点の位置情報等を取得し、2つのパターンペアF1,F2の間で、目標多角形パターンTP1,TP2の構成点と、対応する辞書多角形パターンDP1,DP2の構成点に重複があるか否かを確認し、構成点に重複がなければ、2つのパターンペアF1,F2を統合候補ペアに決定する。
なお、構成点に重複があっても、構成点の対応が一致していれば、2つのパターンペアF1,F2を統合候補ペアに決定する。
パターン統合/拡張部12は、2つのパターンペアF1,F2を統合候補ペアに決定すると、その統合候補ペアを統合した場合の多角形パターンの統合適合度を算出する。
統合適合度の算出方法としては、統合後の辞書多角形パターンにおける全構成点と、統合後の目標多角形パターンにおける全構成点との間で適合度を新たに算出する方法が考えられる。この適合度の算出処理は、パターン照合部10での適合度の算出処理と同様であり、多角形パターンにおける構成点が増えている点だけが相違している。
なお、統合するパターンペアF1,F2のそれぞれの構成点数が一致する場合には、それらの適合度の平均値を統合適合度としてもよい。
ここでは、パターン統合/拡張部12が、統合候補ペアを統合した場合の統合適合度を算出している例を示しているが、パターン照合部10が統合適合度を算出して、パターン統合/拡張部12がパターン照合部10により算出された統合適合度を取得するようにしてもよい。
パターン統合/拡張部12は、統合適合度を算出すると、その統合適合度と照合閾値Scを比較し、その統合適合度が照合閾値Sc以上であれば、統合候補ペアである2つのパターンペアF1,F2を統合する。
即ち、パターン統合/拡張部12は、その統合適合度が照合閾値Sc以上であれば、パターンペアF1における辞書多角形パターンDP1と、パターンペアF2における辞書多角形パターンDP2を統合するとともに、パターンペアF1における目標多角形パターンTP1と、パターンペアF2における目標多角形パターンTP2を統合する。
パターン照合部10は、パターン統合/拡張部12が統合候補ペアである2つのパターンペアF1,F2を統合すると、対応関係が有る新たな多角形パターンの照合結果として、例えば、「統合後の多角形パターンペアIF1,F2の対応関係(統合後の辞書多角形パターンと統合後の目標多角形パターンを特定する情報)と、統合後の辞書多角形パターンと統合後の目標多角形パターンとの統合適合度(評価値)と、統合後の辞書多角形パターン及び目標多角形パターンの構成点(高輝度の輝度点)の位置情報(例えば、構成点の座標、基軸に対する基本辺のなす角度など)と形状情報(例えば、多角形を構成する辺の長さ、2辺間の角度など)」をパターン照合結果格納部11に格納する。
パターン統合/拡張部12は、統合候補ペアである2つのパターンペアF1,F2を統合すると、未だ選択していない複数のパターンペア(辞書多角形パターン、目標多角形パターン)の中から、任意の1つのパターンペア(辞書多角形パターン、目標多角形パターン)を選択する。
ここでは、説明の便宜上、選択したパターンペアをF3で表記する。
また、パターンペアF3における辞書多角形パターンをDP3、そのパターンペアF3における目標多角形パターンをTP3で表記する。
パターン統合/拡張部12は、1つのパターンペアF3を選択すると、パターン照合結果格納部11から、先に統合している多角形パターンペアIF1,F2における統合後の辞書多角形パターンIDP1,DP2及び統合後の目標多角形パターンITP1,TP2の構成点の位置情報等を取得するとともに、パターンペアF3における辞書多角形パターンDP3及び目標多角形パターンTP3の構成点の位置情報等を取得する。
そして、パターン統合/拡張部12は、先に統合している多角形パターンペアIF1,F2とパターンペアF3の間で、目標多角形パターンITP1,TP2,TP3の構成点と、対応する辞書多角形パターンIDP1,DP2,DP3の構成点に重複があるか否かを確認し、構成点に重複がなければ、先に統合している多角形パターンペアIF1,F2とパターンペアF3を統合候補ペアに決定する。
なお、構成点に重複があっても、構成点の対応が一致していれば、先に統合している多角形パターンペアIF1,F2とパターンペアF3を統合候補ペアに決定する。
パターン統合/拡張部12は、先に統合している多角形パターンペアIF1,F2とパターンペアF3を統合候補ペアに決定すると、その統合候補ペアを統合した場合の多角形パターンの統合適合度を算出する。
パターン統合/拡張部12は、統合適合度を算出すると、その統合適合度と照合閾値Scを比較し、その統合適合度が照合閾値Sc以上であれば、その統合候補ペアを統合する。
即ち、パターン統合/拡張部12は、その統合適合度が照合閾値Sc以上であれば、先に統合している多角形パターンペアIF1,F2における辞書多角形パターンIDP1,DP2と、パターンペアF3における辞書多角形パターンDP3を統合するとともに、その多角形パターンペアIF1,F2における目標多角形パターンITP1,TP2と、パターンペアF3における目標多角形パターンTP3を統合する。
パターン照合部10は、パターン統合/拡張部12が統合候補ペアを統合すると、対応関係が有る新たな多角形パターンの照合結果として、例えば、「統合後の多角形パターンペアIF1,F2,F3の対応関係(統合後の辞書多角形パターンと統合後の目標多角形パターンを特定する情報)と、統合後の辞書多角形パターンと統合後の目標多角形パターンとの統合適合度(評価値)と、統合後の辞書多角形パターン及び目標多角形パターンの構成点(高輝度の輝度点)の位置情報(例えば、構成点の座標、基軸に対する基本辺のなす角度など)と形状情報(例えば、多角形を構成する辺の長さ、2辺間の角度など)」をパターン照合結果格納部11に格納する。
パターン統合/拡張部12による多角形パターンの統合処理は、事前に設定された統合処理回数の上限値に至るまで、あるいは、統合処理が収束するまで繰り返し実施される。
パターン統合/拡張部12は、多角形パターンの統合処理が完了すると、多角形パターンの拡張処理を実施する(ステップST6)。
以下、パターン統合/拡張部12による多角形パターンの拡張処理を具体的に説明する。
パターン統合/拡張部12は、多角形パターンの統合処理が完了すると、多角形パターン生成部6により観測画像から抽出された輝度点の中に、いずれの対応関係にも該当しない輝度点が存在している場合(いずれのパターンペアにも構成点として含まれていない輝度点)、その輝度点に対応する辞書画像内の輝度点を探索する。以下、いずれの対応関係にも該当しない輝度点を目標未対応点Pntと称する。
即ち、パターン統合/拡張部12は、観測画像から抽出された輝度点であって、辞書画像内で対応点が見つかっている輝度点のうち、目標未対応点Pntから最も近傍に位置している観測画像内の輝度点Pnbを特定し、その目標未対応点Pntと輝度点Pnbの距離Rnb−ntを算出する。
そして、パターン統合/拡張部12は、辞書画像から抽出された輝度点の中で、観測画像内の輝度点Pnbに対応する辞書画像内の輝度点(対応点)からの距離がRnb−nt+γの範囲内に存在している辞書画像内の輝度点を探索し、その辞書画像内の輝度点を目標未対応点Pntに対応する辞書画像内の輝度点に決定する。
パターン統合/拡張部12は、目標未対応点Pntに対応する輝度点が辞書画像内に存在する場合、その輝度点を統合後の辞書多角形パターンに追加した場合の辞書多角形パターンと、その目標未対応点Pntを統合後の目標多角形パターンに追加した場合の目標多角形パターンとの統合適合度を算出する。統合適合度の算出処理は、多角形パターンの統合処理における統合適合度の算出処理と同様である。
パターン統合/拡張部12は、統合適合度を算出すると、その統合適合度と照合閾値Scを比較し、その統合適合度が照合閾値Sc以上であれば、目標未対応点Pntに対応する辞書画像内の輝度点を統合後の辞書多角形パターンに追加するとともに、その目標未対応点Pntを統合後の目標多角形パターンに追加する。
パターン照合部10は、パターン統合/拡張部12が多角形パターンに対して輝度点の追加を行うと、対応関係が有る新たな多角形パターンの照合結果として、例えば、「輝度点追加後の多角形パターンペアの対応関係(輝度点追加後の辞書多角形パターンと輝度点追加後の目標多角形パターンを特定する情報)と、輝度点追加後の辞書多角形パターンと輝度点追加後の目標多角形パターンとの統合適合度(評価値)と、輝度点追加後の辞書多角形パターン及び目標多角形パターンの構成点(高輝度の輝度点)の位置情報(例えば、構成点の座標、基軸に対する基本辺のなす角度など)と形状情報(例えば、多角形を構成する辺の長さ、2辺間の角度など)」をパターン照合結果格納部11に格納する。
以下、観測画像内の他の目標未対応点に対しても同様の拡張処理が繰り返し実施されるが、パターン統合/拡張部12による多角形パターンの拡張処理は、事前に設定された拡張処理回数の上限値に至るまで、あるいは、観測画像内の全ての目標未対応点に対する処理が終了するまで繰り返し実施される。
パターン統合/拡張部12は、多角形パターンの統合処理と拡張処理が完了すると、全体適合度の算出指示を全体適合度算出部13に出力する。
全体適合度算出部13は、パターン統合/拡張部12から全体適合度の算出指示を受けると、パターン統合/拡張部12により統合処理と拡張処理が実施された各グループの統合・拡張後の辞書多角形パターンと目標多角形パターンとの全対応関係ペアの適合度(評価値)の中で、最も高い評価値を持つ対応関係ペアを抽出し、その抽出したペアの評価値、もしくは、当該評価値にペナルティを課した値を、該当グループの全体適合度とする(ステップST7)。
全体適合度の算出処理としては、例えば、パターン照合部10やパターン統合/拡張部12による適合度の算出方法と同様の方法で、辞書多角形パターンと目標多角形パターンの適合度を算出したのち、その適合度に対して、目標未対応点の数に対応するペナルティ変数Eを乗算した値を全体適合度として算出する態様が考えられる。
ペナルティ変数Eとしては、例えば、目標未対応点の数Nntの逆数(1/Nnt)に対して、事前に与えられている係数が乗算された値が考えられる。
また、観測画像内で対応関係有りの構成点数(目標全構成点数Ntgから目標未対応点の数Nntを減じた値)が目標全構成点数Ntgで除算された値などでもよい。
なお、目標全構成点数Ntgは、目標多角形パターンの生成処理時に、目標多角形パターンの生成対象となる輝度閾値条件(輝度閾値Sb以上)を満たす輝度点を抽出した際に算出されており、目標多角形パターンの付加情報として出力されている。また、個々の目標多角形パターンに関しては、目標多角形パターンの統合・拡張処理時に、目標多角形パターンの構成点数は更新され、パターン照合結果の付加情報として保持されている。同様に、多角形パターンの統合/拡張処理後の個々の辞書多角形パターンの構成点数も、パターン照合結果の付加情報として保持されている。これらの構成点数情報の差分から、多角形パターンの目標未対応点数を算出する。
種類判定部15は、全体適合度算出部13が各辞書グループの全体適合度を算出すると、各辞書グループの中で、全体適合度算出部13により算出された全体適合度が最も高い辞書グループを特定する。
種類判定部15は、全体適合度が最も高い辞書グループを特定すると、その辞書グループの種類が未知目標の種類であると判定し、その種類判定結果Rを種類判定結果格納部16に格納する(ステップST8)。
なお、全体適合度が最も高い辞書グループが複数存在する場合には、それらの辞書グループの種類の全てが観測目標の種類であると判定して、それらの種類判定結果Rを種類判定結果格納部16に格納する。
以上で明らかなように、この実施の形態1によれば、各グループの辞書画像から複数の輝度点を抽出して、複数の輝度点を頂点とする辞書多角形パターンをそれぞれ生成するとともに、観測画像から複数の輝度点を抽出して、複数の輝度点を頂点とする目標多角形パターンを生成する多角形パターン生成部6と、各グループの辞書多角形パターンと目標多角形パターンを照合するパターン照合部10とを設け、種類判定部15が、パターン照合部10によるパターンの照合結果を用いて、未知目標の種類を判定するように構成したので、分解能の制約や特徴量の選択精度の影響を受けることなく、観測諸元等の微小な変動があっても、目標を正確に類別することができる効果を奏する。
即ち、この実施の形態1によれば、意味的解析等に基づく特徴点の抽出処理を実施することなく、事前に設定された閾値以上の輝度点からなる多角形パターンを対象とする類識別を行うようにしているので、分解能の制約や特徴量の選択精度の影響を受けることなく、局所形状の集合で表される全体形状及び局所形状の両方の目標形状特徴に基づく類別が可能になり、精度が高い類識別結果が得られる。
この実施の形態1では、輝度値が基準の高輝度値(高輝度点の輝度値の下限値)より高い輝度点を抽出するために、高輝度点抽出用の輝度閾値Sbが多角形パターン生成部6に事前に設定されており、多角形パターン生成部6が、辞書画像データが示す辞書画像(または、観測画像データが示す観測画像)から、輝度値が輝度閾値Sb以上の画素をそれぞれ輝度点として抽出する例を示したが、レーダ画像における観測諸元による輝度分布の変動が無視できない状況下では、必ずしも輝度値が高くない輝度点の位置情報が重要となる場合がある。
そこで、基準の高輝度値より輝度値が高い高輝度の輝度点だけでなく、基準の高輝度値より輝度値が低い輝度点についても抽出することができるようにするため、輝度閾値Sbとして、基準の高輝度値(高輝度点の輝度値の下限値)より小さい閾値が多角形パターン生成部6に設定されていてもよい。
このような輝度閾値Sbとしては、例えば、既存画像の高輝度点分布状況に基づいて設定された初期値から、事前に設定された比率で減じた値などが考えられる。
上記のような輝度閾値Sbが設定された場合、高輝度点だけでなく、中輝度程度の輝度点も抽出されて多角形パターン(辞書多角形パターン、目標多角形パターン)が生成されるため、ノイズ的な輝度点が多角形パターンの構成点に含まれる可能性が高くなるが、観測諸元による輝度分布の変動の影響を受け難くすることができる利点がある。
この実施の形態1では、輝度値が基準の高輝度値より高い輝度点を抽出するために、高輝度点抽出用の輝度閾値Sbが多角形パターン生成部6に事前に設定されており、多角形パターン生成部6が、辞書画像データが示す辞書画像(または、観測画像データが示す観測画像)から、輝度値が輝度閾値Sb以上の画素をそれぞれ輝度点として抽出する例を示したが、本来、連続値である輝度値を離散値として扱うことができるようにするために(輝度ランクによって輝度値のグループ分けを行うために)、複数の輝度閾値Sbが多角形パターン生成部6に設定されていてもよい。
例えば、高輝度点抽出用の輝度閾値Sb1と、中輝度点抽出用の輝度閾値Sb2と、低輝度点抽出用の輝度閾値Sb3とが設定されている場合(Sb1>Sb2>Sb3)、辞書画像データが示す辞書画像(または、観測画像データが示す観測画像)から、輝度値が輝度閾値Sb1以上の画素を輝度ランクBR1に属する高輝度の輝度点として抽出する。
また、辞書画像データが示す辞書画像(または、観測画像データが示す観測画像)から、輝度値が輝度閾値Sb2以上で、かつ、輝度閾値Sb1未満の画素を輝度ランクBR2に属する中輝度の輝度点として抽出する。
さらに、辞書画像データが示す辞書画像(または、観測画像データが示す観測画像)から、輝度値が輝度閾値Sb3以上で、かつ、輝度閾値Sb2未満の画素を輝度ランクBR3に属する低輝度の輝度点として抽出する。
多角形パターン生成部6は、輝度ランクBR1に属する高輝度の輝度点、輝度ランクBR2に属する中輝度の輝度点及び輝度ランクBR3に属する低輝度の輝度点を抽出すると、各々の輝度ランク毎、あるいは複数の輝度ランクの組み合わせで、当該輝度ランクに属する複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定する。
以下、各々の輝度ランク、あるいは複数の輝度ランクの組み合わせにおいて、輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする多角形パターン(辞書多角形パターン、目標多角形パターン)を生成する。
このように、輝度ランク別に、目標多角形パターンを生成すると、例えば、高輝度の輝度点だけからなる多角形パターンを生成する場合に、多角形パターン選択部9が、輝度ランクBR1に属する高輝度の輝度点から生成された目標多角形パターンを選択することで、強く反射すると考えられる目標の特徴的部位(例えば、航空機の機種、機尾、両翼端など)の位置関係(相対距離、特徴的部位を結んだ線分間の角度等)に基づく照合判定が優先的に行われることになり、解探索処理の高速化、すなわち、照合処理時間の短縮も期待することができる。
また、例えば、中輝度の輝度点だけからなる多角形パターンを生成する場合に、多角形パターン選択部9が、輝度ランクBR2に属する中輝度の輝度点から生成された目標多角形パターンを選択することで、同様に解探索処理の高速化が期待できる。
さらに、観測諸元による輝度分布の変動の影響を受け難くする必要がある場合には、多角形パターン選択部9が、例えば、輝度ランクBR1及び輝度ランクBR2に属する高輝度及び中輝度の輝度点から生成された目標多角形パターンを選択するようにすればよい。この場合、微小な輝度変動の影響を受け難くなり、また、輝度の相対的な変動の観点で輝度情報を扱うことが可能になる。
なお、輝度ランクが等しい輝度点だけからなる目標多角形パターンを選択する場合や、輝度ランクが近い輝度点からなる目標多角形パターンを選択する場合には、目標の特徴的形状を表している可能性が高い目標多角形パターンに対する照合に限られるので、照合処理時間の短縮も期待することができる。
この実施の形態1では、辞書画像データ生成部4が、グループ毎に、当該グループに属する画像調整後参照画像データL’から、観測画像との照合に用いる画像である辞書画像を示す辞書画像データを生成するものを示したが、辞書画像データ生成部4が、当該グループに属する画像調整後参照画像データL’が示す参照画像内の輝度点の中から、出現頻度が基準の頻度より低い輝度点を除外して、参照画像内の残りの輝度点から、辞書画像を示す辞書画像データを生成するようにしてもよい。
出現頻度が低い輝度点は、実際に観測画像に現れる可能性が低い輝度点であるにもかかわらず、輝度値が高い場合、その輝度点の有無が照合結果に与える影響が大きい。したがって、辞書画像の生成に出現頻度が低い輝度点を含めると、目標の種類の誤判定を招く可能性がある。
そのため、辞書画像を示す辞書画像データを生成する際、参照画像内の輝度点の中から、出現頻度が基準の頻度より低い輝度点を除外し、参照画像内の残りの輝度点から、辞書画像を示す辞書画像データを生成すれば、目標の種類の誤判定を招く可能性を低減することができる。
また、類識別で有用と考えられる輝度点に絞り込んで多角形パターンを生成することが可能になるため、多角形パターンの照合処理の高速化も期待することができる。
この場合、出現頻度が低い輝度点を検出する必要があるが、出現頻度が低い輝度点の検出処理としては、例えば、目標の種類が同じ複数の参照画像(観測諸元が異なるため、グループは異なる複数の参照画像)を比較して、例えば、全参照画像数のうち、所定数以上の参照画像に含まれていない輝度点を特定し、その輝度点を出現頻度が低い輝度点として検出する処理などが考えられる。
この実施の形態1では、多角形パターン選択部9が、辞書多角形パターン格納部7により格納されている複数の辞書多角形パターン(または、目標多角形パターン格納部8により格納されている複数の目標多角形パターン)を、パターンを構成している辺の長さの合計(または、パターンの面積)の昇順にソートし、複数の辞書多角形パターン(または、複数の目標多角形パターン)の中から、辺の長さの合計(または、パターンの面積)が小さい順に、辞書多角形パターン(または、目標多角形パターン)を選択して、その辞書多角形パターン(または、目標多角形パターン)を照合対象の辞書多角形パターン(または、目標多角形パターン)に決定するものを示したが、辞書多角形パターン格納部7により格納されている複数の辞書多角形パターン(または、目標多角形パターン格納部8により格納されている複数の目標多角形パターン)を、パターンを構成している辺の長さの合計(または、パターンの面積)の降順にソートし、複数の辞書多角形パターン(または、目標多角形パターン)の中から、辺の長さの合計(または、パターンの面積)が大きい順に、辞書多角形パターン(または、目標多角形パターン)を選択して、その辞書多角形パターン(または、目標多角形パターン)を照合対象の辞書多角形パターン(または、目標多角形パターン)に決定するようにしてもよい。
このように、多角形パターン選択部9が、大きな辞書多角形パターン(または、目標多角形パターン)を優先的に選択するようにすれば、近似的に捉えると、目標の輪郭形状間の照合判定とみなせるため、特徴的な輪郭形状を有する目標についての類別性能の向上を期待することができる。
この実施の形態1では、多角形パターン選択部9が、目標多角形パターン格納部8により格納されている複数の目標多角形パターンの中から、照合対象の目標多角形パターンを選択して、その目標多角形パターンをパターン照合部10に出力するものを示したが、事前に選択可能なパターン数(上限数)を多角形パターン選択部9に設定し、多角形パターン選択部9が、目標多角形パターン格納部8により格納されている複数の目標多角形パターンの中から、事前に設定されたパターン数の範囲内(上限数を超えない範囲内)で、照合対象の目標多角形パターンを選択するようにしてもよい。
この場合、個々の独立した多角形パターン間の照合回数が限定されるため、照合処理時間の短縮を図ることができる。
ここでは、多角形パターン選択部9が、事前に設定されたパターン数の範囲内で、照合対象の目標多角形パターンを選択するものを示したが、事前に選択可能な輝度値範囲を多角形パターン選択部9に設定し、多角形パターン選択部9が、目標多角形パターン格納部8により格納されている複数の目標多角形パターンの中から、輝度値が事前に設定された輝度値範囲内の輝度点からなる目標多角形パターンを照合対象の目標多角形パターンとして選択するようにしてもよい。
具体的には、事前に設定された輝度値範囲に対応する輝度ランクに属する輝度点から生成された目標多角形パターンを選択し、その目標多角形パターンを照合対象の目標多角形パターンとしてパターン照合部10に出力する方法などが考えられる。
この場合、目標の特徴的形状を表している可能性が高い多角形パターン間の照合に限定されるため、照合処理時間の短縮を図ることができる。
この実施の形態1では、多角形パターン選択部9が、辞書多角形パターン(または、目標多角形パターン)を構成している輝度点の位置関係に着目して、辞書多角形パターン格納部7により格納されている複数の辞書多角形パターン(または、目標多角形パターン格納部8により格納されている複数の目標多角形パターン)の中から、照合対象の辞書多角形パターン(または、目標多角形パターン)を選択するものを示したが、多角形パターン選択部9が、辞書多角形パターン(または、目標多角形パターン)を構成している輝度点の輝度値に着目し、例えば、高輝度の輝度ランクに属する輝度点を多く含んでいる辞書多角形パターン(または、目標多角形パターン)から順に優先的に選択するようにしてもよい。
この実施の形態1では、パターン照合部10が、多角形パターン選択部9から辞書多角形パターンと目標多角形パターンを受ける毎に、その辞書多角形パターンと目標多角形パターンを照合するものを示したが、辞書多角形パターン側には、形状的な欠損が存在しないという前提が成立する場合には、その辞書多角形パターンと目標多角形パターンの照合処理において、その辞書多角形パターンを構成している部分形状の中に、その目標多角形パターンを構成している部分形状に対応している部分形状が存在していなければ、「対応関係なし」と判断して、その辞書多角形パターンと目標多角形パターンの照合処理を終了するようにしてもよい。
辞書多角形パターン側に形状的な欠損が存在しないとみなせる場合としては、計算機等で生成したシミュレーション画像を参照画像として用いる場合等が該当する。
なお、実際に撮像された画像等を参照画像として用いる場合には、参照画像にも構成点の欠損があり得るため適用対象外とする。
このように部分形状に欠損がある目標多角形パターンに対する照合処理を途中で終了することで、照合処理における解探索の枝刈りが可能になり、探索時間の短縮を図ることができる。
この実施の形態1では、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターンを構成している輝度点と、その目標多角形パターンを構成している輝度点との位置関係を評価して、その位置関係を評価している評価値(辞書多角形パターンと目標多角形パターンの適合度)を算出するものを示したが、パターン照合部10が、その辞書多角形パターンを構成している輝度点の輝度値と、その目標多角形パターンを構成している輝度点の輝度値との一致度を算出し、その一致度に対応する重みを位置関係の評価値(辞書多角形パターンと目標多角形パターンの適合度)に付加するようにしてもよい。
例えば、目標多角形パターンを構成している輝度点の輝度値と、その輝度点に対応する辞書多角形パターンの輝度点の輝度値との輝度差を求め、全対応点の輝度差の総和の逆数(重み)を評価値に乗ずる方法などが考えられる。
このように、多角形パターンを構成している輝度点間の位置関係に加えて、輝度点の輝度値を照合時の評価に用いることで、多角形パターンの照合精度を高めることができる。
ここでは、パターン照合部10が、辞書多角形パターンを構成している輝度点の輝度値と、目標多角形パターンを構成している輝度点の輝度値との一致度を算出し、その一致度に対応する重みを位置関係の評価値(辞書多角形パターンと目標多角形パターンの適合度)に付加するものを示したが、観測画像の輝度分布は、観測諸元の微小な変動にも影響を受け易く、輝度値が不安定であるため、目標多角形パターンを構成している輝度点の輝度値は使用せずに、辞書多角形パターンを構成している輝度点の輝度値に対応する重みを位置関係の評価値(辞書多角形パターンと目標多角形パターンの適合度)に付加するようにしてもよい。
具体的には、パターン照合部10は、辞書多角形パターンを構成している各輝度点が属している輝度ランクを調べ、各輝度ランクに属している輝度点の個数を計数する。
ここでは、説明の便宜上、輝度ランクBR1に属している高輝度の輝度点の個数がa、輝度ランクBR2に属している中輝度の輝度点の個数がb、輝度ランクBR3に属している低輝度の輝度点の個数がcであるとする。
パターン照合部10は、各輝度ランクに属している輝度点の個数を計数すると、下記の式(1)に示すように、事前に設定されている各輝度ランクに対応する定数d1,d2,d3を用いて、重みwを算出する。
w=a×d1+b×d2+c×d3 (1)
例えば、輝度ランクBR1に属している高輝度の輝度点の個数が2個(a=2)、輝度ランクBR2に属している中輝度の輝度点の個数が4個(b=4)、輝度ランクBR3に属している低輝度の輝度点の個数が6個(c=6)であり、各輝度ランクに対応する定数がd1=3,d2=2,d3=1であれば、重みwは“20”になる。
w=2×3+4×2+6×1=20
このように、辞書多角形パターンを構成している輝度点の輝度値に対応する重みを位置関係の評価値に付加することにより、観測画像の輝度分布の不安定さを考慮しつつも、例えば、高輝度の輝度ランクに属する輝度点が多い辞書多角形パターンに対して、照合時の評価値を高くすることが可能になる。このため、特徴的部位をもつ多角形パターンとの照合結果が優先的に探索解候補として選択され、特徴的部位に着目した高精度な照合が可能になる。
この実施の形態1では、全体適合度算出部13が、統合・拡張後の辞書多角形パターンと目標多角形パターンとの対応関係ペアの評価値(照合結果として登録)を用いて、該当辞書グループの全体適合度を算出しているものを示しているが、対応関係ペアをなす辞書多角形パターンと比べて、極端に目標多角形パターン側の欠損点の個数が多い場合、算出した全体適合度より実際の全体適合度が小さな値になるべきである。
そこで、辞書多角形パターンと比べて、極端に目標多角形パターン側の欠損点の個数が多い場合、算出した全体適合度にペナルティを課するようにする。
即ち、全体適合度算出部13は、対応関係ペアをなす「パターン統合/拡張部12による統合・拡張後の辞書多角形パターンと、パターン統合/拡張部12による統合・拡張後の目標多角形パターン」に対し、辞書多角形パターンを構成している輝度点の個数と、目標多角形パターンを構成している輝度点の個数との差分が事前に設定されている閾値より多い場合、その差分に対応するペナルティを算出した全体適合度に課するようにする。
差分に対応するペナルティとしては、差分の逆数などが考えられ、差分の逆数を全体適合度に乗算する例が考えられる。
これにより、目標の種類の判定精度を高めることができる。
実施の形態2.
上記実施の形態1では、多角形パターン生成部6が、辞書画像データが示す辞書画像から、輝度値が輝度閾値Sb以上の画素をそれぞれ輝度点として抽出して、複数の輝度点を頂点とする多角形の形状パターンである辞書多角形パターンを生成するものを示したが、多角形パターン生成部6が、辞書画像データが示す辞書画像から辞書多角形パターンを生成する際、観測諸元差から予測される輝度分布の変動の範囲を辞書多角形パターンの分布領域に付加するようにしてもよい。
ここで、観測諸元差による輝度分布の変動について考える。
目標の種類が同一の参照画像であっても、例えば、入射角差がある参照画像の間では、倒れこみと呼ばれる現象によって、レーダ画像の輝度分布(輝度値、分布位置)が変動する。
倒れこみでは、高輝度点の輝度位置はレーダからの視線方向に移動し、また、高輝度点の移動距離は、電波の反射点の高さ方向の位置(目標上の反射点の地上からの高さ)に応じて、決定論的に決まることが分かっている。
したがって、目標上の反射点の地上からの高さ等を考慮して、多角形パターンを構成する輝度点の許容存在領域を設定する方法が考えられる。
図5は多角形パターンを構成する輝度点の許容存在領域の設定例を示す説明図である。
許容存在領域は、「事前に与えられる目標(例えば、飛行機などの観測対象)の想定高さ情報に基づき、多角形パターンを構成する高輝度点の予測変動位置を、事前に与えられた定義式等により算出する」ことにより定義する。一般的には、目標の高度が高ければ、倒れこみと呼ばれる現象が大きくなるので、目標の想定高さに比例する予測変動位置を算出する。
図5の●は、基本の多角形パターンの構成点を示し、○は「想定される入射角差による多角形パターンの予測変動位置を示し、実線で囲まれた領域が許容存在領域である。
多角形パターン生成部6は、辞書画像データが示す辞書画像から辞書多角形パターンを生成する際、例えば、基本の辞書多角形パターンに対して、図5の許容存在領域を付加した領域を辞書多角形パターンとして生成する。
以上で明らかなように、この実施の形態2によれば、多角形パターン生成部6が、参照画像データ格納部1により格納されている観測諸元から輝度分布の変動の範囲を予測し、その変動の範囲を、生成した辞書多角形パターンの分布領域に付加するように構成したので、観測諸元の変動に強い類識別を行うことができる効果を奏する。
実施の形態3.
上記実施の形態1では、パターン照合部10が多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンを照合して、その辞書多角形パターンと目標多角形パターンの対応関係の有無を判定する際、その辞書多角形パターンと目標多角形パターンの適合度を算出するようにしている。
このとき、パターン照合部10は、辞書多角形パターンと目標多角形パターンの適合度として、多角形パターン間の整合の度合を算出する例を示している。具体的には、例えば、多角形が三角形である場合、多角形パターン間の整合の度合を、双方の三角形の形状の一致度及び双方の三角形の位置の一致度などから求めている。
また、三角形の形状の一致度は、三角形の合同条件の一致度から求めることができ、三角形の合同条件は、「3辺の長さの一致」、「2辺の長さと、その2辺のはさむ角度の一致」、「1辺の長さと、その両端の角度の一致」があることを明示している。
ここで、図6は多角形パターンペア間の適合度の評価指標の一例を示す説明図である。
図6(a)は、三角形の合同条件の1つである「3辺の長さの一致」を評価するために、三角形の頂点を構成している輝度点間の距離(辺の長さ)を評価指標(距離評価指標)としている例を示している。
また、図6(b)は、三角形の合同条件の1つである「2辺の長さと、その2辺のはさむ角度の一致」を評価するために、三角形の2辺の長さと角度を評価指標(角度評価指標)としている例を示している。
上記実施の形態1のように、三角形の合同条件における3つのいずれかの条件を評価して、三角形の形状の一致度を算出してもよいが、例えば、3つの条件の中の1つである「3辺の長さの一致」に限定してもよい。
そこで、この実施の形態3では、パターン照合部10が辞書多角形パターンと目標多角形パターンを照合して、その辞書多角形パターンと目標多角形パターンの対応関係の有無を判定する際、その辞書多角形パターンを構成している輝度点間の距離(辺の長さ)を算出するとともに、その目標多角形パターンを構成している輝度点間の距離(辺の長さ)を算出して、双方の三角形の3辺の長さの一致度を算出するようにする。
辺の長さの一致度の算出方法として、上記実施の形態1でも説明したように、辞書多角形パターンを構成している3辺の長さの合計である3辺長と、目標多角形パターンを構成している3辺の長さの合計である3辺長とを算出して、双方の3辺長が一致していれば、3辺の長さの一致度である整合度を1に決定し、双方の3辺長が一致していなければ、双方の3辺長の差分の逆数を整合度に決定する方法などが考えられる。
パターン照合部10は、双方の三角形の形状の一致度として、辞書多角形パターン及び目標多角形パターンを構成している各輝度点間の距離を評価すると、双方の三角形の位置の一致度を上記実施の形態1と同様に評価し、それらの評価を合わせた評価値である辞書多角形パターンと目標多角形パターンの適合度(三角形の形状の一致度である整合度A+三角形の位置の一致度である整合度D)をパターン照合結果格納部11に格納する。
以上で明らかなように、この実施の形態3によれば、パターン照合部10が辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターン及び目標多角形パターンを構成している各輝度点間の距離を評価するように構成したので、辞書多角形パターンと目標多角形パターンの照合に要する演算量を削減することができる効果を奏する。
即ち、この実施の形態3によれば、距離評価指標と角度評価指標などの異なる次元の指標を組み合わせずに、1つの距離評価指標だけで対応関係の有無を判定しているので、総合的評価の際の重み付け処理などが不要になり、演算処理の簡素化や演算量の削減を図ることができるほか、判読技術者による評価値の意味的解釈も容易に行えるなどの効果が得られる。
実施の形態4.
上記実施の形態1では、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターンを構成している輝度点からなる多角形と、その目標多角形パターンを構成している輝度点からなる多角形との形状を評価するとともに(例えば、多角形を構成する辺の長さ、2辺間の角度など)、その辞書多角形パターンを構成している輝度点と、その目標多角形パターンを構成している輝度点との絶対位置による位置関係(例えば、輝度点の座標、基軸に対する基本辺のなす角度など)を評価するものを示したが、多世代にわたって多角形パターンの統合処理が行われることで多角形化される場合には、絶対位置による位置関係を評価せずに、形状だけを評価するようにしてもよい。
ここでの「多世代」の意味であるが、未だ統合処理が行われていない多角形パターンは、初期世代の多角形パターン、1回統合処理が行われて多角形化された多角形パターンは、世代が1つ進んだ多角形パターン、さらに統合処理が行われて多角形化された多角形パターンは、世代が進んだ多角形パターンという意味で使っている。
図7はパターン統合/拡張部12の統合処理で多角形化される辞書多角形パターン及び目標多角形パターンを示す説明図である。
図7の例では、多角形パターン(辞書多角形パターン、目標多角形パターン)がパターン統合/拡張部12の統合処理によって、三角形から四角形、四角形から五角形のように多角形化が繰り返されている。
パターン照合部10は、パターン統合/拡張部12による統合処理後の辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターンと目標多角形パターンの適合度を算出する。
上記実施の形態1では、辞書多角形パターンと目標多角形パターンの適合度として、例えば、多角形が三角形であれば、双方の三角形の形状の一致度と、双方の三角形の位置の一致度とを求めているが、この実施の形態4では、双方の三角形の位置の一致度を求めずに、双方の三角形の形状の一致度だけを求めるようにする。
この実施の形態4では、双方の三角形の位置の一致度を評価していないが、パターン統合/拡張部12が、統合候補の多角形パターン(辞書多角形パターン、目標多角形パターン)と統合元の多角形パターン(辞書多角形パターン、目標多角形パターン)との統合処理を実施する際、例えば、統合候補の多角形パターンが回転しているなどの影響で、統合候補の多角形パターンと統合元の多角形パターンとの相対位置がずれてしまっている場合、統合候補の多角形パターンと統合元の多角形パターンとを統合した場合の統合適合度が低下する。その結果、その統合適合度が照合閾値Scより小さいと、それらの多角形パターンを統合しない。
したがって、パターン照合部10が、双方の三角形の位置の一致度を評価しなくても、多世代にわたって多角形パターンの統合処理が行われることで多角形化される場合、実質的には相対位置による位置関係を評価していることになる。
パターン照合部10は、双方の三角形の形状の一致度を評価すると、三角形の形状の一致度を辞書多角形パターンと目標多角形パターンの適合度として、パターン照合結果格納部11に格納する。
以上で明らかなように、この実施の形態4によれば、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターンを構成している輝度点からなる多角形と、その目標多角形パターンを構成している輝度点からなる多角形との形状だけを評価するように構成したので、多世代にわたって多角形パターンの統合処理が行われることで多角形化される場合には、多角形の位置関係を評価しなくても、同等の評価結果を得ることができるようになり、評価処理量を低減することができる効果を奏する。
また、実運用時に必須となる、画像上の目標の切り出し位置ズレ等を許容した上での、形状及び相対位置の評価が可能になる。
実施の形態5.
上記実施の形態4では、多世代にわたって多角形化が行われる場合、実質的には相対位置による位置関係を評価していることになるため、絶対位置による位置関係を評価せずに、形状だけを評価するものを示したが、多世代にわたって多角形化が行われない場合には、パターン照合部10が、辞書多角形パターン及び目標多角形パターンを構成している輝度点の座標系を相対座標系に変換し、相対位置座標系で輝度点の位置関係を評価するようにしてもよい。
図8は辞書多角形パターン及び目標多角形パターンを構成している輝度点の座標系の変換例を示す説明図である。
まず、パターン照合部10は、図8に示すように、多角形パターン(辞書多角形パターン、目標多角形パターン)が存在している点Oを原点とする絶対座標系において、多角形パターンを構成する全ての輝度点が包含される2軸方向に平行な最小の矩形領域(点線で囲われた領域)を算出する。
パターン照合部10は、点Oを原点とする絶対座標系において、最小の矩形領域を算出すると、その矩形領域の4つの頂点の中で、2軸方向の最小値をとる頂点(図中、左下の頂点)を相対座標系の原点O’とすることで、多角形パターンを構成している輝度点の座標系を相対座標系に変換する。
パターン照合部10は、辞書多角形パターン及び目標多角形パターンを構成している輝度点の座標系をそれぞれ相対座標系に変換すると、その相対座標系で輝度点の位置関係を評価することで、その辞書多角形パターンと目標多角形パターンの対応関係の有無を判定する。
即ち、辞書多角形パターンに係る相対座標系に変換した輝度点からなる三角形と、目標多角形パターンに係る相対座標系に変換した輝度点からなる三角形との間で、形状の一致度や位置の一致度などを評価することで、その辞書多角形パターンと目標多角形パターンの対応関係の有無を判定する。この対応関係の有無を判定する処理自体は、上記実施の形態1と同様である。
ただし、パターン照合部10は、辞書多角形パターン及び目標多角形パターンを構成している輝度点の座標系を相対座標系に変換する前に、多世代にわたって辞書多角形パターン及び目標多角形パターンが多角形化されるか否かを判断し、多世代にわたって多角形化が行われないと判断するとき、輝度点の座標系を相対座標系に変換する。
多世代にわたって辞書多角形パターン及び目標多角形パターンが多角形化されるか否かの判断基準として、下記の(1)〜(3)の判断基準などを用いることができる。
(1)パターン統合/拡張部12が各世代での多角形パターンの統合処理を実施する際に、初期(第一)世代から数えた多角形パターンの統合処理回数、すなわち世代数をカウントし、その統合処理回数から予想される多角形の数である多角数を多角数予想値とし、現在の多角数(同一世代に存在する多角形パターンの多角数が同一でない場合は、それらの最大値もしくは平均値)が、多角数予想値から算出される多角数閾値より小さい場合に、これ以上、多世代にわたって多角形化が行われないと判断する。多角数閾値としては、例えば、多角数予想値のNM1%とする。
(2)多角形パターン生成部6により参照画像及び観測画像から抽出された構成点(高輝度の輝度点)の数が事前に設定された閾値以下であれば、多世代にわたって多角形化が行われないと判断する。閾値の設定例としては「辞書多角形パターンの輝度点数のNM2%」等がある。
(3)パターン統合/拡張部12が各世代での多角形パターンの統合処理を実施する際に、現時点で抽出されている(すなわち前世代で抽出された)対応関係数が事前に設定された閾値以下であれば、これ以上、多世代にわたって多角形化が行われないと判断する。閾値の設定例としては「辞書多角形パターンの輝度点数と、統合処理回数から予想した多角数予想値(予想方法は(1)と同じ)から算出される多角形パターンの予想数を多角形パターン予想数とし、多角形パターン予想数のNM3%」等がある。ここで、多角形パターン予想数の算出方法例としては、輝度点数を多角数予想値で除算した値とする等がある。なお、NM1〜 NM3は事前に判読技術者等のオペレータによって設定される。
以上で明らかなように、この実施の形態5によれば、パターン照合部10が、辞書多角形パターンを構成している輝度点と、目標多角形パターンを構成している輝度点との位置関係を評価する際、相対位置座標系で輝度点の位置関係を評価するように構成したので、画像上の目標の切り出し位置ズレ等をある程度許容しながら、位置関係を評価することができる効果を奏する。
実施の形態6.
上記実施の形態1では、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンの位置関係を評価する際、辞書多角形パターン及び目標多角形パターンを構成している輝度点からなる多角形が三角形である場合、三角形の形状の一致度と、三角形の位置の一致度とを評価するものを示している。
また、上記実施の形態1では、三角形の位置の一致度の評価は、辞書多角形パターンを構成している各辺と、基軸(X座標軸)とのなす角をそれぞれ求めて、3つのなす角の中で最小のなす角を特定し、また、目標多角形パターンを構成している各辺と、基軸(X座標軸)とのなす角をそれぞれ求めて、3つのなす角の中で最小のなす角を特定し、それらの最小のなす角の比較に基づいて一致度を評価している(図9(b)を参照)。
これにより、三角形の位置の一致度を評価することができるが、なす角等の角度計算を実施する必要があるため、評価指標の算出処理量が大きなものになっている。
そこで、この実施の形態6では、算出処理量が大きくなる角度計算を実施せずに、三角形の位置の一致度を評価するものを説明する。
この実施の形態6では、パターン照合部10が、辞書多角形パターンを構成している輝度点からなる多角形と、目標多角形パターンを構成している輝度点からなる多角形との距離を算出し、その距離を評価指標(距離評価指標)として、多角形をなす多角形パターン間の位置関係(三角形の位置の一致度)を評価する。
具体的には、以下の通りである。
図9は辞書多角形パターンと目標多角形パターンの位置関係の評価例を示す説明図である。
特に図9(a)は、距離評価指標を用いる評価例を示し、図9(b)は、角度評価指標を用いる評価例を示している。
パターン照合部10は、距離評価指標を用いる場合、図9(a)に示すように、辞書多角形パターンを構成している輝度点からなる三角形(多角形)の重心位置を算出するとともに、目標多角形パターンを構成している輝度点からなる三角形(多角形)の重心位置を算出する。
次に、パターン照合部10は、辞書多角形パターンに係る三角形の重心位置と、目標多角形パターンに係る三角形の重心位置との距離を算出し、その距離が近い程、その辞書多角形パターンと目標多角形パターンの適合度(三角形の位置の一致度)を高いものとする。
パターン照合部10は、双方の三角形の位置の一致度として、双方の三角形の重心位置間の距離を評価すると、双方の三角形の形状の一致度を上記実施の形態1と同様に評価し、それらの評価を合わせた評価値である辞書多角形パターンと目標多角形パターンの適合度をパターン照合結果格納部11に格納する。
以上で明らかなように、この実施の形態6によれば、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンの位置関係を評価する際、辞書多角形パターンを構成している輝度点からなる多角形と、目標多角形パターンを構成している輝度点からなる多角形との距離を評価するように構成したので、評価指標の算出処理量を低減することができる効果を奏する。
また、三角形の形状の一致度と、三角形の位置の一致度との評価指標が共に距離評価指標となるため、辞書多角形パターンと目標多角形パターンの総合的な評価の際の意味的解釈が簡単になる。
実施の形態7.
上記実施の形態1では、パターン統合/拡張部12が、複数のペアにおける辞書多角形パターン同士の統合や目標多角形パターン同士の統合を行う統合処理を実施してから、孤立している輝度点を辞書多角形パターン及び目標多角形パターンの構成点に含めるパターン拡張処理を実施するものを示したが、この実施の形態7では、統合処理を実施せずに、パターン拡張処理だけを実施するものについて説明する。
図10はこの発明の実施の形態7による目標類識別装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
パターン拡張部17は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、パターン照合結果格納部11により格納されている照合結果を参照して、複数の辞書多角形パターンと複数の目標多角形パターンとの組み合わせの中で、対応関係がある辞書多角形パターンと目標多角形パターンのペアを特定し、多角形パターン生成部6により観測画像から抽出された輝度点の中に、前記ペアにおける目標多角形パターンの構成点に含まれていない輝度点が存在している場合、その輝度点に対応する辞書画像内の輝度点を探索し、その輝度点に対応する輝度点が辞書画像内にあれば、辞書画像内にある輝度点を辞書多角形パターンの構成点に含めるとともに、前記存在している輝度点を目標多角形パターンの構成点に含めるパターン拡張処理を実施する。
なお、パターン照合部10及びパターン拡張部17からパターン照合手段が構成されている。
次に動作について説明する。
上記実施の形態1におけるパターン統合/拡張部12は、図7に示すような複数の多角形パターン(辞書多角形パターン、目標多角形パターン)の統合処理を繰り返し実施した後、統合処理では組み込まれなかった輝度点(孤立点)を多角形パターン(辞書多角形パターン、目標多角形パターン)の構成点に含める拡張処理を行うようにしている。即ち、拡張処理は必要に応じて行われる統合処理の補助的な処理である。
ここで、統合処理は、複数の輝度点からなる多角形パターン同士を結合していく処理であるため、1点ずつ輝度点(孤立点)を加える拡張処理と比べて、多角形化の処理効率は高くなる。
しかし、多角形パターン生成部6により参照画像及び観測画像から抽出された輝度点の全てを統合処理の評価対象とする場合、最初に生成可能な最小単位の全ての多角形パターン(N=3の三角形パターン)の組み合わせに対して、統合の可否評価を行う必要があるため、多角形パターン生成部6により抽出された輝度点の数に処理量が依存する。
図11はパターン拡張部17の拡張処理で多角形化される辞書多角形パターン及び目標多角形パターンを示す説明図である。
パターン拡張部17は、多角形パターンの統合処理を実施しないが、図1のパターン統合/拡張部12と同様に、多角形パターンの拡張処理を実施する。
即ち、パターン拡張部17は、多角形パターン生成部6により観測画像から抽出された輝度点の中に、いずれの対応関係にも該当しない輝度点である目標未対応点Pnt(いずれのパターンペアにも構成点として含まれていない輝度点)が存在している場合、その目標未対応点Pntに対応する輝度点が辞書画像内に存在していれば、その輝度点を統合後の辞書多角形パターンに追加した場合の辞書多角形パターンと、その目標未対応点Pntを統合後の目標多角形パターンに追加した場合の目標多角形パターンとの統合適合度を算出し、その統合適合度が照合閾値Sc以上であれば、目標未対応点Pntに対応する辞書画像内の輝度点を統合後の辞書多角形パターンに追加するとともに、その目標未対応点Pntを統合後の目標多角形パターンに追加する。
したがって、パターン拡張部17は、1つの目標未対応点Pnt毎に、当該目標未対応点Pntを多角形パターンに組み込むか否かの評価を行うものであり、目標未対応点Pntの網羅的な探索が可能である。
しかし、多角形パターンの統合処理を実施せずに、多角形パターンの拡張処理だけで多角形化する場合、多角形パターンの全世代において、全ての目標未対応点Pntについて多角形パターンに対する組み込み評価を行うため、統合処理とは比較にならないほど世代数が多くなる。
また、世代を重ねるほど、各世代で存在する対応関係がある多角形パターンの数や、画像上の輝度点数に比例して、拡張処理の処理量が増大する。また、生成した多角形間の重複の判定処理や重複の除去処理等の処理量も増大する。したがって、初期世代における多角形パターンの数を削減できたとしても、その後の世代数の増大に応じた拡張処理量や、重複判定及び重複除去の処理量の増大を免れない。
そこで、多角形パターン生成部6により観測画像から抽出された全ての輝度点を最終的な多角形パターンへの組み込み対象とすることの必然性について、画像の性質を踏まえて考える。
例えば、参照画像及び観測画像が光学画像である場合、輝度点の分布形状の変形等がほとんど起きないため、全ての輝度点がほぼ網羅的に組み込まれた多角形パターンを生成した上で、対応関係の判定処理が行われるべきである。
参照画像及び観測画像がレーダ画像である場合、ノイズや観測諸元差の微小変動による輝度位置の変動を無視することができないため、必ずしも全ての輝度点を多角形パターンに組み込むことは有効でなく、多角形パターンに対する組み込み対象の輝度点を選別することは重要である。
したがって、限定された輝度点から初期世代の多角形パターンを生成し、評価値の基準を満足する限られた輝度点だけを、多角形パターンに組み込む拡張処理の対象とすることが有効な手段であると考えられる。
また、多角形パターンの世代数や、各世代での多角形パターンの数が、事前に設定された閾値を超えた時点で拡張処理を終了することで、拡張処理量や重複判定処理量の増大を防ぐことは有効な手段であると考えられる。
以上より、参照画像及び観測画像がレーダ画像である場合、拡張処理において、多角形パターンに対する組み込み対象の輝度点が絞り込まれる。
そこで、パターン拡張部17は、拡張対象の輝度点である複数の目標未対応点Pntの中から、順番に1個の目標未対応点Pntを選択して、その目標未対応点Pntを多角形パターンに組み込んだ場合の統合適合度(評価値)を算出する。
次に、パターン拡張部17は、各々の目標未対応点Pntを多角形パターンに組み込んだ場合の統合適合度(評価値)を比較し、その統合適合度(評価値)が高い目標未対応点Pntから順番に多角形パターンに組み込むことで拡張し、拡張後の多角形パターンの世代数や、各世代での多角形パターンの数が、事前に設定された閾値を超えた時点で拡張処理を終了する。
ここで、上記の閾値は、事前に判読技術者等のオペレータが設定するようにすればよいが、多角形パターンの世代数の閾値としては、例えば、初期世代における拡張対象の輝度点の数の数パーセントの値などが考えられる。
この実施の形態7では、多角形パターン生成部6が、例えば、「辺長の総和や面積等の降順/昇順」など、事前に判読技術者等のオペレータにより設定された初期世代選択基準(順序)に基づいて、初期世代の多角形パターンを生成する。
このとき、初期世代で生成する多角形パターンの数は、事前に判読技術者等のオペレータが設定するようにすればよいが、全ての輝度点の組み合わせの数として算出される初期世代の最大生成数の数パーセントの値などが考えられる。
以上で明らかなように、この実施の形態7によれば、パターン拡張部17が、多角形パターンの統合処理を実施せずに、多角形パターンの拡張処理を実施するだけで多角形化するように構成しているので、多角形パターンの統合処理を実施する場合よりも、多角形パターンに対する組み込み対象の輝度点の数等の条件によっては処理量を低減することができる効果を奏する。
また、多角形パターンに対する組み込み対象の輝度点が絞り込まれるので、多角形パターンの拡張処理を実施するだけで多角形化する場合でも、類識別性能の劣化を招くことなく、拡張処理等の処理量を削減することができる効果を奏する。
実施の形態8.
上記実施の形態1では、多角形パターン生成部6が、辞書画像データ格納部5により格納されている各グループの辞書画像データが示す辞書画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする辞書多角形パターンを生成するものを示したが、各グループの辞書画像データが示す辞書画像から抽出した複数の輝度点の中で、他の輝度点との距離が事前に設定された距離閾値以下の輝度点群を1つの輝度点に集約する集約処理を実施し、集約処理後の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする辞書多角形パターンを生成するようにしてもよい。
また、上記実施の形態1では、多角形パターン生成部6が、画像調整部3から出力された画像調整後観測画像データT’が示す観測画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする目標多角形パターンを生成するものを示したが、画像調整部3から出力された画像調整後観測画像データT’が示す観測画像から抽出した複数の輝度点の中で、他の輝度点との距離が事前に設定された距離閾値以下の輝度点群を1つの輝度点に集約する集約処理を実施し、前記集約処理後の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、その輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする目標多角形パターンを生成するようにしてもよい。
図12は目標類識別装置における目標レーダ画像(参照画像、観測画像)の一例を示す説明図である。
図13は図12の目標レーダ画像から抽出された輝度点を表している説明図である。
図12に表されている□は、多角形パターンの生成対象となる輝度点であり、複数の□が密集している箇所がある。
図12の例では、複数の輝度点に相当する点形状が分散して分布しているように見えるが、実際には、図13に示すように、複数の輝度点がいくつかのグループに分かれており、それぞれのグループ内で複数の輝度点が密集(複数の□が密集)して分布している。
また、図13の例では、近傍に位置している3点の□を結んだ三角形が多角形パターンとして生成されているが、この多角形パターンは、実質的には線形状であり、多角形状とは言い難い多角形パターンとなっている。このような多角形パターンは、対応関係の評価対象としてふさわしくなく、無駄な評価処理が発生する。
図14は多角形パターン生成部6により輝度点の集約処理が実施された場合の集約処理後の輝度点を表している説明図である。
〇の範囲内に存在している複数の輝度点が集約処理で得られた輝度集約点(輝度点群)であり、図14に示すように、3点の〇(輝度集約点)を結んだ三角形が多角形パターンとして生成される。これにより、図13のように、近傍に位置している輝度点を結ぶことで生成される不要な多角形パターン(多角形状とは言い難く、目標の特徴的形状を表していないと思われる多角形パターン)の生成が除外される。また、近傍に位置している輝度点を別の分布点として扱うことがなくなるため、類似している多角形パターンの生成による不要な多角形パターンの生成もなくなり、効率のよい対応関係の評価が可能になる。
多角形パターン生成部6が輝度点の集約処理を実施する際に用いる距離閾値は、事前に判読技術者等のオペレータが設定するようにすればよいが、この距離閾値としては、例えば、観測画像(もしくは参照画像)の2軸方向長Lx,Lyのうち、大きい方の値Lmaxの数パーセントの値などが考えられる。
また、距離閾値として、例えば、観測画像(もしくは参照画像)において、多角形パターンに組み込まれる対象となる全ての輝度点の各軸方向の座標の最大値Pxmax,Pymaxと最小値Pxmin,Pyminの差分Pxmax−Pxmin,Pymax−Pyminを算出し、差分Pxmax−Pxmin,Pymax−Pyminのうち、大きい方の値Psmaxの数パーセントの値などが考えられる。
以上で明らかなように、この実施の形態8によれば、多角形パターン生成部6が輝度点の集約処理を実施してから、多角形パターンを生成するように構成したので、効率のよい対応関係の評価が可能になる効果が得られる。
上記実施の形態1では、パターン照合部10が、多角形パターン選択部9から出力された辞書多角形パターンと目標多角形パターンを照合する際、その辞書多角形パターンを構成している輝度点と、その目標多角形パターンを構成している輝度点との位置関係を評価して、その位置関係の評価値(辞書多角形パターンと目標多角形パターンの適合度)を算出するものを示しており、また、その具体例の1つとして、目標多角形パターンを構成している輝度点の輝度値と、その輝度点に対応する辞書多角形パターンの輝度点の輝度値との輝度差を求め、全対応点の輝度差の総和の逆数(重み)を評価値に乗ずることで、輝度点の輝度値を照合時の評価に用いているものを示している。
この実施の形態8では、パターン照合部10は、多角形パターン生成部6により集約された輝度集約点を構成している複数の輝度値の合計値を算出し、その合計値を輝度集約点の輝度値としてもよい。
この場合、パターン照合部10は、全対応点の輝度差の総和の逆数(重み)を評価値に乗ずる際、輝度集約点の輝度値と、その輝度集約点に対応する輝度点との輝度差を用いることができる。
これにより、輝度集約点を非常に高輝度な1つの輝度点として扱うことが可能になるため、判読技術者の視点に近い「位置と輝度」を考慮した類識別が可能になる。
また、この実施の形態8では、パターン照合部10は、多角形パターン生成部6により集約された輝度集約点を構成している輝度点の個数を計数し、輝度点の輝度値を照合時の評価に用いる代わりに、その輝度集約点を構成している輝度点の個数を照合時の評価に用いるようにしてもよい。
例えば、辞書多角形パターンを構成している三角形の3つの頂点の輝度点をa,a,aであるとし、輝度点aが3個の輝度点が集約された輝度集約点、輝度点aが3個の輝度点が集約された輝度集約点、輝度点aは輝度点が集約されていない1個の輝度点であるとする。
また、目標多角形パターンを構成している三角形の3つの頂点の輝度点をb,b,bであるとし、輝度点bが2個の輝度点が集約された輝度集約点、輝度点bが2個の輝度点が集約された輝度集約点、輝度点bが2個の輝度点が集約された輝度集約点であるとする。
この場合、辞書多角形パターンに係る三角形を構成している個々の輝度集約点の輝度点の個数は、それぞれ3、3、1、目標多角形パターンに係る三角形を構成している個々の輝度集約点の輝度点の個数は、それぞれ2、2、2となり、各輝度集約点の輝度点の個数の差はそれぞれ1、1、1となる。これらの差の2乗和は3となるため、この個数の差の2乗和である3を評価値のペナルティとして用いる。
即ち、パターン照合部10は、両者の「個々の輝度集約点を構成する輝度点」の個数の差が全て0個(輝度点の個数が一致)であれば、上記実施の形態1と同様の方法で算出した辞書多角形パターンと目標多角形パターンとの適合度(評価値)に対してペナルティを課さないが、個々の輝度集約点の輝度点の個数の差が大きいほど、その辞書多角形パターンと目標多角形パターンとの適合度(評価値)を減じるようにする。
これにより、判読技術者の視点に近い「位置と輝度」及び「全体分布と局所的密集」を考慮した類識別が可能になる。
また、この実施の形態8では、パターン照合部10は、多角形パターン生成部6により集約された輝度集約点を構成している複数の輝度点の分布領域の面積を算出し、輝度点の輝度値を照合時の評価に用いる代わりに、その分布領域の面積を照合時の評価に用いるようにしてもよい。
輝度集約点を構成している複数の輝度点の分布領域の面積は、その輝度集約点を構成している複数の輝度点を頂点とする多角形の面積としてもよいし、また、その輝度集約点を構成している複数の輝度点を包含している2軸方向に並行な辺を持つ最小の矩形領域の面積としてもよい。
具体的には、輝度集約点を構成している複数の輝度点を包含している2軸方向の最大値PCxmax,PCymaxと最小値PCxmin,PCyminとの差分を算出し、それらの差の積 (PCxmax−PCxmin)×(PCymax−PCymin)を複数の輝度点の分布領域の面積としてもよい。
パターン照合部10は、辞書多角形パターンに係る分布領域の面積と目標多角形パターンに係る分布領域の面積の差が0個(面積が一致)であれば、上記実施の形態1と同様の方法で算出した辞書多角形パターンと目標多角形パターンとの適合度(評価値)に対してペナルティを課さないが、分布領域の面積の差が大きいほど、その辞書多角形パターンと目標多角形パターンとの適合度(評価値)を減じるようにする。
これにより、目標全体の形状としては1点の輝度点として扱いたいが、局所的な広がりも考慮して評価することが可能になり、判読技術者の視点に近い「全体分布と局所的広がり」を考慮した類識別が可能になる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る目標類識別装置は、目標の種類を判定する際、分解能の制約や特徴量の選択精度の影響を受けることなく、観測諸元等の微小な変動があっても、目標を正確に類別する必要があるものに適している。
1 参照画像データ格納部(参照画像データ格納手段)、2 観測画像データ格納部(観測画像データ格納手段)、3 画像調整部(画像調整手段)、4 辞書画像データ生成部(辞書画像データ生成手段)、5 辞書画像データ格納部、6 多角形パターン生成部(多角形パターン生成手段)、7 辞書多角形パターン格納部、8 目標多角形パターン格納部、9 多角形パターン選択部(多角形パターン選択手段)、10 パターン照合部(パターン照合手段)、11 パターン照合結果格納部、12 パターン統合/拡張部(パターン統合部、パターン照合手段)、13 全体適合度算出部(種類判定手段)、14 全体適合度データ格納部、15 種類判定部(種類判定手段)、16 種類判定結果格納部、17 パターン拡張部(パターン照合手段)。

Claims (19)

  1. 種類判定対象の目標が観測されたレーダ画像である観測画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出して、その抽出した複数の輝度点を頂点とする多角形の形状パターンである目標多角形パターンを生成する多角形パターン生成手段と、
    辞書画像からそれぞれ抽出された輝度値が前記輝度閾値以上の画素である輝度点を頂点とする多角形の形状パターンである辞書多角形パターンと前記多角形パターン生成手段により生成された目標多角形パターンを照合するパターン照合手段と、
    前記パターン照合手段による多角形パターンの照合結果を用いて、前記種類判定対象の目標の種類を判定する種類判定手段と、
    を備えた目標類識別装置。
  2. 前記観測画像を示す観測画像データを格納する観測画像データ格納手段を備え、
    前記観測画像データ格納手段により格納されている観測画像データに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の観測画像データを前記多角形パターン生成手段に出力する画像調整手段を備えたことを特徴とする請求項1記載の目標類識別装置。
  3. 前記観測画像を示す観測画像データを格納する観測画像データ格納手段を備え、
    前記多角形パターン生成手段は、
    前記観測画像データ格納手段により格納されている観測画像データが示す観測画像から、輝度値が前記輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、前記輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする目標多角形パターンを生成する
    ことを特徴とする請求項1記載の目標類識別装置。
  4. 種類が既知の各々の目標のレーダ画像である参照画像を示す参照画像データを観測諸元と既知の種類別にグループ分けすることで設けられたグループに対して、各グループに属する複数の前記辞書多角形パターンの中から、照合対象の辞書多角形パターンを選択して、当該辞書多角形パターンを前記パターン照合手段に出力するとともに、前記多角形パターン生成手段により生成された複数の目標多角形パターンの中から、照合対象の目標多角形パターンを選択して、当該目標多角形パターンを前記パターン照合手段に出力する多角形パターン選択手段を備えたことを特徴とする請求項1記載の目標類識別装置。
  5. 前記多角形パターン選択手段は、複数の前記辞書多角形パターン及び前記多角形パターン生成手段により生成された複数の目標多角形パターンの中から、パターンを構成している辺の長さ又はパターンの面積の昇順又は降順に、照合対象の辞書多角形パターン及び照合対象の目標多角形パターンを選択することを特徴とする請求項4記載の目標類識別装置。
  6. 前記パターン照合手段は、
    種類が既知の各々の目標のレーダ画像である参照画像を示す参照画像データを観測諸元と既知の種類別にグループ分けすることで設けられたグループに対して、各グループに属する複数の前記辞書多角形パターンと、前記多角形パターン生成手段により生成された複数の目標多角形パターンとを照合するパターン照合部と、
    前記パターン照合部の照合結果を参照して、前記各グループに属する複数の辞書多角形パターンと前記複数の目標多角形パターンとの組み合わせの中で、対応関係がある辞書多角形パターンと目標多角形パターンのペアを複数特定し、その特定した複数のペアにおける辞書多角形パターン同士を統合するとともに、その特定した複数のペアにおける目標多角形パターン同士を統合するパターン統合/拡張部とを備え、
    前記パターン照合部が、前記パターン統合/拡張部による統合後の辞書多角形パターンと統合後の目標多角形パターンとを照合することを特徴とする請求項1記載の目標類識別装置。
  7. 前記パターン統合/拡張部は、対応関係がある辞書多角形パターンと目標多角形パターンのペアを特定する処理を実施したのち、前記多角形パターン生成手段により観測画像から抽出された輝度点の中に、前記ペアにおける目標多角形パターンの構成点に含まれていない輝度点が存在している場合、その存在している輝度点に対応する前記辞書画像内の輝度点を探索し、前記存在している輝度点に対応する輝度点が前記辞書画像内にあれば、前記辞書画像内にある輝度点を前記辞書多角形パターンの構成点に含めるとともに、前記存在している輝度点を前記目標多角形パターンの構成点に含めるパターン拡張処理を実施することを特徴とする請求項6記載の目標類識別装置。
  8. 前記パターン照合手段は、
    種類が既知の各々の目標のレーダ画像である参照画像を示す参照画像データを観測諸元と既知の種類別にグループ分けすることで設けられたグループに対して、各グループに属する複数の前記辞書多角形パターンと、前記多角形パターン生成手段により生成された複数の目標多角形パターンとを照合するパターン照合部と、
    前記パターン照合部の照合結果を参照して、前記各グループに属する複数の辞書多角形パターンと前記複数の目標多角形パターンとの組み合わせの中で、対応関係がある辞書多角形パターンと目標多角形パターンのペアを特定し、前記多角形パターン生成手段により観測画像から抽出された輝度点の中に、前記ペアにおける目標多角形パターンの構成点に含まれていない輝度点が存在している場合、その存在している輝度点に対応する前記辞書画像内の輝度点を探索し、前記存在している輝度点に対応する輝度点が前記辞書画像内にあれば、前記辞書画像内にある輝度点を前記辞書多角形パターンの構成点に含めるとともに、前記存在している輝度点を前記目標多角形パターンの構成点に含めるパターン拡張処理を実施するパターン拡張部とを備え、
    前記パターン照合部が、前記パターン拡張部による拡張処理後の辞書多角形パターンと拡張処理後の目標多角形パターンとを照合することを特徴とする請求項1記載の目標類識別装置。
  9. 前記種類判定手段は、
    前記パターン照合部による各グループにおける統合後の辞書多角形パターンと統合後の目標多角形パターンとの照合結果を用いて、各グループの全体適合度を算出する適合度算出部と、
    前記適合度算出部により算出された各グループの全体適合度に基づいて前記種類判定対象の目標の種類に対応するグループを特定し、その特定したグループの種類が前記目標の種類であると判定する種類判定部とを備えた
    ことを特徴とする請求項6記載の目標類識別装置。
  10. 種類が既知の各々の目標のレーダ画像である参照画像を示す参照画像データを観測諸元と既知の種類別にグループ分けし、各グループの参照画像データから、観測画像との照合に用いる各グループの辞書画像を示す辞書画像データをそれぞれ生成する辞書画像データ生成手段と、
    前記辞書画像データ生成手段により生成された各グループの辞書画像データが示す辞書画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出して、その抽出した複数の輝度点を頂点とする各グループの多角形の形状パターンである辞書多角形パターンをそれぞれ生成する多角形パターン生成手段と、
    を備えた目標類識別装置。
  11. 前記参照画像を示す参照画像データ及び前記参照画像データの観測諸元を格納する参照画像データ格納手段を備え、
    前記辞書画像データ生成手段は、前記参照画像データ格納手段により格納されている観測諸元と既知の種類別に、前記参照画像データ格納手段により格納されている複数の参照画像データをグループ分けし、各グループの参照画像データから各グループの辞書画像を示す辞書画像データをそれぞれ生成することを特徴とする請求項10記載の目標類識別装置。
  12. 前記参照画像データ格納手段により格納されている参照画像データに対する輝度調整処理、大きさの正規化処理及び画像の位置合わせ処理を実施して、処理後の参照画像データを前記辞書画像データ生成手段に出力する画像調整手段を備えたことを特徴とする請求項11記載の目標類識別装置。
  13. 前記多角形パターン生成手段は、
    前記辞書画像データ生成手段により生成された各グループの辞書画像データが示す辞書画像から、輝度値が輝度閾値以上の画素をそれぞれ輝度点として抽出するとともに、その抽出した複数の輝度点の中から、多角形の頂点に用いる輝度点の組み合わせを複数決定し、前記輝度点の組み合わせ毎に、当該組み合わせに含まれている輝度点を頂点とする辞書多角形パターンを生成する
    ことを特徴とする請求項11記載の目標類識別装置。
  14. 前記多角形パターン生成手段は、前記参照画像データ格納手段により格納されている観測諸元から輝度分布の変動の範囲を予測し、前記変動の範囲を前記生成した辞書多角形パターンの分布領域に付加することを特徴とする請求項13記載の目標類識別装置。
  15. 前記パターン照合部は、前記辞書多角形パターンと前記多角形パターン生成手段により生成された目標多角形パターンを照合する際、前記辞書多角形パターンを構成している輝度点と、前記目標多角形パターンを構成している輝度点との位置関係を評価し、前記位置関係を評価している前記辞書多角形パターンと前記目標多角形パターンの照合結果を出力することを特徴とする請求項6記載の目標類識別装置。
  16. 前記パターン照合部は、前記辞書多角形パターンと前記多角形パターン生成手段により生成された目標多角形パターンを照合する際、前記辞書多角形パターン及び前記目標多角形パターンを構成している各輝度点間の距離を評価し、前記距離を評価している前記辞書多角形パターンと前記目標多角形パターンの照合結果を出力することを特徴とする請求項6記載の目標類識別装置。
  17. 前記パターン照合部は、前記辞書多角形パターンと前記多角形パターン生成手段により生成された目標多角形パターンを照合する際、前記辞書多角形パターン及び前記目標多角形パターンを構成している輝度点からなる多角形の形状を評価し、前記形状を評価している前記辞書多角形パターンと前記目標多角形パターンの照合結果を出力することを特徴とする請求項6記載の目標類識別装置。
  18. 前記パターン照合部は、前記辞書多角形パターンと前記多角形パターン生成手段により生成された目標多角形パターンを照合する際、前記辞書多角形パターンを構成している輝度点からなる多角形と、前記目標多角形パターンを構成している輝度点からなる多角形との距離で位置関係を評価し、前記距離を評価している前記辞書多角形パターンと前記目標多角形パターンの照合結果を出力することを特徴とする請求項6記載の目標類識別装置。
  19. 前記多角形パターン生成手段は、前記辞書画像から抽出した複数の輝度点の中で、他の輝度点との距離が事前に設定された距離閾値以下の輝度点群を1つの輝度点に集約する集約処理を実施し、前記集約処理後の輝度点を頂点とする各グループの多角形の形状パターンである辞書多角形パターンをそれぞれ生成するとともに、前記観測画像から抽出した複数の輝度点の中で、他の輝度点との距離が事前に設定された距離閾値以下の輝度点群を1つの輝度点に集約する集約処理を実施し、前記集約処理後の輝度点を頂点とする多角形の形状パターンである目標多角形パターンを生成することを特徴とする請求項1または請求項10記載の目標類識別装置。
JP2015527321A 2013-07-18 2014-07-16 目標類識別装置 Expired - Fee Related JP6049882B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013149521 2013-07-18
JP2013149521 2013-07-18
PCT/JP2014/068932 WO2015008798A1 (ja) 2013-07-18 2014-07-16 目標類識別装置

Publications (2)

Publication Number Publication Date
JP6049882B2 true JP6049882B2 (ja) 2016-12-21
JPWO2015008798A1 JPWO2015008798A1 (ja) 2017-03-02

Family

ID=52346246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015527321A Expired - Fee Related JP6049882B2 (ja) 2013-07-18 2014-07-16 目標類識別装置

Country Status (4)

Country Link
US (1) US20160189002A1 (ja)
EP (1) EP3023808A4 (ja)
JP (1) JP6049882B2 (ja)
WO (1) WO2015008798A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
CN106469310B (zh) * 2015-08-17 2021-06-25 腾讯科技(深圳)有限公司 图片中字符提取方法及装置
JP6348093B2 (ja) 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
US10136103B2 (en) * 2015-11-23 2018-11-20 Lexmark International, Inc. Identifying consumer products in images
US10296605B2 (en) * 2015-12-14 2019-05-21 Intel Corporation Dictionary generation for example based image processing
US20180300872A1 (en) * 2017-04-12 2018-10-18 Ngr Inc. Method And Apparatus For Integrated Circuit Pattern Inspection With Automatically Set Inspection Areas
US11450217B2 (en) * 2017-12-19 2022-09-20 Nihon Onkyo Engineering Co., Ltd. Device for collecting aircraft operation history information
JP7086386B2 (ja) * 2018-06-04 2022-06-20 国立大学法人電気通信大学 点群マッチング装置、点群マッチング方法及びプログラム
CN111367269B (zh) * 2018-12-26 2023-08-15 武汉万集信息技术有限公司 激光雷达的导航定位方法、装置及***
CA3154216A1 (en) * 2019-10-11 2021-04-15 Beyeonics Surgical Ltd. System and method for improved electronic assisted medical procedures
CN111680565B (zh) * 2020-05-08 2022-06-07 湖北航天技术研究院总体设计所 一种基于sar图像的港口区域舰船目标检测方法
CN112163615B (zh) * 2020-09-25 2022-04-22 电子科技大学 一种基于门限优化字典学习的未知目标判别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189762A (ja) * 1996-01-08 1997-07-22 Mitsubishi Electric Corp レーダ装置を用いた地表変動観測方法並びにこの方法に用いる合成開口レーダ装置及びトランスポンダ
JP2000069366A (ja) * 1998-08-19 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 移動物体映像合成方法及び装置及びこの方法を記録した記録媒体
JP2004184370A (ja) * 2002-12-06 2004-07-02 Mitsubishi Electric Corp 観測目標の類識別装置
JP2005003602A (ja) * 2003-06-13 2005-01-06 Mitsubishi Electric Corp レーダ装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
JP2006234678A (ja) * 2005-02-25 2006-09-07 Mitsubishi Electric Corp 目標識別装置
JP2008521109A (ja) * 2004-11-16 2008-06-19 インターナショナル・ビジネス・マシーンズ・コーポレーション バイオメトリクスを表現するための装置、方法、プログラム記憶装置、およびコンピュータ・プログラム(指紋バイオメトリック・マシン)
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置
JP2012127920A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 目標類識別装置
JP2013134112A (ja) * 2011-12-26 2013-07-08 Mitsubishi Electric Corp 目標方向推定装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07210687A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
US6625311B1 (en) * 1999-04-09 2003-09-23 The Board Of Regents Of The University Of Nebraska Methodology for data structure characterization, indexing, storage and retrieval
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP2011520190A (ja) * 2008-05-02 2011-07-14 アイアイシー、インク. 画像アラインメントを使用してオブジェクトを別画像に亘ってマッピングするシステム
US8718383B2 (en) * 2008-08-06 2014-05-06 Obschestvo s ogranischennoi otvetstvennostiu “KUZNETCH” Image and website filter using image comparison
US8069423B2 (en) * 2008-08-11 2011-11-29 Cadence Design Systems, Inc. System and method for model based multi-patterning optimization
JP5280386B2 (ja) * 2010-02-12 2013-09-04 庸一郎 伊藤 認証システム並びに認証情報登録および照会方法
US8718380B2 (en) * 2011-02-14 2014-05-06 Mitsubishi Electric Research Laboratories, Inc. Representing object shapes using radial basis function support vector machine classification
GB2501308A (en) * 2012-04-19 2013-10-23 Vision Rt Ltd Matching the position of an object to a target model using rigid transformations
TW201437925A (zh) * 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品
US9092697B2 (en) * 2013-02-07 2015-07-28 Raytheon Company Image recognition system and method for identifying similarities in different images
WO2014160426A1 (en) * 2013-03-13 2014-10-02 Kofax, Inc. Classifying objects in digital images captured using mobile devices
CN104182719B (zh) * 2013-05-21 2017-06-30 宁波华易基业信息科技有限公司 一种图像识别方法及装置
EP3008694B1 (en) * 2013-06-11 2021-01-27 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
US9754165B2 (en) * 2013-07-30 2017-09-05 The Boeing Company Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
JP6557943B2 (ja) * 2014-01-15 2019-08-14 オムロン株式会社 画像照合装置、画像センサ、処理システム、画像照合方法
US9501498B2 (en) * 2014-02-14 2016-11-22 Nant Holdings Ip, Llc Object ingestion through canonical shapes, systems and methods
US9767371B2 (en) * 2014-03-27 2017-09-19 Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US9443164B2 (en) * 2014-12-02 2016-09-13 Xerox Corporation System and method for product identification
US9595038B1 (en) * 2015-05-18 2017-03-14 Amazon Technologies, Inc. Inventory confirmation
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09189762A (ja) * 1996-01-08 1997-07-22 Mitsubishi Electric Corp レーダ装置を用いた地表変動観測方法並びにこの方法に用いる合成開口レーダ装置及びトランスポンダ
JP2000069366A (ja) * 1998-08-19 2000-03-03 Nippon Telegr & Teleph Corp <Ntt> 移動物体映像合成方法及び装置及びこの方法を記録した記録媒体
JP2004184370A (ja) * 2002-12-06 2004-07-02 Mitsubishi Electric Corp 観測目標の類識別装置
JP2005003602A (ja) * 2003-06-13 2005-01-06 Mitsubishi Electric Corp レーダ装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
JP2008521109A (ja) * 2004-11-16 2008-06-19 インターナショナル・ビジネス・マシーンズ・コーポレーション バイオメトリクスを表現するための装置、方法、プログラム記憶装置、およびコンピュータ・プログラム(指紋バイオメトリック・マシン)
JP2006234678A (ja) * 2005-02-25 2006-09-07 Mitsubishi Electric Corp 目標識別装置
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012127920A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 目標類識別装置
JP2013134112A (ja) * 2011-12-26 2013-07-08 Mitsubishi Electric Corp 目標方向推定装置

Also Published As

Publication number Publication date
JPWO2015008798A1 (ja) 2017-03-02
EP3023808A4 (en) 2017-09-06
US20160189002A1 (en) 2016-06-30
WO2015008798A1 (ja) 2015-01-22
EP3023808A1 (en) 2016-05-25

Similar Documents

Publication Publication Date Title
JP6049882B2 (ja) 目標類識別装置
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
US8675974B2 (en) Image processing apparatus and image processing method
CN105654098B (zh) 一种高光谱遥感图像的分类方法及其***
US7397473B2 (en) Geometry based search method for 3D CAx/PDM repositories
CN110136156B (zh) 一种多边形区域检测方法及装置
JP2011238204A (ja) 3次元シーンにおける3次元物体の認識及び位置姿勢決定方法
Bustos et al. An experimental comparison of feature-based 3D retrieval methods
Lim et al. 3D object recognition using scale-invariant features
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
JP6037790B2 (ja) 目標類識別装置及び目標類識別方法
JP6623126B2 (ja) 物体検索装置、三次元物体モデル化装置、方法、及びプログラム
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
EP2852918B1 (en) Method and apparatus for generating shape descriptor of a model
CN112686871B (zh) 基于改进对数比算子和Gabor_ELM的SAR图像变化检测方法
CN115205496A (zh) 一种数字孪生模型轻量化方法及***
Zhu et al. The study of combined invariants optimization method on aircraft recognition
Rozsa et al. Exploring in partial views: Prediction of 3D shapes from partial scans
Zare-Baghbidi et al. Improving the RX anomaly detection algorithm for hyperspectral images using FFT
JP6320806B2 (ja) 三次元モデル検索方法、及び三次元モデル検索システム
Ni et al. Multiple-primitives-based hierarchical classification of airborne laser scanning data in urban areas
De Toledo et al. Reverse engineering for industrial-plant cad models
Rokni et al. Comparative statistical-based and color-related pan sharpening algorithms for ASTER and RADARSAT SAR satellite data
Luo et al. Visual tracking with singular value particle filter
Martono Multi voxel descriptor for 3D texture retrieval

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161122

R150 Certificate of patent or registration of utility model

Ref document number: 6049882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees