JP4476517B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4476517B2 JP4476517B2 JP2001145415A JP2001145415A JP4476517B2 JP 4476517 B2 JP4476517 B2 JP 4476517B2 JP 2001145415 A JP2001145415 A JP 2001145415A JP 2001145415 A JP2001145415 A JP 2001145415A JP 4476517 B2 JP4476517 B2 JP 4476517B2
- Authority
- JP
- Japan
- Prior art keywords
- target object
- image
- calculating
- moving body
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置に関し、特に、移動体を目的物体へ誘導させ、接近させるために、その移動体に搭載された画像処理装置に関する。
【従来の技術】
【０００２】
このような画像処理装置の第１の従来技術として、特開平８−１４７９８号公報に記載された「飛翔体の誘導装置」がある。この従来技術によれば、飛行体に一定間隔で設けられた２つの撮像装置（第１パッシブセンサ及び第２パッシブセンサ）によって、飛翔体と目標物（目的物）までの距離（Ｌ）と方向（α）の測定を可能にすることにより、目的物までの距離に応じて適切な誘導制御を行っている。また、第２の従来技術として、特開昭６３−２３５８１０号公報に記載された「パッシブ測距方式」がある。この従来技術によれば、相手に探索されることなく、目標（目的）までの距離を測定するパッシブ測距方式により、１台の撮像装置を移動体に搭載し、移動体が移動する２点における移動体の進行方向と撮像装置が目標を見るときの光軸の角度および撮像装置からの目標視野とを計測し、２点で計測した両角度と、移動体が２点間を移動する速度および所要時間とを演算して目標までの距離を計測している。
【０００３】
【発明が解決しようとする課題】
しかしながら、特開平８−１４７９８号公報に記載された従来技術では、１つの移動体に２つの撮像装置を設置して、その撮像装置間の間隔を利用して距離計測しているので、高い距離計測精度を得るためには２つの撮像装置間の間隔を大きくする必要があるが、撮像装置を設置するためのスペースが限られているため、必要な距離計測精度を得るための視差が取れないという課題があった。また、撮像装置が２台必要であるため、画像処理装置のコストが高くなるという課題もあった。
【０００４】
また、特開平６３−２３５８１０号公報に記載された従来技術では、１つの移動体に１つの撮像装置を設置し、移動体が移動することを利用して距離計測を行っているが、目的物体までの距離計測に必要な視差を算出しないために、どの程度の視差を取ればよいのかわからないという課題があった。
【０００５】
さらに、上記第１および第２の従来技術では、目的物体に良く似た形状の偽の物体に誤って誘導してしまうという課題があった。
【０００６】
また、上記第１および第２の従来技術では、目的物体までの距離計測は可能であるが、目的物体の海上高度又は地上高度は計測できないという課題があった。
【０００７】
また、上記第１および第２の従来技術では、目的物体に設置された撮像装置であるカメラは、カメラ視野およびカメラの解像度が固定されたものであるため、広角レンズを使用したカメラは、カメラと目的物体の距離が遠い場合は目的物体が画像に小さくしか映らないか、あるいはほとんど画像に映らない等のように目的物体の漏れが生じるという課題があった。一方、望遠レンズを使用したカメラは視野が狭いため、カメラの角度が正確でないとカメラ視野内に目的物体が映らない等のように画像の解像度が実質的に低下するという課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することのない画像処理装置を得ることを目的とする。
また、この発明は目的物体の海上高度も地上高度も計測できる画像処理装置を得ることを目的とする。
さらに、この発明は目的物体の漏れ防止と画像の解像度を上げることを同時に満たすことができる画像処理装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る画像処理装置は、少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、認識対象の画像を撮像して画像データを取得する画像取得手段と、この画像取得手段によって取得された画像データから目的物体候補を抽出する目的物体候補抽出手段と、この目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、この距離計測手段で計測された距離に基づいて目的物体候補の海上高度又は地上高度を算出する海上／地上高度演算手段と、目的物体候補の海上高度又は地上高度及び事前情報格納手段に格納された事前情報に基づいて目的物体候補と目的物体のモデルとの類似性を演算するモデル類似性演算手段と、このモデル類似性演算手段による算出結果に基づいて目的物体候補の中から目的物体を選択する目的物体選択手段と、選択された目的物体に対する移動体の最適な経路を演算する最適経路演算手段とを有するものである。
【００１１】
この発明に係る画像処理装置は、画像上の任意の点を用いて平面あてはめを行うことにより海上面又は地上面を算出する海上／地上平面演算手段をさらに備え、距離計測手段は海上／地上平面演算手段によって算出された海上面又は地上面に基づいて目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するものである。
【００１２】
この発明に係る画像処理装置は、３次元情報を格納する３次元情報格納手段及びこの３次元情報格納手段に格納された３次元情報と距離計測手段で計測された距離とに基づいて位置あわせを行う位置あわせ手段をさらに備え、海上／地上高度演算手段は位置あわせ手段による位置あわせ情報に基づいて目的物体候補の海上高度又は地上高度を算出するものである。
【００１３】
この発明に係る画像処理装置は、３次元情報を格納する３次元情報格納手段、この３次元情報格納手段に格納された３次元情報に基づいて指示計画情報を作成する指示計画手段、及びこの指示計画手段によって作成された指示計画情報に基づいて移動体の経路を演算する経路演算手段をさらに備え、画像取得手段はこの経路演算手段によって算出された経路における認識対象の画像を撮像して画像データを取得するものである。
【００１４】
この発明に係る画像処理装置は、画像取得手段は複数の画像を同時に撮像して複数の画像データを取得するように構成され、目的物体候補抽出手段は画像取得手段によって取得された複数の画像データのそれぞれに基づいて複数系統の目的物体候補を抽出するように構成され、距離計測手段は目的物体候補抽出手段によって抽出された複数系統の目的物体候補に基づいてすべての目的物体候補までの距離を計測するものである。
【００１５】
この発明に係る画像処理装置は、画像取得手段は光学系の条件が異なるとともに画像データの取得順序が設定された複数の画像取得手段で構成され、目的物体候補抽出手段は複数の画像取得手段にそれぞれ対応する複数の目的物体候補抽出手段で構成され、任意の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段は抽出した目的物体候補が次の取得順序に設定された画像取得手段における認識対象の画像になるように設定し、距離計測手段は最終の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態１における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、１０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、１０２は画像取得手段１０１から出力される入力画像の画像データを記憶する画像データ記憶手段、１０３は画像データ記憶手段１０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、１０４は目的物体までの距離を計測する距離計測手段、１０５は目的物体のモデル類似性を演算するモデル類似性演算手段、１０６は目的物体を選択する目的物体選択手段、１０７は目的物体への最適経路を演算する最適経路演算手段、１０８は事前情報を前もって記憶している事前情報格納手段である。
【００１７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段１０１（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図２は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００１８】
まず最初に、本装置が起動されると（ステップＳＴ１０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報をあらかじめ事前情報格納手段１０８に格納する（ステップＳＴ１０２）。事前情報格納手段１０８に格納されているモデルデータ及び画像取得手段１０１であるカメラの性能の具体的な例を図３及び図４に示す。
【００１９】
図３においては、モデルデータとして船、雲、滑走路、ビルがある。そして、各モデルデータごとに、３次元形状モデル、輪郭のシャープさの度合、直線性の度合、移動速度、海上又は地上の高度からなる固有のデータが格納されている。また、図４においては、画像取得手段としてのカメラの自己位置、傾き角、視野角、解像度、制御能力からなるカメラの性能についてのデータが格納されている。この場合において、カメラは認識対象の物体が画像内に取得できるように予め設置されている。なお、図３及び図４に示す事前情報は他の実施の形態においても用いられる。
【００２０】
次に、移動体のある位置において、画像取得手段１０１によって認識対象の画像が入力されて画像データ記憶手段１０２に記憶される（ステップＳＴ１０３）。次に、画像データ記憶手段１０２に記憶された画像データに対して、目的物体候補抽出手段１０３によって目的物体候補の抽出が行われ（ステップＳＴ１０４）、モデル類似性演算手段１０５によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ１０５）。
【００２１】
次に、移動体が移動した後の他の位置において、再度、画像取得手段１０１によって認識対象の画像が入力される（ステップＳＴ１０６）。そして、前回の位置における場合と同様に、画像取得手段１０１によって入力され、画像データ記憶手段１０２に記憶された画像データに対して、目的物体候補抽出手段１０３によって目的物体候補の抽出が行われる（ステップＳＴ１０７）。次に、ステップＳＴ１０４で抽出された各目的物体候補とステップＳＴ１０７で抽出された各目的物体候補との対応付けを行い、距離計測手段１０４によって各目的物体候補までの距離を計測する（ステップＳＴ１０８）。すなわち、移動体の異なる２つの位置における２枚の入力画像の対応付けによって各目的物体候補までの距離計測に必要な視差を算出して、各目的物体候補までの距離を正確に計測する。
【００２２】
次に、モデル類似性演算手段１０５によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ１０９）、目的物体選択手段１０６によって目的物体を選択する。例えば、ある１つの目的物体候補における輪郭のシャープさが０．８、直線性が０．７、移動速度が５ｍ／ｓｅｃである場合には、図３に示したモデルデータから船が目的物体として選択される。
【００２３】
次に、最適経路演算手段１０７によって、事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ１１１）、算出結果に従って移動体を制御させ（ステップＳＴ１１２）、飛行機等の移動体を目的物体である船に接近させて（ステップＳＴ１１３）、処理を終了する（ステップＳＴ１１４）。
【００２４】
以上のように、この実施の形態１によれば、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００２５】
なお、この実施の形態１においては、２枚の入力画像によって距離を計測しているが、距離計測が可能であれば１枚でもよいし、３枚以上の入力画像を用いてもよい。また。ステップＳＴ１０６からステップＳＴ１１２を繰り返して、移動体を目的物体に接近させることもできる。また、この実施の形態１によれば、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近できるという効果がある。
【００２６】
また、この実施の形態１においては、事前情報として移動可能範囲を事前情報格納手段１０８に格納しているが、移動可能範囲を演算する手段を設けて、他の事前情報より移動可能範囲を演算してもよい。
また、この実施の形態１においては、事前情報格納手段１０８に格納されている具体的なモデルデータ及びカメラの性能のデータ例を図３及び図４に示したが、事前情報格納手段１０８に格納されるものはこれに限定するものではない。目的物体候補に対応するモデルデータの種類及びデータ項目をもっと多数にしてもよい。また、カメラの性能についても、例えば目的物体候補に応じて複数の光学系を切り替える構成とし、各構成の性能のデータを格納するようにしてもよい。
【００２７】
実施の形態２．
図５は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態２における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、２０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、２０２は画像取得手段２０１から出力される入力画像の画像データを記憶する画像データ記憶手段、２０３は画像データ記憶手段２０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、２０４は目的物体までの距離を計測する距離計測手段、２０５は海上高度及び地上高度を演算する海上／地上高度演算手段、２０６は目的物体のモデル類似性を演算するモデル類似性演算手段、２０７は目的物体を選択する目的物体選択手段、２０８は目的物体への最適経路を演算する最適経路演算手段、２０９は事前情報を前もって記憶している事前情報格納手段である。
【００２８】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段２０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図６は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００２９】
まず最初に、本装置が起動されると（ステップＳＴ２０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報を事前情報格納手段２０９に格納しておく（ステップＳＴ２０２）。また、予めわかっている情報より地上点を設定しておく（ステップＳＴ２０３）。
【００３０】
次に、移動体のある位置において、画像取得手段２０１によって認識対象の画像が入力されて画像データ記憶手段２０２に記憶される（ステップＳＴ２０４）。画像データ記憶手段２０２に記憶された画像データに対して、目的物体候補抽出手段２０３によって目的物体候補の抽出が行われ（ステップＳＴ２０５）、モデル類似性演算手段２０６によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ２０６）。
【００３１】
次に、移動体が移動した後の他の位置において、再度、画像取得手段２０１によって認識対象の画像が入力されて画像データ記憶手段２０２に記憶される（ステップＳＴ２０７）。画像データ記憶手段２０２に記憶された画像データに対して、目的物体候補抽出手段２０３によって目的物体候補の抽出が行われ（ステップＳＴ２０８）、ステップＳＴ２０５で抽出された目的物体候補とステップＳＴ２０８で抽出された各目的物体候補との対応付けを行い、距離計測手段２０４によって各目的物体候補及び地上点までの距離を計測する（ステップＳＴ２０９）。すなわち、移動体の異なる２つの位置における２枚の入力画像の対応付けによって、目的物体候補までの距離及び地上点までの距離を計測する。
【００３２】
次に、各目的物体候補までの距離と地上点までの距離が計測できているので、海上／地上高度演算手段２０５によって各目的物体候補の地上高度を算出する（ステップＳＴ２１０）。次に、モデル類似性演算手段２０６によって事前情報と地上高度から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ２１１）、目的物体選択手段２０７によって目的物体を選択する（ステップＳＴ２１２）。例えば、ある１つの目的物体候補における輪郭のシャープさが０．９、直線性が０．９、移動速度が固定、地上高度が０ｍである場合には、図３に示したモデルデータから滑走路が目的物体として選択される。
【００３３】
次に、最適経路演算手段２０８によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を演算し（ステップＳＴ２１３）、その演算結果に従って移動体を制御させ（ステップＳＴ２１４）、移動体を目的物体に接近させて（ステップＳＴ２１５）、処理を終了する（ステップＳＴ２１６）。
【００３４】
以上のように、この実施の形態２によれば、実施の形態１の場合と同様の効果があるとともに、入力画像のみによって目的物体の海上高度あるいは地上高度を計測できるという効果がある。
【００３５】
なお、この実施の形態２においては、地上点又は海上点は予めわかっているとして設定しているが、入力画像に基づいて演算指令により又は自動的に演算によって求めてもよいし、他の情報から地上点又は海上点を設定してもよい。あるいは、手動操作で設定してもよい。
また、この実施の形態２においても、実施の形態１の場合と同様に、移動可能範囲は移動可能範囲を演算する手段によって、又は他の事前情報より移動可能範囲を演算してもよい。
【００３６】
実施の形態３．
図７は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態３における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、３０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、３０２は画像取得手段３０１から出力される入力画像の画像データを記憶する画像データ記憶手段、３０３は画像データ記憶手段３０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、３０４は目的物体までの距離を計測する距離計測手段、３０５は海上平面及び地上平面の平面あてはめを行う海上／地上平面演算手段、３０６は海上高度及び地上高度を演算する海上／地上高度演算手段、３０７は目的物体のモデル類似性を演算するモデル類似性演算手段、３０８は目的物体を選択する目的物体選択手段、３０９は目的物体への最適経路を演算する最適経路演算手段、３１０は事前情報を前もって記憶している事前情報格納手段である。
【００３７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段３０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図８は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００３８】
まず最初に、本装置が起動されると（ステップＳＴ３０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報を事前情報格納手段３１０に格納しておく（ステップＳＴ３０２）。
【００３９】
次に、移動体のある位置において、画像取得手段３０１によって認識対象の画像が入力されて画像データ記憶手段３０２に記憶される（ステップＳＴ３０３）。画像データ記憶手段３０２に記憶された画像データに対して、目的物体候補抽出手段３０３によって目的物体候補の抽出が行われ（ステップＳＴ３０４）、モデル類似性演算手段３０７によって各目的物体候補におけるモデル類似性が算出される。（ステップＳＴ３０５）。
【００４０】
次に、移動体が移動した後の他の位置において、再度、画像取得手段３０１によって、認識対象の画像が入力され画像データ記憶手段３０２に記憶される（ステップＳＴ３０６）。画像データ記憶手段３０２に記憶された画像データに対して、目的物体候補抽出手段３０３によって目的物体候補の抽出が行われる（ステップＳＴ３０７）。
【００４１】
次に、海上／地上平面演算手段３０５によって、画像上の任意な点を用いて平面あてはめを行い、地上平面を算出する（ステップＳＴ３０８）。次に、ステップＳＴ３０４で抽出された各目的物体候補とステップＳＴ３０７で抽出された各目的物体候補との対応付けを行い、距離計測手段３０４によって、各目的物体候補および地上平面上の任意の点までの距離を計測し（ステップＳＴ３０９）、海上／地上高度演算手段３０６によって目的物体の地上高度を算出する（ステップＳＴ３１０）。
【００４２】
次に、モデル類似性演算手段３０７によって事前情報と地上高度から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ３１１）、目的物体選択手段３０８によって目的物体を選択する（ステップＳＴ３１２）。例えば、ある１つの目的物体候補における輪郭のシャープさが０．９、直線性が０．９、移動速度が固定、地上高度が３０ｍである場合には、図３に示したモデルデータからビルが目的物体として選択される。
【００４３】
次に、最適経路演算手段３０９によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ３１３）、算出結果に従って移動体を制御させ（ステップＳＴ３１４）、移動体を目的物体に接近させて（ステップＳＴ３１５）、処理を終了する（ステップＳＴ３１６）。
【００４４】
以上のように、この実施の形態３によれば、実施の形態１の場合と同様の効果があるとともに、入力画像のみによって画像上の任意の点から海上平面あるいは地上平面を求めて、目的物体の海上高度あるいは地上高度を計測するので、予め海上点あるいは地上点を設定する必要がないという効果がある。
【００４５】
なお、この実施の形態３では、画像上の任意の点から地上平面を求めているが、人間が任意の点を選んでもよいし、画像から自動で選んでもよい。
また、この実施の形態３では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００４６】
実施の形態４．
図９は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態４における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、４０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、４０２は画像取得手段４０１から出力される入力画像の画像データを記憶する画像データ記憶手段、４０３は画像データ記憶手段４０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、４０４は目的物体までの距離を計測する距離計測手段、４０５は３次元情報を格納する３次元情報格納手段、４０６は距離計測手段４０４の計測結果と３次元情報格納手段４０５の３次元情報とから位置あわせを行う位置あわせ手段、４０７は海上高度及び地上高度を演算する海上／地上高度演算手段、４０８は目的物体のモデル類似性を演算するモデル類似性演算手段、４０９は目的物体を選択する目的物体選択手段、４１０は目的物体への最適経路を演算する最適経路演算手段、４１１は事前情報を前もって記憶している事前情報格納手段である。
【００４７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段４０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図１０は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００４８】
まず最初に、本装置が起動されると（ステップＳＴ４０１）、初期設定を行う。すなわち、３次元情報を３次元情報格納手段４０５に格納し（ステップＳＴ４０２）、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段４１１に格納しておく（ステップＳＴ４０３）。
【００４９】
次に、移動体のある位置において、画像取得手段４０１によって、認識対象の画像が入力され画像データ記憶手段４０２に記憶される（ステップＳＴ４０４）。画像データ記憶手段４０２に記憶された画像データに対して、目的物体候補抽出手段４０３によって目的物体候補の抽出が行われ（ステップＳＴ４０５）、モデル類似性演算手段４０８によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ４０６）。
【００５０】
次に、移動体が移動した後の他の位置において、再度、画像取得手段４０１によって、認識対象の画像が入力され画像データ記憶手段４０２に記憶される（ステップＳＴ４０７）。画像データ記憶手段４０２に記憶された画像データに対して、目的物体候補抽出手段４０３によって目的物体候補の抽出が行われ（ステップＳＴ４０８）、ステップＳＴ４０５で抽出された各目的物体候補とステップＳＴ４０８で抽出された各目的物体候補との対応付けを行い、距離計測手段４０４によって各目的物体候補までの距離を計測する（ステップＳＴ４０９）。
【００５１】
次に、位置あわせ手段４０６によって３次元情報と各目的物体候補ごとの距離データの位置合わせを行い（ステップＳＴ４１０）、海上／地上高度演算手段４０７によって、各目的物体候補の地上高度を算出する（ステップＳＴ４１１）。次に、モデル類似性演算手段４０８によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ４１２）、目的物体選択手段４０９によって目的物体を選択する（ステップＳＴ４１３）。
【００５２】
次に、最適経路演算手段４１０によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ４１４）、算出結果に従って移動体を制御させ（ステップＳＴ４１５）、移動体を目的物体に接近させて（ステップＳＴ４１６）、処理を終了する（ステップＳＴ４１７）。
【００５３】
以上のように、この実施の形態４によれば、実施の形態３の場合と同様の効果があるとともに、３次元情報と計測された距離情報とを位置あわせすることにより、目的物体の海上高度あるいは地上高度をより正確に計測できるという効果がある。
【００５４】
なお、この実施の形態４では、位置あわせ手段４０６において、自動的に位置をあわせることを想定しているが、人間が３次元情報と距離計測結果を見比べて、位置をあわせてもよい。
また、この実施の形態４では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００５５】
実施の形態５．
図１１は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態５における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、５０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、５０２は画像取得手段５０１から出力される入力画像の画像データを記憶する画像データ記憶手段、５０３は画像データ記憶手段５０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、５０４は目的物体までの距離を計測する距離計測手段、５０５は目的物体のモデル類似性を演算するモデル類似性演算手段、５０６は目的物体を選択する目的物体選択手段、５０７は目的物体への最適経路を演算する最適経路演算手段、５０８は事前情報を前もって記憶している事前情報格納手段、５０９は３次元情報を格納する３次元情報格納手段、５１０は３次元情報格納手段５０９の３次元情報から指示計画を作成する指示計画手段、５１１は指示計画手段５１０の指示計画で経路を演算する経路演算手段である。
【００５６】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段３０１（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１２は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００５７】
まず最初に、本装置が起動されると（ステップＳＴ５０１）、初期設定を行う。すなわち、３次元情報を３次元情報格納手段５０９に格納し（ステップＳＴ５０２）、指示計画手段５１０によって３次元情報から指示計画を作成し（ステップＳＴ５０３）、経路演算手段５１１によって指示計画から経路を算出しておく（ステップＳＴ５０４）。次に、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段５０８に格納しておく（ステップＳＴ５０５）。
【００５８】
次に、移動体のある位置において、画像取得手段５０１によって認識対象の画像が入力されて画像データ記憶手段５０２に記憶される（ステップＳＴ５０６）。画像データ記憶手段５０２に記憶された画像データに対して、目的物体候補抽出手段５０３によって目的物体候補の抽出が行われ（ステップＳＴ５０７）、モデル類似性演算手段５０５によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ５０８）。
【００５９】
次に、移動体が移動した後の他の位置において、再度、画像取得手段５０１によって認識対象の画像が入力されて画像データ記憶手段５０２に記憶される（ステップＳＴ５０９）。画像データ記憶手段５０２に記憶された画像データに対して、目的物体候補抽出手段５０３によって目的物体候補の抽出が行われ（ステップＳＴ５１０）、ステップＳＴ５０７で抽出された各目的物体候補とステップＳＴ５１０で抽出された各目的物体候補との対応付けを行い、距離計測手段５０４によって各目的物体候補までの距離を計測する（ステップＳＴ５１１）。
【００６０】
次に、モデル類似性演算手段５０５によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ５１２）、目的物体選択手段５０６によって目的物体を選択する（ステップＳＴ５１３）。次に、最適経路演算手段５０７によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ５１４）、算出結果に従って移動体を制御させ（ステップＳＴ５１５）、移動体を目的物体に接近させて（ステップＳＴ５１６）、処理を終了する（ステップＳＴ５１７）。
【００６１】
以上のように、この実施の形態５によれば、実施の形態１の場合と同様の効果があるとともに、３次元情報を用いた指示計画によって移動体の経路を自動的に算出して目的物体を正確に認識できるという効果がある。
【００６２】
なお、この実施の形態５においても２枚の入力画像によって距離を計測しているが、距離計測が可能であれば１枚でもよいし、３枚以上を用いてもよい。また、ステップＳＴ５０９からステップＳＴ５１５を繰り返して、移動体を目的物体に接近させることもできる。また、この実施の形態５においても、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近させることができる。
【００６３】
さらに、この実施の形態５においては、予め用意された３次元情報を用いているが、３次元情報は移動体に取りつけられたカメラによって生成してもよいし、また、別の移動体により生成された３次元情報を用いてもよい。
また、この実施の形態５では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって他の事前情報より移動可能範囲を演算してもよい。
【００６４】
実施の形態６．
図１３は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態６における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、６０１，６０２はそれぞれ入力画像を取得するセンサ１、センサ２を構成する画像取得手段、６０３，６０４は画像取得手段６０１，６０２からそれぞれ出力される入力画像の画像データを記憶する画像データ記憶手段、６０５，６０６は画像データ記憶手段６０３，６０４にそれぞれ記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、６０７は目的物体までの距離を計測する距離計測手段、６０８は目的物体のモデル類似性を演算するモデル類似性演算手段、６０９は目的物体を選択する目的物体選択手段、６１０は目的物体への最適経路を演算する最適経路演算手段、６１１は事前情報を前もって記憶している事前情報格納手段である。
【００６５】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた２つの画像取得手段６０１，６０２（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１４は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００６６】
まず最初に、本装置が起動されると（ステップＳＴ６０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報をあらかじめ事前情報格納手段６１１に格納する（ステップＳＴ６０２）。
【００６７】
次に、移動体のある位置において、画像取得手段６０１（センサ１）によって認識対象の画像が入力されて画像データ記憶手段６０３に記憶される（ステップＳＴ６０３）。次に、画像データ記憶手段６０３に記憶された画像データに対して、目的物体候補抽出手段６０５によって目的物体候補の抽出が行われる（ステップＳＴ６０４）。
【００６８】
また、移動体の同じ位置において、画像取得手段６０２（センサ２）によって認識対象の画像が入力されて画像データ記憶手段６０４に記憶される（ステップＳＴ６０５）。次に、画像データ記憶手段６０４に記憶された画像データに対して、目的物体候補抽出手段６０６によって目的物体候補の抽出が行われる（ステップＳＴ６０６）。
【００６９】
次に、画像取得手段６０１（センサ１）及び画像取得手段６０２（センサ２）における各目的物体候補の対応付けを行い（ステップＳＴ６０７）、距離計測手段６０７によって各目的物体候補までの距離を計測する（ステップＳＴ６０８）。すなわち、移動体のある位置における２枚の入力画像の対応付けによって各目的物体候補までの距離計測に必要な視差を算出して、各目的物体候補までの距離を正確に計測する。
【００７０】
次に、モデル類似性演算手段６０８によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ６０９）、目的物体選択手段６０９によって目的物体を選択する（ステップＳＴ６１０）。次に、最適経路演算手段６１０によって、事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ６１１）、算出結果に従って移動体を制御させ（ステップＳＴ６１２）、飛行機等の移動体を目的物体に接近させて（ステップＳＴ６１３）、処理を終了する（ステップＳＴ６１４）。
【００７１】
以上のように、この実施の形態６によれば、２つのセンサである画像取得手段６０１，６０２によって２枚の入力画像を同時に取得することによって、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００７２】
なお、この実施の形態６においては、２枚の入力画像の取得を１回のみで終了しているが、ステップＳＴ６０３からステップＳＴ６１２を繰り返して２枚の入力画像の取得を複数回にして、移動体を目的物体に接近させることもできる。また、この実施の形態６によれば、実施の形態１の場合と同様に、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近できるという効果がある。
【００７３】
また、この実施の形態６においては、２つの画像取得手段によって２枚の入力画像を同時に取得するようにしたが、３つ以上の複数の画像取得手段によって複数の入力画像を同時に取得するようにしてもよい。
また、この実施の形態６においては、事前情報として移動可能範囲を事前情報格納手段６１１に格納しているが、移動可能範囲を演算する手段を設けて、他の事前情報より移動可能範囲を演算してもよい。
【００７４】
実施の形態７．
図１５は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態７における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、７０１は例えば広角レンズ付きカメラのように所定の画角のカメラによって入力画像を取得する画像取得手段、７０２は画像取得手段７０１から出力される入力画像の画像データを記憶する画像データ記憶手段、７０３は画像データ記憶手段７０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、７０４は望遠レンズ付きカメラのように画像取得手段７０１とは異なる画角のカメラによって入力画像を取得する画像取得手段、７０５は画像取得手段７０４から出力される入力画像の画像データを記憶する画像データ記憶手段、７０６は画像データ記憶手段７０５に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、７０７は目的物体までの距離を計測する距離計測手段、７０８は目的物体のモデル類似性を演算するモデル類似性演算手段、７０９は目的物体を選択する目的物体選択手段、７１０は目的物体への最適経路を演算する最適経路演算手段、７１１は事前情報を前もって記憶している事前情報格納手段である。
【００７５】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段７０１（例えば、広角レンズ付きカメラ）から得られる画像を用いて目的物体候補を絞り込んで、さらに画像取得手段７０４（例えば、望遠レンズ付きカメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１６は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００７６】
まず最初に、本装置が起動されると（ステップＳＴ７０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段７１１に格納しておく（ステップＳＴ７０２）。なおこの場合には、図４に示したカメラの性能についての事前情報として、例えば広角レンズ付きカメラと望遠レンズ付きカメラのデータを事前情報格納手段７１１に格納しておく。
【００７７】
次に、画像取得手段７０１によって、認識対象の画像が広角レンズによって入力され画像データ記憶手段７０２に記憶される（ステップＳＴ７０３）。画像データ記憶手段７０２に記憶された画像データに対して、目的物体候補抽出手段７０３によって事前情報格納手段７１１のデータに基づく目的物体候補の抽出が行われる（ステップＳＴ７０４）。
【００７８】
次に、抽出された目的物体候補の情報が画像取得手段７０４に入力されて、画像取得手段７０４によって、抽出された目的物体候補に基づく認識対象の画像が望遠レンズによって入力され画像データ記憶手段７０５に記憶される（ステップＳＴ７０５）。画像データ記憶手段７０５に記憶された画像に対して、目的物体候補抽出手段７０６によって事前情報格納手段７１１のデータに基づく目的物体候補の抽出が行われる（ステップＳＴ７０６）。この場合に、目的物体候補抽出手段７０３における抽出動作で用いられた事前情報を利用してもよい。
【００７９】
距離計測を行うために、再度、画像取得手段７０４によって認識対象の画像が入力されて画像データ記憶手段７０５に記憶される（ステップＳＴ７０７）。画像データ記憶手段７０５に記憶された各目的物体候補の認識対象の画像データに対して、目的物体候補抽出手段７０６によって目的物体候補の抽出が行われる（ステップＳＴ７０８）。
【００８０】
次に、距離計測手段７０７によって、各目的物体候補までの距離を計測し（ステップＳＴ７０９）、モデル類似性演算手段７０８によって事前情報及び距離計測結果に基づいて各目的物体候補におけるモデル類似性が算出され（ステップＳＴ７１０）、目的物体選択手段７０９によって目的物体を選択する（ステップＳＴ７１１）。
【００８１】
次に、最適経路演算手段７１０によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ７１２）、算出結果に従って移動体を制御させ（ステップＳＴ７１３）、移動体を目的物体に接近させて（ステップＳＴ７１４）処理を終了する（ステップＳＴ７１５）。
【００８２】
以上のように、この実施の形態７によれば、光学系の条件（この場合は、画角）の異なるカメラ等からなる２つの画像取得手段を用いて、目的物体の漏れと画像の解像度を上げることを同時に満たすことができるので、目的物体までの距離計測に必要な視差を算出してよりいっそう高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。また、この実施の形態７によれば、実施の形態１の場合と同様に、入力画像のみから距離計測や他の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近させることができるという効果がある。
【００８３】
なお、この実施の形態７においては、広角レンズ付きカメラ等を有する画像取得手段７０１による画像取り込み回数が１回、望遠レンズ付きカメラ等を有する画像取得手段７０４による画像取り込み回数が２回であるが、各々画像取り込みを複数行ってもよい。
また、この実施の形態７においては、事前情報として移動可能範囲を格納しているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００８４】
また、この実施の形態７においては、光学系の条件の異なるカメラ等からなる２つの画像取得手段を用いるようにしたが、３つ以上のカメラ等でそれぞれ光学系の条件の異なる複数の画像取得手段を用いるようにしてもよい。
【００８５】
【発明の効果】
以上のように、この発明によれば、画像処理装置を少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、認識対象の画像を撮像して画像データを取得する画像取得手段と、この画像取得手段によって取得された画像データから目的物体候補を抽出する目的物体候補抽出手段と、この目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、この距離計測手段で計測された距離に基づいて目的物体候補の海上高度又は地上高度を算出する海上／地上高度演算手段と、目的物体候補の海上高度又は地上高度及び事前情報格納手段に格納された事前情報に基づいて目的物体候補と目的物体のモデルとの類似性を演算するモデル類似性演算手段と、このモデル類似性演算手段による算出結果に基づいて目的物体候補の中から目的物体を選択する目的物体選択手段と、選択された目的物体に対する移動体の最適な経路を演算する最適経路演算手段とを有するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８７】
この発明によれば、画像処理装置において、画像上の任意の点を用いて平面あてはめを行うことにより海上面又は地上面を算出する海上／地上平面演算手段をさらに備え、距離計測手段を海上／地上平面演算手段によって算出された海上面又は地上面に基づいて目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８８】
この発明によれば、画像処理装置において、３次元情報を格納する３次元情報格納手段及びこの３次元情報格納手段に格納された３次元情報と距離計測手段で計測された距離とに基づいて位置あわせを行う位置あわせ手段をさらに備え、海上／地上高度演算手段を位置あわせ手段による位置あわせ情報に基づいて目的物体候補の海上高度又は地上高度を算出するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８９】
この発明によれば、画像処理装置において、３次元情報を格納する３次元情報格納手段、この３次元情報格納手段に格納された３次元情報に基づいて指示計画情報を作成する指示計画手段、及びこの指示計画手段によって作成された指示計画情報に基づいて移動体の経路を演算する経路演算手段をさらに備え、画像取得手段をこの経路演算手段によって算出された経路における認識対象の画像を撮像して画像データを取得するように構成したので、３次元情報を用いた指示計画によって移動体の経路を自動的に算出して目的物体を正確に認識でき、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００９０】
この発明によれば、画像処理装置において、画像取得手段を複数の画像を同時に撮像して複数の画像データを取得するように構成し、目的物体候補抽出手段を画像取得手段によって取得された複数の画像データのそれぞれに基づいて複数系統の目的物体候補を抽出するように構成し、距離計測手段は目的物体候補抽出手段によって抽出された複数系統の目的物体候補に基づいてすべての目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を正確に算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００９１】
この発明によれば、画像処理装置において、画像取得手段を光学系の条件が異なるとともに画像データの取得順序が設定された複数の画像取得手段で構成し、目的物体候補抽出手段を複数の画像取得手段にそれぞれ対応する複数の目的物体候補抽出手段で構成し、任意の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段を抽出した目的物体候補が次の取得順序に設定された画像取得手段における認識対象の画像になるように設定し、距離計測手段を最終の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の漏れ防止と画像の解像度を上げることを同時に満たすことができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における画像処理装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１における画像処理装置の動作を示すフローチャートである。
【図３】 この発明の実施の形態１における目的物体のモデルデータを示す図である。
【図４】 この発明の実施の形態１における画像取得手段であるカメラの性能を示す図である。
【図５】 この発明の実施の形態２における画像処理装置の構成を示すブロック図である。
【図６】 この発明の実施の形態２における画像処理装置の動作を示すフローチャートである。
【図７】 この発明の実施の形態３における画像処理装置の構成を示すブロック図である。
【図８】 この発明の実施の形態３における画像処理装置の動作を示すフローチャートである。
【図９】 この発明の実施の形態４における画像処理装置の構成を示すブロック図である。
【図１０】 この発明の実施の形態４における画像処理装置の動作を示すフローチャートである。
【図１１】 この発明の実施の形態５における画像処理装置の構成を示すブロック図である。
【図１２】 この発明の実施の形態５における画像処理装置の動作を示すフローチャートである。
【図１３】 この発明の実施の形態６における画像処理装置の構成を示すブロック図である。
【図１４】 この発明の実施の形態６における画像処理装置の動作を示すフローチャートである。
【図１５】 この発明の実施の形態７における画像処理装置の構成を示すブロック図である。
【図１６】 この発明の実施の形態７における画像処理装置の動作を示すフローチャートである。
【符号の説明】
１０１，２０１，３０１，４０１，５０１，６０１，６０２，７０１，７０４画像取得手段、１０２，２０２，３０２，４０２，５０２，６０３，６０４，７０２，７０５ 画像データ記憶手段、１０３，２０３，３０３，４０３，５０３，６０５，６０６，７０３，７０６ 目的物体候補抽出手段、１０４，２０４，３０４，４０４，５０４，６０７，７０７ 距離計測手段、１０５，２０６，３０７，４０８，５０５，６０８，７０８ モデル類似性演算手段、１０６，２０７，３０８，４０９，５０６，６０９，７０９ 目的物体選択手段、１０７，２０８，３０９，４１０，５０７，６１０，７１０ 最適経路演算手段、１０８，２０９，３１０，４１１，５０８，６１１，７１１ 事前情報格納手段、２０５，３０６，４０７ 海上／地上高度演算手段、３０５ 海上／地上平面演算手段、４０５，５０９ ３次元情報格納手段、４０６ 位置あわせ手段、５１０ 指示計画手段、５１１ 経路演算手段。
【発明の属する技術分野】
この発明は、画像処理装置に関し、特に、移動体を目的物体へ誘導させ、接近させるために、その移動体に搭載された画像処理装置に関する。
【従来の技術】
【０００２】
このような画像処理装置の第１の従来技術として、特開平８−１４７９８号公報に記載された「飛翔体の誘導装置」がある。この従来技術によれば、飛行体に一定間隔で設けられた２つの撮像装置（第１パッシブセンサ及び第２パッシブセンサ）によって、飛翔体と目標物（目的物）までの距離（Ｌ）と方向（α）の測定を可能にすることにより、目的物までの距離に応じて適切な誘導制御を行っている。また、第２の従来技術として、特開昭６３−２３５８１０号公報に記載された「パッシブ測距方式」がある。この従来技術によれば、相手に探索されることなく、目標（目的）までの距離を測定するパッシブ測距方式により、１台の撮像装置を移動体に搭載し、移動体が移動する２点における移動体の進行方向と撮像装置が目標を見るときの光軸の角度および撮像装置からの目標視野とを計測し、２点で計測した両角度と、移動体が２点間を移動する速度および所要時間とを演算して目標までの距離を計測している。
【０００３】
【発明が解決しようとする課題】
しかしながら、特開平８−１４７９８号公報に記載された従来技術では、１つの移動体に２つの撮像装置を設置して、その撮像装置間の間隔を利用して距離計測しているので、高い距離計測精度を得るためには２つの撮像装置間の間隔を大きくする必要があるが、撮像装置を設置するためのスペースが限られているため、必要な距離計測精度を得るための視差が取れないという課題があった。また、撮像装置が２台必要であるため、画像処理装置のコストが高くなるという課題もあった。
【０００４】
また、特開平６３−２３５８１０号公報に記載された従来技術では、１つの移動体に１つの撮像装置を設置し、移動体が移動することを利用して距離計測を行っているが、目的物体までの距離計測に必要な視差を算出しないために、どの程度の視差を取ればよいのかわからないという課題があった。
【０００５】
さらに、上記第１および第２の従来技術では、目的物体に良く似た形状の偽の物体に誤って誘導してしまうという課題があった。
【０００６】
また、上記第１および第２の従来技術では、目的物体までの距離計測は可能であるが、目的物体の海上高度又は地上高度は計測できないという課題があった。
【０００７】
また、上記第１および第２の従来技術では、目的物体に設置された撮像装置であるカメラは、カメラ視野およびカメラの解像度が固定されたものであるため、広角レンズを使用したカメラは、カメラと目的物体の距離が遠い場合は目的物体が画像に小さくしか映らないか、あるいはほとんど画像に映らない等のように目的物体の漏れが生じるという課題があった。一方、望遠レンズを使用したカメラは視野が狭いため、カメラの角度が正確でないとカメラ視野内に目的物体が映らない等のように画像の解像度が実質的に低下するという課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することのない画像処理装置を得ることを目的とする。
また、この発明は目的物体の海上高度も地上高度も計測できる画像処理装置を得ることを目的とする。
さらに、この発明は目的物体の漏れ防止と画像の解像度を上げることを同時に満たすことができる画像処理装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る画像処理装置は、少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、認識対象の画像を撮像して画像データを取得する画像取得手段と、この画像取得手段によって取得された画像データから目的物体候補を抽出する目的物体候補抽出手段と、この目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、この距離計測手段で計測された距離に基づいて目的物体候補の海上高度又は地上高度を算出する海上／地上高度演算手段と、目的物体候補の海上高度又は地上高度及び事前情報格納手段に格納された事前情報に基づいて目的物体候補と目的物体のモデルとの類似性を演算するモデル類似性演算手段と、このモデル類似性演算手段による算出結果に基づいて目的物体候補の中から目的物体を選択する目的物体選択手段と、選択された目的物体に対する移動体の最適な経路を演算する最適経路演算手段とを有するものである。
【００１１】
この発明に係る画像処理装置は、画像上の任意の点を用いて平面あてはめを行うことにより海上面又は地上面を算出する海上／地上平面演算手段をさらに備え、距離計測手段は海上／地上平面演算手段によって算出された海上面又は地上面に基づいて目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するものである。
【００１２】
この発明に係る画像処理装置は、３次元情報を格納する３次元情報格納手段及びこの３次元情報格納手段に格納された３次元情報と距離計測手段で計測された距離とに基づいて位置あわせを行う位置あわせ手段をさらに備え、海上／地上高度演算手段は位置あわせ手段による位置あわせ情報に基づいて目的物体候補の海上高度又は地上高度を算出するものである。
【００１３】
この発明に係る画像処理装置は、３次元情報を格納する３次元情報格納手段、この３次元情報格納手段に格納された３次元情報に基づいて指示計画情報を作成する指示計画手段、及びこの指示計画手段によって作成された指示計画情報に基づいて移動体の経路を演算する経路演算手段をさらに備え、画像取得手段はこの経路演算手段によって算出された経路における認識対象の画像を撮像して画像データを取得するものである。
【００１４】
この発明に係る画像処理装置は、画像取得手段は複数の画像を同時に撮像して複数の画像データを取得するように構成され、目的物体候補抽出手段は画像取得手段によって取得された複数の画像データのそれぞれに基づいて複数系統の目的物体候補を抽出するように構成され、距離計測手段は目的物体候補抽出手段によって抽出された複数系統の目的物体候補に基づいてすべての目的物体候補までの距離を計測するものである。
【００１５】
この発明に係る画像処理装置は、画像取得手段は光学系の条件が異なるとともに画像データの取得順序が設定された複数の画像取得手段で構成され、目的物体候補抽出手段は複数の画像取得手段にそれぞれ対応する複数の目的物体候補抽出手段で構成され、任意の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段は抽出した目的物体候補が次の取得順序に設定された画像取得手段における認識対象の画像になるように設定し、距離計測手段は最終の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態１における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、１０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、１０２は画像取得手段１０１から出力される入力画像の画像データを記憶する画像データ記憶手段、１０３は画像データ記憶手段１０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、１０４は目的物体までの距離を計測する距離計測手段、１０５は目的物体のモデル類似性を演算するモデル類似性演算手段、１０６は目的物体を選択する目的物体選択手段、１０７は目的物体への最適経路を演算する最適経路演算手段、１０８は事前情報を前もって記憶している事前情報格納手段である。
【００１７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段１０１（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図２は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００１８】
まず最初に、本装置が起動されると（ステップＳＴ１０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報をあらかじめ事前情報格納手段１０８に格納する（ステップＳＴ１０２）。事前情報格納手段１０８に格納されているモデルデータ及び画像取得手段１０１であるカメラの性能の具体的な例を図３及び図４に示す。
【００１９】
図３においては、モデルデータとして船、雲、滑走路、ビルがある。そして、各モデルデータごとに、３次元形状モデル、輪郭のシャープさの度合、直線性の度合、移動速度、海上又は地上の高度からなる固有のデータが格納されている。また、図４においては、画像取得手段としてのカメラの自己位置、傾き角、視野角、解像度、制御能力からなるカメラの性能についてのデータが格納されている。この場合において、カメラは認識対象の物体が画像内に取得できるように予め設置されている。なお、図３及び図４に示す事前情報は他の実施の形態においても用いられる。
【００２０】
次に、移動体のある位置において、画像取得手段１０１によって認識対象の画像が入力されて画像データ記憶手段１０２に記憶される（ステップＳＴ１０３）。次に、画像データ記憶手段１０２に記憶された画像データに対して、目的物体候補抽出手段１０３によって目的物体候補の抽出が行われ（ステップＳＴ１０４）、モデル類似性演算手段１０５によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ１０５）。
【００２１】
次に、移動体が移動した後の他の位置において、再度、画像取得手段１０１によって認識対象の画像が入力される（ステップＳＴ１０６）。そして、前回の位置における場合と同様に、画像取得手段１０１によって入力され、画像データ記憶手段１０２に記憶された画像データに対して、目的物体候補抽出手段１０３によって目的物体候補の抽出が行われる（ステップＳＴ１０７）。次に、ステップＳＴ１０４で抽出された各目的物体候補とステップＳＴ１０７で抽出された各目的物体候補との対応付けを行い、距離計測手段１０４によって各目的物体候補までの距離を計測する（ステップＳＴ１０８）。すなわち、移動体の異なる２つの位置における２枚の入力画像の対応付けによって各目的物体候補までの距離計測に必要な視差を算出して、各目的物体候補までの距離を正確に計測する。
【００２２】
次に、モデル類似性演算手段１０５によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ１０９）、目的物体選択手段１０６によって目的物体を選択する。例えば、ある１つの目的物体候補における輪郭のシャープさが０．８、直線性が０．７、移動速度が５ｍ／ｓｅｃである場合には、図３に示したモデルデータから船が目的物体として選択される。
【００２３】
次に、最適経路演算手段１０７によって、事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ１１１）、算出結果に従って移動体を制御させ（ステップＳＴ１１２）、飛行機等の移動体を目的物体である船に接近させて（ステップＳＴ１１３）、処理を終了する（ステップＳＴ１１４）。
【００２４】
以上のように、この実施の形態１によれば、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００２５】
なお、この実施の形態１においては、２枚の入力画像によって距離を計測しているが、距離計測が可能であれば１枚でもよいし、３枚以上の入力画像を用いてもよい。また。ステップＳＴ１０６からステップＳＴ１１２を繰り返して、移動体を目的物体に接近させることもできる。また、この実施の形態１によれば、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近できるという効果がある。
【００２６】
また、この実施の形態１においては、事前情報として移動可能範囲を事前情報格納手段１０８に格納しているが、移動可能範囲を演算する手段を設けて、他の事前情報より移動可能範囲を演算してもよい。
また、この実施の形態１においては、事前情報格納手段１０８に格納されている具体的なモデルデータ及びカメラの性能のデータ例を図３及び図４に示したが、事前情報格納手段１０８に格納されるものはこれに限定するものではない。目的物体候補に対応するモデルデータの種類及びデータ項目をもっと多数にしてもよい。また、カメラの性能についても、例えば目的物体候補に応じて複数の光学系を切り替える構成とし、各構成の性能のデータを格納するようにしてもよい。
【００２７】
実施の形態２．
図５は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態２における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、２０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、２０２は画像取得手段２０１から出力される入力画像の画像データを記憶する画像データ記憶手段、２０３は画像データ記憶手段２０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、２０４は目的物体までの距離を計測する距離計測手段、２０５は海上高度及び地上高度を演算する海上／地上高度演算手段、２０６は目的物体のモデル類似性を演算するモデル類似性演算手段、２０７は目的物体を選択する目的物体選択手段、２０８は目的物体への最適経路を演算する最適経路演算手段、２０９は事前情報を前もって記憶している事前情報格納手段である。
【００２８】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段２０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図６は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００２９】
まず最初に、本装置が起動されると（ステップＳＴ２０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報を事前情報格納手段２０９に格納しておく（ステップＳＴ２０２）。また、予めわかっている情報より地上点を設定しておく（ステップＳＴ２０３）。
【００３０】
次に、移動体のある位置において、画像取得手段２０１によって認識対象の画像が入力されて画像データ記憶手段２０２に記憶される（ステップＳＴ２０４）。画像データ記憶手段２０２に記憶された画像データに対して、目的物体候補抽出手段２０３によって目的物体候補の抽出が行われ（ステップＳＴ２０５）、モデル類似性演算手段２０６によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ２０６）。
【００３１】
次に、移動体が移動した後の他の位置において、再度、画像取得手段２０１によって認識対象の画像が入力されて画像データ記憶手段２０２に記憶される（ステップＳＴ２０７）。画像データ記憶手段２０２に記憶された画像データに対して、目的物体候補抽出手段２０３によって目的物体候補の抽出が行われ（ステップＳＴ２０８）、ステップＳＴ２０５で抽出された目的物体候補とステップＳＴ２０８で抽出された各目的物体候補との対応付けを行い、距離計測手段２０４によって各目的物体候補及び地上点までの距離を計測する（ステップＳＴ２０９）。すなわち、移動体の異なる２つの位置における２枚の入力画像の対応付けによって、目的物体候補までの距離及び地上点までの距離を計測する。
【００３２】
次に、各目的物体候補までの距離と地上点までの距離が計測できているので、海上／地上高度演算手段２０５によって各目的物体候補の地上高度を算出する（ステップＳＴ２１０）。次に、モデル類似性演算手段２０６によって事前情報と地上高度から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ２１１）、目的物体選択手段２０７によって目的物体を選択する（ステップＳＴ２１２）。例えば、ある１つの目的物体候補における輪郭のシャープさが０．９、直線性が０．９、移動速度が固定、地上高度が０ｍである場合には、図３に示したモデルデータから滑走路が目的物体として選択される。
【００３３】
次に、最適経路演算手段２０８によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を演算し（ステップＳＴ２１３）、その演算結果に従って移動体を制御させ（ステップＳＴ２１４）、移動体を目的物体に接近させて（ステップＳＴ２１５）、処理を終了する（ステップＳＴ２１６）。
【００３４】
以上のように、この実施の形態２によれば、実施の形態１の場合と同様の効果があるとともに、入力画像のみによって目的物体の海上高度あるいは地上高度を計測できるという効果がある。
【００３５】
なお、この実施の形態２においては、地上点又は海上点は予めわかっているとして設定しているが、入力画像に基づいて演算指令により又は自動的に演算によって求めてもよいし、他の情報から地上点又は海上点を設定してもよい。あるいは、手動操作で設定してもよい。
また、この実施の形態２においても、実施の形態１の場合と同様に、移動可能範囲は移動可能範囲を演算する手段によって、又は他の事前情報より移動可能範囲を演算してもよい。
【００３６】
実施の形態３．
図７は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態３における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、３０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、３０２は画像取得手段３０１から出力される入力画像の画像データを記憶する画像データ記憶手段、３０３は画像データ記憶手段３０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、３０４は目的物体までの距離を計測する距離計測手段、３０５は海上平面及び地上平面の平面あてはめを行う海上／地上平面演算手段、３０６は海上高度及び地上高度を演算する海上／地上高度演算手段、３０７は目的物体のモデル類似性を演算するモデル類似性演算手段、３０８は目的物体を選択する目的物体選択手段、３０９は目的物体への最適経路を演算する最適経路演算手段、３１０は事前情報を前もって記憶している事前情報格納手段である。
【００３７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段３０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図８は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００３８】
まず最初に、本装置が起動されると（ステップＳＴ３０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力や他の事前情報を事前情報格納手段３１０に格納しておく（ステップＳＴ３０２）。
【００３９】
次に、移動体のある位置において、画像取得手段３０１によって認識対象の画像が入力されて画像データ記憶手段３０２に記憶される（ステップＳＴ３０３）。画像データ記憶手段３０２に記憶された画像データに対して、目的物体候補抽出手段３０３によって目的物体候補の抽出が行われ（ステップＳＴ３０４）、モデル類似性演算手段３０７によって各目的物体候補におけるモデル類似性が算出される。（ステップＳＴ３０５）。
【００４０】
次に、移動体が移動した後の他の位置において、再度、画像取得手段３０１によって、認識対象の画像が入力され画像データ記憶手段３０２に記憶される（ステップＳＴ３０６）。画像データ記憶手段３０２に記憶された画像データに対して、目的物体候補抽出手段３０３によって目的物体候補の抽出が行われる（ステップＳＴ３０７）。
【００４１】
次に、海上／地上平面演算手段３０５によって、画像上の任意な点を用いて平面あてはめを行い、地上平面を算出する（ステップＳＴ３０８）。次に、ステップＳＴ３０４で抽出された各目的物体候補とステップＳＴ３０７で抽出された各目的物体候補との対応付けを行い、距離計測手段３０４によって、各目的物体候補および地上平面上の任意の点までの距離を計測し（ステップＳＴ３０９）、海上／地上高度演算手段３０６によって目的物体の地上高度を算出する（ステップＳＴ３１０）。
【００４２】
次に、モデル類似性演算手段３０７によって事前情報と地上高度から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ３１１）、目的物体選択手段３０８によって目的物体を選択する（ステップＳＴ３１２）。例えば、ある１つの目的物体候補における輪郭のシャープさが０．９、直線性が０．９、移動速度が固定、地上高度が３０ｍである場合には、図３に示したモデルデータからビルが目的物体として選択される。
【００４３】
次に、最適経路演算手段３０９によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ３１３）、算出結果に従って移動体を制御させ（ステップＳＴ３１４）、移動体を目的物体に接近させて（ステップＳＴ３１５）、処理を終了する（ステップＳＴ３１６）。
【００４４】
以上のように、この実施の形態３によれば、実施の形態１の場合と同様の効果があるとともに、入力画像のみによって画像上の任意の点から海上平面あるいは地上平面を求めて、目的物体の海上高度あるいは地上高度を計測するので、予め海上点あるいは地上点を設定する必要がないという効果がある。
【００４５】
なお、この実施の形態３では、画像上の任意の点から地上平面を求めているが、人間が任意の点を選んでもよいし、画像から自動で選んでもよい。
また、この実施の形態３では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００４６】
実施の形態４．
図９は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態４における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、４０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、４０２は画像取得手段４０１から出力される入力画像の画像データを記憶する画像データ記憶手段、４０３は画像データ記憶手段４０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、４０４は目的物体までの距離を計測する距離計測手段、４０５は３次元情報を格納する３次元情報格納手段、４０６は距離計測手段４０４の計測結果と３次元情報格納手段４０５の３次元情報とから位置あわせを行う位置あわせ手段、４０７は海上高度及び地上高度を演算する海上／地上高度演算手段、４０８は目的物体のモデル類似性を演算するモデル類似性演算手段、４０９は目的物体を選択する目的物体選択手段、４１０は目的物体への最適経路を演算する最適経路演算手段、４１１は事前情報を前もって記憶している事前情報格納手段である。
【００４７】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段４０１（例えば、カメラ）から得られる画像を用いて、移動体を地上に存在する目的物体まで接近させる動作である。図１０は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。なお、目的物体が海上に存在する場合も同じ動作である。
【００４８】
まず最初に、本装置が起動されると（ステップＳＴ４０１）、初期設定を行う。すなわち、３次元情報を３次元情報格納手段４０５に格納し（ステップＳＴ４０２）、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段４１１に格納しておく（ステップＳＴ４０３）。
【００４９】
次に、移動体のある位置において、画像取得手段４０１によって、認識対象の画像が入力され画像データ記憶手段４０２に記憶される（ステップＳＴ４０４）。画像データ記憶手段４０２に記憶された画像データに対して、目的物体候補抽出手段４０３によって目的物体候補の抽出が行われ（ステップＳＴ４０５）、モデル類似性演算手段４０８によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ４０６）。
【００５０】
次に、移動体が移動した後の他の位置において、再度、画像取得手段４０１によって、認識対象の画像が入力され画像データ記憶手段４０２に記憶される（ステップＳＴ４０７）。画像データ記憶手段４０２に記憶された画像データに対して、目的物体候補抽出手段４０３によって目的物体候補の抽出が行われ（ステップＳＴ４０８）、ステップＳＴ４０５で抽出された各目的物体候補とステップＳＴ４０８で抽出された各目的物体候補との対応付けを行い、距離計測手段４０４によって各目的物体候補までの距離を計測する（ステップＳＴ４０９）。
【００５１】
次に、位置あわせ手段４０６によって３次元情報と各目的物体候補ごとの距離データの位置合わせを行い（ステップＳＴ４１０）、海上／地上高度演算手段４０７によって、各目的物体候補の地上高度を算出する（ステップＳＴ４１１）。次に、モデル類似性演算手段４０８によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ４１２）、目的物体選択手段４０９によって目的物体を選択する（ステップＳＴ４１３）。
【００５２】
次に、最適経路演算手段４１０によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ４１４）、算出結果に従って移動体を制御させ（ステップＳＴ４１５）、移動体を目的物体に接近させて（ステップＳＴ４１６）、処理を終了する（ステップＳＴ４１７）。
【００５３】
以上のように、この実施の形態４によれば、実施の形態３の場合と同様の効果があるとともに、３次元情報と計測された距離情報とを位置あわせすることにより、目的物体の海上高度あるいは地上高度をより正確に計測できるという効果がある。
【００５４】
なお、この実施の形態４では、位置あわせ手段４０６において、自動的に位置をあわせることを想定しているが、人間が３次元情報と距離計測結果を見比べて、位置をあわせてもよい。
また、この実施の形態４では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００５５】
実施の形態５．
図１１は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態５における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、５０１は移動体がある位置から他の位置に移動した際の２つの位置において入力画像を取得する画像取得手段、５０２は画像取得手段５０１から出力される入力画像の画像データを記憶する画像データ記憶手段、５０３は画像データ記憶手段５０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、５０４は目的物体までの距離を計測する距離計測手段、５０５は目的物体のモデル類似性を演算するモデル類似性演算手段、５０６は目的物体を選択する目的物体選択手段、５０７は目的物体への最適経路を演算する最適経路演算手段、５０８は事前情報を前もって記憶している事前情報格納手段、５０９は３次元情報を格納する３次元情報格納手段、５１０は３次元情報格納手段５０９の３次元情報から指示計画を作成する指示計画手段、５１１は指示計画手段５１０の指示計画で経路を演算する経路演算手段である。
【００５６】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段３０１（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１２は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００５７】
まず最初に、本装置が起動されると（ステップＳＴ５０１）、初期設定を行う。すなわち、３次元情報を３次元情報格納手段５０９に格納し（ステップＳＴ５０２）、指示計画手段５１０によって３次元情報から指示計画を作成し（ステップＳＴ５０３）、経路演算手段５１１によって指示計画から経路を算出しておく（ステップＳＴ５０４）。次に、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段５０８に格納しておく（ステップＳＴ５０５）。
【００５８】
次に、移動体のある位置において、画像取得手段５０１によって認識対象の画像が入力されて画像データ記憶手段５０２に記憶される（ステップＳＴ５０６）。画像データ記憶手段５０２に記憶された画像データに対して、目的物体候補抽出手段５０３によって目的物体候補の抽出が行われ（ステップＳＴ５０７）、モデル類似性演算手段５０５によって各目的物体候補におけるモデル類似性が算出される（ステップＳＴ５０８）。
【００５９】
次に、移動体が移動した後の他の位置において、再度、画像取得手段５０１によって認識対象の画像が入力されて画像データ記憶手段５０２に記憶される（ステップＳＴ５０９）。画像データ記憶手段５０２に記憶された画像データに対して、目的物体候補抽出手段５０３によって目的物体候補の抽出が行われ（ステップＳＴ５１０）、ステップＳＴ５０７で抽出された各目的物体候補とステップＳＴ５１０で抽出された各目的物体候補との対応付けを行い、距離計測手段５０４によって各目的物体候補までの距離を計測する（ステップＳＴ５１１）。
【００６０】
次に、モデル類似性演算手段５０５によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ５１２）、目的物体選択手段５０６によって目的物体を選択する（ステップＳＴ５１３）。次に、最適経路演算手段５０７によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ５１４）、算出結果に従って移動体を制御させ（ステップＳＴ５１５）、移動体を目的物体に接近させて（ステップＳＴ５１６）、処理を終了する（ステップＳＴ５１７）。
【００６１】
以上のように、この実施の形態５によれば、実施の形態１の場合と同様の効果があるとともに、３次元情報を用いた指示計画によって移動体の経路を自動的に算出して目的物体を正確に認識できるという効果がある。
【００６２】
なお、この実施の形態５においても２枚の入力画像によって距離を計測しているが、距離計測が可能であれば１枚でもよいし、３枚以上を用いてもよい。また、ステップＳＴ５０９からステップＳＴ５１５を繰り返して、移動体を目的物体に接近させることもできる。また、この実施の形態５においても、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近させることができる。
【００６３】
さらに、この実施の形態５においては、予め用意された３次元情報を用いているが、３次元情報は移動体に取りつけられたカメラによって生成してもよいし、また、別の移動体により生成された３次元情報を用いてもよい。
また、この実施の形態５では、事前情報として移動可能範囲を格納しているとしているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって他の事前情報より移動可能範囲を演算してもよい。
【００６４】
実施の形態６．
図１３は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態６における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、６０１，６０２はそれぞれ入力画像を取得するセンサ１、センサ２を構成する画像取得手段、６０３，６０４は画像取得手段６０１，６０２からそれぞれ出力される入力画像の画像データを記憶する画像データ記憶手段、６０５，６０６は画像データ記憶手段６０３，６０４にそれぞれ記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、６０７は目的物体までの距離を計測する距離計測手段、６０８は目的物体のモデル類似性を演算するモデル類似性演算手段、６０９は目的物体を選択する目的物体選択手段、６１０は目的物体への最適経路を演算する最適経路演算手段、６１１は事前情報を前もって記憶している事前情報格納手段である。
【００６５】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた２つの画像取得手段６０１，６０２（例えば、カメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１４は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００６６】
まず最初に、本装置が起動されると（ステップＳＴ６０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報をあらかじめ事前情報格納手段６１１に格納する（ステップＳＴ６０２）。
【００６７】
次に、移動体のある位置において、画像取得手段６０１（センサ１）によって認識対象の画像が入力されて画像データ記憶手段６０３に記憶される（ステップＳＴ６０３）。次に、画像データ記憶手段６０３に記憶された画像データに対して、目的物体候補抽出手段６０５によって目的物体候補の抽出が行われる（ステップＳＴ６０４）。
【００６８】
また、移動体の同じ位置において、画像取得手段６０２（センサ２）によって認識対象の画像が入力されて画像データ記憶手段６０４に記憶される（ステップＳＴ６０５）。次に、画像データ記憶手段６０４に記憶された画像データに対して、目的物体候補抽出手段６０６によって目的物体候補の抽出が行われる（ステップＳＴ６０６）。
【００６９】
次に、画像取得手段６０１（センサ１）及び画像取得手段６０２（センサ２）における各目的物体候補の対応付けを行い（ステップＳＴ６０７）、距離計測手段６０７によって各目的物体候補までの距離を計測する（ステップＳＴ６０８）。すなわち、移動体のある位置における２枚の入力画像の対応付けによって各目的物体候補までの距離計測に必要な視差を算出して、各目的物体候補までの距離を正確に計測する。
【００７０】
次に、モデル類似性演算手段６０８によって事前情報と距離計測結果から各目的物体候補におけるモデル類似性を算出し（ステップＳＴ６０９）、目的物体選択手段６０９によって目的物体を選択する（ステップＳＴ６１０）。次に、最適経路演算手段６１０によって、事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ６１１）、算出結果に従って移動体を制御させ（ステップＳＴ６１２）、飛行機等の移動体を目的物体に接近させて（ステップＳＴ６１３）、処理を終了する（ステップＳＴ６１４）。
【００７１】
以上のように、この実施の形態６によれば、２つのセンサである画像取得手段６０１，６０２によって２枚の入力画像を同時に取得することによって、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００７２】
なお、この実施の形態６においては、２枚の入力画像の取得を１回のみで終了しているが、ステップＳＴ６０３からステップＳＴ６１２を繰り返して２枚の入力画像の取得を複数回にして、移動体を目的物体に接近させることもできる。また、この実施の形態６によれば、実施の形態１の場合と同様に、入力画像のみから距離計測地の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近できるという効果がある。
【００７３】
また、この実施の形態６においては、２つの画像取得手段によって２枚の入力画像を同時に取得するようにしたが、３つ以上の複数の画像取得手段によって複数の入力画像を同時に取得するようにしてもよい。
また、この実施の形態６においては、事前情報として移動可能範囲を事前情報格納手段６１１に格納しているが、移動可能範囲を演算する手段を設けて、他の事前情報より移動可能範囲を演算してもよい。
【００７４】
実施の形態７．
図１５は、飛行機等の移動体（図示せず）に設けられたこの発明の実施の形態７における画像処理装置（以下、本装置と呼ぶ）の構成を示すブロック図であり、図において、７０１は例えば広角レンズ付きカメラのように所定の画角のカメラによって入力画像を取得する画像取得手段、７０２は画像取得手段７０１から出力される入力画像の画像データを記憶する画像データ記憶手段、７０３は画像データ記憶手段７０２に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、７０４は望遠レンズ付きカメラのように画像取得手段７０１とは異なる画角のカメラによって入力画像を取得する画像取得手段、７０５は画像取得手段７０４から出力される入力画像の画像データを記憶する画像データ記憶手段、７０６は画像データ記憶手段７０５に記憶された画像データから目的物体の候補を抽出する目的物体候補抽出手段、７０７は目的物体までの距離を計測する距離計測手段、７０８は目的物体のモデル類似性を演算するモデル類似性演算手段、７０９は目的物体を選択する目的物体選択手段、７１０は目的物体への最適経路を演算する最適経路演算手段、７１１は事前情報を前もって記憶している事前情報格納手段である。
【００７５】
次に動作について説明する。
この場合の動作は、移動体に取りつけられた画像取得手段７０１（例えば、広角レンズ付きカメラ）から得られる画像を用いて目的物体候補を絞り込んで、さらに画像取得手段７０４（例えば、望遠レンズ付きカメラ）から得られる画像を用いて、移動体を海上又は地上に存在する目的物体まで接近させる動作である。図１６は本装置の動作の流れを示すフローチャートである。以下このフローチャートに沿って本装置の動作を説明する。
【００７６】
まず最初に、本装置が起動されると（ステップＳＴ７０１）、初期設定を行う。すなわち、複数種類の目的物体のモデルデータからなる事前情報、移動体の経路を制約する条件、移動体の自己位置や属性、移動体を移動させるために有している動力や移動体自身を制御する能力、及び他の事前情報を事前情報格納手段７１１に格納しておく（ステップＳＴ７０２）。なおこの場合には、図４に示したカメラの性能についての事前情報として、例えば広角レンズ付きカメラと望遠レンズ付きカメラのデータを事前情報格納手段７１１に格納しておく。
【００７７】
次に、画像取得手段７０１によって、認識対象の画像が広角レンズによって入力され画像データ記憶手段７０２に記憶される（ステップＳＴ７０３）。画像データ記憶手段７０２に記憶された画像データに対して、目的物体候補抽出手段７０３によって事前情報格納手段７１１のデータに基づく目的物体候補の抽出が行われる（ステップＳＴ７０４）。
【００７８】
次に、抽出された目的物体候補の情報が画像取得手段７０４に入力されて、画像取得手段７０４によって、抽出された目的物体候補に基づく認識対象の画像が望遠レンズによって入力され画像データ記憶手段７０５に記憶される（ステップＳＴ７０５）。画像データ記憶手段７０５に記憶された画像に対して、目的物体候補抽出手段７０６によって事前情報格納手段７１１のデータに基づく目的物体候補の抽出が行われる（ステップＳＴ７０６）。この場合に、目的物体候補抽出手段７０３における抽出動作で用いられた事前情報を利用してもよい。
【００７９】
距離計測を行うために、再度、画像取得手段７０４によって認識対象の画像が入力されて画像データ記憶手段７０５に記憶される（ステップＳＴ７０７）。画像データ記憶手段７０５に記憶された各目的物体候補の認識対象の画像データに対して、目的物体候補抽出手段７０６によって目的物体候補の抽出が行われる（ステップＳＴ７０８）。
【００８０】
次に、距離計測手段７０７によって、各目的物体候補までの距離を計測し（ステップＳＴ７０９）、モデル類似性演算手段７０８によって事前情報及び距離計測結果に基づいて各目的物体候補におけるモデル類似性が算出され（ステップＳＴ７１０）、目的物体選択手段７０９によって目的物体を選択する（ステップＳＴ７１１）。
【００８１】
次に、最適経路演算手段７１０によって事前に格納されている経路制約条件や移動体の移動可能範囲において、選択された目的物体の距離計測精度を十分に確保するための最適な経路を算出し（ステップＳＴ７１２）、算出結果に従って移動体を制御させ（ステップＳＴ７１３）、移動体を目的物体に接近させて（ステップＳＴ７１４）処理を終了する（ステップＳＴ７１５）。
【００８２】
以上のように、この実施の形態７によれば、光学系の条件（この場合は、画角）の異なるカメラ等からなる２つの画像取得手段を用いて、目的物体の漏れと画像の解像度を上げることを同時に満たすことができるので、目的物体までの距離計測に必要な視差を算出してよりいっそう高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。また、この実施の形態７によれば、実施の形態１の場合と同様に、入力画像のみから距離計測や他の精度を十分に確保するための最適な移動経路を算出することによって、自立的に移動体を目的物体に接近させることができるという効果がある。
【００８３】
なお、この実施の形態７においては、広角レンズ付きカメラ等を有する画像取得手段７０１による画像取り込み回数が１回、望遠レンズ付きカメラ等を有する画像取得手段７０４による画像取り込み回数が２回であるが、各々画像取り込みを複数行ってもよい。
また、この実施の形態７においては、事前情報として移動可能範囲を格納しているが、移動可能範囲は予め格納しておいてもよいし、移動可能範囲を演算する手段によって、他の事前情報より移動可能範囲を演算してもよい。
【００８４】
また、この実施の形態７においては、光学系の条件の異なるカメラ等からなる２つの画像取得手段を用いるようにしたが、３つ以上のカメラ等でそれぞれ光学系の条件の異なる複数の画像取得手段を用いるようにしてもよい。
【００８５】
【発明の効果】
以上のように、この発明によれば、画像処理装置を少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、認識対象の画像を撮像して画像データを取得する画像取得手段と、この画像取得手段によって取得された画像データから目的物体候補を抽出する目的物体候補抽出手段と、この目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、この距離計測手段で計測された距離に基づいて目的物体候補の海上高度又は地上高度を算出する海上／地上高度演算手段と、目的物体候補の海上高度又は地上高度及び事前情報格納手段に格納された事前情報に基づいて目的物体候補と目的物体のモデルとの類似性を演算するモデル類似性演算手段と、このモデル類似性演算手段による算出結果に基づいて目的物体候補の中から目的物体を選択する目的物体選択手段と、選択された目的物体に対する移動体の最適な経路を演算する最適経路演算手段とを有するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にするとともに、目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８７】
この発明によれば、画像処理装置において、画像上の任意の点を用いて平面あてはめを行うことにより海上面又は地上面を算出する海上／地上平面演算手段をさらに備え、距離計測手段を海上／地上平面演算手段によって算出された海上面又は地上面に基づいて目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８８】
この発明によれば、画像処理装置において、３次元情報を格納する３次元情報格納手段及びこの３次元情報格納手段に格納された３次元情報と距離計測手段で計測された距離とに基づいて位置あわせを行う位置あわせ手段をさらに備え、海上／地上高度演算手段を位置あわせ手段による位置あわせ情報に基づいて目的物体候補の海上高度又は地上高度を算出するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の海上高度も地上高度も計測できるという効果がある。
【００８９】
この発明によれば、画像処理装置において、３次元情報を格納する３次元情報格納手段、この３次元情報格納手段に格納された３次元情報に基づいて指示計画情報を作成する指示計画手段、及びこの指示計画手段によって作成された指示計画情報に基づいて移動体の経路を演算する経路演算手段をさらに備え、画像取得手段をこの経路演算手段によって算出された経路における認識対象の画像を撮像して画像データを取得するように構成したので、３次元情報を用いた指示計画によって移動体の経路を自動的に算出して目的物体を正確に認識でき、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００９０】
この発明によれば、画像処理装置において、画像取得手段を複数の画像を同時に撮像して複数の画像データを取得するように構成し、目的物体候補抽出手段を画像取得手段によって取得された複数の画像データのそれぞれに基づいて複数系統の目的物体候補を抽出するように構成し、距離計測手段は目的物体候補抽出手段によって抽出された複数系統の目的物体候補に基づいてすべての目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を正確に算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがないという効果がある。
【００９１】
この発明によれば、画像処理装置において、画像取得手段を光学系の条件が異なるとともに画像データの取得順序が設定された複数の画像取得手段で構成し、目的物体候補抽出手段を複数の画像取得手段にそれぞれ対応する複数の目的物体候補抽出手段で構成し、任意の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段を抽出した目的物体候補が次の取得順序に設定された画像取得手段における認識対象の画像になるように設定し、距離計測手段を最終の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測するように構成したので、目的物体までの距離計測に必要な視差を算出して高い距離計測精度を可能にし、また目的物体に良く似た偽の物体に誤って誘導することがなく、さらに目的物体の漏れ防止と画像の解像度を上げることを同時に満たすことができるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１における画像処理装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１における画像処理装置の動作を示すフローチャートである。
【図３】 この発明の実施の形態１における目的物体のモデルデータを示す図である。
【図４】 この発明の実施の形態１における画像取得手段であるカメラの性能を示す図である。
【図５】 この発明の実施の形態２における画像処理装置の構成を示すブロック図である。
【図６】 この発明の実施の形態２における画像処理装置の動作を示すフローチャートである。
【図７】 この発明の実施の形態３における画像処理装置の構成を示すブロック図である。
【図８】 この発明の実施の形態３における画像処理装置の動作を示すフローチャートである。
【図９】 この発明の実施の形態４における画像処理装置の構成を示すブロック図である。
【図１０】 この発明の実施の形態４における画像処理装置の動作を示すフローチャートである。
【図１１】 この発明の実施の形態５における画像処理装置の構成を示すブロック図である。
【図１２】 この発明の実施の形態５における画像処理装置の動作を示すフローチャートである。
【図１３】 この発明の実施の形態６における画像処理装置の構成を示すブロック図である。
【図１４】 この発明の実施の形態６における画像処理装置の動作を示すフローチャートである。
【図１５】 この発明の実施の形態７における画像処理装置の構成を示すブロック図である。
【図１６】 この発明の実施の形態７における画像処理装置の動作を示すフローチャートである。
【符号の説明】
１０１，２０１，３０１，４０１，５０１，６０１，６０２，７０１，７０４画像取得手段、１０２，２０２，３０２，４０２，５０２，６０３，６０４，７０２，７０５ 画像データ記憶手段、１０３，２０３，３０３，４０３，５０３，６０５，６０６，７０３，７０６ 目的物体候補抽出手段、１０４，２０４，３０４，４０４，５０４，６０７，７０７ 距離計測手段、１０５，２０６，３０７，４０８，５０５，６０８，７０８ モデル類似性演算手段、１０６，２０７，３０８，４０９，５０６，６０９，７０９ 目的物体選択手段、１０７，２０８，３０９，４１０，５０７，６１０，７１０ 最適経路演算手段、１０８，２０９，３１０，４１１，５０８，６１１，７１１ 事前情報格納手段、２０５，３０６，４０７ 海上／地上高度演算手段、３０５ 海上／地上平面演算手段、４０５，５０９ ３次元情報格納手段、４０６ 位置あわせ手段、５１０ 指示計画手段、５１１ 経路演算手段。
Claims (6)
- 移動体を目的物体に接近させるために当該移動体に搭載された画像処理装置であって、
少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、
認識対象の画像を撮像して画像データを取得する画像取得手段と、
この画像取得手段によって取得された画像データから目的物体候補を抽出する目的物体候補抽出手段と、
この目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、
この距離計測手段で計測された距離に基づいて目的物体候補の海上高度又は地上高度を算出する海上／地上高度演算手段と、
前記目的物体候補の海上高度又は地上高度及び前記事前情報格納手段に格納された前記事前情報に基づいて前記目的物体候補と前記目的物体のモデルとの類似性を演算するモデル類似性演算手段と、
このモデル類似性演算手段による算出結果に基づいて前記目的物体候補の中から目的物体を選択する目的物体選択手段と、
選択された目的物体に対する前記移動体の最適な経路を演算する最適経路演算手段と
を有することを特徴とする画像処理装置。 - 画像上の任意の点を用いて平面あてはめを行うことにより海上面又は地上面を算出する海上／地上平面演算手段をさらに備え、距離計測手段は前記海上／地上平面演算手段によって算出された前記海上面又は地上面に基づいて目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測することを特徴とする請求項１記載の画像処理装置。
- ３次元情報を格納する３次元情報格納手段及びこの３次元情報格納手段に格納された前記３次元情報と距離計測手段で計測された距離とに基づいて位置あわせを行う位置あわせ手段をさらに備え、海上／地上高度演算手段は前記位置あわせ手段による位置あわせ情報に基づいて目的物体候補の海上高度又は地上高度を算出することを特徴とする請求項１記載の画像処理装置。
- ３次元情報を格納する３次元情報格納手段、この３次元情報格納手段に格納された前記３次元情報に基づいて指示計画情報を作成する指示計画手段、及びこの指示計画手段によって作成された指示計画情報に基づいて移動体の経路を演算する経路演算手段をさらに備え、画像取得手段はこの経路演算手段によって算出された経路における認識対象の画像を撮像して画像データを取得することを特徴とする請求項１記載の画像処理装置。
- 移動体を目的物体に接近させるために当該移動体に搭載された画像処理装置であって、
少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、
認識対象の複数の画像を同時に撮像して複数の画像データを取得する画像取得手段と、
この画像取得手段によって取得された複数の画像データのそれぞれに基づいて複数系統の目的物体候補を抽出する目的物体候補抽出手段と、
この目的物体候補抽出手段によって抽出された複数系統の目的物体候補に基づいてすべての目的物体候補までの距離を計測する距離計測手段と、
この距離計測手段で計測された距離及び前記事前情報格納手段に格納された前記事前情報に基づいて前記目的物体候補と前記目的物体のモデルとの類似性を演算するモデル類似性演算手段と、
このモデル類似性演算手段による算出結果に基づいて前記目的物体候補の中から目的物体を選択する目的物体選択手段と、
選択された目的物体に対する前記移動体の最適な経路を演算する最適経路演算手段と
を有することを特徴とする画像処理装置。 - 移動体を目的物体に接近させるために当該移動体に搭載された画像処理装置であって、
少なくとも１種類の目的物体のモデルを含む事前情報が格納された事前情報格納手段と、
光学系の条件が異なるとともに認識対象の画像を撮像して取得する画像データの取得順序が設定された複数の画像取得手段と、
これら複数の画像取得手段に対応して複数設けられ、各画像取得手段によって取得された画像データから目的物体候補を抽出するとともに、抽出した目的物体候補が次の取得順序に設定された画像取得手段における認識対象の画像になるように設定する目的物体候補抽出手段と、
最終の取得順序に設定された画像取得手段によって取得された画像データに基づいて対応する目的物体候補抽出手段によって抽出された目的物体候補までの距離を計測する距離計測手段と、
この距離計測手段で計測された距離及び前記事前情報格納手段に格納された前記事前情報に基づいて前記目的物体候補と前記目的物体のモデルとの類似性を演算するモデル類似性演算手段と、
このモデル類似性演算手段による算出結果に基づいて前記目的物体候補の中から目的物体を選択する目的物体選択手段と、
選択された目的物体に対する前記移動体の最適な経路を演算する最適経路演算手段と
を有することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001145415A JP4476517B2 (ja) | 2001-05-15 | 2001-05-15 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001145415A JP4476517B2 (ja) | 2001-05-15 | 2001-05-15 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342747A JP2002342747A (ja) | 2002-11-29 |
| JP4476517B2 true JP4476517B2 (ja) | 2010-06-09 |
Family
ID=18991230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001145415A Expired - Fee Related JP4476517B2 (ja) | 2001-05-15 | 2001-05-15 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4476517B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4921857B2 (ja) * | 2006-06-07 | 2012-04-25 | 株式会社東芝 | 目標検出装置及び飛しょう体 |
-
2001
- 2001-05-15 JP JP2001145415A patent/JP4476517B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282622B2 (en) | 2016-12-09 | 2019-05-07 | Hitachi Kokusai Electric Inc. | Marine intrusion detection system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002342747A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101781757B1 (ko) | 객체 인식을 위한 수중 이미지 처리장치 및 그 방법 | |
| KR100271408B1 (ko) | 화상 처리 장치 및 물체 이동 적재 장치 | |
| US10337865B2 (en) | Geodetic surveying system | |
| Habib et al. | Automatic calibration of low-cost digital cameras | |
| EP2863174B1 (en) | Measuring method and measuring instrument | |
| JP5837092B2 (ja) | 水平角を使用する位置決定 | |
| JP4953903B2 (ja) | 車載用ナビゲーション装置 | |
| CN105358937A (zh) | 用于测绘仪器的定位方法和所述测绘仪器 | |
| KR102092392B1 (ko) | 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 | |
| CN105339758A (zh) | 使用重叠区域优化光束法平差 | |
| Brückner et al. | Intrinsic and extrinsic active self-calibration of multi-camera systems | |
| CN111094895A (zh) | 用于在预构建的视觉地图中进行鲁棒自重新定位的***和方法 | |
| JP4975350B2 (ja) | 車載用ナビゲーション装置 | |
| CN105606086A (zh) | 一种定位方法及终端 | |
| KR101954963B1 (ko) | 수치지도 및 도로정밀지도 구축 자동화를 위한 장치 및 방법 | |
| CN111801591A (zh) | 一种用于校准光强度的***及方法 | |
| KR20170097266A (ko) | 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템 | |
| JP4476517B2 (ja) | 画像処理装置 | |
| JP2011039974A (ja) | 画像検索方法およびシステム | |
| US20150154736A1 (en) | Linking Together Scene Scans | |
| CN103733225A (zh) | 特征点对等***、特征点对等方法、以及记录介质 | |
| JP5107282B2 (ja) | 目標追尾装置 | |
| CN104166995A (zh) | 一种基于马步测度的Harris-SIFT双目视觉定位方法 | |
| JP2007206014A (ja) | ナビゲーション装置 | |
| JP2006317418A (ja) | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071107 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071107 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071107 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100310 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |