JP4237212B2 - 画像処理方法、画像処理プログラムおよびプログラム記録媒体 - Google Patents

Description

本発明は、画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体に関し、特に、飛行体に搭載したラインセンサが地表面を撮像した画像を処理する画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体に関する。

ラインセンサ画像を扱った空中三角測量として、特許文献１の特開２１００３−８３７４５号公報「航空機搭載撮像装置および航空撮像データ処理装置」がある。該特許文献１では、３つのラインセンサで取得した画像とジャイロ、慣性航法装置、ＧＰＳ衛星により検出したカメラの位置、向きとを対にして求め、記憶手段に記憶している地表基準点の像の空間位置情報と、画像およびカメラの位置・向きから求められる観測位置との偏差を少なくするように制御して、カメラの位置・向きを修正する技術が示されている。
特開２００３−８３７４５号公報（第３−４頁）

しかしながら、特許文献１のような従来の技術には、以下のような問題がある。

図１３および図１４は、従来技術の問題点を説明するための説明図である。図１３を参照すると、ラインセンサ画像０１の行０２には、飛行体１００の飛行経路０４上の飛行位置０５からセンサ視野０７で撮影した地表面１１への撮像エリア０９が記録され、行０３には、飛行位置０６から撮影した地表面１１への撮像エリア１０が記録される。

一方、エリア(フレーム)センサを搭載した飛行体が地表を撮像して得られる２次元画像(以降、エリアセンサ画像と呼ぶ)
の場合、図１４を参照すると、エリアセンサ画像１２には飛行経路０４上の飛行位置１３から、図１３の場合のようなラインセンサ画像のセンサ視野０７よりも大きいセンサ視野１４で撮影した地表面１１への撮像エリア１５が記録される。

したがって、同じ領域での撮影を対象とした場合、エリアセンサ画像は撮像回数が少ない回数で済むので、地表面１１の３次元位置既知点Ｐ点 ０８が写っているエリアセンサ画像１２の探索が容易であり、また、エリアセンサ画像内においては、同じ飛行位置、撮像姿勢のデータを用いることが可能なため、エリアセンサ画像内のどの位置にＰ点 ０８が写っているかを見つけることは比較的簡単である。

一方、ラインセンサ画像の場合、図１３のように、行０２と行０３とで、撮像時刻、飛行位置、撮像姿勢が異なっている。そのため、Ｐ点 ０８がラインセンサ画像０１のどの行と列(以降、画像座標と呼ぶ)に位置するかを、算出することが困難である。さらに、通常、ラインセンサ画像０１内のすべての行における飛行位置、撮像姿勢情報が存在するようにすることも不可能である。そのため、Ｐ点
０８に対応するラインセンサ画像上の画素の画像座標の算出がより困難となる。

そこで、本発明の目的は、一次元画像を連続して取得するラインセンサを搭載した飛行体(航空機、衛星等)が、飛行しながら地表を撮影して得られる２次元画像(以降、ラインセンサ画像と呼ぶ)について、３次元位置既知点に対応するラインセンサ画像上の画素の画像座標を高速に探索可能な画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体を提供することにある。

前述の課題を解決するため、本発明による画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体は、次のような特徴的な構成を採用している。

（１）飛行体に搭載されたラインセンサによって地表を連続的に撮像した画像を処理する画像処理方法において、ラインセンサ画像の行ごとに、画像座標系から３次元基準座標系への変換情報となる座標変換情報を算出し、３次元位置が既知の点（既知点）の位置情報とラインセンサ画像の行ごとの飛行体３次元座標位置速度情報と前記座標変換情報とを用いて、３次元座標上で指定された前記点（既知点）に対応するラインセンサ画像上の最適行を探索し、探索された最適行の情報とラインセンサ画像の行ごとの飛行体３次元座標位置速度情報と前記座標変換情報とを用いて、前記点（既知点）に対応するラインセンサ画像上の画素の画像座標を探索し、
前記既知点に対応するラインセンサ画像上の最適行を探索する際に、行ごとの前記飛行体３次元座標位置速度情報と前記座標変換情報とを用いて算出されるラインセンサ画像の各行に対応するラインセンサ視野それぞれを平面として扱い、それぞれの平面と前記既知点との間の距離を算出し、距離が最小になる平面に該当するラインセンサ画像の行を、前記既知点に対応するラインセンサ画像上の最適行とし、
前記既知点に対応するラインセンサ画像上の画素の画像座標を探索する際に、行ごとの前記飛行体３次元座標位置速度情報と前記座標変換情報とを用いて算出されるラインセンサ画像上の前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出し、距離が最小になる画素を、前記既知点に対応するラインセンサ画像上の画素の画像座標とする画像処理方法。
（２）上記（１）の画像処理方法において、前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出する際に、ラインセンサ画像を撮像した時の飛行体と地表面との間の大気補正用の情報および／または光行差補正用の情報を用いて、算出した距離を補正する画像処理方法。
（３）上記（１）または（２）の画像処理方法において、前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出する際に、前記最適行上の画素数を任意の個数ずつのグループに分割して、各グループを代表する画素として任意に選んだいずれか１つの画素に対応する直線と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択し、さらに、選択した該グループに属する各画素に対応する直線と前記既知点との距離をそれぞれ算出して、選択したグループ内で算出した距離が最小になる直線に該当する前記最適行上の画素を、前記既知点に対応するラインセンサ画像上の画素の画像座標とする画像処理方法。
（４）上記（３）の画像処理方法において、最小の距離となるグループを選択した際に、選択したグループに属する前記最適行上の画素数が、あらかじめ定めた閾値よりも多い画素数であった場合、さらに、選択したグループの前記最適行上の画素数を任意の個数ずつのグループに分割して、各グループを代表する画素として任意に選んだいずれか１つの画素に対応する直線と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択する処理を、グループに属する前記最適行上の画素数が、前記閾値以内になるまで、繰り返す画像処理方法。
（５）上記（１）ないし（４）の画像処理方法において、画像座標系から３次元基準座標系への変換情報となる前記座標変換情報は、ラインセンサ画像に付属する付属データから抽出されるラインセンサ画像の行ごとの撮像時刻と、前記付属データから抽出されるあらかじめ定めた一定時間間隔ごとの飛行体姿勢情報と、前記付属データから抽出される画像座標系から飛行体座標系への座標変換情報とを用いて、算出される画像処理方法。
（６）上記（５）の画像処理方法において、前記飛行体姿勢情報の中から、行ごとの前記撮像時刻に時間的に近接する複数の飛行体姿勢情報を抽出し、抽出した複数の飛行体姿勢情報と、画像座標系から飛行体座標系への前記座標変換情報とを用いて、それぞれの画像座標系から３次元基準座標系への変換情報を算出して、算出したそれぞれの前記変換情報を用いて、参照する撮像時刻の行ごとの画像座標系から３次元基準座標系への変換情報となる前記座標変換情報を補間処理によって求める画像処理方法。
（７）上記（１）ないし（６）のいずれかの画像処理方法において、ラインセンサ画像の行ごとの前記飛行体３次元座標位置速度情報は、ラインセンサ画像に付属する付属データから抽出されるラインセンサ画像の行ごとの撮像時刻と、前記付属データから抽出されるあらかじめ定めた一定時間間隔ごとの飛行体３次元位置速度情報とを用いて、算出される画像処理方法。
（８）上記（７）の画像処理方法において、前記飛行体３次元位置速度情報の中から、行ごとの前記撮像時刻に時間的に近接する複数の飛行体３次元位置速度情報を抽出し、抽出した複数の飛行体３次元位置速度情報を用いて、参照する撮像時刻の行ごとの飛行体３次元位置速度情報を補間処理によって求める画像処理方法。
（９）上記（５）ないし（８）のいずれかの画像処理方法において、ラインセンサと前記ラインセンサを搭載した飛行体との間で位置姿勢が異なっている場合、前記飛行体姿勢情報または前記飛行体３次元位置速度情報を参照する際に、ラインセンサの位置姿勢へさらに座標変換して用いる画像処理方法。
（１０）上記（１）の画像処理方法において、ラインセンサ画像の各行に対応する平面と前記既知点との距離を算出する際に、ラインセンサ画像を撮像した時の飛行体と地表面との間の大気補正用の情報および／または光行差補正用の情報を用いて、算出した距離を補正する画像処理方法。
（１１）上記（１）または（１０）の画像処理方法において、ラインセンサ画像の各行に対応する平面と前記既知点との距離を算出する際に、ラインセンサ画像の行数を任意の個数ずつのグループに分割して、各グループを代表する行として任意に選んだいずれか１つの行に対応する平面と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択し、さらに、選択した該グループに属する各行に対応する平面と前記既知点との距離をそれぞれ算出して、選択したグループ内で算出した距離が最小になる平面に該当するラインセンサ画像の行を、前記既知点に対応するラインセンサ画像上の最適行とする画像処理方法。
（１２）上記（１１）の画像処理方法において、最小の距離となるグループを選択した際に、選択したグループに属するラインセンサ画像の行数が、あらかじめ定めた閾値よりも多い行数であった場合、さらに、選択したグループのラインセンサ画像の行数を任意の個数ずつのグループに分割して、各グループを代表する行として任意に選んだいずれか１つの行に対応する平面と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択する処理を、グループに属するラインセンサ画像の行数が、前記閾値以内になるまで、繰り返す画像処理方法。
（１３）上記（１）ないし（１２）のいずれかの画像処理方法を、コンピュータによって実行可能なプログラムとして実施する画像処理プログラム。
（１４）上記（１３）の画像処理プログラムを、コンピュータによって読み取り可能な記録媒体に記録するプログラム記録媒体。

本発明の画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体によれば、地表面のＰ点（３次元位置既知点）に対応するラインセンサ画像上の画素の画像座標を、高速に算出することができるという効果が得られる。

その理由は、Ｐ点（３次元位置既知点）に対応するラインセンサ画像上の最適行の探索時におけるＰ点とラインセンサ画像各行におけるセンサ視野との間の距離の算出、および、ラインセンサ画像上の最適行上のＰ点に対応するラインセンサ画像上の画素の画像座標の探索時におけるＰ点とラインセンサ画像最適行の各点における単位方向ベクトルと撮像位置とから構成される直線との間の距離の算出において、一般に、極小値を挟んで単調減少、単調増加の関係が得られることから、高速処理アルゴリズムの適用が可能であるためである。

以下、本発明による画像処理方法、画像処理装置、画像処理プログラムおよびプログラム記録媒体の好適実施形態例について添付図を参照して説明する。なお、以下の説明においては、簡単のため、飛行体とラインセンサの位置姿勢は、同一と見なして説明する。もし、違う場合には、飛行体とラインセンサとの間で位置姿勢の座標変換を行うことにすれば良い。

（本発明の特徴）
本発明の特徴の主な概要について、まず説明する。一次元画像を連続して取得するラインセンサを搭載した飛行体(航空機、衛星等)が飛行しながら地表を撮影することによって得られる２次元画像(以降、ラインセンサ画像と呼ぶ)について、３次元位置既知点（Ｐ点)に対応するラインセンサ画像上の画素の画像座標を高速に探索することを可能とする方法および装置を実現している点に、その特徴がある。

次に、図１を参照して、本発明の構成の一例を説明する。図１は、本発明によるラインセンサ撮像画像処理装置の一構成例を示すブロック構成図である。ラインセンサ撮像画像処理装置Ｕ１０は、画像各行位置姿勢情報算出手段Ｕ１、３次元位置既知点（Ｐ点）対応画像行探索手段Ｕ２、Ｐ点対応画像座標探索手段Ｕ３を少なくとも含んで構成されており、既知の地表面上の点であるＰ点に対応するラインセンサ画像上の画素の画像座標を高速に算出することを可能としている。ここで、画像各行位置姿勢情報算出手段Ｕ１などの各実現手段のすべてまたは一部を、ハードウェア論理により実現する場合のみに限らず、コンピュータのプログラムとして実施するようにしても良いし、ハードウェアとプログラムを混在させて実施するようにしても良いし、如何なる手段を用いて実施しても構わない。また、プログラムとして実現したラインセンサ撮像画像処理プログラムを、コンピュータによって読み取り可能なプログラム記録媒体に記録するようにしても良い。

画像各行位置姿勢情報算出手段Ｕ１では、ラインセンサ画像に付属する、画像各行の撮像時刻情報、離散的な飛行体の３次元位置情報、飛行体の姿勢情報に基づいて、すなわち、図２における３次元基準座標系ＸＹＺ ２２に対する飛行体座標系ＸｆＹｆＺｆ ２３の姿勢情報に基づいて、ラインセンサ画像各行における３次元位置情報、飛行体姿勢情報を、補間処理により算出する。図２は、本発明の一例を示すラインセンサ撮像画像処理装置Ｕ１０において既知の地表面上の点であるＰ点に対応するラインセンサ画像上の画素の画像座標を算出する動作を説明するための説明図である。

３次元位置既知点（Ｐ点）対応画像行探索手段Ｕ２では、ラインセンサ画像の行に対応するラインセンサ視野を平面とみなし、その平面と３次元位置既知点のＰ点 ０８との距離が最小となるような行(最適行と呼ぶ)を探索する。

図２を参照して、３次元位置既知点（Ｐ点）対応画像行探索手段の概略を説明する。画像座標系ｕｖ ２５を有するラインセンサ画像０１内の行２６に対し、次に示す処理Ｐ−１を行う。処理Ｐ−１では、まず、対象となる行２６に対応する撮像位置２８を含むラインセンサ視野１７と、既知の地表面上のＰ点 ０８との間の距離１９を算出する。さらに、処理Ｐ−１は、ラインセンサ画像０１内のすべての行に対して同様の処理を行い、距離１９が最小となるような行を最適行２７として探索する。ここで、ラインセンサ画像０１内にＰ点０８に対応する画素が存在する場合、ラインセンサ画像０１の各行と、距離１９との関係をグラフにすると、一般に、算出した距離１９には極小値が存在し、極小値を挟んで、単調減少、単調増加の関係となる。そのため、この関係を利用して最適行２７の高速探索が可能である。

また、Ｐ点対応画像座標探索手段Ｕ３では、３次元位置既知点（Ｐ点）対応画像行探索手段Ｕ２で得られた最適行２７を探索範囲として、最適行２７上の各画素に対応する単位方向ベクトル、最適行２７に対応する撮像位置から構成される直線とＰ点 ０８との距離が最小となるような画素を探索する。

図２を参照して、Ｐ点対応画像座標探索手段Ｕ３の概略を説明する。最適行２７上の画素２０に対して、次に示す処理Ｐ−２を行う。処理Ｐ−２では、画素２０に対応する方向ベクトル２１を算出し、撮像位置１６と方向ベクトル２１とからなる直線２９と、Ｐ点
０８との間の距離３０が最小となるような画像座標を探索する。最適行２７上の各画素と、距離３０との関係は、一般に、極小値を挟んで単調減少、単調増加の関係となるため、この関係を利用して、Ｐ点 ０８に対応するラインセンサ画像上の画素の画像座標の高速探索が可能となる。

（実施例の構成）
次に、図３を用いて、本発明によるラインセンサ撮像画像処理装置のより詳細なブロック構成の一例を説明する。図３は、本発明によるラインセンサ撮像画像処理装置のより詳細なブロック構成の一例を示すブロック構成図である。図３のラインセンサ撮像画像処理装置Ａ１０を参照すると、本実施例では、ラインセンサ撮像画像に関する画像処理をプログラム論理によって実施する場合を示しており、ラインセンサ撮像画像処理装置Ａ１０は、キーボード等の入力装置Ａ１と、プログラム制御により動作する情報処理装置Ａ２と、情報を記憶する記憶装置Ａ３と、ディスプレイ装置等の出力装置Ａ４を少なくとも含んで構成されている。ただし、前述したように、ラインセンサ撮像画像に関する画像処理をハードウェア論理によって処理しても良いし、プログラム論理とハードウェア論理との混用によっても良いし、如何なる画像処理方法を用いても構わない。

入力装置Ａ１は、付属データ入力部Ａ１−１と、Ｐ点座標入力部Ａ１−２とを備えている。

情報処理装置Ａ２は、画像各行位置姿勢情報算出手段Ａ２−Ｕ１（すなわち、図１における画像各行位置姿勢情報算出手段Ｕ１）、Ｐ点対応画像行探索手段Ａ２−Ｕ２（すなわち、図１における３次元位置既知点（Ｐ点）対応画像行探索手段Ｕ２）、Ｐ点対応画像座標探索手段Ａ２−Ｕ３（すなわち、図１におけるＰ点対応画像座標探索手段Ｕ３）を少なくとも備えている。

さらに、画像各行位置姿勢情報算出手段Ａ２−Ｕ１は、画像各行の撮像時刻情報抽出手段Ａ２−Ｕ１−１と、飛行***置速度情報抽出手段Ａ２−Ｕ１−２と、飛行体姿勢情報抽出手段Ａ２−Ｕ１−３と、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４と、画像各行のｕｖ(画像座標系)−ＸＹＺ(３次元基準座標系)座標変換情報算出手段Ａ２−Ｕ１−５と、ｕｖ−ＸｆＹｆＺｆ(飛行体座標系)座標変換情報抽出手段Ａ２−Ｕ１−６とを少なくとも備えている。

記憶装置Ａ３は、撮像時刻情報記憶部Ａ３−１、飛行***置速度情報記憶部Ａ３−２、飛行体姿勢情報記憶部Ａ３−３、画像各行の飛行***置速度情報記憶部Ａ３−４、画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５、Ｐ点に対応する画像最適行記憶部Ａ３−６、ｕｖ−ＸｆＹｆＺｆ座標変換情報記憶部Ａ３−７を少なくとも備えている。

ここで、画像各行の撮像時刻情報抽出手段Ａ２−Ｕ１−１は、付属データ入力部Ａ１−１で与えられるラインセンサ画像の付属データから、画像各行の撮像時刻情報を抽出して、抽出した撮像時刻情報を、撮像時刻情報記憶部Ａ３−１に供給する。ここで、付属データ入力部Ａ１−１で与えられるラインセンサ画像の付属データは、一定時間間隔毎の飛行体の３次元位置、速度情報、姿勢情報、画像各行の撮像時刻、ｕｖ−ＸｆＹｆＺｆ座標変換情報等の情報を含んでいる。

飛行***置速度情報抽出手段Ａ２−Ｕ１−２は、付属データ入力部Ａ１−１で与えられるラインセンサ画像の付属データから、一定時間間隔毎の飛行体の３次元位置、速度情報およびその時刻を抽出し、抽出した情報を、飛行***置速度情報記憶部Ａ３−２に供給する。

飛行体姿勢情報抽出手段Ａ２−Ｕ１−３は、付属データ入力部Ａ１−１で与えられたラインセンサ画像の付属データから、一定時間間隔毎の飛行体姿勢情報およびその時刻を抽出し、抽出した情報を飛行体姿勢情報記憶部Ａ３−３に供給する。

ｕｖ-ＸｆＹｆＺｆ 座標変換情報抽出手段Ａ２−Ｕ１−６は、付属データ入力部Ａ１−１で与えられたラインセンサ画像の付属データから、ｕｖ(画像座標系)−ＸｆＹｆＺｆ(飛行体座標系)座標変換情報を抽出し、抽出した情報をｕｖ−ＸｆＹｆＺｆ座標変換情報記憶部Ａ３−７に供給する。

画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４は、画像各行の撮像時刻情報抽出手段Ａ２−Ｕ１−１によって飛行***置速度情報抽出手段Ａ２−Ｕ１−２によって撮像時刻情報記憶部Ａ３−１に記憶された画像各行の撮像時刻情報と、飛行***置速度情報抽出手段Ａ２−Ｕ１−２によって飛行***置速度情報記憶部Ａ３−２に記憶された一定時間間隔毎の飛行体の３次元位置、速度情報とを用いて、画像各行の飛行体３次元位置、速度情報を補間法により算出する。算出した画像各行の飛行体の３次元位置、速度情報は、画像各行の飛行***置速度情報記憶部Ａ３−４に供給される。

画像各行のｕｖ-ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５は、画像各行の撮像時刻情報抽出手段Ａ２−Ｕ１−１によって撮像時刻情報記憶部Ａ３−１に記憶された画像各行の撮像時刻情報と、飛行体姿勢情報抽出手段Ａ２−Ｕ１−３によって飛行体姿勢情報記憶部Ａ３−３に記憶された一定時間間隔毎の飛行体姿勢情報と、ｕｖ-ＸｆＹｆＺｆ
座標変換情報抽出手段Ａ２−Ｕ１−６によってｕｖ−ＸｆＹｆＺｆ座標変換情報記憶部Ａ３−７に記憶されたｕｖ(画像座標系)−ＸｆＹｆＺｆ(飛行体座標系)座標変換情報とを用いて、画像各行のｕｖ(画像座標系)−ＸＹＺ(３次元基準座標系)座標変換情報を補間法により算出する。算出した画像各行のｕｖ(画像座標系)−ＸＹＺ(３次元基準座標系)座標変換情報は画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に供給される。

Ｐ点対応画像行探索手段Ａ２−Ｕ２は、３次元位置既知点のＰ点 ０８に対応するラインセンサ画像の最適行を探索する最適行探索手段であり、Ｐ点座標入力部Ａ１−２で３次元位置の既知の点として与えられたＰ点位置情報と、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４によって画像各行の飛行***置速度情報記憶部Ａ３−４に記憶された画像各行での飛行体３次元座標位置速度情報と、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５によって画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に記憶された画像各行のｕｖ−ＸＹＺ座標変換情報とを用いて、３次元座標で指定されたＰ点に対応するラインセンサ画像の最適行を探索する。探索したラインセンサ画像の最適行の情報は、Ｐ点に対応する画像最適行記憶部Ａ３−６に供給される。

Ｐ点対応画像座標探索手段Ａ２−Ｕ３は、Ｐ点対応画像行探索手段Ａ２−Ｕ２によって画像最適行記憶部Ａ３−６に記憶されたＰ点に対応する最適行の情報と、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４によって画像各行の飛行***置速度情報記憶部Ａ３−４に記憶された画像各行での飛行体の３次元座標位置速度情報と、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５によって画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に記憶された画像各行のｕｖ(画像座標系)−ＸＹＺ(３次元基準座標系)座標変換情報とを用いて、Ｐ点に対応するラインセンサ画像上の画素の画像座標を算出する。算出されたＰ点に対応するラインセンサ画像上の画素の画像座標は、出力装置Ａ４へ供給され、出力される。

（実施例の動作の説明）
通常、画像各行の撮像時刻情報抽出手段Ａ２−Ｕ１−１で抽出した撮像時刻およびその時間間隔と、飛行***置速度情報抽出手段Ａ２−Ｕ１−２で抽出した飛行体の位置速度情報、および、飛行体姿勢情報抽出手段Ａ２−Ｕ１−３で抽出した飛行体姿勢情報のサンプリング時刻およびその時間間隔とは一致しない。したがって、対応点探索処理の効率化のためには、図３において説明したように、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４、および、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５によって、画像各行の位置速度情報および座標変換情報があらかじめ算出されている必要がある。

次に、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４について、図３、図４を参照して説明し、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５について、図３、図５を参照して説明する。ここに、図４は、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４の動作の一例を説明するためのフローチャートであり、図５は、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５の動作の一例を説明するためのフローチャートである。

まず、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４の動作の一例について図４のフローチャートに基づいて説明する。画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４では、図３の撮像時刻情報記憶部Ａ３−１に記憶された画像各行に対応する撮像時刻を参照する（ステップＢ１）。次に、飛行***置速度情報記憶部Ａ３−２に記憶された飛行体３次元位置速度情報の中から、ステップＢ１で参照された撮像時刻に時間的に近い数点の時刻、および、位置速度情報をピックアップする（ステップＢ２）。

次に、ステップＢ２でピックアップした数点の位置速度情報から、補間処理により、画像各行の撮像時刻における撮像位置、速度を算出し、算出した画像各行での飛行体３次元座標位置速度情報を、画像各行の飛行***置速度情報記憶部Ａ３−４へ供給する（ステップＢ３）。

最後に、画像の最終行に達したか否かを確認し（ステップＢ４）、未達の場合は（ステップＢ４のいいえ）、次の行を参照する状態に更新して（ステップＢ５）、ステップＢ１に復帰し、以降、ステップＢ１からステップＢ５までの処理を繰り返す。

ステップＢ４で最終行に達していた場合（ステップＢ４のはい）、最終行に達した時点で、画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４の処理が終了となる。

次に、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５の動作について図５のフローチャートに基づいて説明する。画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５では、図３の撮像時刻情報記憶部Ａ３−１に記憶された画像各行に対応する撮像時刻を参照する（ステップＣ１）。次に、飛行体姿勢情報記憶部Ａ３−３に記憶されている飛行体姿勢情報の中から、ステップＣ１で参照された撮像時刻に時間的に近い数点の時刻、および、姿勢情報をピックアップする（ステップＣ２）。

次に、ステップＣ２でピックアップした数点の姿勢情報と、ｕｖ−ＸｆＹｆＺｆ座標変換情報記憶部Ａ３−７に記憶されたｕｖ−ＸｆＹｆＺｆ座標変換情報を用いて、ピックアップした数点のｕｖ−ＸＹＺ座標変換情報を算出する（ステップＣ３）。

次に、ステップＣ３で算出された数点のｕｖ−ＸＹＺ座標変換情報を用いて、参照する撮像時刻におけるｕｖ−ＸＹＺ座標変換情報を補間処理により算出する（ステップＣ４）。算出した画像各行でのｕｖ−ＸＹＺ座標変換情報は、画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に供給される。

最後に、画像の最終行に達したか否かを確認し（ステップＣ５）、未達の場合は（ステップＣ５のいいえ）、次の行を参照する状態に更新して（ステップＣ６）、ステップＣ１に復帰し、以降、ステップＣ１からステップＣ６までの処理を繰り返す。

ステップＣ５で最終行に達していた場合（ステップＣ５のはい）、最終行に達した時点で、画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５の処理が終了となる。

画像各行の飛行***置速度算出手段Ａ２−Ｕ１−４と画像各行のｕｖ−ＸＹＺ座標変換情報算出手段Ａ２−Ｕ１−５との処理が終了した後、Ｐ点に対応するラインセンサ画像の最適行探索手段すなわちＰ点対応画像行探索手段Ａ２−Ｕ２の処理を行う。前述のように、画像各行に対応するセンサ視野とＰ点間の距離が、極小値を挟んで単調減少、単調増加の関係となることを前提として、図６、図８を参照して、Ｐ点対応画像行探索手段Ａ２−Ｕ２の動作例の詳細を説明する。図６は、Ｐ点対応画像行探索手段Ａ２−Ｕ２の動作の一例を説明するためのフローチャートであり、図８は、Ｐ点に対応するラインセンサ画像の最適行を探索する一例として図２に示した行２６における処理Ｐ−１の動作を説明する説明図である。

図６のフローチャートにおいて、まず、ラインセンサ画像の行の探索領域(最小行ｖｓから最大行ｖｅ)を、ｖｓ＝１（画像の行の最小値）、ｖｅ＝(画像の行の最大値：画像の行数)に設定する（ステップＦ１）。次に、探索領域を、Ｎ等分(Ｎは０より大きい整数)し、行ｖｓ(＝ｖ_１)、ｖｅ（＝ｖ_Ｎ＋１）、および、行ｖｓ、行ｖｅ間にある行ｖ_２から行ｖ_Ｎまで(ｖ_１＜ｖ_２＜ｖ_３＜…＜ｖ_Ｎ＜ｖ_Ｎ＋１)のＮ等分点の計（Ｎ＋１）個の行のそれぞれについて、行に対応するセンサ視野とＰ点との距離ｄを算出する（ステップＦ２）。

次に、距離ｄの算出法について、図８を参照して説明する。まず、行２６上の任意の２点３１，３２すなわち点Ｉ_１ (＝（ｕ_１，ｖ）) ３１、点Ｉ_２（＝（ｕ_２、ｖ）） ３２それぞれに対応する単位方向ベクトル３４，３５すなわち単位方向ベクトルＶ１（＝（Ｘ１，Ｙ１，Ｚ１）） ３４、単位方向ベクトルＶ２（＝（Ｘ２，Ｙ２，Ｚ２）） ３５を、画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に記憶された画像各行のｕｖ−ＸＹＺ座標変換行列Ｒ（ｖ）を用いて、数１、数２により算出する。
Ｖ１ ＝ Ｒ（ｖ）Ｉ_１ (数１)
Ｖ２ ＝ Ｒ（ｖ）Ｉ_２ (数２)

画像各行の飛行***置速度情報記憶部Ａ３−４に記憶されている、行２６に対応する撮像位置２８すなわちＨ（＝（Ｘｈ，Ｙｈ，Ｚｈ）） ２８と、算出した単位方向ベクトル３４，３５すなわち単位方向ベクトルＶ１ ３４，Ｖ２ ３５とを含むラインセンサ視野１７とＰ点 ０８ (Ｐ＝（ＸＰ，ＹＰ，ＺＰ）)との距離ｄ １９を、数３により算出する。

図６のフローチャートに戻って、次に、（Ｎ＋１）個の各行における距離ｄのうち、最小となるような行ｖ_ｉを探索する（ステップＦ３）。しかる後、次工程での探索領域の最小行ｖｓをｖ_ｉ−１、最大行ｖｅをｖ_ｉ＋１に設定する（ステップＦ４
）。ここで、行ｖ_ｉ−１，ｖ_ｉ＋１はそれぞれ行ｖ_ｉと隣り合うＮ等分点の一つである。

次に、ｖｓからｖｅまでの探索領域内の行の総数が、あらかじめ定めた閾値Ｍ (Ｍは０より大きい整数)よりも多い場合（ステップＦ５のいいえ）、ステップＦ２からステップＦ５までの処理を繰り返す。逆に、行の総数がＭ以下の場合（ステップＦ５のはい）、ステップＦ６に進み、ｖｓからｖｅまでの探索領域内にあるすべての行に対して距離ｄを算出し、ｄが最小となる行ｖを探索する（ステップＦ６）。最小となる行として探索した行ｖの値は、Ｐ点に対する最適行として、Ｐ点に対応する画像最適行記憶部Ａ３−６に供給される（ステップＦ７）。

もし、飛行体の位置姿勢の急激な変動により、画像各行と、それに対応するセンサ視野とＰ点間の距離との関係が、極小値を挟んで単調減少、単調増加にならない場合は、すべての行による全探索により、距離ｄが最小となる行ｖを探索する。図７は、本発明によるラインセンサ撮像画像処理装置のＰ点対応画像行探索手段の動作の異なる例を説明するためのフローチャートであり、画像各行に対応するセンサ視野とＰ点間の距離ｄとの関係が、極小値を挟んで単調減少、単調増加にならない場合の最適行を探索する動作を説明するフローチャートである。

図７のフローチャートにおいて、まず、行ｖを１に設定し（ステップＤ１）、行ｖに対応するセンサ視野とＰ点との距離ｄを、前述した数１、数２、数３に基づいて算出する（ステップＤ２）。次に、行ｖがラインセンサ画像の最終行に達したか否かをチェックし（ステップＤ３）、未達の場合は（ステップＤ３のいいえ）、行ｖに１を加算した後（ステップＤ４）、ステップＤ２に戻って、ステップＤ２からＤ４までの処理を繰り返す。ステップＤ３で最終行に達した場合は（ステップＤ３のはい）、ステップＤ５に進み、すべての行ｖに対して算出した距離ｄのうち、最小となる行ｖを探索し（ステップＤ５）、探索した行ｖの値を、最適行として、Ｐ点に対応する画像最適行記憶部Ａ３−６へ供給する（ステップＤ６）。

最適行探索手段すなわちＰ点対応画像行探索手段Ａ２−Ｕ２の処理終了後、Ｐ点に対応する画像座標算出処理を、図３のＰ点対応画像座標探索手段Ａ２−Ｕ３にて行う。Ｐ点対応画像座標探索手段Ａ２−Ｕ３の詳細を、図９、図１１を参照して説明する。ここに、図９は、本発明によるラインセンサ撮像画像処理装置のＰ点対応画像座標探索手段Ａ２−Ｕ３の動作の一例を説明するためのフローチャートであり、図１１は、Ｐ点に対応するラインセンサ画像上の画素の画像座標を算出する一例として図２に示した最適行２７における処理Ｐ−２の動作を説明する説明図である。

図９のフローチャートにおいて、まず、図６または図７のような処理により探索された図１１の最適行２７を探索対象として、最適行２７上の点の探索領域（画像座標ｕ成分の最小値ｕｓから最大値ｕｅ）をｕｓ＝１、ｕｅ＝（画像列の最大値）に設定する（ステップＥ１）。次に、探索領域をＮ等分し、点Ｉｓ（ｕ成分ｕ_１）、点Ｉｅ（ｕ成分ｕ_Ｎ＋１）、および、点Ｉｓ，Ｉｅ間にあるＮ等分点Ｉ_２（ｕ成分ｕ_２），Ｉ_３（ｕ成分ｕ_３），…，Ｉ_Ｎ（ｕ成分ｕ_Ｎ）の計（Ｎ＋１）個の点（点Ｉ_１〜Ｉ_Ｎ＋１のｕ成分：ｕ_１＜ｕ_２＜…＜ｕ_Ｎ＜ｕ_Ｎ＋１）それぞれについて、各点に対応する単位方向ベクトルと位置とから構成される直線と、Ｐ点との距離ｄ’をそれぞれ算出する（ステップＥ２）。

次に、距離ｄ’の算出法について、図１１を参照して説明する。まず、最適行２７上の点４３すなわち点Ｉ（＝（ｕ，ｖ）） ４３に対応する単位方向ベクトル４４すなわち単位方向ベクトルＤ（＝（Ｘｄ，Ｙｄ，Ｚｄ）） ４４
を、画像各行のｕｖ−ＸＹＺ座標変換情報記憶部Ａ３−５に記憶されている画像各行のｕｖ−ＸＹＺ座標変換行列Ｒ（ｖ）を用いて、数４により算出する。
Ｄ ＝ Ｒ（ｖ）Ｉ (数４）

さらに、画像各行の飛行***置速度情報記憶部Ａ３−４に記憶されている、最適行２７に対応する撮像位置１６すなわちＨ（＝（Ｘｈ，Ｙｈ，Ｚｈ）） １６と、数４によって算出した単位方向ベクトル４４とから構成される直線５３とＰ点 ０８すなわちＰ（＝（ＸＰ，ＹＰ，ＺＰ）） ０８との距離ｄ' ５４を、数５により算出する。

図９のフローチャートに戻って、次に、（Ｎ＋１）個の点における距離ｄ’のうち、最小となるような点Ｉ_ｉのｕ成分ｕ_ｉを探索する（ステップＥ３）。しかる後、次工程での探索領域の最小値ｕｓを点Ｉ_ｉ−１のｕ成分ｕ_ｉ−１、最大値ｕｅを点Ｉ_ｉ＋１のｕ成分ｕ_ｉ＋１に設定する（ステップＥ４
）。ここで、点Ｉ_ｉ−１，Ｉ_ｉ＋１はそれぞれ点Ｉ_ｉと隣り合うＮ等分点の一つである。

次に、ｕｓからｕｅまでの探索領域内の点の総数が、あらかじめ定めた閾値Ｍ (Ｍは０より大きい整数)よりも多い場合（ステップＥ５のいいえ）、ステップＥ２からステップＥ５までの処理を繰り返す。逆に、点の総数がＭ以下の場合（ステップＥ５のはい）、ステップＥ６に進み、ｕｓからｕｅまでの探索領域内にあるすべての点に対して距離ｄ’を算出し、ｄ’が最小となる点Ｉのｕ成分を探索する（ステップＥ６）。最小となる点として探索した点Ｉの画像座標（ｕ，ｖ）は、出力装置Ａ４に供給される（ステップＥ７）。

もし、飛行体の位置姿勢の急激な変動により、最適行上の各点に対応する単位方向ベクトルと撮像位置とから構成される直線とＰ点間の距離ｄ’との関係が、極小値を挟んで単調減少、単調増加にならない場合は、すべての点による全探索により、距離ｄ’が最小となる点Ｉのｕ成分を探索する。図１０は、本発明によるラインセンサ撮像画像処理装置のＰ点対応画像座標探索手段の動作の異なる例を説明するためのフローチャートであり、画像最適行の各点に対応する単位方向ベクトルと撮像位置とから構成される直線とＰ点間の距離ｄ’との関係が、極小値を挟んで単調減少、単調増加にならない場合のラインセンサ画像上の画素の画像座標を探索する動作を説明するフローチャートである。

図１０のフローチャートにおいて、まず、最適行上の点Ｉのｕ成分を１に設定し（ステップＧ１）、点Ｉに対応する単位方向ベクトルと最適行に対応する撮像位置とから構成される直線とＰ点との距離ｄ’を数４、数５により算出する（ステップＧ２）。次に、点Ｉのｕ成分がラインセンサ画像の最終列に達したか否かをチェックし（ステップＧ３）、未達の場合は（ステップＧ３のいいえ）、ｕに１加算した後（ステップＧ４）、ステップＧ２に戻って、ステップＧ２からＧ４までの処理を繰り返す。ステップＧ３で最終列に達した場合は（ステップＧ３のはい）、ステップＧ５に進み、すべての点Ｉにおける距離ｄ’のうち、最小となる点Ｉのｕ成分を探索し（ステップＧ５）、探索した点Ｉの画像座標（ｕ，ｖ）の値を、出力装置Ａ４へ供給する（ステップＧ６）。

（実施例の効果の説明）
本実施例においては、３次元位置既知点（Ｐ点）に対応するラインセンサ画像上の画素の画像座標を高速に算出することができる。その理由は、Ｐ点対応画像行探索手段Ｕ２でＰ点に対応する最適行として探索されるＰ点とラインセンサ画像各行におけるセンサ視野との間の距離の関係、および、図１のＰ点対応画像座標探索手段Ｕ３でＰ点に対応するラインセンサ画像上の画素の画像座標すなわち最適行上の点の画像座標として探索されるＰ点とラインセンサ画像最適行の各点における単位方向ベクトルと撮像位置とから構成される直線との距離の関係が、一般に、極小値を挟んで単調減少、単調増加の関係となり、高速処理アルゴリズムの適用が可能であるためである。

また、本実施例は、例えば、ラインセンサ画像における空中三角測量処理やオルソ画像作成といった用途に適用することもできる。また、ラインセンサ画像におけるステレオマッチングの最適探索範囲を限定して、その範囲内でマッチング点を探索することにより、処理時間を節約するといった用途にも適用することが可能である。

（本発明の他の実施例）
次に、本発明の他の実施例について図１２を参照して説明する。図１２は、本発明によるラインセンサ撮像画像処理装置の図３とは異なる詳細なブロック構成の例を示すブロック構成図である。図１２のラインセンサ撮像画像処理装置Ａ２０を参照すると、本実施例も、図３のラインセンサ撮像画像処理装置Ａ１０と同様に、キーボード等の入力装置Ａ１と、プログラム制御により動作する情報処理装置Ａ２と、情報を記憶する記憶装置Ａ５と、ディスプレイ装置等の出力装置Ａ４を少なくとも含んで構成されている。

しかし、本実施例のラインセンサ撮像画像処理装置Ａ２０の場合、記憶装置Ａ５が、図３のラインセンサ撮像画像処理装置Ａ１０における記憶装置Ａ３の構成に加えて、さらに、大気補正・光行差補正関連情報記憶部Ａ５−１を備えている点が異なっている。大気補正・光行差補正関連情報記憶部Ａ５−１は、飛行体から地表面を撮像する際の大気補正および光行差補正のモデル式に関連するパラメータの値等の情報をあらかじめ記憶しており、これらの情報は、図８のＰ点に対応する画像最適行探索手段すなわちＰ点対応画像行探索手段Ａ２-Ｕ２と、図１１のＰ点に対応する画像座標算出手段すなわちＰ点対応画像座標探索手段Ａ２-Ｕ３とで用いられる。

図８のＰ点に対応する画像最適行探索手段すなわちＰ点対応画像行探索手段Ａ２-Ｕ２に関しては、図６のステップＦ２および図７のステップＤ２において、行ｖにおけるセンサ視野とＰ点との距離ｄを算出するときに、使用する変換行列Ｒ（ｖ）に大気補正・光行差補正のモデル式を組み入れることにより、大気補正、光行差補正を考慮した、より正確な距離ｄを算出することが可能になる。

また、図１１のＰ点に対応する画像座標算出手段すなわちＰ点対応画像座標探索手段Ａ２-Ｕ３に関しては、図９のステップＥ２および図１０のステップＧ２において、最適行上の点ｕにおける方向ベクトルを算出するときに、使用する変換行列Ｒ（ｖ）
に大気補正・光行差補正のモデル式を組み入れることにより、大気補正、光行差補正を考慮した、より正確な距離ｄ’を算出することが可能になる。

以上、本発明の好適実施例の構成を説明した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であることは、当業者には容易に理解できよう。

本発明によるラインセンサ撮像画像処理装置の一構成例を示すブロック構成図である。 本発明の一例を示すラインセンサ撮像画像処理装置において既知の地表面上の点であるＰ点に対応するラインセンサ画像上の画素の画像座標を算出する動作を説明するための説明図である。 本発明によるラインセンサ撮像画像処理装置のより詳細なブロック構成の一例を示すブロック構成図である。 本発明によるラインセンサ撮像画像処理装置の画像各行の飛行***置速度算出手段の動作の一例を説明するためのフローチャートである。 本発明によるラインセンサ撮像画像処理装置の画像各行のｕｖ−ＸＹＺ座標変換情報算出手段の動作の一例を説明するためのフローチャートである。 本発明によるラインセンサ撮像画像処理装置のＰ点対応画像行探索手段の動作の一例を説明するためのフローチャートである。 本発明によるラインセンサ撮像画像処理装置のＰ点対応画像行探索手段の動作の異なる例を説明するためのフローチャートである。 Ｐ点に対応するラインセンサ画像の最適行を探索する一例として図２に示した行における処理Ｐ−１の動作を説明する説明図である。 本発明によるラインセンサ撮像画像処理装置のＰ点対応画像座標探索手段の動作の一例を説明するためのフローチャートである。 本発明によるラインセンサ撮像画像処理装置のＰ点対応画像座標探索手段の動作の異なる例を説明するためのフローチャートである。 Ｐ点に対応するラインセンサ画像上の画素の画像座標を算出する一例として図２に示した最適行における処理Ｐ−２の動作を説明する説明図である。 本発明によるラインセンサ撮像画像処理装置の図３とは異なるより詳細なブロック構成の例を示すブロック構成図である。 従来技術の問題点を説明するための説明図である。 従来技術の問題点を説明するための説明図である。

符号の説明

０１ ラインセンサ画像
０２，０３ 行
０４ 飛行経路
０５，０６ 飛行位置
０７ センサ視野
０８ 地表面のＰ点
０９，１０ 撮像エリア
１１ 地表面
１２ エリアセンサ画像
１３ 飛行位置
１４ センサ視野
１５ 撮像エリア
１６ 撮像位置
１７ ラインセンサ視野
１８ ラインセンサ視野
１９ 距離
２０ 画素
２１ 方向ベクトル
２２ ３次元基準座標系ＸＹＺ
２３ 飛行体座標系ＸｆＹｆＺｆ
２５ 画像座標系ｕｖ
２６ 行
２７ 最適行
２８ 撮像位置
２９ 直線
３０ 距離
３１，３２ 或る行上の任意の点
３４，３５ 単位方向ベクトル
４３ 最適行上の点
４４ 単位方向ベクトル
５３ 直線
５４ 距離
１００ 飛行体
Ａ１０ ラインセンサ撮像画像処理装置
Ａ１ 入力装置
Ａ１−１ 付属データ入力部
Ａ１−２ Ｐ点座標入力部
Ａ２ 情報処理装置
Ａ２−Ｕ１ 画像各行位置姿勢情報算出手段
Ａ２−Ｕ１−１ 画像各行の撮像時刻情報抽出手段
Ａ２−Ｕ１−２ 飛行***置速度情報抽出手段
Ａ２−Ｕ１−３ 飛行体姿勢情報抽出手段
Ａ２−Ｕ１−４ 画像各行の飛行***置算出手段
Ａ２−Ｕ１−５ 画像各行のｕｖ(画像座標系)−ＸＹＺ(３次元基準座標系)座標変換情報算出手段
Ａ２−Ｕ１−６ ｕｖ−ＸｆＹｆＺｆ(飛行体座標系)座標変換情報抽出手段
Ａ２−Ｕ２ Ｐ点対応画像行探索手段（最適行探索手段）
Ａ２−Ｕ３ Ｐ点対応画像座標探索手段
Ａ３ 記憶装置
Ａ３−１ 撮像時刻情報記憶部
Ａ３−２ 飛行***置速度情報記憶部
Ａ３−３ 飛行体姿勢情報記憶部
Ａ３−４ 画像各行の飛行***置速度情報記憶部
Ａ３−５ 画像各行のｕｖ−ＸＹＺ座標変換情報記憶部
Ａ３−６ Ｐ点に対応する画像最適行記憶部
Ａ３−７ ｕｖ−ＸｆＹｆＺｆ座標変換情報記憶部
Ａ４ 出力装置
Ａ５ 記憶装置
Ａ５−１ 大気補正・光行差補正関連情報記憶部
Ａ１０，Ａ２０ ラインセンサ撮像画像処理装置
Ｕ１ 画像各行位置姿勢情報算出手段
Ｕ２ ３次元位置既知点（Ｐ点）対応画像行探索手段
Ｕ３ Ｐ点対応画像座標探索手段
Ｕ１０ ラインセンサ撮像画像処理装置

Claims (14)

1. 飛行体に搭載されたラインセンサによって地表を連続的に撮像した画像を処理する画像処理方法において、ラインセンサ画像の行ごとに、画像座標系から３次元基準座標系への変換情報となる座標変換情報を算出し、３次元位置が既知の点（既知点）の位置情報とラインセンサ画像の行ごとの飛行体３次元座標位置速度情報と前記座標変換情報とを用いて、３次元座標上で指定された前記点（既知点）に対応するラインセンサ画像上の最適行を探索し、探索された最適行の情報とラインセンサ画像の行ごとの飛行体３次元座標位置速度情報と前記座標変換情報とを用いて、前記点（既知点）に対応するラインセンサ画像上の画素の画像座標を探索し、
   前記既知点に対応するラインセンサ画像上の最適行を探索する際に、行ごとの前記飛行体３次元座標位置速度情報と前記座標変換情報とを用いて算出されるラインセンサ画像の各行に対応するラインセンサ視野それぞれを平面として扱い、それぞれの平面と前記既知点との間の距離を算出し、距離が最小になる平面に該当するラインセンサ画像の行を、前記既知点に対応するラインセンサ画像上の最適行とし、
   前記既知点に対応するラインセンサ画像上の画素の画像座標を探索する際に、行ごとの前記飛行体３次元座標位置速度情報と前記座標変換情報とを用いて算出されるラインセンサ画像上の前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出し、距離が最小になる画素を、前記既知点に対応するラインセンサ画像上の画素の画像座標とする
   ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出する際に、ラインセンサ画像を撮像した時の飛行体と地表面との間の大気補正用の情報および／または光行差補正用の情報を用いて、算出した距離を補正することを特徴とする画像処理方法。
3. 請求項１または２に記載の画像処理方法において、前記最適行上の各画素に対応する単位方向ベクトルと撮像位置とから構成される直線と前記既知点との間の距離を算出する際に、前記最適行上の画素数を任意の個数ずつのグループに分割して、各グループを代表する画素として任意に選んだいずれか１つの画素に対応する直線と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択し、さらに、選択した該グループに属する各画素に対応する直線と前記既知点との距離をそれぞれ算出して、選択したグループ内で算出した距離が最小になる直線に該当する前記最適行上の画素を、前記既知点に対応するラインセンサ画像上の画素の画像座標とすることを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法において、最小の距離となるグループを選択した際に、選択したグループに属する前記最適行上の画素数が、あらかじめ定めた閾値よりも多い画素数であった場合、さらに、選択したグループの前記最適行上の画素数を任意の個数ずつのグループに分割して、各グループを代表する画素として任意に選んだいずれか１つの画素に対応する直線と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択する処理を、グループに属する前記最適行上の画素数が、前記閾値以内になるまで、繰り返すことを特徴とする画像処理方法。
5. 請求項１ないし４に記載の画像処理方法において、画像座標系から３次元基準座標系への変換情報となる前記座標変換情報は、ラインセンサ画像に付属する付属データから抽出されるラインセンサ画像の行ごとの撮像時刻と、前記付属データから抽出されるあらかじめ定めた一定時間間隔ごとの飛行体姿勢情報と、前記付属データから抽出される画像座標系から飛行体座標系への座標変換情報とを用いて、算出されることを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、前記飛行体姿勢情報の中から、行ごとの前記撮像時刻に時間的に近接する複数の飛行体姿勢情報を抽出し、抽出した複数の飛行体姿勢情報と、画像座標系から飛行体座標系への前記座標変換情報とを用いて、それぞれの画像座標系から３次元基準座標系への変換情報を算出して、算出したそれぞれの前記変換情報を用いて、参照する撮像時刻の行ごとの画像座標系から３次元基準座標系への変換情報となる前記座標変換情報を補間処理によって求めることを特徴とする画像処理方法。
7. 請求項１ないし６のいずれかに記載の画像処理方法において、ラインセンサ画像の行ごとの前記飛行体３次元座標位置速度情報は、ラインセンサ画像に付属する付属データから抽出されるラインセンサ画像の行ごとの撮像時刻と、前記付属データから抽出されるあらかじめ定めた一定時間間隔ごとの飛行体３次元位置速度情報とを用いて、算出されることを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法において、前記飛行体３次元位置速度情報の中から、行ごとの前記撮像時刻に時間的に近接する複数の飛行体３次元位置速度情報を抽出し、抽出した複数の飛行体３次元位置速度情報を用いて、参照する撮像時刻の行ごとの飛行体３次元位置速度情報を補間処理によって求めることを特徴とする画像処理方法。
9. 請求項５ないし８のいずれかに記載の画像処理方法において、ラインセンサと前記ラインセンサを搭載した飛行体との間で位置姿勢が異なっている場合、前記飛行体姿勢情報または前記飛行体３次元位置速度情報を参照する際に、ラインセンサの位置姿勢へさらに座標変換して用いることを特徴とする画像処理方法。
10. 請求項１に記載の画像処理方法において、ラインセンサ画像の各行に対応する平面と前記既知点との距離を算出する際に、ラインセンサ画像を撮像した時の飛行体と地表面との間の大気補正用の情報および／または光行差補正用の情報を用いて、算出した距離を補正することを特徴とする画像処理方法。
11. 請求項１または１０に記載の画像処理方法において、ラインセンサ画像の各行に対応する平面と前記既知点との距離を算出する際に、ラインセンサ画像の行数を任意の個数ずつのグループに分割して、各グループを代表する行として任意に選んだいずれか１つの行に対応する平面と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択し、さらに、選択した該グループに属する各行に対応する平面と前記既知点との距離をそれぞれ算出して、選択したグループ内で算出した距離が最小になる平面に該当するラインセンサ画像の行を、前記既知点に対応するラインセンサ画像上の最適行とすることを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、最小の距離となるグループを選択した際に、選択したグループに属するラインセンサ画像の行数が、あらかじめ定めた閾値よりも多い行数であった場合、さらに、選択したグループのラインセンサ画像の行数を任意の個数ずつのグループに分割して、各グループを代表する行として任意に選んだいずれか１つの行に対応する平面と前記既知点との距離をそれぞれ算出し、算出した各グループを代表する前記距離のうち、最小の距離となるグループを選択する処理を、グループに属するラインセンサ画像の行数が、前記閾値以内になるまで、繰り返すことを特徴とする画像処理方法。
13. 請求項１ないし１２のいずれかに記載の画像処理方法を、コンピュータによって実行可能なプログラムとして実施することを特徴とする画像処理プログラム。
14. 請求項１３に記載の画像処理プログラムを、コンピュータによって読み取り可能な記録媒体に記録することを特徴とするプログラム記録媒体。

Images