JP7241906B2 - データ処理装置およびデータ処理方法 - Google Patents

Description

本発明は、センサによって得られた情報を処理するデータ処理装置およびデータ処理方法に関する。

近年、センサ情報が様々な分野で活用されている。センサ情報は、センサの観測によって得られた情報であり、センサによって取得されたデータ、または当該データが処理されたデータである。センサとしては、電磁波をパッシブに観測するパッシブセンサ、電磁波を送出して反射された電磁波を観測するアクティブセンサが挙げられる。パッシブセンサとしては、いわゆるイメージセンサと呼ばれるセンサが例示され、アクティブセンサとしては、合成開口レーダ（ＳＡＲ：Synthetic Aperture Radar）、レーザスキャナが例示される。

センサ情報は、例えば、地震、豪雨といった自然災害、または火災、事故といった人為的な災害の状況把握に利用可能である。また、災害の状況把握だけでなく、センサ情報を用いて災害の予兆を検知して、防災対策に役立てることも検討されている。さらには、センサ情報は、作物の生育状態の把握、交通渋滞の状況の把握等にも用いられる。

特許文献１には、人工衛星に搭載されたＳＡＲの観測により得られる画像を用いて、液状化、盛土崩壊等の地域を把握する技術が開示されている。特許文献１に記載の地表変状可視化装置は、異なる時刻にＳＡＲにより取得されたデータを用いて、干渉縞画像と干渉性の低い領域を示す画像とを生成し、これらの画像を重畳して表示する。液状化、盛土崩壊等により地表面に変化が生じた領域は干渉性の低い領域として表示されるが、河川等ではこれらの現象にかかわらず水面の状態が常に変動しているので元々干渉性が低い。特許文献１では、干渉縞画像と干渉性の低い領域を示す画像とが重畳して表示されるので、利用者は、干渉性の低い領域が河川等であるか、液状化、盛土崩壊等の地域であるかを判別しやすくなる。また、特許文献１には、これらの画像を地形表現図とさらに重畳して表示することも記載されている。

特開２０１８－４０７２８号公報

しかしながら、上記特許文献１に記載の技術によれば、ＳＡＲの観測により得られた画像と地形表現図とを重畳して表示する際に、ＳＡＲの観測データの処理において求められた当該観測データに対応する地表面の位置と地形表現図における地図座標とに基づいて位置合わせを行っている。通常、人工衛星に搭載されたＳＡＲの観測データに対応する地表面の位置は、人工衛星の軌道情報および姿勢情報、オフナディア角等の情報を用いて算出されるが、このようにして算出された位置は、座標系の定義の差、算出に用いた情報の誤差等によって、地図座標と整合しているとは限らない。すなわち、ＳＡＲの観測データの処理において求められた位置が表されている座標系と、地図座標の座標系とが異なっている可能性がある。したがって、特許文献１に記載の技術では、地形表現図と干渉性の低い領域を示す画像とが重畳されて表示されると、利用者は、干渉性の低い領域の位置を誤って認識してしまう可能性がある。

一方、近年、様々な種類のセンサが様々な場所に設置されており、これらのセンサが同一箇所を観測していることがある。センサの種類または設置場所等によって得られるデータの特性が異なるので、同一箇所を観測した複数のセンサの観測データを用いると、当該箇所に関する情報が増える。しかしながら、これらのデータはそれぞれ個別に位置が算出されているため、例えば、上記特許文献１に記載の技術のように、これら複数のセンサによって得られたデータをそのまま重畳して表示すると位置ずれが生じる可能性がある。また、表示に限らず、これら複数のセンサによって得られたデータを用いて、災害箇所の検出、作物の生育状態の把握、交通渋滞の状況の把握といった解析を行う場合、位置合わせが高精度にされていないと、精度のよい解析結果が得られない。

本発明は、上記に鑑みてなされたものであって、複数のセンサによって得られたデータに対応する被観測位置の位置合わせを高精度に行うことができるデータ処理装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるデータ処理装置は、対象地域の地図を含むデータである地図情報と、複数のセンサによって対象地域がそれぞれ観測されることによって得られる複数の観測データとのなかから、対象地域内の基準対象物に対応する部分である特徴要素を抽出する特徴要素抽出部、を備える。データ処理装置は、さらに、地図情報および複数の観測データのうちの１つを、位置合わせの基準とする基準データとして選択する選択部と、複数の観測データのそれぞれについて、観測データに対応する特徴要素の位置を、基準データにおける特徴要素の位置と一致させるように、当該観測データの位置合わせを行う位置合わせ部と、を備える。特徴要素抽出部は、地図情報から抽出された特徴要素を用いて、センサごとに、当該センサで基準対象物が観測されたデータを模擬する模擬特徴要素を生成し、センサごとに、対応する模擬特徴要素を用いて、当該センサに対応する観測データから特徴要素を抽出する。

本発明にかかるデータ処理装置は、複数のセンサによって得られたデータに対応する被観測位置の位置合わせを高精度に行うことができるという効果を奏する。

実施の形態１にかかるデータ処理装置の構成例を示す図 実施の形態１のデータ処理装置を実現するコンピュータシステムの構成例を示す図 実施の形態１のデータ処理装置における全体処理の流れの一例を示す図 実施の形態１のセンサ情報の構成例を示す図 実施の形態１の特徴要素の対応付け処理手順の一例を示すフローチャート 実施の形態１の特性情報の一例を示す図 実施の形態１の解析部により抽出された変化領域を地図情報に重ね合わせた表示画面の一例を示す図 実施の形態１の解析部により算出された変位量を地図情報に重ね合わせた表示画面の一例を示す図 実施の形態１の解析部により算出された浸水領域を可視センサ画像データに重ね合わせた表示画面の一例を示す図 実施の形態２のデータ処理装置の構成例を示す図 実施の形態２のデータ処理装置における全体処理の流れの一例を示す図 実施の形態２の対応付け部による特徴要素対応付け処理の一例を示すフローチャート 実施の形態３のデータ処理装置の構成例を示す図 実施の形態３の模擬特徴要素生成処理の一例を示すフローチャート 実施の形態３のデータ処理装置における全体処理の流れの一例を示す図

以下に、本発明の実施の形態にかかるデータ処理装置およびデータ処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかるデータ処理装置の構成例を示す図である。本実施の形態のデータ処理装置１は、複数のセンサにそれぞれ対応するセンサ情報をセンサ情報提供装置２から取得して、これらのセンサ情報の位置合わせを行う装置である。位置合わせが行われた後のセンサ情報は、例えば、災害発生時の災害箇所の抽出、作物の生育状態の把握、交通渋滞の状況の把握等に用いられる。また、複数の時点のセンサ情報を使えば、これらの変位を把握することもできる。

センサ情報は、センサの観測によって得られた観測データを含む。観測データは、センサによって取得されたデータ、または当該データが処理されたデータである。また、センサ情報は、センサの観測日時を示す情報と、センサにより観測された観測場所の位置を算出するための観測情報とを含む。センサは、人工衛星、航空機、ドローン、ヘリコプター等に搭載されたセンサであってもよく、車両等に搭載されたセンサであってもよく、地表、建物等に固定されたセンサであってもよい。

センサは、パッシブセンサであってもアクティブセンサであってもよい。パッシブセンサとしては、可視光、赤外光、紫外光等を観測するイメージセンサが例示される。アクティブセンサとしては、ＳＡＲ、３次元点群データを取得するＬＩＤＡＲ（Laser Imaging Detection and Ranging：ライダー）が例示される。センサは、これら以外のセンサであってもよい。

データ処理装置１は、センサ情報を提供するセンサ情報提供装置２と地図情報を提供する地図情報提供装置３とに、それぞれ通信回線により接続される。これらの通信回線は、有線回線であっても無線回線であってもよく、無線回線と有線回線とが混在していてもよい。ここでは、データ処理装置１が、センサ情報提供装置２および地図情報提供装置３から、通信回線を介して情報を取得する例を説明するが、データ処理装置１が、センサ情報提供装置２および地図情報提供装置３から情報を取得する方法は通信回線を介する例に限定されない。例えば、センサ情報提供装置２によって記録媒体にセンサ情報が記録され、データ処理装置１が記録媒体から情報を読み出すようにしてもよい。地図情報についても同様に記録媒体を介して地図情報提供装置３からデータ処理装置１へ提供されてもよい。

また、センサ情報提供装置２および地図情報提供装置３は、データ処理装置１を運用および管理する組織以外の管理者により管理される外部の装置であってもよいし、データ処理装置１を運用および管理する組織により管理される装置であってもよい。例えば、データ処理装置１が、位置合わせ後のセンサ情報、または位置合わせ後のセンサ情報を用いた解析結果を、災害対策等のために、自治体へ提供する場合、センサ情報提供装置２および地図情報提供装置３は、データ処理装置１を運用および管理する組織により管理され、国全体等広域のセンサ情報および状態情報を外部の装置から取得する。そして、データ処理装置１が、センサ情報提供装置２および地図情報提供装置３から、自治体ごとに、対応する情報を取得するようにしてもよい。

図１に示すように、データ処理装置１は、センサ情報取得部１１、地図情報取得部１２、処理情報記憶部１３、特徴要素抽出部１４、第１処理部１５－１～第ｎ処理部１５－ｎ、対応付け部１６、解析部１７、表示処理部１８、情報出力部３１および調整部３２を備える。ｎは、データ処理装置１が、処理対象とするセンサ情報に対応するセンサの数である。例えば、データ処理装置１が、赤外イメージセンサである赤外センサ、可視イメージセンサである可視センサ、ＳＡＲおよびＬＩＤＡＲの４つのセンサにそれぞれ対応するセンサ情報を処理する場合は、ｎは４である。なお、ｎは処理対象とするセンサの最大数であり、データ処理装置１は、ｎ個のセンサのうち一部のセンサに対応するセンサ情報を用いた処理を行うことも可能である。例えば、赤外センサ、可視センサ、ＳＡＲおよびＬＩＤＡＲの４つのセンサを処理対象とするデータ処理装置１が、ＬＩＤＡＲのセンサ情報を用いずに、赤外センサ、可視センサおよびＳＡＲのセンサ情報を用いた処理を行うことも可能である。

センサ情報取得部１１は、センサ情報提供装置２からセンサ情報を取得する。センサ情報取得部１１は、取得したセンサ情報を処理情報記憶部１３へ格納する。センサが人工衛星である場合には、センサ情報提供装置２は、人工衛星の軌道位置、センサの運用条件等を示す観測情報とともに、センサにより観測されたデータまたは当該データに処理を施したデータを提供する。センサが人工衛星である場合には、センサ情報取得部１１は、解析の対象となる対象地域を含むセンサ情報をセンサ情報提供装置２から取得する。対象地域は、データ処理装置１が行う解析の内容によって適宜設定される。データ処理装置１が自治体の災害対応を支援するための解析を行う場合は、対象地域は当該自治体を含む領域であり、データ処理装置１が地球全体を解析対象とする処理である場合には、対象地域は、地球全体である。

センサ情報取得部１１は、例えば、定められたデータサイズごとに、センサ情報を取得する。定められたデータサイズは、例えば、センサ情報提供装置２からセンサ情報が配布される際の最小のデータ単位であるが、これに限定されない。また、センサ情報取得部１１は、定められたデータサイズごとにセンサ情報を取得するかわりに、定められた観測領域の大きさごとにセンサ情報を取得してもよい。データサイズまたは観測領域の大きさにより定まる１かたまりのセンサ情報を、以下、１画像分のセンサ情報とも呼ぶ。対象地域が１画像分のセンサ情報に対応する領域より広い場合には、センサ情報取得部１１は、複数画像分のセンサ情報を取得する。

また、データ処理装置１は、後述するように災害の発生前後のセンサ情報の差分を用いることで変化領域を抽出する解析を行う場合、災害の発生していない平時において、少なくも１回は対象地域に対応するセンサ情報を取得して後述する位置合わせ処理を実施しておく。または、センサ情報提供装置２が過去のセンサ情報も提供している場合には、センサ情報取得部１１は、災害の発生後に、対応の優先順位を決定する際に、災害の発生後のセンサ情報とともに、過去のすなわち災害の発生前のセンサ情報を取得して位置合わせ処理を実施してもよい。

人工衛星の観測データは、一般に、生データから高次プロダクトまで様々なレベルのデータとして提供される。本実施の形態のセンサ情報は、これらのどのレベルのデータに対応するものであってもよい。なお、本実施の形態では、解析部１７における解析で用いるため、または表示するために、位置に対応する画素ごとの輝度、散乱強度、標高等が示される画像データ、または３次元の座標値の点で表される３次元点群データを用いる。したがって、センサ情報として提供される観測データが、画像データ等ではない場合には、当該センサに対応する第１処理部１５－１～第ｎ処理部１５－ｎが、観測データから画像データを生成するための処理を実施する。また、センサ情報が、センサ特有のラジオメトリックな校正、幾何補正等が行われていない観測データを含む場合、当該センサに対応する第１処理部１５－１～第ｎ処理部１５－ｎが、センサ特有のラジオメトリックな校正、幾何補正等を行って画像データを生成すればよい。

航空機、車両等に搭載されるセンサのセンサ情報も、同様に、センサ情報提供装置２から位置情報とともに取得される。ただし、人工衛星に搭載されたセンサの観測データは、災害が生じているか否かに関わらず取得されるが、航空機、車両等に搭載されるセンサは、災害が発生した後に、災害が発生したと想定される地域を観測することもある。この場合、災害発生前のセンサ情報が得られない可能性がある。災害発生前のセンサ情報が得られない場合は、シミュレーション等によって災害発生前のセンサ情報を生成してもよい。または、平時においても、例えば、定期的に航空機、車両等に搭載されるセンサの観測を行っておき、センサ情報取得部１１が、平時のセンサ情報をセンサ情報提供装置２から取得してもよい。

センサが位置の固定されたセンサである場合、センサ情報提供装置２は、センサ自体またはセンサに接続された処理装置等であってもよい。例えば、センサが、路側センサ、建物に設置されたカメラ等である場合、センサ情報取得部１１は、対象地域を観測するセンサからセンサ情報を取得してもよい。または、固定された複数のセンサのセンサ情報がサーバ等により集約されて管理されている場合には、このサーバ等がセンサ情報提供装置２となる。

地図情報取得部１２は、対象地域の地図を含むデータである地図情報を地図情報提供装置３から取得し、取得した地図情報を処理情報記憶部１３へ格納する。地図情報は、具体的には例えば３次元地図データであり、当該３次元地図データの精度を示す情報とともに提供される。３次元地図データとしては、人工衛星に搭載されたセンサの観測データに基づいて生成される全球を対象としたもの、自動運転のためにＬＩＤＡＲ、カメラなどのセンサによって観測されたデータに基づいて生成された高精度なもの等、様々なものがある。地図情報取得部１２は、１種類の３次元地図データを用いてもよいし、複数の種類の３次元地図データから、対象地域に応じて精度のよい地図情報を選択して取得してもよい。３次元地図データは、数値標高モデル（ＤＥＭ：Digital Elevation Model）のように３次元座標値で表されたものであってもよいし、ベクター形式のデータであってもよい。

特徴要素抽出部１４は、処理情報記憶部１３に記憶された地図情報から特徴要素を抽出する。さらに、特徴要素抽出部１４は、抽出した特徴要素を用いて、センサごとに、当該センサで基準対象物が観測されたデータを模擬する模擬特徴要素を生成する。詳細には、特徴要素抽出部１４は、処理対象の領域である対象地域の地図情報から、位置合わせに用いる地上の基準対象物を選択する。基準対象物は、複数の地上基準点（ＧＣＰ：Ground Control Point）、自然形成された造形物および建造物のうちの少なくとも１つである。自然形成された造形物は、例えば、河川、湖等である。建造物は、建物、道路、線路、等である。地上基準点は、幾何補正、測量のために設けられたものであり、高精度に位置が定められている。また、基準対象物として、河川、道路といった線状の造形物を用いると、位置合わせの精度を高めることができる。また、河川、道路といった線状の造形物を用いると、注目領域が撮像領域の境界であっても、撮像領域の境界をまたぐ線状の特徴物の連続性を考慮して位置合わせすることで、撮像領域の境界の不連続を防ぐことができる。特徴要素抽出部１４は、地図情報から、選択した基準対象物に対応する領域を特徴要素として抽出する。特徴要素抽出部１４は、抽出された特徴要素の位置情報に基づいて、基準対象物をセンサで観測したときに得られる模擬データを模擬特徴要素として生成する。模擬データは、センサがイメージセンサの場合には画像データであり、センサがＬＩＤＡＲ等の場合には、３次元点群データである。特徴要素の位置情報は、例えば、特徴要素の形状を示す３次元座標値であってもよいし、ポリゴンなどの情報であってもよい。模擬特徴要素は、撮影方向、解像度、振幅、歪などの撮像条件も反映して作成される。

第１処理部１５－１～第ｎ処理部１５－ｎは、ｎ個のセンサにそれぞれ対応した処理を行う。第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれは、補正部２１、特徴要素抽出部２２および位置合わせ部２３を備える。なお、図１では、第１処理部１５－１を構成する補正部２１、特徴要素抽出部２２および位置合わせ部２３を図示しているが、第２処理部１５－２～第ｎ処理部１５－ｎも同様に補正部２１、特徴要素抽出部２２および位置合わせ部２３を備える。第１処理部１５－１～第ｎ処理部１５－ｎの補正部２１は、処理情報記憶部１３に記憶されたセンサ情報のうち対応するセンサのセンサ情報を読み出す。そして、第１処理部１５－１～第ｎ処理部１５－ｎの補正部２１は、センサ情報に対して、ラジオメトリックな校正、観測領域の位置の算出処理などを含むセンサ固有の補正を行うことによりセンサ画像データを生成する。なお、データ処理装置１が、ラジオメトリックな校正等の補正が施されたセンサ画像データ自体をセンサ情報として取得する場合には、対応する第１処理部１５－１～第ｎ処理部１５－ｎは、補正処理を行わなくてもよい。また、ここでは、センサ画像データは、画像として表示される一般的な画像データに限らず、処理を施すことにより画像として表示可能なデータも含む。処理を施すことにより画像として表示可能なデータの一例は、３次元点群データである。すなわち、各センサのセンサ画像データは、センサによって対象地域が観測されることにより得られる観測データである。また、第１処理部１５－１～第ｎ処理部１５－ｎの補正部２１は、人工衛星、航空機、ドローン等などに搭載されたセンサのセンサ画像データに対してオルソ補正を行う。

第１処理部１５－１～第ｎ処理部１５－ｎの特徴要素抽出部２２は、特徴要素抽出部１４により生成された模擬特徴要素を用いて、センサ画像データから、基準対象物に対応する領域すなわち特徴要素を抽出し、抽出した特徴要素と模擬特徴要素との類似度を算出する。詳細には、第１処理部１５－１～第ｎ処理部１５－ｎの特徴要素抽出部２２は、模擬特徴要素により示される形状と最も一致する領域を特徴要素として抽出する。特徴要素の抽出方法は、画像処理で一般的に行われている方法を用いることができるため詳細な説明は省略する。類似度としては、どのような指標を用いても良いが、ユークリッド距離、相関係数等を用いることができる。第１処理部１５－１～第ｎ処理部１５－ｎの特徴要素抽出部２２は、抽出された特徴要素の位置を示す情報を、類似度とともに、対応付け部１６へ出力する。なお、本実施の形態では、地図データに基づいて各センサの模擬特徴要素を生成し、模擬特徴要素とセンサ画像から抽出された特徴要素とを比較しているが、これに限らず、各センサの特徴要素に基づいて地図データの特徴要素を模擬してもよい。この場合、各センサに対応する特徴要素と、各センサ画像データに基づいて生成された地図データの特徴要素の模擬データとの類似度が算出される。

また、第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、対応付け部１６から出力される、後述する座標変換情報に基づいて、局所変換パラメータを生成する。局所変換パラメータは、センサ情報に対応する座標系で表された特徴要素の位置すなわち座標値を、基準座標系における座標値に変換するための変換行列における各要素を示す。第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、さらに、局所変換パラメータを用いてセンサ画像を変換する処理、すなわち位置合わせ画像変換を実施する。第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、位置合わせ画像変換後のセンサ画像データを、地図整合情報として処理情報記憶部１３へ格納する。第１処理部１５－１～第ｎ処理部１５－ｎの動作の詳細については後述する。

本実施の形態の選択部である対応付け部１６は、地図情報および複数のセンサ情報のうちの１つを、位置合わせの基準とする基準データとして選択する。詳細には、対応付け部１６は、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれから出力される類似度と、処理情報記憶部１３に記憶されている特性情報とに基づいて、複数のセンサにそれぞれ対応する複数のセンサ情報の位置合わせにおける基準座標系を決定する。基準座標系は、基準データとして選択された地図情報またはセンサ情報の座標系である。対応付け部１６は、特徴要素抽出部１４によって抽出された特徴要素の位置を示す情報と、第１処理部１５－１～第ｎ処理部１５－ｎによって抽出された特徴要素の位置を示す情報とに基づいて、各センサに対応する座標変換情報を生成する。対応付け部１６は、各センサに対応する座標変換情報を対応する第１処理部１５－１～第ｎ処理部１５－ｎへそれぞれ出力する。座標変換情報は、基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを含む。対応付け部１６の動作の詳細については後述する。

解析部１７は、処理情報記憶部１３に格納されたセンサごとの、地図整合情報を用いて解析を行い、解析結果を処理情報記憶部１３に格納する。解析部１７が行う解析の一例は、観測データであるセンサ画像データを用いて災害の発生した箇所を抽出する処理であり、この処理は、例えば、災害発生の前後で変化した変化領域を抽出する処理である。解析部１７は、例えば、処理情報記憶部１３に記憶されている地図整合情報を用いて地球の表面の変化領域を抽出し、変化領域を示す変化領域情報を解析結果として出力する。地球の表面は、陸域の表面、海面、湖および河川の水面、地表に建設された建物を含む。また、解析部１７は、地球上の大気の変化領域を抽出してもよい。解析部１７は、例えば、災害発生前の地図整合情報と災害発生後の地図整合情報との差分に基づいて変化領域を抽出する。例えば、解析部１７は、地図整合情報のうちＳＡＲにより取得されたデータに基づいて、画素ごとの、輝度、散乱強度、標高などの差分を算出し、差分が閾値以上となる画素を抽出する。

解析部１７は、連続する画素で差分が閾値以上となっていれば、連続するこれらの画素に対応する部分を１つの変化領域とする。なお、センサ情報には、どの画素がどの位置に対応するかの情報が含まれているが、この情報は、例えば、画像ごとの、画素の位置とこの位置を基準に各画素の位置を算出するための情報とで構成される。どの画素がどの位置に対応するかの情報は、この形式に限定されず、どのような形式であってもよい。解析部１７は、差分が閾値以上となる画素を抽出した後に、上記の情報に基づいてこの画素に対応する位置を算出することにより、変化領域の位置を求めることができる。解析部１７は、変化領域の位置、すなわち差分が閾値以上となる画素の位置を、解析結果として出力する。一般に、変化領域は連続する複数の画素を含むので、画素によって差分が異なる場合には、複数の画素の平均値を変位量としてもよいし、最大値を変位量としてもよい。

また、解析部１７は、画素ごとに、変化すなわち差分を求めるための基準値である災害発生前に観測された情報のかわりに、これまでの測量結果、解析などにより算出された情報を基準情報として用いて差分を求めてもよい。また、ここでは、画素ごとに、輝度、散乱強度などを比較する例を示したが、これに限らず、センサ情報に標高が含まれる場合には、解析部１７は、過去に取得されたセンサ情報と、最新のセンサ情報との標高の差分を求め、差分が閾値以上となる部分を変化領域として求めてもよい。また、解析部１７は、過去に取得されたセンサ情報から求められた地図整合情報と、最新のセンサ情報から求められた地図整合情報との両方から、画像処理により、建物、川、道路などの輪郭を抽出し、これらの輪郭の差分を求めてもよい。

なお、解析部１７は、変化領域の閾値を機械学習によって求める等のように、センサ画像データを入力とする機械学習により解析を行ってもよい。

以上の説明では、なんらかの基準情報と比較して差分を求めることにより変化領域を抽出したが、変化領域の抽出は、基準情報を用いなくてもよい。例えば、センサ情報が赤外光を検出するセンサにより得られた赤外画像である場合、画素に対応する温度が閾値以上となる領域を、火災、または火山活動などによる変化領域として抽出することができる。解析部１７は、赤外画像に限らず、センサ情報として得られた画像の、画素に対応する輝度、散乱強度などが、あらかじめ定められた範囲を逸脱している領域を変化領域として抽出してもよい。または、温度が閾値以上となる面積が一定値以上である場合に、当該領域を変化領域として抽出してもよい。または、周囲の平均的な温度より一定値以上高い領域を変化領域として抽出してもよい。このように、変化領域は、なんらかの現象により過去の状態から変化が生じた領域、または周囲との間で差が生じている領域である。なお、変化領域の算出方法は、これらの例に限らず、一般的に用いられるどのような方法を用いてもよい。

また、解析部１７は、解析として、浸水発生後の浸水領域を抽出する処理を行ってもよい。さらに、解析部１７は、浸水領域の面積を計測する処理であってもよい。浸水領域の面積を計測することにより、災害の被害の程度の把握に役立てることができる。また、同様に、解析部１７は、変化領域の面積を計測してもよい。

データ処理装置１が行う解析の内容は、これに限定されず、例えば、災害につながると予想される異常が発生している領域を抽出する処理、作物の生育状況の把握、交通渋滞の状況の把握、商業施設の駐車場における車両の台数の把握等であってもよい。例えば、解析部１７は、複数の時点のセンサ情報を用いて、作物の生育状況の変化、交通渋滞の状況の変化等を解析してもよい。

災害につながると予想される異常が発生している領域を抽出する処理は、上述した変化領域の抽出と同様に、例えば、基準となる過去のセンサ情報と、新たに取得されたセンサ情報との差分が閾値以上となる領域を異常が発生している領域として抽出する処理である。作物の生育状況を把握するための処理は、例えば、可視光の複数の波長で撮像されたセンサ情報を用いて、色を求めることにより作物の生育を判断する処理である。交通渋滞の状況を把握するための処理、商業施設の駐車場における車両の台数を把握するための処理は、例えば、撮像された画像を画像処理することによって車両を抽出し、車両の数を計数する処理である。なお、解析の具体的処理内容は上述した例に限定されず、どのような処理方法が用いられてもよい。以下では、一例として、解析の内容が、災害発生の前後で変化した変化領域を抽出する処理である場合を主に説明する。

なお、データ処理装置１が、解析として災害の発生または災害につながる異常の発生を監視する処理を行う場合には、重点的に警戒すべき地域、例えば線状降水帯の発生しやすい地域等については、解析の対象地域として、常時、最新、センサ情報を取得して解析するようにしてもよい。また、データ処理装置１は、災害発生後に、災害の発生した地域を対象地域として、センサ情報を取得して解析するようにしてもよい。また、特定の自治体向けの防災システムなどに適用する場合には、当該自治体に対応する地域を対象地域として常時、最新、センサ情報を取得して解析するようにしてもよい。

表示処理部１８は、処理情報記憶部１３に格納されたセンサごとの、位置合わせ画像変換後のセンサ画像データを重畳表示する。また、表示処理部１８は、処理情報記憶部１３に格納されたセンサごとの、位置合わせ画像変換後のセンサ画像データに、さらに、解析部１７による解析結果を強調表示して重畳してもよい。このように、表示処理部１８は、位置合わせ画像変換後のセンサ画像データを重畳することにより、視認性を改善することができる。例えば、ＳＡＲにより取得された画像データは標高が表現されているものの地表面、建造物等の色がわからない。表示処理部１８は、これらを重畳して表示することで視認性を改善することができる。また、表示処理部１８は、解析結果を強調表示することにより、視認性を改善することができる。

情報出力部３１は、処理情報記憶部１３に格納された情報を読み出して外部のシステム等へ出力する。例えば、情報出力部３１は、位置合わせ画像変換後のセンサ画像データ、解析結果等を、外部のシステムへ出力する。これにより、外部のシステムがこれらを表示したり、処理したりすることができる。調整部３２は、運用者等からの入力に基づいて、または他の装置から受信したデータに基づいて、データ処理装置１における補正処理、位置合わせ処理等の処理に用いるパラメータ等を調整する。例えば、データ処理装置１は、各センサの補正を行うための情報を観測情報として取得するが、より高精度な補正のために、補正において用いるパラメータを変更することが望ましい場合もある。このようなときには、運用者等がデータ処理装置１へ入力することにより、または他の装置からデータを送信することにより、変更内容をデータ処理装置１へ指示する。調整部３２は、運用者等からの入力に基づいて、または他の装置から受信したデータに基づいて、補正において用いるパラメータを変更する。また、位置合わせ処理では、後述するように、評価項目、重み、評価式等が定められるがこれらを変更することが望ましい場合もある。調整部３２は、補正において用いるパラメータと同様に、運用者等からの入力に基づいて、または他の装置から受信したデータに基づいて、評価項目、重み、評価式等を変更する。また、運用者等が、位置合わせ処理の結果、解析結果等を確認した後で、これらの結果に応じてパラメータの調整を要すると判断した場合に、上記のように変更内容をデータ処理装置１へ指示し、調整部３２がこれに基づいて調整を行ってもよい。また、調整部３２は、模擬特徴要素を生成する際のパラメータを調整してもよい。

次に、データ処理装置１のハードウェア構成について説明する。データ処理装置１は、コンピュータシステムにより実現される。図２は、本実施の形態のデータ処理装置１を実現するコンピュータシステムの構成例を示す図である。図２に示すように、このコンピュータシステムは、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５と出力部１０６とを備え、これらはシステムバス１０７を介して接続されている。

図２において、制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）等である。制御部１０１は、本実施の形態のデータ処理方法が記述されたデータ処理プログラムを実行する。入力部１０２は、たとえばキーボード、マウス等で構成され、コンピュータシステムのユーザが、各種情報の入力を行うために使用する。記憶部１０３は、ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）等の各種メモリおよびハードディスク等のストレージデバイスを含み、上記制御部１０１が実行すべきプログラム、処理の過程で得られた必要なデータ等を記憶する。また、記憶部１０３は、プログラムの一時的な記憶領域としても使用される。表示部１０４は、ＬＣＤ（Liquid Crystal Display：液晶表示パネル）等で構成され、コンピュータシステムのユーザに対して各種画面を表示する。通信部１０５は、通信処理を実施する通信回路等である。通信部１０５は、複数の通信方式にそれぞれ対応する複数の通信回路で構成されていてもよい。出力部１０６は、プリンタ、外部記憶装置等の外部の装置へデータを出力する出力インタフェイスである。なお、図２は、一例であり、コンピュータシステムの構成は図２の例に限定されない。

ここで、本実施の形態のデータ処理装置１の処理が記述されたデータ処理プログラムが実行可能な状態になるまでのコンピュータシステムの動作例について説明する。上述した構成をとるコンピュータシステムには、たとえば、図示しないＣＤ（Compact Disc）－ＲＯＭドライブまたはＤＶＤ（Digital Versatile Disc）－ＲＯＭドライブにセットされたＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭから、データ処理プログラムが記憶部１０３にインストールされる。そして、データ処理プログラムの実行時に、記憶部１０３から読み出されたデータ処理プログラムが記憶部１０３の主記憶装置となる領域に格納される。この状態で、制御部１０１は、記憶部１０３に格納された第１プログラムに従って、本実施の形態のデータ処理装置１としての処理を実行する。

なお、上記の説明においては、ＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭを記録媒体として、データ処理装置１における処理を記述したプログラムを提供しているが、これに限らず、コンピュータシステムの構成、提供するプログラムの容量等に応じて、たとえば、通信部１０５を経由してインターネット等の伝送媒体により提供されたプログラムを用いることとしてもよい。

図１に示したセンサ情報取得部１１および地図情報取得部１２は、図２に示した制御部１０１および通信部１０５により実現される。図１に示した特徴要素抽出部１４、第１処理部１５－１～第ｎ処理部１５－ｎ、対応付け部１６および解析部１７は、図２に示した制御部１０１により実現される。図１に示した処理情報記憶部１３は、図２に示した記憶部１０３の一部である。図１に示した表示処理部１８は、図２に示した制御部１０１および表示部１０４により実現される。図１に示した情報出力部３１は、図２に示した通信部１０１または出力部１０６により実現される。図１に示した調整部３２は、図２に示した入力部１０２および制御部１０１により実現される。

次に、本実施の形態の動作の詳細について説明する。図３は、本実施の形態のデータ処理装置１における全体処理の流れの一例を示す図である。図３に示すように、まず、地図情報取得部１２による地図情報の取得（ステップＳ１１）と、センサ情報取得部１１による各センサに対応するセンサ情報の取得（ステップＳ２１，Ｓ３１，Ｓ４１，Ｓ５１）が行われる。これらの情報は、上述したように、処理情報記憶部１３に格納される。図３では、センサの数であるｎが４である例を示している。図３に示した例では、４つのセンサは、ＳＡＲ、可視センサ、赤外センサおよびＬＩＤＡＲである。ＳＡＲ、可視センサおよび赤外センサは、人工衛星に搭載され、ＬＩＤＡＲは車両に搭載される。以下、ＳＡＲに対応するセンサ情報をＳＡＲデータとも呼び、可視センサに対応するセンサ情報を可視センサデータとも呼び、赤外センサに対応するセンサ情報を赤外センサデータとも呼び、ＬＩＤＡＲに対応するセンサ情報をＬＩＤＡＲデータとも呼ぶ。

以下では、データ処理装置１が対応する複数のセンサの一例として、これらの４つのセンサを例に挙げて説明するが、センサの数、センサの種類およびセンサの搭載場所はこれらに限定されない。また、データ処理装置１が対応する複数のセンサには、搭載位置または観測方向の異なる、同一の種類の２つ以上のセンサが含まれていてもよい。ここでは、第１処理部１５－１がＳＡＲに対応する処理を行い、第２処理部１５－２が可視センサに対応する処理を行い、第３処理部１５－３が赤外センサに対応する処理を行い、第４処理部１５－４がＬＩＤＡＲに対応する処理を行うとする。

第１処理部１５－１～第４処理部１５－４の補正部２１は、処理情報記憶部１３に記憶されているセンサ情報に基づいて、センサ固有の校正、補正などを実施してセンサ画像データを生成し、オルソ補正が必要なセンサに対応する場合にはセンサ画像データにオルソ補正を行う（ステップＳ２２，Ｓ３２，Ｓ４２，Ｓ５２）。以下、ＳＡＲに対応するセンサ画像データをＳＡＲ画像データとも呼び、可視センサに対応するセンサ画像データを可視画像データとも呼び、赤外センサに対応するセンサ画像データを赤外画像データとも呼び、ＬＩＤＡＲに対応するセンサ画像データを３次元点群データとも呼ぶ。

センサ情報には、被観測位置を算出するための観測情報が含まれる。観測情報は、例えば、センサの位置、向き、画角範囲などの情報を含む。例えば、センサが人工衛星に搭載される場合には、観測情報は、人工衛星の軌道情報、人工衛星の姿勢情報、オフナディア角などの情報を含む。図４は、本実施の形態のセンサ情報の構成例を示す図である。図４に示した例では、センサ情報は、撮像日時と、観測情報と、センサ観測データを含む。センサによって取得されたデータまたは当該データが処理されることにより得られたデータである。撮像日時は、センサによる観測日時である。観測情報は、撮像位置情報および撮像角度情報を含む。撮像位置情報はセンサの位置を示す情報であり、撮像角度情報は、センサの視野方向、すなわちセンサの向きを示す情報である。撮像位置情報は、センサが人工衛星、航空機、ドローン、車両等の移動体に搭載されたセンサである場合には、搭載されたこれら移動体の位置を示す情報である。撮像角度情報は、センサが移動体に搭載されたセンサには、移動体の姿勢に関する情報と、移動体を基準としたセンサの視野方向とが含まれていてもよい。

図示は省略するが、センサ情報には、上述した観測情報以外の、センサ固有の校正、補正に必要な他の情報も含まれていてもよい。または、これらの他の情報はセンサ情報とは別に提供され、データ処理装置１がセンサ情報とは別に取得しておいてもよい。また、センサが移動体に搭載される場合、観測情報に、移動体の位置情報の精度、移動体の姿勢情報の精度、センサの視野方向の精度を示す情報等が含まれていてもよい。センサ情報の内容は、センサの種類、搭載場所によって異なり、図４に示した例に限定されない。第１処理部１５－１～第４処理部１５－４は、観測情報、および必要な場合には上記の他の情報に基づいて、センサ固有の校正、補正などを実施してセンサ画像データを生成することができる。

なお、図３では、ＬＩＤＡＲに関しては、センサ情報すなわちＬＩＤＡＲデータから３次元点群データを生成する処理が記載されているが、補正等が必要な場合には、３次元点群データを生成する際に補正も行われる。

ＳＡＲ画像データでは色はついておらず、分解能は可視センサに比べると低いが雲があっても地表面を観測することができ夜間観測することができる。また、ＳＡＲのセンサ情報を用いてインタフェロメトリ処理を行うことにより、標高を算出することも可能である。また、３次元点群データから生成された画像は、観測範囲すなわち撮像範囲は限られているものの精密な画像を取得することができる。また、３次元点群データからは、標高についても高精度に求めることができる。また、赤外画像データは夜間でも取得できる。また、赤外画像データからは地表面の温度を得ることができる。

このように、センサの種類によってそれぞれ特性が異なっている。したがって、複数のセンサのセンサ情報を用いると、相補的な結果が得られると期待される。例えば、上述したように、各センサによって得られる画像の特性が異なるので、これらを重ねあわせて表示することで、地表面の状態をより把握しやすくなる。しかし、各センサは、観測方法、搭載場所等が異なっているので、センサ固有の補正を行っただけでは、重ねあわせた際に位置ずれが生じる可能性がある。また、例えば、車両に搭載されたＬＩＤＡＲは、観測の精度は高いものの観測する範囲が限られる。このため、ＬＩＤＡＲの観測データを用いて、ＬＩＤＡＲより観測範囲の広いＳＡＲの観測データを補正すれば、広い範囲にわたって高精度な標高等を求めることができる。しかし、ＬＩＤＡＲの観測データを用いて、ＬＩＤＡＲより観測範囲の広いＳＡＲの観測データを補正する際に、これらのデータ間の位置合わせの精度が低いと、高精度な標高等を求めることができない。以上のことから、複数のセンサのセンサ画像データを高精度に位置合わせすることが望まれる。

そこで、本実施の形態では、基準とする地上の対象物である基準対象物を選択し、選択した基準対象物に対応する領域を特徴要素として、地図情報およびそれぞれのセンサ画像データから抽出する。そして、地図情報およびそれぞれのセンサ画像データから抽出された特徴要素が同一の位置に対応しているとみなして、センサ間の位置合わせを実施する。このとき、一般には、地図情報の位置の精度は高いため、地図情報を基準として位置合わせを実施することにより、高い精度の位置合わせを行うことが可能である。一方、地図情報は、地図情報の作成時には精度が高いものの、時間の経過とともに、建物の建設、災害の発生、自然変化等により実際とは異なる可能性が高くなる。これに対して、センサは実際に近い状態を観測することができる。したがって、条件によっては地図情報よりセンサにより取得されたデータの方が、精度が高いことも考えられる。このため、本実施の形態では、地図情報と各センサに対応するセンサ情報とのなかから、精度が高いと期待されるものを選択して、当該センサ情報の座標系を基準座標系とすることにより、より高精度な位置合わせを実現する。以下に述べるように、図３に示したステップＳ１２，Ｓ２３～Ｓ２５，Ｓ３３～Ｓ３５，Ｓ４３～Ｓ４５，Ｓ５３～Ｓ５５の処理を実施する。

図３の説明に戻る。特徴要素抽出部１４は、処理情報記憶部１３に記憶されている地図情報に基づいて、模擬特徴要素を生成する（ステップＳ１２）。具体的には、特徴要素抽出部１４は、上述したように、地図情報から特徴要素を抽出し、特徴要素に基づいてセンサごとの模擬特徴要素を生成する。特徴要素抽出部１４は、生成した模擬特徴要素を当該模擬特徴要素に対応する第１処理部１５－１～第４処理部１５－４に出力する。また、特徴要素の位置を示す情報を、対応付け部１６へ出力する。

第１処理部１５－１～第４処理部１５－４の特徴要素抽出部２２は、特徴要素抽出部１４から受け取った模擬特徴要素を用いて、センサ画像データから特徴要素を抽出する（ステップＳ２３，Ｓ３３，Ｓ４３，Ｓ５３）。具体的には、第１処理部１５－１～第４処理部１５－４のそれぞれの特徴要素抽出部２２は、特徴要素抽出部１４から受け取った模擬特徴要素を用いて、センサ画像データから、模擬特徴要素により示される形状と最も一致する領域を特徴要素として抽出する。また、第１処理部１５－１～第４処理部１５－４のそれぞれの特徴要素抽出部２２は、抽出した特徴要素と模擬特徴要素との類似度を算出し、抽出された特徴要素の位置を示す情報を、類似度とともに、対応付け部１６へ出力する。なお、特徴要素抽出部１４により抽出された特徴要素の位置を示す情報と、第１処理部１５－１～第４処理部１５－４のそれぞれの特徴要素抽出部２２により抽出された特徴要素の位置を示す情報とは、同じ定義の座標値で示されているとする。これらが同じ定義の座標値で示されていないときには、第１処理部１５－１～第４処理部１５－４のそれぞれの特徴要素抽出部２２が、例えば、地図情報における座標値と同じ定義の座標値となるように座標変換を行う。なお、ここでいう座標値の定義とは、日本測地系における緯度経度および標高、または世界測地系における緯度経度および標高、国際地球基準座標系における３次元直交座標といった定義である。

対応付け部１６は、特徴要素の対応付けを行う（ステップＳ６１）。詳細には、対応付け部１６は、第１処理部１５－１～第４処理部１５－４のそれぞれから受け取った類似度と、処理情報記憶部１３に記憶されている特性情報とに基づいて、複数のセンサにそれぞれ対応する複数のセンサ情報の位置合わせにおける基準座標系を決定する。基準座標系は、地図情報および各センサ画像データのなかで最も精度が良いと推定される情報に対応する座標系であり、ステップＳ６１の処理で決定される。そして、対応付け部１６は、特徴要素抽出部１４によって生成された各センサの模擬特徴要素と、第１処理部１５－１～第４処理部１５－４のそれぞれから出力される特徴要素とに基づいて、各センサに対応する座標変換情報を生成する。対応付け部１６は、各センサに対応する座標変換情報を対応する第１処理部１５－１～第４処理部１５－４へそれぞれ出力する。対応付け部１６の動作の詳細については後述する。

第１処理部１５－１～第４処理部１５－４のそれぞれの位置合わせ部２３は、対応付け部１６から受け取った座標変換情報に基づいて、センサ画像データにおける特徴要素の位置を示す座標値を基準座標系における座標値に変換するための局所変換パラメータを生成する（ステップＳ２４，Ｓ３４，Ｓ４４，Ｓ５４）。第１処理部１５－１～第４処理部１５－４のそれぞれの位置合わせ部２３は、さらに、局所変換パラメータを用いてセンサ画像の位置を基準座標系における座標値に変換する処理、すなわち位置合わせ画像変換を実施する（ステップＳ２５，Ｓ３５，Ｓ４５，Ｓ５５）。局所変換パラメータは、特徴要素に関して局所的に位置合わせを行って得られる変換パラメータであるため、局所変換パラメータを用いて特徴要素だけを基準座標系に変換する場合には、高精度に位置合わせができる。一方、センサ画像データのうち特徴要素以外の部分については、当該局所変換パラメータを用いて座標変換を行うことにより、高精度に位置合わせができるとは限らない。特に、人工衛星に搭載されたセンサの場合、観測範囲が広いため、１つの画像内の位置によって適切な変換パラメータが異なる可能性がある。このため、データ処理装置１は、１つの画像内で複数の特徴要素を用いて、複数の局所変換パラメータを求め、特徴要素間の画像データに関しては局所変換パラメータを補間して用いる等の方法により座標変換を行ってもよい。１つの画像内で変換パラメータが変化しないと想定される場合には、局所変換パラメータを用いてセンサ画像データの座標変換を行ってもよい。

第１処理部１５－１～第４処理部１５－４のそれぞれの位置合わせ部２３は、位置合わせ画像変換後、それぞれ対応するデータを保存する（ステップＳ２６，Ｓ３６，Ｓ４６，Ｓ５６）。詳細には、第１処理部１５－１～第４処理部１５－４は、位置合わせ画像変換後のセンサ画像データを、地図整合情報として処理情報記憶部１３へ保存する。

表示処理部１８は、処理情報記憶部１３に格納されたセンサごとの、位置合わせ画像変換後のセンサ画像データを用いて視認性改善処理を実施する（ステップＳ６２）。視認性改善処理は、例えば複数のセンサにそれぞれ対応する複数のセンサ画像データを重畳して表示するための表示データを生成する処理、処理情報記憶部１３に記憶されている解析結果を、複数のセンサ画像データのうちの少なくとも１つに、強調して重畳する表示データを生成する処理である。表示処理部１８は、視認性改善処理により生成された表示データを表示することにより重畳表示を実施する（ステップＳ６４）。ここで、重畳表示は、上述したように、例えば、複数のセンサ画像データの重畳表示、解析結果と複数のセンサ画像データのうちの少なくとも１つとの重畳表示を示す。なお、ここでは、重畳表示を行う例を説明したが、表示処理部１８は、解析結果だけを表示するようにしてもよい。

解析部１７は、災害検知処理を実施する（ステップＳ６３）。災害検知処理は、例えば、上述した変化領域を抽出する処理である。ここでは、解析部１７が行う解析として災害検知処理を例に挙げたが、上述したように、解析部１７が行う解析は、災害検知処理に限定されない。解析部１７は、解析結果を処理情報記憶部１３に記憶する。

なお、図１に示した例では、特徴要素抽出部１４と第１処理部１５－１～第ｎ処理部１５－ｎの特徴要素抽出部２２とが個別に設けられているが、これら全体を１つの特徴要素抽出部と考えることができる。すなわち、特徴要素抽出部１４と第１処理部１５－１～第ｎ処理部１５－ｎの特徴要素抽出部２２とは、対象地域の地図を含むデータである地図情報と、複数の観測データとのなかから、対象地域内の基準対象物に対応する部分である特徴要素を抽出する特徴要素抽出部を構成する。複数の観測データは、複数のセンサによって対象地域がそれぞれ観測されることによって得られる。また、上述した例では、模擬特徴要素を用いて各センサに対応する特徴要素を抽出したが、地図情報および各センサ情報から共通の基準対象物に対応する特徴要素を抽出する方法は、どのような方法を用いてもよく上述した例に限定されない。

また、第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３を、全体として１つの位置合わせ部と考えることができる。すなわち、第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、複数の観測データのそれぞれについて、観測データに対応する特徴要素の位置を、基準データにおける特徴要素の位置と一致させるように、当該観測データの位置合わせを行う位置合わせ部を構成する。

次に、本実施の形態の対応付け部１６における特徴要素の対応付け処理、すなわち上述したステップＳ６１の処理の詳細について説明する。図５は、本実施の形態の特徴要素の対応付け処理手順の一例を示すフローチャートである。図５に示すように、対応付け部１６は、センサを識別するための番号を示す変数ｉを１に設定する（ステップＳ７１）。ここでは、赤外センサ、可視センサ、ＳＡＲおよびＬＩＤＡＲを、それぞれ１番目、２番目、３番目および４番目のセンサとする。

対応付け部１６は、ｉ番目のセンサの評価項目ごとの評価値を取得する（ステップＳ７２）。上述した通り、センサの種類、センサの搭載場所等によってセンサの特性が異なる。また、センサ画像データの校正、補正レベルによってもセンサ画像データの精度は異なる。そこで、本実施の形態では、センサ画像データの精度の高さを示す評価値を評価項目ごとに求める。

評価項目としては、以下が挙げられる。
（１）類似度：各センサ画像データから抽出された特徴要素と模擬特徴要素との類似度
（２）測定精度：各センサの観測における測定精度
（３）位置精度：各センサの位置を示す情報の精度
（４）指向精度：各センサの向きを示す情報の精度
（５）搭載場所：地上に固定、人工衛星に搭載、車両に搭載といった各センサの搭載場所
（６）補正、校正レベル：高精度な地上の基準物、例えばＧＣＰ、高精度な計測機器で測量された自然造形物等を用いて、高精度に補正されたものであるか等
（７）撮像時間帯等のその他の条件：夜間に観測可能なセンサであるか、雲があっても観測可能なセンサであるか等

上記の評価項目のうち、（２）～（５）および（７）は、基本的には観測ごとに変わるものではなく、センサの仕様と搭載場所等により決まる。したがって、これらについては、センサごとにあらかじめ評価値を定めて特性情報として処理情報記憶部１３に格納しておく。一般に、高度によって撮像範囲と解像度はトレードオフの関係になる。一般に、センサの仕様が同程度である場合、搭載される移動体の高度が高いと、広範囲で低解像度のデータが得られ、高度が低いと、狭範囲で高解像度のデータが得られる。高度約３～４．５ｋｍの航空機に搭載されたセンサで撮像した場合、例えば１０ｋｍ×１０ｋｍ程度が撮像範囲となり、高度７００ｋｍの人工衛星に搭載されるセンサで観測した場合、例えば程度７０ｋｍ×３５ｋｍが観測範囲となる。

ただし、センサによっては、（２）～（４）が変化する可能性があるので、（２）～（４）が変化する可能性がある場合には、センサ情報にこれらを示す情報が含まれていてもよいしセンサ情報とは別にこれらの情報をデータ処理装置１が取得してもよい。

図６は、本実施の形態の特性情報の一例を示す図である。図６に示した例では、特性情報は、上述した（２）測定精度、（３）位置精度、（４）指向精度、（５）搭載場所および（７）撮像時間帯等のその他の条件（図６では「その他」と記載）、を含む。また、図６に示すように、特性情報は、地図情報に関する情報も含む。これは、本実施の形態では、地図情報と各センサ情報の精度を比較するために、地図情報についても評価値が算出されるためである。図６に示すように、地図情報および各センサのそれぞれについて、評価項目ごとに評価値が予め定められる。これらの情報は、適宜更新される。例えば、（２）～（４）はセンサの運用開始後に変更されたり、または運用モードによって異なったりする場合もあるため、変更された場合には、処理対象のセンサ情報の観測日時に対応する値に応じて評価値が設定される。また、上述したように、これらの情報がセンサ情報に含まれていてもよく、これらの情報がセンサ情報に含まれている場合には、対応付け部１６は、センサ情報に含まれている情報に基づいてこれらの評価項目の評価値を決定する。

（６）補正、校正レベルについては、センサにより観測データが取得された後の処理に依存する。（６）補正、校正レベルには、高さのあるものの補正レベルが含まれていてもよい。例えば、高さのあるものを観測したＳＡＲの観測データは、レイオーバ、レーダシャドウなどの歪を含む。したがって、これらの歪の補正がされているか否かにより観測データの信頼度が異なる。また、ＳＡＲ以外のセンサの観測データについても、高さのあるものをオルソ補正しても、オルソ補正で用いられる測定値の測定精度によっては、例えば、高さのある壁面が傾いたデータになることがある。このような、高さのあるものの補正に関する補正精度に応じたレベルはデータの信頼度に影響する。データ処理装置１が、補正、校正が行われた後のセンサ情報を取得する場合には、当該センサ情報の提供時に補正、校正レベルに関する情報も提供されるので、この情報に基づいて、対応付け部１６が評価値を決定する。補正、校正をデータ処理装置１が行う場合には、データ処理装置１の各第１処理部１５－１～第ｎ処理部１５－ｎにおいて行われた補正、校正のレベルを各第１処理部１５－１～第ｎ処理部１５－ｎが対応付け部１６へ通知し、対応付け部１６が、通知された情報に基づいて評価値を決定する。なお、第１処理部１５－１～第ｎ処理部１５－ｎが行う補正、校正レベルが予め定められている場合には、（６）補正、校正レベルの評価値についても、特性情報に含めておいてもよい。取得するセンサ情報の補正、校正レベルが予め定められている場合にも、同様に、（６）補正、校正レベルの評価値を、特性情報に含めておいてもよい。

また、（１）類似度については、対応付け部１６は、各第１処理部１５－１～第ｎ処理部１５－ｎから受け取った類似度に基づいて評価値を決定する。なお、以下では、精度が高いほど評価値が大きくなるように評価値が設定される例を説明するが、精度が高いほど評価値が小さくなるように評価値が設定されてもよい。後者の場合、後述する総合評価値に基づく基準座標系の選択では、総合評価値が低いものが優先して選択される。

次に、評価値の設定例について説明する。（１）類似度については、類似度が高いほど評価値が大きくなるように評価値が設定される。（２）測定精度、（３）位置精度、および（４）指向精度については、精度が高いほど評価値が大きくなるように評価値が設定される。（５）搭載場所については、安定した場所に搭載されているセンサほど評価値が大きくなるように評価値が設定される。例えば、地上に固定されているセンサの評価値が最も大きくなるように評価値が設定され、以下、車両に搭載されているセンサ、航空機または人工衛星に搭載されているセンサ、ドローンに搭載されているセンサの順に評価値が大きくなるように評価値が設定される。

（６）補正、校正レベルについては、高精度な補正が行われているほど評価値が大きくなるように評価値が設定されている。（７）撮像時間帯等のその他の条件については、夜間に観測ができない可視センサ等である場合、撮像日時が夜間である場合には、後述する総合評価値を０とする。なお、夜間であるかどうかについては、データ処理装置１が日の出および日の入り時刻を取得して、対応付け部１６が撮像日時と取得したこれらの時刻とに応じて判定してもよいし、季節ごとに、日の出および日の入り時刻をあらかじめ定めておいてもよい。また、雲があると地上を観測できない可視センサ、赤外センサ等である場合、別途取得した気象情報等に基づいて対象地域において雲が多いと判断される場合に、評価値を低下させるという条件を定めておく。対応付け部１６は、評価値を低下させる場合、後述する総合評価値から一定値を減算してもよいし、０以上かつ１未満の一定値を総合評価値に乗算してもよい。

図５の説明に戻る。対応付け部１６は、ｉ番目のセンサの総合評価値を算出する（ステップＳ７３）。詳細には、対応付け部１６は、ステップＳ７２で取得した、ｉ番目のセンサに関する評価項目ごとの評価値に基づいて総合評価値を算出する。対応付け部１６は、例えば、各評価項目の評価値の総和を総合評価値としてもよいし、各評価項目を重みづけ加算したものを総合評価値としてもよい。なお、重みづけ加算で用いる重みは負の値を含んでいてもよい。

対応付け部１６は、ｉ＝ｎであるか否かを判断する（ステップＳ７４）。ｉ＝ｎである場合（ステップＳ７４ Ｙｅｓ）、対応付け部１６は、地図情報の総合評価値を算出する（ステップＳ７５）。対応付け部１６は、詳細には、例えば、特性情報に基づいて総合評価値を算出する。

図６に示したように、地図情報に関しても、特性情報として、地図情報の精度に応じて、各評価項目の評価値を設定しておく。地図情報の（２）測定精度の評価値については、地図情報の精度を用いて評価値を定めればよい。地図情報の、（３）位置精度、（４）指向精度および（５）搭載場所については、センサのように、位置および指向方向を考慮する必要がないため、一般にはセンサの評価値より大きな評価値を設定しておく。地図情報の（６）補正、校正レベルについても、地図の種類により予め定められており、一般にはセンサ情報より精度が高いため、センサの評価値より大きな評価値を設定しておく。地図情報の（１）類似度については、例えば、各センサの類似度の平均値を用いるようにしてもよいし、各センサの類似度のうち最も高い類似度と同じ評価値を用いるようにしてもよいし、あらかじめ評価値を定めておいてもよい。

地図情報は、作成されてから一定の時間が経過していると、災害、工事、その他によって、実際の状態と異なる可能性が高くなる。このため、地図情報の（７）撮像時間帯等のその他の条件については、作成されてから撮像時間までの経過時間が長いほど総合評価値が低くなるように設定しておく。例えば、対応付け部１６は、上述した経過時間を一定値で割った値を総合評価値に乗算するようにしてもよいし、経過時間に応じて段階的に定めた係数を総合評価値に乗算するようにしてもよい。また、大規模災害が発生した後、大規模工事が開始された後等には、地図情報が実際と異なっている可能性が高くなるので、対応する地域の地図情報の総合評価値を、下げるように変更してもよい。各評価値の変更は、運用者による入力により行われてもよいし、通信回線を介して外部の装置から行われてもよい。

例えば、地域ごとに異なる種類の地図情報が用いられる場合等には、対象地域に応じて用いる地図情報が選択される。この場合、地図情報の種類によって、精度が異なる場合には、地図情報の種類に応じて、評価項目ごとの評価値を定めておく。

通常、ほとんどの特徴要素は、地図情報を基準情報として用いて位置合わせを行うことになるが、災害による変位、工事による変位等があるエリアの位置合わせが、これらの変位の生じる前の地図情報を基準に行われると変位を無くすような画像変換が行われる可能性がある。このため、災害による変位、工事による変位を無くすような画像変換が行われることがないよう評価項目、重み、評価式は設定される。災害による変位、工事による変位等があるエリアの位置合わせが、例えば、災害による変位、工事による変位が発生して以降に、撮像されたセンサの中で、信頼度が最も高いセンサ画像データを基準に各センサ画像データの位置合わせが行われるように、評価項目、重み、評価式が設定される。この際、地図情報すなわち３次元地図データについては、信頼度が最も高いセンサ画像データを基準とした位置合わせを行ってもよいし行わなくてもよい。地図情報も、信頼度が最も高いセンサデータを基準に位置合わせを行う場合、データ処理装置１は、特徴要素に紐づけされた、建造物、線路、河川などの地図要素名称情報との対応をはかることができる。これにより、データ処理装置１は、災害、工事等による変位が発生した地図要素がどのようなものであるかの判断を行うことができ、解析に活用することができる。

図５の説明に戻り、ステップＳ７５の後、対応付け部１６は、地図情報およびセンサ情報のうち最も総合評価値の大きいものの座標系を基準座標系として選択し、基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力し（ステップＳ７６）、特徴要素対応付け処理を終了する。ステップＳ７４でＮｏの場合には、対応付け部１６は、ｉに１を加算し（ステップＳ７７）、ステップＳ７２からの処理を繰り返す。

ステップＳ７６では、例えば、地図情報の座標系が基準座標系として選択された場合、地図座標から抽出された特徴要素の位置を示す座標値が基準座標系における特徴要素の座標値となる。また、対応付け部１６は、第１処理部１５－１～第ｎ処理部１５－ｎからそれぞれ取得した各センサの座標系における特徴要素の座標値を、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれに出力する。一方、例えば、上述したように、センサが４つであり、基準座標系として４番目のセンサであるＬＩＤＡＲの３次元点群データの座標系が選択されたとする。この場合、対応付け部１６は、対応する第４処理部１５－４から取得した３次元点群データから抽出された特徴要素の座標値を、基準座標系における特徴要素の座標値として、第１処理部１５－１～第４処理部１５－４へ出力する。そして、対応付け部１６は、第１処理部１５－１～第４処理部１５－４からそれぞれ取得した各センサの座標系における特徴要素の座標値を、第１処理部１５－１～第４処理部１５－４のそれぞれに出力する。

センサ情報が人工衛星、ドローン等により搭載されたセンサだけのものでありかつ地図情報が新しいものである場合には、総合評価値は、一般には、地図情報が最も大きくなる。一方で、センサ情報に、車両に搭載されたＬＩＤＡＲ等の高精度に観測ができるセンサのセンサ情報が含まれる場合、地図情報が古いまたは地図情報の作成後に大規模災害等が発生した場合には、地図情報の総合評価より総合評価値の大きなセンサ情報が存在する可能性もある。本実施の形態では、地図情報および各センサに対応する各センサ情報の総合評価値が最も大きいものを基準とすることで、すなわち総合評価値が最も大きいものの座標系を基準座標系とする。そして、第１処理部１５－１～第ｎ処理部１５－ｎは、上述したように、基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを用いて、局所変換パラメータを算出する。そして、第１処理部１５－１～第ｎ処理部１５－ｎは、局所変換パラメータを用いてセンサ画像データを基準座標系に合わせる変換を行う。これによって、複数のセンサに対応する複数のセンサ画像データの高精度な位置合わせを実現することができる。

また、表示処理部１８は、対応付け部１６により基準座標系として地図情報の座標系以外が選択された場合には、地図情報を表示する際に、基準座標系に合わせるように地図情報を変換して表示してもよい。

以上のように、本実施の形態の選択部である対応付け部１６は、地図情報および複数の観測データのそれぞれについて、類似度を含む複数の評価項目ごとに精度の高さを含む評価値を算出し、評価項目ごとの評価値に基づいて総合評価値を算出する。そして、対応付け部１６は、地図情報および複数の観測データのそれぞれの総合評価値に基づいて基準データを選択する。

なお、特徴要素に対応する基準対象物は、災害の発生前後等で変化していないと予想されるものが選択されることが望ましいが、基準対象物として選定した建物、あるいは道路、線路、河川などは、倒壊、崩落、浸水などによって形状が変異している可能性がある。この場合、センサ画像データから特徴要素を抽出することが困難であり、無理に対応付けても正しい位置合わせはできない。このため、例えば、対応付け部１６は、信頼性が低い特徴要素に対応する類似度は評価項目から除外して評価値を算出する。特徴要素の信頼性が低いか否かの判断には、例えば模擬特徴要素との類似度を用いることができる。対応付け部１６は、例えば、類似度が閾値未満の場合には当該特徴要素の信頼度が低いと判断する。または、対象地域に関して、災害発生前の平常時に求めた局所変換パラメータを保存しておき、特徴要素の信頼性が低い場合には、対応付け部１６は対応付け処理を行わず、第１処理部１５－１～第ｎ処理部１５－ｎへ平時の局所変換パラメータを用いるよう指示する。そして、第１処理部１５－１～第ｎ処理部１５－ｎは、平時の局所変換パラメータを用いて位置合わせを行う。また、災害が発生していると思われる対象地域がセンサ情報の画像の境界を含む場合には、隣接する複数の画像をあわせた１つの画像である結合画像に対して位置合わせを実施する。

また、対象地域に関して、災害発生前の平常時に求めた局所変換パラメータを保存しておき、第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、同一の特徴要素に関して、平時の局所変換パラメータと算出した局所変換パラメータとの差分が閾値以上である場合に、災害等により特徴要素が変化したと判断してもよい。局所変換パラメータは、変換行列の各要素すなわち複数の係数であるため、局所変換パラメータの差分は、例えば、これら複数の係数のそれぞれの差分の総和、それぞれの差分の加重平均等である。この場合、第１処理部１５－１～第ｎ処理部１５－ｎの位置合わせ部２３は、平時の局所変換パラメータを用いて位置合わせを行う。

次に、本実施の形態の位置合わせにより得られた結果を利用した表示処理部１８における表示例を説明する。まず、本実施の形態の解析部１７による解析結果を地図情報に重ね合わせた表示画面の例を説明する。図７は、本実施の形態の解析部１７により抽出された変化領域を地図情報に重ね合わせた表示画面の一例を示す図である。図７に示した例では、解析部１７は、解析として、災害前後に変化した変化領域を抽出する処理を行っている。図７では、地図情報を示す地図情報画像２０１に、位置合わせが行われた後のセンサ画像データを用いて抽出された変化領域を示す変化領域画像２０２が重畳表示されている。また、本実施の形態では、高精度に位置合わせが行われたセンサ画像データを用いて変化領域が算出されているため、地図情報と重畳した際の変化領域と地図情報との位置ずれを抑制することができる。これにより、センサ画像データの利用者が、変化領域の位置を誤って認識するのを抑制することができる。

図８は、本実施の形態の解析部１７により算出された変位量を地図情報に重ね合わせた表示画面の一例を示す図である。図８に示した例では、図７に示した例と同様に解析部１７は、解析として災害前後に変化した変化領域を抽出する処理を行っている。図８に示した例では、さらに解析部１７は、各箇所の変位量についても算出している。図８では、地図情報を示す地図情報画像２０３に、位置合わせが行われた後のセンサ画像データを用いて抽出された変位量を示す第１領域画像２０４、第２領域画像２０５、第３領域画像２０６が重畳表示されている。図８に示した例では、ハッチングの密度によって変位量を示しており、変位量が最も多い領域を示す第３領域画像２０６がハッチングの密度が最も高い。第２領域画像２０５は、次に変位量が多い領域を示し、第１領域画像２０４は、次に変位量が多い領域を示す。図８に示した例では、ハッチングの密度が低くなる、すなわちハッチングが薄くなるにつれて変位量が少なくなる。なお、図８ではハッチングの密度で変位量が示されているが、これに限らず、色分け等により変位量が示されてもよい。なお、変位量は、等高線等により示されてもよい。

なお、表示処理部１８は、地図情報に、変化領域、変位量等の情報を重畳して表示する際に、表示用に生成された固定の地図データの上に機械的にこれらの情報を重畳表示しても良いし、地図データとこれらの情報とを別レイヤで表示してもよい。また、データ処理装置１は、例えば災害による変位を反映した地図データを生成して、上記の固定の地図データに重畳表示しても良いし、これらを別レイヤで表示しても良い。重畳表示の方法は、これらに限定されず、災害の発生エリアなどをわかりやすく伝えるのに適した表示が行われればよい。

次に、センサ画像データと解析結果を重畳表示する例を示す。図９は、本実施の形態の解析部１７により算出された浸水領域を可視センサ画像データに重ね合わせた表示画面の一例を示す図である。図９に示した例では、解析部１７は、解析として浸水領域を抽出する処理を行っている。図９では、可視センサ画像データを示すセンサ画像２０７に、位置合わせが行われた後のセンサ画像データを用いて抽出された浸水領域を示す浸水領域画像２０８が重畳表示されている。

図示は省略するが、同様に、可視センサ画像データを示すセンサ画像に、位置合わせが行われた後のセンサ画像データを用いて抽出された変化領域を示す変化領域画像が重畳表示されてもよい。変化領域画像は、視認しやすい形状、視認しやすい色付け等が施された画像として生成される。これにより、変化領域の視認性を向上させることができる。

以上示した表示例に限らず、表示処理部１８は、どのような組み合わせの重畳表示を行ってもよい。表示処理部１８は、複数のセンサに対応する複数のセンサ画像データを重畳表示してもよいし、これらと地図情報とを重畳表示してもよい。また、センサ画像データおよび地図情報のうち少なくとも１つと解析結果とを重畳表示してもよく、重畳表示される解析結果は上記の例に限定されない。

なお、以上、データ処理装置１が、解析部１７および表示処理部１８を備える例を説明したが、データ処理装置１が解析部１７および表示処理部１８を備えず、解析部１７および表示処理部１８の処理を別の装置で実施することとしてもよい。この場合、データ処理装置１は、位置合わせ後のセンサ画像データである地図整合情報を、別の装置へ送信する。または、データ処理装置１が地図整合情報を記録媒体に記録し、記録媒体によって、地図整合情報が別の装置へ提供されてもよい。

以上のように、本実施の形態では、地図情報と複数のセンサとのうち精度が高いと想定されるものの座標系を基準座標系として選択し、基準座標系を用いて複数のセンサ画像データの位置合わせを行うようにした。このため、複数のセンサによって得られたデータに対応する観測位置の位置合わせを高精度に行うことができる。

実施の形態２．
図１０は、本発明にかかる実施の形態２のデータ処理装置の構成例を示す図である。本実施の形態のデータ処理装置１ａは、実施の形態１の対応付け部１６のかわりに対応付け部１６ａを備え、処理情報記憶部１３がさらに局所変換パラメータを記憶する以外は、実施の形態１のデータ処理装置１と同様である。実施の形態１と同様の機能を有する構成要素は、実施の形態１と同一の符号を付して実施の形態１と重複する説明を省略する。

同じセンサで同じ運用モード、同じ指向方向で観測した基準対象物に関しては、災害等が生じていなければ、ほぼ同一の局所変換パラメータが算出されるはずである。本実施の形態では、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの位置合わせ部２３は、算出した局所変換パラメータを、センサ、運用モードおよび指向方向ごとに、処理情報記憶部１３に格納しておく。そして、対応付け部１６ａは、同一条件で観測されたセンサ情報に基づいて算出された局所変換パラメータの差分に基づいて、特徴要素に対応する基準対象物に変位が生じたか否かを判断する。局所変換パラメータは、変換行列の各要素すなわち複数の係数であるため、局所変換パラメータの差分は、例えば、これら複数の係数のそれぞれの差分の総和、それぞれの差分の加重平均等である。

図１１は、本実施の形態のデータ処理装置１ａにおける全体処理の流れの一例を示す図である。ステップＳ１１，Ｓ１２，Ｓ２１～Ｓ２３，Ｓ３１～Ｓ３３，Ｓ４１～Ｓ４３，Ｓ５１～Ｓ５３は実施の形態１と同様である。

ステップＳ２３，Ｓ３３，Ｓ４３，Ｓ５５の後、対応付け部１６ａは、地図情報の座標系を基準座標系とし基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力する（ステップＳ６１ａ）。すなわち、対応付け部１６ａは、地図情報を仮の基準データとして選択して、基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを第１処理部１５－１～第４処理部１５－４へ出力する。本実施の形態では、この仮の基準座標系を選択する処理と後述する局所変換パラメータの平時からの差分を用いた基準座標系の選択との両方が特徴要素対応付け処理（ステップＳ６１ａ）である。

第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの位置合わせ部２３は、実施の形態１と同様に、それぞれ局所変換パラメータを算出し（ステップＳ２４，Ｓ３４，Ｓ４４，Ｓ５４）、算出した局所変換パラメータを対応付け部１６ａへ出力する。すなわち、位置合わせ部２３は、観測データに対応する特徴要素の位置を、地図情報における特徴要素の位置と一致させる変換に用いられる局所変換パラメータを算出し、局所変換パラメータを対応付け部１６ａへ出力する。

対応付け部１６ａは、実施の形態１で述べた評価項目に加えて、さらに局所変換パラメータの平時からの差分を用いて、基準座標系を選択する（ステップＳ６１ａ）。そして、算出された局所変換パラメータである第１の局所変換パラメータと記憶されている平時の局所変換パラメータである第２の局所変換パラメータとの差分を対応付け部１６ａへ出力する。

図１２は、本実施の形態の対応付け部１６ａによる特徴要素対応付け処理の一例を示すフローチャートである。図１２に示すように、本実施の形態の選択部である対応付け部１６ａは、地図情報の座標系を基準座標系とし基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力する（ステップＳ８１）。これにより、上述したように、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれから、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれによって算出された局所変換パラメータを受け取る。

対応付け部１６ａは、ｉ＝１に設定し（ステップＳ８２）、第ｉ処理部から受け取った局所変換パラメータと平時の局所変換パラメータとの差分を算出する（ステップＳ８３）。対応付け部１６ａは、ｉ＝ｎであるか否かを判断し（ステップＳ８４）、ｉ＝ｎである場合（ステップＳ８４ Ｙｅｓ）、差分指数が閾値以上であるか否かを判断する（ステップＳ８６）。差分指数は、例えば、ｎ個のセンサにそれぞれ対応するｎ個の差分の平均値、総和、重みづけ平均値、最大値等を用いることができる。ｉ＝ｎでない場合（ステップＳ８４ Ｎｏ）、対応付け部１６ａは、ｉに１を加算し（ステップＳ８５）、ステップＳ８３からの処理を繰り返す。

差分指数が閾値未満の場合（ステップＳ８６ Ｎｏ）、対応付け部１６ａは、算出された局所変換パラメータをそのまま使用するよう第１処理部１５－１～第ｎ処理部１５－ｎへ指示し（ステップＳ８７）、特徴要素対応付け処理を終了する。

差分指数が閾値以上の場合（ステップＳ８６ Ｙｅｓ）、実施の形態１のステップＳ７１，Ｓ７２の処理が行われる。ステップＳ７２の後、対応付け部１６ａは、総合評価値を算出する（ステップＳ８８）。本実施の形態では、対応付け部１６ａは、実施の形態１で述べた評価項目ごとの評価値と局所変換パラメータの差分とに基づいて総合評価値を算出する。すなわち、本実施の形態では、局所変換パラメータの差分も評価項目の１つに含める。局所変換パラメータの差分は、ステップＳ８３で算出された、第ｉ処理部から受け取った局所変換パラメータと平時の局所変換パラメータとの差分である。局所変換パラメータの差分の評価値は、差分が大きいほど評価値が大きくなるように算出される。ステップＳ７４，Ｓ７７は実施の形態１と同様である。

ステップＳ７４でＹｅｓの場合、対応付け部１６ａは、センサ情報のうち最も総合評価値の大きいものの座標系を基準座標系として選択し、基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力し（ステップＳ８９）、特徴要素対応付け処理を終了する。局所変換パラメータが平時より大幅に変化している場合は、特徴要素に対応する基準対象物が災害により変位している可能性が高い。したがって、この変位を検出したセンサに対応するセンサ情報の方が地図情報より実際の状態を表していると推定できるため、変位を検出したセンサに対応するセンサ情報の座標系を基準座標系として用いる。なお、局所変換パラメータが平時より大幅に変化した要因が一時的なセンサの異常である可能性もある。したがって、別の情報からセンサの異常である可能性が高いと判断できる場合には、当該センサの局所変換パラメータの差分の評価値を負の値にするなどとしてもよい。例えば、センサが搭載される人工衛星等の姿勢の変動を示す情報がセンサ情報として得られる場合、変動が閾値以上の場合に局所変換パラメータの差分の評価値を負の値としてもよい。

また、ベースとなるレイヤの地図情報は固定であるため、地図レイヤと、センサ観測データのレイヤのずれによって、災害による変異を表現できる。また、データ処理装置１が、災害の発生した日時とおおよその場所を示す災害情報を取得し、災害情報に基づいて、当該災害情報で災害が発生したと想定される地域については、当該災害の発生する前の日時に作成された地図情報を基準情報として用いないようにしてもよい。この場合、当該災害の発生していない地域は地図情報を基準として用いてもよい。実施の形態１で説明したように大規模災害が起きたときに、当該対規模災害の前に作成された地図情報の評価値を下げることで対応してもよいが、上記のように基準情報として用いることができるか否かを明示的に定めてもよい。

一般的には、対象地域内の複数の特徴要素を用いて位置合わせが行われ、特徴要素以外の箇所は実施の形態１で述べたように補間処理等が行われる。例えば、複数の特徴要素のうち、１つの特徴要素は、災害等により地図情報とずれた位置となり、他の特徴要素は地図情報と位置があっているといったことも考えられる。このような場合には、災害発生後に観測されたＳＡＲ，可視センサ、赤外センサ、ＬＩＤＡＲのセンサ情報がそろっていれば、これらのセンサのなかから信頼度の高いすなわち評価値の高いセンサ情報を基準情報として選択する。また、災害が発生していると思われる対象地域がセンサ情報の画像の境界を含む場合には、隣接する複数の画像をあわせた１つの画像である結合画像に対して位置合わせを実施する。

以上のように、対応付け部１６ａは、センサごとに、算出された局所変換パラメータを用いて位置合わせを実施し、算出された局所変換パラメータである第１の局所変換パラメータと記憶されている平時の局所変換パラメータである第２の局所変換パラメータとの差分を算出する。そして、対応付け部１６ａは、センサごとの差分に基づいて算出される差分指数が閾値以上である場合に、差分と類似度とを含む複数の評価項目ごとに精度の高さを含む評価値を算出し、評価項目ごとの評価値に基づいて総合評価値を算出する。さらに、対応付け部１６ａは、地図情報および複数の観測データのそれぞれの総合評価値に基づいて基準データを選択する。差分指数が閾値未満の場合、対応付け部１６ａは、基準データとして地図情報を選択する。

図１１の説明に戻る。第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの位置合わせ部２３は、上述したステップＳ８９で出力された情報を受け取った場合、受け取った情報に基づいて、再度、局所変換パラメータを算出する（ステップＳ２４，Ｓ３４，Ｓ４４，Ｓ５４）。そして、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの位置合わせ部２３は、新たに算出した局所変換パラメータを用いて位置合わせ画像変換処理を実施する（ステップＳ２５，Ｓ３５，Ｓ４５，Ｓ５５）。また、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの位置合わせ部２３は、ステップＳ８７の指示を受け取った場合は、算出済みの局所変換パラメータを用いて位置合わせ画像変換処理を実施する（ステップＳ２５，Ｓ３５，Ｓ４５，Ｓ５５）。

すなわち、位置合わせ部２３は、基準データとして地図情報が選択された場合、第１の局所変換パラメータを用いて位置合わせを実施する。また、位置合わせ部２３は、基準データとして地図情報以外が選択された場合、観測データに対応する特徴要素の位置を、基準データにおける特徴要素の位置と一致させる変換に用いられる第３の局所変換パラメータを算出し、第３の局所変換パラメータを用いて位置合わせを実施する。

ステップＳ２５，Ｓ３５，Ｓ４５，Ｓ５５の処理は実施の形態１と同様である。受け取った情報に基づいて再度実施するステップＳ６１ａの後の処理は実施の形態１と同様である。ステップＳ２６，Ｓ３６，Ｓ４６，Ｓ５６，Ｓ６２，Ｓ６３，Ｓ６４も実施の形態１と同様である。

以上のように、本実施の形態では、地図情報を基準に、局所変換パラメータを算出し、算出された局所変換パラメータと平時の局所変換パラメータとの差分に基づいて算出される差分指数が閾値以上である場合には、基準座標系を選択しなおすようにした。このため、特徴要素に対応する基準対象物に災害等により変位が生じていた場合にも、高精度にセンサ画像データの位置合わせを行うことができる。

実施の形態３．
図１３は、本発明にかかる実施の形態３のデータ処理装置の構成例を示す図である。本実施の形態のデータ処理装置１ｂは、選択部１９を備え、実施の形態１の特徴要素抽出部１４および対応付け部１６のかわりに特徴要素抽出部１４ａおよび対応付け部１６ｂを備える以外は、実施の形態１のデータ処理装置１と同様である。実施の形態１と同様の機能を有する構成要素は、実施の形態１と同一の符号を付して実施の形態１と重複する説明を省略する。

実施の形態１では、地図情報から抽出された特徴要素に基づいて模擬特徴要素を生成したが、本実施の形態では、複数のセンサのうち最も精度がよいと想定されるセンサによって抽出された特徴要素に基づいて模擬特徴要素を生成する。そして、第１処理部１５－１～第ｎ処理部１５－ｎのそれぞれの特徴要素抽出部２２はこの模擬特徴要素に基づいて、特徴要素を抽出する。

一般に、車両に搭載されたセンサは、基準対象物を近くから観測できかつ姿勢も安定し位置の精度の高いことから、ドローン、人工衛星等に搭載されたセンサより、精度の高い観測データを取得することができる。このように精度が高いと想定されるセンサに対応するセンサ情報が存在する場合には、本実施の形態では、最も精度がよいと想定されるセンサによって抽出された特徴要素に基づいて模擬特徴要素を生成する。

最も精度がよいと想定されるセンサの一例は、車両に搭載され３次元点群データを取得するＬＩＤＡＲであるが、これに限定されない。以下では、図３に示した例と同様にセンサが、ＳＡＲ、可視センサ、赤外センサ、ＬＩＤＡＲの４つであるとし、最も精度がよいと想定されるセンサがＬＩＤＡＲである場合を例に挙げて説明する。

図１４は、本実施の形態の模擬特徴要素生成処理の一例を示すフローチャートである。選択部１９は、処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報が有るか否かを判断する（ステップＳ９１）。処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報が有る場合（ステップＳ９１ Ｙｅｓ）、選択部１９は、ＬＩＤＡＲに対応する座標系を基準座標系として選択する（ステップＳ９２）。すなわち、選択部１９は、複数のセンサのうち、予め定められた最も精度の高いセンサの観測データが存在する場合、当該観測データを基準データとして選択する。選択部１９は、ＬＩＤＡＲに対応する座標系を基準座標系とすることを特徴要素抽出部１４ａへ通知する。

特徴要素抽出部１４ａは、実施の形態１の特徴要素抽出部１４と同様に、地図情報から特徴要素を抽出する。特徴要素抽出部１４ａは、地図情報から抽出された特徴要素に基づいて、ＬＩＤＡＲに対応する模擬特徴要素を生成する（ステップＳ９３）。特徴要素抽出部１４ａは、生成した模擬特徴要素を、ＬＩＤＡＲに対応する第４処理部１５－４に出力する。第４処理部１５－４は、実施の形態１と同様に、模擬特徴要素を用いて、ＬＩＤＡＲに対応する３次元点群データから特徴要素を抽出する（ステップＳ９４）。第４処理部１５－４は、抽出した特徴要素を特徴要素抽出部１４ａへ出力する。特徴要素抽出部１４ａは、第４処理部１５－４により抽出された特徴要素に基づいて、各センサに対応する模擬特徴要素を生成し（ステップＳ９５）、模擬特徴要素生成処理を終了する。

処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報がない場合（ステップＳ９１ Ｎｏ）、地図情報に対応する座標系を基準座標系として選択する（ステップＳ９６）。特徴要素抽出部１４ａは、実施の形態１と同様に、地図情報から抽出された特徴要素に基づいて、各センサに対応する模擬特徴要素を生成し（ステップＳ９７）、模擬特徴要素生成処理を終了する。模擬特徴要素生成処理後、特徴要素抽出部１４ａは、生成した模擬特徴要素を第１処理部１５－１～第４処理部１５－４へそれぞれ出力する。

図１５は、本実施の形態のデータ処理装置１ｂにおける全体処理の流れの一例を示す図である。図１５は、上述したステップＳ９１で、処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報が有ると判断された例を示している。ステップＳ１１，Ｓ２１～Ｓ２２，Ｓ３１～Ｓ３２，Ｓ４１～Ｓ４２，Ｓ５１～Ｓ５２は実施の形態１と同様である。特徴要素抽出部１４ａは、地図情報から選択された特徴要素に基づいて、ＬＩＤＡＲに対応する模擬特徴要素を生成して第４処理部１５－４へ出力する（ステップＳ１２ａ）。そして、第４処理部１５－４は、模擬特徴要素を用いて、実施の形態１と同様にＬＩＤＡＲに対応する３次元点群データから特徴要素を抽出する（ステップＳ５３）。

特徴要素抽出部１４ａは、第４処理部１５－４により抽出された特徴要素を用いて、各センサに対応する模擬特徴要素を生成して第１処理部１５－１～第４処理部１５－４へそれぞれ出力する（ステップＳ６５）。ステップＳ２３，Ｓ３３，Ｓ４３は実施の形態１と同様である。対応付け部１６ｂは、特徴要素対応付け処置として、ＬＩＤＡＲの座標系を基準座標系とし基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力する（ステップＳ６１ｂ）。ステップＳ２４～Ｓ２６，Ｓ３４～Ｓ３６，Ｓ４４～Ｓ４６，Ｓ５４～Ｓ５６，Ｓ６２～Ｓ６４の処理は実施の形態１と同様である。

図１５は、上述したステップＳ９１で、処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報が無いと判断された場合の全体処理は、実施の形態１のステップＳ６１の特徴要素対応付け処理を除き、図３に示した処理と同様である。処理対象地域および時間帯に対応するＬＩＤＡＲのセンサ情報が無いと判断された場合、本実施の形態では、実施の形態１のステップＳ６１のかわりに、対応付け部１６ｂは、地図座標の座標系を基準座標系とし基準座標系における特徴要素の座標値と各センサに対応する座標系における特徴要素の座標値とを出力する。

以上のように、本実施の形態では、複数のセンサのうち最も精度がよいと想定されるセンサのセンサ情報が存在する場合には、最も精度がよいと想定されるセンサを基準として位置合わせを行うようにした。このため、高精度にセンサ画像データの位置合わせを行うことができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１ａ，１ｂ データ処理装置、２ センサ情報提供装置、３ 地図情報提供装置、１１ センサ情報取得部、１２ 地図情報取得部、１３ 処理情報記憶部、１４，１４ａ，２２ 特徴要素抽出部、１５－１～１５－ｎ 第１処理部～第ｎ処理部、１６，１６ａ，１６ｂ 対応付け部、１７ 解析部、１８ 表示処理部、１９ 選択部、２１ 補正部、２３ 位置合わせ部、３１ 情報出力部、３２ 調整部。

Claims (14)

1. 対象地域の地図を含むデータである地図情報と、複数のセンサによって前記対象地域がそれぞれ観測されることによって得られる複数の観測データとのなかから、前記対象地域内の基準対象物に対応する部分である特徴要素を抽出する特徴要素抽出部と、
   前記地図情報および前記複数の観測データのうちの１つを、位置合わせの基準とする基準データとして選択する選択部と、
   前記複数の観測データのそれぞれについて、前記観測データに対応する前記特徴要素の位置を、前記基準データにおける前記特徴要素の位置と一致させるように、当該観測データの位置合わせを行う位置合わせ部と、
   を備え、
   前記特徴要素抽出部は、前記地図情報から抽出された特徴要素を用いて、前記センサごとに、当該センサで前記基準対象物が観測されたデータを模擬する模擬特徴要素を生成し、前記センサごとに、対応する前記模擬特徴要素を用いて、当該センサに対応する前記観測データから特徴要素を抽出することを特徴とするデータ処理装置。
2. 前記特徴要素抽出部は、前記センサごとに、前記模擬特徴要素と前記観測データから抽出された特徴要素との類似度を算出し、
   前記選択部は、前記地図情報および前記複数の観測データのそれぞれについて、前記類似度を含む複数の評価項目ごとに精度の高さを含む評価値を算出し、評価項目ごとの前記評価値に基づいて総合評価値を算出し、前記地図情報および前記複数の観測データのそれぞれの前記総合評価値に基づいて前記基準データを選択することを特徴とする請求項１に記載のデータ処理装置。
3. 前記特徴要素抽出部は、前記センサごとに、前記模擬特徴要素と前記観測データから抽出された特徴要素との類似度を算出し、
   前記位置合わせ部は、前記センサごとに、前記観測データに対応する前記特徴要素の位置を、前記地図情報における前記特徴要素の位置と一致させる変換に用いられる局所変換パラメータを算出し、
   前記選択部は、
   前記センサごとに、算出された前記局所変換パラメータを用いて前記位置合わせを実施し、算出された前記局所変換パラメータである第１の局所変換パラメータと記憶されている平時の局所変換パラメータである第２の局所変換パラメータとの差分を算出し、
   前記センサごとの前記差分に基づいて算出される差分指数が閾値以上である場合に、前記差分と前記類似度とを含む複数の評価項目ごとに精度の高さを含む評価値を算出し、評価項目ごとの前記評価値に基づいて総合評価値を算出し、前記地図情報および前記複数の観測データのそれぞれの前記総合評価値に基づいて前記基準データを選択し、
   前記差分指数が閾値未満の場合、前記基準データとして前記地図情報を選択し、
   前記位置合わせ部は、前記基準データとして前記地図情報が選択された場合、前記第１の局所変換パラメータを用いて前記位置合わせを実施し、前記基準データとして前記地図情報以外が選択された場合、前記観測データに対応する前記特徴要素の位置を、前記基準データにおける前記特徴要素の位置と一致させる変換に用いられる第３の局所変換パラメータを算出し、前記第３の局所変換パラメータを用いて前記位置合わせを実施することを特徴とする請求項１に記載のデータ処理装置。
4. 対象地域の地図を含むデータである地図情報と、複数のセンサによって前記対象地域がそれぞれ観測されることによって得られる複数の観測データとのなかから、前記対象地域内の基準対象物に対応する部分である特徴要素を抽出する特徴要素抽出部と、
   前記地図情報および前記複数の観測データのうちの１つを、位置合わせの基準とする基準データとして選択する選択部と、
   前記複数の観測データのそれぞれについて、前記観測データに対応する前記特徴要素の位置を、前記基準データにおける前記特徴要素の位置と一致させるように、当該観測データの位置合わせを行う位置合わせ部と、
   を備え、
   前記選択部は、前記複数のセンサのうち、予め定められた最も精度の高いセンサの前記観測データが存在する場合、当該観測データを前記基準データとして選択し、
   前記特徴要素抽出部は、前記基準データから抽出された特徴要素を用いて、前記センサごとに、当該センサで前記基準対象物が観測されたデータを模擬する模擬特徴要素を生成し、前記センサごとに、対応する前記模擬特徴要素を用いて、当該センサに対応する前記観測データから特徴要素を抽出することを特徴とするデータ処理装置。
5. 前記最も精度の高いセンサは、車両に搭載され３次元点群データを取得するライダーであることを特徴とする請求項４に記載のデータ処理装置。
6. 前記基準対象物は、複数の地上基準点、自然形成された造形物および建造物のうちの少なくとも１つであることを特徴とする請求項１から５のいずれか１つに記載のデータ処理装置。
7. 前記基準対象物は、線状の造形物であることを特徴とする請求項６に記載のデータ処理装置。
8. 前記位置合わせが施された前記観測データを用いて災害の発生した箇所を抽出する解析を行う解析部、
   を備えることを特徴とする請求項１から７のいずれか１つに記載のデータ処理装置。
9. 前記解析の結果を、前記位置合わせが施された前記複数の観測データ、および前記地図情報のうち少なくとも１つと重畳表示する表示処理部、
   を備えることを特徴とする請求項８に記載のデータ処理装置。
10. 前記表示処理部は、前記解析の結果を強調表示することを特徴とする請求項９に記載のデータ処理装置。
11. 前記位置合わせが施された前記複数の観測データのうちの少なくとも１つと前記地図情報とを重畳表示する表示処理部、
    を備えることを特徴とする請求項１から７のいずれか１つに記載のデータ処理装置。
12. 前記複数のセンサは、人工衛星または航空機に搭載されるセンサを含むことを特徴とする請求項１から１１のいずれか１つに記載のデータ処理装置。
13. 前記複数のセンサは、合成開口レーダを含むことを特徴とする請求項１２に記載のデータ処理装置。
14. データ処理装置が、
    対象地域の地図を含むデータである地図情報と、複数のセンサによって前記対象地域がそれぞれ観測されることによって得られる複数の観測データとのなかから、前記対象地域内の基準対象物に対応する部分である特徴要素を抽出する第１ステップと、
    前記地図情報および前記複数の観測データのうちの１つを、位置合わせの基準とする基準データとして選択する第２ステップと、
    前記複数の観測データのそれぞれについて、前記観測データに対応する前記特徴要素の位置を、前記基準データにおける前記特徴要素の位置と一致させるように、当該観測データの位置合わせを行う第３ステップと、を含み、
    前記データ処理装置は、第１ステップでは、前記地図情報から抽出された特徴要素を用いて、前記センサごとに、当該センサで前記基準対象物が観測されたデータを模擬する模擬特徴要素を生成し、前記センサごとに、対応する前記模擬特徴要素を用いて、当該センサに対応する前記観測データから特徴要素を抽出することを特徴とするデータ処理方法。

Images