JP2019537151A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】 画像中に複数の雲形又は雲層が存在していても、雲によって影響を受けた領域を正確に検出し、雲の影響を修正する画像処理装置が提供される。【解決手段】 画像処理装置は、入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択する雲スペクトル選択部と、前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出するエンドメンバ抽出部と、前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出する分解部とを備える。【選択図】 図１７

Description

本発明は、衛星プラットフォームに搭載されたセンサによって撮像された画像中の雲被覆領域を検出し、修正する画像処理装置、画像処理方法及び画像処理プログラムを記憶する記憶媒体に関する。

衛星画像は地球表面観測を監視する際の重要な情報源である。ところが、画像中に雲被覆が存在する場合には画像の利用が大きく制限される。

非特許文献１は、衛星画像中の薄い雲被覆を除去する信号伝送‐混合スペクトル解析（ＳＴ‐ＳＭＡ）法を開示する。この方法では、スペクトルを分解する技術を用いて雲被覆を推定し、影響を受けた画素を放射伝達モデルによって修正する。スペクトルを分解する技術では、１つの画素をエンドメンバが混合したものと想定し、画素中の各エンドメンバの存在比を推定する。エンドメンバは地表上のピュアクラスである。ＳＴ‐ＳＭＡでは、入力画像中の各画素について雲をエンドメンバと想定して雲の存在比を推定し、各画素から雲の部分を除去して雲の影響を修正する。ＳＴ‐ＳＭＡ法の詳細は後述する。

図１９は、雲の存在下で地表面反射率を捕らえる物理モデルを図示する。図１９を参照すると、輝度値を用いた雲による歪みの物理モデルは以下の式（１）により与えられる。

“ｓ（ｉ，ｊ）”は、衛星センサで受信された座標“ｉ”及び“ｊ”の画素に関する輝度信号であり、“ａ”は概して１と想定される大気透過率、“Ｉ”は日射照度、“ｒ（ｉ，ｊ）”は地表面からの反射率、そして、“Ｃ_ｔ（ｉ，ｊ）”は画素（ｉ，ｊ）に関して観測された雲の透過率である。この式では、雲の吸収率を０と想定する。

雲は、入射放射を反射、透過及び吸収し得る。反射率“Ｃ_ｒ”、吸収率“Ｃ_ａ”、透過率“Ｃ_ｔ”の係数について表現した雲と入射放射との相互作用は以下のように示すことができる。

複数の厚い雲（“Ｔ”）に関しては、放射は完全に反射及び吸収され、透過されない。“Ｔ_ｒ”、“Ｔ_ａ”、“Ｔ_ｔ”をそれぞれ厚い雲の反射率、吸収率及び透過率とすると、入射放射と厚い雲との相互作用は以下にように示すことができる。

薄い雲による吸収率及び反射率は、厚い雲の吸収率及び反射率の拡大・縮小値と想定される。さらに、その倍率は厚い雲に対する薄い雲の相対的厚みに比例すると想定される。つまり、薄い雲の吸収率及び反射率は、厚い雲の吸収率及び反射率を薄い雲の厚さ率（“ｇ”）で調整したものである。ｇは、厚い雲に対する雲の相対的厚みによって０から１まで変化する。厚い雲の場合“ｇ”は１である。厚い雲は透過率が０の不透明雲である。

式（２）に薄い雲の吸収率及び反射率の値を代入し、式（３）を用いると、雲の透過率は以下のように推定できる。

図１９、式（１）及び式（４）を参照すると、反射率の値を用いた雲による歪みの物理モデルは、雲の光学的性質に関して以下のように表すことができる。

Ｌが入力されたマルチスペクトル画像に存在する波長帯域数の場合、“ｘ”はセンサによって観測されたＬ×１の寸法の画素のスペクトル反射率ベクトル、“ｓ_ｃ”はＬ×１の寸法の雲スペクトルシグネチャ（スペクトル）ベクトル、そして、“ｅ”はＬ×１の寸法のノイズ又はモデルエラーベクトルであり、“ｅ”は、モデル化できない画素の一部とみなすことができる。

式（５）において、以下に示すようにｒは“Ｍ”個のエンドメンバが混合したものとして表すことができる。

つまり、

“ｓ_ｍ”は、Ｌ×１の寸法のｍ番目のエンドメンバのスペクトルシグネチャベクトルであり、“ａ_ｍ”は、ｍ番目のエンドメンバの存在比である。雲を（Ｍ＋１）番目のエンドメンバとすると、式（６）及び式（７）は、以下のように変形できる。

つまり、

式（８）は、異なる制約を有する線形スペクトル混合モデル（ＬＳＭＭ）に類似している。式（８）及び（９）のモデルより、雲は（Ｍ＋１）番目のエンドメンバであり、ｇは雲の存在比であると解釈できる。

この式は、制約が完全に満たされた線形混合解析アルゴリズムによって解かれ、雲の存在比（つまりｇ）が求められる。式（９）で制約された式（８）は、“Ｌ＞Ｍ＋１”である場合に解くことができる。したがって、この手法はマルチスペクトル画像又はハイパースペクトル画像に最も適している。
モデルエラーは０又は無視できると想定すると、式（５）によって１画素の真の反射率は、以下に示すように求められる。

ｇ＝１の場合、画素には式（１０）の修正が行えない。これは、この画素が厚い雲で被覆され、マスクされるか他の画像ソースで置き換えられるべきであることを示唆する。

図２０は、本願発明者によって記載されたＳＴ‐ＳＭＡ法の例示的装置を示すブロック図である。装置には、入力部０１、受信部０２、雲スペクトル抽出部０３、エンドメンバ抽出部０４、分解部０５、薄雲修正部０６及び出力部０７が含まれる。

入力部０１は、入力としてマルチスペクトル画像を受信する。受信部０２は操作者から、入力画像中の雲以外のエンドメンバの数を受信する。雲スペクトル抽出部０３は画像中の最も明るい画素のスペクトルとして画像から雲スペクトル（雲のスペクトル）を選択する。エンドメンバ抽出部０４は、入力画像中の雲以外のエンドメンバの数を入力として受信し、教師なしエンドメンバ抽出アルゴリズムであるVertex Component AnalySiS（ＶＣＡ）を用いて入力画像から同数のエンドメンバのスペクトルを抽出する。分解部０５は、式（９）で与えられた制約下で式（８）を用いて入力画像の各画素を分解し、雲の存在比を求める。薄雲修正部０６は、雲の存在比を用いて薄い雲の修正を行う。つまり、式（１０）を用いて薄い雲によって影響を受けた画素の真の反射率を取得する。出力部０７は、薄い雲の被覆を修正した画像をディスプレイに送る。

Xu, M., Pickering, M., Plaza, A.J. and Jia, X., "Thin Cloud Removal Based on Signal Transmission Principles and Spectral Mixture Analysis," IEEE Transactions on Geoscience and Remote Sensing (Volume: 54, Issue: 3, March 2016), Page(s): 1659 - 1669.

非特許文献１の方法は、雲スペクトルが正確に決定された場合に限り、薄い雲被覆下の地表面からの真の反射率を適切に推定できる。最も明るい画素のスペクトルを雲スペクトルとして選択する方法では、砂地、屋上などの他の明るい物体を混同する可能性がある。

また、画像によっては雲形や雲層が異なることがある。異なる雲は異なる成分を有するため、異なる吸収や反射特性、異なる吸収量や反射量を示す。異なる雲層がある場合、より高度の雲がより低高度の雲に影を作ることがある。そのため、より低高度の雲は実際よりも低い度合いの反射特性を示す。水分含有量のより高い雲や影のある雲はより暗く見える。ＳＴ‐ＳＭＡ法が明るい雲の隣により暗い雲を含む景色に対して用いられると、より暗い雲を誤って地表の水として修正してしまう。したがって、暗い雲と明るい雲とを分けて検討する必要がある。

さらに、従来技術の方法は、画素を厚い雲としてマークする際に厳格な制約（ｇ＝１）がある。雲スペクトルは変化に富むため、これは実用的ではない。雲は広範囲に広がり、成分も異なり得るため、厚い雲が混入する全ての画素が完全に同じスペクトルを持つわけではない。結果として、雲スペクトルが正確に選択されても、従来技術の方法では厚い雲の被覆を完全には検出できない。

したがって、非特許文献１によって与えられた方法に備わるアルゴリズムは、異なる雲形又は雲層を有する、又は、雲よりも明るい物体を含む複雑な景色に対しては適切に実行できない。この制約は、同方法の雲スペクトル抽出技術に起因する。また、この方法では厚い雲の被覆を完全には検出できない。

本発明は上述の状況を鑑みてなされた。本発明の目的は、画像中に複数の雲形又は雲層が存在していても、雲によって影響を受けた領域を正確に検出し、雲の影響を修正することが可能な技術を提供することにある。

上記の問題を解決するために、本願の第１の例示的観点は、雲被覆を検出及び修正するための画像処理装置であり、当該装置は、
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択する雲スペクトル選択部、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出するエンドメンバ抽出部、および
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出する分解部
を備える。

本願の第２の例示的観点は、雲被覆を検出及び修正する画像処理方法であり、当該方法は、
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
を含む。

本願の第３の例示的観点は、画像処理プログラムを格納する記録媒体であり、当該プログラムは
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
を含む。

本発明によると、画像中に複数の雲形又は雲層が存在していても、雲によって影響を受けた領域を正確に検出し、雲の影響を修正する画像処理装置、画像処理方法及び画像処理プログラムを記憶する記憶媒体が提供される。

図１は、本発明に係わる第１の例示的実施形態のブロック図である。 図２は、雲スペクトルメモリに記憶された雲スペクトルを示す表である。 図３は、雲スペクトルメモリに記憶された雲スペクトルの図的記述を示すグラフである。 図４は、本発明に係わる第１の例示的実施形態の手順のフロー図である。 図５は、入力画像のサブセット内の画素の位置のレイアウトを示す表である。 図６は、図５に示されるサブセット内の画素のスペクトル値を示す表である。 図７は、図５に示されるサブセット内の画素に関して、選択された雲スペクトルの指数を示す表である。 図８は、本発明に係わる第２の例示的実施形態のブロック図である。 図９は、本発明に係わる第２の例示的実施形態の手順のフロー図である。 図１０は、図９のステップＳ２０１における推定雲領域を検出する手順のフロー図である。 図１１は、本発明に係わる第３の例示的実施形態のブロック図である。 図１２は、本発明に係わる第３の例示的実施形態の手順のフロー図である。 図１３は、図１２のステップＳ３０２における雲スペクトルを抽出する手順のフロー図である。 図１４は、本発明に係わる第４の例示的実施形態のブロック図である。 図１５は、本発明に係わる第４の例示的実施形態の手順のフロー図である。 図１６は、図１５のステップＳ４０２における入力画像中の複数の雲形を決定する手順のフロー図である。 図１７は、本発明に係わる第５の例示的実施形態のブロック図である。 図１８は、画像処理装置の構成を示すブロック図である。 図１９は、雲の存在下における放射の物理的モデルの描画である。 図２０は、非特許文献１に記載された方法（ＳＴ‐ＳＭＡ）のブロック図である。

当業者には当然のことながら、図面中の各要素は簡素化と明確性のために図示されており、必ずしも実物大に描写されているとは限らない。例えば、雲の存在下における放射の物理的モデルを図示した図面中の一部の要素の寸法は、その例示的実施形態と他の例示的実施形態の理解を促すために他の要素に対して誇張されていることがある。

衛星プラットフォーム上のセンサによって撮像された衛星画像は、地球表面に関する莫大な量の情報を提供する。多くの衛星プラットフォームはマルチスペクトル画像又はハイパースペクトル画像を撮像できるセンサを持ち、私たちはこれらの画像から地表上の物体の特徴に関する情報をＲＧＢ画像で得られるものよりも非常に詳細に抽出することができる。マルチスペクトル画像は、電磁スペクトルの複数波長及び特定波長において撮像された景色の応答を含む画像である。概して、３つ（ＲＧＢ）を超える帯域を有する画像はマルチスペクトル画像と呼ばれる。

しかしながら、これらの画像は撮像中に気候状態による影響を受けている。地表はおよそ３分の２が年中雲に覆われている。したがって、全ての画像について雲のない景色を取得することは困難である。画像中の雲被覆（画像中で目視できる雲の面積）は、土地使用土地被覆分類などの高度画像処理操作において衛星画像を利用する際に深刻な制約となる。雲被覆のある画像が高度の解析で使用される場合、得られた結果の信頼性は低くなる。

雲の混入する領域の検出と、混入度合いの推定は重要な前処理工程である。雲が厚過ぎて完全な放射を遮断（吸蔵）する場合、その領域が検出され、他の情報ソースから回復されなくてはならない。一方、雲被覆が十分に薄い場合、その画像からある程度地表情報を取得することができる。厚い雲とはセンサの視野を完全に遮断する大気中の雲を意味し、薄い雲は部分的に遮断する。多くの雲形や異なる雲層が存在し得る。

非特許文献１の方法は、スペクトル分解技術と放射伝達モデルに基づいて、薄い雲の被覆に影響を受けた画素を修正する方法を提供する。しかしながら、薄い雲に被覆された画素を正確に修正できるかは、抽出された雲スペクトルの正確さによる。画素は物理点を意味し、画像の単位要素である。物体のスペクトルは、各波長帯域に対して１つの値をとる物体の反射率の値一式からなる反射率スペクトルを意味する。「スペクトル分解手段」は、ある画素を構成するエンドメンバ及び画素中のエンドメンバの存在比を、画素とエンドメンバのスペクトルに基づいて導出する手順である。非特許文献１では、最も明るい画素のスペクトルを雲スペクトルとみなすが、これは最良の方法ではない。多くの景色で、最も明るい画素は砂地や屋上など地表の他の明るい物体の可能性がある。

加えて、雲形は高度と構成成分によって異なり、これらの異なる雲形は異なるスペクトル特徴を示す。ある場所の雲被覆が異なる高度で積層された複数の雲により構成される場合、より高度の雲がより低高度の雲に影を作ることがある。水分含有量の高い又は影に覆われた雲は外観がより暗くなり、最も明るい雲スペクトルとは異なるスペクトルを示す。

最も明るい画素のスペクトルのみを雲スペクトルとみなす場合、この分解技術とそれに続いて薄い雲の修正が行われると、上述のようなより暗い雲によって被覆された画素を誤って地上の水として取得する可能性が高い。これは、非特許文献１の方法が最も明るい雲一種類のみの存在を想定しているためである。それ故、選択された雲スペクトルは多くの画素では不正確で、非特許文献１の技術は望ましい結果を提供できない。

さらに、画素を厚い雲とマークする際の制約が厳格で（ｇ＝１）、実用的ではない。これは、雲スペクトルが変化に富むことに起因する。雲は広範囲に広がり、成分も異なり得るため、厚い雲が混入する全ての画素が完全に同じスペクトルを持つわけではない。厳格な制約のために、たとえ雲スペクトルが正確に選択されても、非特許文献１の方法は厚い雲の被覆を完全に検出することができない。

上述した問題を解決し得る本発明の各例示的実施形態を、図面を参照して以下に記載する。以下の詳細の説明は本質的に例示に過ぎず、本発明や本発明の適用や使用を限定することを意図しない。さらに、前述の本発明の背景に記載されたいかなる理論や以下の詳細の説明に限定されることも意図しない。

＜第１の実施形態＞
空には多くの異なる雲形や雲層がある。異なる雲形を分けて扱うことで、雲の検出や修正方法の精度を改善することができる。第１の例示的実施形態では、最終的に正確な観測結果を取得するために異なる雲形を考慮する画像処理装置が記載される。

＜＜画像処理装置＞＞
図１は、本発明に係わる第１の例示的実施形態の画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、入力部１０、雲スペクトルメモリ１１、受信部１２、雲スペクトル選択部１３、エンドメンバ抽出部１４、分解部１５、閾値化部１６、厚雲マスク部１７、薄雲修正部１８及び出力部１９を含む。

入力部１０は、衛星プラットフォーム上のセンサ（図１には図示しない）から無線通信でマルチスペクトル画像を受信し、入力画像を雲スペクトル選択部１３、エンドメンバ抽出部１４、受信部１２及び分解部１５に送る。

雲スペクトルメモリ１１は、衛星画像で一般的に観測される各種雲スペクトルをデータベース又は表形式で記憶する。図２に示されるように、雲スペクトルは雲Ｎｏ．（番号）行と帯域Ｎｏ．列の表として記憶できる。雲Ｎｏ．の各々は雲の種類を表す。雲の各種類が番号に対応する。雲は種類によって異なるスペクトルを有する。帯域Ｎｏ．は、例えば、可視光、近赤外線、短波赤外線の帯域など波長帯域の種類を表す。各帯域は番号と対応する。例えば、帯域１は海岸エアロゾル帯域で波長域は０．４３〜０．４５（μｍ）、帯域２は青帯域で波長域は０．４５〜０．５１（μｍ）である。

図３に示されるように、雲スペクトルメモリは反射率を縦軸、波長（μｍ）を横軸とするグラフで図示できる。グラフでは、各線が雲の種類（雲Ｎｏ．）に対応する。各帯域は波長域に対応する。雲スペクトルメモリ１１の各種スペクトルは雲スペクトル選択部１３によって利用される。

受信部１２は、画像中の雲以外のエンドメンバの数を決定する。Ｌが入力されたマルチスペクトル画像中に存在する波長帯域数の場合、式（９）の制約によってエンドメンバの数は自動的にＬ−２に制限される。あるいは、操作者が目視により画像中のエンドメンバの数を入力してもよい。受信部１２は、決定したエンドメンバの数をエンドメンバ抽出部１４に送る。

雲スペクトル選択部１３は、入力画像中の各画素に対する雲スペクトルを選択するため、入力されたマルチスペクトル画像を入力部１０から獲得し、全ての雲スペクトルを雲スペクトルメモリ１１から獲得する。雲スペクトル選択部１３は、入力画像中の各画素について、それぞれの画素に混入している可能性のある雲スペクトルを決定する。

入力画像はＮ個のうちＮ_ｃ個の雲スペクトルを含む。Ｎ_ｃ及びＮは正の整数で、１≦Ｎ_ｃ≦Ｎ（以下同様）である。雲スペクトルは雲スペクトルメモリ１１に記憶されている。

各画素について、雲スペクトル選択部１３は、多次元特徴空間中で画素のスペクトルと分光的に最も近似した雲スペクトルを選択する。各次元は画像中の特定の波長帯域に対応する。雲スペクトル選択部１３は、式（１１）のように２つのスペクトル間のスペクトル角度（“Ｗ”）によってスペクトルの近似度を測定する。

ｘ・ｓ_ｃはベクトルｘ及びｓ_ｃのドット積を表し、｜ｘ｜、｜ｓ_ｃ｜はそれぞれベクトルｘ及びｓ_ｃの大きさを表す。角度（Ｗ）の大きさは特徴空間内のスペクトル間の類似度に反比例する。したがって、雲スペクトルメモリ１１の使用可能なＮ個の雲スペクトル中、画素に対してＷが最小であるスペクトルが、画素に混入した可能性が高い雲スペクトルとして選択される。

あるいは、雲スペクトル選択部１３は、ある画素について、入力画像中のその画素の位置に空間的に最も近い雲スペクトルを選択してもよい。雲スペクトル選択部１３は、それぞれの画素について選択された雲スペクトルを分解部１５に送る。

エンドメンバ抽出部１４は、入力部１０からマルチスペクトル画像を獲得し、受信部１２からエンドメンバの数を獲得し、同数の雲以外のエンドメンバのスペクトルを抽出する。エンドメンバは、画像中のピュア土地被覆クラスを意味する。土地被覆クラス（エンドメンバ）は、変化抽出においては植生、水、さらに、森林モニタリングにおいてはヒマラヤスギ、イトスギなど用途によって選択される。

画像中のエンドメンバについて代表的画素を識別する場合、代表的画素の平均スペクトルをエンドメンバのスペクトルとみなすことができる。しかしながら、一般的に、このような代表的画素は容易に利用可能なわけではない。あるいは、エンドメンバ抽出部１４は、Pixel Purity Index、N−FINDR及びVertex Component Analysis（ＶＣＡ）などのよく知られた教師なしエンドメンバ抽出アルゴリズムによって抽出を行うことができる。あるいは、エンドメンバ抽出部１４は、まず教師なしクラスタリングを行い、次に各クラスタの手段としてエンドメンバのスペクトルを選択し、雲スペクトルと類似していないこれらのスペクトルのみを考慮することで抽出を行うことができる。

エンドメンバ抽出部１４は、抽出したエンドメンバのスペクトルを分解部１５に送る。

分解部１５は、入力部１０から入力されたマルチスペクトル画像と、エンドメンバ抽出部１４からエンドメンバのスペクトルと、及び、雲スペクトル選択部１３から画像中の各画素に対して選択された雲スペクトルとの３つの入力を得る。分解部１５は、画素中の全てのエンドメンバの及び雲の存在比（画素中のエンドメンバの相対的割合）を決定する。入力された画素のスペクトルについて、分解部１５は、エンドメンバと雲スペクトルの線形混合の係数を、制約条件を完全に満たした線形混合分析である逐次最小２乗法によって決定する。線形混合モデルの係数はエンドメンバ及び雲の存在比である。取得された各存在比によってエンドメンバと雲スペクトルが調整され、線形に加算された場合に入力画素のスペクトルが取得できるように、分解部１５は分解を行う。分解問題は、式（９）によって与えられた制約下で式（８）によって定義できる。上記説明に基づき、分解部１５は雲の存在比（ｇ）を取得し、閾値化部１６に送る。

閾値化部１６は、分解部１５から入力画像中の各画素における雲の存在比を受け取る。そして、閾値化部１６は、閾値と取得した雲の存在比（ｇ）との比較結果に基づいて、厚い雲に被覆された画素を薄い雲に影響を受けた画素から分離する。閾値は操作者が事前に設定できる。ある画素について雲の存在比が閾値以上の場合、閾値化部１６はその画素を厚雲マスク部１７に送る。ある画素について雲の存在比が閾値未満の場合、閾値化部１６はその画素を各画素の雲の割合（ｇ）と一緒に薄雲修正部１８に送る。

厚雲マスク部１７は、閾値化部１６から厚い雲に被覆された画素を受信する。厚雲マスク部１７は、入力された画素を厚い雲としてマークし、画素をマスクして出力部１９に送る。

薄雲修正部１８は厚い雲に被覆されていない画素を各画素の雲の割合と一緒に閾値化部１６から受信する。薄雲修正部１８は、式（１０）を用いて真の画素反射率を取得し、入力された画素を計算結果で修正する。晴天画素に関しては、ｇが０のため、晴天画素は式（１０）による影響を受ける。薄雲修正部１８は修正された画素を晴天画素と一緒に出力部１９に送る。

出力部１９は、厚い雲で被覆されておりマスクされた画素を厚雲マスク部１７から受信し、薄い雲に影響を受けており修正された画素及び晴天画素を薄雲修正部１８から受信する。出力部１９は、全ての入力を合成し、合成画像を出力としてディスプレイに送る（図１には図示せず）。

＜＜画像処理装置の動作＞＞
図４は、画像処理装置１００の動作を示すフロー図である。必要なスペクトルは雲スペクトルメモリ１１内に記憶されていると想定する。全画素のそれぞれに対して、ステップＳ１０１及びＳ１０３〜Ｓ１０７の動作が実施される。

まず、ステップＳ１００で、入力部１０はマルチスペクトル画像を受信する。受信部１２はエンドメンバの数を受信する。

ステップＳ１０１で、雲スペクトル選択部１３は入力されたマルチスペクトル画像を入力部１０から獲得し、入力画像中の各画素について、雲スペクトルメモリ１１に記憶されたスペクトルの中から各画素のスペクトルと最も近似した雲スペクトルを選択する。

以下に一例をあげる。図２は、雲スペクトルメモリ１１に記憶されたスペクトルの表を示す。図５は、入力されたマルチスペクトル画像のサブセット内の画素のレイアウト表を示す。画像中のＰ_１１、Ｐ_１２などの各区画は、各画素を例示的に示す。図６は、各波長帯域に対応する各画素の実際のスペクトル値を示す（上部より、帯域１〜帯域７）。雲スペクトル選択部１３は、式（１１）を用いて画素と雲スペクトルメモリ１１中の各雲スペクトルとの間のスペクトル角度を計算し、計算結果に基づいて最も近似した雲スペクトルを選択する。

例えば、雲スペクトル選択部１３は、図５のＰ_１１と図２の雲１との間のスペクトル角度を以下のように計算する。

同様に、雲スペクトル選択部１３は、全ての雲について以下のようにスペクトル角度を計算する。
雲２：Ｗ＝９．０２７５４７０１７８°、
雲３：Ｗ＝９．０２７５４７１７８°、・・・、
雲Ｎ：Ｗ＝１．７４７９６２５０９°

計算結果では、Ｐ_１１の雲Ｎとの角度が最も小さいことが示されたため、雲スペクトル選択部１３は、Ｐ_１１に雲Ｎが混入していると決定し、雲ＮはＰ_１１を分解するために選択される。

雲スペクトル選択部１３が全ての画素に対応する雲スペクトルを選択した後の出力を図７に示す。表中の数字は図５中の各画素に対して選択された雲Ｎｏ．の指標を示す。

ステップＳ１０２で、エンドメンバ抽出部１４は入力画像から雲以外のエンドメンバのスペクトルを抽出する。抽出されたスペクトルの数は受信部１２によって特定された数に等しい。

ステップＳ１０３で、分解部１５は入力画像中の画素を分解して、それぞれの画素中の雲の存在比（ｇ）を求める。

ステップＳ１０４で、閾値化部１６は、画像中の各画素について雲の存在比（ｇ）を閾値と比較する。

ステップＳ１０５で、厚雲マスク部１７は、雲の存在比（ｇ）が閾値以上の画素を厚い雲としてマスクする。

ステップＳ１０６で、薄雲修正部１８は、ある画素の雲の存在比が閾値未満の場合、式（１０）によってその画素の修正を行う。例えば、図５の画素Ｐ_１１について、図７に示すように混入する雲はＮである。閾値化部１６の閾値を０．９とする。画素Ｐ_１１の場合、雲の存在比は閾値未満のため、分解部１５は雲の存在比を０．６として出力し、閾値化部１６はこの画素を薄雲修正部１８に送る。薄雲修正部１８は修正を行い、図２中の雲Ｎのスペクトル率値及び以下に示すように図６中の画素Ｐ_１１のスペクトル率値を用いて真の地表面の反射率ｒを求める。

最後に、ステップＳ１０７で、出力部１９は入力画像中で厚い雲に被覆されておりマスクされた画素と、薄い雲の影響を受けており修正された画素との合成画像をディスプレイに出力する。以上が画像処理装置１００の動作である。

＜＜第１の例示的実施形態の効果＞＞
本発明に係わる第１の例示的実施形態の画像処理装置１００は、画像中に複数の雲形又は雲層が存在する場合でも、雲に影響された領域を正確に検出し、雲による影響を修正することができる。これは、雲スペクトル選択部１３が雲スペクトルメモリ１１を参照して、複数の雲スペクトルの中から分解する雲スペクトルを選択することによる。第１の例示的実施形態では、閾値化部１６が、ｇが１でなければならないなどの厚い雲検出の際の厳格な制約による限定を克服できる。閾値化部１６は、厚い雲検出の厳格な条件を緩和させる。そのため、厚い雲の画素については、雲の存在比が１未満あるいはその周辺であっても、画素は厚い雲とマークされる。その結果、画像処理装置１００は、入力画像中の厚い雲の被覆を高い精度で検出することができ、薄い雲に影響を受けた画素をより正確に修正することができる。

＜第２の例示的実施形態＞
第１の例示的実施形態では、画像処理装置１００は、画像中に複数の雲形又は雲層が存在する場合でも、雲スペクトルメモリ１１から雲スペクトルを選択することで、雲によって影響を受けた領域を検出し、雲による影響を修正することができる。エンドメンバ抽出部１４は画像全体から雲以外のエンドメンバのスペクトルを抽出する。これには長い時間がかかり、多くの資源を消費することがある。加えて、エンドメンバ抽出部１４が誤って雲スペクトルを複数回選択する可能性がある。これを回避するには、画像処理装置は、エンドメンバのスペクトルを抽出する前に画像中の晴天領域を取得するために、入力画像中の雲っているように見える部分、つまり、雲によって被覆されている可能性のある部分を検出するのが望ましい。これによって、雲以外のエンドメンバのスペクトルを晴天領域からのみ抽出することができる。第２の例示的実施形態では、入力画像中の推定雲領域を検出できる画像処理装置を説明する。

＜＜画像処理装置＞＞
図８は、本発明に係わる第２の例示的実施形態の画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、入力部１０、雲スペクトルメモリ１１、受信部１２、雲スペクトル選択部１３、推定雲領域検出部２１、エンドメンバ抽出部１４ａ、分解部１５、閾値化部１６、厚雲マスク部１７、薄雲修正部１８及び出力部１９を含む。

推定雲領域検出部２１は、入力されたマルチスペクトル画像を入力部１０から獲得し、エンドメンバ抽出部１４ａが雲以外のエンドメンバのスペクトルを決定する前に、雲によって被覆されている可能性のある領域を検出する。推定雲領域は、入力画像中の厚い雲被覆の第１の推定である。

第２の例示的実施形態における推定雲領域検出部２１の具体的な動作を以下に記載する。

推定雲領域を決めるには、スペクトル特性に加えて雲の空間特性（画像中の画素の位置及び近傍に基づいた特性）を用いることができる。画素の近傍（画素）は隣接画素に限られず、近傍画素の一定の領域を含む。近傍画素の領域は、所定の規則による画像のサブセットの一つであるウインドウの大きさに依存する。

画像中で、雲はほとんど均一な強度レベルの大きく平坦な領域である（強度レベル又はグレーレベルは白と比較した際の画素の相対的強度であり、帯域内の画素について記録されたデジタル数字（画素値）に対応する）。推定雲領域を決定するため、推定雲領域検出部２１は、雲の空間及びスペクトル特性に基づいた空間‐スペクトルフィルタを用いて、画像中の雲被覆を推定する。フィルタには、空間及びスペクトル特性を量子化し、入力画像中の各画素が推定雲領域の一部か否かを分類するため、標準偏差及びテクスチャ平均を用いる。

推定雲領域検出部２１は、単位長当りのエッジ、空間的変動、テクスチャなどの測度に基づいて強度レベルの平坦度を識別できる。推定雲領域検出部２１は、Prewitt、Sobel、Laplacian of Gaussian及びCanny edge detectorなどのフィルタ機能アプリケーションによって計算された強度レベルの勾配値に基づいて、強度レベルの急激な変化のない領域を検出するフィルタを設計でき、さらに、標準偏差を勾配の測度として用いることができる。推定雲領域を検出する最も望ましい測度は、画素強度の標準偏差である。ある画素について、その画素自体と近傍の強度値を考慮して標準偏差が計算される。画素あたりの標準偏差は、近傍において画素の強度が平均強度値からどれだけばらついているかの定量的測度である。画像中で、強度が一定の領域では標準偏差は低く、エッジなどの特徴では高くなる。推定雲画素をフィルタリングするのに標準偏差をどのように用いることができるかについては後述する。

加えて、画像中で、雲に被覆される領域内の全ての画素はほとんど類似した強度レベルを有する。したがって、雲に被覆された領域は特定パターンの強度レベルと均質なテクスチャを示す。そこで、推定雲領域検出部２１は、推定雲領域を検出するために、テクスチャのフィルタを用いることができる。雲は、可視光、近赤外線、短波赤外線の波長帯域に非常に高い反射率を示す。雲検出部２１はこの性質を用いて雲を区別することができる。

推定雲領域検出部２１は、画像形状のフィルタ、及び／又は、特定の土地被覆のスペクトル反射率特性に基づいた特定の土地利用フィルタを用いて、入力画像中の雲被覆の推定を向上させる。推定雲領域検出部２１は、上述したスペクトル及び空間特性を用いて雲を区別できる。加えて、推定雲領域検出部２１は、雲のない領域をフィルタリングするための形状フィルタを用いることができる。人工物は、雲とは異なり輪郭が明確な規則的形状を持つ。推定雲領域検出部２１は入力画像中の物体の形状を決定でき、推定雲領域から規則的形状の物体を除去する。

規則的形状をフィルタリングで取り除くのに加えて、推定雲領域検出部２１は、植生、雪、水、市外区域など画像中の特定の土地被覆クラスを決定することができる。推定雲領域検出部２１は、決定にスペクトル指数を用いることができる。スペクトル指数の一部の例として、正規化植生指数、正規化積雪指数、正規化都市化指数、正規化水指数、正規化湿地指数、正規化燃料率などがあるがこれらに限られない。

推定雲領域検出部２１は、上述したフィルタを組み合わせて入力画像中の推定雲領域を出力する。取得した推定雲領域内の画素は、雲の影響を受けている可能性があり、入力画像から除去されて残りの画素がエンドメンバ抽出部１４ａに送られる。

エンドメンバ抽出部１４ａは、エンドメンバ抽出部１４とほとんど同じ動作を行うが、エンドメンバの数を受信部１２より受信し、相対的に晴れた雲なし画素を入力として受信するところが異なる。

その他の各部は第１の例示的実施形態と同じである。

＜＜画像処理装置の動作＞＞
図９は、画像処理装置２００の動作を示すフロー図を示す。

ステップＳ２００の入力は図４のステップＳ１００の入力と同じである。

ステップＳ２０１で、推定雲領域検出部２１は、入力画像中に推定雲領域を検出する。この動作の詳細は後述する。

ステップＳ２０２で、取得された推定雲領域は入力画像より除去され、入力画像中の相対的に晴れた領域が求められる。

ステップＳ２０３〜Ｓ２０９の動作は、それぞれ図４のステップＳ１０１〜Ｓ１０７の動作と同じである。

なお、ステップＳ２０４で、入力はステップＳ２０２で取得された入力画像中の相対的に晴れた領域であり、図４のステップＳ１０２の全体画像とは異なる。

以上が画像処理装置２００の動作である。

次に、上述したステップＳ２０１の動作を詳細に説明する。図１０はステップＳ２０１の動作のフロー図を示す。

まず、ステップＳ２０１０で、推定雲領域検出部２１は入力されたマルチスペクトル画像を入力として受けとる。ステップＳ２０１１で、推定雲領域検出部２１は、入力画像中の全ての画素について、画素の各波長帯域に対応する各スペクトル値の２乗和を計算することで、グレースケール強度画像を計算する。グレースケール強度画像（Ｉ_ｍａｇ）は、入力されたマルチスペクトル画像（Ｉ）から以下のように導出できる。

Ｌ、Ｒ、Ｃは、それぞれ入力画像の波長帯域、行、列の数である。あるいは、雲は波長に選択的に影響するため、グレースケール強度画像を計算するには、異なる波長に対する雲の影響を考慮して波長帯域に異なる加重を行うか、一部の帯域を除外してもよい。

ステップＳ２０１２で、推定雲領域検出部２１は、画素の標準偏差を計算し、雲のエッジを含む画素（領域）を避けることによって厚い雲のみに被覆された領域を検出する。画素の標準偏差は、画素の強度の平均強度値からのばらつきを表す定量的測度である。推定雲領域検出部２１は、グレースケール強度画像から、式（１３）及び（１４）を用いてローカルウィンドウ内の各画素について標準偏差を計算する。

ｓｔｄ（ｉ，ｊ）は、ウインドウ内で画素（ｉ，ｊ）について計算された標準偏差である。ウインドウは、画素（ｉ，ｊ）の近傍にあるＮ_ｐ個の画素［Ｉ_１，・・・，Ｉ_ｌ］により構成される。Ｍ_ｉｊは、式（１３）を用いて計算されたウインドウ内の平均強度である。

ステップＳ２０１３で、推定雲領域検出部２１は、推定雲領域を検出するためテクスチャ測度を計算する。推定雲領域検出部２１は、テクスチャに基づいて雲の強度レベルの平坦度を量子化するフィルタを設計できる。画像のテクスチャは、グレーレベル同時生起行列（ＧＬＣＭ）によって量子化できる。ＧＬＣＭによって、エントロピー、コントラスト、偏差、平均などの異なる量が導出できる。最も望ましい測度はＧＬＣＭ平均である。推定雲領域検出部２１は、グレースケール強度画像より、画像中の全ての画素について、ローカルウィンドウ内の画素のＧＬＣＭ平均値を計算する。ステップＳ２０１３の詳細な説明を次に記載する。

推定雲領域検出部２１は、ＧＬＣＭの共起行列を作成する。行列の要素は、画像中に一定の変位δ＝（ｒ，θ）で強度レベルｉとｊが出現する頻度Ｐ_δ（ｉ，ｊ），（ｉ＝０，１，・・・，Ｑ−１，ｊ＝０，１，・・・，Ｑ−１）である。Ｑは、量子化された強度レベルである。ｒはｉとｊの間の距離、θは線ｉｊの水平軸に対する向きである。特徴量は行列から計算でき、画像の特徴情報（テクスチャなど）はこれらの値によって特徴付けられる。

ＧＬＣＭを決定する際に、０の多いスパースＧＬＣＭを回避するため入力強度レベルの量子化が推奨される。量子化段階（Ｑ）は、２から入力画像中の強度レベルまで変化し得る。最も望ましいのは、８段階の量子化である。ｉおよびｊは、画像中のＱ段階の量子化強度レベルに対応する。ＧＬＣＭから、式Ｓ２０１２を用いてＧＬＣＭ平均（Ｇ_ｍｅａｎ）が計算される。

Ｐ（ｉ，ｊ）は強度レベルのＧＬＣＭ値である。画像中で特定の距離において特定の向きにグレーレベルｉ及びグレーレベルｊの組み合わせが現れる頻度を示す。例えば、ＧＬＣＭにおける（７，２）の要素は、画像中で７と２の強度レベルが何度一緒に現れたかを示す。

向きには、水平（０°）、鉛直（９０°）、斜め１（４５°）又は斜め２（１３５°）がある。最も望ましい向きは、グレーレベル間が単位距離の水平（０°）である。Ｇ_ｍｅａｎは、ローカルウィンドウ内の画像中の各画素について計算される。

ステップＳ２０１４で、推定雲領域検出部２１は、雲によって被覆されている可能性のある領域を検出するためにＧＬＣＭ平均と標準偏差に対して閾値を設定する。標準偏差の閾値は（標準偏差の平均、“ＡＶＧＳＴＤ”と省略）、画像全体の標準偏差とするか、又は、以下のように計算されてもよい。

Ｋ_ｃは、範囲［０，１］の定数である。

ＧＬＣＭ平均の閾値は、全ての画素についてのＧＬＣＭ平均値の平均（“ＡＶＧＭＥＡＮ”と省略）として、あるいは以下のように選択されてもよい。

Ｋ_ｍは、範囲［０，１］の定数である。

Ｋ_ｍ及びＫ_ｃの初期値は０．５と定められてもよい。あるいは、細かい調整のために操作者によってこれらの値が設定されてもよい。

次に、ステップＳ２０１５〜Ｓ２０１６の動作は入力画像中の全ての画素のそれぞれについて繰り返される（∀画素）。

ステップＳ２０１５で、推定雲領域検出部２１は、ステップＳ２０１４で設定された閾値に基づいて、画像中の推定雲画素を他の物体からフィルタリングする。ステップＳ２０１４〜Ｓ２０１５は、推定雲領域検出用のフィルタを形成する。このフィルタに関する動作を以下に記載する。

推定雲画素をフィルタリングするには、標準偏差を用いることができる。雲の領域はほとんど同様の強度レベルで広範囲に広がるため、標準偏差のフィルタは、雲に被覆された画素の標準偏差は低いという前提に基づいている。画素の標準偏差が閾値よりも小さい場合（標準偏差＜閾値“ＡＶＧＳＴＤ”）、画素は一定の強度レベルの広い領域に属していることがある。つまり、画素は雲領域に存在する雲画素の可能性がある。標準偏差のフィルタは、海岸の砂地や小さな屋上などの一部のより明るい物体を排除するのにも役立つ。

特定の向きに特定の距離をおいて２つの強度レベルが頻出すると、ＧＬＣＭに高い要素値が与えられ、強度レベルの特定のパターンを示す。ＧＬＣＭの平均値では、ＧＬＣＭ値にそれぞれの強度レベルを加重している。雲は、可視光、近赤外線、短波赤外線の帯域に高い反射率を示すため、雲はグレースケール強度画像の中で非常に明るい外観となる。加えて、雲被覆は、画像中で大きな一続きの領域になる傾向がある。したがって、特定の向きに特定の距離で雲のグレーレベルが発生する頻度は高くなる。

これらの性質から、雲はＧＬＣＭ平均の画像中でより明るい外観を示す。雲の領域は、高いＧＬＣＭ平均値の領域が求められるようにＧＬＣＭ平均画像を二極化することによって識別できる。画素のＧＬＣＭ平均が閾値よりも大きい場合（ＧＬＣＭ平均＞閾値“ＡＶＧＭＥＡＮ”）、画素は一定のグレーレベルの広い領域に所属し得る。

したがって、ステップＳ２０１５において、推定雲領域検出部２１は、ステップＳ２０１４で設定される閾値を用いて、標準偏差が閾値未満でＧＬＣＭ平均が閾値よりも大きい画素を推定雲画素としてマークする。

ステップＳ２０１６で、画素が閾値未満の標準偏差又は閾値より大きいＧＬＣＭ平均を持ち、画素が厚い雲で被覆されていると決定された場合、推定雲領域検出部２１は、この画素を推定雲領域に加える。一方、画素が閾値以上の標準偏差又は閾値以下のＧＬＣＭ平均を持つ場合、この画素は厚い雲に被覆されているとは判断されない。そして、画素は推定雲領域に含まれず、全ての画素についてステップＳ２０１５及びＳ２０１６が完了するまで動作はＳ２０１５に戻る。

ステップＳ２０１７で、推定雲領域検出部２１は、推定雲画素とマークされた画素領域から小さな孤立領域を除去する。８つの連結画素を考慮してこの処理が行われてもよい。推定雲領域検出部２１は、推定雲領域を出力する。

以上が、推定雲領域検出部２１の具体的な動作と図９のステップＳ２０１の説明である。

＜＜第２の例示的実施形態の効果＞＞
第２の例示的実施形態は、第１の例示的実施形態の効果に加え、第１の例示的実施形態よりも更に有利な効果を有する。第１の例示的実施形態のように雲の領域を含む完全な画像がエンドメンバ抽出部１４に入力された場合、一部の雲スペクトルが追加で抽出されることがあり、続く分解部１５の工程で、雲スペクトル選択部１３により選択された雲の存在比を計算する際にそれらの雲スペクトルが混同されることがある。また、非特許文献１のように画像全体を用いることで、雲被覆を含む全画像から雲以外のエンドメンバのスペクトルを抽出するのにより長い時間がかかり、多くの資源を使用することがある。第２の例示的実施形態では、雲のピュア画素は雲のない領域には存在しないため、エンドメンバ抽出部１４は雲のない領域のみを入力として受け付け、雲スペクトルは追加で抽出されない。したがって、続く分解処理は、雲の存在比をより正確に推定できる。つまり、より正確に厚い雲の被覆を検出し、薄い雲に影響を受けた画素を修正することができる。

＜第３の例示的実施形態＞
第１と第２の例示的実施形態では、画像処理装置１００及び２００が入力画像中の厚い雲を検出し、薄い雲によって影響を受けた画素を修正できる。しかし、雲スペクトルメモリ１１から選択された雲スペクトルは、画像中に存在するスペクトルと完全には一致しないことがある。これは、雲スペクトルは変化に富むことと、大気状態の変化による。入力画像中の実際の雲スペクトルは、雲スペクトルメモリ１１に存在しない可能性がある。第３の例示的実施形態では、入力画像自体から雲スペクトルを抽出できる画像処理装置を説明する。

＜＜画像処理サーバ＞＞
図１１は、本発明に係わる第３の例示的実施形態の画像処理装置３００の構成を示すブロック図である。画像処理装置３００は、入力部１０、受信部１２、推定雲領域検出部２１、雲スペクトル抽出部３１、雲スペクトル選択部１３、エンドメンバ抽出部１４、分解部１５、閾値化部１６、厚雲マスク部１７、薄雲修正部１８及び出力部１９を含む。

受信部１２の動作は第１の例示的実施形態で説明されたものとほとんど同じであるが、入力が追加される。受信部１２は、操作者から画像中の異なる雲スペクトルの数を受信する。受信部１２は、異なる雲スペクトルの数を雲スペクトル抽出部３１に送る。

雲スペクトル抽出部３１は、雲スペクトル選択部１３が各画素について雲スペクトルを選択する前に、画像中に存在する雲スペクトルを抽出する。

雲スペクトル抽出部３１は、入力部１０からマルチスペクトル画像を獲得し、受信部１２から画像中に存在する雲の異なるスペクトルの数を獲得する。雲スペクトル抽出部３１は、互いに異なる雲の数と同じ数の雲画素のクラスタを見つけ出す。各クラスタは一つの雲形に対応する。雲スペクトル抽出部３１は、各クラスタより雲スペクトルを導出する。雲スペクトル抽出部３１は、ＧＬＣＭ平均値と、同じ雲形に属する画素はほとんど同じＧＬＣＭ平均値を示すという性質とに基づいて、雲画素のクラスタを決定できる。

あるいは、雲スペクトル抽出部３１は、雲によってのみ被覆される画素（領域）を見つけ出し、教師なし分解を行うことで、雲によって被覆された領域内から異なる雲形のクラスタを求めることができる。教師無し分解は、k−meansクラスタリング、mean shiftクラスタリング、isodataアルゴリズム及びＤＢＳＣＡＮ（Density−based spatial clustering of applications with noise）など、周知のアルゴリズムで行うことができる。

その他の各部は、第１及び第２の例示的実施形態の各部と同じである。

＜＜画像処理装置の動作＞＞
図１２は、画像処理装置３００の動作を示すフロー図を示す。

ステップＳ３００で、マルチスペクトル画像が入力される。

ステップＳ３０１の動作は、図９のステップＳ２０１（ステップＳ２０１０〜Ｓ２０１８）の動作と同じである。

ステップＳ３０２の動作は、図９のステップＳ２０２の動作と同じである。

ステップＳ３０３で、雲スペクトル抽出部３１は入力画像中に存在する雲スペクトルを抽出する。この動作の詳細は後述する。

ステップＳ３０４〜Ｓ３１０の動作は、図４のステップＳ１０１〜Ｓ１０７の動作とそれぞれ同じである。

次に、上述したステップＳ３０３の動作を詳細に説明する。図１３はステップＳ３０３の動作のフロー図を示す。

ステップＳ３０３０で、雲スペクトル抽出部３１は入力部１０から入力されたマルチスペクトル画像を受信し、受信部１２から画像中に存在する異なる雲（Ｎ_ｃ）の数を受信する。画像中に異なる雲スペクトルを見つけ出すには、異なるクラスタが異なる雲形又は雲層に対応するように、特定された雲の数Ｎ_ｃと同数の第１の雲の画素のクラスタが決定される。雲スペクトルはそれぞれのクラスタから抽出できる。

ステップＳ３０３１及びＳ３０３２の動作は、図１０のステップＳ２０１１及びＳ２０１３の動作とそれぞれ同じである。

ステップＳ３０３３で、雲スペクトル抽出部３１は画像中の各画素のＧＬＣＭ平均を０〜２５５（８ビット）の範囲の整数に調整する。８ビットの整数への調整は一例に過ぎず、ＧＬＣＭ平均画像は調整せずに処理されても、あるいは、他の範囲に調整して処理されてもよい。

ステップＳ３０３４で、雲スペクトル抽出部３１は、入力画像中のＧＬＣＭ平均値のヒストグラムを導出し、ヒストグラムのピークを検出し、ＧＬＣＭ平均値のヒストグラム中のピークに基づいて入力画像中に存在する一つ以上の雲のクラスタを形成し、入力画像中に存在するそれぞれが各クラスタから取得された一つ以上の雲スペクトルを一式の代表スペクトルとして導出することで、入力画像中に存在する雲スペクトルを抽出する。より具体的には、雲スペクトル抽出部３１は調整されたＧＬＣＭ平均画像からヒストグラムを導出する。ＧＬＣＭの平均では、テクスチャ測度にグレーレベルを加重している。したがって、全ての雲領域が類似テクスチャを有するとしても、グレーレベルが異なる場合、異なる大きさのＧＬＣＭ平均が示される。雲は広範囲にわたるため、多数の画素が類似したＧＬＣＭ平均値を示す。この性質はヒストグラムを用いて量子化できる。

ステップＳ３０３５で、雲スペクトル抽出部３１は、ヒストグラム中の各グレーレベルのピーク度を計算する。類似したグレーレベルを有する多数の画素は、ヒストグラム中で複数のピークを示す。したがって、ＧＬＣＭ平均画像のヒストグラムの各ピークは、画像中の各クラスタを定める。画像中の異なる雲形又は雲層は、ＧＬＣＭ平均の大きさが異なるため、ＧＬＣＭ平均画像のヒストグラム中で異なるピークを示す。式（１８）によって与えられるピーク度測度に基づいてヒストグラム中の極大値（ピーク）を決めることができる。

“Ｖ_ａ”はピーク前最近の谷の高さ、“Ｖ_ｂ”はピーク後最近の谷の高さ、Ｐはピークの高さ、Ｑはピークの広がりで、ピークに近隣した谷と谷との間の距離とみなされる。与えられた問題の文脈では、ＧＬＣＭ平均画像のヒストグラムは多くのグレーレベルがゼロとなりスパースである。したがって、ピーク度の計算には、近隣のゼロでない谷が考慮される。ステップＳ３０３５で、雲スペクトル抽出部３１は、全てのグレーレベルについてピーク度を計算する。

ステップＳ３０３６で、雲スペクトル抽出部３１は、閾値に基づいてヒストグラム中の極大値（ピーク）を決定する。所定の閾値よりも大きなピーク度を有するグレーレベルはヒストグラム中の極大値（ピーク）と考えられる。

ステップＳ３０３７で、雲スペクトル抽出部３１は、ＧＬＣＭ平均画像中で雲に相当するグレーレベルである雲の種を決定する。第２の例示的実施形態で記載したように、画像中で雲は他の物体より大きなＧＬＣＭ平均を示す。したがって、ＧＬＣＭ平均のヒストグラムにおいてより高い強度レベルの範囲にあるピークは、雲に属する画素に相当する可能性が高い。ステップＳ３０３７で、ヒストグラム中の最も高いＧＬＣＭ平均レベルから始まり、ピークに相当する上位Ｎ_ｃ個のＧＬＣＭ平均レベルが、異なる雲形又は雲層に対応する中心ＧＬＣＭ平均レベルとみなされる。これらのＧＬＣＭ平均レベルは、本例示的実施形態において雲の種と呼ばれる。

ステップＳ３０３８で、ＧＬＣＭ平均の大きさが種のＧＬＣＭ平均レベルと同じ全ての画素はコア雲画素とマークされる。コア画素は、種に対応する雲画素のクラスタを形成する。異なる雲クラスタは、全ての種のＧＬＣＭ平均レベルに対応するコア画素を識別することで定義される。

ステップＳ３０３９で、雲スペクトル抽出部３１は、異なる雲のクラスタから雲スペクトルを導出する。クラスタから雲スペクトルを導出する適切な方法の幾つかは以下の通りである：
i． クラスタの平均スペクトル、
ii． クラスタ中の最も明るい画素のスペクトル、又は
iii． クラスタ中の上位幾つかの明るい画素の平均

ステップＳ３０４０で、雲スペクトル抽出部３１は、入力画像中に存在する雲スペクトルを出力し、これらを雲スペクトル選択部１３に送る。

以上が、雲スペクトル抽出部３１の具体的な動作と図１２のステップＳ３０３の説明である。

＜＜第３の例示的実施形態の効果＞＞
本発明に係わる第３の例示的実施形態は、第１と第２の例示的実施形態の効果を有し、さらに第１の例示的実施形態よりも有利な効果を有する。第３の例示的実施形態の画像処理装置３００は、雲スペクトルのデータベース又はメモリからのスペクトルを用いる代わりに、画像自体から異なる雲スペクトルを抽出する。全ての画像は環境状態の影響を受け、地形や太陽の上昇を様々に捉えるため、入力画像から雲スペクトルを抽出することで、雲スペクトルのより良い推定ができる。このように、データベース中のスペクトルは入力画像中の実際の雲スペクトルと完全には一致しないことがある。この制約は入力画像自体から雲スペクトルを抽出することで取り除くことができる。つまり、雲スペクトル抽出部３１はより正確な雲スペクトルを提供し、雲に被覆された画素の検出と修正の正確性を向上させる。

＜第４の例示的実施形態＞
第１から第３の例示的実施形態において、画像処理装置１００、２００及び３００は、入力画像が複数の雲形又は雲層を含む場合でも、入力画像中の厚い雲を検出し、薄い雲によって影響を受けた画素を修正することができる。第３の例示的実施形態では、画像処理装置３００は入力画像自体から入力画像に存在する雲スペクトルを抽出するが、画像中の雲形又は雲層の数を自動的に決定できない。第４の例示的実施形態では、入力画像中の雲形又は雲層の数を導出する画像処理装置を説明する。

＜＜画像処理装置＞＞
図１４は、本発明に係わる第４の例示的実施形態の画像処理装置４００の構成を示すブロック図である。画像処理装置４００は、入力部１０、受信部１２、推定雲領域検出部２１、雲スペクトル抽出部３１ａ、雲形計数部４１、雲スペクトル選択部１３、エンドメンバ抽出部１４ａ、分解部１５、閾値化部１６、厚雲マスク部１７、薄雲修正部１８及び出力部１９を含む。

雲形計数部４１は、入力画像中に存在する雲スペクトルを計数する。雲形計数部４１は、入力画像中の有意な雲形又は雲層の数を、入力画像自体から自動的に決定する。

雲形計数部４１は、推定雲領域検出部２１から推定雲領域及びＧＬＣＭ平均画像を獲得する。推定雲領域内の画素のＧＬＣＭ平均画像のヒストグラム中にある極大値（ピーク）の数によって、入力画像中の雲形の数の推定が可能になる。

雲スペクトル抽出部３１ａは、雲スペクトル抽出部３１とほとんど同じように動作するが、入力画像中に存在する雲スペクトルの計数に基づいて、入力画像から入力画像中に存在する一つ以上の雲の少なくとも一つのスペクトルを抽出するところが異なる。

他の各部は第１から第３の例示的実施形態の各部と同じである。

＜＜画像処理装置の動作＞＞
図１５は、画像処理装置４００の動作を示すフロー図を示す。

ステップＳ４００の動作は、図１２のステップＳ３００の動作と同じである。

ステップＳ４０１の動作は、図９のステップＳ２０１（Ｓ２０１０〜Ｓ２０１８）の動作と同じである。

ステップＳ４０２で、雲形計数部４１は、入力画像中の有意な雲形又は雲層の数を決定する。この動作の詳細は後述する。

ステップＳ４０３で、動作は図１２のステップＳ３０２（Ｓ３０３０〜Ｓ３０４０）と同じであるが、雲スペクトル抽出部３１ａが雲形計数部４１から雲形の数を獲得するところが異なる。

ステップＳ４０４の動作は、図９のステップＳ２０２の動作と同じである。

ステップＳ４０５〜Ｓ４１１の動作は、それぞれ図４のステップＳ１０１〜Ｓ１０７の動作と同じである。

以上が画像処理装置４００の動作である。

次に、上述した雲形計数部４１によって操作されるステップＳ４０２の詳細を説明する。図１６は、図１５のステップＳ４０２の詳細なフロー図を示す。

ステップＳ４０２０で、雲形計数部４１は、推定雲領域検出部２１からの入力として、入力画像のＧＬＣＭ平均及び推定雲領域を受信する。

ステップＳ４０２１において、動作は図１３のステップＳ３０３３と同じである。

ステップＳ４０２２で、雲形計数部４１は、推定雲領域のみの画素を用いて、調整されたＧＬＣＭ平均画像のヒストグラムを導出する。第２から第４の例示的実施形態で解説したように、推定雲領域は雲のみに影響を受けた画素を有するため、このヒストグラム中のピークは異なる雲形又は雲層に対応する。したがって、推定雲領域の画素について、調整されたＧＬＣＭ平均のヒストグラム中のピークの数によって、入力画像中に存在する雲形又は雲層の数が与えられる。

ステップＳ４０２３の動作は、図１３のステップＳ３０３５の動作と同じである。

ステップＳ４０２４で、雲形計数部４１はピーク度が閾値よりも大きいグレーレベルを計数する。

ステップＳ４０２５で、計数は入力画像中の雲形又は雲層の数として受け入れられる。

ステップＳ４０２６で、雲形計数部４１はこの計数を雲スペクトル抽出部３１に送る。

以上が、雲形計数部４１の具体的な動作と図１５のステップＳ４０２の説明である。

＜＜第４の例示的実施形態の効果＞＞
第４の例示的実施形態では、第３の例示的実施形態の手動での入力とは異なり、画像中の異なる雲形又は雲層の数が自動的に決定される。手動入力の場合は、２つの雲形の違いが僅かな場合、画像中の雲形の手動計数は不正確になる可能性がある。この制約は、第４の例示的実施形態で雲形の数を自動的に決定することで克服され、雲によって影響を受けた画素の検出と修正の正確性が向上することが提供される。

＜第５の例示的実施形態＞
本発明に係わる第５の例示的実施形態の画像処理装置５００は、第１から第４の例示的実施形態に係わる画像処理装置の最小構成を含む。

図１７は、本発明に係わる第５の例示的実施形態の画像処理装置５００の構成を示すブロック図である。画像処理装置５００は、雲スペクトル選択部５０１、エンドメンバ抽出部５０２及び分解部５０３を含む。

雲スペクトル選択部５０１は、入力画像中に存在する一つ以上の雲スペクトルから各画素に関して少なくとも一つのスペクトルを選択する。

エンドメンバ抽出部５０２は、入力画像から一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出する。

分解部５０３は、入力画像中の各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比及び一つ以上の雲のうち一つの選択されたスペクトルの存在比を導出する。

第５の例示的実施形態の画像処理装置５００は、画像中に複数の雲形又は雲層が存在する場合でも、雲によって影響を受けた領域を正確に検出し、雲の影響を修正できる技術を提供できる。これは、雲スペクトル選択部５０１が入力画像中に存在する一つ以上の雲スペクトルから各画素について少なくとも一つのスペクトルを選択し、エンドメンバ抽出部５０２が入力画像から一つ以上のエンドメンバのスペクトルを抽出し、分解部５０３が各画素について一つ以上のエンドメンバのそれぞれのスペクトルの存在比及び一つ以上の雲のうち一つの選択されたスペクトルの存在比を導出することに起因する。

＜情報処理装置の構成＞
図１８は、一例として、本発明の例示的実施形態に関連した画像処理装置を実装できる情報処理装置９００（コンピュータ）の構成を図示する。つまり、図１８は、図１、８、１１及び１４の装置を実装できるコンピュータ（情報処理装置）の構成を図示し、上述した例示的実施形態の個々の機能が実装できるハードウェア環境を表す。

図１８に図説する情報処理装置９００は、以下の構成要素を含む：
・ＣＰＵ９０１（Central_Processing_Unit）、
・ＲＯＭ９０２（Read_Only_Memory）、
・ＲＡＭ９０３（Random_Access_Memory）、
・ハードディスク９０４（記憶装置）、
・外部装置への通信インタフェース９０５、
・ＣＤ‐ＲＯＭ（Compact_Disc_Read_Only_Memory）などの記憶媒体９０７に記憶されたデータを読み書きできるリーダ／ライタ９０８、及び
・入力／出力インタフェース９０９。

情報処理装置９００は、これらの構成要素がバス９０６（通信回線）を介して接続された一般的なコンピュータである。

上述した例示的実施形態を一例として説明された本発明は、図１８に図示された情報処理装置９００に対して、各例示的実施形態の説明中で参照されたブロック図（図１、８、１１及び１４）又はフロー図（図４、９、１０、１２、１３、１５および１６）に図示される機能を実施可能なコンピュータプログラムを提供し、コンピュータプログラムをこのようなハードウェア中のＣＰＵ９０１に読み込んで、解読、実行することで実現される。装置に提供されるコンピュータプログラムは、揮発性の読み書き可能な記憶装置（ＲＡＭ９０３）又はハードディスク９０４などの不揮発性記憶装置に記憶できる。

また、上述の場合にコンピュータプログラムをこのようなハードウェアに提供するのには、一般的な手順を用いればよい。これら手順は、例えば、ＣＤ−ＲＯＭなどの各種記憶媒体９０７のいずれかを介してコンピュータプログラムを装置にインストールすること、又は、インターネットなどの通信回線を介して外部ソースからダウンロードすることを含む。このような場合には、本発明は、このようなコンピュータプログラムを形成するコードから構成される、あるいは、コードを記憶する記憶媒体９０７から構成されるとみなすことができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択する雲スペクトル選択手段と、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出するエンドメンバ抽出手段と、及び、
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出する分解手段
とを備える雲被覆を検出及び修正するための画像処理装置。
（付記２）
前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類する閾値化手段
をさらに備える付記１に記載の画像処理装置。
（付記３）
前記入力画像から推定雲被覆を検出する、推定雲領域検出手段をさらに備え、
前記エンドメンバ抽出手段は前記一つ以上のエンドメンバを前記推定雲領域として検出されていない領域から抽出する
付記１又は２に記載の画像処理装置。
（付記４）
前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリをさらに備え、
前記雲スペクトル選択手段は前記雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択する、
付記１から３のいずれか一つに記載の画像処理装置。
（付記５）
前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出する雲スペクトル抽出手段をさらに備え、
前記雲スペクトル選択手段は雲スペクトルから少なくとも一つのスペクトルを選択し、前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
付記１から３のいずれか一つに記載の画像処理装置。
（付記６）
前記推定雲領域検出手段は、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の前記雲被覆を推定する、
付記３に記載の画像処理装置。
（付記７）
前記入力画像中に存在する前記雲スペクトルを計数する雲形計数手段をさらに備え、
前記雲スペクトル抽出手段は、前記雲形計数手段によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出する、
付記４に記載の画像処理装置。
（付記８）
前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラムを導出し、
前記ヒストグラム中のピークを検出し、
前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
前記雲スペクトル抽出手段は前記入力画像中に存在する前記雲スペクトルを抽出する
付記５に記載の画像処理装置。
（付記９）
前記厚い雲によって被覆された画素をマスクする厚雲マスク手段と、
前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正する薄雲修正手段とをさらに備える、付記２に記載の画像処理装置。
（付記１０）
前記推定雲領域検出手段は、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させる、
付記３又は付記６に記載の画像処理装置。
（付記１１）
前記推定雲領域検出手段は、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出する、
付記３、６、及び１０のいずれか一つに記載の画像処理装置。
（付記１２）
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
を含む雲被覆を検出及び修正する画像処理方法。
（付記１３）
前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類することをさらに含む
付記１２に記載の方法。
（付記１４）
前記入力画像から推定雲被覆を検出することをさらに含み、
前記一つ以上のエンドメンバのスペクトルを抽出することは、前記一つ以上のエンドメンバを前記推定雲領域として検出されていない領域から抽出することを含む
付記１２又は１３に記載の方法。
（付記１５）
前記各画素に対して少なくとも一つのスペクトルを選択することは、前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択することを含む
付記１２から１４のいずれか一つに記載の方法。
（付記１６）
前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することを更に含み、
前記各画素に対して少なくとも一つのスペクトルを選択することは、前記雲スペクトルから少なくとも一つのスペクトルを選択することを含み、前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
付記１２から１４のいずれか一つに記載の方法。
（付記１７）
前記推定雲被覆を検出することは、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の雲被覆を推定することを含む、
付記１４に記載の方法。
（付記１８）
前記入力画像中に存在する前記雲スペクトルを計数することをさらに含み、
前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、前記雲スペクトルの計数によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出することを含む、
付記１５に記載の方法。
（付記１９）
前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、
前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラム導出し、
前記ヒストグラム中のピークを検出し、
前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
、前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
前記入力画像中に存在する前記雲スペクトルを抽出することを含む
付記１６に記載の方法。
（付記２０）
前記厚い雲によって被覆された画素をマスクすること、および、
前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正すること
をさらに含む付記１３に記載の方法。
（付記２１）
前記推定雲被覆を検出することは、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させることを含む
付記１４又は付記１７に記載の方法。
（付記２２）
前記推定雲被覆を検出することは、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出することを含む
付記１４、１７、及び２１のいずれか一つに記載の方法。
（付記２３）
入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
を含むコンピュータに雲被覆を検出及び修正させる画像処理プログラムを記憶する記憶媒体。
（付記２４）
前記プログラムは前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類すること
をさらに含む付記２３に記載の記憶媒体。
（付記２５）
前記プログラムは前記入力画像から推定雲被覆を検出することをさらに含み、
前記一つ以上のエンドメンバのスペクトルを抽出することは、前記推定雲領域として検出されていない領域から前記一つ以上のエンドメンバを抽出すること
を含む付記２３又は２４に記載の記憶媒体。
（付記２６）
前記各画素に対して少なくとも一つのスペクトルを選択することは、前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択することを含む
付記２３から２５のいずれか一つに記載の記憶媒体。
（付記２７）
前記プログラムは前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することを更に含み、
前記各画素に対して少なくとも一つのスペクトルを選択することは、前記雲スペクトルから少なくとも一つのスペクトルを選択することを含み、前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
付記２３から２５のいずれか一つに記載の記憶媒体。
（付記２８）
前記推定雲被覆を検出することは、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の前記雲被覆を推定することを含む、
付記２５に記載の記憶媒体。
（付記２９）
前記プログラムは前記入力画像中に存在する前記雲スペクトルを計数することをさらに含み、
前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、前記雲スペクトルの計数によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出することを含む、
付記２６に記載の記憶媒体。
（付記３０）
前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、
前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラムを導出し、
前記ヒストグラム中のピークを検出し、
前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
前記入力画像中に存在する前記雲スペクトルを抽出すること
を含む付記２７に記載の記憶媒体。
（付記３１）
前記プログラムは、前記厚い雲によって被覆された画素をマスクすること、および、
前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正すること
をさらに含む付記２４に記載の記憶媒体。
（付記３２）
前記推定雲被覆を検出することは、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させる
ことを含む付記２５又は付記２８に記載の記憶媒体。
（付記３３）
前記推定雲被覆を検出することは、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出する
ことを含む付記２５、２８及び３２のいずれか一つに記載の記憶媒体。

例示的実施形態の上記説明は、当業者が本発明を作成、使用できるように提供されている。さらに、これら例示的実施形態の各種変形例は、当業者が容易に理解できるであろう。本明細書中で定義された一般的原理や特定の例は、発明的想起を伴わずにその他の例示的実施形態に適用し得る。したがって、本発明は本明細書中に記載された例示的実施形態には制限されず、特許請求の範囲及び均等物の制約により定義される最も広い範囲に一致する。なお、特許請求の範囲が審査中に補正された場合でも、本願発明の全ての均等物が保持されることが本発明家の意図である。

本発明は、衛星画像の撮像の際に生じる環境影響を、高度な衛星画像処理操作の前に補正するための前処理ツールとして適用できる。

０１：入力部
０２：受信部
０３：雲スペクトル抽出部
０４：エンドメンバ抽出部
０５：分解部
０６：薄雲修正部
０７：出力部
１０：入力部
１１：雲スペクトルメモリ
１２：受信部
１３：雲スペクトル選択部
１４、１４ａ：エンドメンバ抽出部
１５：分解部
１６：閾値化部
１７：厚雲マスク部
１８：薄雲修正部
１９：出力部
２１：推定雲領域検出部
３１、３１ａ：雲スペクトル抽出部
４１：雲形計数部
１００：画像処理装置
２００：画像処理装置
３００：画像処理装置
４００：画像処理装置
９００：情報処理装置
９０１：ＣＰＵ
９０２：ＲＯＭ
９０３：ＲＡＭ
９０４：ハードディスク
９０５：通信インタフェース
９０６：バス
９０７：記憶媒体
９０８：リーダ／ライタ
９０９：入出力インタフェース

Claims (33)

1. 入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択する雲スペクトル選択手段、
   前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出するエンドメンバ抽出手段、及び、
   前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出する分解手段
   を備える、雲被覆を検出及び修正するための画像処理装置。
2. 前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類する閾値化手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記入力画像から推定雲被覆を検出する、推定雲領域検出手段をさらに備え、
   前記エンドメンバ抽出手段は前記一つ以上のエンドメンバを前記推定雲領域として検出されていない領域から抽出する
   請求項１又は２に記載の画像処理装置。
4. 前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリをさらに備え、
   前記雲スペクトル選択手段は前記雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択する、
   請求項１から３のいずれか一つに記載の画像処理装置。
5. 前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出する雲スペクトル抽出手段をさらに備え、
   前記雲スペクトル選択手段は雲スペクトルから少なくとも一つのスペクトルを選択し、前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
   請求項１から３のいずれか一つに記載の画像処理装置。
6. 前記推定雲領域検出手段は、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の前記雲被覆を推定する、
   請求項３に記載の画像処理装置。
7. 前記入力画像中に存在する前記雲スペクトルを計数する雲形計数手段をさらに備え、
   前記雲スペクトル抽出手段は、前記雲形計数手段によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出する、
   請求項４に記載の画像処理装置。
8. 前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラムを導出し、
   前記ヒストグラム中のピークを検出し、
   前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
   前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
   前記雲スペクトル抽出手段は前記入力画像中に存在する前記雲スペクトルを抽出する
   請求項５に記載の画像処理装置。
9. 前記厚い雲によって被覆された画素をマスクする厚雲マスク手段、および、
   前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正する薄雲修正手段
   をさらに備える、請求項２に記載の画像処理装置。
10. 前記推定雲領域検出手段は、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させる、
    請求項３又は請求項６に記載の画像処理装置。
11. 前記推定雲領域検出手段は、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出する、
    請求項３、６、及び１０のいずれか一つに記載の画像処理装置。
12. 入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
    前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
    前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
    とを含む、雲被覆を検出及び修正するための画像処理方法。
13. 前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類する
    ことをさらに含む請求項１２に記載の方法。
14. 前記入力画像から推定雲被覆を検出することをさらに含み、
    前記一つ以上のエンドメンバのスペクトルを抽出することは、前記一つ以上のエンドメンバを前記推定雲領域として検出されていない領域から抽出する
    ことを含む請求項１２又は１３に記載の方法。
15. 前記各画素に対して少なくとも一つのスペクトルを選択することは、前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択する
    ことを含む請求項１２から１４のいずれか一つに記載の方法。
16. 前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することを更に含み、
    前記各画素に対して少なくとも一つのスペクトルを選択することは、前記雲スペクトルから少なくとも一つのスペクトルを選択することを含み、前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
    請求項１２から１４のいずれか一つに記載の方法。
17. 前記推定雲被覆を検出することは、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の雲被覆を推定する
    ことを含む、請求項１４に記載の方法。
18. 前記入力画像中に存在する前記雲スペクトルを計数することをさらに含み、
    前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、前記雲スペクトルの計数によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出する
    ことを含む、請求項１５に記載の方法。
19. 前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、
    前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラム導出し、
    前記ヒストグラム中のピークを検出し、
    前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
    前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
    前記入力画像中に存在する前記雲スペクトルを抽出する
    ことを含む請求項１６に記載の方法。
20. 前記厚い雲によって被覆された画素をマスクすること、および、
    前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正すること
    をさらに含む請求項１３に記載の方法。
21. 前記推定雲被覆を検出することは、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させる
    ことを含む請求項１４又は請求項１７に記載の方法。
22. 前記推定雲被覆を検出することは、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出する
    ことを含む請求項１４、１７、及び２１のいずれか一つに記載の方法。
23. 入力画像中に存在する一つ以上の雲スペクトルから各画素に対して少なくとも一つのスペクトルを選択すること、
    前記入力画像のスペクトルから、前記一つ以上の雲以外の一つ以上のエンドメンバのスペクトルを抽出すること、及び、
    前記入力画像中の前記各画素について、一つ以上のエンドメンバのそれぞれのスペクトルの存在比と、前記一つ以上の雲のうち一つの選択されたスペクトルの存在比とを導出すること
    を含む、コンピュータに雲被覆を検出及び修正させることを実行させるための画像処理プログラムを記憶する記憶媒体。
24. 前記プログラムは前記一つ以上の雲のうち一つの前記選択されたスペクトルの前記存在比と特定の閾値とを比較し、前記各画素を厚い雲又は薄い雲に分類する
    ことをさらに含む請求項２３に記載の記憶媒体。
25. 前記プログラムは前記入力画像から推定雲被覆を検出することをさらに含み、
    前記一つ以上のエンドメンバのスペクトルを抽出することは、前記推定雲領域として検出されていない領域から前記一つ以上のエンドメンバを抽出する
    ことを含む請求項２３又は２４に記載の記憶媒体。
26. 前記各画素に対して少なくとも一つのスペクトルを選択することは、前記入力画像中に観察される可能性がある一つ以上の雲の複数のスペクトルを記憶する雲スペクトルメモリの前記スペクトルから前記一つ以上の雲の少なくとも一つのスペクトルを選択する
    ことを含む請求項２３から２５のいずれか一つに記載の記憶媒体。
27. 前記プログラムは前記入力画像から前記入力画像中に存在する前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することを更に含み、
    前記各画素に対して少なくとも一つのスペクトルを選択することは、前記雲スペクトルから少なくとも一つのスペクトルを選択することを含み、
    前記雲スペクトルは抽出された前記一つ以上の雲の前記スペクトルの一つである、
    請求項２３から２５のいずれか一つに記載の記憶媒体。
28. 前記推定雲被覆を検出することは、前記入力画像中の前記各画素が推定雲領域の一部か否かを分類するために、標準偏差及びテクスチャ平均の空間‐スペクトルフィルタを用いることで前記入力画像中の前記雲被覆を推定する
    ことを含む、請求項２５に記載の記憶媒体。
29. 前記プログラムは前記入力画像中に存在する前記雲スペクトルを計数することをさらに含み、
    前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、前記雲スペクトルの計数によって計数された前記入力画像中に存在する前記雲スペクトルの数に基づいて、前記入力画像から前記入力画像中に存在する前記一つ以上の雲スペクトルの少なくとも一つを抽出する
    ことを含む、請求項２６に記載の記憶媒体。
30. 前記一つ以上の雲の少なくとも一つの前記スペクトルを抽出することは、
    前記推定雲領域のみについて前記入力画像中のＧＬＣＭ平均画像のヒストグラムを導出し、
    前記ヒストグラム中のピークを検出し、
    前記推定雲領域のＧＬＣＭ平均の前記ヒストグラム中の前記ピークに基づいて、前記入力画像中に存在する前記一つ以上の雲のクラスタを形成し、及び
    前記入力画像中で憤慨する前記一つ以上の雲の前記スペクトルを、各スペクトルが前記クラスタのそれぞれから取得された代表スペクトル一式として導出することで、
    前記入力画像中に存在する前記雲スペクトルを抽出する
    ことを含む請求項２７に記載の記憶媒体。
31. 前記プログラムは、前記厚い雲によって被覆された画素をマスクすること、および、
    前記薄い雲によって被覆された各画素の前記存在比に基づいて、前記薄い雲を修正すること
    をさらに含む請求項２４に記載の記憶媒体。
32. 前記推定雲被覆を検出することは、スペクトル指数に基づいて形状フィルタ及び特定の土地利用のフィルタを用いることで、前記入力画像中の前記雲被覆の推定を向上させる
    ことを含む請求項２５又は請求項２８に記載の記憶媒体。
33. 前記推定雲被覆を検出することは、前記入力画像中の各波長帯域に加重し、又は、一以上の波長帯域を除外することによって、前記推定雲被覆を推定するためにグレースケール強度画像を導出する
    ことを含む請求項２５、２８及び３２のいずれか一つに記載の記憶媒体。

Images