JP2019185787A - 地理的地域内のコンテナのリモート決定 - Google Patents

Abstract

【課題】空中撮像装置からの画像を処理するための方法およびシステムを提供すること。【解決手段】方法は、第１の解像度を有する地理的領域の第１の画像を受信するステップを含む。方法は、関心オブジェクトを含む関心領域を識別するために、第１の画像を機械学習モデルに送信する。方法は、第１の解像度よりも高い第２の解像度を有する地理的領域の第２の画像を受信する。方法は、関心領域が関心オブジェクトを含む尤度を決定するために、第２の画像を機械学習モデルに送信する。方法は、尤度が閾値を下回る場合、第１の解像度を有する画像内の関心領域に対応する特徴を除去するように、機械学習モデルをトレーニングする。方法は、尤度が閾値を超える場合、関心オブジェクトの視覚的表現をユーザ装置に送信する。【選択図】 図１

Description

本開示は、一般に、低解像度画像の画像処理に関し、詳細には、空中撮像装置によって捕獲された低解像度画像を使用して、地理的領域内のリモートオブジェクトを識別することに関する。

関連出願の相互参照
本出願は、その全体が参照によって組み込まれる、２０１６年４月８日に出願された米国特許仮出願第６２／３２０３８７号明細書の利益を主張する、２０１７年３月２７日に出願された同時係属中の米国特許出願第１５／４７０５４３号明細書の一部継続出願である。

いくつかの応用例は、画像内のオブジェクト、例えば、衛星によって捕獲（ｃａｐｔｕｒｅ）された空中画像内の様々なオブジェクトを識別するために、空中画像を解析する。高解像度画像の解析は、相対的に簡単な技法を使用して実行されることができる。高解像度空中画像の獲得は、一般に、大きい高価な衛星の使用および結果を必要とする。これらの衛星は、一般に、大量のリソースを必要とする。例えば、そのような衛星は、高空間解像度カメラ、高価なトランスポンダ、および高度なコンピュータなど、高性能で高価な機器を搭載している。高価な撮像衛星と関連付けられたコストに寄与する他の要因は、打ち上げコストおよび保守である。高価な高空間解像度撮像衛星は、地上施設から監視されなければならず、それは、高価な人的資源を必要とする。これらの衛星は、損傷またはコストのかかる故障時間を招きやすくもある高価な撮像衛星の高い打ち上げコストおよび開発コストは、オブジェクト検出のための新しいまたはアップグレードされた衛星画像および通信サービスの導入において遅滞をもたらす。

画像を捕獲するために、より安価な低空間解像度撮像衛星が使用されてよい。
しかしながら、そのような衛星は、不鮮明な画像を提供する。低解像度画像においては、コンテナまたはタンクなどのオブジェクトは、一般に、鮮明に識別可能ではなく、しばしば、少数の隣接ピクセルを含むブロブとして現れる。赤外バンド画像などの他の例においては、画像は、人間にまったく見えないことがある。

開示される実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかな利点および特徴を有する。図についての簡潔な導入は、以下の通りである。

実施形態に従った、リモートコンテナ解析システムが動作する例示的なシステム環境のブロック図である。 実施形態に従った、リモートコンテナ解析システムのための例示的なシステムアーキテクチャのブロック図である。 実施形態に従った、リモートコンテナ解析システムのための例示的なポジティブトレーニングセットを示す図である。 実施形態に従った、リモートコンテナ解析システムのための例示的なネガティブトレーニングセットを示す図である。 実施形態に従った、雲被覆検出のための例示的なポジティブトレーニングセットを示す図である。 実施形態に従った、雲被覆検出のための例示的なネガティブトレーニングセットを示す図である。 実施形態に従った、リモートコンテナ解析システム内の機械学習モデルをトレーニングするための例示的なプロセスを示す図である。 実施形態に従った、雲被覆検出を実行するように機械学習モデルをトレーニングするための例示的な適合率対再現率曲線を示す図である。 実施形態に従った、リモートオブジェクトを識別するためのリモートコンテナ解析システムについての例示的なプロセスを示す図である。 実施形態に従った、リモートオブジェクトの満たされた容積を決定するためのリモートコンテナ解析システムについての例示的なプロセスを示す図である。 実施形態に従った、雲被覆検出のための、およびリモートオブジェクトの満たされた容積を決定するための例示的なプロセスを示す図である。 実施形態に従った、理想化された画像の例示的な合成を示す図である。 実施形態に従った、例示的な円射影方程式のセットを示す図である。 実施形態に従った、例示的な理想化された画像のセットを示す図である。 実施形態に従った、コンテナの例示的な受信された画像を示す図である。 実施形態に従った、受信された画像のための例示的な画像勾配を示す図である。 実施形態に従った、理想化された画像内のコンテナの上縁の例示的な輪郭を示す図である。 実施形態に従った、理想化された画像内のコンテナの内表面上の影の例示的な輪郭を示す図である。 マシン可読媒体から命令を読み、それらをプロセッサまたはコントローラにおいて実行することができる例示的なマシンのコンポーネントを示すブロック図である。

図および以下の説明は、もっぱら例示として、好ましい実施形態に関連する。以下の説明から本明細書において開示される構造および方法の代替的実施形態は、特許請求されるものの原理から逸脱することなく、利用されてよい実行可能な代案として容易に認識されることが留意されるべきである。

その例が添付の図において示されるいくつかの実施形態に対する言及が、今から詳細に行われる。実施可能である場合は常に、類似または同様の参照番号が、図中で使用されてよく、類似または同様の機能性を示してよいことが留意される。図は、もっぱら例示の目的で、開示されるシステム（または方法）の実施形態を示す。当業者は、本明細書において示される構造および方法の代替的実施形態が、本明細書において説明される原理から逸脱することなく利用されてよいことを以下の説明から容易に認識する。

構成概要
例示的な実施形態によって、広大な地理的地域（例えば、国）にわたって、浮き屋根構造を有する円筒形のコンテナまたはタンクなどのリモートオブジェクトを識別し、リモートオブジェクトの満たされた容積を決定するための、システム、方法、および／またはコンピュータプログラム製品（例えば、１つもしくは複数の処理ユニットによって実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体）が開示される。

例示的な一実施形態においては、リモートコンテナ解析システムは、衛星、ドローン、または他の構成された空中撮像システムなどの空中撮像装置から、地理的領域の画像を受信する。画像は、低解像度を有してよく、例えば、パンクロマティックバンドにおけるピクセル当たり１５メートル（ｍ）のランドサット画像である。システムは、浮き屋根構造を有する円筒形のコンテナまたはタンクなど、画像内の関心オブジェクトを含む関心領域を識別するために、画像を機械学習モデルに送信する。そのようなタンクは、一般に、クラスタまたは「タンクファーム」において見出される。システムは、地理的領域の第２の画像を受信する。第２の画像は、第１の画像よりも高い解像度、例えば、ピクセル当たり５０ｃｍを有する。システムは、関心領域が関心オブジェクトを含む尤度を決定するために、第２の画像を機械学習モデルに送信してよい。関心領域が関心オブジェクトを含まないなど（フォールスポジティブ）、尤度が閾値を下回る場合、機械学習モデルは、第１の解像度を有する画像内の関心領域に対応する特徴を除去し、尤度が閾値を超える場合、関心オブジェクトを識別する視覚的表現が、ユーザ装置に送信される。

別の例示的な実施形態においては、システムは、関心オブジェクトの画像を受信してよい。システムは、画像からパラメータベクトルを抽出する。パラメータベクトルは、空中撮像装置の仰角を記述するパラメータを含んでよい。システムは、関心オブジェクトの高さおよび幅を決定するために、画像に対して画像解析を実行する。システムは、抽出されたパラメータベクトル、ならびに関心オブジェクトの決定された高さおよび幅を使用して、関心オブジェクトの理想化された画像テンプレートを生成する。各理想化された画像は、３０％、７０％など、関心オブジェクトの異なる満たされた容積に対応する。システムは、受信された画像のピクセルと理想化された画像のピクセルとの間のドット積を実行することによって、関心オブジェクトの満たされた容積を決定するために、関心オブジェクトの受信された画像を各理想化された画像と照合する。システムは、関心オブジェクトの決定された満たされた容積に対応する情報を、ユーザ装置に送信する。

別の例示的な実施形態においては、システムは、機械学習モデルによって、関心オブジェクトの画像を使用して、関心オブジェクトの画像内に存在する雲被覆の量を検出してよい。機械学習モデルは、雲被覆に対応する特徴を、背景特徴および関心オブジェクトに対応する特徴から区別するように構成される。関心オブジェクトの画像内に存在する雲被覆の量が、雲検出閾値よりも少ないことに応答して、システムは、空中撮像装置の少なくとも方位角を記述するパラメータを、関心オブジェクトの画像から抽出する。パラメータから、関心オブジェクトの理想化された画像が生成される。各理想化された画像は、関心オブジェクトの異なる満たされた容積に対応する。関心オブジェクトの画像は、関心オブジェクトの満たされた容積を決定するために、各理想化された画像と照合される。関心オブジェクトの決定された満たされた容積に対応する情報は、ユーザ装置に送信される。

例示的なシステム環境
ここで図１を参照すると、それは、実施形態に従った、リモートコンテナ解析システム１０１が動作する例示的なシステム環境のブロック図を示している。図１に示される例示的なシステム環境は、空中撮像装置１１０と、リモートコンテナ解析システム１０１と、ユーザ装置１２０とを含んでよい。

図１に示される空中撮像装置１１０は、低解像度画像を捕獲することが可能な、衛星、ドローン、または他の構成された空中撮像システムであってよい。画像は、同じスペクトルバンドまたは異なるスペクトルバンドに対応してよく、スペクトルバンドは、光の波長の範囲に対応する。例示的なスペクトルバンドは、赤色スペクトルバンド、緑色スペクトルバンド、青色スペクトルバンド、赤外スペクトルバンド、およびパンクロマティックスペクトルバンドを含む。低解像度画像は、高解像度画像（例えば、ピクセル当たり５０ｃｍ）よりも著しく低い（例えば、ピクセル当たり１５ｍ）解像度を有する。

リモートコンテナ解析システム１０１は、画像記憶１０２と、任意選択の特徴抽出モジュール１０４と、機械学習モデル１０６と、コンテナ解析モジュール１０７と、パラメータ抽出モジュール１０５と、テンプレート生成モジュール１０３とを含んでよい。図１に示される画像記憶１０２は、図２を参照して以下で示され、説明されるように、空中撮像装置１１０から受信された画像を記憶してよい。特徴抽出モジュール１０４は、空中撮像装置１１０から受信された画像から、任意選択で特徴ベクトルを抽出してよい。例えば、特徴ベクトルは、図４Ａを参照して以下で示され、説明されるように、画像内のピクセルのピクセル属性に基づいた集合的な値を含んでよい。リモートコンテナ解析システム１０１は、図５を参照して以下で示され、説明されるように、画像内の関心オブジェクトを識別するために、または図６Ｂを参照して以下で示され、説明されるように、雲被覆検出を実行するために、任意選択で特徴ベクトルを機械学習モデル１０６に送信する。コンテナ解析モジュール１０７は、画像内の識別された関心オブジェクトに関連するパターン、例えば、画像の捕獲時刻、画像数、画像の満たされた容積を解析してよい。

パラメータ抽出モジュール１０５は、パラメータ、例えば、空中撮像装置１１０の方位角を記述するパラメータ、太陽の仰角を記述するパラメータ、および太陽の方位角を記述するパラメータを、画像から抽出する。パラメータは、図９を参照して以下で示され、説明されるように、抽出されたパラメータを使用して、関心オブジェクトの理想化された画像テンプレートを生成するために、テンプレート生成モジュール１０３によって使用される。各理想化された画像は、関心オブジェクトの異なる満たされた容積、例えば、３５％に対応する。

リモートコンテナ解析システム１０１は、図１に示されるユーザ装置１２０と対話してよい。ユーザ装置１２０は、ユーザ入力を受信し、ならびにネットワークを介してデータを送信および／または受信することが可能なコンピューティング装置であってよい。例示的な一実施形態においては、ユーザ装置１２０は、デスクトップまたはラップトップコンピュータなどの、従来のコンピュータシステムであってよい。あるいは、ユーザ装置１２０は、パーソナルデジタルアシスタント（ＰＤＡ）、モバイル電話、スマートフォン、タブレット、または別の適切な装置など、コンピュータ機能性を有する装置であってよい。リモートコンテナ解析システム１０１は、関心オブジェクトの視覚的表現をユーザ装置１２０に送信してよく、または関心オブジェクトの視覚的表現を、例えば、グラフィカルアイコン、グラフィカルオーバレイ、および他の視覚的インジケータを通して、ユーザインターフェースに出力してよい。

例示的なシステムアーキテクチャ
ここで図２を参照すると、それは、実施形態に従った、リモートコンテナ解析システム１０１のための例示的なシステムアーキテクチャのブロック図を示している。図２に示されるシステムアーキテクチャは、外部システムインターフェース２０１と、画像記憶１０２と、パラメータ抽出モジュール１０５と、テンプレート生成モジュール１０３と、任意選択の特徴抽出モジュール１０４と、任意選択の特徴記憶２０２と、機械学習モデル１０６と、機械学習トレーニングエンジン２０３と、画像解析モジュール２０４と、テンプレート照合モジュール２０５と、コンテナ解析モジュール１０７と、コンテナパターン記憶２０６とを含んでよい。

図２に示される外部システムインターフェース２０１は、画像を表すデータパケットを空中撮像装置１１０から受信する、専用ハードウェアまたはソフトウェアネットワーキング装置であってよい。外部システムインターフェース２０１は、関心オブジェクトの視覚的表現を表すデータパケット、または関心オブジェクトの決定された満たされた容積に対応する情報を、リモートコンテナ解析システム１０１から、ネットワークを介して、ユーザ装置１２０に転送してよい。一例においては、外部システムインターフェース２０１は、インターネットバックボーンの光ファイバ回線に沿って、データパケットを高速で転送する。別の例においては、外部システムインターフェース２０１は、ボーダゲートウェイプロトコル（ＢＧＰ）を使用して、ルーティング情報を交換し、エッジルータ、ボーダルータ、またはコアルータであってよい。

図２に示される画像記憶１０２は、空中撮像装置１１０から受信された画像を記憶してよい。広大な領域にわたるスキャニングを実用的かつ効率的にするために、システムの第１のフェーズ用に、低解像度画像が使用される。そのような画像の例は、（パンクロマティックバンドにおける）１５ｍ／ピクセルのランドサット画像である。システムの第１のフェーズは、より低い適合率という代償を払って、高い再現率を有するように設計される。第２のフェーズにおいては、図４Ａを参照して以下で説明されるように、機械学習モデル１０６をトレーニングして、フォールスアラームを除去するために、より高解像度の画像、例えば、５０ｃｍ／ピクセルが使用されてよい。パラメータ抽出モジュール１０５、任意選択の特徴抽出モジュール１０４、および画像解析モジュール２０４は、画像記憶１０２によって記憶された画像を、処理のために取り出してよい。画像記憶１０２は、リムーバブルまたは非リムーバブルのメモリカード、テープカセット、ｚｉｐカセット、およびコンピュータハードドライブのうちの１つまたは複数の上に記憶される、画像のデータベースまたはテーブルとして編成されてよい。一実施形態においては、画像記憶１０２は、多数のデータフィールドを含んでよく、各々は、画像の１つまたは複数の属性を記述する。一例においては、画像記憶１０２は、単一の画像についての、捕獲時刻、スペクトルバンド情報、地理的領域座標などを含む。

任意選択の特徴抽出モジュール１０４は、画像記憶１０２内の画像から、特徴ベクトルを抽出してよい。特徴ベクトルは、画像内のピクセルのピクセル属性に基づいた集合的な値を含んでよい。実施形態においては、特徴抽出モジュール１０４は、任意選択で、ピクセルクラスタリングを使用して、隣接ピクセルのクラスタを識別してよい。識別されたクラスタ内において、隣接ピクセルは、ピクセル属性に基づいて互いに一致してよい。例えば、グレースケール画像については、ピクセル属性は、ピクセルの明度を表す単一の数であってよい。この例においては、０ないし２５５の可能な値の範囲を与えた場合、ピクセル属性は、８ビット整数として記憶されるバイトである。０は黒を表し、２５５は白を表す。０と２５５の間の値は、グレーの異なる陰影を作り上げる。カラー画像の別の例においては、各ピクセルに対して、別々の赤色、緑色、および青色成分が指定される。この例においては、ピクセル属性は、３つの数からなるベクトルである。

図２に示される任意選択の特徴抽出モジュール１０４は、画像記憶１０２からの画像において、画像内の各ピクセルをピクセルの属性を有する領域として初期化することによって、ピクセルクラスタを識別してよい。特徴抽出モジュール１０４は、最も類似した属性値を有する２つの隣接領域を識別する。これら２つの領域は、合併されて、２つの領域のすべてのピクセルを含み、２つの領域の属性値の平均としての属性値を有する、新しい領域を形成する。特徴抽出モジュール１０４は、類似した領域が残っていないようになるまで、プロセスを繰り返す。

図２に示される特徴抽出モジュール１０４の他の実施形態は、以下のうちの、すなわち、（ａ）候補特徴として使用する画像内の縁（ｅｄｇｅ）またはコーナを見つける、ハリスコーナまたはキャニーエッジなどの、エッジ／コーナ検出方法、（ｂ）エッジ強度情報を抽出する、画像勾配、（ｃ）特定の形状を識別する、オリエンテッドフィルタ、（ｄ）局所的または大域的閾値を使用して特徴を抽出する、閾値化方法、（ｅ）与えられた画像パッチにおいて向きおよびエッジ記述特徴を算出する、スケール不変特徴変換（ＳＩＦＴ）、高速化されたロバストな特徴（ＳＵＲＦ）、加速化されたセグメントテストからの特徴（ＦＡＳＴ）、２値のロバストな独立した基本特徴（ＢＲＩＥＦ）、高速網膜キーポイント（ＦＲＥＡＫ）、および方向付けられた勾配のヒストグラム（ＨＯＧ）などの、画像パッチディスクリプタのうちの１つまたは組み合わせを使用してよい。

図２に示される特徴抽出モジュール１０４は、関心オブジェクトに対応する画像内のピクセルを識別するために、受信された画像内においてエッジ解析を実行してよい。特徴抽出モジュール１０４は、画像内の各ピクセルロケーション（ｉ，ｊ）に関して演算を行ってよい。ここで、ｉは、画像内のピクセルロケーションの行の値を表し、ｊは、画像内のピクセルの列の値を表す。例示的な一実施形態においては、Ｓは、画像を表し、Ｍは、対応するオブジェクトマップ画像出力を表す。関数Ｍ（ｉ，ｊ）は、画像Ｓ内のロケーション（ｉ，ｊ）がオブジェクトピクセルに対応するときは常に１であり、それ以外のときは０であるように定義される。特徴抽出モジュール１０４は、ピクセル属性が鋭く変化する画像内のポイントを識別してよい。ピクセル属性が鋭く変化するポイントは、エッジと呼ばれる曲がった線分のセットに編成されてよい。特徴抽出モジュール１０４は、エッジのペアを識別するために、エッジ解析プロセスにおいて３つのステップを、すなわち、フィルタリング、強化、および検出を実行してよい。フィルタリングステップは、画像内におけるノイズ、例えば、ごま塩ノイズ、インパルスノイズ、およびガウスノイズを低減させる。強化は、ピクセル属性値の著しい変化が存在するロケーション（ｉ，ｊ）におけるピクセルを際立たせる。一例においては、特徴抽出モジュール１０４は、様々なピクセルロケーション（ｉ，ｊ）における画像の勾配の大きさを計算することによって、強化を実行する。検出は、エッジピクセルを検出するために、閾値よりも高い勾配値を有するピクセルロケーション（ｉ，ｊ）を探す。

代替的実施形態においては、図２に示される特徴抽出モジュール１０４は、関心オブジェクトが予想される関心領域を含む確率的ヒートマップまたはブロック化画像を生成するために、画像を解析してよい。特徴抽出モジュール１０４は、幾何学的情報（例えば、点、線、および多角形）を含む、他のマッピングソースを組み込むようにさらに構成されてよい。特徴抽出モジュール１０４は、幾何学的情報を使用して、確率的ヒートマップを直接的に生成してよく、または例えば、線発見アルゴリズムもしくはランダムフォレ記憶ルゴリズムのような他の画像処理操作とともに、もしくは特徴抽出を必要としない、サポートベクトルマシン（ＳＶＭ）、ニューラルネットワーク、もしくは畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習方法を使用して、確率的ヒートマップを生成してよい。

図２を再び参照すると、特徴抽出モジュール１０４は、画像を特徴の縮小セット（特徴ベクトル）に変換するために、画像内の冗長性、例えば、反復するピクセル値を低減させる。特徴ベクトルは、完全な初期画像の代わりに、この縮小された表現を使用することによって、関心オブジェクトが機械学習モデル１０６によって識別されることができるように、画像からの関連情報を含む。特徴抽出モジュール１０４によって抽出される例示的な特徴は、図４Ａにおいて示され、説明される。いくつかの例示的な実施形態においては、以下の次元縮小技法が、すなわち、独立成分分析、アイソマップ、カーネルＰＣＡ、潜在的意味解析、部分最小２乗法、主成分分析、多因子次元縮小、非線形次元縮小、多重線形主成分分析、多重線形部分空間学習、半定値埋め込み、オートエンコーダ、および深層特徴合成が、特徴抽出モジュール１０４によって使用されてよい。

代替的実施形態においては、機械学習トレーニングエンジン２０３は、データ表現を学習するために、タスク固有のアルゴリズムを使用するのとは対照的に、（深層構造化学習または階層的学習としても知られる）深層学習を実行してよい。深層学習においては、明示的な特徴抽出は、実行されず、特徴は、機械学習トレーニングエンジン２０３によって暗黙的に抽出されてよい。例えば、機械学習トレーニングエンジン２０３および機械学習モデル１０６は、暗黙的な特徴抽出および変換のために、非線形処理ユニットの多数のレイヤからなるカスケードを使用してよい。連続する各レイヤは、先行レイヤからの出力を入力として使用する。したがって、機械学習モデル１０６は、教師ありモード（例えば、分類）および／または教師なしモード（例えば、パターン解析）で学習してよい。機械学習モデル１０６は、抽象化の異なるレベルに対応する多数のレベルの表現を学習してよく、異なるレベルは、概念の階層を形成する。この方式においては、機械学習モデル１０６は、画像内の雲被覆に対応する特徴を、背景特徴および関心オブジェクトに対応する特徴から区別するように構成されてよい。

図２に示される特徴記憶２０２は、受信された画像から特徴抽出モジュール１０４によって抽出された特徴を記憶する。リモートコンテナ解析システム１０１は、機械学習モデル１０６のトレーニングのために、記憶された特徴を取り出す。特徴記憶２０２は、リムーバブルまたは非リムーバブルのメモリカード、テープカセット、ｚｉｐカセット、およびコンピュータハードドライブのうちの１つまたは複数の上に記憶される、画像のデータベースまたはテーブルとして編成されてよい。

リモートコンテナ解析システム１０１は、トレーニングセットおよび特徴記憶２０２からのデータを使用して、機械学習モデル１０６をトレーニングしてよい。例示的な一実施形態においては、機械学習モデル１０６は、図３Ａおよび図３Ｂを参照して以下で示され、説明されるように、関心オブジェクトに対応するラベル付けされたピクセルのクラスタを含む、トレーニングセットを受け取ってよい。図２に示される機械学習トレーニングエンジン２０３は、ピクセルのクラスタについてのスコアを決定するために、トレーニングセットを使用して、機械学習モデル１０６をトレーニングしてよい。スコアは、特徴ベクトルに基づいた、クラスタが関心オブジェクトに対応する尤度を示す。機械学習トレーニングエンジン２０３によって従われるプロセスは、図４Ａに示されている。リモートコンテナ解析システム１０１は、スコアが閾値を超えるかどうかに基づいて、クラスタを選択してよく、クラスタを関心オブジェクトと関連付ける。

例示的な代替的実施形態においては、（畳み込みニューラルネットワークの形態の）図２に示される機械学習モデル１０６は、特徴抽出の必要なしに、画像から直接的に出力を生成してよい。ＣＮＮは、それのニューロン間の接続性パターンが視覚野の機構から着想された、フィードフォワード人工ニューラルネットワークの種類である。個々の皮質ニューロンは、受容野として知られる空間の制限された領域における刺激に応答する。異なるニューロンの受容野は、それらが視野を隙間なく埋めるように、部分的に重なり合う。受容野内における刺激に対する個々のニューロンの応答は、畳み込み演算によって数学的に近似されることができる。ＣＮＮは、生理学的過程に基づいており、最小量の前処理を使用するように設計された多層パーセプトロンの変形である。ＣＮＮの利点は、特徴抽出の除去と、層内の各ピクセルに対して同じフィルタ（重みバンク）が使用されることを意味する、畳み込み層における共用重みの使用とを含み、これらはともに、メモリフットプリントを低減させ、性能を向上させる。

機械学習モデル１０６は、畳み込み層および最大プーリング層の両方から成る、ＣＮＮであってよい。機械学習モデル１０６のアーキテクチャは、「完全な畳み込み」であってよく、それは、可変サイズの入力画像がそれに供給されることができることを意味する。機械学習モデル１０６への入力は、パンクロマティックランドサット画像であってよく、機械学習モデル１０６の出力は、ピクセル毎の確率マップであってよい（すなわち、入力画像内の各ピクセルについて、機械学習モデル１０６は、そのピクセルの周囲の小区画について検討し、そのピクセルがタンクファームの一部である確率を返す）。機械学習モデル１０６の最後以外のすべての畳み込み層には、インプレース正規化線形ユニット活性化が後続してよい。すべての畳み込み層について、機械学習モデル１０６は、その層の入力に適用される、カーネルサイズ、畳み込みのストライド、およびゼロパディングの量を指定してよい。プーリング層について、モデル１０６は、カーネルサイズ、およびプーリングのストライドを指定してよい。

（ＣＮＮの形態の）機械学習モデル１０６の出力は、任意選択でピクセルクラスタを含んでよく、各ピクセルクラスタは、画像のうちの異なる画像内の１つまたは複数の隣接ピクセルを含み、隣接ピクセルは、ピクセル属性に基づいて互いに一致する。出力は、ピクセルクラスタが関心オブジェクトに対応する尤度を示すスコアを含んでよい。出力は、関心オブジェクトに対応する１つまたは複数のピクセルロケーションを含んでよい。出力は、各関心オブジェクト内のピクセルの数を含んでよい。出力は、ピクセルクラスタと関心オブジェクトとの間の関連付けを含んでよい。

図２に示されるパラメータ抽出モジュール１０５は、空中撮像装置１１０から受信された画像のメタデータからパラメータベクトルを抽出してよい。パラメータベクトルは、空中撮像装置１１０の仰角を記述する例示的なパラメータを含んでよい。衛星の仰角とは、衛星に向かってまっすぐ延びる直線と、局所的水平面との間の角度のことである。パラメータは、受信された画像の捕獲時刻を記述してよい。パラメータは、空中撮像装置１１０の方位角を記述してよい。方位角は、球面座標系における角度測定値であり、それは、衛星に向かってまっすぐ延びる直線と、基準平面上において北を指し示す基準ベクトルとの間の角度のことである。

パラメータ抽出モジュール１０５によって抽出されるパラメータは、太陽の仰角を記述してよい。太陽の仰角とは、太陽に向かってまっすぐ延びる直線と、局所的水平面との間の角度のことである。パラメータは、太陽の方位角を記述してよい。太陽の方位角とは、太陽に向かってまっすぐ延びる直線と、基準平面上において北を指し示す基準ベクトルとの間の角度のことである。パラメータは、画像内の関心オブジェクトの底面の中心の地理的ロケーションを記述してよい。リモートコンテナ解析システム１０１は、いくつかのパラメータは不正確なことがあるという仮定の下で動作する。具体的には、システムは、オブジェクトのロケーションおよび衛星の角度は正確でないことがあるが、本明細書において説明されるように処理されてよいことを仮定する。

画像解析モジュール２０４は、画像を画像記憶１０２から取り出す。画像解析モジュール２０４は、画像内の関心オブジェクトの高さおよび幅を決定するために、画像に対して画像解析を実行してよい。例えば、画像解析モジュール２０４は、関心オブジェクトの画像のピクセル解像度ｒを受け取ってよい。画像解析モジュール２０４は、関心オブジェクトの高さと関連付けられたピクセルの数ｈを決定してよい。画像解析モジュール２０４は、ピクセル解像度ｒと、関心オブジェクトの高さと関連付けられたピクセルの数ｈとに基づいて、関心オブジェクトの高さを、高さ＝ｒ×ｈのように決定してよい。画像解析モジュール２０４は、関心オブジェクトの幅と関連付けられたピクセルの数ｗを決定してよい。画像解析モジュール２０４は、ピクセル解像度ｒと、関心オブジェクトの幅と関連付けられたピクセルの数ｗとに基づいて、関心オブジェクトの幅を、幅＝ｒ×ｗのように決定してよい。

画像解析モジュール２０４は、受信された画像の中心に関心オブジェクトの中心を位置付けるために、受信された画像の縁を切り落としてよい。実施形態においては、画像解析モジュール２０４は、フレーミングを改善するため、関心オブジェクトを目立たせるため、またはアスペクト比を変更するために、画像の外側部分を自動的に除去してよい。画像解析モジュール２０４は、関心オブジェクトの影および内表面に対応するピクセルを負の値、例えば、−１になるように設定し、関心オブジェクトの屋根に対応するピクセルを正の値、例えば、＋１になるように設定することによって、関心オブジェクトの受信された画像をリスケールしてよい。

図２に示されるテンプレート生成モジュール１０３は、パラメータ抽出モジュール１０５によって抽出されたパラメータベクトルを使用し、関心オブジェクトの幾何形状についての三角投影に基づいて、異なる満たされた容積のパーセンテージ、例えば、１０％、３０％などのための、理想化された画像テンプレートを合成する。テンプレートのセットは、満たされた容積のパーセンテージを変えることによって生成される。図９は、異なる満たされた容積のパーセンテージに対応する、円筒形タンクコンテナについての理想化された画像９００を示している。テンプレート生成モジュール１０３は、抽出されたパラメータベクトル、関心オブジェクト決定された高さ、および決定された幅を使用して、関心オブジェクトの理想化された画像を生成する。衛星の視野角（仰角および方位角）の不正確さを許容するために、テンプレート生成モジュール１０３は、特徴抽出モジュール１０４によって抽出された角度値の周りの角度値の範囲にわたってスイープを実行してよい。

正確なロケーションにおけるある程度の誤差は合成プロセスによって許容されるが、テンプレート生成モジュール１０３は、受信された画像が関心オブジェクトを中央に有することを仮定する。テンプレート生成モジュール１０３は、オブジェクトが、それの屋根を含めて、明るい色であることも仮定する。それは、オブジェクトの屋根およびそれの上縁によって投げられる影、ならびにオブジェクトの内壁が、暗い色であることを仮定する。理想化された画像テンプレートは、図７を参照して以下で示され、説明されるように、円の位置から構成される。円は、関心オブジェクトの上縁、関心オブジェクトの底面、関心オブジェクトの内表面上の影の弧、および関心オブジェクトの屋根に対応する。図８に示される実施形態においては、理想化された画像は、関心オブジェクトの上縁、関心オブジェクトの内表面上の影の弧、および関心オブジェクトの屋根に対応する円の位置だけから構成されてよい。テンプレート生成モジュール１０３は、オブジェクトの高さおよび幅、所望の浮き屋根の高さ、衛星についての２つの角度、ならびに太陽についての２つの角度を使用する。その情報、および図８に示される三角方程式を使用して、テンプレート生成モジュール１０３は、円が位置する場所の２Ｄ射影を生成する。テンプレート生成モジュール１０３は、各理想化された画像の中心に関心オブジェクトの中心を位置付けるために、各理想化された画像の縁を切り落としてもよい。

円の位置がひとたび生成されると、テンプレート生成モジュール１０３は、上縁に対応する円、影の弧に対応する円、および屋根に対応する円に関する畳み込みを実行することによって、オブジェクトの異なる満たされた容積についての図９に示される理想化された画像を合成する。テンプレート生成モジュール１０３は、図９に示される理想的オブジェクト画像についての「眼球」形状（暗い領域および影領域）を生成するために、３つの円の間の合併集合演算および共通集合演算を実行することによって、畳み込みを実行する。テンプレート生成モジュール１０３は、関心オブジェクトの影および内表面に対応するピクセルを−１などの負の値になるように設定し、関心オブジェクトの屋根に対応するピクセルを＋１などの正の値になるように設定し、他のすべてのピクセルを０になるように設定することによって、関心オブジェクトの各理想化された画像をリスケールしてよい。

３つの円の間の合併集合演算および共通集合演算は、例えば、形態学的な画像処理を使用して、テンプレート生成モジュール１０３によって実行されてよい。形態学的な画像処理とは、画像内の特徴の形状または形態に関連する非線形操作のことである。形態学的な画像処理操作は、ピクセル値の相対的な順序付けにだけ依存して、それらの数値に依存せず、したがって、リスケールされた理想化された画像に適している。Ａ∩Ｂと書かれる画像ＡおよびＢの共通集合は、ＡおよびＢの両方において１であるすべてのピクセルｐにおいて１である、２値画像である。Ａ∪Ｂと書かれる画像ＡおよびＢの合併集合は、Ａにおいて１、もしくはＢにおいて１（または両方において１）であるすべてのピクセルｖにおいて１である、２値画像である。

図２に示されるテンプレート照合モジュール２０５は、関心オブジェクトの満たされた容積を決定するために、関心オブジェクトの受信された画像を、テンプレート生成モジュール１０３によって合成された各理想化された画像と照合する。照合は、受信された画像のピクセルと理想化された画像のピクセルとの間のドット積を実行することによって実行されてよい。受信された画像および理想化された画像は、それのピクセル値が−１ないし＋１の範囲にわたるように、すなわち、暗いピクセル（影、内壁など）が負であり、明るいピクセル（屋根など）が正であるように、リスケールされるので、受信された画像と理想化された画像との間のドット積の実行は、受信された画像と理想化された画像が似て見える場合、大きい正の数という結果となる。これは、受信された画像内の正のピクセルは、理想化された画像内の正のピクセルと整列し、受信された画像内の負のピクセルは、理想化された画像内の負のピクセルと整列するためである。

図２に示されるテンプレート照合モジュール２０５によってドット積を実行することは、受信された画像のピクセルと、理想化された画像のピクセルとを取得し、単一の数を返す、代数演算である。代数的には、ドット積は、受信された画像のピクセルと理想化された画像のピクセルの対応するピクセル値の積の総和である。例えば、２つの画像Ａ＝［ａ₁，ａ₂，．．．，ａ_n］とＢ＝［ｂ₁，ｂ₂，．．．，ｂ_n］のドット積は、Ａ・Ｂ＝Σａ_iｂ_i＝ａ₁ｂ₁＋ａ₂ｂ₂＋．．．＋ａ_nｂ_nのように決定されてよく、ここで、Ａは、受信された画像であり、Ｂは、理想化された画像テンプレートである。さらに、フォールスポジティブマッチを回避するために、画像解析モジュール２０４およびテンプレート照合モジュール２０５によって実行される畳み込みの詳細は、図１０Ａを参照して以下で示され、説明される。

ジオリファレンス画像における不正確さ、およびオブジェクトは予想されたロケーション内に正確に存在しないことがあるという事実を許容するために、テンプレート照合モジュール２０５は、オブジェクトの数々の可能なロケーションを考慮して、受信された画像上においてスイープを実行する。テンプレート照合モジュール２０５は、受信された画像と各テンプレートとの間の２Ｄ畳み込みを使用することによって、スイープを実行する。テンプレート照合モジュール２０５が、関心オブジェクトの受信された画像に対するテンプレートマッチをひとたび見つけると、それは、関心オブジェクトの満たされた容積を、マッチした理想化された画像テンプレートに対応する満たされた容積として決定する。

コンテナ解析モジュール１０７は、受信された画像の捕獲時刻、受信された画像内の１つまたは複数の関心オブジェクトの数、および受信された画像内の１つまたは複数関心オブジェクトの各々の決定された満たされた容積のうちの１つまたは複数を含む、関心オブジェクトパターンを解析してよい。コンテナ解析モジュール１０７は、解析された関心オブジェクトパターンが閾値を超えた場合、ユーザ装置１２０に情報を送信してよい。例えば、コンテナ解析モジュール１０７は、受信された画像内の関心オブジェクトの数が閾値を超えた場合、または閾値数のオブジェクトの決定された満たされた容積が閾値を超えた場合、ユーザ装置１２０に情報を送信してよい。

図２に示されるコンテナパターン記憶２０６は、コンテナ解析モジュール１０７から受け取ったパターンを記憶してよい。コンテナパターン記憶２０６は、リムーバブルまたは非リムーバブルのメモリカード、テープカセット、ｚｉｐカセット、およびコンピュータハードドライブのうちの１つまたは複数の上に記憶される、画像のデータベースまたはテーブルとして編成されてよい。一実施形態においては、コンテナパターン記憶２０６は、多数のデータフィールドを記憶し、各々は、オブジェクトの１つまたは複数の属性を記述する。一例においては、コンテナパターン記憶２０６は、単一のオブジェクトについての、画像の捕獲時刻、地理的領域座標、オブジェクトの高さ、および／またはオブジェクトの幅を記憶する。

例示的な機械学習トレーニングセット
図３Ａは、実施形態に従った、リモートコンテナ解析システム１０１のための例示的なポジティブトレーニングセット３００を示している。機械学習モデル１０６のトレーニングの一部として、機械学習トレーニングエンジン２０３は、問題となっている特性（コンテナの存在）を有すると決定された特徴のポジティブトレーニングセットを識別することによって、特徴のセットおよびトレーニングラベル、例えば、コンテナ３０５を形成し、いくつかの実施形態においては、図３Ｂを参照して以下で詳細に説明されるように、問題となっている特性を欠いた特徴のネガティブトレーニングセットを形成する。例えば、各トレーニングセットは、コンテナ、例えば、コンテナ３０３に対応する、ラベル付けされたピクセルクラスタを含んでよい。トレーニングセットを収集するために、世界中の知られたタンクファームの周りにおいて、多角形が標識付けされてよく、ダウンロードされたランドサット８画像が、これらの多角形と交わらされてよい。ランダムにサンプリングされた画像も、ネガティブ例（すなわち、石油タンクファームを含まない画像）のセットのために収集されてよい。ひとたびトレーニングされると、機械学習モデル１０６が、関心地域（例えば、米国）のすべての画像に対して動作させられてよい。リモートコンテナ解析システム１０１の最終的な出力は、機械学習モデル１０６が高い出力スコアを返した関心領域（幾何学的多角形）のセットである。

図３Ａに示されるポジティブトレーニングセット３００は、コンテナの存在を有すると決定された特徴を含む。ポジティブトレーニングセット３００は、コンテナ３０５、コンテナ３０３、およびコンテナ３０４に対応するラベル付けされたピクセルクラスタを含んでよい。ポジティブトレーニングセット３００は、背景領域の水域３０１および陸地３０２についてのラベルも含む。例示的なトレーニングセット３００は、陸地３０２が水域３０１に出会う港に対応してよい。ポジティブトレーニングセット３００においては、コンテナ３０５は、水域とラベル付けされた領域内に存在するが、コンテナ３０３およびコンテナ３０４は、陸地とラベル付けされた領域内に存在する。

図３Ｂは、実施形態に従った、リモートコンテナ解析システム１０１のための例示的なネガティブトレーニングセット３５０を示している。図３Ｂに示されるネガティブトレーニングセット３５０は、コンテナの存在を欠くと決定された特徴を含む。ネガティブトレーニングセット３５０は、一部が水域３５１内に、一部が陸地３５２上に配置された、フォールスポジティブなピクセルのクラスタ３５４を含む。ネガティブトレーニングセット３５０は、２つの交わるピクセルのクラスタに関連する、フォールスポジティブなピクセルのクラスタ３５３も含む。２つのコンテナは、互いに交わることができないので、これら２つの交わるピクセルのクラスタは、フォールスポジティブであり、そのようにラベル付けされる（３５３）。

例示的な雲被覆検出トレーニングセット
図３Ｃは、例示的な実施形態に従った、雲被覆検出のための例示的なポジティブトレーニングセット３７０を示している。空中画像内の雲被覆は、画像内のコンテナまたは他の関心オブジェクトをよく見えなくし、または変形させ、リモートセンシング画像解釈を曖昧にし、または歪曲させることがある。したがって、従来の画像処理方法は、画像認識が実行される前に、少量でも雲被覆を有する空中画像を除去するように構成される。しかしながら、特定の画像が、ある量の雲被覆を有することがあるとしても、雲被覆が雲検出閾値よりも少なく、特定の関心領域がよく見えなくされていない限り、画像は、依然として有益であることができる。したがって、リモートコンテナ解析システム１０１は、コンテナ満杯度測定のための本明細書において説明されるコンピュータビジョン方法の結果を使用すべきかどうかを決定するために、空中画像内における雲の存在および非存在、ならびに雲被覆の量を決定する。

機械学習モデル１０６のトレーニングの一部として、機械学習トレーニングエンジン２０３は、問題となっている特性（雲の存在）を有すると決定された特徴のポジティブトレーニングセットを識別することによって、雲特徴（例えば、３７５）と、水域特徴（例えば、３７１）と、陸地特徴（例えば、３７２）のトレーニングセット、およびトレーニングラベルを形成し、いくつかの実施形態においては、図３Ｄを参照して以下で詳細に説明されるように、問題となっている特性を欠いた特徴のネガティブトレーニングセットを形成する。例えば、各トレーニングセットは、雲、例えば、３７３、３７４、および３７５に対応する、ラベル付けされたピクセルクラスタを含んでよい。トレーニングセットを収集するために、知られた雲の周りにおいて、多角形が標識付けされてよく、ダウンロードされたランドサット８画像が、これらの多角形と交わらされてよい。ランダムにサンプリングされた画像も、ネガティブ例（例えば、雲を含まない雪原に関連する特徴）のセットのために収集されてよい。ひとたびトレーニングされると、機械学習モデル１０６が、関心地域（例えば、欧州地域）のすべての画像に対して動作させられてよい。リモートコンテナ解析システム１０１の出力は、機械学習モデル１０６が高い出力スコアを返した関心領域（幾何学的多角形）のセットである。これは、関心オブジェクトの画像内に存在する雲被覆の量を決定するために使用される。

図３Ｃに示されるポジティブトレーニングセット３７０は、雲（例えば、３７５）の存在を有すると決定された特徴を含む。ポジティブトレーニングセット３００は、雲３７３、３７４、および３７５に対応するラベル付けされたピクセルクラスタを含んでよい。ポジティブトレーニングセット３７０は、水域３７１および陸地３７２に対応する背景特徴についてのラベルも含む。例示的なトレーニングセット３７０は、陸地３７２が水域３７１に出会う港に対応してよい。ポジティブトレーニングセット３７０においては、雲３７５は、水域とラベル付けされた領域内に存在するが、雲３７３、３７４は、陸地とラベル付けされた領域内に存在する。

図３Ｄは、例示的な実施形態に従った、雲被覆検出のための例示的なネガティブトレーニングセット３８０を示している。図３Ｄに示されるネガティブトレーニングセット３８０は、雲の存在を欠くと決定された特徴（フォールスポジティブ）を含む。ネガティブトレーニングセット３８０は、フォールスポジティブなピクセルのクラスタ３８４と、フォールスポジティブなピクセルのクラスタ３８３とを含む。ピクセルのクラスタ３８４は、それが水域３８１と陸地３８２との間の縁にある雪原を捕獲しており、雲ではないので、フォールスポジティブを表す。ピクセルのクラスタ３８３は、それが山頂にある雪原を捕獲しており、雲ではないので、フォールスポジティブを表す。

いくつかの例示的な実施形態においては、トレーニングセット３７０、３８０は、高いスコアを表すピクセルクラスタ、および低いスコアを表すピクセルクラスタを人手でラベル付けすることによって生成されてよい。他の実施形態においては、機械学習トレーニングエンジン２０３は、画像記憶１０２から獲得された記憶された画像からトレーニングセットを抽出してよい。例えば、記憶された画像が、陸地に配置された雲特徴、例えば、３７３を含む場合、機械学習トレーニングエンジン２０３は、ピクセル特徴をポジティブトレーニングセットとして使用してよい。

例示的な機械学習トレーニングプロセス
ここで図４Ａを参照すると、それは、リモートコンテナ解析システム１０１内の機械学習モデル１０６のための機械学習トレーニングエンジン２０３に対する例示的なトレーニングプロセスを示している。プロセスは、画像解析モジュール２０４と、特徴抽出モジュール１０４と、機械学習モデル１０６とを使用してよい。図４Ａおよび他の図は、同様の要素を識別するために、同様の参照番号を使用する。「４１０ａ」など、後に文字が付いた参照番号は、接尾文字の付いたその特定の参照番号を有する要素を本文が特に参照していることを示している。「４１０」など、後続文字のない本文中の参照番号は、その参照番号を有する図中の要素のうちのいずれかまたはすべてを参照しており、例えば、「４１０」は、図中の参照番号「４１０ａ」および／または「４１０ｂ」を参照している。

画像解析モジュール２０４は、関心オブジェクトに対応するトレーニング画像４０１内のピクセルを識別するために、トレーニング画像４０１内においてエッジ解析を実行してよい。図４Ａに示される任意選択の特徴抽出モジュール１０４は、トレーニング画像４０１から特徴４１０を抽出してよい。トレーニング画像４０１に対応する特徴４１０は、トレーニングラベル４０２に基づいて、機械学習モデル１０６をトレーニングするために使用される。例示的な一実施形態においては、特徴４１０ａは、画像４０１内のピクセルのピクセル属性に基づいた集合的な値を表してよい。トレーニング画像４０１から特徴４１０ａを抽出することは、トレーニング画像４０１内の隣接ピクセルのクラスタを識別するために、ピクセルクラスタリングを実行することを含んでよい。トレーニング画像４０１内の隣接ピクセルは、ピクセル属性に基づいて互いに一致する。例示的な特徴４１０ｂは、画像内の隣接ピクセルからなる２つのクラスタが互いに交わるかどうかを表してよく、コンテナは交わることができないので、この特徴は、２つのピクセルクラスタがコンテナを表さなくてよいことを機械学習モデル１０６に教える。

例示的な特徴４１０ｃは、ピクセルのクラスタが一部は陸地上に、一部は水域上に配置されているかどうかを表してよく、コンテナは、一部は陸地３０２上に、一部は水域３０１上に配置されることができないので、この特徴は、ピクセルクラスタがコンテナを表さなくてよいことを機械学習モデル１０６に教える。特徴４１０ｄは、ピクセルロケーションとピクセル属性との間の関連付けを表してよい。例えば、特徴４１０ｄは、ピクセルの、画像内においてそれの右側に配置されたピクセルに対する明度値を表してよく、ピクセルが周囲ピクセルよりも明るいので、この特徴は、ピクセルがコンテナを表すピクセルクラスタの一部であってよいことを機械学習モデル１０６に教える。特徴４１０ｅは、ピクセルの、画像内において同じ行上に配置されたピクセルの平均の明度に対する明度を表してよく、ピクセルが周囲ピクセルよりも明るいので（例えば、より強い照明）、この特徴は、ピクセルがコンテナを表す画像ブロブの一部であってよいことを機械学習モデル１０６に教える。

機械学習トレーニングエンジン２０３は、特徴ベクトル４１０およびトレーニングラベル４０２を使用して、図４Ａに示される機械学習モデル１０６をトレーニングしてよい。一実施形態においては、それによって、機械学習モデル１０６は、画像内の各ピクセルロケーションについてのスコアを決定するように構成され、スコアは、ピクセルロケーションがコンテナに対応する尤度を示す。別の実施形態においては、機械学習モデル１０６は、ピクセルクラスタについてのスコアを決定するように構成され、スコアは、ピクセルクラスタがコンテナに対応する尤度を示す。代替的実施形態においては、機械学習モデル１０６は、ピクセルクラスタと、ピクセルクラスタがコンテナに対応する尤度を示すスコアとを含む、出力を生成するように構成される。実施形態においては、機械学習モデル１０６は、ピクセルクラスタに対応する１つまたは複数のピクセルロケーションと、ピクセルロケーションがピクセルクラスタに対応する尤度を示すスコアとを含む、出力を生成するように構成される。実施形態においては、機械学習モデル１０６は、識別された各ピクセルクラスタ内のピクセルの数を含む出力を生成するように構成される。実施形態においては、機械学習モデル１０６は、識別されたピクセルクラスタとコンテナとの間の関連付けを含む出力を生成するように構成される。

機械学習モデルトレーニングエンジン２０３は、特徴に適用されたときに、特徴が関連付けられた１つまたは複数の特性を有するかどうかを示すインジケーションを出力する、例えば、受信された画像の特徴に適用されたときに、特徴が特定のブール特性を有する、またはスカラ特性の推定値を有する確率など、コンテナが存在するかどうかについての推定を出力する、機械学習モデル１０６をトレーニングするために、機械学習技法を適用してよい。機械学習トレーニングエンジン２０３は、特徴ベクトル４１０内のデータの量を低減させて、より小さいより代表的なデータのセットにするために、（例えば、線形判別分析（ＬＤＡ）または主成分分析（ＰＣＡ）などを介して）次元縮小を適用してよい。

機械学習トレーニングエンジン２０３は、入力として役立つポジティブトレーニングセット３００およびネガティブトレーニングセット３５０の特徴ベクトル４１０を用いて、図４Ａに示される機械学習モデル１０６をトレーニングするために、教師あり機械学習を使用してよい。他の実施形態においては、線形サポートベクトルマシン（線形ＳＶＭ）、他のアルゴリズムのためのブースティング（例えば、ＡｄａＢｏｏｓｔ）、ロジスティック回帰、ナイーブベイズ、メモリベースの学習、ランダムフォレスト、バッグドツリー、決定木、ブーステッドツリー、ブーステッドスタンプ、ニューラルネットワーク、ＣＮＮなど、異なる機械学習技法が使用されてよい。機械学習モデル１０６は、受信された画像のセットから抽出された特徴ベクトル４１０に適用されるとき、はい／いいえのブール推定、または確率を表すスカラ値など、ピクセルクラスタが問題となっている特性を有するかどうかを示すインジケーションを出力する。

いくつかの例示的な実施形態においては、バリデーションセットは、問題となっている特性を有する、または欠いているとすでに決定されたトレーニングセット内のもの以外の追加の特徴から形成される。機械学習トレーニングエンジン２０３は、機械学習モデル１０６の正確性を定量化するために、図４Ａに示されるトレーニングされた機械学習モデル１０６をバリデーションセットの特徴に適用する。正確性測定において適用される共通のメトリックは、適合率＝ＴＰ／（ＴＰ＋ＦＰ）、再現率＝ＴＰ／（ＴＰ＋ＦＮ）を含み、ここで、適合率は、機械学習モデル１０６が、それが予想した全部（ＴＰまたはトゥルーポジティブ＋ＦＰまたはフォールスポジティブ）のうちで、正しく予想した結果（ＴＰ）（例えば、コンテナまたは他のオブジェクト）はいくつであるかであり、再現率は、機械学習モデル１０６が、問題となっている特性を有する特徴の総数（ＴＰ＋ＦＮまたはフォールスネガティブ）のうちで、正しく予想した結果（ＴＰ）はいくつであるかである。Ｆスコア（Ｆ−ｓｃｏｒｅ＝２×ＰＲ／（Ｐ＋Ｒ））は、適合率と再現率を単一の尺度に統合する。一実施形態においては、機械学習トレーニングエンジン２０３は、機械学習モデル１０６が十分正確であることを示す正確性測定インジケーションなどの停止条件が発生するまで、またはある回数のトレーニングラウンドが行われるまで、機械学習モデル１０６を反復的に再トレーニングする。

代替的実施形態においては、機械学習モデル１０６は、どのピクセルクラスタがコンテナに対応するかなどの有益な表現（特徴）を、明示的な特徴抽出なしに、トレーニングセットから直接的に学習する、ＣＮＮであってよい。例えば、機械学習モデル１０６は、トレーニング画像４０１からの原ピクセルを直接的に内部ラベルに運ぶ、エンドツーエンド認識システム（非線形マップ）であってよい。（ＣＮＮの形態の）図４Ａに示される機械学習モデル１０６は、特徴抽出、エッジ解析、またはピクセルクラスタ識別を必要とせずに、トレーニング画像４０１から直接的に出力を生成してよい。

雲被覆検出
機械学習トレーニングエンジン２０３は、同様に、雲被覆検出を実行するために、機械学習モデル１０６をトレーニングしてよい。例えば、図３Ｃに関して上で説明されたように、トレーニングセット（例えば、３７０）は、地理的領域のラベル付けされた画像４０１を含むように生成されてよい。地理的領域のラベル付けされた画像４０１は、異なる量の雲被覆、例えば、５％、１０％、３５％、７５％などを含んでよい。機械学習モデル１０６は、トレーニングセット３７０、３８０に基づいて、ラベル付けされていない画像内に存在する雲被覆（例えば、３７５）に対応するラベル付けされていない画像内の特徴を、ラベル付けされていない画像内に存在する背景特徴（例えば、３７１）から区別することによって、ラベル付けされていない画像内に存在する雲被覆の量を検出するように構成される。

関心オブジェクトのラベル付けされていない画像上において、トレーニングされた機械学習モデル１０６を使用して、雲被覆検出を実行するために、特徴ベクトル４１０が、関心オブジェクトのラベル付けされていない画像から任意選択で抽出されてよい。特徴ベクトル４１０は、関心オブジェクトの画像内のピクセルの属性を表す特徴を含んでよい。例えば、図４Ａに関して上で説明されたピクセルの属性に類似した特徴が、使用されてよい。関心オブジェクトの画像内に存在する雲被覆の量を検出することは、トレーニングされた機械学習モデル１０６に特徴ベクトル４１０を送信することを含んでよい。

一実施形態においては、トレーニングフェーズ中の雲領域は、小さいサイズ、中間のサイズ、および大きいサイズの雲を含んでよい。背景は、山、建物、道路、農地、および川を含んでよい。機械学習モデル１０６は、雲の種類、雲のサイズ、密度が異なり、下層の風景環境が異なる、異なる状況において、雲（例えば、３７５）を分類するために使用されてよい。質感（ｔｅｘｔｕｒｅ）情報、より明瞭な幾何学的形状属性、および特徴のよりはっきりした空間分布のために、より高解像度の画像が使用されてよい。例えば、雲および水域の隣接ピクセル間においては、特徴が僅かしか変化しないことがあるが、建物および山の質感は、非常に異なることがある。したがって、雲を建物および山から弁別するために、均一な雲の質感が使用されてよい。

一実施形態においては、雲被覆（例えば、３７３）に対応する特徴を、背景特徴（例えば、３７２）および関心オブジェクト（例えば、３０５）に対応する特徴から区別するために、幾何学的形状属性が使用されてよい。例えば、雲特徴は、より自然で不規則であるが、道路特徴は、相対的に狭く線的であり、建物特徴は、相対的に規則的な形状輪郭を有する。したがって、スペクトル特性および質感の両方に関連する特徴が、使用されてよい。

一実施形態においては、「特徴融合」が使用されてよい。特徴融合は、様々な特徴（例えば、３７３、３７１）を正規化し、その後、正規化された特徴を合併して単一の特徴セットにすることを含む。これは、カテゴリに関連する特徴の選択、および冗長な特徴を排除することを可能にする。目標特徴を分類するために、特徴ベクトル４１０の多数のセットが生成されてよい。特徴の多数のセットも、複雑なベクトルによって組み合わされ、目標特徴を分類するために使用されてよい。

機械学習モデル１０６は、雲被覆（例えば、３７３）に対応する特徴を、背景特徴（例えば、３７２）および関心オブジェクト（例えば、３０５）に対応する特徴から区別することによって、関心オブジェクトの画像内に存在する雲被覆の量を検出するために、関心オブジェクトの画像を使用する。

この方法の利益および利点は、リモートコンテナ容積検出のために、今や、より多数の画像が使用されてよいことである。いくつかの地理的地域が、１年のある時期に持続的な雲被覆を有する場合であっても、コンテナについての正確な容積検出が、実行されることができる。無駄な画像がより僅かしか存在しなくなるので、送信されるデータの量は低減される。雲検出閾値の柔軟な使用が、雲被覆が存在するときでさえも、オブジェクト、およびオブジェクトの満たされた容積の検出を可能にする。

適合率対再現率曲線
図４Ｂは、実施形態に従った、雲被覆検出を実行するように機械学習モデルをトレーニングするための例示的な適合率対再現率曲線を示している。機械学習トレーニングエンジン２０３は、すべての特徴の中における関連する雲特徴の比率を示すために、（ポジティブ予想値とも呼ばれる）適合率を使用する。（感度とも呼ばれる）再現率は、関連する雲特徴の総量に対する取り出された関連する雲特徴の比率を示すために使用される。

例えば、機械学習モデル１０６は、１１個の雲およびいくつかの陸地特徴を有する空中画像内において、７個の雲を識別することがある。識別された７個の雲のうち、４つは実際に雲であるが（トゥルーポジティブ）、残りは建物である（フォールスポジティブ）。機械学習モデル１０６の適合率は、４／７であり、一方、機械学習モデル１０６の再現率は、４／１１である。機械学習モデル１０６が２９個の雲を返し、そのうちの１９個だけは本当の雲であったが、３９個のさらなる雲を返すことに失敗したとき、機械学習モデル１０６の適合率は、１９／２９と決定されてよく、それの再現率は、１９／５８である。

リモートオブジェクトを識別するための例示的なプロセス
図５は、実施形態に従った、リモートオブジェクトを識別するためのリモートコンテナ解析システム１０１についての例示的なプロセスを示している。いくつかの例示的な実施形態においては、プロセスは、図５に関連して説明されるものとは異なるステップおよび／または追加のステップを有してよい。プロセスのステップは、図５に関連して説明される順序とは異なる順序で実行されてよい。いくつかのステップは、並列で実行されてよい。あるいは、ステップのいくつかは、並列で実行されてよく、いくつかのステップは、順次的に実行される。あるいは、いくつかのステップは、先行ステップの実行前にステップの実行が開始されるような、パイプライン方式で実行してよい。

リモートコンテナ解析システム１０１は、５００において、地理的領域の第１の画像を受信し、第１の画像は、第１の解像度を有する。第１の画像は、広大な地理的地域についてのものである。広大な地理的地域は、例えば、領域に基づいて事前定義されてよい。この領域は、例えば、国全体、例えば、米国、または州／省もしくは市などのより小さい部分、例えば、テキサスもしくはヒューストンであってよい。広大な領域にわたるスキャニングを実用的かつ効率的にするために、第１の画像のために、より低解像度の画像が使用される。そのような画像の例は、（パンクロマティックバンドにおける）１５ｍ／ピクセルのランドサット画像である。特徴抽出モジュール１０４は、５０４において、第１の画像から第１の特徴ベクトルを抽出する。第１の特徴ベクトルは、図２を参照して上で説明されたように、第１の画像内のピクセル属性に基づいた集合的な値を含んでよい。リモートコンテナ解析システム１０１は、第１の画像内において関心オブジェクトを含む関心領域を識別するために、５０８において、機械学習モデル１０６に第１の特徴ベクトルを送信する。第１の画像内において関心オブジェクトを含む関心領域を識別することは、図２および図４を参照して上で説明されたように、第１の画像内の各ピクセルについて、ピクセルが関心オブジェクトに対応する尤度を決定することを含む。機械学習モデル１０６は、より低い適合率（例えば、より高いフォールスポジティブ率）という代償を払って、高い再現率を有するようにトレーニングされる。

リモートコンテナ解析システム１０１は、５１２において、地理的領域の第２の画像を受信する。第２の画像は、第１の解像度よりも高い第２の解像度を有する。低解像度の第１の画像の処理には、第２の画像上におけるクリーンアップフェーズが後続する。フォールスポジティブを除去するために、第１のパスによって返されたすべての関心領域にわたって、第２のパスが実行される。今度は、より高解像度の画像が使用され、個々のコンテナは、（例えばピクセル当たり５０ｃｍの画像が使用されて）より明瞭に見られることができる。特徴抽出モジュール１０４は、５１６において、第２の画像から第２の特徴ベクトルを抽出する。第２の特徴ベクトルは、図２を参照して上で説明されたように、関心領域内のピクセルのピクセル属性に基づいた集合的な値を含む。

リモートコンテナ解析システム１０１は、５２０において、関心領域が関心オブジェクトを含む尤度を決定するために、機械学習モデル１０６に第２の特徴ベクトルを送信する。関心領域が関心オブジェクトを含む尤度を決定することは、図２および図４を参照して上で説明されたように、関心領域の各ピクセルについて、ピクセルが関心オブジェクトに対応する尤度を決定することを含む。尤度が閾値を下回る場合、リモートコンテナ解析システム１０１は、５２４において、第１の解像度を有する画像内において関心領域に対応する特徴を除去するように、機械学習モデルをトレーニングする。機械学習モデル１０６の正確性を改善するために、「ブートストラッピング」または「ハードネガティブマイニング」と呼ばれる手順が、実行されてよい。クリーンアップは、高いスコアリングの関心領域の合理的に小さいセットに制限される。高いスコアを受け取るが、オブジェクトを含まない関心領域は、ネガティブトレーニングセットに戻され、機械学習モデル１０６は、再びトレーニングされる。この手順は、トレーニングセットが「難しい」ネガティブ例を含むことを保証し、精度を向上させ、フォールスポジティブの数を低減させることができる。

例示的な一実施形態においては、５２４において関心領域に対応する特徴を除去するように機械学習モデル１０６をトレーニングすることは、関心領域に対応する特徴ベクトルを第１の画像から抽出することを含む。リモートコンテナ解析システム１０１は、第１の画像内における関心オブジェクトの欠落に対応する、特徴ベクトルを含むトレーニングセットおよびラベルを生成する。リモートコンテナ解析システム１０１は、第１の画像内における関心オブジェクトの欠落を識別するように、トレーニングセットに基づいて、機械学習モデル１０６を構成する。別の例示的な実施形態においては、５２４において関心領域に対応する特徴を除去するように機械学習モデル１０６をトレーニングすることは、関心領域に対応する特徴ベクトルを第１の画像から抽出することと、第１の画像内における関心オブジェクトの欠落を報告するように、抽出された特徴ベクトルに基づいて、機械学習モデル１０６を構成することとを含む。

第２の画像内の関心領域が関心オブジェクトを含む尤度が、閾値を超えた場合、リモートコンテナ解析システム１０１は、５２８において、図２において説明されたように、関心オブジェクトの視覚的表現をユーザ装置に送信する。

リモートオブジェクトの満たされた容積を決定するための例示的なプロセス
図６Ａは、実施形態に従った、リモートオブジェクトの満たされた容積を決定するためのリモートコンテナ解析システム１０１についての例示的なプロセスを示している。いくつかの実施形態においては、プロセスは、図６Ａに関連して説明されるものとは異なるステップおよび／または追加のステップを有してよい。プロセスのステップは、図６Ａに関連して説明される順序とは異なる順序で実行されてよい。いくつかのステップは、並列で実行されてよい。あるいは、ステップのいくつかは、並列で実行されてよく、いくつかのステップは、順次的に実行される。あるいは、いくつかのステップは、先行ステップの実行前にステップの実行が開始されるような、パイプライン方式で実行してよい。

リモートコンテナ解析システム１０１は、画像と知られた浮き屋根コンテナロケーションとの交わりを探すために、衛星画像を処理する。６００において、コンテナ画像が受信され、コンテナの中心が画像の中心に存在するように、縁を切り落とされる。タスクは、縁を切り落とされた画像を使用して、コンテナの満たされた容積を決定すること（すなわち、屋根がどれだけ下がっているかを決定すること）である。例示的な実施形態においては、コンテナは明るい色であることが仮定され、各コンテナの内壁は暗い色であるように、システムが構成される。リモートコンテナ解析システム１０１は、６０４において、画像からパラメータベクトルを抽出する。パラメータベクトルは、コンテナの緯度および経度、画像タイムスタンプ、衛星仰角および方位角、太陽仰角および方位角、ならびにタンク高さおよびタンク幅（またはタンク直径）を記述するパラメータを含んでよい。

例示的な実施形態においては、リモートコンテナ解析システム１０１は、図２を参照して上で説明されたように、６０８において、関心オブジェクト（コンテナ）の高さおよび幅を決定するために、画像に対して画像解析を実行してよい。リモートコンテナ解析システム１０１は、図２を参照して上で説明され、図７を参照して以下で示されるように、６１２において、抽出されたパラメータベクトル、関心オブジェクトの決定された高さ、および決定された幅を使用して、関心オブジェクトの理想化された画像を生成する。各理想化された画像は、図９を参照して以下で示され、説明されるように、関心オブジェクトの異なる満たされた容積に対応する。

リモートコンテナ解析システム１０１は、６１６において、関心オブジェクトの満たされた容積を決定するために、関心オブジェクトの受信された画像を各理想化された画像と照合する。照合は、図２を参照して上で説明され、図９を参照して以下でさらに示されるように、受信された画像のピクセルと理想化された画像のピクセルとの間のドット積を実行することを含む。リモートコンテナ解析システム１０１は、図２を参照して上で説明されたように、６２０において、関心オブジェクトの決定された満たされた容積に対応する情報を、ユーザ装置１２０に送信する。

雲被覆検出および満たされた容積決定のための例示的なプロセス
図６Ｂは、実施形態に従った、雲被覆検出のための、およびリモートオブジェクトの満たされた容積を決定するための例示的なプロセスを示している。いくつかの実施形態においては、プロセスは、図６Ｂに関連して説明されるものとは異なるステップおよび／または追加のステップを有してよい。プロセスのステップは、図６Ｂに関連して説明される順序とは異なる順序で実行されてよい。いくつかのステップは、並列で実行されてよい。あるいは、ステップのいくつかは、並列で実行されてよく、いくつかのステップは、順次的に実行される。あるいは、いくつかのステップは、先行ステップの実行前にステップの実行が開始されるような、パイプライン方式で実行してよい。

リモートコンテナ解析システム１０１は、６３０において、衛星、ドローンなどであってよい、空中撮像装置１１０から、関心オブジェクト（例えば、コンテナ）の画像を受信する。関心オブジェクトの画像は、それの空間解像度（地上において測定された表面積のサイズを表す画像のピクセルサイズ）、スペクトル解像度（測定された波長間隔サイズおよび間隔の数）時間解像度（画像収集期間の間に経過した時間量）、ならびにラジオメトリック解像度（異なるレベルの明度を記録する装置１１０の能力）によって特徴付けられてよい。

リモートコンテナ解析システム１０１は、６３４において、雲検出閾値を選択する。雲検出閾値は、画像内の雲被覆の比率またはパーセンテージの値である。雲検出閾値は、曇り画像を使用したコンテナ検出結果または満たされた容積検出結果と、非曇り画像を使用したそれらを比較することによって、選択されてよい。したがって、雲検出閾値は、リモートコンテナ解析システム１０１が、正確にコンテナを識別し、識別されたコンテナの満たされた容積を決定することができる、雲被覆の量として選択されてよい。例えば、雲検出閾値は、１５％であってよい。雲被覆検出中におけるフォールスネガティブの影響を軽減するために、雲検出閾値に余裕が追加されてもよい。フォールスネガティブは、リモートコンテナ解析システム１０１に、実際に存在する（例えば、１６％）よりも少ない雲被覆（例えば、１５％）が存在すると信じさせることがある。この事象が起こると、容積検出が影響されることがある。したがって、雲検出閾値に追加される余裕（例えば、１％）は、コンテナ検出および容積検出の正確性を向上させる。雲検出閾値および／または余裕は、天候、地理的地域、および解析下の関心オブジェクトの種類に従って、変更されてもよい。

リモートコンテナ解析システム１０１は、６３８において、機械学習モデル１０６によって、関心オブジェクトの画像を使用して、関心オブジェクトの画像内に存在する雲被覆の量を検出する。機械学習モデル１０６は、図３Ｃ、図３Ｄ、図４Ａ、および図４Ｂに関して上で詳細に説明され、示されたように、雲被覆に対応する特徴を、背景特徴および関心オブジェクトに対応する特徴から区別するように構成される。

関心オブジェクトの画像内に存在する雲被覆の量が雲検出閾値よりも少ないことに応答して、リモートコンテナ解析システム１０１は、６４２において、関心オブジェクトの画像から、少なくとも空中撮像装置の方位角を記述するパラメータを抽出する。抽出されてよい他のパラメータは、図２、図６Ａ、および図８に関して詳細に説明される。

リモートコンテナ解析システム１０１は、６４６において、パラメータから、関心オブジェクトの理想化された画像を生成する。各理想化された画像は、関心オブジェクトの異なる満たされた容積に対応する。理想化された画像は、図２、図６Ａ、図７、図８、および図９に関して説明され、示されるように、生成される。例えば、各理想化された画像の生成は、オブジェクトの上縁に対応する第１の円を生成することと、オブジェクトの内表面上の影の弧に対応する第２の円を生成することと、オブジェクトの屋根に対応する第３の円を生成することと、３つの円に関して畳み込みを実行することによって、理想化された画像を合成することとを含んでよい。

リモートコンテナ解析システム１０１は、図２、図６Ａ、および図１０Ａないし図１０Ｄに関して説明され、示されるように、６５０において、関心オブジェクトの満たされた容積を決定するために、関心オブジェクトの画像を各理想化された画像と照合する。例えば、関心オブジェクトの画像を各理想化された画像と照合することは、関心オブジェクトの画像の異なるロケーション上に理想化された画像を重ね合わせることと、異なるロケーションの各々において関心オブジェクトの画像のピクセルと理想化された画像のピクセルとの間のドット積を実行して、異なるロケーションの各々におけるドット積の最大値を決定することとを含んでよい。

リモートコンテナ解析システム１０１は、６５４において、関心オブジェクトの決定された満たされた容積に対応する情報を、ユーザ装置１２０に送信する。

理想化された画像の例示的な合成
図７は、実施形態に従った、理想化された画像の例示的な合成７００を示している。テンプレート生成モジュール１０３は、コンテナは、それの屋根を含んで、白色または明るい色であると仮定する。それは、影およびコンテナ内表面が黒であることも仮定する。テンプレート生成モジュール１０３は、円、すなわち、上円７０４（オブジェクトの上縁）、底円７２０（オブジェクトの底、それはそこで地面に接する）、屋根高さ円７０８（オブジェクトの屋根を表す）、および内部影円（オブジェクトの内表面７１２上の内部影の弧から生成される）の位置から、理想化された画像テンプレートを生成する。実施形態においては、上円７０４、屋根高さ円７０８、および内部影円７１２だけが、使用されてよい。理想化された画像テンプレートを生成するために、テンプレート生成モジュール１０３は、以下の情報、すなわち、オブジェクトの高さおよび幅、所望の屋根高さ、衛星の２つの角度、ならびに太陽の２つの角度を使用する。上記の情報、および図８に示される三角方程式に基づいて、テンプレート生成モジュール１０３は、円が位置する場所の２Ｄ射影を生成する。

テンプレート生成モジュール１０３は、図８に示されるようなパラメータベクトルを使用して、関心オブジェクトの上縁に対応する円７０４を生成することによって、オブジェクトの与えられた満たされた容積についての理想化された画像を生成する。テンプレート生成モジュール１０３は、パラメータベクトルを使用して、関心オブジェクトの内表面７１２上の影の弧に対応する円を生成する。テンプレート生成モジュール１０３は、パラメータベクトルを使用して、関心オブジェクトの屋根に対応する円７０８を生成する。テンプレート生成モジュール１０３は、図８に示されるように、所望の屋根高さに対応するテンプレートを生成するために、屋根上の影７１６を使用する。テンプレート生成モジュール１０３は、円７０４、円７２０、内部影の弧に対応する円７１２、および円７０８に関する畳み込みを実行することによって、理想化された画像を合成してよい。

円の位置がひとたび知られると、テンプレート生成モジュール１０３は、図２を参照して上で説明されたように、図７に示される「眼球」形状（暗い領域および影領域）テンプレートを生成するために、合併集合および共通集合を計算する。最終的なテンプレートにおいては、内部影ピクセルおよび内壁ピクセルは、−１になるように設定され、屋根ピクセルは、＋１になるように設定され、他のすべてのピクセルは、０になるように設定される。これは、暗いピクセル（例えば、影および内表面）が負になり、明るいピクセル（例えば、屋根）が正になるように行われる。その場合、入力画像と理想化された画像との間で実行されるドット積は、テンプレートと画像が類似している場合は、大きい正の数という結果となり、その理由は、画像内の正のピクセルは、理想化された画像内の正のピクセルと整列し、画像内の負のピクセルは、理想化された画像内の負のピクセルと整列するからである。

例示的な円射影方程式
図８は、実施形態に従った、例示的な円射影方程式のセットを示している。テンプレート生成モジュール１０３は、抽出されたパラメータ、および図８に示される三角方程式に基づいて、図７を参照して上で示され、説明された円の位置から、理想化された画像テンプレートを生成する。

一実施形態においては、テンプレート生成モジュール１０３は、パラメータベクトルを円上に写像するために、図８に示される三角方程式に基づいて、射影を生成してよい。テンプレート生成モジュール１０３は、以下のように、上縁によって投げられる影を屋根上に、内表面によって投げられる影を平面上に射影してよい。点の射影は、平面上の点の影である。平面上の点の影は、点自体である。例えば、点から平面上への射影は、以下のように実行されてよい。Ｃが、射影の中心と呼ばれる点である場合、Ｃと異なる点ＰのＣを含まない平面上への射影は、直線ＣＰと平面との交点である。直線ＣＰが平面と平行であるような点Ｐは、射影によるいかなる像も有さない。しかしながら、それらは、平面の無限遠にある点への射影と見なされる。点Ｃ自体の射影は、定義されない。別の例においては、平面上への方向Ｄに平行な射影は、以下のように実行されてよい。点Ｐの像は、Ｐを通過するＤに平行な直線の平面との交点である。

代替的実施形態においては、テンプレート生成モジュール１０３は、体Ｋ上のｎ次元射影空間Ｐ（Ｖ）を、ｎ＋１次元のＫ上のベクトル空間における直線の集合として定義してよい。Ｖの基底が固定されている場合、Ｖの点は、Ｋⁿ⁺¹の点（ｘ₀，．．．，ｘ_n）によって表されてよい。したがって、Ｖ内の直線であるＰ（Ｖ）の点は、この直線のいずれかの非ゼロの点の座標によって表されてよい。同じ次元の２つの射影空間Ｐ（Ｖ）およびＰ（Ｗ）を与えられると、テンプレート生成モジュール１０３は、ベクトル空間の同型写像ｆ：Ｖ→Ｗによって引き起こされる、Ｐ（Ｖ）から（Ｗ）への写像として、ホモグラフィを生成してよい。そのような同型写像は、ｆの線形性のため、Ｐ（Ｖ）から（Ｗ）への全単射を引き起こす。２つのそのような同型写像ｆおよびｇは、ｇ＝ａｆであるようなＫの非ゼロ要素が存在する場合かつその場合に限って、同じホモグラフィを定義してよい。

例示的な理想化された画像
図９は、実施形態に従った、例示的な理想化された画像９００のセットを示している。理想化された画像９００は、関心コンテナの満たされた容積のパーセンテージを０％満杯（画像９０４）から１００％満杯（画像９２４）まで変化させることによって、テンプレート生成モジュール１０３によって生成される。画像９０８においては、コンテナの満たされた容積のパーセンテージは、２０％である。画像９１２においては、コンテナの満たされた容積のパーセンテージは、４０％である。コンテナの上縁によってコンテナの屋根９３２および内表面上に投げられた画像９１２内の影は、画像９０８内の影よりも小さい。

画像９１６においては、コンテナの満たされた容積のパーセンテージは、６０％である。コンテナの上縁によってコンテナの屋根および内表面上に投げられた画像９１６内の影は、画像９１２内の影９３６よりも小さい。画像９２０においては、コンテナの満たされた容積のパーセンテージは、８０％である。コンテナの上縁によってコンテナの屋根および内表面上に投げられた画像９２０内の影は、画像９１６内の影よりも小さい。画像９２４においては、コンテナの満たされた容積のパーセンテージは、１００％である。画像９２４においては、影は存在しない。

入力の与えられたセットに対して、リモートコンテナ解析システム１０１は、画像９００の中のどの理想化されたテンプレートが、受信された画像と最も良く一致するかどうかを決定し、その後、対応する満たされた容積のパーセンテージを返す。例示的な一実施形態においては、テンプレート照合モジュール２０５は、以下のように、受信された画像、衛星および太陽の角度、ならびにコンテナ寸法に基づいて、コンテナの満たされた容積を決定する。テンプレート照合モジュール２０５は、変数「ｂｅｓｔ＿ｓｃｏｒｅ」を大きい負の数になるように設定する。テンプレート照合モジュール２０５は、変数「ｂｅｓｔ＿ｆｉｌｌ＿ｐｅｒｃｅｎｔａｇｅ」を−１になるように設定する。テンプレート照合モジュール２０５は、０％から１００％までの異なる満たされた容積のパーセンテージのために、以下のステップを実行する。テンプレート照合モジュール２０５は、受信された画像を各テンプレートと照合することから、スコアを決定する。スコアが、「ｂｅｓｔ＿ｓｃｏｒｅ」よりも高い場合、テンプレート照合モジュール２０５は、「ｂｅｓｔ＿ｓｃｏｒｅ」の値をそのスコアになるように設定し、「ｂｅｓｔ＿ｆｉｌｌ＿ｐｅｒｃｅｎｔａｇｅ」の値を満たされた容積のパーセンテージになるように設定するプロセスの終りに、テンプレート照合モジュール２０５は、「ｂｅｓｔ＿ｆｉｌｌ＿ｐｅｒｃｅｎｔａｇｅ」の値を返す。

リモートオブジェクトの例示的な画像勾配および輪郭
ここで図１０Ａを参照すると、それは、実施形態に従った、コンテナの例示的な受信された画像１０００を示している。コンテナは、影１００４を有する屋根１００８を有する。浮き屋根コンテナの屋根１００８が、上がりきっているとき（満杯のコンテナ）、一致する理想化された画像は、図９における画像９２４として上で示された、グレーピクセル１０１２（値０を有するピクセル）によって取り囲まれた（すべてのピクセルが値１を有する）白い円である。このテンプレートは、同じスコアを有するいずれの白い領域とも一致する。フォールスポジティブを回避するために、受信された画像１０００からの勾配情報が、テンプレート照合モジュール２０５によって取り入れられてよい。

図１０Ｂは、実施形態に従った、図１０Ａの受信された画像１０００のための例示的な画像勾配１０２０を示している。画像解析モジュール２０４は、受信された画像１０００の画像勾配１０２０を獲得するために、受信された画像１０００に対して、図２を参照して上で説明されたような、エッジ解析を実行してよい。画像勾配１０２０は、画像１０００における強度または色の方向変化を表す。画像解析モジュール２０４は、各ピクセルにおける単一の値として、画像勾配１０２０を導出してよい。各画像点において、勾配は、最大の可能な強度増加を示す。図１０Ｂにおける縁１０２４は、画像１０００における強度または色の変化であって、図１０Ａにおける背景１０１２から影１００４への変化を表す。図１０Ｂにおける縁１０２８は、画像１０００における強度または色の変化であって、図１０Ａにおける影１００４から屋根１００８への変化を表す。図１０Ｂにおける縁１０３２は、画像１０００における強度または色の変化であって、図１０Ａにおける屋根１００８から背景１０１２への変化を表す。

図１０Ｃは、実施形態に従った、理想化された画像テンプレート内の関心オブジェクト（コンテナ）の上縁１０４４の例示的な輪郭１０４０を示している。画像解析モジュール２０４は、理想化された画像におけるコンテナの上縁１０４４の輪郭１０４０を獲得するために、理想化された画像に対してエッジ解析を実行してよい。例えば、画像解析モジュール２０４は、輪郭１０４０内の縁１０４４上の望ましくないスプリアス点を除去するために、エッジ細線化を実行してよい。画像解析モジュール２０４は、理想化された画像が（例えば、メディアンフィルタ、ガウシアンフィルタなどを使用して）ノイズについてフィルタリングされ、（図２を参照して上で説明されたように）縁１０４４を検出するために、エッジオペレータが適用された後、および適切な閾値を使用して、縁１０４４が平滑化された後、エッジ細線化を実行してよい。これは、実施形態においては、すべての望ましくない点を除去し、１ピクセル幅のエッジ要素という結果となる。

テンプレート照合モジュール２０５は、受信された画像１０００内のコンテナの満たされた容積を決定するために、画像勾配１０２０のピクセルと上縁１０４４の輪郭１０４０のピクセルとの間のドット積を実行してよい。このプロセスの利益および利点は、鮮明で細いエッジが、テンプレート照合において、より大きい効率性をもたらすことである。（影の）弧および円（例えば、上縁）を検出するために、ハフ変換を使用することは、より大きい正確性という結果となる。

図１０Ｄは、実施形態に従った、理想化された画像テンプレート内のコンテナの内表面上の影の例示的な輪郭１０６０を示している。画像解析モジュール２０４は、コンテナの内表面上の影の輪郭１０６０を獲得するために、理想化された画像に対してエッジ解析を実行してよい。図１０Ｄにおいては、縁１０６４は、理想化された画像における強度または色の変化であって、背景から内表面上の影への変化を表す。縁１０６８は、理想化された画像における強度または色の変化であって、内表面上の影から屋根への変化を表す。テンプレート照合モジュール２０５は、受信された画像１０００内のコンテナの満たされた容積を決定するために、画像勾配１０２０のピクセルと影の輪郭１０６０のピクセルとの間のドット積を実行してよい。

いくつかの例示的な実施形態においては、応答マップを形成するために、３つの畳み込みが実行され、足し合わされてよい。第１の畳み込みは、受信された画像１０００と、図９における理想化された画像テンプレート、例えば、画像９１２との間のものである。第２の畳み込みは、画像勾配１０２０と、上縁の輪郭１０４０との間のものである。第３の畳み込みは、画像勾配１０２０と、影の輪郭１０６０との間のものである。結果として得られる３つの応答マップは、合算されてよく、画像の中心から指定された半径内において最大の応答を有するロケーションが、最終的なテンプレートマッチスコアとして決定されてよい。上述の手順は、関心オブジェクトの幾何形状が知られており、そのほとんどが知られている少数のパラメータによって特徴付けされる、任意の状況に対して一般化されてよい。その場合、未知のパラメータは、可能な値にわたってスイープし、テンプレートを生成し、それらを入力画像と照合することによって、決定されることができる。

例示的なマシンアーキテクチャ
図１１は、マシン可読媒体から本明細書においてプロセスとして説明された命令を読み、それらを少なくとも１つのプロセッサ（またはコントローラ）において実行することができる例示的なマシンのコンポーネントを示すブロック図である。具体的には、図１１は、コンピュータシステム１１００の例示的な形態におけるマシンの図式表現を示している。コンピュータシステム１１００は、本明細書において説明された方法（またはプロセス）のうちのいずれか１つまたは複数をマシンに実行させるための命令１１２４（例えば、プログラムコードまたはソフトウェア）を実行するために使用されることができる。代替的実施形態においては、マシンは、スタンドアロン装置として、または他のマシンに接続する接続された（例えば、ネットワーク接続された）装置として動作する。ネットワーク接続された配置においては、マシンは、サーバ−クライアントネットワーク環境におけるサーバマシンもしくはクライアントマシンの立場で、またはピアツーピア（もしくは分散）ネットワーク環境におけるピアマシンとして動作してよい。命令は、例えば、図１、図２、および図４ないし図６に関して、本明細書において説明されたコンポーネントおよび／またはプロセスの機能性に対応することが留意される。命令は、図３Ａないし図３Ｂ、図７、図９、および図１０Ａないし図１０Ｄに示される結果をもたらすことと関連付けられたプロセスに対応してもよい。

マシンは、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、スマートフォン、モノのインターネット（ＩｏＴ）電化製品、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって取られるアクションを指定する命令１１２４を（順次もしくは他の方法で）実行することが可能な任意のマシンであってよい。さらに、単一のマシンだけが示されているが、「マシン」という用語は、本明細書において説明された方法のいずれか１つまたは複数を実行するための命令１１２４を個々にまたは共同で実行するマシンの任意の集まりを含むとも解釈されるものとする。

例示的なコンピュータシステム１１００は、１つまたは複数の処理ユニット（一般にプロセッサ１１０２）を含む。プロセッサ１１０２は、例えば、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、状態機械。１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）、１つもしくは複数の無線周波数集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせである。コンピュータシステム１１００は、メインメモリ１１０４も含む。コンピュータシステムは、ストレージユニット１１１６を含んでよい。プロセッサ１１０２、メモリ１１０４、およびストレージユニット１１１６は、バス１１０８を介して通信する。

加えて、コンピュータシステム１１００は、静的メモリ１１０６と、（例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、またはプロジェクタを駆動するための）ディスプレイドライバ１１１０とを含むことができる。コンピュータシステム１１００は、やはりバス１１０８を介して通信するように構成された、英数字入力装置１１１２（例えば、キーボード）と、カーソル制御装置１１１４（例えば、マウス、トラックボール、ジョイスティック、運動センサ、または他のポインティング機器）と、信号生成装置１１１８（例えば、スピーカ）と、ネットワークインターフェース装置１１２０とを含んでもよい。

ストレージユニット１１１６は、本明細書において説明された方法または機能のうちのいずれか１つまたは複数を具現する命令１１２４（例えば、ソフトウェア）が記憶された、マシン可読媒体１１２２を含む。命令１１２４は、コンピュータシステム１１００によるそれらの実行中は、完全にまたは少なくとも一部は、メインメモリ１１０４内に、またはプロセッサ１１０２内に（例えば、プロセッサのキャッシュメモリ内に）存在してもよく、メインメモリ１１０４およびプロセッサ１１０２も、マシン可読媒体を構成する。命令１１２４は、ネットワークインターフェース装置１１２０を介して、ネットワーク１１２６上において送信または受信されてよい。

マシン可読媒体１１２２は、例示的な実施形態においては、単一の媒体であるように示されているが、「マシン可読媒体」という用語は、命令１１２４を記憶することができる単一の媒体または複数の媒体（例えば、集中化もしくは分散データベース、または関連付けられたキャッシュおよびサーバ）を含むと解釈されるべきである。「マシン可読媒体」という用語は、また、マシンによって実行するための命令１１２４であって、本明細書において開示された方法のうちのいずれか１つまたは複数をマシンに実行させる命令１１２４を記憶することが可能な任意の媒体を含むと解釈されるものとする。「マシン可読媒体」という用語は、限定されることなく、ソリッドステートメモリ、光媒体、および磁気媒体の形態を取る、データリポジトリを含む。いくつかの例示的な実施形態においては、コンピュータシステムのコアコンポーネントは、プロセッサ１１０２、メモリ１１０４、およびバス１１０８を除くコンポーネントを無視してよく、他の実施形態においては、ストレージユニット１１１６および／またはネットワークインターフェース装置１１２０を含んでもよい。

追加の検討事項
開示されるようなリモートコンテナ解析システムは、ピクセルのクラスタをリモートコンテナのデジタル表現に、また各リモートコンテナについては、そのリモートコンテナの屋根、内表面、および満たされた容積のデジタル表現に変換することを含む、利益および利点を提供する。システムの他の利点は、空中画像のより高速な処理、より少ない電力消費、リモートコンテナ検出におけるより短い待ち時間、ネットワーク上において送信されるより少ないデータを含む。

本明細書全体にわたって、複数の実例は、単数の実例として説明されるコンポーネント、動作、または構造を実施してよい。１つまたは複数の方法の個々の動作は、別々の動作として示され、説明されるが、個々の動作のうちの１つまたは複数は、同時に実行されてよく、示された順序で動作が実行されることは、まったく必要ではない。例示的な構成において別々のコンポーネントとして提示される構造および機能性は、組み合わされた構造またはコンポーネントとして実施されてよい。同様に、単一のコンポーネントとして提示される構造および機能性は、別々のコンポーネントとして実施されてよい。これらおよび他の変形、変更、追加、および改善は、本明細書における主題の範囲内に包含される。

本明細書においては、ある実施形態は、例えば、図１、図２、図４、図５、図６、および図１１を用いて示され、説明されたような、ロジックまたは数々のコンポーネント、モジュール、もしくはメカニズムを含むものとして説明される。モジュールは、ソフトウェアモジュール（例えば、マシン可読媒体上において具現されたコード）、またはハードウェアモジュールを構成してよい。ハードウェアモジュールは、ある動作を実行することが可能な有形なユニットであり、ある方式で構成または配置されてよい。例示的な実施形態においては、１つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアントもしくはサーバコンピュータシステム）、またはコンピュータシステムの１つもしくは複数のハードウェアモジュール（例えば、プロセッサもしくはプロセッサのグループ）は、ソフトウェア（例えば、アプリケーションまたはアプリケーションの一部）によって、本明細書において説明されるようなある動作を実行するように動作するハードウェアモジュールとして構成されてよい。

様々な実施形態においては、ハードウェアモジュールは、機械的または電子的に実施されてよい。例えば、ハードウェアモジュールは、（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサのように）ある動作を実行するように永続的に構成された、専用回路またはロジックを含んでよい。ハードウェアモジュールは、ある動作を実行するようにソフトウェアによって一時的に構成された（例えば、汎用プロセッサまたは他のプログラマブルプロセッサ内に包含されるような）プログラマブルロジックまたは回路を含んでもよい。ハードウェアモジュールを専用かつ永続的に構成された回路で機械的に実施するか、それとも（例えば、ソフトウェアによって構成される）一時的に構成された回路で実施するかについての決定は、コストおよび時間を考慮することによって行われてよい。

本明細書において説明される例示的な方法の様々な動作は、関連する動作を実行するように（例えば、ソフトウェアによって）一時的に構成された、または永続的に構成された１つまたは複数のプロセッサ、例えば、プロセッサ１１０２によって、少なくとも一部は実行されてよい。一時的に構成されるか、それとも永続的に構成されるかにかかわらず、そのようなプロセッサは、１つまたは複数の動作または機能を実行するように動作する、プロセッサ実施されるモジュールを構成してよい。本明細書において言及されるモジュールは、いくつかの例示的な実施形態においては、プロセッサ実施されるモジュールを含んでよい。

１つまたは複数のプロセッサは、「クラウドコンピューティング」環境において、または「サービス型ソフトウェア」（ＳａａＳ）として、関連する動作の実行をサポートするように動作してもよい。例えば、少なくともいくつかの動作は、（プロセッサを含むマシンの例としての）コンピュータのグループによって実行されてよく、これらの動作は、ネットワーク（例えば、インターネット）を介して、および１つまたは複数の適切なインターフェース（例えば、アプリケーションプログラミングインターフェース（ＡＰＩ））を介してアクセス可能である。

ある動作の実行は、単一のマシン内に存在するばかりでなく、多数のマシンにわたって配置されもする、１つまたは複数のプロセッサの間に分散されてよい。いくつかの例示的な実施形態においては、１つまたは複数のプロセッサまたはプロセッサ実施されるモジュールは、単一の地理的ロケーションに（例えば、自宅環境、オフィス環境、またはサーバファーム内に）配置されてよい。他の例示的な実施形態においては、１つまたは複数のプロセッサまたはプロセッサ実施されるモジュールは、多数の地理的ロケーションにわたって分散されてよい。

本明細書のいくつかの部分は、マシンメモリ（例えば、コンピュータメモリ）内にビットまたはバイナリデジタル信号として記憶されたデータに対する操作のアルゴリズムまたはシンボリック表現に関して提示される。これらのアルゴリズムまたはシンボリック表現は、自分の仕事の内容を他の当業者に伝えるために、データ処理分野の当業者によって使用される技法の例である。本明細書において使用される場合、「アルゴリズム」は、所望の結果をもたらす自己矛盾のない動作のシーケンスまたは類似の処理である。この文脈においては、アルゴリズムおよび動作は、物理的量の物理的操作を含む。必ずではないが、一般に、そのような量は、マシンによって記憶され、アクセスされ、転送され、組み合わされ、比較され、または他の方法で操作されることが可能な電気的信号、磁気的信号、または光学的信号の形態を取ってよい。主に共通使用の理由で、「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「シンボル」、「文字」、「項」、「数」、または「数詞」などの語を使用して、そのような信号を参照することが時には便利である。しかしながら、これらの語は、便利なラベルであるにすぎず、適切な物理的量と関連付けられるべきである。

他に別段の指摘がない限り、「処理する」、「計算する」、「算出する」、「決定する」、「提示する」、または「表示する」などの語を使用する本明細書における説明は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、もしくはそれらの組み合わせ）、レジスタ、または情報を受信し、記憶し、送信し、もしくは表示する他のマシンコンポーネント内の物理的（例えば、電子的、磁気的、または光学的）量として表されるデータを操作または変換するマシン（例えば、コンピュータ）のアクションまたはプロセスに言及してよい。

本明細書において使用される場合、「一実施形態」または「実施形態」に対する言及は、実施形態に関連して説明された特定の要素、特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態においては」という句の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。

いくつかの実施形態は、「結合される」および「接続される」という表現ならびにそれらの派生形を使用して説明されることがある。例えば、いくつかの実施形態は、２つ以上の要素が物理的または電気的に直接接触していることを示すために、「結合される」という語を使用して説明されることがある。しかしながら、「結合される」という語は、２つ以上の要素が互いに直接接触していないが、それでもなお互いに協力または対話することを意味してもよい。実施形態は、これに関連して限定されない。

本明細書において使用される場合、「ｃｏｍｐｒｉｓｅｓ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（含む）」、「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｈａｓ（有する）」、「ｈａｖｉｎｇ（有する）」という語またはそれらの他の任意の変形は、非排他的な包含をカバーすることが意図されている。例えば、要素のリストを含むプロセス、方法、物品、または装置は、必ずしもそれらの要素だけに限定されず、明示的に列挙されていない、またはそのようなプロセス、方法、物品、もしくは装置に本来的でない他の要素を含んでよい。反対のことが明示的に述べられない限り、「または」は、包含的論理和であり、排他的論理和ではない。例えば、ＡまたはＢという条件は、以下のうちのいずれか１つ、すなわち、Ａが真（または存在する）かつＢが偽（または存在しない）、Ａが偽（または存在しない）かつＢが真（または存在する）、およびＡとＢの両方が真（または存在する）のうちのいずれか１つによって満たされる。

加えて、「ａ」または「ａｎ」の使用が、本明細書における実施形態の要素およびコンポーネントを説明するために利用される。これは、特許請求される本発明に一般的意味を与えるために、便宜的に行われるにすぎない。この説明は、１つまたは少なくとも１つを含むと読まれるべきであり、他のことを意味していることが明白でない限り、単数形は複数形も含む。

本開示を読んだとき、当業者は、本明細書において開示された原理を通して、低解像度画像からリモートコンテナの満たされた容積を識別および決定するためのシステムおよびプロセスについての、さらなる追加の代替的な構造的および機能的設計について理解する。したがって、特定の実施形態および応用例が示され、説明されたが、開示された実施形態は、本明細書において開示された通りの構成およびコンポーネントに限定されないことが理解されるべきである。本明細書において開示される方法および装置の配置、動作、および細部において、当業者に明らかな様々な変更、変化、および変形が、添付の特許請求の範囲において確定される主旨および範囲から逸脱することなく施されてよい。

Claims (15)

1. 機械学習モデルによって、関心オブジェクトの画像を使用して、前記関心オブジェクトの前記画像内に存在する雲被覆の量を検出するステップであって、前記機械学習モデルは、前記雲被覆に対応する特徴を背景特徴から区別するように構成される、該ステップと、
   前記関心オブジェクトの前記画像内に存在する雲被覆の前記量が雲検出閾値よりも少ないことに応答して、前記関心オブジェクトの理想化された画像を生成するステップであって、各理想化された画像は、前記関心オブジェクトの異なる満たされた容積に対応する、該ステップと、
   前記関心オブジェクトの満たされた容積を決定するために、前記関心オブジェクトの前記画像を各理想化された画像と照合するステップと、
   前記関心オブジェクトの前記決定された満たされた容積に対応する情報をユーザ装置に送信するステップと
   を含むことを特徴とする方法。
2. 地理的領域のラベル付けされた画像を含むトレーニングセットを作成するステップであって、前記地理的領域の前記ラベル付けされた画像は、異なる量の雲被覆を含む、該ステップと、
   前記ラベル付けされていない画像内に存在する前記雲被覆に対応する前記ラベル付けされていない画像内の特徴を、前記ラベル付けされていない画像内に存在する背景特徴から区別することによって、ラベル付けされていない画像内に存在する雲被覆の量を検出するように、前記トレーニングセットに基づいて、前記機械学習モデルを構成するステップと
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記関心オブジェクトの前記画像から特徴ベクトルを抽出するステップであって、前記特徴ベクトルは、前記関心オブジェクトの前記画像内のピクセルの属性を表す特徴を含む、該ステップをさらに含み、前記関心オブジェクトの前記画像内に存在する雲被覆の前記量を検出する前記ステップは、前記特徴ベクトルを前記機械学習モデルに送信するステップを含むことを特徴とする請求項１に記載の方法。
4. 画像を処理するための方法であって、
   機械学習モデルによって、関心オブジェクトの画像を使用して、前記関心オブジェクトの前記画像内に存在する雲被覆の量を検出するステップと、
   前記関心オブジェクトの前記画像内に存在する雲被覆の前記量が閾値よりも少ないことに応答して、前記関心オブジェクトの満たされた容積を決定するステップと
   を含むことを特徴とする方法。
5. 地理的領域のラベル付けされた画像を含むトレーニングセットを生成するステップであって、前記地理的領域の前記ラベル付けされた画像は、異なる量の雲被覆を含む、該ステップと、
   前記ラベル付けされていない画像内に存在する前記雲被覆に対応する前記ラベル付けされていない画像内の特徴を、前記ラベル付けされていない画像内に存在する背景特徴から区別することによって、ラベル付けされていない画像内に存在する雲被覆の量を検出するように、前記トレーニングセットに基づいて、前記機械学習モデルを構成するステップと
   をさらに含むことを特徴とする請求項４に記載の方法。
6. 前記関心オブジェクトの前記画像から特徴ベクトルを抽出するステップであって、前記特徴ベクトルは、前記関心オブジェクトの前記画像内のピクセルの属性を表す特徴を含む、該ステップをさらに含み、前記関心オブジェクトの前記画像内に存在する雲被覆の前記量を検出する前記ステップは、前記特徴ベクトルを前記機械学習モデルに送信するステップを含むことを特徴とする請求項４に記載の方法。
7. 前記関心オブジェクトの前記満たされた容積を決定する前記ステップは、
   前記関心オブジェクトの理想化された画像を生成するステップであって、各理想化された画像は、前記関心オブジェクトの異なる満たされた容積に対応する、該ステップと、
   前記関心オブジェクトの前記満たされた容積を決定するために、前記関心オブジェクトの前記画像を各理想化された画像と照合するステップと
   を含むことを特徴とする請求項４に記載の方法。
8. 前記理想化された画像内の前記関心オブジェクトの影および内表面に対応するピクセルを負の値になるように設定することと、
   前記理想化された画像内の前記関心オブジェクトの屋根に対応するピクセルを正の値になるように設定することと
   を行うことによって、各理想化された画像をリスケールするステップをさらに含むことを特徴とする請求項７に記載の方法。
9. 各理想化された画像を生成する前記ステップは、
   パラメータを使用して、前記関心オブジェクトの上縁に対応する第１の円を生成するステップと、
   前記パラメータを使用して、前記関心オブジェクトの内表面上の影の弧に対応する第２の円を生成するステップと、
   前記パラメータを使用して、前記関心オブジェクトの屋根に対応する第３の円を生成するステップと、
   前記３つの円に関して畳み込みを実行することによって、前記理想化された画像を合成するステップと
   を含むことを特徴とする請求項７に記載の方法。
10. 前記機械学習モデルは、
    前記画像内の特徴の幾何学的属性を決定することであって、前記幾何学的属性は、前記画像内の前記特徴の形状を示す、該決定することと、
    前記特徴の前記幾何学的属性が１つまたは複数の線形輪郭を示すことに応答して、雲被覆である前記特徴の分類の尤度値をある量だけ減少させることと
    を行うようにさらに構成されたことを特徴とする請求項４に記載の方法。
11. 前記機械学習モデルは、
    前記画像内の特徴の幾何学的属性を決定することであって、前記幾何学的属性は、前記画像内の前記特徴の形状を示す、該決定することと、
    前記特徴の前記幾何学的属性が規則的な形状を示すことに応答して、前記関心オブジェクトである前記特徴の分類の尤度値をある量だけ増加させることと
    を行うようにさらに構成されたことを特徴とする請求項４に記載の方法。
12. 前記機械学習モデルは、
    前記画像内の特徴の質感属性を決定することであって、前記質感属性は、前記特徴の隣接ピクセルのピクセル値の変化を示す、決定することと、
    前記特徴の隣接ピクセルのピクセル値の前記変化を示す前記特徴の前記質感属性が閾値を下回ることに応答して、雲被覆である前記特徴の分類の尤度値をある量だけ増加させることと
    を行うようにさらに構成されたことを特徴とする請求項４に記載の方法。
13. 前記閾値は、
    複数のサンプル画像にアクセスすることであって、各サンプル画像は、関心オブジェクトの画像であり、各サンプル画像は、ある量の雲被覆を含み、各サンプル画像は、前記サンプル画像内の雲被覆の前記量と、前記画像内の前記関心オブジェクトの満たされた容積とを示す、１つまたは複数のラベルを含む、アクセスすることと、
    前記複数のサンプル画像の各々について、前記関心オブジェクトの前記満たされた容積が、前記サンプル画像のラベルで示されるような、前記関心オブジェクトの前記満たされた容積の閾値範囲内にあると決定される、前記複数のサンプル画像のセットを決定することと、
    前記複数のサンプル画像の前記セットのその他の画像の前記１つまたは複数のラベルで示される雲被覆の前記量と比較して、雲被覆の最大量を示すラベルを有する前記複数のサンプル画像の前記セット内のサンプル画像を識別することと、
    閾値として、前記サンプル画像の雲被覆の前記最大量を選択することと
    を行うことによって選択されることを特徴とする請求項４に記載の方法。
14. 前記関心オブジェクトの前記理想化された画像を生成するステップは、
    前記関心オブジェクトの前記画像を捕獲した空中撮像装置の方位角に少なくとも基づいて、前記関心オブジェクトの前記理想化された画像を生成するステップ
    をさらに含むことを特徴とする請求項１３に記載の方法。
15. プロセッサによって実行可能な命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、前記プロセッサによって実行されたときに、請求項１乃至１４に記載の方法を前記プロセッサに実施させることを特徴とする非一時的コンピュータ可読記憶媒体。

Images