JP7273094B2 - 惑星規模解析のためのシステム - Google Patents

Description

本発明は、惑星規模解析のためのシステムに関する。

関連出願
本出願は、その全体が全体として本明細書に組み込まれる、２０１６年２月２９日に出願された、「Ｓｙｓｔｅｍ ｆｏｒ Ｐｌａｎｅｔａｒｙ－Ｓｃａｌｅ Ａｎａｌｙｔｉｃｓ」と題する、米国特許仮出願第６２／３０１４４１号明細書に基づく優先権を主張する。

衛星の多くの機能のうちの１つは、地球映像である。農業、地質学、地図製作、気象、または他の何らかの有益な目的で、エリアを分析するためなどに、地球上の関心エリアについての映像データが、収集されてよい。有益な映像データは、関心地物までの相対的に鮮明なビジュアル経路に大きく依存する。しかしながら、しばしば、地物は、エアロゾルまたは雲などの大気条件によって妨害されるので、関連する所望の地物は、衛星映像を通して可視ではない。例えば、関心地物自体が、地球上に存在する場合、雲が、有益な映像データを取得し、送信する衛星の能力を、妨げることがある。

さらに、典型的な衛星通信システムは、それらの帯域幅において制限され、膨大な量の映像データは、利用可能なダウンリンク帯域幅の非効率的な使用になることがある。衛星映像データが、障害物を含み、したがって、関心地物を含まないとき、この問題は、悪化させられる。

低地球軌道（ＬＥＯ）にいる衛星は、軌道当たり、時間の限られた期間にわたって、地球上の所定の地理的ロケーションのセット上に視界を有し、したがって、それの存続期間にわたる衛星の有用性を最大化するために、地球映像システムを含む、オンボードペイロードの効率的な使用は、特に関心が高いことである。地球局に結び付けられた制御ループを有する、地球映像システムを含む、衛星ペイロードは、それらの動作を制御するために、地球ベースのコンポーネントとの通信、または地球ベースのコンポーネントによって実行されるアクションをそれらが必要とするので、ＬＥＯ衛星オンボードにおけるそれらの使用の効率性を最大化することに対して障害を課す。

機会に基づいて、または、例えば１つもしくは複数のペイロードもしくはダウンリンク帯域幅の使用において費用関数を減少させること、もしくはリターンを増加させることなどを行う費用対効果解析などに基づいて、著しい処理能力と、あるレベルの自律的なタスク割り当てとを衛星に装備することによって、かなりの利点が実現されることができる。衛星における相当なオンボード処理は、少なくとも２つの技法的な利点を提供することができる。第１に、オンボード処理は、有益な情報だけを衛星から受信機にダウンロードすることによって、帯域幅利用を最大化または増加させることを可能にすることができる。加えて、ダウンロード映像の代わりに、衛星は、有益な映像を解析し、ダウンロードのために映像から意味あるデータを要約および／または抽出することができてよい。第２に、オンボード処理は、画像収集機会を最適化し、価値あるデータの獲得を優先するために、決定がオンザフライで行われることを可能にすることができる。

非限定的な例においては、画像データのオンボード処理は、以下のシナリオにおいて示されるように、帯域幅利用を最大化または増加させることができる。考えてみると、世界の６０％は雲に覆われており、そのため典型的な衛星映像においては、衛星からダウンロードされる画像ピクセルの６０％は、地球上の関心地物を妨げる雲に属し、したがって、関係ない情報を含む。これは、浪費される撮像リソース、オンボードストレージ、送信時間、および帯域幅という結果をもたらす。しかしながら、衛星自体が、雲検出アルゴリズムを実行するための能力を有する場合、および衛星が、軌道内画像をセグメント化および分類し、雲がない画像の部分だけをダウンロードする能力を有する場合システムは、それが地上に送ることができる情報において、直接的なゲインを有する。

別の非限定的な例においては、地上ベースの局が、メキシコ湾において船舶を探索している場合、従来のプロセスは、地上ベースの局が、衛星によって撮影されたメキシコ湾のすべての画像をダウンロードし、関心対象が見つかるまで、ダウンロードされた各画像を探索することを必要とする。それは、関心地物を有さない水だけをそのほとんどが含む、著しい数の画像をダウンロードすることを必要とする。しかしながら、衛星自体が、エッジ検出または対象検出などを通して、船舶候補を検出する、アルゴリズムを利用することができる場合、船舶候補を含む著しく少ない数の画像が、地上ベースの局にダウンロードされてよい。さらに、衛星が、知られた船舶候補の座標の周辺のジオロケーションに基づいた狭いエリアに対してタスクを割り当てられるときは特に、衛星は、必ずしもメキシコ湾全体の画像を取得する必要はなくてよい。このように動作することによって、正味の帯域幅利用は、地上ベースの局に送信されるべきデータの量を減少させることによって（例えば、画像のより小さいサブセット、またはサブ画像）、減少または最小化させられることができる。したがって、画像のより小さいサブセットを受け取った地上ベースの局は、削減された数の画像をより効率的に処理し、ジオロケーションに基づいた狭いエリア内において取得された画像が、船舶または誤検出を含むかどうかを決定することができる。

別の非限定的な例においては、衛星は、駐車場内の自動車の数を監視することができる。それを行う際、衛星センサが駐車場上空を通過するたびに、衛星は、自動車をアルゴリズム的にカウントすることができる。結果として、駐車場ロケーションの多数の画像を送る代わりに、衛星は、カウントされた自動車の数を示す単一の数を送信することができる。やはり、このシナリオは、駐車場ロケーションの画像を送信する必要を全面的に排除し、単に地上ベースの局への数の送信という結果をもたらし、それによって、必要とされる帯域幅を大幅に減らし、他の通信目的のために追加の帯域幅を利用可能にすることによって、帯域幅利用を最大化することができる。

別の非限定的な例においては、画像データのオンボード処理は、画像収集機会を最適化し、価値あるデータの獲得を優先する、リアルタイム決定が行われることを可能にすることができる。例えば、衛星は、優先事項のリストを持っていてよく、地上条件（雲、エアロゾル、明暗など）に基づいて、各瞬間にそれの様々なセンサをどこに照準するかを選択する。これらの決定を行うために、異なるセンサからの情報が、評価され、および／または組み合わされることができる。例えば、高視野センサが、より高解像度のカメラをどこに照準するかを決定するために、使用されることができ、また熱情報が、ハイパースペクトルカメラを照準するために、使用されることができるなどである。このように、衛星の異なるペイロードは、１つの特定のペイロードから受け取ったデータに基づいて決定を行い、その後、受け取ったデータに基づいて他のペイロードにタスクを割り当てることができる制御システムに、データを供給することができる。

衛星が、本明細書において説明されるように、対象または土地利用特性を識別することが可能である場合、衛星は、内容に基づいて、タスク割り当て命令を与えられることができる。例えば、衛星が、とうもろこし畑を検出するたびに、衛星は、とうもろこし畑と関連付けられた特定のパラメータを計算することができ、パラメータが、事前決定された閾値よりも高い場合、衛星は、とうもろこし畑と関連付けられた追加の撮像データを取得し、撮像データを送信することができる。同様に、衛星は、それが、ルート６６を検出したとき、それは、高解像度カメラを用いて道路を追跡し、自動車の数をカウントすべきであり、それが、大型トラックを検出した場合、それは、熱および赤外線カメラ（「ＴＩＲカメラ」）を用いてトラックの温度を測定すべきであることを命令されることができる。このように、衛星は、センサデータの内容に基づいて、自律的にタスクを生成することができる。すなわち、センサデータの内容は、衛星上の他のシステムおよびペイロードへの入力として使用されることができ、衛星は、センサデータに基づいて、他のペイロードをアクティブ化することができる。

添付の図面を参照して、詳細な説明が、行われる。図において、参照番号の最も左の数字は、参照番号が最初に出現した図を識別する。異なる図における同じ参照番号は、同様または同一の要素を示す。

１つまたは複数のペイロードと、ペイロードから入力を受け取り、受け取られた入力に基づいて決定を行うための制御システムとを含む、衛星を表した、システム概要を示す図である。 例示的な軌道内衛星撮像システム２０２のコンポーネントのブロック図である。 軌道内衛星によって実行される撮像タスクのいくつかのピクトリアルフロー図である。 画像処理および解析システムのコンポーネントのブロック図である。 衛星撮像のための例示的なプロセスのフロー図である。 機会ベースの衛星タスク割り当てのための例示的なプロセスのフロー図である。 人工知能を用いたオンボード解析の例示的なプロセスのフロー図である。 オンボードにおいて衛星を再計画し、衛星にタスクを再割り当てするための例示的なプロセスのフロー図である。 オンボードにおける動的コード実行のための例示的なプロセスのフロー図である。

図１に示されるように、システム１００は、衛星１０２を含む。衛星１０２は、ペイロード１０４を含み、それは、多くのケースにおいては、撮像システム１０６を含む。撮像システムは、相対的に広い視野の撮像データを取得するように設計されたマクロカメラ１０８、および相対的に狭い視野を有し、一般により詳細な解像度画像を提供してもよいマイクロカメラ１１０などの、（本明細書において「撮像センサ」とも呼ばれる）１つまたは複数のカメラを含んでよい。汎用カメラ１１２は、広範な視野の映像のために組み込まれてよく、雲検出アルゴリズムに入力される撮像データを提供してよい。ＴＩＲカメラ１１４が、熱撮像データおよび赤外線撮像データのために組み込まれてもよい。追加のカメラは、とりわけ、マルチスペクトルカメラ、またはハイパースペクトルカメラを含んでよい。実験用および他のセンサ１１６が、様々な目的で、衛星ペイロード１０４の一部として含まれてもよい。

制御システム１１８は、ペイロード１０４および衛星オンボードの他のシステムの機能を扱うための１つまたは複数のオンボードコンピュータから成ってよい。制御システム１１８は、１つまたは複数のプロセッサ１２０と、コンピュータ可読媒体１２２とを含んでよい。

説明される衛星システム１００は、少なくとも３つの有益な特徴、すなわち、ｉ）撮像処理パイプラインを軌道上において行うようにすること、ｉｉ）自動化されたタスク割り当ておよびスケジューリング、ならびにｉｉｉ）より高いレベルの画像解析（ａｎａｌｙｔｉｃｓ）を軌道上において行うようにすることを提供する。衛星システム１００は、衛星１０２が、生のセンサデータを、解釈および／または解析の準備が整った、ジオロケーションに基づいた、正規化された、オルソ修正された画像に変換することを含む、画像処理パイプラインの多くをリアルタイムに行うことを可能にする。この能力の多くは、命令、プロセス、およびロジックとして、衛星１０２のコンピュータ可読媒体１２２内に記憶される。

コンピュータ可読媒体１２２は、非一時的であり、実行されたときに様々なアクティビティをプロセッサに実行させる、様々な命令、ルーチン、オペレーション、およびモジュールを記憶してよい。いくつかの実施においては、１つまたは複数のプロセッサ１２０は、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、もしくはＣＰＵおよびＧＰＵの両方であり、または例えば、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、もしくはその他に人工知能および機械学習アクセラレータなどの、他の任意の種類の処理ユニットである。非一時的なコンピュータ可読媒体１２２は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための技術で実施される、揮発性および不揮発性の、リムーバブルおよび非リムーバブルの有形な物理的媒体を含んでよい。システムメモリ、リムーバブルストレージ、および非リムーバブルストレージは、すべて、非一時的なコンピュータ可読媒体の例である。非一時的なコンピュータ可読記憶媒体は、限定されることなく、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光記憶、磁気カセット、磁気テープ、磁気ディスク記憶、もしくは他の磁気記憶デバイス、または所望の情報を記憶するために使用されることができ、システムによってアクセスされることができる、他の任意の有形な物理的媒体を含んでよい。

コンピュータ可読媒体１２２は、衛星１０２およびペイロード１０４を制御するための、ならびに他の衛星ベースのタスクのための、１つまたは複数のモジュールを記憶してよい。いくつかの実施形態においては、制御システム１１８は、通信モジュール１２４、推進モジュール１２６、姿勢および軌道制御サブシステム（「ＡＯＣＳ」）モジュール１２８、電力モジュール１３０、撮像モジュール１３２、解析モジュール１３４、タスク割り当てモジュール１３６、および通信モジュール１３８などの、モジュールを含んでよい。モジュールのすべてが、すべての実施形態において存在する必要があるわけではないこと、追加のモジュールが、他の目的で存在してよいこと、およびいくつかのモジュールは、説明される目的の１つまたは多くのために存在してよいことが、理解されるべきである。コンピュータ可読媒体１２２内に記憶されるモジュールは、多くの例において、衛星オンボードの他のシステムおよびハードウェアの制御を提供する。

本開示は、特定の行為および任務を実行するための別個のモジュールについて説明するが、すべてのモジュールは、衛星の状態／健全性を監視するために使用される、およびペイロードサブシステムによって決定を行う際に使用するための遠隔測定／操作データを収集するための機能性を有することが、理解されるべきである。これは、モジュールが、衛星の健全性および状態を監視するために、および加えて、とりわけ、オンボード評価、タスクの再優先順位付け、画像選択、センサの増強、より高いレベルの意味の抽出、解析の実行、および自動化されたタスク割り当てのために、協力し、データを交換することを可能にする。

通信モジュール１２４は、地球の表面上の１つもしくは複数の基地局との、または衛星コンステレーション内の他の衛星との通信チャネルを提供するために、通信システムを制御してよい。通信モジュール１２４は、地上局もしくは空中局から命令およびデータを受け取ること、地上局もしくは空中局にデータを送信すること、衛星コンステレーション内の他の衛星にデータおよび命令を送信し、それらからデータおよび命令を受け取ること、または有人もしくは無人航空機、バルーン、自動車、船舶、およびセンサネットワークなど、他の同様に装備されたデバイスにデータおよび命令を送信し、それらからデータおよび命令を受け取ることを担ってよい。通信モジュール１２４は、通信リンクが確立されたときに、データを選択的に送信および受け取ってよく、任意の画像、画像解析の結果、科学的データ、衛星１０２の位置、または衛星１０２もしくはそれのシステムの健全性などのデータを送信してよい。

推進モジュール１２６は、主に、必要に応じて衛星を再配置するためになど、推進システムを制御することを担う。それは、例えば、単元推進薬もしくは二元推進薬化学推進システム、またはアークジェットスラスタもしくはプラズマスラスタなどの電気推進システムなど、任意の適切な宇宙船推進システムであってよい。推進モジュール１２６は、ＡＯＣＳモジュール１２８と組み合わせて、衛星１０２をそれの所望の位置、軌道、および姿勢に維持する。

ＡＯＣＳの一部としてのＡＯＣＳモジュール１２８は、姿勢情報を提供し、衛星１０２の姿勢を、それの寿命の間、維持する。それは、ペイロードまたは通信システムのコンポーネントに適切な方向を向かせることを保証するために、推進モジュールと組み合わせて、宇宙空間を横切る所望の経路に沿って所望の向きを向いて移動するように衛星を維持するための、恒星センサ、太陽センサ、および地球センサ、ジャイロスコープ、磁気計、モーメンタムホイールおよびリアクションホイール、磁気トルカ、ならびに他のそのような機器など、様々なセンサを含んでよい。

電力モジュール１３０は、主に、電力貯蔵を管理し、電力調整ユニットを維持するために、太陽の放射を取り込み、それを電気力に変換するための、ソーラ電力システムなどの電力システムにコマンドを送る任務を有する。

撮像モジュール１３２は、主に、画像データを取得するための撮像システム１０６のハードウェアコンポーネントに命令を送ることを担う。撮像モジュール１３２は、とりわけ、画像を収集し、収集された画像を記憶し、カタログ化し、それにタイムスタンプを押し、露出、増幅利得、および画像統計を決定するための命令をさらに含んでよい。さらに、撮像モジュール１３２は、画像データをセグメント化し、ステッチングし、補正し、または修正するなど、画像データを処理するための命令をさらに含んでよい。

いくつかの例においては、画像獲得および画像処理は、別個のモジュールによって扱われてよい。例えば、画像獲得は、撮像モジュール１３２によって扱われてよく、画像処理は、画像に対して合成変換（例えば、補正、ステッチング、修正など）を実行するなど、撮像モジュール１３２によって生成された画像データを処理するための、別個の画像処理モジュールを有してよい。いくつかの例においては、画像取得は、衛星オンボードにおいて実行されてよく、画像処理のいくつか（またはすべて）は、衛星オフボードにおいて実行されてよい。画像処理能力は、コンステレーション内の複数の衛星の間で、または衛星と地上ベースの局との間で共有されてよい。

いくつかの例においては、撮像モジュール１３２の一部であってよい、解析モジュール１３４は、衛星１０２オンボードにおいて実行される画像解析ワークフローの多くを可能にする。解析モジュール１３４は、従来行われていたように、画像を解析のために基地局に送るのとは対照的に、衛星オンボードにおいて実行される画像解析の多くを可能にする。解析モジュール１３４は、解析モジュール１３４が、とりわけ、対象検出、エッジ検出、地物認識、および雲検出などのアクションを実行することを可能にする、アルゴリズムを含んでよい。もちろん、画像取得および解析は、撮像モジュール１３２によって実行されてよく、または撮像モジュール１３２と解析モジュール１３４との間で共有されてよい。いくつかの例においては、画像解析ワークフローは、コンステレーション内の複数の衛星の間で、または衛星と地上ベースの局との間で共有されてよい。

いくつかのケースにおいては、画像処理および／または画像解析は、衛星にアップロードされた命令を含む。加えて、画像処理および／または解析命令は、衛星が完了するようにタスクを割り当てられた、特定のタスクに固有であってよい。

タスク割り当てモジュール１３６は、基地局からアップロードされた優先順位付けされたタスクのリストを記憶してよく、加えて、機会に基づいて、それらのタスクを並べ替えてよい。タスク割り当てモジュール１３６は、さらに、様々なオンボードセンサからのセンサデータに基づいて、新しいタスクを追加してよい。本明細書において使用される場合、センサという用語は、広範な用語であり、データを生成する衛星オンボードの任意のセンサを指し、画像センサ、地球観測用の計器、温度センサ（例えば、熱撮像センサまたは赤外線センサ）、太陽センサ、地球センサ、電力計、および姿勢センサなどを含んでよい。そのため、タスク割り当てモジュール１３６は、入力としてセンサデータを使用し、センサデータに基づいて、新しいタスクを生成し、またはタスクを再優先順位付けしてよい。

図２は、撮像システム２０２の一部を形成する、モジュールのいくつかを示した、ブロック図を提供している。撮像システム２０２は、１つまたは複数のプロセッサ２０４を含んでよい。プロセッサ２０４は、制御システムのプロセッサ１２０と同じであってよいが、多くの例においては、撮像システム２０２に専用されるプロセッサ２０４である。プロセッサ２０４は、ＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、ＡＩアクセラレータ、もしくはこれらの任意の組み合わせ、または代替タイプの適切なプロセッサであってよい。

撮像システム２０２は、撮像システムハードウェアを制御するための、および撮像システムデータを処理するための１つまたは複数のモジュールを記憶する、コンピュータ可読媒体２０６をさらに含んでよい。モジュールのいくつかは、センサデータモジュール２０８、帯域幅最適化モジュール２１０、センサデータ人工知能（ＡＩ）処理モジュール２１２、内容指向タスクモジュール２１４、自律的タスクおよびターゲット選択モジュール２１６、惑星規模分析モジュール２１８、およびインターフェース２２０を含んでよい。

センサデータモジュール２０８は、限定されることなく、広視野センサ、高解像度カメラ、ハイパースペクトルカメラ、熱撮像センサ、および赤外線センサを含む、衛星センサから、センサデータを受け取ってよい。

帯域幅最適化モジュール２１０は、衛星１０２から基地局にデータおよび情報を送信するのに必要とされる帯域幅を最小化または低減させるように構成されてよい。この目的で、帯域幅最適化モジュール２１０は、画像分割セグメンーション、画像圧縮のためのアルゴリズム、または基地局に送信される撮像データの全体量を低減させるように構成された他のアルゴリズムを含んでよい。

センサデータ人工知能（ＡＩ）処理モジュール２１２は、主に、様々なセンサからデータを受け取り、少なくとも画像データに関して、画像セグメンーションセグメンーション、ラベリング、対象認識、および解析に関する決定を行うことを担う。いくつかの例においては、人工知能（ＡＩ）処理モジュール２１２は、ニューラルネットワーク（ＮＮ）の形態である。ＡＩ処理モジュール２１２は、取得された画像データ内のパターンまたはパターンシーケンスを知覚し、符号化し、予測し、分類し、画像セグメンーション、画像ラベリング、対象認識、顕著な地物の検出、および自動化された画像解析において、人間的レベルの熟練、多くの例においては、超人間的レベルの熟練を達成するために、教師あり学習（ＳＬ）、教師なし学習（ＵＬ）、または強化学習（ＲＬ）を通して、ＮＮをトレーニングすることが可能である。

ＮＮは、地球側でトレーニングされ、その後、飛行中の衛星上においてインスタンス化および評価されてよく、またはＮＮトレーニングは、衛星オンボードにおいて、それのライフサイクル中に、進行してよい。ＡＩ処理モジュール２１２は、ＣＰＵなどの汎用計算ハードウェア、またはＧＰＵ、デジタル信号プロセッサ、ＡＩアクセラレータ、またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）もしくは特定用途向け集積回路（「ＡＳＩＣ」）で実施されるオンアドホックハードウェアアーキテクチャ、または他のハードウェア埋め込みを利用してよく、衛星１０２の撮像センサによって撮影された画像または画像シーケンスに適用され、地上局へのダウンリンク、または衛星１０２のプラットフォーム外におけるさらなる処理を必要とせずに、リアルタイムおよびバッチプロセスの両方で、画像および画像コレクションをカタログ化し、変換し、解析するように構成された、画像処理パイプラインまたは画像解析ワークフローの一部として、軌道内において一般ビルディングブロックとして使用される。

特定の非限定的な実施においては、畳み込みニューラルネットワーク（ＣＮＮ）が、軌道内の衛星オンボードにおけるＣＰＵもしくはＧＰＵまたはＦＰＧＡもしくはＡＩにおいて、インスタンス化され、高解像度カメラを用いてリアルタイムに取得された画像を処理し、元の画像データ内に存在する対象形状および対象ラベルを含むベクトルマップを生成するために使用される。対象形状および対象ラベルは、（建物、自動車、道路、河川、樹木、農地など）多種多様な人工物および自然発生物に対応してよい。

地上に効果的にダウンロードされた画像は、画像分析トレーニングプラットフォーム内に記憶されてよく、そこで、それらは、トレーニングセットを構築するために、ならびに画像セグメンーション、ラベリング、対象認識、および解析を行うための、例えば、畳み込みニューラルネットワーク、ディープビリーフネットワーク、ディープラーニングニューラルネットワーク、および他の適切な機械学習アルゴリズムなどの、機械学習アルゴリズムをトレーニングするために、使用されることができる。

アルゴリズムが、ひとたびトレーニングされると、トレーニングされたインスタンスは、アップロードされ、衛星上において軌道内で実行され、軌道内で適用されるツールとして利用可能になることができる。

内容指向タスクモジュール２１４は、入力として軌道内画像解析の結果を受け取り、画像データ内容に基づいて、優先順位付けされたタスクのリストを生成するように構成される。例えば、衛星は、対象検出アルゴリズムが、ヤシ油プランテーションを検出したとき、衛星が、ヤシの木の数をカウントするタスクを割り当てられることができるように、タスクを割り当てられることができる。これは、例えば、ヤシ油プランテーションの１つまたは複数の画像を取得するために、相対的に高い空間解像度を有するカメラであってよい、マイクロペイロードをアクティブ化することによって、達成されてよい。検出された景観特徴に基づいて、プランテーションの境界が、検出されてよく、プランテーションの高解像度画像が、取得されてよく、対象検出アルゴリズムの使用を通して、ヤシの木の数が、カウントされてよい。

例を続けると、一例においては、プランテーションのすべての取得された画像を、地球ベースの局（または単に「基地局」）に送信する代わりに、衛星は、大幅に削減された画像のセットを、またはおそらくは、プランテーションのロケーション（または他の何らかのプランテーション識別）および樹木の数に関連する情報だけを送信してよい。このように、ダウンリンク通信チャネルと関連付けられた帯域幅は、従来の衛星通信システムが利用されるよりも、はるかに効率的に使用されてよい。

パンクロマティックカメラ、マルチスペクトルカメラ、またはハイパースペクトルカメラなど、オンボードセンサから到来するデータに基づいて、対象検出、画像セグメンーション、および解析を行うことができる、軌道内解析モジュール１３４は、自動化されたオンザフライ衛星タスク割り当て決定を行うための基礎として、使用されることができる。例えば、取得された画像データ内において検出された対象に基づいて、内容指向タスクモジュール２１４は、衛星をどこに向けるか、異なるペイロードをどこに照準するか、どのペイロードをアクティブ化または非アクティブ化するか、どの動作モードに切り換わるか、どの情報をどれだけ送信するか、および成立させる特定のデータ処理ワークフローを決定することができる。

このように、衛星タスク割り当ては、衛星が収集したデータの内容に関して、指定（または決定）されることができる。別の例示的な実施においては、衛星は、ハイウェイとして認識された対象の上空を衛星が通るときは常に、内容指向タスクモジュール２１４が、推進モジュール１２６およびＡＯＣＳモジュール１２８などの他のモジュールと連携して、ハイウェイを追跡するように衛星またはそれのペイロード１０４を操作するための命令を発行し、それがハイウェイを運行するトラックを識別した場合は、それが、トラックの上に当たるようにスポットライト操作を実行し、高解像度ビデオ撮影を開始し、同時に、２次ペイロードを使用して熱画像を撮影し始めてよいなど、それの高解像度撮像カメラからリアルタイムに認識された対象に基づいて、タスクを割り当てられることができる。加えて、撮像システム１０６は、高解像度カメラをアクティブ化して、トラックの高解像度画像を取得し、対象検出に基づいて、トラックの型および／または様式を決定し、他に何も必要とされない場合は、その情報だけを地上に送信するように命令されてよい。

内容指向タスクモジュール２１４は、衛星が、データ収集機会を最適化することを可能にする。例えば、雲検出のためのアルゴリズムに供給されることができる広視野画像を取得するために、広視野カメラが、使用されることができる。次に、雲のない高解像度撮像の収集を最適化するために、高解像度狭視野カメラが、検出された雲のないゾーンに向けられることができる。同様に、関心エリアが、雲の覆いによって完全に妨げられている場合、画像データは、実際的な価値を有さないので、撮像センサは、画像データを取得するようにさらにアクティブ化または命令される必要はない。

自律的タスクおよびターゲット選択モジュール２１６は、数々の要因のいずれかまたは要因の組み合わせに基づいて、衛星タスク割り当てを自動的に生成し、および／または再優先順位付けするように実施されてよい。例えば、タスク割り当て決定は、自律的タスクおよびターゲット選択モジュール２１６によって自動的に行われてよく、すなわち、向き指定および操作、ペイロードアクティブ化および利用、異なる動作モードへの切り換え、ダウンリンク優先順位付けおよびアクティブ化などに関する決定は、カスタマ要件、および／またはグローバルに維持される関心テーブルによって影響されてよい。

モジュールは、いくつかの例においては、別々の機能および任務を有するものとして、説明されたが、いくつかの例においては、すべてのモジュールに共通であってよいタスクが、存在する。例えば、遠隔測定データを受け取ること、ならびに衛星の健全性および状態の監視は、本明細書において説明されるモジュールのいくつか（またはすべて）の間で共有されてよい機能である。モジュールおよびサブシステム間の協力は、モジュールおよびサブシステムが、とりわけ、衛星の健全性および状態の監視、オンボード評価、タスクの再優先順位付け、画像選択、センサの増強、様々なペイロードのアクティブ化または非アクティブ化、より高いレベルの意味の抽出、分析の実行、ならびに自動化されたタスク割り当てためのデータを交換するために協力することを可能にする。

いくつかの例においては、特定の衛星撮像データを必要とするカスタマは、関心エリア（ＡＯＩ）または関心ポイント（ＰＯＩ）、特定の座標系における地球の表面上の多角形としての特定のタイプのＡＯＩに関する要求を入力してよい。ＡＯＩと関連付けられて、カスタマは、サービスレベル合意書（ＳＬＡ）を指定するために、特定のメタデータを選択し、満たす。ＳＬＡは、例えば、以下のうちのいくつかまたはすべてを、すなわち、周波数要件（最小周波数、最大周波数、目標周波数分配）の監視、（利用可能なペイロード、撮像およびその他からの）獲得のためのセンサタイプ、（ラジオメトリック補正、オルソ修正、ステッチング、射影モデル、センサモデル、大気補正、ジオロケーションなどについての）センサ処理パイプライン仕様、（ラスタおよびベクトル処理ブロック、機械学習モジュール、中間記憶手順などを含む）センサ解析ワークフロー、地上において必要とされるデータ（データタイプ、センサ解析ワークフローの結果、および周波数、またはトリガ条件［例えば、あるパラメータが閾値を超えた場合は、Ｘだけをダウンロードする］）、ならびに記憶要件（最小記憶、最大記憶、キャッシュクリーニング手順、データフェージング戦略）のうちのいくつかまたはすべてを含むことができる。いくつかのケースにおいては、カスタマは、ＳＬＡを達成するためにカスタマが支払うことをいとわない最大価格など、入札価格を指定してもよい。

いくつかのケースにおいては、カスタマは、衛星にアップロードされて実行されるプログラムを指定（または提供）する能力を与えられ、これらのいくつかは、オンデマンドで実行されてよい。このタイプのサービスの例は、例えば、カスタマが、画像処理および解析を行うように構成されることができる、自らの機械学習アルゴリズムをトレーニングし、アップロードすることを可能にすることであり、およびカスタマによって定義されたある基準を満たす関心エリアまたは関心対象に対応するデータだけを送ることである。このように、画像（または画像解析に基づいた所望のデータ）は、カスタマ基準に基づいて、選択および送信され、いくつかの例においては、衛星オーナは、カスタマが画像をどのように処理し、解析し、または選択するかについてまったく知らない。

関連付けられたＳＬＡを有するＡＯＩ（またはＰＯＩ）は、契約と呼ばれることがある。カスタマからの入力から生成された契約は、カスタマ契約と見なされてよい。他のタイプの契約は、オープンソースデータから、優先順位付けアルゴリズムによって自動的に生成されてよい。例えば、契約は、オープンストリートマップ（ＯＳＭ）もしくは他のクラウドソーシングされた地理情報データベースにおける変化を追跡すること、ツイッタまたは他のソーシャルネットワークフィードなどのソーシャルネットワークからのリアルタイム料金を処理すること、またはジオロケーションに基づいたニュースを監視することなどによって、自動的に生成されてよい。例として、特定の地域において展開するライブイベントについてニュースソースがレポートしていることがあるケースにおいて、衛星は、地上または他の衛星からニュースレポートと関連付けられた情報を受け取り、ＡＯＩおよびＳＬＡを含む契約を自動的に生成し、ジオロケーションに基づいたＡＯＩにおいて展開するイベントの、ビデオデータを含んでよい、画像データを取得するタスクを衛星に割り当ててよい。他の契約は、画像処理およびオンボード画像解析の結果として（例えば、他の既存の契約の実行の結果として）、衛星において生成されてよい。

衛星は、それが地上局の上空を通過するとき、通信チャネルを確立してよい。いくつかの例においては、更新された契約のリストを衛星が地上局から受け取る場合、および最後の契約以降に軌道内において生成された新しい契約を衛星が地上局に送る場合、情報交換プロトコルが、実行されてよい。任意選択で、地上局は、更新されたリスト内の契約におけるＳＬＡをサポートするために、更新されたベクトルおよびラスタマップを衛星に送ってよい。例えば、地上局は、ＡＯＩ近くのＯＳＭに対して変更がある新しいベクトルマップを送ってよい。いくつかのケースにおいては、衛星は、それの優先順位付けされたタスクリストを含む、それの短期計画の状態を、地上局に送ってよい。

衛星が、更新された契約のリストを受け取ったとき、またはそれが、契約の実行を終了したとき、それは、順番に完了されることができる契約の集まりにおける、各契約についての入札価格の総和に基づいて、次の軌道にわたって生成される予想される値を最大化するために、操作制約、ペイロード衝突、電力消費、デューティサイクル、熱放散、ならびに衛星プラットフォームおよびペイロードに対する他のすべての動作制約を考慮して、操作、モード、ペイロード利用、利用可能なエネルギー、および他のそのような情報を含んでよい、それの短期計画を再計算してよい。この短期計画に基づいて、カスタマは、特定の契約を完了するための予期される時間フレームを示す情報を受け取ってよい。加えて、カスタマは、入札価格の増加が、特定の契約を完了するための時間フレームにどのように影響することがあるかを通知されてよい。すなわち、入札価格が増やされた場合、衛星は、それの短期計画を再計算し、優先順位リストにおいて特定の契約をより上方に移動させてよい。

このように、衛星は、日和見撮像と組み合わされた、優先順位の動的なセットに基づいて、自動的にタスクを割り当てられてよい。

惑星規模分析モジュール２１８は、ＡＯＩおよびＰＯＩの解析を行うことを担う。惑星規模分析モジュール２１８は、優先順位付けされたタスクリスト（ｔａｓｋ ｌｉｓｔ）を比較するために、衛星コンステレーション（ｃｏｎｓｔｅｌｌａｔｉｏｎ）内の他の衛星と通信してよく、機会費用に基づいて、他の衛星とタスクを交換してよい。このように、衛星に対して生成されるタスクの効率を改善するために、タスクは、コンステレーション内の衛星間で共有されてよい。

例えば、おそらくは、第１の衛星は、特定のＡＯＩの画像を取得するためのタスクを割り当てられている。第１の衛星は、広視野画像およびそれの雲検出アルゴリズムに依存して、ＡＯＩが雲の覆いによって妨げられていると決定する。第１の衛星は、ＡＯＩの画像を取得することを、それの次の軌道の間に行うように、再優先順位付けすることができるたが、しかしながら、それの次のタスクに進むためには、衛星は、新しい位置に操作されなければならず、それは、それの次の軌道においてＡＯＩに戻ることを非効率にする。あるいは、第１の衛星は、雲エッジ検出および明らかな雲の速度に基づいて、雲の覆いは一時的なものに過ぎないと決定することができた。その場合、第１の衛星は、ＡＯＩの所望の画像をはるかに大きい効率性で取得するために操作されることができることがある、第２の衛星と通信してよい。このように、衛星コンステレーションは、他の衛星とタスクを共有および交換することによって、タスクを完了する効率性を改善する。

図３を参照すると、名前を連ねた画像処理パイプライン、ベクトルおよびラスタ処理、ならびに予測モデリングを含む、軌道内衛星によって実行されるタスクのピクトリアルフロー図３００が、表されている。機能は、軌道内にいる間、衛星の処理能力によって実行され、処理後、地上ベースの局に送信されてよい。

ブロック３０２において、生のセンサデータが、本明細書において説明されるように、１つまたは複数のセンサによって取得される。任意選択で、センサは、較正され、それは、地球側または軌道内において実行されてよい。ブロック３０４において、ホット／ダークピクセル補正較正技法が、適用されてよい。

ホット／ダークピクセル補正：ブロック３０４において、テーブルベースのアルゴリズムが、適用されてよく、ホットおよびダークピクセルは、撮像センサ上におけるｘ－ｙ位置によって識別され、周囲のピクセルの平均として補間される。特に長い露出を取るときの、デジタル画像センサの現象は、単一のピクセルが、周囲のピクセルよりもはるかに明るく出現することがあるというものである。ホットピクセル／ダークピクセルテーブルは、センサ較正の一部として、地上において初期化されてよく、それは、ホットピクセルを識別するために、（例えば、夜間、低い露出時間を用いて）ダーク画像を撮影し、ダークピクセルを識別するために、（例えば、氷冠にねらいを定めて、長い露出時間を用いて）ホワイト画像を撮影することなどによって、衛星オンボード（ｏｎｂｏａｒｄ）のセンサを再較正することによって維持される。

ホットピクセルは、主に、撮像センサ内における電荷漏れによって引き起こされ、一方、ダークピクセルは、センサ上の汚染によって引き起こされることがある。どちらのケースにおいても、ホットおよびダークピクセルは、光信号の忠実な再現を損なう。撮像センサ上の物理的ロケーションと、これらのホットおよびダークピクセルの大きさとを理解し、それらを対応付けることによって、結果の画像は、これらの異常なピクセルと関連付けられたロケーションにおけるピクセル値を調整することによって、後で補正されることができる。

多くのケースにおいては、ホット／ダークピクセル補正は、点線３０６によって示されるように、地球側において実行される。線３０６は、地球側において実行される動作と、軌道内にいる間に実行されるそれらとの間の区別を示す。示されるように、線３０６は、ブロック３０４と交差し、ホット／ダークピクセル較正は、地球側もしくは軌道内で、または両方で実行されてよいことを示している。しかしながら、典型的な衛星においては、画像処理パイプライン全体は、地球側に委ねられ、そのため、衛星は、原則的に、それが取得したあらゆる画像を、画像処理および解析のために、基地局に送信する必要がある。これは、大量のデータ（例えば、画像データ）が、衛星オンボードにおいて記憶され、その後、ダウンリンク通信チャネルを通して送信されるという結果をもたらす。

対照的に、軌道内エリア選択を含む、画像処理パイプラインを衛星に委ねること（例えば、雲検出におけるような自動化された画像の解析に基づいて、地理的にともに事前固定された、撮像されたシーン全体の代わりに、多角形をダウンロードすること）は、数々の利点を提供する。画像処理パイプラインは、例示的な標準実施を有する以下のブロックを含む。

ラジオメトリック正規化：ブロック３０８において、ラジオメトリック正規化の標準的な実施は、テーブルベースのアルゴリズムに依存する。センサ内の各ピクセルごとに、（センサのデジタル出力を示す）デジタル数（「ＤＮ示度」）を、ピクセルに命中するＷ／ｍ²に相関させる、較正多項式が、維持される。正規化テーブルは、較正された分光放射計および積分球を使用して、地上において初期化されてよい。較正テーブルは、知られた反射特性のターゲットを目標にすることによって、軌道内において定期的に維持されてよい。

幾何学的補正：ブロック３１０において、天底から離れた向きを向くセンサによって生じる歪みを考慮して、画像の幾何形状が、補正される。最も正確な撮像データを達成するためには、撮像センサは、天底に向けられるべきであり、すなわち、そのロケーションにおける重力の方向に向けられるべきである。しかしながら、撮像センサが、天底から離れた向きに向けられるとき、幾何学的歪みが、画像データ内に導入され、それは、知られた幾何学的補正アルゴリズムを通して補正されることができる。これは、単純な幾何学的変換、および目標解像度グリッドになるように結果の画像を再サンプリングすることによって達成されてよい。追加の幾何学的歪みが、光学経路内のレンズおよびミラーによって導入されることがあり、それは、同様に、１つまたは複数の知られた幾何学的補正アルゴリズムを通して補正されることができる。

スペクトルコレジストレーション（ｃｏ－ｒｅｇｉｓｔｒａｔｉｏｎ）：ブロック３１２において、センサによって撮影される異なるスペクトルバンドは、それらが、単純な相関アルゴリズムを使用して、サブピクセル精度でアライメントされることができるように、共同記録（ｃｏ－ｒｅｇｉｓｔｅｒｅｄ）されてよい。デジタル撮像に伴う１つの問題は、色収差のそれである。これは、レンズが、光のすべての色を撮像センサ上の同じ収束点に集中させることに失敗したときに引き起こされる。これは、レンズが、異なる波長の光に対して異なる屈折率を有するために生じる。それは、画像の暗い部分と明るい部分との間の境界に沿った色の縞模様として観測可能である。スペクトルコレジストレーションは、結果の画像におけるこの異常を補正する。

大気補正：ブロック３１４において、画像は、大気中のエアロゾルによって導入された歪みを考慮するために、あらゆるスペクトルバンドにおいて補正される。典型的な実施は、画像ベースの大気補正方法、大気モデリング方法、ならびに大気圧力および温度または地上からの他の変数の入力を必要とするモデルを含む。サンプル実施は、「ダークピクセル」方法、画像ベースの大気補正であり、ダークターゲットのピクセルは、各スペクトルバンドにおける上向パスラジアンスのインジケータと見なされ、そのバンドにおけるピクセルヒストグラムを正規化するために使用される。

ジオロケーション（Ｇｅｏｌｏｃａｔｉｏｎ）：ブロック３１６において、地上基準点（ＧＣＰ）の使用によって、ジオロケーション正確性が、獲得されることができる。標準的な実施においては、ＧＣＰは、衛星オンボードにおいてＧＣＰデータベース内に記憶され、サブピクセル精度で、正確にステッチング（ｓｔｉｔｃｈｅｄ）されたオルソ修正（ｏｒｔｈｏ－ｒｅｃｔｉｆｉｅｄ）された撮像のために、自動的に導出されることができる。すなわち、重なり合う画像フレームが、各々、ＧＣＰを含む場合、ＧＣＰは、画像フレーム間の重なり合いを正確に対応付けるために、使用されることができ、画像を一緒にステッチングして、パノラマ画像または画像モザイクを生成するために、さらに使用されることができる。ジオロケーション情報は、画像のオルソ修正を実行するために、使用されてもよい。

オルソ修正：ブロック３１８において、画像は、地面の標高を考慮して幾何学的に修正され、地形起伏について調整される。このため、ＮＡＳＡのＳＲＴＭ Ｃ－ｂａｎｄバージョン２などの、ＤＥＭ（デジタル標高モデル）が、使用されてよく、撮像センサと地上の異なるポイントとの間の変化する距離に起因する画像における歪みとして、正確な正射写真を生成するための、有理多項式関数（ＲＰＦ）を使用したダイレクトジオリファレンシング（ｇｅｏ－ｒｅｆｅｒｅｎｃｉｎｇ）手法、または他のアルゴリズムは、補正される必要がある。

画像ステッチング（Ｓｔｉｔｃｈｉｎｇ）：ブロック３２０において、異なる時刻に撮影された画像が、モザイクを形成するために、軌道内において一緒にステッチングされる。標準的な実施においては、画像特徴が、エッジ検出アルゴリズム、コレジストレーション（ｃｏ－ｒｅｇｉｓｔｒａｔｉｏｎ）アルゴリズム、対象検出アルゴリズム、またはジオロケーションの組み合わせによって、自動的に選択され、サブピクセル相対画像位置決めのために使用されてよい。

エリア選択：ブロック３２２において、関心エリア（ＡＯＩ）は、ベクトルレイヤとして、オルソ修正された画像モザイク上に投影され、さらなる処理のためのデータを選択または廃棄するための、または地上にダウンロードするための基礎として使用される。言い換えると、ＡＯＩは、より大きい画像からセグメント化されてよく、画像データのセグメント化された部分だけが、セーブおよび／または解析され、一方、画像データの残りは、廃棄される。セグメンーションは、例として、関心地物を示すピクセルの周囲に多角形を描き、多角形内に見出されるピクセルだけをセーブし、画像データの残りを廃棄またはより積極的に圧縮することによって実行されてよい。

再投影：ブロック３２４において、異なる座標系への幾何学的再投影は、既存のデータベースと融合されるデータを準備するために、軌道内において行われてよい。例えば、画像データは、全地球測位システムによって使用される現在の標準的な基準座標系である、ＷＧＳ８４などの楕円体モデル上に再投影されてよい。

ラスタ処理：ブロック３２６において、画像、モザイク、または画像もしくはモザイク内の関心エリアは、同じサイズおよび形状の画像にピクセルごとに変換される。例えば、マルチスペクトル画像において、赤および近赤外バンドを使用して、正規化差植生指数（「ＮＤＶＩ」）を計算することによって、植生ロバスト性の着色表現が、生成されることができる。

ベクトル処理：ブロック３２８において、画像、モザイク、または画像もしくはモザイク内の関心エリアは、元の入力内に存在する特徴を表現およびラベリングする、ベクトルマップに変換されるように処理されることができる。例えば、対象検出アルゴリズムは、自動車を識別するために、道路の高解像度画像に対して実行されてよく、ベクトルマップ表現において、それらを色に従ってラベリングしてよい。いくつかの例においては、ベクトル処理は、画像解析が、画像データ内に存在する有意味な対象を決定することを可能にする。ベクトル処理は、ベクトルマップ変換のために、点、線、多角形、および他の幾何学的形体を具体化してよい。

このタイプの画像処理は、さらに、１つもしくは複数の植生指数（ｖｅｇｅｔａｔｉｏｎ ｉｎｄｉｃｅｓ）を適用するために使用されてよく、または画像セグメンーションのために使用されてよい。例えば、とうもろこし畑の画像を取得するために衛星が使用される場合、とうもろこし畑を最初に見つけ、識別するために、ＮＤＶＩ（または他の指数）が、使用されてよい。その後、エッジ検出アルゴリズムが、とうもろこし畑のエッジを決定してよく、とうもろこし畑の境界が、ベクトルによって定義されてよい。その後、画像データは、さらなる解析もしくは基地局への送信のために、ベクトル内のエリアを記憶することなどによって、セグメント化されてよく、一方、ベクトル外のエリアは、廃棄されてよく、または必要とされるすべての情報が、ベクトルによって適切に表現されるときは、すべての画像は、廃棄されることができる。

予測モデル：３３４において、画像、モザイク、画像またはモザイク内の関心エリアの集まりに基づいて、将来の観測の結果を予想し、従属変数を予測する、または収集されたデータに適用されることができる、明確に定義されたパラメータ化されたモデルに一致する、ベクトルマップおよびラスタ、予測モデルが、使用されてよい。これらの予測モデルは、軌道内において維持されてよく、または地上にダウンロードされてよい。例として、同じロケーションのＮＤＶＩラスタの集まりは、特定の作物の生物季節曲線の将来の漸進的変化を予測するために使用される。予測モデルの標準的な実施は、弾性ネット正則化一般化線形モデル、または決定木の集団（「ランダムフォレスト」）を含む。

圧縮および暗号化：３３６において、画像モザイク、関心エリア、処理されたラスタ、ベクトルマップ、または予測モデルは、可逆圧縮アルゴリズムを用いて（例えば、ランレングス符号化、もしくはレンペル－ジヴ－ウェルチアルゴリズムを用いて）、またはダウンリンクに先立って、非可逆圧縮アルゴリズムを用いて（例えば、ウェーブレット、もしくは離散コサイン変換を使用して）、軌道内において圧縮されてよい。圧縮された画像は、さらに、転送中およびその後に、機密性、インテグリティ、およびそれらの源泉の認証を保証するために、様々な対称および公開キー暗号アルゴリズムおよびプロトコルを用いて、暗号化および署名されることができる。

ブロック３３８において、処理された画像データは、基地局とのダウンリンク通信チャネルが確立され、データが送信されることができるまで、衛星オンボードにおいて記憶されてよい。画像処理パイプラインを衛星に委ね、獲得された各センサフレームに対して適用されるアルゴリズムワークフローを定義することによって、ダウンリンク要件は、最小化されることができる。

例えば、世界の６０％は、雲に覆われており、そのため、現在衛星からダウンロードされる画像のピクセルの６０％は、雲に関するものであり、それらは、（衛星が特に雲の画像を取得するタスクを割り当てられない限り）関係のない情報を伝える。雲検出アルゴリズムを衛星に委ね、軌道内において画像をセグメント化し、雲のない画像の部分だけをダウンロードする能力を有することによって、われわれは、同じダウンリンクシステムを用いてわれわれが地上に届けることができる情報において、直ちに６０％の直接的なゲインを実現する。あるいは、雲を含む画像または画像の部分は、画像データを地上ベースの局に送るときに、利用可能な帯域幅をより効率的に利用するために、圧縮されてよい。同様に、画像の部分（または画像全体）が、とうもろこし畑を表す場合など、画面が、わずかなコントラストしか含まず、実際に有意味な関心対象を含まない場合、とうもろこし畑を表すエリアは、利用可能な帯域幅をより効率的に利用するために、圧縮されてよい。

誰かがメキシコ湾にいる船舶を捜しているところを想像しよう。従来は、衛星が、メキシコ湾の多数の画像を取得し、各画像が、地球にダウンロードされる。その後、誰か（または何らかのシステム）は、地上において、すべての画像上で、船舶が見つかるまで、それを捜さなければならない。それは、多くの画像をダウンロードすることを必要とする。しかしながら、船舶検出アルゴリズムが、衛星に委ねられる場合、船舶候補の周囲の小さいジオロケーションに基づいたエリアをダウンロードし、それらが船舶であったか、それとも誤検出であったかを、地上において決定することを必要とするだけであるが、ダウンロードされるデータの量は、著しく減少させられた。それの利用可能なペイロードおよび決定を行う能力に基づいて、衛星は、メキシコ湾の広視野画像を取得してよく、船舶候補が、識別されたとき、それらの船舶候補の高解像度画像が、取得されてよく、対象検出アルゴリズムが、船舶を検出するために使用されることができる。さらに、対象検出アルゴリズムは、船舶の物理的特徴に基づいて、関心のある特定の船舶を識別するために、使用されてよい。

駐車場内の自動車の数を監視することに関心がある場合、衛星は、それが駐車場内の上空を通過するたびに、自動車の数をアルゴリズム的にカウントし、後の解析のために駐車場内のすべての高解像度画像をダウンロードしなければならない代わりに、数だけを送れば十分である。実際に、駐車場内の自動車の数が関心情報である、このシナリオにおいては、衛星は、駐車場のいかなる画像も記憶または送信する必要がない。

図４を参照すると、軌道内衛星画像処理および解析システム４０２が、表されている。それは、１つまたは複数のＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＧＰＡ、ＡＳＩＣ、またはＡＩアクセラレータの任意の適切な組み合わせであってよい、１つまたは複数のプロセッサ４０４を含んでよい。コンピュータ可読媒体４０６は、実行されたときに、軌道内衛星画像処理および解析システム４０２に様々な行為を実行させる、命令を記憶する。命令は、本明細書において説明される様々な機能を実行するために、衛星オンボードの物理的システムと対話する、一連の命令またはモジュールとして記憶されてよい。

コンピュータ可読媒体４０６は、画像処理および解析システム４０２が、画像補正４０８、画像修正４１０、画像ステッチング４１２、画像セグメンーション４１４、ならびにエッジ検出４１８および対象検出４２０を含んでよい画像解析４１６などの、１つまたは複数の処理および解析機能を実行することを可能にする、命令を記憶してよい。画像処理および解析システム４０２は、図４に列挙され示されたものよりも多いまたは少ない命令を含んでよい。加えて、命令は、任意の順序で、画像センサデータに対して実施されてよく、動作のいずれか特定の順序に限定されるべきではない。

画像補正４０８は、本明細書においてすでに説明されたホット／ダークピクセル補正など、画像データに対する様々な補正アクションを含んでよい。それは、さらに、ＰＳＦデコンボリューション、色収差、大気補正、ラジオメトリック正規化、および他のタイプの色補正のために補正を行う処理技法を含んでよい。これらの技法は、撮像センサによって取得された画像を処理するために、経験的モデルまたは利用可能なアルゴリズムを利用してよい。軌道内において実行されるアルゴリズムは、ラスタデータを用いて機能し（例えば、ピクセルごとベースの計算）、およびベクトルデータ（例えば、地図製作データ、画像セグメント、建物、道路、河川、とうもろこし畑のような対象など）を用いて機能し、新しいラスタおよびベクトルレイヤを導出することができる。

画像修正４１０は、例えば、オルソ修正または楕円体地図投影など、ラスタ画像データに対する様々な幾何学的補正アクションを含んでよい。オルソ修正は、スケールが一様になるように、画像データ内の地物を幾何学的に補正するプロセスである。これは、画像データ内の地物間の距離の正確な測定を可能にするが、その理由は、それが、地形起伏、レンズ歪み、および画像センサ傾きについて調整されており、したがって、補正されていない画像よりもはるかに正確な地球の表面の表現という結果をもたらすからである。

画像ステッチング４１２は、画像データの別個のフレームを単一の画像に組み合わせるための、１つまたは複数の技法を含んでよい。衛星オンボードの撮像センサは、空間的および時間的に隔てられているが、重なり合う視野を有する、画像の系列を取得してよく、画像ステッチング４１２を通して、それらを単一の写真に組み合わせてよい。画像ステッチング４１２のための適切なアルゴリズムが、利用可能であり、一般に、画像フレームをアライメントするために、順次的な画像フレーム内のピクセル座標を関連させる数学的モデルに依存する。ピクセル対ピクセル比較と勾配下降とを組み合わせるための最適化技法が、アライメントを推定するために使用されてよい。重なり合いおよびアライメントを推定するために、各画像からの地物が、検出され、使用されてよい。最後に、重なり合う画像フレーム間における推移を融和させるためのアルゴリズムが、使用されてよい。とりわけ、ダイナミックレンジを増加させる、ノイズを低減させる、および解像度を増加させるなどの、追加の画像処理技法が、ステッチングされた画像に適用されてよい。

画像セグメンーション４１４は、デジタル画像を、スーパーピクセルと呼ばれることがある、ピクセルの複数のセットに区分化するための、１つまたは複数の技法を含んでよい。これらのセットのうちの１つまたは複数は、さらなる処理のためにセーブされてよく、一方、他のセットは、廃棄されてよい。セグメンーションの目標は、画像データを、それが解析するためにより意味深く、より効率的になるように、画像データを簡略化することである。それは、記憶リソースおよび送信帯域幅の節約も行う。画像セグメンーションのための適切なアルゴリズムは、いくつかの名を挙げれば、スーパーピクセルアルゴリズム、Ｋ平均クラスタリング、期待値最大化クラスタリング、正規化グラフカット、およびウォータシェッドセグメンテーションを含む。

例として、衛星が、駐車場にある自動車をカウントするタスクを割り当てられた場合、駐車場を含む関心エリアの画像は、１平方キロメートル（０．３８平方マイル）の土地面積に対応する視野を含むことがあり、一方、関心駐車場は、撮像センサの視野の小さい部分である、０．０８ｋｍ²（２０エーカ）しか含まないことがある。エッジ検出または対象検出アルゴリズムを使用する衛星は、例えば、１つは駐車場を含み、１つは駐車場を含まない、２つのピクセルセットに、画像データをセグメント化してよい。駐車場を含まないピクセルセットは、廃棄されてよく、一方、関心データを含むピクセルセットは、記憶され、解析され、または他の方法で処理されてよい。

画像解析４１６は、画像データに対して実行されてよい。先の駐車場の例を続けると、残りの画像データが関心対象または関心地物を含むように、画像がひとたびセグメント化されると、画像処理および解析システム４０２が、残りのピクセルセットを解析してよい。エッジ検出４１８または対象検出４２０などの、１つまたは複数のアルゴリズムを使用して、セグメント化された画像データ内に表された自動車が、カウントされ、カタログ化され、および／または識別されてよい。

対象検出４２０は、画像データ内に表された地物または対象を識別するために、任意の適切なアルゴリズムを利用してよい。例えば、対象データベースが、記憶されてよく、画像データ内において識別された地物は、一致する対象を見つけるために、対象データベース内のエントリと比較されてよい。対象検出は、知られた対象のデータベースを編集し、画像データ内において検出された対象を対象データベースに入力された対象と比較することによって、対象識別と組み合わされることができる。対象検出は、撮像センサによって、またエッジ検出４１８などの様々なアルゴリズムを通して生成された、画像データを解析し、あるクラスの有意味な対象のインスタンスを決定する（例えば、牧場にいる牝牛の数をカウントする）ことができてよい。エッジ検出を実行するための多くの方法が、存在するが、しかしながら、一般的で最も単純な方法の１つは、デジタル画像内における近隣ピクセル間の色値ステップを検出するための、誤差関数である、ガウス平滑化ステップエッジアルゴリズムを実施することによる。いくつかの名を挙げると、エッジマッチング、勾配マッチング、解釈木、およびポーズクラスタリングなどの、他の解析技法が、画像フレームを解析して、画像フレーム内に表された対象を孤立させるために、使用されてよい。

エッジを検出することによって、対象検出４２０は、可能性の高い対象を孤立させ、その後、これらの対象を、対象データベース内に記憶された対象と比較して、一致を決定し、したがって、対象を識別することができる。このように、対象検出４２０は、画像データ内の対象を検出および識別することができる。いくつかの例においては、対象検出４２０が、高い正確度で対象を孤立させることができるように、高解像度撮像センサが、高解像度撮像データを取得する場合、検出された対象は、対象識別のために、対象データベース内の知られた対象と比較されてよい。すなわち、駐車場にある自動車を単純にカウントする代わりに、画像処理および解析システム４０２は、駐車場にある自動車を識別することができてよい。

これは、例えば、衛星が、メキシコ湾など、広大な水域内において、特定の船舶を探索するタスクを割り当てられた場合に、特に有益であることがある。多くの船舶が、近辺に存在することがあるが、本明細書において説明された例示的なプロセスおよびアルゴリズムを通して、画像処理および解析システム４０２は、広視野画像センサから画像データを受け取り、可能性の高い船舶候補を識別し、その後、可能性の高い船舶候補を孤立させる、より高解像度の撮像データを受け取り、その後、対象検出および対象識別を通して、それが関心船舶との一致を見つけるまで、可能性の高い船舶候補である船舶を識別することができてよい。従来は、このタイプのミッションをタスクとして割り当てられたとき、衛星は、メキシコ湾の多数の画像を撮影し、これらの画像を地球側基地局に送信してよく、そこで、画像は、可能性の高い船舶候補の識別のために、解析される。その後、衛星は、可能性の高い船舶候補のより高解像度の画像を撮影し、これらの写真または写真の部分の各々を、処理および解析のために、基地局に送るための命令を、自律的に決定してよく、または受け取ってよい。本明細書において説明されるように、画像処理および解析パイプラインを衛星に委ねることは、はるかに速い結果という結果をもたらすが、その理由は、衛星が後続のアクションをタスクとして割り当てられる前に、膨大な量の画像データは、解析のために基地局に送信される必要がなく、衛星は、関心情報を識別し、完了すべきタスクとして衛星に割り当てられたミッションにとって必須ではない情報の大部分を廃棄することができるので、送信される結果のデータが、著しく削減されるからである。

図５は、画像処理および解析のための、例示的なフロー図を示している。ブロック５０２において、画像データが、受け取られる。画像データは、例えば、汎用カメラ１１２などの、広視野画像センサから、またはハイパースペクトル撮像カメラなどの、マクロペイロード１０８から到来してよい。

ブロック５０４において、雲の覆いを識別した画像のエリアと、雲の覆いを示していない画像の他のエリアとを識別するために、広視野画像データが、雲検出アルゴリズムを通して処理されてよい。いくつかの例においては、広視野画像データは、他の形態の障害物について、同様に解析されてよい。例えば、障害物は、霧、靄、影、埃、砂、または関心地物の眺めを妨げることがある任意の形態の障害物を含んでよい。さらに、関心地物が、街路である場合、街路の眺めは、街路上の自動車または人々によって妨げられることがある。本明細書において使用される場合、妨げのない眺めは、関心地物が可視であるものである。多くのケースにおいては、妨げのない眺めは、衛星搭載の撮像センサが、画像に対する解析を実行するのに十分な詳細さで、関心地物を取得することができるものである。いくつかのケースにおいては、これは、地球の眺め、より具体的には、地球の表面または地球の表面上の対象の眺めを含む。

ブロック５０６において、高解像度画像データが、受け取られてよい。雲検出アルゴリズムの結果として、高解像度撮像センサは、雲の覆いによって妨げられていない関心エリアの高解像度画像を取得するように、命令されてよい。

ブロック５０８において、画像データ内において関心対象または関心地物を検出するために、対象検出アルゴリズムが、取得された画像データに対して実行されてよい。これは、エッジ検出、農地検出、地勢、人工物、および画像データ内に存在してよい他のそのような地物または対象を含んでよい。

ブロック５１０において、表された対象または地物についての情報を収集するために、画像解析が、画像データに対して実行されてよい。例えば、いくつかの例においては、家畜、植物、自動車、建物、および人々などの対象が、カウントされる。他の例においては、時間的に隔てられた画像データが、例えば、湖の表面積、成長する陸塊、建物、作物もしくは森林の健全性、または動物もしくは人の数の増加における変化を決定するために、比較されてよい。

ブロック５１２において、関連するデータが、基地局などに送信されてよい。いくつかの例においては、衛星は、画像を基地局に送信してよい。画像は、関心エリアについて取得された画像の総数のサブセットであってよい。さらに、画像は、本明細書において説明されたようにセグメント化された、関心エリアの取得された画像の部分であってよい。他の例においては、画像は、複数の静止画像が、単一の画像フレームよりも大きい画像に組み合わされることからもたらされる、ステッチングされた画像であってよい。さらに他の例においては、関連するデータは、自動車の数、被覆植物のパーセンテージ、または水域表面積の増加などの、数値であってよい。

図６を参照すると、フロー図は、自律的なタスク割り当ておよびターゲット選択を示している。ブロック６０２において、衛星は、優先順位付けされたタスクのリストを受け取る。これらのタスクは、基地局からアップロードされてよく、衛星自体によって生成されてよく、または衛星のコンステレーション内の衛星など、別の衛星から到来してよい。本明細書において説明されるように、タスクは、契約であってよく、優先順位付けされたリストは、操作、電力要件、時間効率性、および後続タスクへの影響などの変数を考慮して、各契約の費用対効果比を比較することによって、まとめ上げられてよい。

ブロック６０４において、衛星は、本明細書において説明される様々なモジュールおよびシステムを使用して、短期計画を決定する。これは、ターゲット上における時間、次のターゲットに移行する時間、高度および姿勢調整、基地局のロケーション、撮像センサの再較正、撮像センサの照準、ダウンリンク通信チャネルの確立、および画像解析などのオンボード計算のための時間の割り当てなどの、変数を含む。したがって、短期計画は、衛星が、優先順位付けされたタスクのリストにおける１つまたは複数のタスクの優先順位を変化させることによって、それが効率性を増加させることができると決定した場合、優先順位付けされたタスクのリストに影響することがある。

ブロック６０６において、衛星は、１つまたは複数の撮像センサなどから、センサデータを受け取る。撮像センサは、広視野撮像センサ、狭視野撮像センサ、マルチスペクトル撮像センサ、ハイパースペクトル撮像センサ、熱および赤外線撮像センサ、能動型レーダセンサ、受動型レーダセンサ、ならびに地球観測のために設計された他のそのようなセンサを含んでよい。

ブロック６０８において、衛星は、タスクの再優先順位付けを決定してよい。衛星タスク割り当ては、衛星が基地局の上空を通過するときに、地上から更新されることができ、センサからリアルタイムに到来するデータを用いて、軌道内において更新されることもできる、衛星が保持する世界の常に更新される優先順位マップ（例えば、ヒートマップ）に基づいてよい。このヒートマップは、例えば、異なるカスタマから到来する衝突するタスク割り当て要件を表してよい、エージェントベースの逆入札プロセスを実施して、収集されるデータの価値を最大化するために、使用されてよい。

衛星タスク割り当ては、センサデータに応答して、決定されてよい。例えば、初期のセンサデータが、火山から立ち昇る噴煙を示し、噴煙が、事前決定された閾値を上回る場合、衛星は、熱、赤外線、およびマルチスペクトル画像を含む、火山の追加の高解像度画像を取得するための、新しいタスクを生成してよい。

いくつかの例においては、閾値を上回る噴煙の検出は、衛星に、火山および噴出ガスの詳細なハイパースペクトル画像を収集するためのハイパースペクトル撮像カメラなど、追加のペイロードをアクティブ化させる。いくつかの例においては、ハイパースペクトルカメラは、火山から立ち昇るガスの検出、識別、定量化、および可視化のために使用されてよい、撮像フーリエ変換分光計であってよい。このように、撮像データの内容（例えば、火山雲）に基づいて、追加の衛星ペイロードが、アクティブ化されてよく、新しいタスクが、地球側基地局からのいかなる通信または命令もなしに、衛星によって生成されてよい。

衛星は、さらに、任務に就き続けるために自らを操作するための、または火山のより良い撮像機会のためにそれの姿勢を変更するための、タスクを生成してよい。したがって、衛星は、衛星による自律的なタスク割り当てを有することができる。このように、衛星は、ペイロードが互いに対話してよい、それ自らの制御ループを生成する。言い換えると、計器の測定の結果、または画像解析を通して検出および／もしくは識別された地物は、衛星オンボードにおいて別の計器を用いる観測または測定をトリガすることができる。加えて、結果は、有益な情報を集めるための機会に基づいて、衛星の姿勢に対する変更、および追加のタスクの生成をトリガしてよい。その結果は、与えられたペイロードがそれの出力を衛星内の他のシステムまたはサブシステムにブロードキャストし、その後、他のペイロードが追加の情報を収集するために使用されることができる、イベントドリブン方式で動作するためのあるレベルの自律性を、衛星が有することができるというものである。すなわち、非同期の１対多データフィードは、タスクに影響することができ、有益なデータを収集する機会に基づいて、衛星のために、新しいタスクさえ生成することができる。

ブロック６１０において、衛星は、タスクを優先順位順に実行する。これは、例えば、適切なペイロードをアクティブ化し、センサデータを解析し、後続のタスクを実行することを必要としてよい。

ブロック６１２において、関連するデータが、基地局などに伝達される。説明されたように、伝達は、デジタル画像を送ることなどによって、画像データを含んでよく、または数値データ、解析データ、もしくは他の何らかの情報を含んでよい。データは、衛星が基地局とのダウンリンク通信チャネルを確立し、必要なデータを送信するのに都合が良くなるまで、衛星オンボードにおいて記憶されてよい。

図７を参照すると、フロー図は、人工知能を用いたオンボード解析の例示的なプロセスを示している。ブロック７０２において、タスク割り当てパラメータが、受け取られる。これらは、１つまたは複数のタスクの実行をトリガする前提条件を含んでよい。例えば、タスク割り当てパラメータは、関心エリアまたは関心ポイントまでの利用可能な光路、最小太陽高度、最大傾斜角、タスク優先順位、時間帯、利用可能なペイロード、利用可能な電力、および実行されるタスクに影響することがある他のそのようなパラメータを含んでよい。

ブロック７０４において、衛星は、人工知能構成を受け取る。人工知能（「ＡＩ」）構成は、人工知能モジュール（例えば、図２の２１２）のためのニューラルネットワークを定義してよい。ＡＩ構成は、衛星にアップロードされる前に、地上においてトレーニングされてよい、事前トレーニングされたニューラルネットワークを含んでよい。事前トレーニングされたニューラルネットワークは、特定の対象を検出するための画像の解析など、任意の適切なタスクのためにトレーニングされてよく、または例えば、土地利用分類器として、もしくは環境インジケータを決定するためにトレーニングされてよい。ニューラルネットワークは、さらに、追加のタスクを達成するために、衛星オンボードにある間に、更新されてよく、または追加のトレーニングを受け取ってよい。

ブロック７０６において、人工知能モジュール構成は、１つまたは複数のオンボードセンサによって集められたデータなど、オンボードデータを用いて更新される。これは、撮像データ、衛星健全性データ、画像解析データ、衛星向きデータ、および衛星オンボードの様々なセンサからの利用可能な他のそのようなデータなどの、データを含んでよい。

ブロック７０８において、短期計画が、決定される。これは、タスクの優先順位付けに基づいてよく、およびＡＩモジュールなどによって衛星オンボードにおいて生成された、または画像解析、もしくは衛星にアップロードされた新しい契約に基づいて生成された、新しいタスクを含んでよい。

ブロック７１０において、センサデータが、受け取られる。いくつかの例においては、センサデータは、地球観測についてのタスクを割り当てられた撮像センサからのものである。センサデータは、衛星オンボードのペイロードのうちの１つまたは複数からの画像データを含んでよく、汎用カメラ、高解像度カメラ、ＴＩＲカメラ、マルチスペクトルカメラ、ハイパースペクトルカメラ、または他の撮像デバイスによって取得された画像を含んでよい。それは、加えて、例えば、姿勢センサ、向きセンサ、太陽センサ、地球センサ、電力センサ、または他の衛星システムもしくはサブシステムに関連するセンサなど、他のセンサからのデータを含んでよい。

ブロック７１２において、センサデータは、その多くが本明細書において例として説明された、任意の適切な解析技法、ルーチン、またはアルゴリズムによって解析される。いくつかのケースにおいては、解析は、人工知能によって実行される。例えば、人工知能解析は、場面解釈、または画像内において起こっていることの理解を可能にする。これは、例えば、森林火災、交通渋滞、軍事紛争、および衛星の撮像センサによって取得される他の出来事を検出するのに有益なことがある。もちろん、撮像センサによって取得される画像データ内に表される、重要な出来事、変化、または対象を決定するために、追加のＡＩ解析が、実行されることができる。

ブロック７１４において、データ解析の結果が、記憶される。データ解析結果は、さらなる処理、別のロケーションへの送信のために、またはさらなる解析のために、非一時的なメモリなど、衛星オンボードのメモリ内に記憶されてよい。加えて、撮像データまたは撮像データの部分など、センサデータのいくらかまたはすべてが、メモリ内に記憶されてよい。

いくつかの例においては、データ解析の結果を、ＡＩをさらにトレーニングするための入力として、ＡＩ構成にフィードバックするためなどに、プロセスは、ブロック７０６に復帰してよい。ＡＩを反復的にトレーニングすることによって、より大きい程度の正確性および複雑度で、画像解析を実行することができる。ＡＩは、それの性能および正確性を改善するために、衛星のサービス寿命中、反復されるトレーニングを経験してよく、または動作中トレーニングさえ経験してよい。

ブロック７１６において、データ解析の結果が、伝達される。いくつかの例においては、撮像データは、伝達される必要はなく、むしろ、画像解析の結果だけが、伝達されてよい。例えば、畑内の作物の農学的健全性を決定するタスクを衛星が割り当てられた場合、データ解析は、ストレス指標を示している作物のパーセンテージを含んでよい。決定されたパーセンテージは、地上局に数値を送ることなどによって、伝達されてよい。加えて、作物畑を表示する画像の一部が、送信されてもよい。いくつかのケースにおいては、撮像データは、作物がストレス指標を示している畑のエリアを強調するために、ＮＤＶＩの指数決定の結果を示す、４バンドまたは６バンド画像など、マルチスペクトル画像であってよい。

図８を参照すると、衛星を再計画し、衛星にタスクを再割り当てするための例示的なプロセスが、示されている。ブロック８０２において、衛星は、タスク割り当てパラメータを受け取る。上で説明されたように、タスク割り当てパラメータは、１つまたは複数のタスクの実行をトリガする条件を指定してよい。

ブロック８０４において、衛星は、それの計画を決定する。これは、様々な要因に基づいて優先順位付けされたタスクのリストに基づいてよく、加えて、衛星がそれが実行すべきであると決定した新しいタスク、および他の衛星から伝達されたタスクを含んでよい。いくつかのケースにおいては、計画は、費用要因、機会要因、および価値要因に基づく。例えば、衛星が、自らの向きを変更する必要がある場合、費やされる燃料に関して、および向き変更に基づいた逸失機会の機会費用にも関して、向き変更と関連付けられた費用が、存在する。さらに、衛星は、効率性に基づいて、他のタスクを実行する機会が存在すると決定してよい。例えば、関心エリアがほとんど雲によって覆い隠されていると衛星が決定したために、１つのタスクが、優先順位リストを降下させられ、衛星が優先順位リストの中の次のタスクに移った場合に、衛星が、雲の覆いが十分に消散したと決定した場合、それは、先のタスクに立ち返り、関心エリアの画像を取得する機会を認識してよい。最後に、１つまたは複数の価値要因は、タスクを完了することに対する衛星運用者の期待される対価に関連してよい。すなわち、カスタマが、タスクを完了することに対して合意された価格を支払うことをいとわない場合、そのタスクは、そのタスクの価値が考慮されて、優先順位付けされてよい。

計画は、地上ベースの局、およびオンボードストレージを含む、多くのソースからの利用可能なデータを使用して、決定されてよい。計画は、費用、機会、および価値要因に従って、タスクを優先順位付けすること、および適応させることを含んでよい。

ブロック８０６において、画像獲得タスクが、完了される。これは、衛星オンボードの１つまたは複数のペイロードをアクティブ化し、関心エリアまたは関心対象の１つまたは複数の画像を取得することによって、実行されてよい。これは、加えて、関心エリアまたは関心地物に向くように、衛星を操作することを含んでよい。

ブロック８０８において、１つまたは複数の撮像センサからのセンサデータを含んでよい、センサデータが、受け取られる。

ブロック８１０において、撮像センサによって取得された１つまたは複数の画像を解析することなどによって、解析タスクが、完了される。解析は、地物認識、対象検出、画像セグメンーション、対象識別、および他のそのような解析タスクを含んでよい。解析は、さらに、再計画するために、および衛星が完了する新しいタスクを生成するために有益なことがある、意味あるデータを、画像データから抽出するために、ＡＩ能力を使用することなどによる、ニューラルネットワーク解析を含んでよい。

ブロック８１２において、解析タスクの結果は、衛星オンボードにおいてメモリ内などに記憶される。

ブロック８１４において、解析の結果は、地上局または別の衛星などに伝達される。

ブロック８１６において、計画は、更新され、解析の結果によって影響されてよい。例えば、追加の画像が役に立つことをセンサデータの解析が示す場合、計画は、追加の画像獲得タスクを実行するように、更新されてよい。

図９を参照すると、オンボードにおける動的コード実行のための例示的なプロセスが、示されている。ブロック９０２において、タスク割り当てパラメータが、受け取られる。タスク割り当てパラメータは、検出されたときに、１つまたは複数のタスクの実行をトリガする条件を指定してよい。

ブロック９０４において、実行可能コードおよび／または構成設定が、受け取られる。いくつかのケースにおいては、実行可能コードおよび関連付けられた構成設定は、トリガ条件が検出されたときなど、後の実行のためにセーブされる。実行可能コードは、ネイティブ命令から成るバイナリコードの形態を取ってよく、またはそれは、例えば、Ｐｙｔｈｏｎ、Ｊａｖａ、Ｓｍａｌｌｔａｌｋなどの、任意の適切なスクリプティング言語、もしくは命令を衛星に提供することが可能な、他の任意の適切なプログラミング言語の形態を取ってよい。

ブロック９０６において、タスクの実行、操作、および優先順位を含む、衛星の短期計画などの計画が、決定される。衛星が、ブロック９０４において説明されたような、新しい実行可能コードを受け取った場合、実行可能コードは、ブロック９０６において、計画に影響してよい。すなわち、実行可能コードおよび関連付けられた構成設定は、計画決定を行うためなどに、計画中に使用されてよい。言い換えると、実行可能コードは、タスクの優先順位付け、またはタスクの生成に影響してよい。加えて、受け取られた実行可能コードは、後の時間において実行されるために、計画されたタスクにおいて使用されてよい。

ブロック９０８において、画像獲得タスクが、実行される。タスクが、撮像データを必要とする場合、衛星は、１つまたは複数のペイロードをアクティブ化し、処理、解析、および記憶のために、関心エリアまたは関心ポイントの画像を取得するように、１つまたは複数のペイロードに命令する。

ブロック９１０において、撮像データなどのセンサデータが、画像を取得するように命令されたペイロードから受け取られる。撮像データは、例えば、画像プロセス、画像解析、ならびに衛星姿勢および軌道制御サブシステムなど、いくつかの異なるプロセスへの入力として、使用されてよい。

ブロック９１２において、解析タスクが、実行される。いくつかのケースにおいては、これは、対象検出、地物認識、雲検出、画像セグメンーション、および他の適切な画像解析タスクなどの、画像解析を伴う。いくつかの例においては、ブロック９０４において受け取られた実行可能コードは、画像データに対して実行される画像解析ルーチンに指図してよい。

ブロック９１４において、結果が、記憶される。いくつかのケースにおいては、結果は、ペイロードによって取得された画像または画像の部分である。他のケースにおいては、結果は、解析の結果であり、関連する画像データを含んでよく、または含まなくてよい。

ブロック９１６において、結果は、地上ベースの局などに伝達される。本明細書においてさらに説明されるように、伝達は、取得（ｃａｐｔｕｒｅｓ）された画像のすべて、または画像の部分、もしくは取得された数よりも少ない画像など、すべてよりも少ない取得された画像を含んでよい。他のケースにおいては、結果は、プランテーション上の樹木の数のカウント、ストレス指標を示している作物のパーセンテージ、および湖の表面積など、任意の解析の結果を含んでよい。

いくつかの実施形態に従えば、軌道衛星システムは、任意の形態の地球観測センサ、または衛星健全性および状態センサであってよい、１つまたは複数のセンサを含む。１つまたは複数のプロセッサは、１つまたは複数のプロセッサによって実行可能な命令を含む、１つまたは複数のモジュールを含む、メモリに結合される。モジュールは、衛星システムが、地上ベースのデバイスまたは別の衛星システムから、特定の地理的領域内の少なくとも１つの対象に関連する１つまたは複数のパラメータを決定する要求を含む、データを求める要求を受け取ることを可能にする。要求に基づいて、衛星システムは、１つまたは複数のセンサのうちの第１のセンサによって、特定の地理的領域と関連付けられた１つまたは複数の画像を取得する。モジュールは、さらに、衛星システムが、画像の第１のサブセットは、特定の地理的領域の遮るもののない眺めを提供すると決定するために、１つまたは複数の画像を解析することを可能にする。これは、例えば、画像内において地理的領域が可視であるように、雲の覆いが僅かしかまたはまったく存在しないと決定することに基づいてよい。霧、影、煙、または特定の地理的領域の鮮明な眺めを阻害することがある他のそのような条件など、他の形態の障害物が、検出されてよい。

衛星システムは、その後、遮るもののない眺めを提供する画像の第１のサブセットに少なくとも一部は基づいて、画像の第２のセットを取得するために、それのセンサを使用し、画像の第２のセットは、第１のセンサよりも高い解像度を有する第２のセンサによって取得される。より高解像度のセンサは、狭視野センサ、ピクセル数がより多いセンサ、マルチスペクトル撮像センサ、ハイパースペクトル撮像センサ、または第１の撮像センサによって取得された第１の画像においては容易に明らかでないことがある詳細を取得することができる他の何らかの構成の撮像センサを含んでよい。

衛星システムは、画像の第２のセットが、少なくとも１つの対象と関連付けられたデータを含むと決定することができる。これは、画像の第２のセット内に表された対象についての決定を行うために、衛星上において人工知能アルゴリズムまたは機械学習アルゴリズムを実行することによって達成されてよい。もちろん、画像の第１のセットのうちの１つまたは複数が、十分な詳細を提供する場合は、衛星システムは、画像の第２のセットを取得することを控え、画像の第１のセットに対して直接的に適切な解析を実行してよい。衛星は、画像の第１のセットまたは画像の第２のセットに少なくとも一部は基づいて、データを求める要求と関連付けられた１つまたは複数のパラメータを決定し、地上ベースのデバイスに１つまたは複数のパラメータを送信することができる。

いくつかの例においては、１つまたは複数のパラメータは、特定の地理的領域内の対象をカウントすることを含む。いくつかの例においては、衛星システムは、１つまたは複数の画像のうちの画像の第１のサブセットが特定の地理的領域の遮るもののない眺めを提供すると決定することが、雲によって遮られない画像のエリアを識別するために、雲検出アルゴリズムを使用して、１つまたは複数の画像を解析することを含むように構成される。

データを求める要求は、１つまたは複数の条件が満足されたと衛星が決定したときに実行される、衛星システムに提供される命令のセットを含んでよい。例えば、１つまたは複数の条件は、軌道衛星システムの現在時刻および日付、ロケーション、位置、向き、利用可能なペイロード、利用可能なエネルギー、または現在温度を含んでよい。すなわち、１つまたは複数の条件が満たされたと衛星システムが決定したとき、それは、命令のセットを自律的に実行する。

別の例示的な実施形態に従えば、衛星システムは、１つまたは複数のプロセッサと、撮像システムと、１つまたは複数のプロセッサに結合された１つまたは複数のメモリとを含む。１つまたは複数のメモリは、１つまたは複数のプロセッサによって実行されたときに、撮像システムの第１の撮像センサによって、１つまたは複数の第１の画像を取得するために、撮像システムに対してコマンドを発行することを、１つまたは複数のプロセッサに行わせる命令を含む。１つまたは複数の第１の画像は、関心地物を識別するために解析される。関心地物に基づいて、システムは、１つまたは複数のプロセッサによって実行される命令の第２のセットを決定する。言い換えると、衛星システムは、１つまたは複数の第１の画像を解析し、画像解析に基づいて、何を行うかについての決定を行う。命令の第２のセットに基づいて、システムは、１つまたは複数の第２の画像を取得する。システムは、解析を生成するために、１つまたは複数の第２の画像を解析し、解析を地上局に送信する。

いくつかのケースにおいては、１つまたは複数の第１の画像を解析することは、地球の眺めが雲によって遮られていない、１つまたは複数の第１の画像のうちのエリアを決定するために、雲検出アルゴリズムを実行することを含む。１つまたは複数の第１の画像を解析することは、地球上の対象を検出するために、対象検出アルゴリズムを実行することを含んでもよい。

衛星システムは、さらに、１つまたは複数の第２の画像をサブ画像にセグメント化して、少なくとも第１のサブ画像が関心地物を含むようにすることができてよい。これは、例えば、衛星システム上において実行される、任意の適切な画像セグメンテーションアルゴリズムまたはルーチンによって達成されてよい。衛星システムは、さらに、事前決定されたクラスの有意味な対象のインスタンスの数を決定することができてよい。言い換えると、衛星システムは、画像を解析し、画像内に表された対象を決定し、対象の数をカウントすることができてよい。対象を決定することは、加えて、対象によって引き起こされる条件、または対象に関連する条件を決定することを含んでよい。例えば、エリア内の自動車の数を決定することが、交通渋滞を示してよい。さらに、多数の自動車が閾値スピードを下回って移動していることを検出することが、交通渋滞をさらに示してよい。別の例として、対象を決定することは、エリア内において生育する特定のタイプの作物などの、対象を識別することを含んでよい。さらに、作物が、識別されてよく、１つまたは複数の画像を解析し、ＮＤＶＩ指数を計算することなどによって、それの健全性が、決定されてよい。さらに別の例として、対象を決定することは、湿度、ＵＶ指数、雲、および関心エリアと関連付けられた他のそのような条件情報など、周囲条件を決定することを含んでよい。衛星システムは、最終的に、カウントされた対象の数、関心地物を含むサブ画像、衛星システムが取得したものよりも少ない画像を含む１つもしくは複数の画像、交通上の出来事もしくは作物健全性など、既存条件の識別を送信してよく、またはいくつかのケースにおいては、それは、それが取得したすべての画像を地上ベースの局に送信してよい。

いくつかの例においては、命令の第２のセットは、衛星システムが、再配置されることを引き起こす。すなわち、衛星システムは、画像を解析し、対象を検出しながら、それは、自らを再配置するための決定を行ってよい。再配置は、それの姿勢、高度、軌道、および１つまたは複数のペイロードの照準などを変更することを含んでよい。さらに、命令の第２のセットは、衛星システムがそれを実行するタスクを割り当てられた命令の優先順位を変更することを含んでよい。言い換えると、衛星システムは、画像を解析しながら、それは、優先順位においてより下位にあるタスクをより高い優先順位位置に移動させることを決定してよい。加えて、衛星システムは、衛星システムが実行する画像解析に基づいて、新しいタスクを生成してよい。

画像は、オンボードにおいて人工知能アルゴリズムまたは機械学習アルゴリズムを実行することによって、解析されてよい。あるいは、または加えて、衛星システムは、地上局または別の衛星から受け取られた命令を実行することによって、画像を解析してよい。

他の例示的な実施形態に従えば、方法は、衛星オンボードの撮像センサによって、第１の画像を取得するステップを含む。第１の画像は、画像内に表された対象を決定するために、解析される。第１の画像を解析することに基づいて、衛星システムは、実行するタスクを決定し、タスクを実行する。これは、衛星が、いずれのアクションを取る前にも、地上局からの命令を待つ、従来の衛星タスク割り当てからの根本的な変化である。対照的に、本明細書において説明されるシステムおよび方法は、衛星が、それが実行するタスクについての決定を行うことを可能にする。すなわち、衛星システム自体が、タスクを生成し、タスクを再優先順位付けし、これらのタスクを実施することを、そうするための直接的な即時命令を地上ベースの局から受け取ることなしに、行うことができる。たいてい、これらのタスク決定は、衛星システムによって取得された画像を解析することに基づいて、行われる。

衛星が実行するタスクは、画像解析を軌道衛星とは独立のロケーションに送信することを含んでよい。すなわち、衛星は、画像または画像のセットを解析し、解析を地上ベースの局、別の衛星、空中プラットフォーム、または他の何らかのロケーションに送信してよい。画像解析は、例えば、対象検出、対象識別、および画像をサブ画像にセグメント化することなど、任意の適切な画像解析を含んでよい。方法は、第２の画像を取得することをさらに含む。第２の画像は、第１の画像よりも高い解像度を有してよく、またはそれは、マルチスペクトル画像もしくはハイパースペクトル画像であってよい。衛星が実行するタスクは、衛星の向きを変更することを含んでよい。他のケースにおいては、実行するタスクは、衛星のペイロードをアクティブ化することを含む。他のケースにおいては、衛星は、複数の画像を取得し、複数の画像よりも少ない画像を地上局に送信する。これは、画像全体を送信することを含んでよいが、必ずしも取得された画像のすべてでなくてよい。それは、１つまたは複数の画像をサブ画像にセグメント化し、１つまたは複数のサブ画像を送信することを含んでもよい。いくつかのケースにおいては、衛星システムは、画像内において検出された対象についての決定を行い、実際の画像を送ることを伴って、または伴わずに、決定を送る。

方法は、第２の画像を取得することをさらに含んでよく、いくつかの例においては、第２の画像は、第１の画像よりも高い解像度を有する。第２の画像内において表される対象は、対象の一致によって探索するために、対象をデータベース内に記憶された知られた対象と比較してよい、対象検出アルゴリズムを実行することなどによって、識別されてよい。方法は、第２の画像内において表された対象の数をカウントし、その数を地上局に送ることを含んでよい。タスクが、ロケーションにおける対象の数を提供することを含む場合、衛星システムは、いかなる画像も地上に送信する必要がないが、代わりに、画像を解析し、関心のある有意味な対象の数をカウントし、所望の数だけを地上ベースの局に送ることができる。

あるいは、方法は、実行するタスクを第２の衛星に送信することを含んでよく、第２の衛星が、タスクを実行する。加えて、第２の衛星は、実行するタスクを、実行する第３の衛星に送信してよい。これは、例えば、第２または第３の衛星が、タスクを完了するのに、第１の衛星よりも良い機会を有することがある場合に、有益である。このように、衛星は、費用要因、機会要因、利用可能なペイロード、利用可能な電力、ならびに取得、解析、記憶、および関連情報の地上への送信において、全体的な効率性を改善する他のそのような要因に基づいて、タスクおよび優先順位を共有してよい。

本開示は、構造的な特徴および／または方法的な行為に固有の言葉を使用することがあるが、本発明は、本明細書において説明された特定の特徴および行為に限定されない。むしろ、特定の特徴および行為は、本明細書において説明されるシステムおよび方法の様々な形態を実施することのうちの説明的な形態として開示される。

Claims (24)

1. １つまたは複数の画像センサと、
   １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサに結合された１つまたは複数のメモリを備え、前記１つまたは複数のメモリは、１つまたは複数のプロセッサによって実行されると、該１つまたは複数のプロセッサに、
   前記１つまたは複数の画像センサの１つの画像センサによって、１つまたは複数の画像を取得することと、
   衛星上で、前記衛星に搭載中に更新された人工知能構成に少なくとも部分的に基づいて前記１つまたは複数の画像を分析し、関心領域内の地球の表面上の関心のある少なくとも１つの対象または特徴についての情報を決定して分析を生成することと、
   さらなる処理のために、別の場所への送信のために、またはさらなる分析のために、前記衛星に搭載されたメモリに前記分析を保存することと、
   ここで、前記１つまたは複数の画像を分析することは、前記関心領域内の前記地球の表面上の前記関心のある少なくとも１つの対象または特徴を検出するために内容ベースの画像分析を含む、
   を含む動作を実行させる命令を含むことを特徴とする衛星。
2. 前記１つまたは複数の画像を分析することは、対象検出アルゴリズムを実行して、前記地球の表面上の前記関心のある少なくとも１つの対象または特徴を検出すること、および／または所定のクラスのセマンティックオブジェクトのインスタンスの数を決定することを含むことを特徴とする請求項１記載の衛星。
3. 前記動作は少なくとも第１のサブ画像が、前記地球の表面上の前記関心のある少なくとも１つの対象または特徴を含むように、前記１つまたは複数の画像をサブ画像にセグメント化することをさらに含むことを特徴とする請求項２記載の衛星。
4. 前記動作は前記衛星とは独立した場所にデータを送信することをさらに含み、前記データは、分析データ、センサデータ、画像データ、数値データ、画像、サブ画像、画像分析の結果、科学データ、前記衛星の位置、および/または、前記衛星または、前記衛星のシステムの健全状態を含むことを特徴とする請求項１記載の衛星。
5. 前記動作はデータの要求を受信することをさらに含み、前記データを要求することは、前記地球の表面上の前記関心のある少なくとも１つの対象または特徴に関連する１つまたは複数のパラメータを決定する要求、特定の基準、実行可能コードおよび/または構成設定、タスクパラメータ、またはタスクの優先リストを満たす関心のある領域または対象に対応するデータを送信する要求、の少なくとも１つを含むことを特徴とする請求項１記載の衛星。
6. 前記タスクパラメータは、関心領域または関心ポイントへの利用可能な光路、最小太陽高度、最大傾斜角、タスク優先順位、時刻、利用可能なペイロード、または利用可能な電力、を含む１つまたは複数のタスクの実行をトリガーする条件を指定することを特徴とする請求項５記載の衛星。
7. 前記データの要求は、前記関心領域（ＡＯＩ）、関心ポイント（ＰＯＩ）またはメタデータ、監視頻度要件、取得用のセンサタイプ、センサ処理パイプライン仕様、センサ分析ワークフロー、地上で要求されるデータ、保管要件、および/または入札価格、の少なくとも１つを含むことを特徴とする請求項５記載の衛星。
8. 前記実行可能コードおよび／または構成設定は、前記人工知能構成を含むことを特徴とする請求項５記載の衛星。
9. 前記人工知能構成は、衛星システムにアップロードされる前に、および／または当該衛星に搭載されて訓練される前に、地上で訓練されたニューラルネットワーク、および／または、搭載データで当該衛星に搭載中に更新されたニューラルネットワークであって、前記搭載データは、画像データ、衛星健全状態データ、画像分析データ、または衛星方位データを含むことを特徴とする請求項８記載の衛星。
10. 前記動作は前記地球の表面上の前記関心のある少なくとも１つの対象または特徴に関する情報に基づいて、前記１つまたは複数のプロセッサによって実行される第２の命令のセットを決定することをさらに含むことを特徴とする請求項１記載の衛星。
11. １つまたは複数の条件が満たされていることを当該衛星が決定したとき、前記第２の命令のセットが実行され、任意選択で、前記１つまたは複数の条件は、当該衛星の、現在の日時、場所、位置、向き、利用可能なペイロード、利用可能なエネルギー、または現在の温度ことを特徴とする請求項１０記載の衛星。
12. 前記第２の命令のセットは、１つまたは複数の画像の取得、衛星の再配置、衛星が実行するようにタスクされている命令の優先順位の変更、および／または衛星が完了するための新しいタスクの作成を含むことを特徴とする請求項１０記載の衛星。
13. 前記新しいタスクの作成は、前記人工知能構成に基づいて決定されることを特徴とする請求項１２記載の衛星。
14. 前記新しいタスクは、前記衛星から独立した場所に画像分析を送信することを含むことを特徴とする請求項１２記載の衛星。
15. 前記新しいタスクは、ペイロードのアクティブ化、センサデータの分析、またはフォローアップタスクの実行を含むことを特徴とする請求項１２記載の衛星。
16. 前記１つまたは複数の画像化センサは、広視野画像化センサ、狭視野画像化センサ、マルチスペクトル画像化センサ、ハイパースペクトル画像化センサ、電磁スペクトルの任意の波長で画像化するセンサ、熱および赤外線画像化センサ、アクティブレーダセンサ、パッシブレーダセンサ、または地球観測用に設計されたセンサを含むことを特徴とする請求項１記載の衛星。
17. 前記１つまたは複数の画像は、一連の重なり合う画像を含み、および、前記重なり合う画像を組み合わせることをさらに含むことを特徴とする請求項１記載の衛星。
18. 衛星に搭載された画像センサによって、１つまたは複数の画像を取得するステップと、
    前記衛星上で、前記衛星に搭載中に更新される人工知能構成に少なくとも部分的に基づいて、前記１つまたは複数の画像を分析して分析結果を作成するステップであって、前記分析結果は、前記１つまたは複数の画像内に描かれた関心領域内の地球の表面上の関心ある少なくとも１つの対象または特徴についての情報を決定することを含む、該ステップと、
    さらなる処理のために、別の場所への送信のために、またはさらなる分析のために、前記分析結果を前記衛星に搭載されたメモリに保存するステップと
    を含み、
    前記１つまたは複数の画像を分析することは、前記関心領域内の前記地球の表面上の前記関心のある少なくとも１つの対象または特徴を検出するために内容ベースの画像分析を含むことを特徴とする前記衛星の１つまたは複数のプロセッサの制御下にある方法。
19. 前記１つまたは複数の画像の分析に基づいて、および前記地球の表面上の前記関心のある少なくとも１つの対象または特徴についての情報を決定することに基づいて、実行する１つまたは複数のタスクを決定するステップと、前記１つまたは複数のタスクを実行するステップとをさらに含むことを特徴とする請求項１８に記載の方法。
20. 前記実行する１つまたは複数のタスクは、データを送信すること、または前記分析結果を前記衛星とは独立した場所に送信すること、または前記衛星のペイロードをアクティブ化することを含むことを特徴とする請求項１９に記載の方法。
21. 前記ペイロードは、実験をさらに含むことを特徴とする請求項２０に記載の方法。
22. 前記実行する１つまたは複数のタスクは、前記人工知能構成に基づいて決定された新しいタスクをさらに含むことを特徴とする請求項２０に記載の方法。
23. 前記人工知能構成を受信することをさらに含み、前記１つまたは複数の画像は、前記衛星上で人工知能または機械学習アルゴリズムを実行することによって分析されることを特徴とする請求項１８に記載の方法。
24. 前記人工知能構成は、前記衛星にアップロードされる前に、および／または当該衛星に搭載されて訓練される前に、地上で訓練されたニューラルネットワーク、および／または、１つまたは複数の搭載センサによって収集されたデータで当該衛星に搭載中に更新されたニューラルネットワークを含み、前記１つまたは複数の搭載センサによって収集されたデータは、画像データ、衛星健全状態データ、画像分析データ、または衛星方位データを含むことを特徴とする請求項２３に記載の方法。

Images