CN114612439A - 行星尺度分析*** - Google Patents

Abstract

一种智能卫星***，其能够基于可用有效载荷的机会和资源，在空中进行决定和优先级排序，以优化使用下行链路带宽来传输优先数据。通过向卫星***提供众多的处理能力和自主水平，卫星能够基于机会，从卫星的视角做出关于捕获图像数据的决定，包括图像数据处理、对象检测、图像分割和卫星重定向，以用于捕获感兴趣的区域或对象的图像数据。通过使用机器学习和在轨图像分析，卫星可以仅发送捕获图像的子集、部分捕获图像或图像分析的结果，从而有效地使用下行链路通信信道。

Description

行星尺度分析***

本申请是于2017年2月28日递交的、申请号为201780013996.1、发明名称为“行星尺度分析***”的中国专利申请的分案申请。

技术领域

本发明涉及利用卫星提供与地球表面上的对象或特征有关的参数或分析。

背景技术

卫星的众多功能之一是地球成像。可以针对地球上感兴趣的区域收集成像数据，例如用于分析农业、地质、地图、气象或一些其他有用目的的区域。有用的成像数据在很大程度上取决于感兴趣的特征的相对清晰的视觉路径。然而，通常，通过卫星成像不能看到相关和期望的特征，因为这些特征受到诸如气溶胶或云的大气条件的阻碍。例如，当感兴趣的特征在地球本身上时，云可能会阻碍卫星捕获和传输有用成像数据的能力。

此外，典型的卫星通信***的带宽受限，并且大量的成像数据可能是对可用下行链路带宽的低效使用。当卫星成像数据包括障碍物并因此不包括感兴趣的特征时，该问题会恶化。

近地轨道(LEO)中的卫星在每个轨道上的有限时间段内对地球上的一组给定地理位置具有可见性，因此有效使用机载有效载荷(包括地球成像***)对于使得卫星在其生命周期内的有用性最大化具有特别的意义。具有与地球站相连的控制回路的卫星有效载荷(包括地球成像***)对其在机载LEO卫星上的使用效率的最大化施加了障碍，因为它们需要与地面部件进行通信或需要由地面组件采取行动，来控制其运行。

发明内容

通过为卫星配备有效的处理能力和自主任务分配水平，例如基于机会，或基于成本效益分析，例如，降低成本函数或增加使用一个或多个有效载荷或下行链路带宽的回馈，能够实现相当大的优势。卫星中众多的机载处理可以提供至少两个技术优势。首先，通过仅将有用信息从卫星下载到接收器，机载处理可以允许最大化或增加带宽利用率。另外，卫星能够分析有用的成像，并总结和/或从成像中提取有意义的数据以供下载，而不是下载成像。其次，机载处理可以允许在运行中做出决定，以优化图像采集机会并优先获取有价值的数据。

在非限制性示例中，图像数据的机载处理可以最大化或增加带宽利用率，如以下场景中所示。考虑到世界上60％的地区都被云覆盖，因此，在典型的卫星成像中，从卫星下载的图像像素中有60％是云，这会阻碍地球上感兴趣的特征，因此不包含相关信息。这导致浪费的成像资源、机载存储、传输时间和带宽。然而，如果卫星本身具有执行云检测算法的能力，并且如果卫星具有以下能力：对在轨图像进行分割和分类，并且仅下载图像中的无云部分，则***将直接获得可以发送到地面的信息。

在另一个非限制性示例中，如果地面站正在搜索墨西哥海湾中的船，则传统过程要求地面站下载由卫星拍摄的墨西哥海湾的每个图像，然后，搜索每个下载的图像，直到将感兴趣的对象进行定位。这需要下载大量图像，其中大部分图像仅包含水而没有感兴趣特征。然而，如果卫星本身可以采用检测候选船只的算法，例如通过边缘检测或对象检测，则可以将包含候选船只的显著更少数量的图像下载到地面站。此外，卫星不一定必须捕获整个墨西哥海湾的图像，特别是当卫星被分配任务到已知候选船只的坐标周围的小地理定位区域时。通过以这种方式操作，可以通过减少要发送到地面站的数据量(例如，图像或子图像的较小子集)来减少或最小化净带宽利用率。因此，接收较小图像子集的地面站可以更有效地处理减少数量的图像，并决定小地理定位区域中捕获的图像是否包括船只或只是误报。

在另一个非限制性示例中，卫星可以监测停车场中的汽车数量。在此过程中，卫星可以在每次卫星传感器经过停车场上时，通过算法对汽车计数。结果，卫星可以发送指示计数的汽车数量的单个数字，而不是发送停车场位置的大量图像。同样，这种情况可以通过消除完全传输停车场位置图像的需要来最大化带宽利用率，并且仅仅导致将数字传输到地面站，从而大大减少所需带宽，并提供额外的可用于其他通信目的带宽。

在另一个非限制性示例中，图像数据的机载处理可以允许做出优化图像收集机会并优先获取有价值的数据的实时决定。例如，卫星可以携带优先级列表，并根据地面条件(云、气溶胶、光线等)选择在每个时刻引导其各种传感器的位置。可以评估和/或组合来自不同传感器的信息以做出这些决定。例如，可以使用宽视野传感器来决定将更高分辨率相机对准的位置；热信息可用于高光谱相机的对准，等等。以这种方式，卫星的不同有效载荷可以将数据馈送到控制***，该控制***能够基于从一个特定有效载荷接收的数据做出决定，然后基于接收的数据为其他有效载荷进行任务分配。

在卫星能够识别对象或陆地使用特征的情况下，如本文所述，可以基于内容向卫星发出任务分配指令。例如，每当卫星检测到玉米田时，卫星可以计算与玉米田相关联的特定参数，并且如果参数高于预定阈值，则卫星可以捕获与玉米田相关联的附加成像数据并发送成像数据。同样地，卫星可以被指示当它检测到66号公路时，它应该通过高分辨率相机跟踪拍摄该道路，数汽车的数量，如果它检测到大型卡车，它应该通过热红外相机(“TIR相机”)来测量卡车的温度。以这种方式，卫星可以基于传感器数据的内容自主地创建任务。也就是说，传感器数据的内容可以用作卫星上的其他***和有效载荷的输入，并且卫星可以基于传感器数据而激活其他有效载荷。

附图说明

参考附图描述详细说明。在附图中，附图标记的最左边的一个或多个数字表示附图标记首次出现的图。不同图中的相同附图标记表示相似或相同的元件。

图1是描绘包括一个或多个有效载荷和控制***的卫星的***概览图，控制***用于接收来自有效载荷的输入并基于所接收的输入做出决定。

图2是示例性在轨卫星成像***202的组件的框图。

图3是由在轨卫星执行的一些成像任务的图示流程图。

图4是图像处理和分析***的组件的框图。

图5是用于卫星成像的示例性过程的流程图。

图6是用于基于机会的卫星任务分配的示例性过程的流程图。

图7是具有人工智能的机载分析的示例性过程的流程图。

图8是用于对机载卫星重新计划和改变任务的示例性过程的流程图。

图9是用于机载动态代码执行的示例性过程的流程图。

具体实施方式

如图1所示，***100包括卫星102。卫星102包括有效载荷104，其在许多情况下将包括成像***106。成像***可包括一个或多个相机(在此也称为“成像传感器”)，例如设计用于捕获相对宽视野成像数据的宏观相机108，以及具有相对窄视野的微观相机110，其通常还可以提供更精细的分辨率图像。可以加入通用相机112用于宽视野成像，并且可以将成像数据输入提供给云检测算法。还可以加入TIR相机114用于热成像数据和红外成像数据。附加的相机可以包括多光谱相机或高光谱相机等。出于各种目的，还可以包括作为卫星有效载荷104的一部分的科学仪器和其他传感器116。

控制***118可以包括一个或多个机载计算机，其用于处理有效载荷104和卫星上的其他机载***的功能。控制***118可包括一个或多个处理器120和计算机可读介质122。

所描述的卫星***100提供至少三个有益特征：i)将图像处理流水线推向轨道；ii)自动分配任务和调度；以及iii)将更高级别的图像分析推向轨道。卫星***100允许卫星102实时地进行大部分图像处理流水线，包括将原始传感器数据变换成准备好进行解释和/或分析的地理定位、归一化的正射纠正的图像。大部分这种能力被存储为卫星102的计算机可读介质122内的指令、过程和逻辑。

计算机可读介质122是非暂时性的，并且可以存储各种指令、例程、操作和模块，其当被执行时，使得处理器执行各种活动。在一些实施方式中，一个或多个处理器120是中央处理单元(CPU)、图形处理单元(GPU)或CPU和GPU两者，或任何其他种类的处理单元，例如数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他，例如人工智能和机器学习加速器。非暂时性计算机可读介质122可以包括以用于存储信息的技术实现的易失性和非易失性、可移动和不可移动的有形物理介质，存储的信息例如为计算机可读指令、数据结构、程序模块或其他数据。***存储器、可移动存储器和不可移动存储器都是非暂时性计算机可读介质的示例。非暂时性计算机可读存储介质可包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或任何其他有形物理介质，其可用于存储所需信息并可由***访问。

计算机可读介质122可以存储用于控制卫星102和有效载荷104以及用于其他基于卫星的任务的一个或多个模块。在一些实施例中，控制***118可包括以下模块，诸如通信模块124、推进模块126、姿态和轨道控制子***(“AOCS”)模块128、动力模块130、成像模块132、分析模块134、任务分配模块136和通信模块138。应当理解，并非所有模块都需要存在于每个实施例中，出于其他目的，可以存在附加模块，并且出于所描述的一个或多个目的，可以存在若干个模块。在许多情况下，存储在计算机可读介质122内的模块提供对卫星上的机载其他***和硬件的控制。

虽然本文描述了用于执行特定动作和工作的单独模块，但是应当理解，所有模块都具有用于收集遥测/操作数据的功能，该数据用于监测卫星的状态/健康，并且用于通过有效载荷子***进行决定。这允许这些模块一起合作并交换数据，以监控卫星的健康和状态，此外还用于机载评估、重新确定任务优先级、图像选择、增强传感器、提取更高级别的含义、执行分析和自动任务分配等等。

通信模块124可以控制通信***以提供与地球表面上的一个或多个基站或与卫星星座内的其他卫星的通信信道。通信模块124可以负责从地面或机载站接收指令和数据，用于将数据发送到地面或机载站，用于向卫星星座内的其他卫星发送数据和指令、以及从卫星星座内的其他卫星接收数据和指令，或用于发送数据和指令给其他类似装备的设备和接收来自其他类似装备的设备的数据和指令，例如有人驾驶或无人驾驶飞行器、气球、汽车、船舶和传感器网络。通信模块124可以在已建立通信链路时选择性地发送和接收数据，并且可以发送这样的数据：诸如任何图像、图像分析结果、科学数据、卫星102的位置、或卫星102或其***的健康状况。

推进模块126主要负责控制推进***，例如用于在必要时改变卫星的位置。它可以是任何合适的航天器推进***，例如，单元推进剂或二元推进剂化学推进***，或电推进***，例如电弧喷射推进器或等离子体推进器。推进模块126与AOCS模块128结合，将卫星102保持在其期望的位置、轨道和姿态。

作为AOCS的一部分，AOCS模块128提供姿态信息并在其工作寿命期间维持卫星102的姿态。它可包括各种传感器，如恒星、太阳和地球传感器，陀螺仪、磁力计、动量和反应轮、磁力扭矩和其他此类设备，用以与推进模块相结合，保持卫星沿其所需的路径穿越太空运动并且具有所需的定向，以确保有效载荷或通信***的组件朝向正确的方向。

动力模块130主要负责向电力***发送命令，电力***例如太阳能***，太阳能***用于收集太阳的辐射并将其转换成电能，功率模块130还负责管理电力存储，以及维持电力调节单元。

成像模块132主要负责将指令发送到成像***106的硬件组件，以捕获图像数据。成像模块132还可以包括用于收集、存储、编目、对所收集的图像加时间戳、确定曝光、放大增益和图像统计等的指令。此外，成像模块132还可以包括用于处理图像数据的指令，例如分割、拼接、校正或纠正图像数据。

在一些情况下，图像采集和图像处理可以由单独的模块处理。例如，图像获取可以由成像模块132处理，并且图像处理可以具有单独的图像处理模块，用于处理由成像模块132生成的图像数据，例如对图像执行语法变换(例如，校正、拼接、整改等)。在一些情况下，可以在卫星上机载执行图像捕获，并且可以在卫星机载外执行一些(或全部)图像处理。图像处理能力可以在星座内的多个卫星之间共享，或者在卫星和地面站之间共享。

分析模块134(在一些情况下可以是成像模块132的一部分)允许在卫星102上机载执行大部分图像分析工作流程。分析模块134允许在卫星机载上执行大部分图像分析，而不是像传统方式那样将图像发送到基站进行分析。分析模块134可以包括允许分析模块134执行以下动作的算法，诸如对象检测、边缘检测、特征识别和云检测等动作。当然，图像捕获和分析可以由成像模块132执行，或者可以在成像模块132和分析模块134之间共享。在一些情况下，图像分析工作流可以在星座内的多个卫星之间共享，或者在卫星和地面站之间共享。

在一些情况下，图像处理和/或图像分析包括上传到卫星的指令。另外，图像处理和/或分析指令可以是针对已分配给卫星要完成的特定任务。

任务分配模块136可以存储从基站上传的优先级任务的列表，并且还可以基于机会对那些任务进行重新排序。任务分配模块136还可以基于来自各种机载传感器的传感器数据添加新任务。如本文所使用的，术语传感器是广义术语并且是指卫星上机载的产生数据的任何传感器，并且可以包括图像传感器、用于地球观测的仪器、温度传感器(例如，热成像传感器或红外传感器)、太阳传感器、地球传感器、功率计、姿态传感器等。这样，任务分配模块136可以使用传感器数据作为输入，并基于传感器数据创建新任务或重新确定任务的优先级。

图2提供了示出形成成像***202的一部分的一些模块的框图。成像***202可以包括一个或多个处理器204。处理器204可以与控制***的处理器120相同，但是在许多情况下是专用于成像***202的处理器204。处理器204可以是CPU、GPU、DSP、FPGA、ASIC、AI加速器或这些的任何组合，或替代类型的合适处理器。

成像***202还可包括计算机可读介质206，其存储用于控制成像***硬件和用于处理成像***数据的一个或多个模块。一些模块可以包括传感器数据模块208、带宽优化模块210、传感器数据人工智能(AI)处理模块212、面向内容的任务模块214、自主任务和目标选择模块216、行星尺度分析模块218和接口220。

传感器数据模块208可以从卫星传感器接收传感器数据，所述卫星传感器包括但不限于宽视野传感器、高分辨率相机、高光谱相机、热成像传感器和红外传感器。

带宽优化模块210可以被配置为使得将数据和信息从卫星102发送到基站所需的带宽最小化，或减少将数据和信息从卫星102发送到基站所需的带宽。为此，带宽优化模块210可以包括用于图像分割、图像压缩的算法、或被配置用于减少要发送到基站的成像数据的总量的其它算法。

传感器数据人工智能(AI)处理模块212主要负责从各种传感器接收数据，并且至少针对图像数据，做出关于图像分割、标记、对象识别和分析的决定。在一些情况下，人工智能(“AI”)处理模块212是神经网络(NN)的一种形式。AI处理模块212能够通过监督学***熟练的图像分割、图像标记、对象识别、显著特征的检测和自动图像分析。

可以在地球侧训练NN，然后在飞行中的卫星上实例化和评估NN，或者可以在其操作生命周期期间在卫星上机载进行NN训练。AI处理模块212可以利用通用计算硬件，例如CPU或GPU、数字信号处理器、AI加速器或在现场可编程门阵列(“FPGA”)中实现的特定硬件架构或专用集成电路(“ASIC”)或其他硬件嵌入，使其应用于由卫星102的成像传感器拍摄的图像或者图像序列，并在轨道上用作一般构建块来作为图像处理流水线的一部分，或图像分析工作流程，其被配置为以实时和批量处理过程这两种方式对图像和图像集合进行编目、变换和分析，而不需要到地面站的下行链路或在卫星102平台外进行进一步处理。

在具体非限制性实施方式中，卷积神经网络(CNN)在轨道上的卫星上的机载CPU或GPU或FPGA或AI加速器中实例化，并用于实时处理用高分辨率相机捕获的图像，并产生包括存在于原始图像数据中的对象形状和对象标签的矢量地图。这些对象形状和对象标签可以对应于各种各样的人造和自然发生的对象(例如建筑物、汽车、道路、河流、树木、农田等)。

有效下载到地面的图像可以存储在图像分析训练平台中，在那里，它们可以用于构建训练集并训练机器学习算法，例如卷积神经网络、深度信念网络、深度学习神经网络和其他合适的机器学习算法，以进行图像分割、标记、对象识别和分析。

一旦算法被训练，训练好的实例就可以上传并在轨道中的卫星上运行，并且可以作为要在轨道上应用的工具。

面向内容的任务模块214被配置为接收作为输入的在轨图像分析的结果，并基于图像数据内容生成任务的优先级列表。例如，可以对卫星分配任务，使得当对象检测算法检测到棕榈油种植园时，卫星可被分配任务来数棕榈树的数量。例如，这可以通过激活微观负载来实现(该微观负载可以是具有相对高空间分辨率的相机)，以捕获棕榈油种植园的一个或多个图像。基于检测到的景观特征，可以确定种植园的边界，并且可以捕获种植园的高分辨率图像，并且通过使用对象检测算法，可以对棕榈树的数量进行计数。

继续该示例，在一个实例中，不是将所有捕获的种植园图像发送到地面站(或只是“基站”)，而是卫星可以发送显著减少的图像集，或者可能只是有关种植园位置(或其他一些种植园标识)和树木数量的信息。以这种方式，与下行链路通信信道相关联的带宽可以比使用传统卫星通信***更为有效地得多地使用。

可以基于来自诸如全色、多光谱或高光谱相机的机载传感器的数据，进行对象检测、图像分割和分析的在轨分析模块134可以用作用于进行自动的、飞行中卫星分配任务的决定的基础。例如，基于在捕获的图像数据中检测到的对象，面向内容的任务模块214可以确定何处面向卫星、不同的有效载荷对准何处、哪些有效载荷被激活或去激活、要切换到哪些操作模式、要传输的信息和信息量、以及制定的具体数据处理工作流程。

以这种方式，可以根据卫星收集的数据的内容来指定(或确定)卫星任务分配。在另一示例性实施方式中，可以基于从其高分辨率成像相机实时识别的对象来对卫星进行任务分配，使得每当卫星越过被识别为高速公路的对象时，面向内容的任务模块214、与如推进模块126和AOCS模块128等其他模块一起发出指令以操纵卫星或其有效载荷104来跟随高速公路，并且如果它识别出在高速公路上行驶的卡车，则可以执行在卡车顶部进行聚光灯操作，并开始拍摄高分辨率视频，同时使用辅助有效载荷拍摄热图像。另外，可以指示成像***106激活高分辨率相机以拍摄卡车的高分辨率图像，并且基于对象检测，确定卡车的构造和/或型号，并且在不需要其他任何其他情况下仅将该信息传送到地面。

面向内容的任务模块214使卫星能够优化数据收集机会。例如，可以使用宽视野相机来捕获宽视野图像，其可以被馈送到用于云检测的算法中。然后，可以使高分辨率、窄视野相机朝向检测到的无云区域，以优化无云高分辨率成像的收集。类似地，在感兴趣的区域被云层完全阻挡的情况下，由于图像数据将没有实际价值，因此不需要进一步激活或指示成像传感器捕获图像数据。

自主任务和目标选择模块216可以被实现为基于多个因素或因素组合中的任何一个来自动创建和/或重新确定卫星任务分配的优先级。例如，任务分配决定可以由自主任务和目标选择模块216自动进行，即，关于以下的决定：指向和操纵、有效载荷激活和利用、切换到不同操作模式、下行链路优先级和激活等，其可以是受客户要求和/或全局保持利益表的影响。

虽然已经将这些模块描述为在某些情况下具有离散的功能和工作，但在某些情况下，存在可能对所有模块共同的任务。例如，接收遥测数据并监测卫星的健康和状态这样的功能，可以在本文描述的一些(或所有)模块之间共享的。模块和子***之间的合作允许模块和子***协作交换数据，以监测卫星的健康和状态、机载评估、重新确定任务优先级、图像选择、增强传感器、激活或停用各种有效载荷、提取更高层次的含义、执行分析和自动任务分配等。

在一些情况下，需要特定卫星成像数据的客户可以输入关于感兴趣区域(AOI)或感兴趣点(POI)的请求、作为特定的坐标系中地球表面上的多边形的特定类型的AOI。与AOI相关联，客户选择并填写特定元数据，以指定服务水平协议(SLA)。例如，SLA可以包括以下之部分或全部：监测频率要求(最小频率、最大频率、目标频率分布)；用于采集的传感器类型(来自可用的有效载荷、成像和其他)；传感器处理流水线规范(用于辐射校正、正射纠正、拼接、投影模型、传感器模型、大气校正、地理位置等)；传感器分析工作流程(包括网格和矢量处理块、机器学习模块、中间存储程序等)；地面上所需的数据(数据类型、传感器分析工作流程的结果、以及频率、或触发条件[例如，如果某个参数超过阈值，则仅下载X])；以及存储要求(最小存储、最大存储、缓存清理程序、数据分阶段策略)。在某些情况下，客户还可以指定投标价格，例如客户愿意为完成SLA而支付的最高价格。

在一些情况下，客户被赋予指定(或提供)要上传到卫星去执行的程序的能力，并且这些程序中的一些可以按需执行。例如，这种类型的服务的示例是允许客户训练和上传他们自己的机器学习算法(其可以被配置为进行图像处理和分析)，并且仅发送与满足客户定义的某些标准的感兴趣的区域或对象相对应的数据。以这种方式，基于客户标准选择和发送图像(或基于图像分析的期望数据)，并且在一些情况下，卫星所有者从不学习客户如何处理、分析或选择图像。

具有相关联的SLA的AOI(或POI)可以被称为合同(Contract)。根据客户输入产生的合同可视为客户合同。其他类型的合同可以通过来自开源数据的优先级算法自动生成。例如，可以自动生成合同，例如通过跟踪OpenStreetMaps(OSM)或其他众包地理信息数据库(crowd-sourced Geo-information database)中的变化；通过处理来自社交网络(如Twitter或其他社交网络订阅源)的实时费用；通过监控基于地理位置的新闻；或者其他。作为示例，在新闻源可以针对特定区域中展开的直播事件进行报告的情况下，卫星可以从地面或从其他卫星接收与新闻报道相关联的信息，并自动生成这样的合同，该合同包括AOI和SLA并且对卫星进行任务分配以捕获图像数据，其可以包括在基于地理位置的AOI中展开的事件的视频数据。作为图像处理和机载图像分析的结果(例如，作为执行其他现有合同的结果)，可以在卫星中生成其他合同。

当卫星经过地面站上方时，卫星可以建立通信信道。在某些情况下，可以执行信息交换协议，其中卫星从地面站接收更新的合同列表，并且卫星向地面站发送自上次接触以来在轨道中创建的新合同。可选地，地面站可以发送卫星更新的矢量和网格图，以支持更新列表中的合同中的SLA。例如，地面站可以发送具有对AOI附近的OSM的改变的新矢量地图。在某些情况下，卫星可以向地面站发送其短期计划的状态，包括其按优先级排列的任务列表。

当卫星收到更新的合同列表或当其完成合同的执行时，它可能会重新计算其短期计划，其中可能包括操纵、模式、有效载荷利用、可用能源和其他此类信息，以便使得在下一个轨道上产生的预期价值最大化，这基于每个合同的投标价格总和，在可以顺序完成的合同集合的范围内，考虑操纵限制、有效负载冲突、功耗、工作周期、散热、和卫星平台和有效载荷的所有其他操作限制。基于该短期计划，客户可以接收指示完成特定合同的预期时帧的信息。此外，可以通知客户增加投标价格可以如何影响完成特定合同的时帧。也就是说，如果提高投标价格，则卫星可以重新计算其短期计划并将特定合同在优先级列表上向上移动到更高处。

以这种方式，可以基于动态优先级集并与机会成像相结合，自动地对卫星进行任务分配。

行星尺度分析模块218负责进行AOI和POI的分析。行星尺度分析模块218可以与卫星星座内的其他卫星通信，以比较优先化的任务列表，并且基于机会成本，可以与其他卫星交换任务。以这种方式，可以在星座内的卫星之间共享任务，以提高为这些卫星生成的任务的效率。

例如，可能已为第一卫星分配任务以捕获特定AOL的图像。第一卫星依赖于宽视野图像及其云检测算法，确定AOI被云层遮挡。第一卫星可以为针对其下一个轨道捕获AOI的图像重新安排优先级；然而，为了进入其下一个任务，卫星将不得不机动到一个新位置，这使得其在其下一个轨道上不足以返回到AOI。可替选地，第一卫星可以基于云边缘检测和表观云速确定云覆盖仅是暂时的。然后，第一卫星可以与第二卫星通信，该第二卫星能够以更高的效率操纵以捕获AOI的期望图像。通过这种方式，卫星星座通过与其他卫星共享和交换任务来提高完成任务的效率。

参照图3，表示由在轨卫星300执行的任务的图示流程图，包括标称图像处理流水线、矢量和网格处理以及预测建模。这些功能可以通过在轨期间的卫星的处理能力来执行，并在处理之后发送到地面站。

在框302处，由一个或多个传感器捕获原始传感器数据，如本文所述。可选地，校准这些传感器，该操作可以在地面侧或在轨道中执行。在框304处，可以应用热/暗像素校正校准技术。

热/暗像素校正：在框304处，可应用基于表格的算法，其中通过成像传感器上的x-y位置识别热像素和暗像素，并将其插值为周围像素的平均值。数字图像传感器的一个现象(特别是在长时间曝光时)是：单个像素可能看起来比周围像素亮得多。作为传感器校准的一部分，可以在地面上初始化热像素/暗像素表，并且通过重新校准卫星上机载的传感器来将其维持，例如通过拍摄暗图像(例如，在夜间，具有短曝光时间)以识别热像素，通过拍摄白色图像(例如，瞄准冰盖，具有长曝光时间)以识别暗像素。

热像素主要由成像传感器内的电荷泄漏引起，而暗像素可能由传感器上的污染引起。在任何一种情况下，热像素和暗像素都会影响光信号的忠实再现。通过了解和映射成像传感器上的物理位置以及这些热像素和暗像素的量级，稍后，可以通过调整与这些异常像素相关联的位置处的像素值来校正所得到的图像。

在许多情况下，如虚线306所示，在地球侧执行热/暗像素校正。线306表示在地球侧执行的操作与在轨期间执行的操作之间的分界。如图所示，线306与框304相交，指示热/暗像素校准可以在地球侧或在轨执行、或两者中执行。然而，在典型的卫星中，整个图像处理流水线被推到地球侧，这要求卫星基本上将它捕获的每个图像发送到基站，以进行图像处理和分析。这导致大量数据(例如图像数据)被机载存储在卫星上，然后通过下行链路通信信道发送。

相比之下，将图像处理流水线推送到卫星，包括在轨区域选择(例如，下载多边形，而不是整个成像场景，两者都在地理上预先固定，并且基于自动分析图像，像在云检测中一样)提供了许多优点。图像处理流水线包括以下具有示例性标准实施方式的块。

辐射归一化：在框308处，辐射归一化的标准实施方案依赖于基于表格的算法。对于传感器中的每个像素，保持校准多项式，其使数位(“DN读数”)，(其表示传感器的数字输出)相关于击中像素的W/m²。可以使用校准的光谱辐射计和积分球，在地面上初始化归一化表。通过瞄准已知反射特性的目标，可以在轨道上周期性地保持校准表。

几何校正：在框310处，校正图像几何形状，以解决由背离最低点(nadir)的传感器引起的失真。为了获得最准确的成像数据，成像传感器应指向最低点，即，指向该位置的重力方向。然而，当成像传感器背离最低点时，几何失真被引入图像数据中，其可以通过已知的几何校正算法来校正。这个功能可以通过简单的几何变换以及将得到的图像重新采样到目标分辨率网格来实现。通过光路中的透镜和反射镜可能引入附加的几何失真，其同样可以通过一种或多种已知的几何校正算法来校正。

频谱共同配准：在框312，可以使用简单的相关算法共同配准由传感器占用的不同频谱带，使得它们可以与子像素精度对准。数字成像的一个问题是色差。当透镜未能将所有颜色的光聚焦到成像传感器上的相同会聚点时，会发生这种情况。这是因为透镜对于不同波长的光具有不同的折射率。可以观察到沿着图像的暗部和亮部之间的边界的颜色条纹。光谱共同配准校正了所得图像中的这种异常。

大气校正：在框314，在每个光谱带中校正图像，以解决在大气中的气溶胶引起的失真。典型的实施方式包括：基于图像的大气校正方法、大气建模方法、以及需要输入大气压力和温度或来自地面的其他变量的模型。示例性实施方式是“暗像素”方法、基于图像的大气校正，其中，暗目标的像素被认为是每个光谱带中的上升流路径辐射的指标，并且用于归一化该频带中的像素直方图。

地理定位：在框316处，可以通过使用地面控制点(GCP)来获得地理定位精度。在标准实施方式中，GCP存储在卫星上的GCP数据库中，并且可以被自动导出用于以子像素精度正确拼接的正射纠正的成像。也就是说，在每个重叠图像帧包含GCP的情况下，GCP可以用于精确地映射图像帧之间的重叠，并且还可以用于将图像拼接在一起，以创建全景图像或图像拼合。地理定位信息也可用于执行图像的正射纠正。

正射纠正：在框318处，对图像进行几何纠正，以考虑地面高程并针对地形起伏进行调整。为此，可以使用DEM(数字高程模型)，例如NASA的SRTM C波段版本2，以及使用有理多项式函数(RPF)或其他算法的直接地理参考方法，以创建精确的正射像片，作为图像中由于需要校正成像传感器与地面上的不同点之间的距离变化引起的失真。

图像拼接：在框320，将在不同时刻拍摄的图像在轨拼接在一起，以形成拼合。在标准化实施方式中，可以通过以下的组合而自动选择图像特征：边缘检测算法、共同配准算法、对象检测算法或地理定位，并且图像特征可以用于子像素相对图像定位。

区域选择：在框322处，可以将感兴趣区域(AOI)作为矢量层投影到正射纠正的图像拼接上，并且被使用作为基础来选择或丢弃数据以供进一步处理，或者用于下载到地面。换句话说，可以从较大的图像分割AOI，并且仅保存和/或分析图像数据的分割部分，同时丢弃图像数据的其余部分。作为示例，可以通过以下步骤来执行分割：在呈现感兴趣特征的像素周围绘制多边形，并且仅保存在多边形内发现的像素，并且更积极地丢弃或压缩成像数据的其余部分。

重新投影：在框324，可以在轨完成到不同坐标系的几何重新投影，以准备要与现有数据库融合的数据。例如，可以将图像数据重新投影到椭圆体模型上，例如WGS84，其是全球定位***使用的当前标准参考坐标系。

网格处理：在框326，将图像、拼合图、或图像或拼合图中的感兴趣区域逐个像素地变换为相同大小和形状的图像。例如，通过计算归一化差异植被指数(“DVI”)、使用多光谱图像中的红色和近红外波段，可以创建植被鲁棒性的伪彩色表示。

矢量处理：在框328处，可以处理图像、拼合图、或图像或拼合图中的感兴趣区域，以将其变换为矢量地图，表示和标记原始输入中存在的特征。例如，对象检测算法可以针对高分辨率的道路图像运行以识别汽车，并且可以在矢量地图表示中根据颜色标记它们。在一些情况下，矢量处理允许图像分析，以确定图像数据内存在的语义对象。矢量处理可以结合点、线、多边形和其他几何形式用于矢量地图变换。

这种类型的图像处理可以进一步用于应用一个或多个植被指数，或者用于图像分割。例如，在卫星用于捕获玉米田的图像的情况下，NDVI(或其他指数)可用于初始定位和识别玉米田。随后，边缘检测算法可以确定玉米田的边缘，并且玉米田的边界可以由若干个矢量定义。然后，可以对图像数据进行分割，例如通过将该区域存储在这些矢量内，以便进一步分析或传输到基站，同时可以丢弃矢量外部的区域，或者当所需的所有信息由矢量正确表示时，可以丢弃所有图像。

预测模型：在334处，基于图像、拼合图、图像或拼合图中感兴趣的区域、矢量地图和网格的集合，可以使用预测模型，其预测未来观察的结果，并预测相关变量，或者适合可以应用于收集的数据的明确定义的参数化模型。这些预测模型可以保持在轨或下载到地面。作为示例，使用相同位置的NDVI网格的集合来预测特定作物的物候曲线的未来演变。预测模型的标准实施方式将包括弹性网络正则化广义线性模型、或决定树的集合(“随机森林”)。

压缩和加密：在336处，可以使用无损压缩算法(例如，使用游程编码或Lempel-Ziv-Welch算法)在轨压缩图像拼合图、感兴趣的区域、处理的网格、矢量地图或预测模型，或，下行链路之前使用有损压缩算法(例如，使用小波或离散余弦变换)。压缩图像可以使用各种对称和公钥加密算法和协议对压缩图像进一步加密和签名，以确保在传输期间和之后的其原图的机密性、完整性和认证。

在框338处，处理后的图像数据可以存储在卫星上，直到与基站建立下行链路通信信道并且可以发送数据。通过将图像处理流水线推向卫星，并定义应用于每个获取的传感器帧的算法工作流程，可以使得下行链路要求最小化。

例如，世界上60％的地区被云覆盖，因此当前从卫星下载的图像的60％的像素都有云，其不携带相关信息(除非卫星专门分配任务用于捕获云的图像)。通过将云检测算法推向卫星，并且能够在轨分割图像并仅下载图像的无云部分，我们可以实现信息中的当前60％的直接增益，我们通过使用相同的下行链路***就可以将其传到地面。可替选地，可以压缩包含云的图像或图像的一部分，以在将图像数据发送到地面站时更有效地利用可用带宽。类似地，在图像包含微小的对比度并且没有感兴趣的真实语义对象的情况下，例如图像的一部分(或整个图像)描绘玉米田，可以压缩描绘玉米田的区域，以更有效地利用可用带宽。

设想有人在墨西哥湾寻找一艘船。传统上，卫星将捕获大量的墨西哥湾的图像，每个图像都下载到地面。然后，某人(或某个***)必须在地面上的每个图像上寻找该船，直到找到它为止。这需要下载大量图像。但是，如果船只检测算法被推送到卫星上，人们只需要下载靠近候选船只的小地理定位区域，并在地面上确定那些船只是否是、或误报，但下载的数据量显著减少。基于其可用的有效载荷和决定能力，卫星可以捕获墨西哥湾的宽视野图像，并且当识别出候选船只时，可以捕获那些候选船只的高分辨率图像，并且可以使用对象检测算法来检测船只。此外，对象检测算法可用于基于船只的物理特征来识别特定的船只。

如果有人对监测停车场中的汽车数量感兴趣，那么卫星每次经过停车场上方并向下发送一个数字，就足以使卫星在算法上对汽车进行计数，而不必下载停车场的每个高分辨率图像供以后分析。事实上，在这种情况下，停车场中的汽车的数目是感兴趣的信息，卫星不需要存储或传输停车场的任何图像。

参照图4，表示在轨卫星图像处理和分析***402。它可以包括一个或多个处理器404，其可以是一个或多个CPU、GPU、DSP、FGPA、ASIC或AI加速器的任何合适的组合。计算机可读介质406存储指令，这些指令在被执行时，使得在轨卫星图像处理和分析***402执行各种动作。这些指令可以被存储为一系列指令或模块，其与卫星上机载的物理***交互，以执行如本文所述的各种功能。

计算机可读介质406可以存储指令，这些指令允许图像处理和分析***402执行一个或多个处理和分析功能，例如图像校正408、图像纠正410、图像拼接412、图像分割414和图像分析416，图像分析416可以包括边缘检测418和对象检测420。图像处理和分析***402可以包括多于或少于图4中列出和示出的指令。另外，这些指令可以以任何顺序针对图像传感器数据来执行，并且不应限于任何特定的操作顺序。

图像校正408可包括对图像数据的各种校正动作，例如本文已描述的热/暗像素校正。它还可以包括以下处理技术，以用于校正PSF反卷积、色差、大气校正、辐射测量归一化和其他类型的颜色校正。这些技术可以利用经验模型或可用算法来处理由成像传感器捕获的图像。在轨执行的算法使用网格数据(例如，以逐个像素为基础的计算)和矢量数据(例如，地图数据、图像片段、对象，诸如建筑物、道路、河流、玉米田等)，并可以导出新的网格和矢量层。

图像纠正410可以包括对网格图像数据的各种几何校正动作，例如正射纠正或椭球地图投影。正射纠正是几何校正图像数据中的特征的过程，以使得尺度均匀。这样可以精确测量图像数据中的特征之间的距离，因为它已针对地形起伏、透镜失真和图像传感器倾斜进行了调整，因此对地球表面的呈现要比未校正的图像精确得多。

图像拼接412可以包括用于将若干个单独的图像数据帧组合成单个图像的一种或多种技术。卫星上机载的成像传感器可以捕获在空间和时间上间隔开的图像序列，但是具有重叠的视野，并且通过图像拼接412，可以将它们组合成单个照片。用于图像拼接412的合适算法是可以获得的，并且通常依赖于关联连续图像帧中的像素坐标的数学模型，以对准这些图像帧。用于组合像素与像素比较和梯度下降的优化技术可用于估计该对准。可以检测来自每个图像的特征，并且这些特征可用于估计重叠和对准。最后，可以使用一些算法来调合重叠图像帧之间的过渡。可以将附加的图像处理技术应用于拼接图像，例如增加动态范围、降低噪声和提高分辨率等。

图像分割414可包括用于将数字图像分割成多个像素集(其可被称为超像素)的一种或多种技术。可以保存这些像素集中的一个或多个以用于进一步处理，而可以丢弃其他像素集。分割的目标是简化图像数据，使分析更有意义且更有效。它还节省了存储资源和传输带宽。用于图像分割的合适算法包括超像素算法、K均值聚类、期望最大化聚类、归一化图形切割和分水岭分割，仅举几个例子。

作为示例，在卫星被分配任务是对停车场中的汽车进行计数的情况下，包括停车场的感兴趣区域的图像可以包括对应于一平方公里(0.38平方英里)的地面区域的视野，而感兴趣的停车场可能仅包括0.08km²(20英亩)，这是成像传感器的视野的一小部分。例如，使用边缘检测或对象检测算法的卫星可以将图像数据分割成两个像素集，一个包括停车场，一个不包括停车场。可以丢弃不包括停车场的像素集，而可以存储、分析或以其他方式处理包括感兴趣的数据的像素集。

可以对图像数据执行图像分析416。继续停车场的先前示例，一旦图像被分割，使得剩余图像数据包含感兴趣的对象或特征，图像处理和分析***402可以分析剩余的像素集。使用诸如边缘检测418或对象检测420的一个或多个算法，可以对分割的图像数据中描绘的汽车进行计数、编目和/或识别。

对象检测420可以使用任何合适的算法来识别图像数据内描绘的特征或对象。例如，可以存储对象数据库，并且可以将图像数据中标识的特征与对象数据库中的条目进行比较，以便找到匹配的对象。通过编辑已知对象的数据库并将在图像数据内检测到的对象与在对象数据库中录入的对象进行比较，可以将对象检测与对象识别相结合。对象检测能够分析由成像传感器并且通过各种算法生成的图像数据，例如边缘检测418，以确定某些类别的语义对象的实例(例如，计算牧场中的奶牛的数目)。有许多方法执行边缘检测；然而，常见和最简单的方法之一是通过实现高斯平滑的阶梯边缘算法(其是误差函数)，来检测数字图像中的相邻像素之间的色值阶跃。可以使用其他分析技术来分析图像帧，以隔离图像帧内描绘的对象，例如边缘匹配、梯度匹配、解释树和姿态聚类，仅举几个例子。

通过检测边缘，对象检测420能够隔离若干个可能的对象，然后将这些对象与存储在对象数据库中的对象进行比较以确定匹配，并因此识别对象。以这种方式，对象检测420能够检测和识别图像数据内的对象。在一些情况下，在高分辨率成像传感器捕获高分辨率成像数据，使得对象检测420能够以高精度隔离若干个对象的情况下，可以将检测到的对象与对象数据库内的已知对象进行比较，以用于对象识别。也就是说，图像处理和分析***402能够识别停车场中的汽车，而不是简单地对停车场中的汽车进行计数。

这可能是特别有用的，例如，在卫星已经被分配任务是在大的水域(例如墨西哥湾)内搜索特定船舶。虽然附近可能有许多船只，但是通过这里描述的示例性过程和算法，图像处理和分析***402能够从宽视野图像传感器接收图像数据，识别可能的候选船舶，然后接收更高的分辨率成像数据(其隔离可能的候选船舶)，然后，通过使用对象检测和对象识别，识别可能是候选船舶的船舶，直到它找到与感兴趣的船舶的匹配。传统上，当分配了这种类型的任务时，卫星可以拍摄墨西哥湾的大量图像，并将这些图像发送到地球侧的基站，在那里分析图像以识别可能的候选船舶。然后，卫星可以自主地决定或接收指令，以获取这些可能为候选船舶的更高分辨率的图像，并将这些照片的每一个或照片的部分发送到基站，以进行处理和分析。如本文所述，将图像处理和分析流水线推送到卫星导致快得多的结果，因为在卫星被分配任务有后续行动之前，不需要将大量图像数据发送到基站用于分析；由于卫星能够识别感兴趣的信息并丢弃对卫星分配要完成的任务不重要的大部分信息，因此大大减少了要传输的结果数据。

图5示出了用于图像处理和分析的示例流程图。在框502处，接收图像数据。图像数据可以来自宽视野图像传感器(例如通用相机112)，或来自宏观有效载荷108(例如高光谱成像相机)。

在框504处，可以通过云检测算法来运算宽视野图像数据，以识别图像中标识云覆盖的区域，以及图像中不显示云覆盖的其他区域。在一些情况下，针对其他形式的障碍物同样可以分析宽视野图像数据。例如，障碍物可能包括雾、霾、阴影、灰尘、沙子或任何形式的障碍物，这些障碍物可能妨碍观察感兴趣的特征。此外，在感兴趣的特征是街道的情况下，街道的视野可能被街道上的汽车或人阻挡。如这里所使用的，无障碍视野是在其中可以看见感兴趣的特征的视野。在许多情况下，无障碍视野是其中卫星上的成像传感器能够以足够的细节捕获感兴趣的特征，以对图像执行分析的视野。在某些情况下，这包括地球的视野，更具体地说，包括地球表面或地球表面上的对象的视野。

在框506处，可以接收高分辨率图像数据。作为云检测算法的结果，可以指示高分辨率成像传感器捕获未被云层遮挡的感兴趣区域的高分辨率图像。

在框508处，可以对捕获的图像数据运行对象检测算法，以检测图像数据中感兴趣的对象或特征。这可以包括以下事物：诸如边缘检测、农业检测、地形特征、人造对象以及可能存在于图像数据中的其他这样的特征或对象之类。

在框510处，可以对图像数据运行图像分析，以收集关于所描绘的对象或者特征的信息。例如，在某些情况下，要计算对象的数目，例如牲畜、植物、汽车、建筑物、人等。在其他情况下，可以比较暂时分离的图像数据，以确定以下的变化：例如湖面面积、增长的陆地、建筑物、作物或森林的健康、或动物或人类群体的增加。

在框512处，可以将相关数据传输到例如基站。在某些情况下，卫星可以将图像发送到基站。这些图像可以是感兴趣区域的全部捕获的图像的子集。此外，这些图像可以是感兴趣区域的部分捕获的图像，已经如本文所述进行了分割。在其他情况下，这些图像可以是拼接图像，其产生是由多个静态图像组合成大于单个图像帧的图像。在其他情况下，相关数据可以是数字的，例如汽车的数量、地被的百分比或水面面积的增加。

参考图6，流程图示出了自主任务分配和目标选择。在框602处，卫星接收任务的优先级列表。这些任务可以从基站上传，可以由卫星本身创建，或者可以来自另一个卫星，例如卫星星座内的卫星。如本文所述，任务可以是合同，通过比较每个合同的成本效益比，同时考虑一些变量，诸如机动、动力要求、时间效率、以及对后续任务的影响，可以安排该优先级列表。

在框604处，使用本文描述的各种模块和***，卫星确定短期计划。这将包括以下变量：诸如在目标上的时间、到下一个目标的时间、高度和姿态调整、基站的位置、重新校准成像传感器、瞄准成像传感器、建立下行链路通信信道、分配用于机载计算(如图像分析)的时间等。因此，短期计划可能影响任务的优先级的列表，其中卫星确定通过改变任务的优先级列表中的一个或多个任务的优先级，它可以提高效率。

在606处，卫星例如从一个或多个成像传感器接收传感器数据。成像传感器可包括宽视野成像传感器、窄视野成像传感器、多光谱成像传感器、高光谱成像传感器、热和红外成像传感器、有源雷达传感器、无源雷达传感器以及设计用于地球观测的其他此类传感器。

在608处，卫星可以确定任务的重新优先化。卫星任务分配可以基于卫星保持的世界的不断更新的优先级图(例如，热力图)，当卫星经过基站上方时其可以从地面更新，其也可以在轨更新，利用实时来自传感器的数据。该热力图可以用于实现基于代理的反向投标过程，其例如可以表示来自不同客户的冲突任务分配需求，以使得要收集的数据的价值最大化。

可以响应于传感器数据确定卫星任务分配。例如，在初始传感器数据指示从火山发出的烟雾，其中烟雾高于预定阈值的情况下，卫星可以创建新任务，以捕获火山的附加高分辨率图像，包括热图像、红外图像和多光谱图像。

在一些情况下，检测到高于阈值的烟雾将使卫星激活额外的有效载荷，例如高光谱成像相机，以收集火山和散发气体的详细高光谱图像。在一些情况下，高光谱相机可以是成像傅里叶变换光谱仪，其可以用于检测、识别、量化和可视化从火山发出的气体。以这种方式，基于成像数据的内容(例如，火山云)，可以激活附加的卫星有效载荷并且由卫星创建新任务，而无需来自地球侧基站的任何通信或指令。

卫星可以进一步创建任务以操纵其自身以保持就位，或者改变其姿态以便对于火山的更好成像机会。因此，卫星可以通过卫星进行自主任务分配。以这种方式，卫星创建其自己的控制回路，其中有效载荷可以彼此交互。换句话说，仪器测量的结果，或通过图像分析检测和/或识别的特征，可以触发卫星上的另一个仪器的观察或测量。此外，基于收集有用信息的机会，该结果可以触发卫星姿态的变化，并创建附加任务。结果是卫星可以具有以事件驱动方式操作的自主水平，其中，给定的有效载荷将其输出散布到卫星内的其他***或子***，然后，可以使用其他有效载荷来收集附加信息。也就是说，基于收集有用数据的机会，异步的一对多数据馈送可以影响卫星的任务、甚至为卫星创建新任务。

在框610处，卫星以其优先顺序执行任务。例如，这可能需要激活适当的有效载荷、分析传感器数据以及执行后续任务。

在框612处，将相关数据传输送到例如基站。如所描述的，该传输可以包括图像数据，例如通过发送数字图像，或者可以包括数字数据、分析数据或一些其他信息。数据可以存储在卫星上，直到卫星方便与基站建立下行链路通信信道并发送必要的数据。

参照图7，流程图示出了具有人工智能的机载分析的示例性过程。在框702处，接收任务分配参数。这些参数可以包括触发执行一个或多个任务的先决条件。例如，任务分配参数可包括到感兴趣区域或感兴趣点的可用光学路径、最小太阳高度角、最大倾斜角度、任务优先级、一天中的时间、可用有效载荷、可用动力以及其他可能影响要执行的任务的此类参数。

在框704处，卫星接收人工智能配置。人工智能(“AT”)配置可以为人工智能模块(例如，图2中的212)定义神经网络。AI配置可以包括预先训练的神经网络，其可以在被上传到卫星之前在地面上训练。可以为任何合适的任务来训练该预先训练的神经网络，例如分析图像以检测特定对象，或者可以将其训练为土地利用分类器，或者例如用于确定环境指标。神经网络可以进一步被更新，或接收额外的训练，同时在卫星上完成额外的任务。

在框706处，利用机载数据更新人工智能模块配置，例如由一个或多个机载传感器收集的数据。这可以包括以下数据，诸如成像数据、卫星健康数据、图像分析数据、卫星定向数据以及可从卫星上的各种机载传感器获得的其他此类数据。

在框708处，确定短期计划。这可以基于任务的优先级，并且可以包括在卫星上创建的新任务，例如通过AI模块，或者基于图像分析、或者上传到卫星的新合同。

在框710处，接收传感器数据。在某些情况下，传感器数据来自成像传感器，其分配的任务是进行地球观测。传感器数据可以包括来自卫星上机载的一个或多个有效载荷的图像数据，并且可以包括由通用相机、高分辨率相机、TIR相机、多光谱相机、超光谱相机或其他成像设备捕获的图像数据。它还可以包括来自其他传感器的数据，例如姿态传感器、定向传感器、太阳传感器、地球传感器、功率传感器、或与其他卫星***或子***相关的传感器。

在框712处，通过任何合适的分析技术、例程或算法来分析传感器数据，其中的许多已经作为示例进行了描述。在某些情况下，该分析是通过人工智能进行的。例如，人工智能分析允许场景解释，或理解图像内发生的事情。这可能对于例如检测森林火灾、交通拥堵、军事争执以及由卫星的成像传感器捕获的其他事件是有用的。当然，可以执行额外的AI分析，以确定由成像传感器捕获的图像数据内描绘的重要事件、变化或对象。

在框714，存储数据分析的结果。数据分析结果可以存储在卫星上的机载存储器中，例如存储在非暂时性存储器中，以用于进一步处理、传输到另一个位置，或者用于进一步分析。另外，一些或所有传感器数据可以存储在存储器中，例如成像数据或成像数据的一部分。

在一些情况下，该过程可以返回到框706，例如用于将数据分析的结果反馈回AI配置，作为用以进一步训练AI的输入。通过迭代地训练AI，它能够以更高的准确度和复杂度执行图像分析。AI可能会在卫星的使用寿命期间接受重复甚至持续的培训，以提高其性能和准确性。

在框716处，传送数据分析的结果。在一些示例中，不需要传送成像数据，而是仅传送图像分析的结果。例如，在卫星的任务是确定田间作物的农业健康状况的情况下，数据分析可以包括表现出重要性指标的作物的百分比。可以传送所确定的百分比，例如通过向地面站发送数字。另外，还可以发送显示作物田地的图像的一部分。在一些情况下，成像数据可以是多光谱图像，例如四波段或六波段图像，其显示NDVI指数确定的结果，以突出显示呈现重要性指标的作物所在的田地的区域。

参考图8，示出了用于对卫星重新计划和重新分配任务的示例性过程。在框802处，卫星接收任务分配参数。如上所述，任务分配参数可以指定触发执行一个或多个任务的条件。

在框804，卫星确定其计划。这可以基于任务列表，该任务列表基于各种因素划分优先级，并且可以另外包括卫星确定它应该执行的新任务，以及从其他卫星传送的任务。在某些情况下，计划基于成本因素、机会因素和价值因素。例如，在卫星需要自身重新定向的情况下，无论是在花费燃料方面，还是在基于重新定向的错失机会的机会成本方面，都存在与重新定向相关的成本。此外，卫星可以确定存在基于效率执行其他任务的机会。例如，当一个任务沿着优先级列表向下移动时，因为卫星确定感兴趣的区域大部分被云遮挡，并且卫星移动到优先级列表中的下一个任务，如果卫星确定云层已经充分消散，它可能会认识到回到较早的任务并捕获感兴趣区域的图像的机会。最后，一个或多个价值因素可能与卫星运营商对完成任务的预期补偿有关。也就是说，在客户愿意支付完成任务的商定价格的情况下，可以利用所考虑的该任务的价值来对该任务进行优先级排序。

可以使用来自许多来源的可用数据来确定计划，包括来自地面站和机载存储器。计划可以包括根据成本、机会和价值因素对任务进行优先级排序和调节任务。

在框806处，完成图像采集任务。这可以通过激活卫星上的一个或多个有效载荷并捕获感兴趣的区域或对象的一个或多个图像来执行。这可以另外包括操纵卫星以指向感兴趣的区域或特征。

在框808处，接收传感器数据，其可包括来自一个或多个成像传感器的传感器数据。

在框810处，完成分析任务，例如通过分析由成像传感器捕获的一个或多个图像。该分析可以包括特征识别、对象检测、图像分割、对象识别和其他这样的分析任务。该分析还可以包括神经网络分析，例如通过使用AI能力从图像数据中提取有意义的数据，这些数据可用于重新计划和创建卫星待完成的新任务。

在框812处，将分析任务的结果存储在卫星上，例如存储器中。

在框814，将分析结果传送到例如地面站或另一卫星。

在框816处，更新计划，并且该计划可以受到分析结果的影响。例如，在传感器数据的分析指示附加图像可能是有益的情况下，可以更新计划以执行附加图像采集任务。

参考图9，示出了用于机载动态代码执行的示例性过程。在框902，接收任务分配参数。任务分配参数可以指定在被检测时触发一个或多个任务的执行的条件。

在框904，接收可执行代码和/或配置设置。在某些情况下，保存可执行代码和相关配置设置以供稍后执行，例如检测到触发条件时。可执行代码可以是由本地指令组成的二进制代码的形式，或者它可以是采用任何合适的脚本语言，例如Python、Java、Smalltalk、或能够向卫星提供指令的任何其他合适的编程语言。

在框906，确定计划，例如卫星的短期计划，以包括任务的执行、操纵和优先级。在卫星接收新的可执行代码的情况下(例如在框904处描述的)，可执行代码可以影响在框906的计划。即，在计划期间可以使用可执行代码和相关联的配置设置，例如进行计划确定。换句话说，可执行代码可以影响任务的优先级或任务的创建。另外，所接收的可执行代码可以用在将在以后执行的计划的任务。

在框908，执行图像获取任务。在任务需要成像数据的情况下，卫星激活一个或多个有效载荷并指示一个或多个有效载荷捕获感兴趣区域或感兴趣点的图像以进行处理、分析和存储。

在框910处，从被指示捕获图像的有效载荷接收传感器数据，例如成像数据。成像数据可以用作若干不同过程的输入，例如图像处理、图像分析、卫星姿态和轨道控制子***。

在框912处，执行分析任务。在某些情况下，这需要图像分析，例如对象检测、特征识别、云检测、图像分割和其他合适的图像分析任务。在一些情况下，在框904处接收的可执行代码可以引导将对图像数据执行的图像分析例程。

在框914，存储结果。在某些情况下，这些结果是有效载荷捕获的图像、或图像的一部分。在其他情况下，这些结果是分析结果，可以包括、或也可以不包括相关图像数据。

在框916处，将这些结果传输到例如地面站。如本文进一步描述的，该传输可以包括所有图像捕获，或者少于捕获的所有图像，例如图像的一部分，或者少于捕获的图像的数量。在其他情况下，这些结果可以包括任何分析的结果，例如种植园的树木数量的计数，表现出重要性指标的作物的百分比、湖泊的表面积等等。

根据一些实施例，轨道卫星***包括一个或多个传感器，其可以是任何形式的地球观测传感器、或卫星健康和状态传感器。一个或多个处理器耦合到存储器，该存储器包括一个或多个模块，该模块包括可由一个或多个处理器执行的指令。这些模块允许卫星***从地面设备或从另一卫星***接收数据请求，该数据请求包括对确定与特定地理区域内的至少一个对象有关的一个或多个参数的请求。基于该请求，卫星***通过一个或多个传感器中的第一传感器捕获与特定地理区域相关联的一个或多个图像。这些模块还允许卫星***分析一个或多个图像，以确定图像的第一子集提供特定地理区域的无障碍视野。例如，这可以基于确定云覆盖很少或没有云覆盖，使得地理区域在图像中可见。可以检测其他形式的障碍，例如雾、阴影、烟雾或可能妨碍特定地理区域的清晰视野的其他此类状况。

然后，卫星***至少部分地基于提供无障碍视野的第一图像子集，使用其传感器来捕获第二图像集，由具有比第一传感器更高的分辨率的第二传感器捕获第二图像集。更高分辨率的传感器可以包括更窄的视野、更高像素数的传感器、多光谱成像传感器、高光谱成像传感器、或者一些其他成像传感器的配置，其能够捕获在由第一成像传感器捕获的第一图像中不容易显现的一些细节。

卫星***能够确定第二图像集包括与至少一个对象相关联的数据。这可以通过在卫星上执行人工智能算法或机器学习算法来完成，以做出关于第二图像集内描绘的对象的决定。当然，在第一图像集中的一个或多个图像提供足够细节的情况下，卫星***可以放弃捕获第二图像集，并直接对第一图像集执行适当的分析。卫星能够至少部分地基于第一图像集或第二图像集，来确定与数据请求相关联的一个或多个参数，并将一个或多个参数发送到地面设备。

在一些情况下，一个或多个参数包括对特定地理区域内的对象进行的计数。在一些情况下，卫星***被配置为确定一个或多个图像的第一图像子集提供特定地理区域的无障碍视野包括：使用云检测算法分析一个或多个图像，以识别没有被云遮挡的图像的区域。

数据请求可以包括提供给卫星***的指令集，当卫星确定满足一个或多个条件时，该指令集将被执行。例如，一个或多个条件可以包括当前时间和日期、轨道卫星***的定位、位置、定向、可用有效载荷、可用能量或当前温度。也就是说，当卫星***确定满足一个或多个条件时，它自主地执行该指令集。

根据另一示例性实施例，卫星***包括一个或多个处理器、成像***、以及耦合到一个或多个处理器的一个或多个存储器。一个或多个存储器包括若干个指令，这些指令当由一个或多个处理器执行时，使得一个或多个处理器向成像***发出命令，以由成像***的第一成像传感器捕获一个或多个第一图像。分析一个或多个第一图像，以识别感兴趣的特征。基于感兴趣的特征，***确定要由一个或多个处理器执行的第二指令集。换句话说，卫星***分析一个或多个第一图像，并基于图像分析做出关于做什么的决定。基于第二指集令，***捕获一个或多个第二图像。***分析一个或多个第二图像，以生成分析并将该分析发送到地面站。

在一些情况下，分析一个或多个第一图像包括执行云检测算法，以确定一个或多个第一图像中对地球的观测不受云的阻挡的区域。分析一个或多个第一图像还可以包括执行对象检测算法，以检测地球上的对象。

卫星***还能够将一个或多个第二图像分割成若干个子图像，使得至少第一子图像包含感兴趣的特征。这可以通过例如在卫星***上运行的任何合适的图像分割算法或例程来实现。卫星***还能够确定预定类别的语义对象的多个实例。换句话说，卫星***能够分析图像，并确定图像内描绘的对象，并对这些对象的数量进行计数。确定对象还可以包括确定由对象引起或与对象相关的条件。例如，确定区域内的汽车数量可以表示交通拥堵。此外，检测到多个车辆正在以低于阈值速度移动还可以指示交通拥堵。作为另一个例子，确定对象可以包括识别对象，例如在区域中生长的特定类型的作物。此外，可以识别作物，并且可以确定其健康状况，例如通过分析一个或多个图像并计算NDVI指数。再举一个例子，确定对象可以包括确定环境条件，例如湿度、UV指数、云和与感兴趣区域相关联的其他这样的条件信息。卫星***最终可以传输计数对象的数量、包含感兴趣特征的子图像、包括少于卫星***捕获的图像的一个或多个图像、现有条件的识别(例如交通事件或者作物健康)，或者在某些情况下，它可以将其捕获的所有图像传输到地面站。

在一些情况下，第二指令集使卫星***重新定位。也就是说，当卫星***分析图像并检测对象时，它可以做出对其重新定位的决定。重新定位可以包括改变其姿态、高度、轨道、瞄准一个或多个有效载荷等。此外，第二指令集可以包括改变卫星***被分配任务去执行的指令的优先级。换句话说，当卫星***分析图像时，它可以确定将优先级较低的任务移动到较高优先级位置。另外，卫星***可以基于卫星***执行的图像分析来创建新任务。

可以通过执行机载的人工智能或机器学习算法来分析图像。可替代地或另外地，卫星***可以通过执行从地面站或从另一个卫星接收的指令来分析图像。

根据其他示例性实施例，一种方法包括由卫星上的成像传感器捕获第一图像。分析第一图像以确定图像内描绘的对象。基于分析第一图像，卫星***确定要执行的任务并执行任务。这是有别于传统卫星任务分配的根本性改变，在传统卫星任务分配中，卫星在采取任何行动之前等待来自地面站的指令。相反，这里描述的***和方法允许卫星做出关于它将要执行的任务的确定。也就是说，卫星***本身可以创建任务、重新确定任务的优先级、并执行这些任务，而无需从地面站接收直接即时的关于这些操作的指示。在很大程度上，这些任务确定是基于分析由卫星***捕获的图像而作出的。

卫星执行的任务可包括将图像分析发送到独立于轨道运行卫星的位置。也就是说，卫星可以分析图像或图像集，并将分析发送到地面站、另一个卫星、空中平台或一些其他位置。图像分析可以包括任何合适的图像分析，例如，对象检测、对象识别、将图像分割成子图像等。该方法还包括捕获第二图像。第二图像可以具有比第一图像更高的分辨率，或者它可以是多光谱图像或高光谱图像。卫星执行的任务可包括改变卫星的定向。在其他情况下，要执行的任务包括激活卫星的有效载荷。在其他情况下，卫星捕获多个图像并将少于多个图像的图像发送到地面站。这可以包括传输全部的图像，但不是所有捕获的图像。它还可以包括将一个或多个图像分割成若干个子图像并发送一个或多个子图像。在某些情况下，卫星***做出关于图像中检测到的对象的确定，并发送该确定，且发送或不发送实际图像。

该方法还可以包括捕获第二图像，并且在一些情况下，第二图像具有比第一图像更高的分辨率。可以识别第二图像中描绘的对象，例如通过执行对象检测算法，对象检测算法可以将这些对象与存储在数据库中的已知对象进行比较，以通过匹配对象进行搜索。该方法可以包括对第二图像中描绘的多个对象进行计数，并将该数目发送到地面站。在任务包括提供在一个位置处的多个对象的情况下，卫星***不需要将任何图像传送到地面，而是可以分析这些图像，对感兴趣的语义对象的数量进行计数，并且仅将所需的数目发送到地面站。

可替选地，该方法可以包括将待执行的任务发送到第二卫星，第二卫星执行该任务。另外，第二卫星可以将待执行的任务发送到第三卫星来执行。例如，这在以下情况下是有用的，其中，第二或第三卫星可能比第一卫星具有更好的完成该任务的机会。以这种方式，卫星可以基于成本因素、机会因素、可用有效载荷、可用动力和其他这样的因素来共享任务和优先级，以提高捕获、分析、存储和向地面传输相关信息的总体效率。

尽管本公开可以使用特定于结构特征和/或方法动作的语言，但是本发明不限于本文描述的特定特征或动作。相反，特定特征和动作被公开作为实现本文描述的各种形式的***和方法的说明性形式。

Claims (14)

1.一种卫星，包括：

一个或多个成像传感器；

一个或多个处理器；以及

一个或多个存储器，耦合到所述一个或多个处理器，所述一个或多个存储器包括指令，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作包括：

通过所述一个或多个成像传感器中的成像传感器来捕获一个或多个图像；

在所述卫星上分析所述一个或多个第一图像，以确定关于地球表面上的至少一个感兴趣对象或特征的信息，用以生成分析；以及

将所述分析存储在所述卫星上的存储器中，用于进一步处理，用于传输到另一位置，或是用于进一步分析。

2.根据权利要求1的卫星，其中，分析所述一个或多个图像包括：执行对象检测算法，以检测地球表面上的所述至少一个感兴趣对象或特征，确定预定类别的语义对象的多个实例，和/或将所述一个或多个图像分割为复数个子图像，使得至少第一子图像包含地球表面上的所述至少一个感兴趣对象或特征。

3.根据权利要求1的卫星，其中，所述操作还包括接收数据请求，所述数据请求包括以下各项中的至少一项：请求确定与地球表面上的所述至少一个感兴趣对象或特征有关的一个或多个参数的请求，请求发送与满足某些标准的感兴趣区域或对象相对应的数据的请求，可执行代码和/或配置设置，任务分配参数，或任务的优先级列表。

4.根据权利要求3的卫星，其中，所述可执行代码和/或配置设置包括人工智能配置，其中优选地，所述人工智能配置包括神经网络，所述神经网络在被上传到卫星***之前在地面上受到训练，或者在所述卫星上受到训练。

5.根据权利要求3或4的卫星，其中，在所述卫星上利用星载数据来更新所述人工智能配置，所述星载数据包括成像数据、卫星健康数据、图像分析数据或卫星定向数据。

6.根据权利要求1的卫星，其中，通过执行在所述卫星上的人工智能或机器学习算法来分析所述一个或多个图像。

7.根据权利要求1的卫星，其中，所述操作还包括：基于关于地球表面上的至少一个感兴趣对象或特征的所述信息，确定将由所述一个或多个处理器执行的第二指令集。

8.根据权利要求7的卫星，其中，所述第二指令集包括：捕获一个或多个图像，重新定位所述卫星，改变所述卫星被分配任务去执行的指令的优先级，和/或创建供所述卫星完成的新任务。

9.根据权利要求8的卫星，其中，所述新任务的创建是基于人工智能配置来确定的，和/或所述新任务包括以下各项中的至少一项：将图像分析发送到独立于轨道卫星的位置，激活有效载荷，分析传感器数据，或执行后续任务。

10.一种受卫星中的一个或多个处理器控制的方法，所述方法包括：

通过所述卫星上的成像传感器来捕获一个或多个图像；

在所述卫星上分析所述一个或多个第一图像，以创建分析结果，所述分析结果包括确定关于所述一个或多个图像内描绘的地球表面上的至少一个感兴趣对象或特征的信息；以及

将所述分析结果存储在所述卫星上的存储器中，用于进一步处理，用于传输到另一位置，或是用于进一步分析。

11.根据权利要求10的方法，其中，所述方法还包括：基于分析所述一个或多个图像并且基于关于地球表面上的至少一个感兴趣对象或特征的所述信息，确定待执行的一个或多个任务；以及执行所述一个或多个任务。

12.根据权利要求11的方法，其中，所述待执行的一个或多个任务包括：将数据或所述分析结果发送到独立于所述卫星的位置，或激活所述卫星的有效载荷，和/或基于人工智能配置来确定新任务。

13.根据权利要求10的方法，其中，所述方法还包括：接收可执行代码和/或人工智能配置，其中，通过在所述卫星上执行可执行代码和/或人工智能或机器学习算法，来分析所述一个或多个图像。

14.根据权利要求13的方法，其中，所述人工智能配置包括神经网络，所述神经网络在被上传到所述卫星之前在地面上受到训练，在所述卫星上受到训练，或是在轨道卫星上利用一个或多个星载传感器收集的数据进行更新，其中的星载数据包括成像数据、卫星健康数据、图像分析数据或卫星定向数据。

Images