CN110268439B - 运动图像角点排序器 - Google Patents

Abstract

一种用于对数据流内的图像帧中的顶点进行排序的计算机实现的方法，其中图像帧对应于地球‑观察数据。确定主线对的交点并将其加载到计算机存储器中，并询问关于带符号余数相对于由成对有序顶点集限定的两个副线中的每一个的符号。在相对于两个副线的余数符号相反的情况下，互换两个临时索引以获得四个顶点中的每一个的修正索引。针对副线的交点相对于主线的带符号余数重复该过程。然后，根据索引排序，将四个顶点基于四个顶点中的每一个的修正索引拟合到地球表面的平铺中。

Description

运动图像角点排序器

本申请要求2017年3月23日提交的美国专利申请No.15/466,993的优先权，其通过引用并入本文。

本专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文件或专利公开内容进行传真复制，因为它出现在专利和商标局专利文件或记录中，但在其它方面保留所有版权。

技术领域

本发明涉及对地球图像的计算机处理，并且更具体地，涉及在计算机处理过程中对已损坏和不可用的四边形有界图像进行修正。

背景技术

为了使地球图像数据在多个***和用户之间可互操作，运动图像标准委员会(Motion Imagery Standards Board-MISB)规定了一种用于发送和存储从所有波长的各种类型的俯视相机得到的地球图像的标准格式。MISB标准在运动图像标准概况， MISP-2015.1：运动图像手册(MISB，2015)中进行了总结，其可以在http://www.gwg.ng a.mil/上获得，并且其通过引用并入本文，并且对于本文所用术语的定义，可以作为规范性参考，并且在术语可能不明确的情况下起作用。MISB标准0601尤其详述了无人机***(UAS)平台的UAS数据链路本地集(LS)。MISB标准0601包含国家图像传输格式(NITF)的NITF标准文件MIL-STD-2500C，其也通过引用并入本文。

MISB标准适用于来自任何类型的模态的任何类型的成像数据，诸如可见光、红外线、LIDAR(激光雷达)云、RADAR(雷达)回波、声学、或任何类型的数据，本发明的所有教导也是如此。

角点(在本文中同义地称为“顶点”)作为封装从机载平台获得的运动图像的分组内的元数据(标签26-33，根据上面引用的NITF标准)被发送。成像数据帧的识别出的顶点的排序可能在发送或处理的各个阶段期间被破坏，但必须符合将成像数据正确投影到地球坐标上的MISB标准。虽然有各种方法可以检测帧顶点取向的不规则性并且对其进行修正，其中一些被常常付诸实践，但为了使图像在处理流的任何方面都有用，帧顶点取向的不规则性必须被有效地检测并校正。由于视频帧以高速率发生，因此有必要快速检测并修正这种不规则性。根据如下所述的本发明的实施方式，本文提供了一种用于检测并校正这种不规则性的新的且特别有效的方法。

发明内容

根据本发明的实施方式，提供了一种用于对封装地球-观察数据的图像帧的流中的顶点进行排序的计算机实现的方法。该计算机实现的方法具有以下步骤：

a.在图像帧的流中接收由在遥感相机的图像平面处的矩形光学传感器获取的包括地面区域的四个顶点的图像帧；

b.为四个顶点中的每一个分配临时索引；

c.建立由成对有序顶点集限定的两条主线(primary line)的第一交点；

d.将第一交点加载到计算机存储器中；

e.询问第一交点关于针对由成对有序顶点集限定的两个副线(secondary line)中的每一个的带符号余数的符号；

f.在针对两个副线的余数符号相反的情况下，交换临时索引中的第一临时索引和第二临时索引以获得针对四个顶点中的每一个的修正索引；

g.建立所述两条副线的第二交点；

h.将第二交点加载到计算机存储器中；

i.询问第二交点关于针对由成对有序顶点集限定的两个主线中的每一个的带符号余数的符号；

j.在针对两个主线的余数符号相反的情况下，交换临时索引中的第二临时索引和第三临时索引以获得针对四个顶点中的每一个的修正索引，否则使用四个顶点中的每一个的临时索引作为四个顶点各自的修正索引；以及

k.基于四个顶点中的每一个的修正索引，将四个顶点拟合到地球表面的平铺(tiling)中。

根据本发明的其它实施方式，遥感相机的光学传感器可以包括像素的矩形阵列。分配临时索引可以包括分配在处理数据流的指定阶段接收的顶点索引。

在本发明的其它实施方式中，建立主线的交点可以包括两个线性方程的同时求解，其中各线性方程表征穿过不同顶点对的线。分配临时索引可以包括分配在处理数据流的指定阶段接收的顶点索引。

根据本发明的另一方面，提供了一种用于对封装地球-观察数据的图像帧的流中的顶点进行排序的计算机程序产品。该计算机程序产品具有非暂时性计算机可读介质，其上存储有计算机指令，使得当由处理器执行时，该指令使处理器：

a.在图像帧的流中接收由遥感相机的图像平面处的光学传感器获取的包括地面区域的四个顶点的图像帧；

b.为四个顶点中的每一个分配临时索引；

c.建立由成对有序顶点集限定的两条主线的第一交点；

d.将第一交点加载到计算机存储器中；

e.询问第一交点关于针对由成对有序顶点集限定的两个副线中的每一个的带符号余数的符号；

f.在针对两个副线的余数符号相反的情况下，交换临时索引的第一临时索引和第二临时索引以获得四个顶点中的每一个的修正索引；

g.建立所述两条副线的第二交点；

h.将第二交点加载到计算机存储器中；

i.询问第二交点关于针对由成对有序顶点集限定的两个主线中的每一个的带符号余数的符号；

j.在针对两个主线的余数符号相反的情况下，交换临时索引的第二临时索引和第三临时索引以获得四个顶点中的每一个的修正索引，否则使用四个顶点中的每一个的临时索引作为四个顶点各自的修正索引；以及

k.基于四个顶点中的每一个的修正索引，将四个顶点拟合到地球表面的平铺中。

根据本发明的其它实施方式，遥感相机的光学传感器可以包括像素的矩形阵列。分配临时索引可以包括分配在处理数据流的指定阶段接收的顶点索引。

在本发明的其它实施方式中，建立主线的交点可以包括两个线性方程的同时求解，各线性方程表征穿过不同顶点对的线。分配临时索引可以包括分配在处理数据流的指定阶段接收的顶点索引。

附图说明

通过结合附图参考以下具体实施方式的详细描述，将更全面地理解本发明，在附图中：

图1描绘了在地球-观察平台上的矩形传感器上成像的矩形中的编号角坐标。图1显示为MISB标准0601的图。

图2示出了根据MISB 0601的标准绘出所捕获的图像的轮廓的四边形的角点的排序。

图3A和图3B示出了角点的两种变型错误排序。

图4A和图4B描绘了根据本发明实施方式的交叉线四边形角排序。

图5是描绘根据本发明的实施方式对错误排序的角点进行检测和校正的步骤的流程图。

图6A至图6C示出了作为本发明实施方式的应用实例的代表性初始顶点排序。

具体实施方式

定义。术语“图像”应指任何多维表示，无论是有形的还是其它可感知的形式，或其它，其中一些特征(幅度、强度等)的值(标量或其它)与对应于物理空间中对象的维度坐标的多个位置(或欧几里德空间中的向量，通常为R²或R³)中的每一个相关联，但不一定一对一地映射。因此，例如，一些场的空间分布的图形显示(标量或矢量，诸如亮度或颜色)构成图像。因此，在计算机存储器或全息介质中也有数字阵列，诸如2D或3D全息数据集。类似地，“成像”是指依据一个或更多个图像表现出所规定的物理特征。

本文和任何所附权利要求中所使用的动词“修正”应表示使数据符合指定标准。“校正”一词可与“修正”一词同义使用。

术语“索引”指的是集合的元素的有序编号，并且更具体地，在本上下文中，指的是多边形的角点的有序编号。

术语“顶点”应与“角点”同义地使用以表示定义多边形图像的极值边缘的线段成对相交的点集合中的一点。

“角点排序器”接收角点位置的描述并且测试它们的顺序以确定它们是否正确地对应于界定图像的多边形的角，并且如果不是，则正确地对角点进行排序。

参照图1，例如，地球图像数据通常由在诸如无人驾驶飞行器(UAV)之类的地球观察平台115上的俯视传感器(或“传感器”)101获取。传感器101设置在遥感相机103的图像平面中，并且通常以矩形像素阵列的形式提供图像数据，其被处理并发送以用于分析或传播。由于传感器相对于地球的观察角，投影到矩形传感器101 上的区域由四边形105界定，其角度不再是直角，而是由于倾斜的观察角而变形。为了处理用于在基于地球的坐标中观察或分析的四边形105，MISB标准0601要求以顺时针顺序对每个四边形105的角点(在本文中称为“顶点”)1、2、3和4进行排序，因为数据会出现在发送或处理的任何阶段。因此，顶点必须与以指定顺序和意义递增的索引相关联。需要符合标准以便在地球框架中正确地呈现图像，使得能够使用从地球-观察载具上的传感器101获得的遥测数据投影到来自地球-观察载具115的视频地图上。

图2中所示的四边形105表示由传感器101获得的图像到地球框架上的投影。四边形105的各个边110对应于传感器101的边缘。根据MISB 0601标准，角点1、2、 3和4从左上角顺时针排序。然而，遥测或后续处理有时不能正确排序，导致角点排序错误，如图3A和图3B。两个点的互换代表错误排序的角点的最常见情况。

根据本发明的教导，在处理的指定阶段(或在处理的任何阶段)接收的顶点索引可以被指定为对应于各个角点的临时索引，然后进行校正。

涉及四边形的几何术语：如本文和任何所附权利要求中所使用的，“内角”(或“内部角”)是由四边形的两个相邻边形成的角度，当且仅当角内的点位于四边形的内部。当且仅当没有内角超过180°时，四边形是“凸的”。如果四边形是凸的并且如果其内部角不超过两个是直角，则在此将其称为“常规的”。

根据本发明的实施方式，提供了一种用于检测并校正错误排序的角点的方法，如现在所描述的。参照图4A，顶线301穿过点1和点2。一旦指定了笛卡尔参考系，“顶”指的是穿过具有最高纵坐标值的点和下一顺序临时索引的点(在这种情况下，为点1 和点2)的线段。类似地，底线302穿过点3和点4(在图4A中描绘的实例中)。如果顶线301和底线302(联合，“主线”)相交，则它们的交点被称为点A。

如本文和任何所附权利要求中所使用的术语“主线”应表示分别穿过角点对1 和2，以及3和4的线，因为这些点是临时索引的，如以上所描述的。

穿过成对的角点1和2、2和3、3和4、以及4和1的线在本文中称为“边界线”。如果四边形105的左线303和右线304(联合，“副线”)相交，它们的交点用点B表示。

如图4B所示，两个角点3和4的互换(如由于数据损坏而可能发生的那样)产生这里称为“领结”的图形。修正前的任何角点的索引应在本文和任何所附权利要求中称为“临时索引”，而修正之后的任何角点的索引应在本文中和在任何所附权利要求中称为该角点的“修正索引”。

如果连接角点1、2、3和4的线将平面划分为有界区和无界区，则无界区在本文中可称为四边形105的“外部”。如图4A所示，可以表面，在“常规”四边形(如上所述)中，交点A和交点B都位于四边形105的外部。另一方面，如图4B所示，如果交点A和交点B中的一个不位于四边形105的外部，则应该说它位于四边形105 内部。四边形105内部存在单个交点B表示互换了角点1、2、3和4中的两个，并且必须交换相应的索引以防止图4B的蝴蝶结结构。

在本发明的方法中，边界线301、302、303和304中的每一个以斜截式(均匀或不均匀)构造：

y＝m*x+b；或者等价的

余数＝m*x+b-y＝0。

顶线301和底线302线的同时求解产生它们的公共交点A，其被加载到计算机存储器中。根据本发明的优选实施方式，首先测试主线(如上定义)。交点A的坐标(x,y) 被代入剩余的两条线(称为“副”线)，左线303和右线304的方程式。经过必要的修改，交点B被加载计算机存储器，并且然后代入顶线301和底线302的方程式。

术语“带符号余数”被定义为余数乘以线的斜率的符号，因此：

带符号余数＝(m*x+b-y＝0)×sgn(m)，

其中sgn(m)是m的符号。

如果交点A位于线303上，则带符号余数为零，并且交点A在线303上。如果交点A位于线303上方并且斜率m为正，则带符号余数为负。不论带符号余数是正还是负，在本文和任何所附权利要求中均称为带符号余数的“符号”，或“余数符号”。确定带符号余数的符号是正还是负在此可被称为询问交点关于余数的符号。

如果交点A位于线303下方并且斜率m为正，则带符号余数为正。如果交点A 位于线303的右侧，并且斜率为正，则带符号余数为正。如果交点A在线303的左侧，并且斜率为正，则带符号余数为负。因此，如果两条边界线303和304的余数具有相反的符号，则交点A位于四边形内部。

否则，交点A位于四边形外部。两条边界线303和304的带符号余数的符号相反意味着需要互换两个角点3和4。如果顶线301和底线302在四边形105内部相交，则需要互换左侧的角点1和角点3(图4B中)，或者需要互换右侧的点2和点4。如果左线303和右线304在四边形105内部相交，则需要互换顶上的角点(图4B中的 1和2)或者底上的点(图4B中的3和4)。

在边界线是垂直的(并且其斜率m不明确)的情况下，执行不同的测试以确定相应的主(或副)线的交点是位于四边形105的内部还是外部。

已经描述的方法总结在图5中所示的流程图中。在第一步骤501中，计算四条边线301、302、303和304(图4A中所示)的方程式。然后找到顶线和底线的交点A (503)，如果它存在，则该存在由bTopBottom变量的布尔值表示。类似地，找到右线和左线的交点B(505)，如果它存在，则该存在由bLeftRight变量的布尔值表示。

如果主线是平行的(506)，则绕过主线的交叉测试。如果bTopBottom为真并且交点A在左线和右线内部，则互换分别位于顶线或底线上的角点(此处称为“顶”点和“底”点)(507)。经过必要的修改，如果交点B在顶线和底线内部，则互换分别位于左线或右线上的角点(此处称为“左”点和“右”点)(509)。一旦角点索引被修正，则使用标准处理法将相应的有界图像拟合(511)到地球表面平铺中。

剩下的问题是确定互换哪些点。选择是设计选择的问题。通常，任何互换错误对于一系列观察参数值都是一致的。

使用任意点互换选择，以及上述斜率交叉法可以有利地最小化计算和互换点所需的时间，并且它具有固有的内置检查以查看图4B的领结是否存在。特别有利的是，在不调用三角函数的情况下实现根据本发明的方法。与在运动图像的数据流内检测并修正四边形有界图像的任何其它已知方法相比，该特征提供了意想不到的优点。

现在参照图6A至图6C描述本发明的实施方式的应用，特别是初始顶点排序的说明性实例。在图6A中，顶线

和底线

在四边形

外部相交于点A，其余数相对于线

是正的(它位于线

上方，但线

的斜率为负，因此线

和线

的交点A相对于线

的带符号余数为负。同样地，线

和线

的交点相对于线

的余数为负(它位于线

下方)。线

的斜率为正，因此线

和线

的交点相对于线

的带符号余数也是负的。由于线

和线

的交点A相对于副线

和线

的带符号余数都是负的，因此交点A位于四边形

外部，并且没有针对主线调用索引的互换。类似的考虑证实，在副线的情况下不需要互换索引。

基于本文所描述的方法的类比分析得出结论：图6B中所示的四边形

和图6C中所示的四边形

是领结形的，并且必须互换顶点，如本发明的实施方式所要求的那样。

可以执行上述方法，并且可以通过包括处理器的计算机***通过执行存储在存储器中的适当指令来实现上述***。已经参照由存储在存储器中的指令控制的处理器描述了用于修正图像的计算机程序产品。存储器可以是适于存储控制软件或其它指令和数据随机存取存储器(RAM)、只读存储器(ROM)、闪存或任何其它存储器、或它们的组合。已经参照流程图和/或框图描述了由变换方法和装置执行的一些功能。本领域技术人员应该容易理解，流程图或框图的每个框的全部或一部分或框的组合的功能、操作、决定等可以实现为计算机程序指令、软件、硬件、固件或它们的组合。本领域技术人员还应该容易理解，限定本发明的功能的指令或程序可以以多种形式传递至处理器，包括但不限于永久存储在有形非暂时性不可写存储介质上的信息(例如，计算机内的只读存储器件，诸如ROM、或计算机I/O附件可读的器件，诸如CD-ROM 或DVD盘)、可存储在有形非暂时性可写存储介质上的信息(例如软盘、可移动闪存和硬盘驱动器)或通过通信介质(包括有线或无线计算机网络)传送到计算机的信息。另外，虽然本发明可以用软件实现，但是实现本发明所必需的功能可以可选地或替代地部分或全部地使用固件和/或硬件组件来实现，诸如组合逻辑、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他硬件或硬件、软件和/或固件组件的一些组合。

尽管通过上述示例性实施方式描述了本发明，但是本领域普通技术人员将理解，在不脱离本文公开的发明构思的情况下，可以对所示实施方式进行修改和变化。例如，尽管已经参照流程图描述了阴影估计法的一些方面，但是本领域技术人员应该容易地理解每个方框的全部或一部分的功能、操作、决定等，或者流程图的方框的组合可以组合、分成单独的操作或以其它顺序执行。此外，虽然结合各种说明性数据结构描述了实施方式，但是本领域技术人员将认识到，可以使用各种数据结构来体现该***。此外，所公开的方面或这些方面的一部分可以以上面未列出的方式组合。因此，不应将本发明视为限于所公开的实施方式。

现在提供可用于实践本文描述的计算机实现的方法的计算机代码的示例。

Claims (8)

1.一种用于对封装地球-观察数据的图像帧的流中的顶点进行排序的计算机实现的方法，所述计算机实现的方法包括：

a、在所述图像帧的流中接收由遥感相机的图像平面处的光学传感器获取的包括地面区域的四个顶点的图像帧；

b、为所述四个顶点中的每一个分配临时索引，所述临时索引提供四条边界线，每条边界线是通过有序临时索引顶点对的线，其中，

- 通过第一临时索引顶点和第二临时索引顶点的边界线以及通过第三临时索引顶点和第四临时索引顶点的边界线被定义为主线，并且

- 通过所述第二临时索引顶点和所述第三临时索引顶点的边界线以及通过所述第四临时索引顶点和所述第一临时索引顶点的边界线被定义为副线；

c、建立所述主线的第一交点；

d、将所述第一交点加载到计算机存储器中；

e、询问所述第一交点关于带符号余数相对于所述副线中的每一条的符号；

f、在相对于所述副线的余数符号相反的情况下，互换所述临时索引中的第一临时索引和第二临时索引以获得所述四个顶点中的每一个的修正索引；

g、建立所述副线的第二交点；

h、将所述第二交点加载到计算机存储器中；

i、询问所述第二交点关于带符号余数相对于所述主线中的每一条的符号；

j、在相对于所述主线的余数符号相反的情况下，互换所述临时索引中的第二临时索引和第三临时索引以获得所述四个顶点中的每一个的修正索引，否则使用所述四个顶点中的每一个的所述临时索引作为所述四个顶点中的每一个的修正索引；以及

k、基于所述四个顶点中的每一个的所述修正索引，将所述四个顶点拟合到地球表面的平铺中。

2.根据权利要求1所述的方法，其中，所述遥感相机的所述光学传感器包括像素的矩形阵列。

3.根据权利要求1所述的方法，其中，分配临时索引包括分配在处理数据流的指定阶段接收的顶点索引。

4.根据权利要求1所述的方法，其中，建立主线的交点包括两个线性方程的同时求解，其中，各线性方程表征穿过不同顶点对的线。

5.一种用于对封装地球-观察数据的图像帧的流中的顶点进行排序的计算机可读存储介质，在所述计算机可读存储介质上存储有计算机指令，使得当由处理器执行时，所述指令使所述处理器：

a、在所述图像帧的流中接收由遥感相机的图像平面处的光学传感器获取的包括地面区域的四个顶点的图像帧；

b、为所述四个顶点中的每一个分配临时索引，所述临时索引提供四条边界线，每条边界线是通过有序临时索引顶点对的线，其中，

- 通过第一临时索引顶点和第二临时索引顶点的边界线以及通过第三临时索引顶点和第四临时索引顶点的边界线被定义为主线，并且

- 通过所述第二临时索引顶点和所述第三临时索引顶点的边界线以及通过所述第四临时索引顶点和所述第一临时索引顶点的边界线被定义为副线；

c、建立所述主线的第一交点；

d、将所述第一交点加载到计算机存储器中；

e、询问所述第一交点关于带符号余数相对于所述副线中的每一条的符号；

f、在相对于所述副线的余数符号相反的情况下，互换所述临时索引中的第一临时索引和第二临时索引以获得所述四个顶点中的每一个的修正索引；

g、建立所述副线的第二交点；

h、将所述第二交点加载到计算机存储器中；

i、询问所述第二交点关于带符号余数相对于所述主线中的每一条的符号；

j、在相对于所述主线的余数符号相反的情况下，互换所述临时索引中的第二临时索引和第三临时索引以获得所述四个顶点中的每一个的修正索引，否则使用所述四个顶点中的每一个的所述临时索引作为所述四个顶点中的每一个的修正索引；以及

k、基于所述四个顶点中的每一个的所述修正索引，将所述四个顶点拟合到地球表面的平铺中。

6.根据权利要求5所述的计算机可读存储介质，其中，所述遥感相机的所述光学传感器包括像素的矩形阵列。

7.根据权利要求5所述的计算机可读存储介质，其中，分配临时索引包括分配在处理数据流的指定阶段接收的顶点索引。

8.根据权利要求5所述的计算机可读存储介质，其中，建立主线的交点包括两个线性方程的同时求解，其中，各线性方程表征穿过不同顶点对的线。

Images