CN107835383B - 用于单兵***的超短延时图像传输方法 - Google Patents

Abstract

一种用于单兵***的超短延时图像传输方法，在传输过程中，充分利用单兵***应用场景图中存在大量固定不变的特征的特点，只针对性地传输场景中新出现的部分，同时通过对比新采集到的图像在原场景图中所对应的位置和缩放关系来更新接收端场景图。采用本发明所述的图像传输方法，能够充分利用单兵***使用环境中图像存在大量固定信息的特点，减少需要通过信道传输的数据量。同时通过新采集的图像在原场景图中的位置和缩放关系来对相应区域进行及时的更新。因而，使用本方法可以在保证图像质量的同时，大大减少单兵***中图像传输的延时，提高单兵工作***的工作效率。

Description

用于单兵***的超短延时图像传输方法

技术领域

本发明涉及图像处理领域，尤其涉及一种减少延时的图像传输方法。

背景技术

在单兵***中，最重要的是信息，尤其是视觉信息。指挥中心把卫星，侦查机，以及机载摄像头所看到的图像送到士兵的头盔显示器，而每个士兵也都会把自己头盔上安装的摄像头所看到的图像发送到指挥中心。指挥中心与士兵之间的通信是通过无线传输的，数据带宽非常有限，而传输的数据绝大部分是视频图像，需要占用很高带宽。通常一个士兵平均需要分配至少1Mbit/s以上的通信资源用于传输视频图像。而随着图像的分辨率越来越高，图像的数据量也会越来越大，巨大的信息量将极大地限制指挥中心指挥士兵的能力和能够有效指挥的士兵的数量。如何高效地传输图像在单兵***中成为非常重要的问题。而且，由于作战时对图像、视频信息的实时性要求非常重要，指挥中心和士兵都需要及时看到作战情况。如何降低图像传输的延迟，高速及时地传输图像将直接关系到单兵***的作战能力。

然而，纵观目前的图像处理技术，如H.264，H.265，MPEG以及Wavelet等的众多数字图像处理技术都针对的是通常的没有固定场景的电影视频。这些方法都把每一帧作为孤立的图像进行处理，即使压缩后，这些方法中传输图像仍然需要很高的带宽。而且，由于视频每一帧图像都需要进行压缩，因而压缩需要很长的时间，使得传输的视频、图像都会存在很大延时。一般从摄像头到显示器需要3秒多，如果通信信道不稳定或是受到干扰，所需的时间将会更长。这样长的延时会使得指挥中心和士兵不能及时看到现场信息，因此而失去重要战机，同时造成被动挨打的局面。

发明内容

技术问题：为了解决现有技术存在的不足，本发明的目的在于提供一种用于单兵***的超短延时图像传输方法。

技术方案：本发明所述图像传输方法用摄像端采集到的新图像信息更新接收端的场景图，通过拼接的方式只处理摄像端采集到的图像中新的部分，从而减少需要传输的信息量，解决单兵***图像传输中数据量过大带来的干扰以及延时的问题。本方法的具体步骤如下。

一种用于单兵***的超短延时图像传输方法，其特征在于，图像传输的具体步骤如下：

步骤1，初始化，在摄像端和接收端分别各设置一个场景图，分别为摄像端场景图和接收端场景图，两个场景图大小相同，且两个场景图对应区域范围均超过摄像头单次取景区域范围；

步骤2，摄像端进行首次图像采集，并用采集到的图像同时更新摄像端场景图和接收端场景图中的对应区域；

步骤3，摄像端移动位置并进行新一轮图像采集，摄像端将新采集到的图像与摄像端场景图进行对比，剔除新采集到的图像中与摄像端场景图相重叠的部分，得到待传输图像，同时计算待传输图像在摄像端场景图中所对应的位置和缩放系数；摄像端将待传输图像、待传输图像的位置和缩放系数一并传输至接收端；

步骤4，接收端接收摄像端传输来的信息，并根据缩放系数对接收到的待传输图像进行缩放，然后根据接收到的位置信息用缩放后的待传输图像更新接收端场景图中的对应区域；

步骤5，重复上述步骤3至步骤4，直至结束图像传输。

其中，步骤3中，如果新采集到的图像与摄像端场景图对比，两者完全重叠，仅存在缩放系数的区别时，摄像端将新采集到的图像对应的位置和缩放系数一并传输至接收端；

步骤4中，如果接收端只接收到位置和缩放系数信息而没有待传输图像信息，接收端则根据缩放系数对接收端场景图中对应位置的图像进行缩放。

其中，在摄像端进行新一轮图像采集的同时，接收端接收摄像端在上一轮图像采集中计算得到的待传输图像、待传输图像的位置和缩放系数信息，并根据这些信息更新接收端场景图。

有益效果：

本发明针对现有图像传输技术数据量大、延时长的缺陷，利用单兵***中需要采集的图像多是环境场景，而环境场景中存在大量固定不变的特征的特点，提出了一种能够缩短图像传输时延的方法。本方法传输图像时只针对性地传输环境场景中新出现的部分，大大减小了传输的信息量，通过接收端的拼接处理，将环境场景中新出现的部分及时更新到整体的场景图中。由于本方法在步骤3中剔除了新采集到的图像中与摄像端原先的场景图相重叠的部分，因此每次传输时针对性的传输新出现的部分，大大减少了待传输图像的数据量。而且，由于与待传输图像同时传输的位置和缩放系数数据量也非常小，因此可以在保证图像清晰度的同时减少需要传输的信息量，从而降低传输图像对信道的要求，缩短图像传输需经历的延时时间。进而在保证单兵和指挥中心都能够及时看到现场信息的同时，扩大了指挥中心能够进行有效指挥的士兵的数量，极大地提高了单兵***的工作效率。

本方法中，利用单兵终端执行任务时携带的摄像头会跟随士兵的移动不停更新场景图的特点，将场景图分成由许多摄像头的取景框所叠加的小块，通过对比新图像与原先场景图中保存的图像而得到的对应关系来区分每一幅新图像在整个场景图中的位置。传输时只需传输新增加的部分图像以及这部分图像所对应的位置关系即可，减少了需要传输的信息量，降低了图像传输对信道的要求，也就减少了由于信道而造成的干扰。

进一步的，由于士兵移动时视角会不停变化，原先采集到的场景图可能是较远处的总体图，而新采集到的图像有可能就是走近后原场景图中局部的放大图。因而在进行图像拼接时，在考虑新图像与原先图像重合关系的同时，还需要对新图像进行缩放以适应场景图。因而，在设置对应关系时需要考虑缩放系数。否则，虽然也能够很快的完成原场景图中局部放大的图像的传输，但对于单兵***而言，这样的处理并没有必要。而且，可能由于局部放大图像的局限性而影响指挥中心的判断。因而，在接收端，本方法通过缩放系数调整新采集的图像的大小，将其嵌入至原先的场景图当中。达到高速传输图像的目的。

更进一步，当摄像端采集到的图像信息只是对当前场景图进行缩放，不包含新信息时，摄像端就可以只传输对应的位置和缩放系数信息，由接收端根据自身场景图中对应位置的图像进行缩放。这样的处理可以更进一步减少传输的信息量，减少信息传输而造成的延时以及所受的信道干扰。

本发明所述方法中，图像的采集和传输显示同步进行，这样可以进一步加快图像传输的效率，降低延时。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明所述图像传输方法的流程图；

图2为本发明中拼接的过程的示意图；

图3为图像传输过程中将取景框中图像拼接为完整的场景图的示意图；

图4为本发明所述单兵***的结构图；

图5位本发明实际实用的效果示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明的方法流程图。本发明所述图像传输方法在传输过程中，充分利用单兵***应用场景图中存在大量固定不变的特征的特点，只针对性地传输场景中新出现的部分，同时通过对比新采集到的图像在原场景图中所对应的位置和缩放关系来更新接收端场景图，减少需要通过信道传输的数据量。具体传输步骤如下：

步骤1，初始化，在摄像端和接收端分别各设置一个场景图，分别为摄像端场景图和接收端场景图，两个场景图大小相同，且两个场景图对应区域范围均超过摄像头单次取景区域范围；

步骤2，摄像端进行首次图像采集，并用采集到的图像同时更新摄像端场景图和接收端场景图中的对应区域；

步骤3，摄像端移动位置并进行新一轮图像采集，摄像端将新采集到的图像与摄像端场景图进行对比，剔除新采集到的图像中与摄像端场景图相重叠的部分，得到待传输图像，同时计算待传输图像在摄像端场景图中所对应的位置和缩放系数；摄像端将待传输图像、待传输图像的位置和缩放系数一并传输至接收端；

步骤4，接收端接收摄像端传输来的信息，并根据缩放系数对接收到的待传输图像进行缩放，然后根据接收到的位置信息用缩放后的待传输图像更新接收端场景图中的对应区域；

步骤5，重复上述步骤3至步骤4，直至结束图像传输。

由于在图4所示的单兵***由指挥中心，指挥机和多名士兵组成。指挥机和士兵都装有摄像头和显示器。指挥机和士兵之间用无线通道连接。指挥机把自身摄像头或卫星摄像头看到的场景送到相关士兵，而士兵把自己看到的场景送给指挥机。指挥机根据各士兵看到的场景及作战需要，下达命令给相关士兵。士兵根据指挥中心送来的场景图和命令攻击目标。安装在士兵的头盔上的摄像头会随着士兵行动而移动并拍摄现场场景，同时将现场场景反馈给后方的指挥中心。由于士兵所处的环境场景存在许多固定不变的特征，常规的图像传输方法由于没有考虑到应用环境的这一特征，通常需要传输大量的无用信息。本发明所述传输方法只针对性地传输环境场景中新出现的部分，因而大大减小了传输的信息量，通过接收端的拼接处理，将环境场景中新出现的部分及时显示到整体的场景图中。进而在保证图像清晰度的同时降低传输图像所需的信道要求，缩短图像传输需经历的延时时间。

由于，士兵移动时视角会不停变化，原先采集到的场景图可能是较远处的总体图，而新采集到的图像有可能就是走近后原场景图中局部的放大图。因而在进行图像拼接时，在考虑新图像与原先图像重合关系的同时，还需要对新图像进行缩放以适应场景图。当新采集到的图像与摄像端场景图对比，两者完全重叠，仅存在缩放系数的区别时，也就是说，原先接收端场景图中就保留有新采集的图像的全部特征信息。这种情况下，为了及时更新智慧中心所显示的士兵视角，此时仅仅根据接收端自身场景图，对接收端场景图相应区域进行对应缩放即可。

因此，步骤3中，如果新采集到的图像与摄像端场景图对比，两者完全重叠，仅存在缩放系数的区别时，摄像端将新采集到的图像对应的位置和缩放系数一并传输至接收端；

步骤4中，如果接收端只接收到位置和缩放系数信息而没有待传输图像信息，接收端则根据缩放系数对接收端场景图中对应位置的图像进行缩放。

本方法中，在摄像端进行新一轮图像采集的同时，接收端接收摄像端在上一轮图像采集中计算得到的待传输图像、待传输图像的位置和缩放系数信息，并根据这些信息更新接收端场景图。摄像端和接收端分别同步进行图像采集传输与图像拼接还原。

图2所示，用几何图案代替作战环境显示出本方法具体的拼接过程。开始时摄像端和接收端的场景图是空白的，当第一幅取景框内的图像到达时，摄像端和接收端的场景图中都没有这部分图像。于是，这部分图像在摄像端的场景图中更新，并被送到接收端做同样的更新。摄像头从原来的位置往上移动了一定距离，取景框内的图像有一部分是场景图中已经存在的图像，有一部分是新的图像。在摄像端的场景中找到这部分存在的图像后，把坐标和缩放系数送到接收端。接收端按坐标和区间参数把场景图中的这部分图像作为取景框的图像显示。在这个示意图中，如果采集的新图像在场景图中所占的大小比例没有改变，就不需要缩小或放大。随着摄像头移动，取景框逐渐采集到全部场景的图像，最终拼接为整个场景的图像。拼接完的图像如图2所示。图3中的虚线框就是每次移动摄像头取景框的范围。

本方法首先在摄像端和接收端分别设置一个比摄像头取景框大得多的场景图，这两个场景图随摄像头的移动在摄像端和接收端同时更新，保持同步。当摄像头移动时，摄像端的场景图中首先呈现现在摄像头取景框内的图像，通过计算出摄像端取景框内所采集的新图像在场景图中的坐标和放大或缩小系数，把这些参数连同带有新特征的图像信息（即待传输图像信息）送到接收端，接收端根据这些参数把取景框移动到接收端场景图中的相应位置，并将相应部分的图像按照参数放大或缩小后拼接至接收端场景图中进行更新。

也就是说，如果在摄像端的场景图中找不到取景框内的图像，或者有部分新的物体，这部分图像将被直接传输到接收端。接收端用这部分新的图像，按照坐标和区域更新接收端场景图的相应部分的图像。但是，如果摄像端所采集的新图像中所有的特征信息都已经包含在接收端的场景图内的话，接收端只需要将自身场景图相应部分进行放大或缩小即可保持与摄像端的同步。通过这种拼接与计算可以大大减少***传输的数据量，从而使得本发明具有图像传输延时短、传输所受干扰小的优势。在同样的信道条件下，使用本方法的单兵***可以传输更多信息，从而可以提高***分辨率。图5就显示了本发明所述传输方法实际使用中所达到的效果。

本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于单兵***的超短延时图像传输方法，其特征在于，图像传输的具体步骤如下：

步骤1，初始化，在摄像端和接收端分别各设置一个场景图，分别为摄像端场景图和接收端场景图，两个场景图大小相同，且两个场景图对应区域范围均超过摄像头单次取景区域范围；

步骤2，摄像端进行首次图像采集，并用采集到的图像同时更新摄像端场景图和接收端场景图中的对应区域；

步骤3，摄像端移动位置并进行新一轮图像采集，摄像端将新采集到的图像与摄像端场景图进行对比，剔除新采集到的图像中与摄像端场景图相重叠的部分，得到待传输图像，同时计算待传输图像在摄像端场景图中所对应的位置和缩放系数；摄像端将待传输图像、待传输图像的位置和缩放系数一并传输至接收端；

步骤4，接收端接收摄像端传输来的信息，并根据缩放系数对接收到的待传输图像进行缩放，然后根据接收到的位置信息用缩放后的待传输图像更新接收端场景图中的对应区域；

步骤5，重复上述步骤3至步骤4，直至结束图像传输。

2.根据权利要求1所述的用于单兵***的超短延时图像传输方法，其特征在于，步骤3中，如果新采集到的图像与摄像端场景图对比，两者完全重叠，仅存在缩放系数的区别时，摄像端将新采集到的图像对应的位置和缩放系数一并传输至接收端；

步骤4中，如果接收端只接收到位置和缩放系数信息而没有待传输图像信息，接收端则根据缩放系数对接收端场景图中对应位置的图像进行缩放。

3.根据权利要求1所述的用于单兵***的超短延时图像传输方法，其特征在于，在摄像端进行新一轮图像采集的同时，接收端接收摄像端在上一轮图像采集中计算得到的待传输图像、待传输图像的位置和缩放系数信息，并根据这些信息更新接收端场景图。