CN107005714B - 图像处理方法与设备 - Google Patents

图像处理方法与设备 Download PDF

Info

Publication number
CN107005714B
CN107005714B CN201680003470.0A CN201680003470A CN107005714B CN 107005714 B CN107005714 B CN 107005714B CN 201680003470 A CN201680003470 A CN 201680003470A CN 107005714 B CN107005714 B CN 107005714B
Authority
CN
China
Prior art keywords
transmitting terminal
frame
picture frame
picture
coded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680003470.0A
Other languages
English (en)
Other versions
CN107005714A (zh
Inventor
朱磊
龚明
马宁
范伟
崔浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN201910300151.1A priority Critical patent/CN109936746B/zh
Publication of CN107005714A publication Critical patent/CN107005714A/zh
Application granted granted Critical
Publication of CN107005714B publication Critical patent/CN107005714B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像处理方法与设备。所述图像处理方法包括：接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述发送端发送的图像帧的接收状态；获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；向所述接收端发送所述第一图像帧的编码数据，可以提高信道利用率。

Description

图像处理方法与设备
技术领域
本发明涉及图像处理领域，并且更具体地，涉及一种图像处理方法与设备。
背景技术
低延时图像数据传输是当下的研究热点。图像数据传输过程中会发生传输错误，例如发生丢包或者数据错误，导致接收端解码出错。
目前，针对上述技术问题的解决方案为发送端向接收端周期性发送帧内编码数据，这样，无论何时发生数据传输错误，接收端都可以根据接收到帧内编码数据进行错误恢复。
但是，上述现有技术在数据传输正确的情况下，发送端也可能向接收端发送帧内编码数据，会造成信道带宽的浪费，降低信道利用率。
发明内容
本发明实施例提供一种图像处理方法与设备，能够有效提高信道利用率。
第一方面，提供一种在接收端中的图像处理方法，所述图像处理方法包括：检测发送端发送的图像帧是否接收错误；在至少检测到接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误。
第二方面，提供一种在发送端中的图像处理方法，所述图像处理方法包括：接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述发送端发送的图像帧的接收状态；获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；向所述接收端发送所述第一图像帧的编码数据。
第三方面，提供一种图像处理设备，所述图像处理设备包括：检测模块，用于检测发送端发送的图像帧是否接收错误；发送模块，用于在至少检测到接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误。
第四方面，提供一种图像处理设备，所述图像处理设备包括：接收模块，用于接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述图像处理设备发送的图像帧的接收状态；获取模块，用于获取第一图像帧；生成模块，用于当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；发送模块，用于向所述接收端发送所述第一图像帧的编码数据。
第五方面，提供一种图像处理设备，所述图像处理设备包括：处理器、存储器、接收器和发送器，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，该指令被执行时，处理器用于，检测发送端发送的图像帧是否接收错误；发送器用于，在至少检测到接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误。
第六方面，提供一种图像处理设备，所述图像处理设备包括：处理器、存储器、接收器和发送器。该存储器用于存储指令，该处理器用于执行该存储器存储的指令，以控制接收器接收信号，并控制发送器发送信号，当该指令被执行时，接收器用于，接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述图像处理设备发送的图像帧的接收状态；处理器用于，获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；发送器用于，向所述接收端发送所述第一图像帧的编码数据。
在本发明实施例中，在发送端向接收端发送图像帧的编码数据的过程中，接收端在检测到接收错误时，向发送端发送用于指示接收错误的反馈信息，可以使得发送端及时获知到已经发送的图像帧的接收状态为接收错误。发送端只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的示意性流程图。
图2为本发明实施例提供的图像处理方法的另一示意性流程图。
图3为容错帧组的示意图。
图4为本发明实施例提供的图像处理方法的再一示意性流程图。
图5为本发明实施例提供的图像处理方法的再一示意性流程图。
图6为本发明实施例提供的图像处理方法的再一示意性流程图。
图7为本发明实施例提供的图像处理设备的示意性框图。
图8为本发明实施例提供的图像处理设备的另一示意性框图。
图9为本发明实施例提供的图像处理设备的再一示意性框图。
图10为本发明实施例提供的图像处理设备的再一示意性框图。
图11为本发明实施例提供的无人机的示意性框图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行描述。
本发明实施例中的发送端用于向接收端发送图像帧的编码数据。
图1为本发明实施例提供的在接收端中的图像处理方法100的示意性流程图，该图像处理方法100包括：
110，检测发送端发送的图像帧是否接收错误。
具体地，本发明实施例中提及的接收错误包括数据丢失与数据校验错误两种情况。例如，图像帧A的编码数据对应的数据包在传输过程中发生丢包，则认为该图像帧A的接收状态为接收错误。再例如，图像帧A的编码数据对应的数据包中的数据(Data)的计算校验值与该数据包携带的校验码不一致，则认为该图像帧A的接收状态为接收错误。
120，在至少检测到接收错误时，向该发送端发送第一反馈信息，该第一反馈信息用于指示该发送端发送的图像帧接收错误。
应理解，发送端接收到该第一反馈信息后，能够获知接收端在发送该第一反馈信息之前接收到的图像帧的接收状态为接收错误。
在本发明实施例中，在发送端向接收端发送图像帧的编码数据的过程中，接收端在检测到接收错误时，向发送端发送用于指示接收错误的反馈信息，可以使得发送端及时获知到已经发送的图像帧的接收状态为接收错误，以便于发送端采取对应的措施进行错误恢复，从而可以在一定程度上保证图像帧的传输可靠性。
具体地，本发明实施例中的发送端可以为搭载有摄像设备的可移动物体，该可移动物体可为无人机(Unmanned Aerial Vehicle，UAV)，或无人汽车、可移动机器人等。这些可移动物体可以通过设置云台来搭载摄像设备。接收端可以是遥控器或者安装有控制发送端的APP(应用程序，Application)的终端设备，例如，智能手机、平板电脑等。发送端可以通过无线链路将图像帧传回到接收端。接收端在接收到发送端发送的图像帧之前，已经与发送端或者直接与发送端上的摄像设备建立了通信链路。
接收端发送端接收端接收端可选地，在一些实施例中，120向发送端发送第一反馈信息，包括：
当检测到对该发送端发送的图像帧接收错误时，向该发送端发送该第一反馈信息。
在本发明实施例中，接收端一旦发现接收到的图像帧发生接收错误，立即向发送端发送用于指示接收错误的反馈信息，通过及时向发送端反馈接收错误，以便于发送端及时采取错误恢复的措施，从而保证图像帧的传输可靠性。
可选地，在一些实施例中，120向发送端发送第一反馈信息，包括：
在至少检测到对该发送端发送的图像帧接收错误，且距离该检测到接收错误达到第一预置时长时，向该发送端发送该第一反馈信息。
具体地，该第一预置时长可以是***预配置的，也可以是根据具体需求实时确定的。
在本发明实施例中，接收端发现接收到的图像帧发生接收错误时，等待一个预置时长，再向发送端发送用于指示接收错误的反馈信息。
可选地，在一些实施例中，该第一预置时长是不变的或者是可变的。
可选地，在一些实施例中，120向发送端发送第一反馈信息，包括：
在至少检测到对该发送端发送的图像帧接收错误，距离该检测到接收错误达到该第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向该发送端发送该第一反馈信息。
具体地，该第二预置时长是不变的或者是可变的。
具体地，接收端发现接收到的图像帧发生接收错误时，等待一段时间再向发送端发送第一反馈信息，且等待的时间段使得该第一反馈信息的发送时间与接收端最近一次向发送端发送反馈信息的发送时间的时间间隔为第二预置时长。
可选地，在一些实施例中，120向发送端发送第一反馈信息，包括：
在最近一次向该发送端发送反馈信息之后，当第一次检测到对该发送端发送的图像帧接收错误，且距离该第一次检测到接收错误达到该第一预置时长时，向该发送端发送该第一反馈信息。
具体地，在发送端与接收端传输图像帧的过程中，当接收端首次检测到接收的发送端发送的图像帧发生接收错误时，等待第一预置时长之后，在向发送端发送该第一反馈信息。
可选地，在一些实施例中，120向发送端发送第一反馈信息，包括：
当到达预置反馈时间时，向该发送端发送反馈信息，其中，当至少检测到接收错误时，该反馈信息为该第一反馈信息。
具体地，接收端每隔一定的反馈时间间隔向发送端发送反馈信息。发送端
其中，该反馈时间间隔可以是预先设置好的，也可以是根据实际情况确定的。其中，该反馈时间间隔可以是不变的或者可变的。
例如，该反馈时间间隔是预先设置好一直为预置时长固定不变的。又例如，可以根据经验预先设置好一天内不同的时段内分别对应的反馈时间间隔，并在每个时段内采用对应的反馈时间间隔发送反馈信息。又例如，可以根据经验预先设置好接收端所在的不同位置分别对应的反馈时间间隔，并根据当前接收端的所在位置采用该位置对应的反馈时间间隔。
又例如，在每隔一定周期，根据当前实际情况或者一定历史时长内的实际情况确定一个新的时间间隔，并在该周期内采用该新的时间间隔作为反馈时间间隔，其中，该周期可以是固定的或者可变的，其中，该一定历史时长可以是前一个或前几个反馈间隔期间，也可以是前一个或前几个周期。又例如，接收端每发送完一个反馈信息，即根据当前实际情况或者一定历史时长内的实际情况确定发送下一个反馈信息的时间，其中，该一定历史时长可以是前一个反馈间隔期间或前几个反馈间隔期间。
接收端其中，根据实际情况确定反馈时间间隔的方法有多种。
例如，在信道质量稳定的情况下，接收端可以采用较大的反馈时间间隔向发送端发送反馈信息，从而可以降低信道负担。在信道质量较差的情况下，接收端可以采用较小的反馈时间间隔向发送端发送反馈信息，可以保证图像帧的传输可靠性。
又例如，接收端在时间段1内采用反馈时间间隔1向发送端发送反馈信息，接收端在时间段1之后的时间段2内采用反馈时间间隔2向发送端发送反馈信息，反馈时间间隔1与反馈时间间隔2不同。具体地，时间段1与时间段2可以***预设或用户设置。
又例如，该反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；或者，当该发送端为无人机时，该反馈时间间隔是根据该发送端的姿态信息动态确定的。
其中，可以根据反馈信道负载确定该反馈时间间隔。例如，当反馈信道负载达到阈值时，调大该反馈时间间隔；当反馈信道负载小于阈值时，调小该反馈时间间隔。
其中，可以根据应用场景的错误恢复及时性需求确定该反馈时间间隔。例如，当前应用场景的错误恢复及时性需求为每发送5个图像帧的编码数据至少有3个是正确，实际传输过程中，若传输正确率达到3/5，则调大该反馈时间间隔，若传输正确率不到3/5，则调小该反馈时间间隔。
其中，可以根据历史数据传输状态确定该反馈时间间隔。例如在预设时间段内，当连续出现指示传输错误的反馈信息的个数小于第一预置数值时，或者在预设时间段内出现指示传输错误的反馈信息的总个数小于第二预置数值时，则可以调大该反馈时间间隔。在预设时间段内，当连续出现指示传输错误的反馈信息的个数不小于第一预置数值时，或者在预设时间段内出现指示传输错误的反馈信息的总个数不小于第二预置数值时，则可以调小该反馈时间间隔。
其中，当该发送端为可移动设备，例如，该发送端为无人飞行器时，还可以根据发送端的姿态信息确定该反馈时间间隔，其中该姿态信息包括但不限于三维位置、三维角度、三维速度、三维加速度和三维角速度。例如，当发送端的三维速度较大时，说明在发送端上捕获的图像画面的变化差异较大，可以调小该反馈时间间隔；例如，当发送端的三维速度较小时(例如为0)，说明在发送端上捕获的图像画面的变化差异较小(例如无差异)，可以调大该反馈时间间隔。
其中，发送端可以根据发送端中的传感***测量的姿态信息确定发送端的姿态信息。发送端的姿态信息可以包括下列信息中的至少一种：三维位置、三维角度、三维速度、三维加速度和三维角速度。发送端中的传感***可以包括下列器件中的至少一种：陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit，简称为“IMU”)、视觉传感器、全球定位***(Global Positioning System，简称为“GPS”)和气压计。
本发明实施例通过可变的反馈时间间隔，向发送端发送反馈信息，能在一定程度上降低信道负担。
可选地，作为一种实施例，该反馈时间间隔可以由发送端根据上述五个影响因素中的任一种或多种因素确定，然后由发送端向接收端发送该反馈时间间隔，该接收端根据接收到的反馈时间间隔向发送端发送反馈信息。
也就是说，接收端在每发出一个反馈信息之后，可以确定下一个反馈信息的发送时间(也即上文说的预置反馈时间)，当到达该预置反馈时间时，向发送端发送反馈信息。那么，本实施例中，接收端发送的反馈信息可以是第一反馈信息，也可以不是第一反馈信息，具体取决于接收端所检测到发送端发送的图像帧的接收情况。
可选地，作为一种实施例，该反馈时间间隔可以直接由接收端根据反馈信道负载、应用场景的错误恢复及时性需求与历史数据传输状态中的任一种或多种信息确定。
具体方法参见上文描述，这里不再赘述。
可选地，作为一种实施例，该反馈时间间隔可以由发送端与接收端协商确定。
具体地，接收端根据下列信息中的至少一种确定反馈时间间隔1：反馈信道负载、应用场景的错误恢复及时性需求与历史数据传输状态；该接收端接收发送端发送的反馈时间间隔2；该接收端根据反馈时间间隔1与反馈时间间隔2，确定最终的反馈时间间隔3。举例来说，假设接收端根据反馈信道的负载情况确定出反馈时间间隔为第一间隔，而接收端接收到的发送端根据发送端的姿态信息确定的反馈时间间隔为第二间隔。假设预先约定为，当第一间隔大于第二间隔时，接收端采用第二间隔作为反馈时间间隔。则当接收端确定的第一间隔大于发送端确定的第二间隔时，以第二间隔作为最终的反馈时间间隔。
在本发明实施例中，接收端通过采用可变的反馈时间间隔向发送端发送反馈信息，可以在一定程度上提高信道利用率。
接收端发送端发送端发送端可选地，在一些实施例中，在该预置反馈时间之前，在最近一次检测到对该发送端发送的图像帧接收错误之后，若未正确接收到该发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，该反馈信息为该第一反馈信息。
也就是说，在一些实施例中，在该预置反馈时间之前，在该接收端最近一次正确接收到该发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据之后，若检测到该发送端发送的图像帧接收错误，该反馈信息为该第一反馈信息。
具体地，接收端根据已经接收到的发送端发送的图像帧的编码数据，判断获知：在最近一次检测到发送端发送的图像帧接收错误之后，在发送该反馈信息之前，还未正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，基于上述判断结果，接收端生成用于指示接收错误的该第一反馈信息。
应理解，接收端生成用于指示接收错误的该第一反馈信息还包括以下情形：接收端检测到最新接收的发送端发送的图像帧发生接收错误，且该图像帧为发送端与接收端首次传输的图像帧，则生成用于指示接收错误的该第一反馈信息。
在一些实施例中，接收端存有反馈信息，接收端在任何时候检测到接收错误时，均会将反馈信息设置为用于指示接收错误，且只有在正确接收到采用预置错误恢复机制进行编码的图像帧的编码数据后，才将该反馈信息设置为用于指示正确，例如，当接收端检测到接受错误时，将该反馈信息设置为携带1，只有在正确接收到采用预置错误恢复机制进行编码的图像帧的编码数据后，才将该反馈信息设置为携带0。当到达预置反馈时间时，接收端将当前所存的反馈信息发送给发送端。
而发送端在接收到用于指示接收错误的反馈信息后，会对当前待发送的图像帧采用预置错误恢复机制(例如容错帧机制或容错帧组机制)进行编码，接收端接收到采用预置错误恢复机制进行编码的图像帧，可以对后续待解码的图像帧进行错误恢复，从而可以保证发送端与接收端之间传输图像帧的可靠性。
应理解，该预置错误恢复机制指的是能够使得接收端根据采用该机制编码得到的图像帧的编码数据就能获得该图像帧的正确的解码数据的编码机制。
可选地，在一些实施例中，在120向该发送端发送第一反馈信息之后，该图像处理方法100还包括：
在该预置反馈时间的下一个预置反馈时间之前，若还未正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，在该下一个预置反馈时间向该发送端发送该第一反馈信息。
具体地，在本发明实施例中，接收端在一个反馈时间点(例如t1)向发送端发送用于指示接收错误的第一反馈信息之后，在下一个反馈时间点(例如t2)之前，还未正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，则继续在该下一个反馈时间点(例如t2)向发送端发送用于指示接收错误的第一反馈信息，以此类推，直到正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，才会在对应的反馈时间点向发送端发送用于指示接收正确的反馈信息。
本发明实施例能够提高图像帧的传输可靠性。
可选地，在一些实施例中，在该预置反馈时间之前，在最近一次检测到该发送端发送的图像帧接收错误之后，若正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，该反馈信息为第二反馈信息，该第二反馈信息用于指示对该发送端发送的图像帧接收正确。
具体地，接收端根据已经接收到的发送端发送的图像帧的接收状态，判断获知：在最近一次检测到发送端发送的图像帧接收错误之后，在发送该反馈信息之前，已经正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据；接收端基于上述判断结果，生成用于指示接收正确的该第二反馈信息。
应理解，接收端生成用于指示接收正确的该第二反馈信息还包括以下两种情形：
1)接收端最新接收的发送端发送的图像帧为正确接收的根据预置错误恢复机制进行编码的图像帧，且该图像帧为发送端与接收端首次传输的图像帧，则生成用于指示接收正确的反馈信息，即设置该反馈信息用于指示接收正确。
2)接收端检测到最新接收的发送端发送的图像帧为正确接收的采用帧间编码方式编码的图像帧，但是，发送端与接收端首次传输的图像帧为正确接收的根据预置错误恢复机制进行编码的图像帧，且在该首次传输的图像帧之后，在该最新接收的图像帧之前，在这期间，发送端与设备设备传输的图像帧未发生接收错误，则生成用于指示接收正确的反馈信息，即设置该反馈信息指示接收正确。
当该反馈信息指示接收正确时，该图像处理方还包括：接收该发送端发送的该第一图像帧的帧间编码数据。
具体地，发送端根据该反馈信息，获知接收端在发送该反馈信息之前接收到的发送端发送的图像帧的接收状态为接收正确，在这种情况下，发送端对第一图像帧进行帧间编码，生成该第一图像帧的帧间编码数据，然后向接收端发送第一图像帧的帧间编码数据。
需要说明的是，本发明实施例中提及的接收正确指的是传输的数据既未发生数据丢失也未发生数据错误。例如，图像帧A的编码数据对应的数据包在传输过程中未发生丢包，且该数据包中的数据的计算校验值与该数据包中携带的校验码一致，则认为图像帧A接收正确。
在本发明实施例中，接收端在任何时候检测到接收错误时，均会将反馈信息设置为用于指示接收错误，且只有在正确接收到采用预置错误恢复机制进行编码的图像帧的编码数据后，才将该反馈信息设置为用于指示正确；而发送端在接收到用于指示接收错误的反馈信息后，会对当前待发送的图像帧采用预置错误恢复机制(例如容错帧机制或容错帧组机制)进行编码，接收端接收到采用预置错误恢复机制进行编码的图像帧，可以对后续待解码的图像帧进行错误恢复，从而可以保证发送端与接收端之间传输图像帧的可靠性。
需要说明的是，接收端每接收到一个图像帧的编码数据，均会检测其接收状态，并根据该接收状态，实时更新反馈信息。
具体地，在发送端与接收端传输图像帧的编码数据的过程中，当接收端首次检测到发送端发送的图像帧发生接收错误时，则将反馈信息设置为用于指示结束错误。后续过程中，该反馈信息会一直维持用于指示接收错误，直到接收端判断获知到，在最近一次检测到发送端发送的图像帧发生接收错误之后，已经正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，才将该反馈信息设置为用于指示接收正确。
应理解，在该反馈信息由被设置为用于指示接收错误变换为被设置为用于指示接收正确的过程中，可能包括以下方案：接收端最新接收的图像帧接收正确，但是，该图像帧没有采用预置错误恢复机制进行编码，即在接收端最近一次检测到发送端发送的图像帧发生接收错误之后，还未正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，这种情况下，继续维持将该反馈信息设置为用于指示接收错误。
可选地，在一些实施例中，该反馈信息可以携带标识，当该标识为第一标识，则该反馈信息指示接收错误(对应于上述实施例中的第一反馈信息)，当该标识为第二标识，则该反馈信息指示接收正确(对应于上述实施例中的第二反馈信息)。
具体地，当接收端根据已经接收到图像帧的接收状态判断获知，在最近一次检测到发送端发送的图像帧接收错误之后，还未正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，则将反馈信息中携带的标识设置为该第一标识，即该反馈信息用于指示接收错误。当接收端根据已经接收到图像帧的接收状态判断获知，在最近一次检测到发送端发送的图像帧接收错误之后，已经正确接收到发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，则将反馈信息中携带的标识设置为该第二标识，即该反馈信息用于指示接收正确。
可选地，在一些实施例中，如图2所示，在120向该发送端发送第一反馈信息之后，该图像处理方法100还包括：
130，接收该发送端发送的第一图像帧的编码数据，该第一图像帧的编码数据是根据预置错误恢复机制编码得到的。
具体地，该第一图像帧的编码数据是该发送端根据预置错误恢复机制对该第一图像帧进行编码得到的。
应理解，该预置错误恢复机制指的是能够使得解码端(对应本发明实施例中的接收端)仅凭编码数据就能获得对应的完整的原始数据(编码之前的数据)的编码机制。可选地，该预置错误恢复机制可以是容错帧错误恢复机制或容错帧组错误恢复机制，或者其他可行的错误恢复机制，本发明实施例对此不作限定。下文将描述容错帧错误恢复机制或容错帧组错误恢复机制，这里先不作描述。
可选地，当该反馈信息指示接收错误时，接收该发送端发送的根据预置错误恢复机制处理得到的第一图像帧的编码数据，该第一图像帧的编码数据至少包括该第一图像帧的局部画幅的帧内编码数据。
需要说明的是，本发明实施例中提及的图像帧的画幅指的是图像帧的画面大小，与图像帧的数据信息无关。假设将一个图像帧的画面划分为5块，则这5块中的任一块称为该图像帧的局部画幅，这5个局部画幅构成图像帧的完整画幅。
现有技术中，发送端周期性向接收端发送帧内编码数据，则可能会出现，在图像帧接收正确(对应于信道质量稳定)的情况下，在信道上传输帧内编码数据。应理解，帧内编码压缩率较低，帧内编码数据的码率较高，不必要的帧内编码数据的传输会造成信道资源的浪费，降低信道利用率。
在本发明实施例中，在反馈信息指示图像帧接收正确的情况下，向接收端发送当前图像帧的帧间编码数据；在反馈信息指示图像帧接收错误的情况下，向接收端发送当前图像帧的帧内编码数据。换句话说，本发明实施例只有在发生数据传输错误的情况下，才采用帧内编码方式进行编码，相对于现有技术，能够有效提高信道利用率。应理解，本发明实施例通过在数据传输错误的情况下发送帧内编码数据，能够防止错误扩散，即实现错误恢复。
可选地，在一些实施例中，该第一图像帧的编码数据包括该第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
在接收到该发送端发送的该第一图像帧的编码数据之后，该图像处理方法还包括：
当接收该发送端发送的M个图像帧的编码数据时，确定正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据；
其中，该M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括该M个图像帧与该第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
具体地，如图3所示，假设图3中所示的图像帧①为第一图像帧，图3中所示的图像帧②与③为该M个图像帧(即M等于2)。图像帧①、图像帧②与图像帧③的编码以及发送流程如下：Step1，对图像帧①的局部画幅Ⅰ进行帧内编码，得到对应的帧内编码数据，对图像帧①的局部画幅Ⅱ与局部画幅Ⅲ进行帧间编码，得到对应的帧间编码数据。应理解，可以将局部画幅Ⅱ与局部画幅Ⅲ看成整体来进行帧间编码，也可以分别对局部画幅Ⅱ与局部画幅Ⅲ进行帧间编码，本发明实施例对此不作限定。Step2，向接收端发送该图像帧①的局部画幅Ⅰ的帧内编码数据与局部画幅Ⅱ与局部画幅Ⅲ的帧间编码数据。Step3，对图像帧②的局部画幅Ⅱ进行帧内编码，得到对应的帧内编码数据，对图像帧②的局部画幅Ⅰ与局部画幅Ⅲ进行帧间编码，得到对应的帧间编码数据。Step4，向接收端发送该图像帧②的局部画幅Ⅱ的帧内编码数据与局部画幅Ⅰ与局部画幅Ⅲ的帧间编码数据。Step5，对图像帧③的局部画幅Ⅲ进行帧内编码，得到对应的帧内编码数据，对图像帧②的局部画幅Ⅰ与局部画幅Ⅱ进行帧间编码，得到对应的帧间编码数据。Step6，向接收端发送该图像帧③的局部画幅Ⅲ的帧内编码数据与局部画幅Ⅰ与局部画幅Ⅱ的帧间编码数据。
上述步骤Step3和Step5也可以在Step2之前执行。
需注意的是，本文中提到的局部画幅指的是一个画幅中的局部区域。从图3可知，图像帧①、图像帧②与图像帧③中进行帧内编码的局部画幅彼此都不相同，但图像帧①、图像帧②与图像帧③中进行帧内编码的局部画幅的总和(局部画幅Ⅰ、Ⅱ与Ⅲ)构成一个完整画幅。
应理解，当接收端正确接收到图像帧①、图像帧②与图像帧③的编码数据后，可以分别获得图像帧①的局部画幅Ⅰ上的完整数据、图像帧②的局部画幅Ⅱ上的完整数据、图像帧③的局部画幅Ⅲ上的完整数据，从而可以该三个局部画幅上的完整数据作为后续进行帧间解码时的参考数据。
应理解，图3仅为示例而非限定，实际应用中，可以根据具体需求，对图像帧按照任意可行方式进行局部画幅的划分，本发明实施例对此不作限定。
在本发明实施例中，通过发送第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，能够提高信道利用率。
图3所示的图像帧①、图像帧②与图像帧③可以称为容错帧组。
应理解，本发明实施例中的第一图像帧的编码数据与M个图像帧的编码数据可以称为容错帧组。本实施例中的编码机制可以称为容错帧组错误恢复机制。
可选地，在一些实施例中，该第一图像帧的编码数据包括该第一图像帧的整个画幅的帧内编码数据。
应理解，本发明实施例中的第一图像帧的编码数据包括第一图像帧的整个画幅的帧内编码数据，该第一图像帧的编码数据可以被称为容错帧。本实施例中的编码机制可以称为容错帧错误恢复机制。
可选地，在一些实施例中，在该110检测发送端发送的图像帧是否接收错误之前，该图像处理方法还包括：
接收该发送端发送的数据包，该数据包是该发送端对第二图像帧的编码数据进行打包处理后的得到的，其中，该数据包包括包序号和/或校验码；
该检测发送端发送的图像帧是否接收错误，包括：
根据该包序号和/或校验码检测发送端发送的图像帧是否接收错误。
具体地，在实时传输协议(Real-time Transport Protocol，简称为“RTP”)中，包序号是RTP包序号；在传输控制协议/因特网互联协议(Transmission Control Protocol/Internet Protocol，简称为“TCP/IP”)中，包序号是IP包序号。校验码可以为循环冗余校验(Cyclic Redundancy Check，CRC)校验码，也可以为其他校验码。
具体地，接收端根据接收到的数据包的包序号是否连续检测是否发生数据丢失，若包序号不连续，表明发生数据丢失，接收端以此判断接收的图像帧发生接收错误。或者，接收端根据数据包中携带的校验码检测是否发生数据错误，若数据包中的数据的校验值与该数据包中携带的校验码不一致，表明发生数据错误，接收端以此判断接收的图像帧发生接收错误。
可选地，在本发明实施例中，该数据包的包序号可以与对应图像帧的帧号具有对应关系。
综上所述，在本发明实施例中，在发送端向接收端发送图像帧的编码数据的过程中，只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，发送端才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
上文从接收端的角度描述了本发明实施例提供的图像处理方法，下文从发送端的角度描述本发明实施例提供的图像处理方法。
图4为本发明实施例提供的在发送端中的图像处理方法200的示意性流程图，该图像处理方法200包括：
210，接收接收端发送的反馈信息，该反馈信息用于指示该接收端在发送该反馈信息之前，接收到的该发送端发送的图像帧的接收状态。
具体地，发送端接收到该反馈信息后，能够获知接收端在发送该反馈信息之前接收到的发送端发送的图像帧的接收状态。
应理解，步骤210对应于上文所述实施例中的步骤120。
220，获取第一图像帧。
具体地，该第一图像帧可以指示发送端当前待编码发送的图像帧。
230，当该反馈信息指示接收错误时，根据预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据。
应理解，该预置错误恢复机制指的是能够使得接收端能够根据采用该机制编码得到的编码数据就能获得对应的正确的解码数据的编码机制。可选地，该预置错误恢复机制可以是容错帧错误恢复机制或容错帧组错误恢复机制，或者其他可行的错误恢复机制，本发明实施例对此不作限定。
240，向该接收端发送该第一图像帧的编码数据。
应理解，步骤240对应于上文所述实施例中的步骤130。
在本发明实施例中，在发送端向接收端发送图像帧的编码数据的过程中，只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，发送端才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
具体地，本发明实施例中的发送端可以为搭载有摄像设备的可移动物体，该可移动物体可为无人机(Unmanned Aerial Vehicle，UAV)，或无人汽车、可移动机器人等。这些可移动物体可以通过设置云台来搭载摄像设备。接收端可以是遥控器或者安装有控制发送端的APP(应用程序，Application)的终端设备，例如，智能手机、平板电脑等。发送端可以通过无线链路将图像帧传回到接收端。接收端在接收到发送端发送的图像帧之前，已经与发送端或者直接与发送端上的摄像设备建立了通信链路。发送端接收端发送端接收端接收端
具体地，在步骤230中，当该反馈信息指示接收错误时，根据预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据，该第一图像帧的编码数据至少包括该第一图像帧的局部画幅的帧内编码数据。
需要说明的是，本发明实施例中提及的图像帧的画幅指的是图像帧的画面大小，与图像帧的数据信息无关。假设将一个图像帧的画面划分为5块，则这5块中的任一块称为该图像帧的局部画幅，这5个局部画幅构成图像帧的完整画幅。
可选地，在一些实施例中，该第一图像帧的编码数据包括该第一图像帧的整个画幅的帧内编码数据。
在本发明实施例中，只有在反馈信息指示图像帧接收错误的情况下，向接收端发送当前图像帧的帧内编码数据。换句话说，本发明实施例只有在发生数据传输错误的情况下，才采用帧内编码方式进行编码，相对于现有技术，能够有效提高信道利用率。应理解，本发明实施例通过在数据传输错误的情况下发送帧内编码数据，能够防止错误扩散，即实现错误恢复。
应理解，本发明实施例中的第一图像帧的编码数据包括第一图像帧的整个画幅的帧内编码数据，该第一图像帧的编码数据可以被称为容错帧。本实施例中的编码机制可以称为容错帧错误恢复机制。
可选地，在一些实施例中，该第一图像帧的编码数据包括该第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，
在240向该接收端发送该第一图像帧的编码数据之后，该图像处理方法还包括：向该接收端发送M个图像帧的编码数据，该M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括该M个图像帧与该第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
具体描述请参见上文结合图4的描述，这里不再赘述。
在本发明实施例中，通过发送第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，能够提高信道利用率。
应理解，本发明实施例中的第一图像帧的编码数据与M个图像帧的编码数据可以称为容错帧组。本实施例中的编码机制可以称为容错帧组错误恢复机制。
可选地，如图5所示，在一些实施例中，210接收接收端发送的反馈信息，包括：
211，接收该接收端按照反馈时间间隔发送的该反馈信息，该反馈时间间隔表示该接收端相邻两次发送的反馈信息之间的发送时间间隔。
具体地，接收端在第一时间向发送端发送该反馈信息，该第一时间与接收端前一次向发送端发送反馈信息的第二时间之间的间隔为该反馈时间间隔。
可选地，在接收端按照反馈时间间隔向该发送端发送该反馈信息的实施例中，该反馈时间间隔可以可以是不变的或者可变的。
例如，该反馈时间间隔是预先设置好一直为预置时长固定不变的。又例如，可以根据经验预先设置好一天内不同的时段内分别对应的反馈时间间隔，并在每个时段内采用对应的反馈时间间隔发送反馈信息。又例如，可以根据经验预先设置好接收端所在的不同位置分别对应的反馈时间间隔，并根据当前接收端的所在位置采用该位置对应的反馈时间间隔。
又例如，在每隔一定周期，根据当前实际情况或者一定历史时长内的实际情况确定一个新的时间间隔，并在该周期内采用该新的时间间隔作为反馈时间间隔，其中，该周期可以是固定的或者可变的，其中，该一定历史时长可以是前一个或前几个反馈间隔期间，也可以是前一个或前几个周期。又例如，接收端每发送完一个反馈信息，即根据当前实际情况或者一定历史时长内的实际情况确定发送下一个反馈信息的时间，其中，该一定历史时长可以是前一个反馈间隔期间或前几个反馈间隔期间。
其中，根据实际情况确定反馈时间间隔的方法有多种。
例如，在信道质量稳定的情况下，接收端可以采用较大的反馈时间间隔向发送端发送反馈信息，从而可以降低信道负担。在信道质量较差的情况下，接收端可以采用较小的反馈时间间隔向发送端发送反馈信息，可以保证图像帧的传输可靠性。
又例如，接收端在时间段1内采用反馈时间间隔1向发送端发送反馈信息，接收端在时间段1之后的时间段2内采用反馈时间间隔2向发送端发送反馈信息，反馈时间间隔1与反馈时间间隔2不同。具体地，时间段1与时间段2可以***预设或用户设置。
又例如，该反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；或者，当该发送端为无人机时，该反馈时间间隔是根据该发送端的姿态信息动态确定的。
其中，可以根据反馈信道负载确定该反馈时间间隔。例如，当反馈信道负载达到阈值时，调大该反馈时间间隔；当反馈信道负载小于阈值时，调小该反馈时间间隔。
其中，可以根据应用场景的错误恢复及时性需求确定该反馈时间间隔。例如，当前应用场景的错误恢复及时性需求为每发送5个图像帧的编码数据至少有3个是正确，实际传输过程中，若传输正确率达到3/5，则调大该反馈时间间隔，若传输正确率不到3/5，则调小该反馈时间间隔。
其中，可以根据历史数据传输状态确定该反馈时间间隔。例如在预设时间段内，当连续出现指示传输错误的反馈信息的个数小于第一预置数值时，或者在预设时间段内出现指示传输错误的反馈信息的总个数小于第二预置数值时，则可以调大该反馈时间间隔。在预设时间段内，当连续出现指示传输错误的反馈信息的个数不小于第一预置数值时，或者在预设时间段内出现指示传输错误的反馈信息的总个数不小于第二预置数值时，则可以调小该反馈时间间隔。
其中，当该发送端为可移动设备，例如，该发送端为无人飞行器时，还可以根据发送端的姿态信息确定该反馈时间间隔，其中该姿态信息包括但不限于三维位置、三维角度、三维速度、三维加速度和三维角速度。例如，当发送端的三维速度较大时，说明在发送端上捕获的图像画面的变化差异较大，可以调小该反馈时间间隔；例如，当发送端的三维速度较小时(例如为0)，说明在发送端上捕获的图像画面的变化差异较小(例如无差异)，可以调大该反馈时间间隔。
其中，发送端可以根据发送端中的传感***测量的姿态信息确定发送端的姿态信息。发送端的姿态信息可以包括下列信息中的至少一种：三维位置、三维角度、三维速度、三维加速度和三维角速度。发送端中的传感***可以包括下列器件中的至少一种：陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit，简称为“IMU”)、视觉传感器、全球定位***(Global Positioning System，简称为“GPS”)和气压计。
本发明实施例通过可变的反馈时间间隔，向发送端发送反馈信息，能在一定程度上降低信道负担。
可选地，作为一种实施例，该反馈时间间隔可以由发送端根据上述五个影响因素中的任一种或多种因素确定，然后由发送端向接收端发送该反馈时间间隔，该接收端根据接收到的反馈时间间隔向发送端发送反馈信息。
也就是说，接收端在每发出一个反馈信息之后，可以确定下一个反馈信息的发送时间(也即上文说的预置反馈时间)，当到达该预置反馈时间时，向发送端发送反馈信息。那么，本实施例中，接收端发送的反馈信息可以是第一反馈信息，也可以不是第一反馈信息，具体取决于接收端所检测到发送端发送的图像帧的接收情况。
可选地，作为一种实施例，该反馈时间间隔可以直接由接收端根据反馈信道负载、应用场景的错误恢复及时性需求与历史数据传输状态中的任一种或多种信息确定。
具体方法参见上文描述，这里不再赘述。
可选地，作为一种实施例，该反馈时间间隔可以由发送端与接收端协商确定。
具体地，接收端根据下列信息中的至少一种确定反馈时间间隔1：反馈信道负载、应用场景的错误恢复及时性需求与历史数据传输状态；该接收端接收发送端发送的反馈时间间隔2；该接收端根据反馈时间间隔1与反馈时间间隔2，确定最终的反馈时间间隔3。举例来说，假设接收端根据反馈信道的负载情况确定出反馈时间间隔为第一间隔，而接收端接收到的发送端根据发送端的姿态信息确定的反馈时间间隔为第二间隔。假设预先约定为，当第一间隔大于第二间隔时，接收端采用第二间隔作为反馈时间间隔。则当接收端确定的第一间隔大于发送端确定的第二间隔时，以第二间隔作为最终的反馈时间间隔。
在本发明实施例中，接收端通过采用可变的反馈时间间隔向发送端发送反馈信息，可以在一定程度上提高信道利用率。
可选地，如图5所述，在接收该接收端按照反馈时间间隔发送的该反馈信息的实施例中，230当该反馈信息指示接收错误时，根据预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据，包括：
231，当该反馈信息指示接收错误，且该第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于该反馈时间间隔时，根据该预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据，该第二图像帧为该发送端在获取该第一图像帧之前最近一次向该接收端发送的、根据该预置错误恢复机制编码的图像帧。
优选地，该第一图像帧的帧号与第二图像帧的帧号之间的间隔大于该反馈时间间隔与往返时延(Round Trip Time，RTT)的和。
应理解，该第一图像帧的帧号与第二图像帧的帧号之间的间隔反映了该第一图像帧的发送时间与该第二图像帧的发送时间的间隔。
在本发明实施例中，根据反馈时间间隔的长短，发送端可以采用保护措施，即相邻两次采用预置错误恢复机制进行编码的图像帧的发送时间的间隔大于接收端发送反馈信息的反馈时间间隔，可以避免发送不必要的帧内编码数据，从而能够有效避免上述造成信道资源浪费的情况发生，从而提高信道利用率。
在上述某些实施例中，当该反馈信息指示接收错误时，具体用于指示，该接收端在发送该反馈信息之前，在最近一次检测到该发送端发送的图像帧接收错误之后，未正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据。
具体地，如上文针对图2所示步骤111与步骤112的描述。
在本发明实施例中，接收端在任何时候检测到接收错误时，均会将反馈信息设置为用于指示接收错误，且只有在正确接收到采用预置错误恢复机制进行编码的图像帧的编码数据后，才将该反馈信息设置为用于指示正确；而发送端在接收到用于指示接收错误的反馈信息后，会对当前待发送的图像帧采用预置错误恢复机制(例如容错帧机制或容错帧组机制)进行编码，接收端接收到采用预置错误恢复机制进行编码的图像帧，可以对后续待解码的图像帧进行错误恢复，从而可以保证发送端与接收端之间传输图像帧的可靠性。
可选地，在一些实施例中，该图像处理方法200还包括：
当该反馈信息指示接收正确时，向该接收端发送该第一图像帧的帧间编码数据。
具体地，当该反馈信息指示接收正确时，具体用于指示，该接收端在发送该反馈信息之前，在最近一次检测到该发送端发送的图像帧接收错误之后，正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据。
具体地，如上文针对图3所示步骤113与步骤114的描述。
在本发明实施例中，接收端在任何时候检测到接收错误时，均会将反馈信息设置为用于指示接收错误，且只有在正确接收到采用预置错误恢复机制进行编码的图像帧的编码数据后，才将该反馈信息设置为用于指示正确；而发送端在接收到用于指示接收错误的反馈信息后，会对当前待发送的图像帧采用预置错误恢复机制(例如容错帧机制或容错帧组机制)进行编码，接收端接收到采用预置错误恢复机制进行编码的图像帧，可以对后续待解码的图像帧进行错误恢复，从而可以保证发送端与接收端之间传输图像帧的可靠性。
可选地，在一些实施例中，在210接收该接收端发送的该反馈信息之前，该图像处理方法200还包括：对第三图像帧的编码数据进行打包处理，生成数据包，该数据包包括包序号和/或校验码；向该接收端发送该数据包。
具体地，接收端可以根据该第三图像帧的接收状态，生成该反馈信息。例如，若基于该第三图像帧的接收状态判断：该接收端在发送该反馈信息之前，在最近一次检测到该发送端发送的图像帧接收错误之后，还未正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，则生成用于指示接收错误的反馈信息。若若基于该第三图像帧的接收状态判断：该接收端在发送该反馈信息之前，在最近一次检测到该发送端发送的图像帧接收错误之后，已经正确接收到该发送端发送的、根据该预置错误恢复机制编码的图像帧的编码数据，则生成用于指示接收正确的反馈信息。
具体地，接收端可以根据该数据包的包序号是否连续检测第三图像帧是否发生数据丢失，若包序号不连续，表明发生数据丢失，接收端以此判断该第三图像帧发生接收错误。或者，接收端根据该数据包中携带的校验码检测是否发生数据错误，若数据包中的数据的校验值与该数据包中携带的校验码不一致，表明发生数据错误，接收端以此判断该第三图像帧发生接收错误。
可选地，该第三图像帧的数据包的包序号可以与该第三图像帧的帧号具有对应关系。
为了便于更好地理解本发明实施例提供的图像处理方法，下文结合图6从发送端与接收端交互的角度描述本发明实施例提供的图像处理方法300。如图6所示，该图像处理方法300包括：
311，接收端根据接收到的发送端发送的图像帧的接收状态，判断在最近一次检测到发送端发送的图像帧接收错误之后，未正确接收到发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据。
312，接收端根据步骤311中的判断结果，生成用于指示接收错误的反馈信息。
步骤311与步骤312的具体描述参见上文结合图2对步骤111与步骤112的描述。
313，接收端向发送端发送步骤312中生成的反馈信息，具体地，按照反馈时间间隔向发送端发送该反馈信息。
步骤313的具体描述参见上文针对步骤120的描述。
应理解，发送端接收到该反馈信息后，能够获知接收端在发送该反馈信息之前接收到的发送端发送的图像帧的接收状态为接收错误。
314，发送端获取当前待编码与发送的第一图像帧。
315，发送端判断第一图像帧的帧号与第二图像帧的帧号的间隔是否大于或等于接收端发送反馈信息所依据的反馈时间间隔，若是，转到316，若否，转到318。
316，发送端根据预置错误恢复机制对第一图像帧进行编码，得到第一图像帧的编码数据。
具体地，该第一图像帧的编码数据至少包括该第一图像帧的局部画幅的帧内编码数据。例如，如果发送端采用容错帧错误恢复机制处理该第一图像帧，则该第一图像帧的编码数据包括该第一图像帧的整个画幅的帧内编码数据。如果发送端采用容错帧组错误恢复机制处理该第一图像帧，则该第一图像帧的编码数据包括该第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，并在向接收端发送该第一图像帧的编码数据之后，还需要向接收端发送M个图像帧的编码数据，该M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括该M个图像帧与该第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
317，发送端向接收端发送步骤316获取的该第一图像帧的编码数据。
318，发送端对第一图像帧进行帧间编码，得到第一图像帧的帧间编码数据。
319，发送端向接收端发送步骤318获取的第一图像帧的帧间编码数据。
应理解，上述步骤311至步骤319描述的方案对应的是，接收端检测接收到的图像帧的接收状态的检测结果为：在最近一次检测到图像帧接收错误之后，还未正确接收到发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据的情形下的方案。
当接收端检测接收到的图像帧的接收状态的检测结果为：在最近一次检测到图像帧接收错误之后，已经正确接收到发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据时，对应的方案如图6所示的步骤321至步骤326。
321，接收端根据接收到的发送端发送的图像帧的接收状态判断为，在最近一次检测到图像帧接收错误之后，已经正确接收到发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据。
322，接收端根据步骤321的判断结果，生成用于指示接收正确的反馈信息。
步骤321与步骤322的具体描述参见上文结合图3对步骤113与步骤114的描述。
323，接收端向发送端发送步骤322生成的反馈信息，具体地，按照反馈时间间隔向发送端发送该反馈信息。
步骤323的具体描述可以参见上文针对步骤120的描述。
应理解，发送端接收到该反馈信息后，能够获知接收端在发送该反馈信息之前接收到的发送端发送的图像帧的接收状态为接收正确。
324，发送端获取当前待编码与发送的第一图像帧。
325，发送端对第一图像帧进行帧间编码，得到第一图像帧的帧间编码数据。
326，发送端向接收端发送步骤325获取的第一图像帧的帧间编码数据。
需要说明的是，上文结合图1、图2、图3、图4、图5与图6均以发送端与接收端之间的一个收发周期为例进行描述，但本发明实施例并非限定于此，本发明实施例提供的图像处理方法可以应用到发送端与接收端的任一个收发周期或每一个收发周期中。例如，在图6中，在发送端的角度，在步骤317、或步骤319、或326之后，又回到步骤313，或步骤314、或步骤323、或步骤324，如此循环往复；在接收端的角度，在步骤317、或步骤319、或326之后，又回到步骤311或步骤321，如此循环往复。
综上所述，在本发明实施例中，在发送端向接收端发送图像帧的编码数据的过程中，只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，发送端才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
应理解，上述某些实施例中涉及的帧内编码方式是生成I帧的编码算法，某些实施例中涉及的帧间编码方式是生成P帧或B帧的编码算法。其中，参考之前的I帧生成的只包含差异部分编码的帧称为P帧，参考前后的I帧生成只包含差异部分的帧称为B帧。
本发明实施例中涉及的发送端例如可以为无人机上的图像处理设备，接收端例如可以为移动电话、平板电脑、可穿戴设备或无人机的遥控器。
上文结合图1-图6描述了本发明实施例提供的图像处理方法，下文将结合图7-图11描述本发明实施例提供的装置。
图7为本发明实施例提供的图像处理设备400的示意性框图，该图像处理设备400可以为上述某些实施例中的接收端，或者该图像处理设备400位于上述某些实施例中的接收端中。如图7所示，该图像处理设备400包括：
检测模块410，用于检测发送端发送的图像帧是否接收错误；
发送模块420，用于在至少检测到接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误。
在本发明实施例中，在发送端向图像处理设备400发送图像帧的编码数据的过程中，图像处理设备400在检测到接收错误时，向发送端发送用于指示接收错误的反馈信息，可以使得发送端及时获知到已经发送的图像帧的接收状态为接收错误，以便于发送端采取对应的措施进行错误恢复，从而可以在一定程度上保证图像帧的传输可靠性。
可选地，在一些实施例中，所述发送模块420具体用于，当到达预置反馈时间时，向所述发送端发送反馈信息，其中，当至少检测到接收错误时，所述反馈信息为所述第一反馈信息。
可选地，在一些实施例中，任意相邻的两个预置反馈时间的时间间隔是不变的或者可变的。
可选地，在一些实施例中，在所述预置反馈时间之前，在最近一次检测到对所述发送端发送的图像帧接收错误之后，若未正确接收到所述发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为所述第一反馈信息。
可选地，在一些实施例中，所述发送模块420还用于，在向所述发送端发送第一反馈信息之后，在所述预置反馈时间的下一个预置反馈时间之前，若还未正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，在所述下一个预置反馈时间向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，在所述预置反馈时间之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，若正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为第二反馈信息，所述第二反馈信息用于指示对所述发送端发送的图像帧接收正确。
可选地，在一些实施例中，所述发送模块420具体用于，当检测到对所述发送端发送的图像帧接收错误时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，所述发送模块420具体用于，在至少检测到对所述发送端发送的图像帧接收错误，且距离所述检测到接收错误达到第一预置时长时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，所述发送模块420具体用于，在至少检测到对所述发送端发送的图像帧接收错误，距离所述检测到接收错误达到所述第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，所述第一预置时长是不变的或者是可变的。
可选地，在一些实施例中，所述第二预置时长是不变的或者是可变的。
可选地，在一些实施例中，所述发送模块420具体用于，在最近一次向所述发送端发送反馈信息之后，当第一次检测到对所述发送端发送的图像帧接收错误，且距离所述第一次检测到接收错误达到所述第一预置时长时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，所述图像处理设备400还包括：
第一接收模块，用于在所述发送模块420向所述发送端发送第一反馈信息之后，接收所述发送端发送的第一图像帧的编码数据，其中，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的。
可选地，在一些实施例中，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据时，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的。
可选地，在一些实施例中，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
所述第一接收模块还用于，在接收到所述发送端发送的所述第一图像帧的编码数据之后，接收所述发送端发送的M个图像帧的编码数据，并确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据；
其中，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
可选地，在一些实施例中，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，任意相邻的两个预置反馈时间的时间间隔是可变的；所述可变的反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；或者，当所述发送端为无人机时，所述可变的反馈时间间隔是根据所述发送端的姿态信息动态确定的。
可选地，在一些实施例中，所述图像处理设备400还包括：
第二接收模块，用于在所述检测模块410检测发送端发送的图像帧是否接收错误之前，接收所述发送端发送的数据包，所述数据包是所述发送端对第二图像帧的编码数据进行打包处理后的得到的，其中，所述数据包包括包序号和/或校验码；
所述检测模块410具体用于，根据所述包序号和/或校验码检测发送端发送的图像帧是否接收错误。
可选地，在一些实施例中，所述图像处理设备400为下列设备中的任一种：无人机的遥控器、移动电话、平板电脑与可穿戴设备。
应理解，该检测模块410可以由处理器或处理器相关电路组件实现，该发送模块420可以由发送器或发送器相关收发电路组件实现，接收模块可以由接收器或相关收发电路组件实现。
如图8所示，本发明实施例还提供一种图像处理设备500，该图像处理设备500包括：处理器510、存储器520、接收器530和发送器540。处理器510、存储器520、接收器530和发送器540通过内部连接通路互相通信。该存储器520用于存储指令，该处理器510用于执行该存储器520存储的指令，以控制接收器530接收信号，并控制发送器540发送信号。处理器610用于，检测发送端发送的图像帧是否接收错误；发送器540用于，在至少检测到接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误。
在本发明实施例中，在发送端向图像处理设备500发送图像帧的编码数据的过程中，图像处理设备500在检测到接收错误时，向发送端发送用于指示接收错误的反馈信息，可以使得发送端及时获知到已经发送的图像帧的接收状态为接收错误，以便于发送端采取对应的措施进行错误恢复，从而可以在一定程度上保证图像帧的传输可靠性。
可选地，在一些实施例中，发送器540具体用于，当到达预置反馈时间时，向所述发送端发送反馈信息，其中，当至少检测到接收错误时，所述反馈信息为所述第一反馈信息。
具体地，任意相邻的两个预置反馈时间的时间间隔是不变的或者可变的。
可选地，在一些实施例中，在所述预置反馈时间之前，在最近一次检测到对所述发送端发送的图像帧接收错误之后，若未正确接收到所述发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为所述第一反馈信息。
可选地，在一些实施例中，发送器540还用于，在所述向所述发送端发送第一反馈信息之后，在所述预置反馈时间的下一个预置反馈时间之前，若还未正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，在所述下一个预置反馈时间向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，在所述预置反馈时间之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，若正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为第二反馈信息，所述第二反馈信息用于指示对所述发送端发送的图像帧接收正确。
可选地，在一些实施例中，发送器540具体用于，当检测到对所述发送端发送的图像帧接收错误时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，发送器540具体用于，在至少检测到对所述发送端发送的图像帧接收错误，且距离所述检测到接收错误达到第一预置时长时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，发送器540具体用于，在至少检测到对所述发送端发送的图像帧接收错误，距离所述检测到接收错误达到所述第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向所述发送端发送所述第一反馈信息。
具体地，所述第一预置时长是不变的或者是可变的。
具体地，所述第二预置时长是不变的或者是可变的。
可选地，在一些实施例中，发送器540具体用于，在最近一次向所述发送端发送反馈信息之后，当第一次检测到对所述发送端发送的图像帧接收错误，且距离所述第一次检测到接收错误达到所述第一预置时长时，向所述发送端发送所述第一反馈信息。
可选地，在一些实施例中，在所述向所述发送端发送第一反馈信息之后，接收器530用于，接收所述发送端发送的第一图像帧的编码数据，其中，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的。
可选地，在一些实施例中，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据时，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的。
可选地，在一些实施例中，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
接收器530还用于，在接收到所述发送端发送的所述第一图像帧的编码数据之后，接收所述发送端发送的M个图像帧的编码数据，并确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据；
其中，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
可选地，在一些实施例中，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，任意相邻的两个预置反馈时间的时间间隔是可变的；
所述可变的反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；
或者，当所述发送端为无人机时，所述可变的反馈时间间隔是根据所述发送端的姿态信息动态确定的。
可选地，在一些实施例中，接收器530还用于，在所述检测发送端发送的图像帧是否接收错误之前，接收所述发送端发送的数据包，所述数据包是所述发送端对第二图像帧的编码数据进行打包处理后的得到的，其中，所述数据包包括包序号和/或校验码；
处理器510用于，根据所述包序号和/或校验码检测发送端发送的图像帧是否接收错误。
可选地，在一些实施例中，所述图像处理设备500为下列设备中的任一种：无人机的遥控器、移动电话、平板电脑与可穿戴设备。
应理解，根据本发明实施例的图像处理设备500可对应于本发明实施例的图像处理方法中的接收端，以及可以对应于根据本发明实施例的图像处理设备400，并且图像处理设备500中的各个模块的上述操作和/或功能分别为了实现上述方法实施例中的相应流程，为了简洁，在此不再赘述。
图9为本发明实施例提供的图像处理设备600的示意性框图，该图像处理设备600可以为上述某些实施例中的发送端，或者该图像处理设备600位于上述某些实施例中的发送端中。如图9所示，该图像处理设备600包括：
接收模块610，用于接收接收端发送的反馈信息，该反馈信息用于指示该接收端在发送该反馈信息之前，接收到的该图像处理设备发送的图像帧的接收状态；
获取模块620，用于获取第一图像帧；
生成模块630，用于当该反馈信息指示接收错误时，根据预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据；
发送模块640，用于向该接收端发送该第一图像帧的编码数据。
在本发明实施例中，在图像处理设备600向接收端发送图像帧的编码数据的过程中，只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，图像处理设备600才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
可选地，在一些实施例中，该接收模块610具体用于，接收该接收端按照反馈时间间隔发送的该反馈信息，该反馈时间间隔表示该接收端相邻两次发送的反馈信息之间的发送时间间隔。
可选地，在一些实施例中，该生成模块630具体用于，当该反馈信息指示接收错误，且该第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于该反馈时间间隔时，根据该预置错误恢复机制对该第一图像帧进行编码，生成该第一图像帧的编码数据，该第二图像帧为该图像处理设备在获取该第一图像帧之前最近一次向该接收端发送的、根据该预置错误恢复机制编码的图像帧。
可选地，在一些实施例中，当该反馈信息指示接收错误时，具体用于指示：该接收端在发送该反馈信息之前，在最近一次检测到该图像处理设备发送的图像帧接收错误之后，未正确接收到该图像处理设备发送的、根据该预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，当该第一图像帧的编码数据是根据预置错误恢复机制对该第一图像帧进行编码生成时，该第一图像帧的编码数据至少包括该第一图像帧的局部画幅的帧内编码数据。
可选地，在一些实施例中，当该第一图像帧的编码数据是根据预置错误恢复机制对该第一图像帧进行编码生成时，该第一图像帧的编码数据包括该第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，
该发送模块640还用于，在向该接收端发送该第一图像帧的编码数据之后，向该接收端发送M个图像帧的编码数据，该M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括该M个图像帧与该第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
可选地，在一些实施例中，当该第一图像帧的编码数据是根据预置错误恢复机制对该第一图像帧进行编码生成时，该第一图像帧的编码数据包括该第一图像帧的整个画幅的帧内编码数据。
可选地，在一些实施例中，该发送模块640还用于，当该反馈信息指示接收正确时，向该接收端发送该第一图像帧的帧间编码数据。
可选地，在一些实施例中，当该反馈信息指示接收正确时，具体用于指示，该接收端在发送该反馈信息之前，在最近一次检测到该图像处理设备发送的图像帧接收错误之后，正确接收到该图像处理设备发送的、根据该预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，该反馈时间间隔是不变的或可变的。
可选地，在一些实施例中，该反馈时间间隔是可变的，且该反馈时间间隔是根据下列信息中的至少一项信息动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态与该图像处理设备的姿态信息，其中，该图像处理设备的姿态信息为当该图像处理设备为移动设备时所考虑的信息。
可选地，在一些实施例中，该图像处理设备600还包括：
打包处理模块，用于在接收该接收端发送的该反馈信息之前，对第三图像帧的编码数据进行打包处理，生成数据包，该数据包包括包序号和/或校验码；
该发送模块640还用于，向该接收端发送该数据包。
可选地，在一些实施例中，该图像处理设备600还包括用于采集图像帧的视觉传感器。
可选地，在一些实施例中，该图像处理设备机载于无人机上。
应理解，该接收模块610可以由接收器或收发电路相关组件实现。获取模块620与生成模块630可以由处理器或处理器相关电路组件实现。发送模块640可以由发送器或收发电路相关组件实现。
如图10所示，本发明实施例还提供一种图像处理设备700，该图像处理设备700包括处理器710、存储器720、接收器730和发送器740。处理器710、存储器720、接收器730和发送器740通过内部连接通路互相通信。该存储器720用于存储指令，该处理器710用于执行该存储器720存储的指令，以控制接收器730接收信号，并控制发送器740发送信号。接收器730用于，接收接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述图像处理设备700发送的图像帧的接收状态；处理器710用于，获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据；发送器740用于，向所述接收端发送所述第一图像帧的编码数据。
在本发明实施例中，在图像处理设备700向接收端发送图像帧的编码数据的过程中，只有在接收到接收端发送的用于指示接收错误的反馈信息的情况下，图像处理设备700才向接收端发送根据预置错误恢复机制编码的图像帧的编码数据，相比于现有技术中不考虑传输数据的接收状态而周期性地发送根据错误恢复机制编码的图像帧的编码数据，本发明实施例能够有效提高信道利用率。
可选地，在一些实施例中，接收器730用于，接收所述接收端按照反馈时间间隔发送的所述反馈信息，所述反馈时间间隔表示所述接收端相邻两次发送的反馈信息之间的发送时间间隔。
可选地，在一些实施例中，处理器710用于，当所述反馈信息指示接收错误，且所述第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于所述反馈时间间隔时，根据所述预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第二图像帧为所述图像处理设备700在获取所述第一图像帧之前最近一次向所述接收端发送的、根据所述预置错误恢复机制编码的图像帧。
可选地，在一些实施例中，当所述反馈信息指示接收错误时，具体用于指示：所述接收端在发送所述反馈信息之前，在最近一次检测到所述图像处理设备700发送的图像帧接收错误之后，未正确接收到所述图像处理设备700发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据。
可选地，在一些实施例中，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，发送器740还用于，在向所述接收端发送所述第一图像帧的编码数据之后，向所述接收端发送M个图像帧的编码数据，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
可选地，在一些实施例中，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据。
可选地，在一些实施例中，发送器740还用于，当所述反馈信息指示接收正确时，向所述接收端发送所述第一图像帧的帧间编码数据。
可选地，在一些实施例中，当所述反馈信息指示接收正确时，具体用于指示，所述接收端在发送所述反馈信息之前，在最近一次检测到所述图像处理设备700发送的图像帧接收错误之后，正确接收到所述图像处理设备700发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
可选地，在一些实施例中，所述反馈时间间隔是不变的或可变的。
可选地，在一些实施例中，所述反馈时间间隔是可变的，且所述反馈时间间隔是根据下列信息中的至少一项信息动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态与所述图像处理设备700的姿态信息，其中，所述图像处理设备700的姿态信息为当所述图像处理设备700为移动设备时所考虑的信息。
可选地，在一些实施例中，处理器710还用于，在接收所述接收端发送的所述反馈信息之前，对第三图像帧的编码数据进行打包处理，生成数据包，所述数据包包括包序号和/或校验码；发送器740用于，向所述接收端发送所述数据包。
可选地，在一些实施例中，所述图像处理设备700还包括用于采集图像帧的视觉传感器。
可选地，在一些实施例中，所述图像处理设备机载于无人机上。
应理解，根据本发明实施例的图像处理设备700可对应于本发明实施例的图像处理方法中的发送端，以及可以对应于根据本发明实施例的图像处理设备600，并且图像处理设备700中的各个模块的上述操作和/或功能分别为了实现上述方法实施例中的相应流程，为了简洁，在此不再赘述。
应理解，本发明实施例提及的处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本发明实施例提及的存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
如图11所示，本发明实施例还提供一种无人机800，该无人机800包括动力***810和图像处理设备820。该图像处理设备820可以对应于本发明实施例提供的图像处理方法中的发送端，也可以对应于本发明实施例提供的图像处理设备600或700。动力***810用于为该无人机提供飞行动力，驱动该无人机飞行，以满足该图像处理设备820采集到目标图像。
还应理解，本文中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明实施例的范围。
还应理解，在某些实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个模块中，或一些特征可以忽略，或不执行。
另外，在装置实施例中的各功能模块可以集成在一个处理单元中，也可以是各个功能模块单独物理存在于各自的处理单元中，也可以两个或两个以上功能模块集成在一个处理单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (83)

1.一种在发送端中的图像处理方法，其特征在于，包括：
向接收端发送采用帧间编码方式编码的图像帧的编码数据；
接收所述接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述发送端发送的图像帧的接收状态；
获取第一图像帧；
当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据；向所述接收端发送所述第一图像帧的编码数据；
当所述反馈信息指示接收正确时，向所述接收端发送所述第一图像帧的帧间编码数据。
2.根据权利要求1所述的图像处理方法，其特征在于，所述接收所述接收端发送的反馈信息，包括：
接收所述接收端按照反馈时间间隔发送的所述反馈信息，所述反馈时间间隔表示所述接收端相邻两次发送的反馈信息之间的发送时间间隔。
3.根据权利要求2所述的图像处理方法，其特征在于，所述当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，包括：
当所述反馈信息指示接收错误，且所述第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于所述反馈时间间隔时，根据所述预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第二图像帧为所述发送端在获取所述第一图像帧之前最近一次向所述接收端发送的、根据所述预置错误恢复机制编码的图像帧。
4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，当所述反馈信息指示接收错误时，具体用于指示：所述接收端在发送所述反馈信息之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，未正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
5.根据权利要求1所述的图像处理方法，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，
在向所述接收端发送所述第一图像帧的编码数据之后，所述图像处理方法还包括：
向所述接收端发送M个图像帧的编码数据，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
6.根据权利要求1所述的图像处理方法，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据。
7.根据权利要求1所述的图像处理方法，其特征在于，当所述反馈信息指示接收正确时，具体用于指示，所述接收端在发送所述反馈信息之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
8.根据权利要求2所述的图像处理方法，其特征在于，所述反馈时间间隔是不变的或可变的。
9.根据权利要求8所述的图像处理方法，其特征在于，所述反馈时间间隔是可变的，且所述反馈时间间隔是根据下列信息中的至少一项信息动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态与所述发送端的姿态信息，其中，所述发送端的姿态信息为当所述发送端为移动设备时所考虑的信息。
10.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述向接收端发送采用帧间编码方式编码的图像帧的编码数据，包括：
对所述采用帧间编码方式编码的图像帧的编码数据进行打包处理，生成数据包，所述数据包包括包序号和/或校验码；
向所述接收端发送所述数据包。
11.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述发送端为无人机。
12.一种在接收端中的图像处理方法，其特征在于，包括：
接收发送端发送的采用帧间编码方式编码的图像帧的编码数据；
检测所述发送端发送的图像帧是否接收错误；
在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误；
在发送所述第一反馈信息之后，接收所述发送端发送的第一图像帧的编码数据，其中，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据。
13.根据权利要求12所述的图像处理方法，其特征在于，在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，包括：
当到达预置反馈时间时，向所述发送端发送反馈信息，所述反馈信息指示所述发送端发送的图像帧的接收状态，其中，当检测到所述发送端发送的图像帧接收错误时，所述反馈信息为所述第一反馈信息。
14.根据权利要求13所述的图像处理方法，其特征在于，任意相邻的两个预置反馈时间的时间间隔是不变的或者可变的。
15.根据权利要求13或14所述的图像处理方法，其特征在于，在所述预置反馈时间之前，在最近一次检测到对所述发送端发送的图像帧接收错误之后，若未正确接收到所述发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为所述第一反馈信息。
16.根据权利要求15所述的图像处理方法，其特征在于，在所述预置反馈时间之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，若正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为第二反馈信息，所述第二反馈信息用于指示对所述发送端发送的图像帧接收正确。
17.根据权利要求12所述的图像处理方法，其特征在于，所述在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，包括：
当检测到对所述发送端发送的图像帧接收错误时，向所述发送端发送所述第一反馈信息。
18.根据权利要求12所述的图像处理方法，其特征在于，所述在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，包括：
在至少检测到对所述发送端发送的图像帧接收错误，且距离所述检测到接收错误达到第一预置时长时，向所述发送端发送所述第一反馈信息。
19.根据权利要求18所述的图像处理方法，其特征在于，所述向所述发送端发送第一反馈信息，包括：
在至少检测到对所述发送端发送的图像帧接收错误，距离所述检测到接收错误达到所述第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向所述发送端发送所述第一反馈信息。
20.根据权利要求18或19所述的图像处理方法，其特征在于，所述第一预置时长是不变的或者是可变的。
21.根据权利要求19所述的图像处理方法，其特征在于，所述第二预置时长是不变的或者是可变的。
22.根据权利要求18所述的图像处理方法，其特征在于，所述向所述发送端发送第一反馈信息，包括：
在最近一次向所述发送端发送反馈信息之后，当第一次检测到对所述发送端发送的图像帧接收错误，且距离所述第一次检测到接收错误达到所述第一预置时长时，向所述发送端发送所述第一反馈信息。
23.根据权利要求12所述的图像处理方法，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
在接收到所述发送端发送的所述第一图像帧的编码数据之后，所述图像处理方法还包括：
当接收所述发送端发送的M个图像帧的编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据；
其中，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
24.根据权利要求12所述的图像处理方法，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
25.根据权利要求14所述的图像处理方法，其特征在于，任意相邻的两个预置反馈时间的时间间隔是可变的；
所述可变的反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；
或者，当所述发送端为无人机时，所述可变的反馈时间间隔是根据所述发送端的姿态信息动态确定的。
26.根据权利要求12至14中任一项所述的图像处理方法，其特征在于，所述接收发送端发送的采用帧间编码方式编码的图像帧的编码数据，包括：接收所述发送端发送的数据包，所述数据包是所述发送端对采用帧间编码方式编码的图像帧的编码数据进行打包处理后的得到的，其中，所述数据包包括包序号和/或校验码；
所述检测发送端发送的图像帧是否接收错误，包括：
根据所述包序号和/或校验码检测发送端发送的图像帧是否接收错误。
27.根据权利要求12至14中任一项所述的图像处理方法，其特征在于，所述发送端为无人机。
28.一种图像处理设备，其特征在于，包括：
发送模块，用于向接收端发送采用帧间编码方式编码的图像帧的编码数据；
接收模块，用于接收所述接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述图像处理设备发送的图像帧的接收状态；
获取模块，用于获取第一图像帧；
生成模块，用于当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据；
所述发送模块还用于，向所述接收端发送所述第一图像帧的编码数据；
所述发送模块还用于，当所述反馈信息指示接收正确时，向所述接收端发送所述第一图像帧的帧间编码数据。
29.根据权利要求28所述的图像处理设备，其特征在于，所述接收模块具体用于，接收所述接收端按照反馈时间间隔发送的所述反馈信息，所述反馈时间间隔表示所述接收端相邻两次发送的反馈信息之间的发送时间间隔。
30.根据权利要求29所述的图像处理设备，其特征在于，所述生成模块具体用于，当所述反馈信息指示接收错误，且所述第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于所述反馈时间间隔时，根据所述预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第二图像帧为所述图像处理设备在获取所述第一图像帧之前最近一次向所述接收端发送的、根据所述预置错误恢复机制编码的图像帧。
31.根据权利要求28至30中任一项所述的图像处理设备，其特征在于，当所述反馈信息指示接收错误时，具体用于指示：所述接收端在发送所述反馈信息之前，在最近一次检测到所述图像处理设备发送的图像帧接收错误之后，未正确接收到所述图像处理设备发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
32.根据权利要求28所述的图像处理设备，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，
所述发送模块还用于，在向所述接收端发送所述第一图像帧的编码数据之后，向所述接收端发送M个图像帧的编码数据，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
33.根据权利要求28所述的图像处理设备，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据。
34.根据权利要求28所述的图像处理设备，其特征在于，当所述反馈信息指示接收正确时，具体用于指示，所述接收端在发送所述反馈信息之前，在最近一次检测到所述图像处理设备发送的图像帧接收错误之后，正确接收到所述图像处理设备发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
35.根据权利要求29所述的图像处理设备，其特征在于，所述反馈时间间隔是不变的或可变的。
36.根据权利要求35所述的图像处理设备，其特征在于，所述反馈时间间隔是可变的，且所述反馈时间间隔是根据下列信息中的至少一项信息动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态与所述图像处理设备的姿态信息，其中，所述图像处理设备的姿态信息为当所述图像处理设备为移动设备时所考虑的信息。
37.根据权利要求28至30中任一项所述的图像处理设备，其特征在于，所述图像处理设备还包括：
打包处理模块，用于对所述采用帧间编码方式编码的图像帧的编码数据进行打包处理，生成数据包，所述数据包包括包序号和/或校验码；
所述发送模块用于，向所述接收端发送所述数据包。
38.根据权利要求28至30中任一项所述的图像处理设备，其特征在于，所述图像处理设备还包括用于采集图像帧的视觉传感器。
39.根据权利要求28至30中任一项所述的图像处理设备，其特征在于，所述图像处理设备机载于无人机上。
40.一种图像处理设备，其特征在于，包括：
第二接收模块，用于接收发送端发送的采用帧间编码方式编码的图像帧的编码数据；
检测模块，用于检测所述发送端发送的图像帧是否接收错误；
发送模块，用于在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误；
第一接收模块，用于在所述发送模块向所述发送端发送第一反馈信息之后，接收所述发送端发送的第一图像帧的编码数据，其中，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据。
41.根据权利要求40所述的图像处理设备，其特征在于，所述发送模块具体用于，当到达预置反馈时间时，向所述发送端发送反馈信息，所述反馈信息指示所述发送端发送的图像帧的接收状态，其中，当检测到所述发送端发送的图像帧接收错误时，所述反馈信息为所述第一反馈信息。
42.根据权利要求41所述的图像处理设备，其特征在于，任意相邻的两个预置反馈时间的时间间隔是不变的或者可变的。
43.根据权利要求41或42所述的图像处理设备，其特征在于，在所述预置反馈时间之前，在最近一次检测到对所述发送端发送的图像帧接收错误之后，若未正确接收到所述发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为所述第一反馈信息。
44.根据权利要求43所述的图像处理设备，其特征在于，在所述预置反馈时间之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，若正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为第二反馈信息，所述第二反馈信息用于指示对所述发送端发送的图像帧接收正确。
45.根据权利要求40所述的图像处理设备，其特征在于，所述发送模块具体用于，当检测到对所述发送端发送的图像帧接收错误时，向所述发送端发送所述第一反馈信息。
46.根据权利要求40所述的图像处理设备，其特征在于，所述发送模块具体用于，在至少检测到对所述发送端发送的图像帧接收错误，且距离所述检测到接收错误达到第一预置时长时，向所述发送端发送所述第一反馈信息。
47.根据权利要求46所述的图像处理设备，其特征在于，所述发送模块具体用于，在至少检测到对所述发送端发送的图像帧接收错误，距离所述检测到接收错误达到所述第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向所述发送端发送所述第一反馈信息。
48.根据权利要求46或47所述的图像处理设备，其特征在于，所述第一预置时长是不变的或者是可变的。
49.根据权利要求47所述的图像处理设备，其特征在于，所述第二预置时长是不变的或者是可变的。
50.根据权利要求46所述的图像处理设备，其特征在于，所述发送模块具体用于，在最近一次向所述发送端发送反馈信息之后，当第一次检测到对所述发送端发送的图像帧接收错误，且距离所述第一次检测到接收错误达到所述第一预置时长时，向所述发送端发送所述第一反馈信息。
51.根据权利要求40所述的图像处理设备，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
所述第一接收模块还用于，在接收到所述发送端发送的所述第一图像帧的编码数据之后，接收所述发送端发送的M个图像帧的编码数据，并确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据；
其中，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
52.根据权利要求40所述的图像处理设备，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
53.根据权利要求42所述的图像处理设备，其特征在于，任意相邻的两个预置反馈时间的时间间隔是可变的；
所述可变的反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；
或者，当所述发送端为无人机时，所述可变的反馈时间间隔是根据所述发送端的姿态信息动态确定的。
54.根据权利要求40至42中任一项所述的图像处理设备，其特征在于，所述第二接收模块，用于接收所述发送端发送的数据包，所述数据包是所述发送端对采用帧间编码方式编码的图像帧的编码数据进行打包处理后的得到的，其中，所述数据包包括包序号和/或校验码；
所述检测模块具体用于，根据所述包序号和/或校验码检测所述发送端发送的图像帧是否接收错误。
55.根据权利要求40至42中任一项所述的图像处理设备，其特征在于，所述图像处理设备为下列设备中的任一种：无人机的遥控器、移动电话、平板电脑与可穿戴设备。
56.一种图像处理设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于，向接收端发送采用帧间编码方式编码的图像帧的编码数据；接收所述接收端发送的反馈信息，所述反馈信息用于指示所述接收端在发送所述反馈信息之前，接收到的所述发送端发送的图像帧的接收状态；获取第一图像帧；当所述反馈信息指示接收错误时，根据预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据；向所述接收端发送所述第一图像帧的编码数据；
所述处理器还用于，当所述反馈信息指示接收正确时，向所述接收端发送所述第一图像帧的帧间编码数据。
57.根据权利要求56所述的图像处理设备，其特征在于，所述处理器用于，接收所述接收端按照反馈时间间隔发送的所述反馈信息，所述反馈时间间隔表示所述接收端相邻两次发送的反馈信息之间的发送时间间隔。
58.根据权利要求57所述的图像处理设备，其特征在于，所述处理器用于，当所述反馈信息指示接收错误，且所述第一图像帧的帧号与第二图像帧的帧号之间的间隔大于或等于所述反馈时间间隔时，根据所述预置错误恢复机制对所述第一图像帧进行编码，生成所述第一图像帧的编码数据，所述第二图像帧为所述发送端在获取所述第一图像帧之前最近一次向所述接收端发送的、根据所述预置错误恢复机制编码的图像帧。
59.根据权利要求56至58中任一项所述的图像处理设备，其特征在于，当所述反馈信息指示接收错误时，具体用于指示：所述接收端在发送所述反馈信息之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，未正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
60.根据权利要求56所述的图像处理设备，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；其中，所述处理器还用于，在向所述接收端发送所述第一图像帧的编码数据之后，向所述接收端发送M个图像帧的编码数据，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，在包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
61.根据权利要求56所述的图像处理设备，其特征在于，当所述第一图像帧的编码数据是根据预置错误恢复机制对所述第一图像帧进行编码生成时，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据。
62.根据权利要求56所述的图像处理设备，其特征在于，当所述反馈信息指示接收正确时，具体用于指示，所述接收端在发送所述反馈信息之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
63.根据权利要求57所述的图像处理设备，其特征在于，所述反馈时间间隔是不变的或可变的。
64.根据权利要求63所述的图像处理设备，其特征在于，所述反馈时间间隔是可变的，且所述反馈时间间隔是根据下列信息中的至少一项信息动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态与所述发送端的姿态信息，其中，所述发送端的姿态信息为当所述发送端为移动设备时所考虑的信息。
65.根据权利要求56至58中任一项所述的图像处理设备，其特征在于，所述处理器用于，对所述采用帧间编码方式编码的图像帧的编码数据进行打包处理，生成数据包，所述数据包包括包序号和/或校验码；向所述接收端发送所述数据包。
66.根据权利要求56至58中任一项所述的图像处理设备，其特征在于，所述图像处理设备还包括用于采集图像帧的视觉传感器。
67.根据权利要求56至58中任一项所述的图像处理设备，其特征在于，所述图像处理设备机载于无人机上。
68.一种在接收端中的图像处理设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述程序被执行时，所述处理器用于，接收发送端发送的采用帧间编码方式编码的图像帧的编码数据；检测所述发送端发送的图像帧是否接收错误；在至少检测到所述发送端发送的图像帧接收错误时，向所述发送端发送第一反馈信息，所述第一反馈信息用于指示所述发送端发送的图像帧接收错误；在发送所述第一反馈信息之后，接收所述发送端发送的第一图像帧的编码数据，其中，所述第一图像帧的编码数据是根据预置错误恢复机制编码得到的，所述第一图像帧的编码数据至少包括所述第一图像帧的局部画幅的帧内编码数据。
69.根据权利要求68所述的图像处理设备，其特征在于，所述处理器用于，当到达预置反馈时间时，向所述发送端发送反馈信息，所述反馈信息指示所述发送端发送的图像帧的接收状态，其中，当至少检测到所述发送端发送的图像帧接收错误时，所述反馈信息为所述第一反馈信息。
70.根据权利要求69所述的图像处理设备，其特征在于，任意相邻的两个预置反馈时间的时间间隔是不变的或者可变的。
71.根据权利要求69或70所述的图像处理设备，其特征在于，在所述预置反馈时间之前，在最近一次检测到对所述发送端发送的图像帧接收错误之后，若未正确接收到所述发送端发送的、根据预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为所述第一反馈信息。
72.根据权利要求71所述的图像处理设备，其特征在于，在所述预置反馈时间之前，在最近一次检测到所述发送端发送的图像帧接收错误之后，若正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据，所述反馈信息为第二反馈信息，所述第二反馈信息用于指示对所述发送端发送的图像帧接收正确。
73.根据权利要求68所述的图像处理设备，其特征在于，所述处理器用于，当检测到对所述发送端发送的图像帧接收错误时，向所述发送端发送所述第一反馈信息。
74.根据权利要求68所述的图像处理设备，其特征在于，所述处理器用于，在至少检测到对所述发送端发送的图像帧接收错误，且距离所述检测到接收错误达到第一预置时长时，向所述发送端发送所述第一反馈信息。
75.根据权利要求74所述的图像处理设备，其特征在于，所述处理器用于，在至少检测到对所述发送端发送的图像帧接收错误，距离所述检测到接收错误达到所述第一预置时长，且距离最近一次发送反馈信息达到第二预置时长时，向所述发送端发送所述第一反馈信息。
76.根据权利要求74或75所述的图像处理设备，其特征在于，所述第一预置时长是不变的或者是可变的。
77.根据权利要求75所述的图像处理设备，其特征在于，所述第二预置时长是不变的或者是可变的。
78.根据权利要求74所述的图像处理设备，其特征在于，所述处理器用于，在最近一次向所述发送端发送反馈信息之后，当第一次检测到对所述发送端发送的图像帧接收错误，且距离所述第一次检测到接收错误达到所述第一预置时长时，向所述发送端发送所述第一反馈信息。
79.根据权利要求68所述的图像处理设备，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据；
所述处理器还用于，在接收到所述发送端发送的所述第一图像帧的编码数据之后，接收所述发送端发送的M个图像帧的编码数据，并确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据；其中，所述M个图像帧中每个图像帧的编码数据包括局部画幅的帧内编码数据与剩余局部画幅的帧间编码数据，包括所述M个图像帧与所述第一图像帧的M+1个图像帧中，第i个图像帧进行帧内编码的局部画幅与第j个图像帧进行帧内编码的局部画幅不同，且进行帧内编码的M+1个局部画幅的总和构成一个完整画幅，M为正整数，1≤i≤M+1，1≤j≤M+1，且i≠j。
80.根据权利要求68所述的图像处理设备，其特征在于，所述第一图像帧的编码数据包括所述第一图像帧的整个画幅的帧内编码数据时，确定正确接收到所述发送端发送的、根据所述预置错误恢复机制编码的图像帧的编码数据。
81.根据权利要求70所述的图像处理设备，其特征在于，任意相邻的两个预置反馈时间的时间间隔是可变的；
所述可变的反馈时间间隔是根据下列信息中的至少一项动态确定的：反馈信道负载、应用场景的错误恢复及时性需求、历史数据传输状态；
或者，当所述发送端为无人机时，所述可变的反馈时间间隔是根据所述发送端的姿态信息动态确定的。
82.根据权利要求68至70中任一项所述的图像处理设备，其特征在于，所述处理器用于，接收所述发送端发送的数据包，所述数据包是所述发送端对采用帧间编码方式编码的图像帧的编码数据进行打包处理后的得到的，其中，所述数据包包括包序号和/或校验码；所述处理器具体用于，根据所述包序号和/或校验码检测发送端发送的图像帧是否接收错误。
83.根据权利要求68至70中任一项所述的图像处理设备，其特征在于，所述图像处理设备为下列设备中的任一种：无人机的遥控器、移动电话、平板电脑与可穿戴设备。
CN201680003470.0A 2016-12-30 2016-12-30 图像处理方法与设备 Expired - Fee Related CN107005714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910300151.1A CN109936746B (zh) 2016-12-30 2016-12-30 图像处理方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/113944 WO2018120218A1 (zh) 2016-12-30 2016-12-30 图像处理方法与设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910300151.1A Division CN109936746B (zh) 2016-12-30 2016-12-30 图像处理方法与设备

Publications (2)

Publication Number Publication Date
CN107005714A CN107005714A (zh) 2017-08-01
CN107005714B true CN107005714B (zh) 2019-05-14

Family

ID=59431652

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910300151.1A Expired - Fee Related CN109936746B (zh) 2016-12-30 2016-12-30 图像处理方法与设备
CN201680003470.0A Expired - Fee Related CN107005714B (zh) 2016-12-30 2016-12-30 图像处理方法与设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910300151.1A Expired - Fee Related CN109936746B (zh) 2016-12-30 2016-12-30 图像处理方法与设备

Country Status (3)

Country Link
US (2) US10924745B2 (zh)
CN (2) CN109936746B (zh)
WO (1) WO2018120218A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983775A (zh) 2016-12-30 2019-07-05 深圳市大疆创新科技有限公司 用于基于反馈的数据发送的***和方法
CN110225338B (zh) * 2016-12-30 2021-12-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
CN109936746B (zh) 2016-12-30 2021-07-16 深圳市大疆创新科技有限公司 图像处理方法与设备
CN108235150A (zh) * 2018-01-03 2018-06-29 厦门亿联网络技术股份有限公司 一种网络传输特性友好的实时图像自适应恢复***及方法
TWI699990B (zh) * 2019-04-02 2020-07-21 俊華電子企業股份有限公司 輕量的遙控通訊協定之訊號傳輸方法
CN110113610B (zh) * 2019-04-23 2021-04-20 西安万像电子科技有限公司 数据传输方法及装置
CN111758262A (zh) * 2019-05-27 2020-10-09 深圳市大疆创新科技有限公司 视频传输方法、装置、飞行器、播放设备及存储介质
WO2020248267A1 (zh) * 2019-06-14 2020-12-17 深圳市大疆创新科技有限公司 数据传输***、方法、发送端和计算机可读介质
WO2020258296A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 图像处理方法、设备、无人飞行器和接收端
US10839565B1 (en) * 2019-08-19 2020-11-17 Samsung Electronics Co., Ltd. Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same
KR20210067788A (ko) * 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
WO2021237400A1 (zh) * 2020-05-25 2021-12-02 深圳市大疆创新科技有限公司 传输数据的方法、装置、发送端和接收端
WO2022056690A1 (zh) * 2020-09-15 2022-03-24 深圳市大疆创新科技有限公司 接收确认信息的传输方法、控制终端、无人机及存储介质
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
WO2022266974A1 (zh) * 2021-06-24 2022-12-29 深圳市大疆创新科技有限公司 图像处理方法、装置、业务服务器及存储介质
CN113595984B (zh) * 2021-06-29 2024-01-12 北京来也网络科技有限公司 结合rpa和ai的数据传输方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155311A (zh) * 2006-09-27 2008-04-02 中兴通讯股份有限公司 一种视频通信中的视频码流错误检测和处理方法
CN101360243A (zh) * 2008-09-24 2009-02-04 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信***及方法
CN102075741A (zh) * 2010-12-14 2011-05-25 北京华环电子股份有限公司 一种图像传输方法、终端及***
CN102299784A (zh) * 2011-09-13 2011-12-28 华为技术有限公司 数据传输方法和设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3043552B2 (ja) 1993-10-04 2000-05-22 シャープ株式会社 電子写真装置の画質安定化装置
US20110122063A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
JP4971594B2 (ja) * 2004-03-31 2012-07-11 キヤノン株式会社 プログラム及び表示制御装置
CN100558167C (zh) 2006-10-16 2009-11-04 华为技术有限公司 多媒体视频通信方法及***
TWI508478B (zh) 2006-10-30 2015-11-11 Interdigital Tech Corp 無線發射／接收單元及用於處理在無線發射／接收單元中執行的回饋的方法
US8150441B2 (en) 2006-11-06 2012-04-03 Magnolia Broadband Inc. Modifying a signal by controlling transmit diversity parameters
CN101193312B (zh) 2006-11-22 2011-01-05 中兴通讯股份有限公司 基于反馈的自适应错误恢复装置、视频通信***和方法
US8494049B2 (en) 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
CN101207823A (zh) 2007-11-22 2008-06-25 武汉大学 用于视频通信的综合抗误码视频编码方法
US8265171B2 (en) * 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
JP5142828B2 (ja) * 2008-05-29 2013-02-13 キヤノン株式会社 送信装置、送信方法及びプログラム
US8537699B2 (en) 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
EP2285122B1 (en) * 2009-07-17 2013-11-13 Canon Kabushiki Kaisha A method and device for reconstructing a sequence of video data after transmission over a network
GB2477515B (en) 2010-02-03 2012-09-26 Orbital Multi Media Holdings Corp Data flow control method and apparatus
US20110249729A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Error resilient hierarchical long term reference frames
US8411743B2 (en) 2010-04-30 2013-04-02 Hewlett-Packard Development Company, L.P. Encoding/decoding system using feedback
CN102014286B (zh) 2010-12-21 2012-10-31 广东威创视讯科技股份有限公司 一种视频编解码方法及装置
CN102547266B (zh) 2010-12-29 2015-03-11 ***通信集团公司 一种视频数据传输方法及设备
US9071484B1 (en) 2011-04-05 2015-06-30 Elemental Technologies, Inc. Feedback optimized video coding parameters
CN102780547A (zh) 2011-05-11 2012-11-14 中兴通讯股份有限公司 一种信道状态信息反馈方法及装置
GB2495467B (en) 2011-09-02 2017-12-13 Skype Video coding
CN102510494B (zh) 2011-10-09 2014-02-05 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
US9584832B2 (en) 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
US8687654B1 (en) * 2012-01-05 2014-04-01 Google Inc. Method to packetize an encoded video frame
US9106936B2 (en) 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
CN102684837B (zh) 2012-05-16 2014-09-03 西安交通大学 协作多点联合传输中协方差矩阵的动态更新方法
US9332309B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
KR20140039920A (ko) 2012-09-25 2014-04-02 삼성전자주식회사 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US10038396B2 (en) 2012-10-26 2018-07-31 Renesas Electronics Corporation Motor control device and motor drive device
US10951310B2 (en) * 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
CN104660315A (zh) 2013-11-25 2015-05-27 上海益尚信息科技有限公司 新型在协同多点传输***中控制协作传输下行信号的方法
CN109002051B (zh) 2014-07-31 2022-10-11 深圳市大疆创新科技有限公司 使用无人飞行器实现的虚拟观光***及方法
CN105163126B (zh) * 2015-09-06 2018-05-25 福州瑞芯微电子股份有限公司 一种基于hevc协议的硬件解码方法和装置
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
CN105681342B (zh) 2016-03-08 2019-12-17 随锐科技集团股份有限公司 一种基于h264的多路视频会议***的抗误码方法及***
CN109936746B (zh) 2016-12-30 2021-07-16 深圳市大疆创新科技有限公司 图像处理方法与设备
CN110225338B (zh) 2016-12-30 2021-12-10 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101155311A (zh) * 2006-09-27 2008-04-02 中兴通讯股份有限公司 一种视频通信中的视频码流错误检测和处理方法
CN101360243A (zh) * 2008-09-24 2009-02-04 腾讯科技（深圳）有限公司 基于反馈参考帧的视频通信***及方法
CN102075741A (zh) * 2010-12-14 2011-05-25 北京华环电子股份有限公司 一种图像传输方法、终端及***
CN102299784A (zh) * 2011-09-13 2011-12-28 华为技术有限公司 数据传输方法和设备

Also Published As

Publication number Publication date
WO2018120218A1 (zh) 2018-07-05
US20190320184A1 (en) 2019-10-17
CN109936746A (zh) 2019-06-25
CN107005714A (zh) 2017-08-01
CN109936746B (zh) 2021-07-16
US20210136388A1 (en) 2021-05-06
US10924745B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
CN107005714B (zh) 图像处理方法与设备
US11070732B2 (en) Method for image processing, device, unmanned aerial vehicle, and receiver
US10306513B2 (en) Connectivity service level orchestrator and arbitrator in internet of things (IoT) platforms
ES2847475T3 (es) Procedimiento de regulación de velocidad de transferencia
US20160335981A1 (en) Remote control method and device using wearable device
CN106856502A (zh) 无人车控制方法、无人车、服务器和无人车***
CN104160740B (zh) 无线终端装置、测量控制方法、和控制方法
CN105137842B (zh) 一种舞台自适应匹配装置
CA3003137C (en) Method and apparatus for resource pairing
CN107257265B (zh) 实时传输数据流前向纠错方法、***、装置及存储介质
US20220272505A1 (en) Sensor System, Wireless Cooperative Receiving System, and Wireless Cooperative Receiving Method
Mellado-Bataller et al. Rapid prototyping framework for visual control of autonomous micro aerial vehicles
US20150172181A1 (en) Communication device
CN104252227A (zh) 信息处理方法、信息处理设备和穿戴式电子设备
CN103346855B (zh) 一种信令时序还原方法及装置
CN113746611B (zh) 通信中信令的定时值配置方法、计算机装置和存储介质
US12022323B2 (en) Connectivity service level orchestrator and arbitrator in internet of things (IoT) platforms
KR20110066501A (ko) 모델을 이용하여 센서 데이터를 송수신하는 시스템 및 방법
JP6757653B2 (ja) 通信システム
JP2007174495A (ja) 無線ｌａｎシステム及び無線ｌａｎ制御方法
KR20160019778A (ko) 단말기가 데이터를 송수신하는 방법 및 그 단말기
Ramaraju et al. Energy Efficient Image Transmission In Wireless Multimedia Sensor Networks
KR20140028369A (ko) 센서 네트워크 관리 장치
JP5747732B2 (ja) 通信システム、通信制御方法、通信装置、通信装置制御方法、及び、通信装置制御プログラム
CN117811703A (zh) 数据的传输方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190514