CN108496369A - 视频传输、接收方法、***、设备及无人飞行器 - Google Patents
视频传输、接收方法、***、设备及无人飞行器 Download PDFInfo
- Publication number
- CN108496369A CN108496369A CN201780005017.8A CN201780005017A CN108496369A CN 108496369 A CN108496369 A CN 108496369A CN 201780005017 A CN201780005017 A CN 201780005017A CN 108496369 A CN108496369 A CN 108496369A
- Authority
- CN
- China
- Prior art keywords
- video data
- sub
- data unit
- subgraph
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000000354 decomposition reaction Methods 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000005183 dynamical system Methods 0.000 claims description 6
- 238000005562 fading Methods 0.000 claims description 4
- 241000630665 Hada Species 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 241000169170 Boreogadus saida Species 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
- H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种视频传输、接收方法、***、设备及无人飞行器,该方法包括:将视频数据分解为多个子视频数据单元;对所述多个子视频数据单元分别进行编码;基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。本发明实施例通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择一个或多个编码后的子视频数据单元,以使选择出的一个或多个编码后的子视频数据单元符合信道特性,可以有效地解决信源与信道的失配问题,可有效降低视频数据由于信源信道失配问题而造成的传输延时抖动。
Description
技术领域
本发明实施例涉及图像处理领域,尤其涉及一种视频传输、接收方法、***、设备及无人飞行器。
背景技术
现有技术中无人飞行器搭载有拍摄设备,拍摄设备可进行航拍,并通过无人飞行器的通信***将航拍的视频通过无线的方式发送给地面的接收设备例如用户终端、遥控器等。
无人飞行器的拍摄设备在不同时间拍摄的场景或物体可能不同,因此,每帧图像数据对应的码流数据大小会实时变化(即信源会实时变化);此外,受到无人飞行器与接收设备之间的距离、相对位置、是否存在遮挡、是否存在电磁干扰等因素的影响,无人飞行器与接收设备之间的信道带宽也会实时变化(即信道会实时变化),信源信道的变化相互独立,难以预测。目前帧级别图像数据的传输和接收方式相对固定,难以适应实时变化的信源信道,缺乏有效的图像传输和图像接收方法,可能导致由于实时信源和信道失配问题而形成的图像传输延时抖动。
发明内容
本发明实施例提供一种视频传输、接收方法、***、设备及无人飞行器,以有效降低视频数据的传输延时抖动。
本发明实施例的一个方面是提供一种视频传输方法,包括:
将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
本发明实施例的另一个方面是提供一种视频接收方法,包括:
接收多个编码后的子视频数据单元;
对所述多个编码后的子视频数据单元进行解码;
根据解码后的子视频数据单元重建所述视频数据,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
本发明实施例的另一个方面是提供一种视频传输***,包括:
一个或多个成像装置,被配置为采集视频数据;以及
所述可移动物体上的一个或多个处理器,单独或协同工作,所述处理器被配置为:
将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
本发明实施例的另一个方面是提供一种接收设备,包括:通讯接口、一个或多个处理器,单独或协同工作,所述通讯接口和所述处理器通讯连接;
所述通讯接口用于接收多个编码后的子视频数据单元;
所述一个或多个处理器用于:控制解码器对所述多个编码后的子视频数据单元进行解码;根据解码后的子视频数据单元重建所述视频数据,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
本发明实施例的另一个方面是提供一种无人飞行器,包括:
机身;
动力***,安装在所述机身,用于提供飞行动力;
以及上述的视频传输***。
本实施例提供的视频传输、接收方法、***、设备及无人飞行器,通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择一个或多个编码后的子视频数据单元并所述所述选中的子视频数据单元,以使选择出的一个或多个编码后的子视频数据单元符合信道特性,当选择出的一个或多个编码后的子视频数据单元在与其匹配的信道上传输时,可以有效地解决信源与信道的失配问题,可有效降低视频数据由于信源信道失配问题而造成的传输延时抖动。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的传输延时抖动的示意图;
图2为本发明实施例提供的视频传输方法的流程图;
图3为本发明实施例提供的构成子视频数据单元的示意图;
图4为本发明另一实施例提供的构成子视频数据单元的示意图;
图5为本发明另一实施例提供的构成子视频数据单元的示意图;
图6为本发明另一实施例提供的视频传输方法的流程图;
图7为本发明实施例提供的一帧图像的结构示意图;
图8为本发明实施例提供的一帧图像经过哈达玛变换后的系数图像;
图9为本发明实施例提供的空间变换分解的示意图;
图10为本发明实施例提供的空间下采样分解的示意图;
图11为本发明实施例提供的视频接收方法的流程图;
图12为本发明实施例提供的解码后的子图像的示意图;
图13为本发明另一实施例提供的解码后的子图像的示意图;
图14为本发明实施例提供的重建原始图像的示意图;
图15为本发明另一实施例提供的重建原始图像的示意图;
图16为本发明实施例提供的视频传输***的结构图;
图17为本发明实施例提供的接收设备的结构图;
图18为本发明实施例提供的无人飞行器的结构图。
附图标记:
11-子图像 12-子图像 13-子图像 14-子图像
21-子图像 22-子图像 23-子图像 24-子图像
31-子图像 32-子图像 33-子图像 34-子图像
41-子图像 42-子图像 43-子图像 44-子图像
51-子图像 52-子图像 53-子图像 54-子图像
61-子图像 62-子图像 63-子图像 64-子图像
310-子视频数据单元 320-子视频数据单元 330-子视频数据单元
340-子视频数据单元 410-子视频数据单元 420-子视频数据单元
430-子视频数据单元 50-图像帧 510-子视频数据单元
520-子视频数据单元 530-子视频数据单元 540-子视频数据单元
550-子视频数据单元 560-子视频数据单元 570-子视频数据单元
580-子视频数据单元 1600-视频传输*** 1601-成像装置
1602-处理器 1700-接收设备 1701-通讯接口 1702-处理器
1800-无人飞行器 1801-电机 1802-螺旋桨
1803-电子调速器 1804-飞行控制器
1806-处理器 1807-支撑设备 1805-成像装置
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图像数据的传输延时的稳定性是衡量图传***性能的重要指标,保证图像数据传输延时是保证接收端的视频图像流畅显示的基本条件,然而,在图像传输的过程中,信源、信道的实时变化会引起帧与帧之间传输延时的抖动,降低图传***的性能,下面先结合图1,分别以信源变化和信道变化为例,详细描述帧级别的图像数据传输延时的抖动问题。
图1包括场景一和场景二,在场景一中,发送端和接收端之间的信道的带宽保持稳定。在利用该信道传输图像数据的过程中,假设发送端的相机突然运动,或者相机拍摄范围内的物体突然快速移动,例如,在某一时刻,相机的拍摄对象是蓝色的天空,在下一时刻时,相机突然转向去拍摄在天空中飞行的五颜六色的热气球,导致帧4编码后对应的码流数据大小增加至帧3编码后对应的码流数据大小的两倍,即信源发生突然的变化,此时,帧4的传输延时会变为帧3的传输延时的两倍。
在场景二中,每帧图像对应的码流数据大小基本保持稳定,即信源保持稳定。在传输图像数据的过程中,假设帧4对应的信道带宽突然降为帧3对应的信道带宽的一半,例如携带拍摄设备的无人飞行器在对拍摄对象进行拍摄时,拍摄对象基本不变,然而在飞行的过程中,无人飞行器突然靠近了附近的无线通讯基站,此时无线通讯基站会对无人飞行器的传输信道产生影响,即导致信道发生变化,信道的带宽下降为原带宽的一半,同样地,帧4的传输延时也会变为帧3的传输延时的两倍。
从图1的描述可以看出,无论是信源变化还是信道变化,都会引起帧级别的图像数据传输延时的抖动,另外信源的变化和信道的变化相互独立,难以预测,目前对每帧图像数据的编码方式相对固定,无法适应实时变化的信源信道。
下面结合图1,详细描述本发明实施例提供的用于视频传输的方法,以有效降低视频数据的传输延时抖动。
为了解决上述问题,本发明实施例提供一种视频传输方法。图2为本发明实施例提供的视频传输方法的流程图。如图2所示,本实施例中的方法,可以包括:
步骤S201、将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像。
本实施例的执行主体可以是具有图像处理功能的处理器、控制器,也可能是通用处理器,在这里不作具体的限定。本实施例以图像处理器为例介绍视频传输方法的原理,图像处理器实时获取无人飞行器上搭载的拍摄设备拍摄的视频数据,该视频数据可以包括一帧图像,也可以包括连续的多帧图像,图像处理器可将视频数据分解为多个子视频数据单元,本实施例不限定对视频数据进行分解后得到的子视频数据单元的个数,每个子视频数据单元包括一个或多个子图像。其中,将视频数据分解为多个子视频数据单元的一种可行的实现方式是:将视频数据包括的每个图像帧即每帧图像分解为多个子图像,选中每个图像帧的至少一个子图像,被选中的子图像构成子视频数据单元,即子视频数据单元包括视频数据中每一个图像帧分解得到的多个子图像中的至少一个。本实施例不限定一个视频数据包括的图像帧的个数,为了示意性说明视频数据的分解过程,假设该视频数据包括6个图像帧,即6帧图像,此外,在其他实施例中,视频数据包括的图像帧的个数还可以是其他值。
如图3所示,该视频数据包括6个图像帧,分别为帧1、帧2、帧3、帧4、帧5、帧6,对帧1、帧2、帧3、帧4、帧5、帧6分别进行分解,本实施例不限定每个图像帧分解成的子图像的个数,如图3所示,每个图像帧被分解为4个子图像,此处只是示意性说明,对每个图像帧分解后得到的子图像的个数还可以是其他值。每个子视频数据单元包括对6个图像帧中每一个进行分解后,每一个图像帧对应的4个子图像中的至少一个子图像。可选的,每个子视频数据单元包括6个图像帧中每一个图像帧对应的4个子图像中的一个子图像,如图3所示,子视频数据单元310包括帧1的一个子图像11、帧2的一个子图像21、帧3的一个子图像31、帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;同理,子视频数据单元320、子视频数据单元330、子视频数据单元340分别包括6个图像帧中每个图像帧的一个子图像。
另外,不同子视频数据单元包括的子图像的个数还可以不同,如图4所示,子视频数据单元410包括帧1的两个子图像11、12,帧2的两个子图像21、22,帧3的两个子图像31、32,帧4的一个子图像41、帧5的一个子图像51、帧6的一个子图像61;子视频数据单元420包括帧1的一个子图像13,帧2的一个子图像23,帧3的一个子图像33,帧4的两个子图像42、43,帧5的两个子图像52、53,帧6的两个子图像62、63;子视频数据单元430包括6个图像帧中每个图像帧的一个子图像。
可选的,每个子视频数据单元包括的子图像不重叠。多个图像帧中每个图像帧对应的多个子图像中的至少一个子图像组合构成子视频数据单元的方式还可以有其他的组合方式,此处不再一一列举。
此外,视频数据还可能只包括一个图像帧即一帧图像,如图5所示,50表示视频数据包括的一个图像帧,对该图像帧50进行分解,本实施例不限定对一个图像帧进行分解后得到的子图像的个数,可选的,将该图像帧50分解为4个子图像,如图5所示的子图像11、子图像12、子图像13、子图像14。用子图像11、子图像12、子图像13、子图像14构成子视频数据单元可分为如下几种可实现的方式:
一种可实现的方式是:每个子视频数据单元包括一个子图像,如图5所示的子视频数据单元510、子视频数据单元520、子视频数据单元530、子视频数据单元540。
另一种可实现的方式是:每个子视频数据单元包括两个子图像,本实施例不限定一个子视频数据单元中包括的两个子图像的组合方式,可选的,如图5所示的子视频数据单元550和子视频数据单元560,其中,子视频数据单元550包括子图像11和子图像12,子视频数据单元560包括子图像13和子图像14。
再一种可实现的方式是:每个子视频数据单元包括的子图像的个数不同,如图5所示的子视频数据单元570和子视频数据单元580,其中,子视频数据单元570包括3个子图像,子视频数据单元580包括1个子图像,或者,子视频数据单元570包括1个子图像,子视频数据单元580包括3个子图像,本实施例不限定,构成一个子视频数据单元的3个子图像的组合方式,可选的,子视频数据单元570包括子图像11、子图像12、子图像13,子视频数据单元580包括子图像14。
步骤S202、对所述多个子视频数据单元分别进行编码。
图像处理器以每个子视频数据单元为编码单位,对多个子视频数据单元中的每个子视频数据单元分别进行编码,编码后得到多个码流数据,可选的,对一个子视频数据单元编码后得到一个码流数据,此处的编码包括信源编码和/或信道编码,信源编码的方式可以包括H.263,H.264,H.265,MPEG4等,信道编码的方式可以包括纠错编码,纠错码的类型可以包括RS码即里德-所罗门码、卷积码、Turbo码、Polar码、交织码、伪随机序列扰码等。
步骤S203、基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
在本实施例中,信道的一个或多个特性至少包括带宽。或者,信道的一个或多个特性包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽。
子视频数据单元的一个或多个特性包括:所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
图像处理器基于当前无线信道的一个或多个特性,以及子视频数据单元的一个或多个特性,从多个编码后的子视频数据单元中选择一个或多个通过无线信道进行传输,例如发送给接收设备,该接收设备可以是遥控器智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合。其中,选择一个或多个编码后的子视频数据单元可通过如下几种可行的方式实现:
第一种可行的方式为:选择一个或多个编码后的子视频数据单元,以使所述一个或多个编码后的子视频数据单元的总的码流数据大小与信道带宽匹配。
例如,图像处理器对视频数据分解后得到如图3所示的4个子视频数据单元310-340,对4个子视频数据单元分别编码后得到码流数据的大小为S0、S1、S2、S3,当前无线信道的带宽为T,则图像处理器可根据无线信道的带宽T,从4个码流数据中选择一个或多个码流数据,选择的依据可以是:被选择的一个或多个码流总的大小尽量接近于无线信道的带宽T,即从多个子视频数据单元中选取一个或多个来进行组合,使得组合后子视频数据单元的总的码流数据大小尽可能接近无线信道的带宽,保证无线信道能够以当前的带宽发送码流数据尽可能大的子视频数据单元。例如,S0、S1、S2、S3的和小于或等于信道的当前带宽,可以选择编码后的子视频数据单元310、子视频数据单元320、子视频数据单元330、子视频数据单元340来传输,当S0、S1、S2、S3的和大于T,可以从S0、S1、S2、S3中选取码流数据最大的三个,假设码流数据最大的三个为S0、S1、S2,若S0、S1、S2的和小于T,则图像处理器可选择编码后的子视频数据单元310、子视频数据单元320、子视频数据单元330来传输,以此类推,当S0、S1、S2的和大于T,可以选取其他以当前的无线信道的带宽可以发送的码流数据的和最大的子视频数据单元的组合。
第二种可行的方式为:多个子视频数据单元依据所述能量集中度进行优先级排序。根据所述子视频数据单元的优先级和信道带宽,选择所述一个或多个编码后的子视频数据单元。
由于多个子视频数据单元中的每个子视频数据单元的能量集中度可以相同或相近,也可以不同,因此,在其他实施例中,如果每个子视频数据单元的能量集中度不同,还可以基于每个子视频数据单元的能量集中度对该多个子视频数据单元进行优先级排序,可选的,能量集中度越大,优先级越高。例如,图像处理器对视频数据分解后得到如图3、4或5所示的4个子视频数据单元,该4个子视频数据单元分别记为子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D,且4个子视频数据单元的优先级依次递减,对子视频数据单元A编码后的码流数据大小为S0,对子视频数据单元B编码后的码流数据大小为S1,对子视频数据单元C编码后的码流数据大小为S2,对子视频数据单元D编码后的码流数据大小为S3。
在某些情况下,图像处理器需要根据编码后子视频数据单元的码流数据大小和信道带宽来选择子视频数据单元并传输,在某些情况下需要根据子视频数据单元的优先级和信道的带宽选择子视频数据单元并传输。例如,从上述4个编码后的子视频数据单元中选择出的一个或多个编码后的子视频数据单元,选择的依据可以是:被选择的一个或多个编码后的子视频数据单元的总的码流数据大小小于信道带宽,且优先选择优先级较高的子视频数据单元,从而保证高优先级的子视频数据单元优先被发送。例如,当S0、S1、S2、S3的和小于或等于信道的当前带宽,可以选择编码后的子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D来传输,当S0、S1、S2、S3的和大于T,则确定前3个优先级较高的码流数据即编码后的子视频数据单元A、编码后的子视频数据单元B和编码后的子视频数据单元C,若S0、S1、S2的和小于T,则图像处理器对编码后的子视频数据单元A、编码后的子视频数据单元B和编码后的子视频数据单元C进行传输;若S0、S1、S2的和大于T,则确定前两个优先级较高的子视频数据单元A、子视频数据单元B,以此类推,保证至少将优先级最高的子视频数据单元A传输。
本实施例通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择一个或多个编码后的子视频数据单元,以使选择出的一个或多个编码后的子视频数据单元符合信道特性,可以有效地解决信源与信道的失配问题,可有效降低视频数据由于信源信道失配问题而造成的传输延时抖动。
本发明实施例提供一种视频传输方法。图6为本发明另一实施例提供的视频传输方法的流程图。在图2所示实施例的基础上,视频数据包括一个或多个图像帧,如图6所示,本实施例中的方法,可以包括:
步骤S601、将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像。
在上述实施例的基础上,视频数据可以包括一帧图像,也可以包括连续的多帧图像,本实施例不限定一帧图像包括的像素点的个数,也不限定每个像素点的像素值。图像处理器对视频数据进行分解时,具体可以将该视频数据中的一帧或多帧图像中的每一帧图像分解为多个子图像,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
具体的,将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,本实施例以视频数据包括的一帧图像为例,介绍对该帧图像进行空间分解的过程,具体可通过如下几种可行的方式实现:
第一种可行的方式:利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶变换、沃尔什-哈达玛变换、哈尔变换或斜变换中选择的。本实施例具体以哈达玛变换为例,介绍对该帧图像进行空间分解的过程。在其他实施例中,还可以采用其他的空间变换对该帧图像进行空间分解。
如图7所示为一帧图像的示意图,本实施例不限定一帧图像包括的像素点的个数,以一帧图像包括16个像素点为例,其中,P1-P16表示16个像素点的像素值,对于16个像素点中每4个相邻的像素点的像素值进行空间变换分解,分解成4个子图像,下面以哈达玛变换来进行示意性说明,具体的空间变换分解过程包括如下步骤:
步骤1、以16个像素点中每4个相邻的像素点为一个单位进行哈达玛变换,例如,P1、P2、P3、P4经过哈达玛变换后得到的转换系数为H1、H2、H3、H4,其中,P1、P2、P3、P4和H1、H2、H3、H4之间的关系满足公式(1)、(2)、(3)、(4):
H1=(P1+P2+P3+P4+1)>>1 (1)
H2=(P1+P2–P3–P4+1)>>1 (2)
H3=(P1+P3–P2–P4+1)>>1 (3)
H4=(P1+P4–P2–P3+1)>>1 (4)
根据公式(1)、(2)、(3)、(4)可知H1包含有4个像素点的平均能量,H2包含有4个像素点在垂直方向的平均梯度,H3包含有4个像素点在水平方向的平均梯度,H4包含有4个像素点的交叉梯度即纹理信息。可见,H1的能量集中度最高,H2和H3的能量集中度次之,H4的能量集中度最小,在用H1、H2、H3和H4恢复P1、P2、P3、P4时,H1是必不可少的,即H1最重要,其次是H2、H3重要,最后是H4重要,因此,H1最重要、H2、H3的重要性次之、H4的重要性最小,即H1、H2、H3、H4的重要性依次递减。同理,对P5-P8进行同样的哈达玛变换得到H5-H8,H5、H6、H7、H8的能量集中度依次递减,H5、H6、H7、H8的重要性依次递减,对P9-P12进行同样的哈达玛变换得到H9-H12,H9、H10、H11、H12的能量集中度依次递减,H9、H10、H11、H12的重要性依次递减,对P13-P16进行同样的哈达玛变换得到H13-H16,H13、H14、H15、H16的能量集中度依次递减,H13、H14、H15、H16的重要性依次递减,得到如图8所示的系数图像。
步骤2、将哈达玛变换后得到的转换系数分解到不同的子图像中,本实施例不限定对每帧图像空间变换分解后得到的子图像的个数,例如分解后得到的子图像的个数是4个,此处只是示意性说明,在其他实施例中,对每帧图像空间变换分解后得到的子图像的个数还可以是其他值。可选的,将H1分到第一个子图像、将H2分到第二个子图像、将H3分到第三个子图像、将H4分到第四个子图像。同理,将H5-H8分解到4个子图像中,将H9-H12分解到4个子图像中,将H13-H16分解到4个子图像中,得到如图9所示的分解结果,其中,子图像1集中了能量集中度最高的转换系数,子图像2和子图像3集中了能量集中度次之的转换系数,子图像4集中了能量集中度最小的转换系数,因此子图像1最重要,子图像2、子图像3的重要性次之,子图像4的重要性最小。
根据图9可知,空间变换分解后的4个子图像中每个子图像的分辨率是分解前原始图像的四分之一。
第二种可行的方式:利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
本实施例不限定对每帧图像空间下采样分解后得到的子图像的个数,例如分解后得到的子图像的个数是4个,此处只是示意性说明,在其他实施例中,对每帧图像空间下采样分解后得到的子图像的个数还可以是其他值,在图7的基础上,对于16个像素点中每4个相邻的像素点的像素值进行空间下采样,分解成4个子图像,具体的空间下采样分解过程为:以16个像素点中每4个相邻的像素点为一个单位,将一个单位中的4个像素点分解到不同的子图像中,例如,将P1分解到第一个子图像,将P2分解到第二个子图像,将P3分解到第三个子图像,将P4分解到第四个子图像,同理,将P5-P8分解到4个子图像,将P9-P12分解到4个子图像,将P13-P16分解到4个子图像,得到如图10所示的分解结果。
根据图10可知,空间下采样分解后的4个子图像中每个子图像的分辨率是分解前原始图像的四分之一。不失一般性,假设分解前原始图像的大小为W*H,若将原始图像分解为4个子图像,原始图像或子图像对应的像素矩阵的行号或列号从0开始计数,则第一个子图像中可包含原始图像中坐标为(2i,2j)的像素点,其中,第二个子图像中可包含原始图像中坐标为(2i+1,2j)的像素点,第三个子图像中可包含原始图像中坐标为(2i,2j+1)的像素点,第四个子图像中可包含原始图像中坐标为(2i+1,2j+1)的像素点。
根据上述分解方式中的任一一种即空间变换或空间下采样方式即可将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。在本实施例中,一个图像帧即为一帧图像,多个图像帧即为多帧图像。所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
若视频数据中有一个图像帧,则该图像帧的分解方式如图9或图10所示,子视频数据单元可以包括该图像帧分解后得到的多个子图像中的至少一个子图像,例如一个子视频数据单元包括一个子图像,对分解后得到的每个子图像进行压缩、编码即可得到编码后的码流数据。
若视频数据中有连续的多个图像帧,则每一个图像帧即每一帧图像的分解方式如图9或图10所示,例如视频数据包括24个图像帧,若每一个图像帧被分解为4个子图像,则连续的24个图像帧被分解后将得到24*4个子图像,每个子视频数据单元可包括24*4个子图像中的多个子图像,具体地,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的每个图像帧对应的多个子图像中的至少一个子图像,所述子视频数据单元可以为4个,其中,所述子视频数据单元中的每一个都包括24个图像帧中每一个图像帧的一个子图像。对每个子视频数据单元进行压缩、编码即可得到编码后的码流数据。
根据图9或图10可知,每个子图像包括图像帧的一部分。如图10所示,每个子图像包括图像帧的一个或多个像素。如图9所示,每个子图像包括图像帧的一个或多个转换系数。接收设备在重建如图7所述的一帧图像时,图10中,子图像1、子图像2、子图像3、子图像4的重要性相同。图9中,子图像1最重要,子图像2、子图像3的重要性次之,子图像4的重要性最低,在本实施例中,多个子视频数据单元依据所述能量集中度进行优先级排序。由于子图像1集中了能量集中度最高的转换系数,子图像2和子图像3集中了能量集中度次之的转换系数,子图像4集中了能量集中度最小的转换系数,若一个子视频数据单元包括一个子图像,则包含子图像1的子视频数据单元的优先级最高,包含子图像2或子图像3的子视频数据单元的优先级次之,包含子图像4的子视频数据单元的优先级最低。
步骤S602、对所述多个子视频数据单元分别进行编码。
对所述多个子视频数据单元分别进行编码可通过如下几种可行的方式实现:
第一种可行的方式:多个子视频数据单元由多个单独的编码器进行编码。
具体的,采用所述多个单独的编码器对所述多个子视频数据单元并行编码;或者,采用不同的视频编码规则对所述多个子视频数据单元进行编码;或者,采用相同的视频编码规则对所述多个子视频数据单元进行编码。
第二种可行的方式:多个子视频数据单元中的两个或多个由同一个编码器进行编码。
第三种可行的方式:基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
第四种可行的方式:依据不同的压缩率对所述多个子视频数据单元进行压缩。该压缩率是根据所述子视频数据单元的一个或多个特性确定的。
步骤S603、基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
在本实施例中,若一个子视频数据单元包括一个子图像,如图9所示,子图像1最重要,子图像2、子图像3的重要性次之,子图像4的重要性最低,则包含子图像1的子视频数据单元的优先级最高,包含子图像2或子图像3的子视频数据单元的优先级次之,包含子图像4的子视频数据单元的优先级最低。对包含子图像1的子视频数据单元A编码后的码流数据大小为S0,对包含子图像2的子视频数据单元B编码后的码流数据大小为S1,对包含子图像3的子视频数据单元C编码后的码流数据大小为S2,对包含子图像4的子视频数据单元D编码后的码流数据大小为S3。图像处理器可根据历史数据的收发错误状态、当前子视频数据单元的优先级、当前子视频数据单元编码后的码流数据大小,以及实时信道的估计值例如信道带宽,对4个子视频数据单元进行组合发送,以达到信源和信道实时匹配。例如,当S0、S1、S2、S3的和小于或等于信道的当前带宽,可以选择编码后的子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D来传输,当S0、S1、S2、S3的和大于T,则确定前3个优先级较高的码流数据即编码后的子视频数据单元A、编码后的子视频数据单元B和编码后的子视频数据单元C,若S0、S1、S2的和小于T,则图像处理器对编码后的子视频数据单元A、编码后的子视频数据单元B和编码后的子视频数据单元C进行传输;若S0、S1、S2的和大于T,则确定前两个优先级较高子视频数据单元A、子视频数据单元B,以此类推,保证至少将优先级最高的子视频数据单元A传输。
在某些实施例中,若一个子视频数据单元包括一个子图像,如图10所示,子图像1、子图像2、子图像3、子图像4的重要性相同,或者在某些情况下子图像1、子图像2、子图像3、子图像4的重要性不能确定,即包含子图像1的子视频数据单元A、包含子图像2的子视频数据单元B、包含子图像3的子视频数据单元C、包含子图像4的子视频数据单元D的优先级相同或者优先级无法确定,对子视频数据单元A编码后的码流数据大小为S0,对子视频数据单元B编码后的码流数据大小为S1,对子视频数据单元C编码后的码流数据大小为S2,对子视频数据单元D编码后的码流数据大小为S3。图像处理器可根据历史数据的收发错误状态、当前子视频数据单元的码流数据大小,以及实时信道的估计值例如信道带宽,对4个子视频数据单元进行组合发送,以达到信源和信道实时匹配。例如,S0、S1、S2、S3的和小于或等于信道的当前带宽,可以选择编码后的子视频数据单元A、子视频数据单元B、子视频数据单元C、子视频数据单元D来传输,当S0、S1、S2、S3的和大于T,可以从S0、S1、S2、S3选取码流数据最大的三个,假设码流数据最大的三个为S0、S1、S2,若S0、S1、S2的和小于T,则图像处理器可选择编码后的子视频数据单元A、子视频数据单元B、子视频数据单元C来传输,以此类推,当S0、S1、S2的和大于T,可以选取其他以当前的无线信道的带宽可以发送的码流数据的和最大的子视频数据单元的组合。
此外,若无线信道允许的延时抖动对应的发送数据量为D,则组合后的码流数据大小可落在[T-D,T+D]的范围内。
本实施例通过将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,具体的空间分解包括空间变换分解和空间下采样分解,使得分解后得到的子图像包括图像帧的一个或多个像素,或者包括图像帧的一个或多个转换系数,由分解后得到的子图像组合成子视频数据单元,在发送编码后的子视频数据单元时,使得子视频数据单元编码后的码流数据大小与信道的特性(例如带宽)相匹配,或者使得子视频数据单元的优先级与信道的特性(例如带宽)相匹配,这样能实现信源和信道匹配,减小了帧级别的视频数据由于信源信道失配问题而造成的传输延时抖动。
本发明实施例提供一种视频接收方法。图11为本发明实施例提供的视频接收方法的流程图。如图11所示,本实施例中的方法,可以包括:
步骤S1101、接收多个编码后的子视频数据单元。
,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
具体的,当视频数据包括一帧或多帧图像时,对视频数据的分解可以如图3、图4或图5所示,得到子视频数据单元;其中,对视频数据的每一帧图像进行分解可以如图9或图10所示,具体分解过程和上述实施例一致,此处不再赘述。
在本实施例中,接收设备接收无人飞行器的通信***发送的多个编码后的子视频数据单元,其中视频数据可以包括一个或多个图像帧,无人飞行器在发送视频数据前,将视频数据中包括的每一个图像帧都分解成多个子图像,具体的分解方法请参见本文前述部分,子视频数据单元包括每一个图像帧分解得到的每个图像帧对应的多个子图像中的至少一个,即每一个子视频数据单元中都包括每一个图像帧的至少一个子图像,以降低每个子视频数据单元中子图像之间的相关性,避免由于子视频数据单元在传输过程中丢失或失真而导致相关性较高的子图像丢失或失真。因为,同一帧图像分解后得到的子图像之间的相关性较高,而相关性较高的子图像丢失或失真时,将很难恢复由相关性较高的子图像构成的图像帧。
例如,接收设备接收到4个子视频数据单元,每个子视频数据单元包括一个如图9或图10分解得到的子图像。
步骤S1102、对所述多个编码后的子视频数据单元进行解码。
具体的,对所述多个编码后的子视频数据单元分别进行解码,例如,接收设备对该4个编码后的子视频数据单元分别进行解码,即对4个子图像对应的码流数据分别进行解码,得到解码后的子视频数据单元。当子视频数据单元在无线信道中传输时,由于噪声干扰、多径效应、衰落等原因,可能导致接收设备解码后得到的子视频数据单元与无人飞行器的通信***实际发送的编码后的子视频数据单元不同,从而导致接收设备接收错误。
若通信***发送的是如图9所示的4个编码后的子图像,则接收设备对码流数据解码后得到的4个子图像如图12所示,其中,若子图像1传输正确,则H1和h1相同、H2和h2相同、H3和h3相同、H4和h4相同,若子图像1传输错误,则H1和h1、H2和h2、H3和h3、H4和h4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的转换系数和传输之后的转换系数也存在同样的关系。
若通信***发送的是如图10所示的4个编码后的子图像,则接收设备对码流数据解码后得到的4个子图像如图13所示,其中,若子图像1传输正确,则P1和p1相同、P2和p2相同、P3和p3相同、P4和p4相同,若子图像1传输错误,则P1和p1、P2和p2、P3和p3、P4和p4中至少有一组不相同。同理,其他子图像传输正确或传输错误,传输之前的像素和传输之后的像素也存在同样的关系。
步骤S1103、根据解码后的子视频数据单元重建所述视频数据。
具体的,检测所述子视频数据单元的一个或多个子图像的传输错误,并根据接收正确的子图像重建所述视频数据。例如,接收设备对码流数据解码得到4个子图像后,检测每个子图像传输正确或传输错误,并根据接收正确的子图像重建原始图像。
在本实施例中,通信***发送的子图像为图9所示的子图像,接收设备接收到的子图像如图12所示,在图12中,假设子图像2接收错误,子图像1、子图像3、子图像4均接收正确,则接收设备根据图12所示的子图像1、子图像3、子图像4重建原始图像,在重建原始图像时,采用逆变换重建视频数据,且给子视频数据单元中传输错误的子图像分配一个值,一种可行的实现方式是:给子视频数据单元中传输错误的子图像分配的值为0。例如,在图12中,将子图像2的h2、h6、h10、h14均置为0,通过上述实施例可知,H1、H2、H3、H4是根据P1、P2、P3、P4得到的,因此,在重建原始图像时,需要对h1、h2、h3、h4进行哈达玛逆变换,若空间变换分解图像帧时采用的是其他的空间变换,则接收设备重建原始图像时,采用相应的空间变换的逆变换,本实施例对h1、h2、h3、h4进行哈达玛逆变换后,得到p1、p2、p3、p4,其中,h1、h2、h3、h4和p1、p2、p3、p4之间的关系满足公式(5)、(6)、(7)、(8):
p1=(h1+h2+h3+h4+1)>>1 (5)
p2=(h1+h2-h3-h4+1)>>1 (6)
p3=(h1+h3-h2-h4+1)>>1 (7)
p4=(h1+h4-h2-h3+1)>>1 (8)
其中,h2为0,H1和h1相同、H3和h3相同、H4和h4相同,因此,经过哈达玛逆变换得到的p1、p2、p3、p4和原始图像中的像素值P1、P2、P3、P4可能不同,但是根据接收正确的子图像重建原始图像,能够保证重建的图像接近原始图像。同理,对h5、h6、h7、h8进行哈达玛逆变换得到p5、p6、p7、p8,对h9、h10、h11、h12进行哈达玛逆变换得到p9、p10、p11、p12,对h13、h14、h15、h16进行哈达玛逆变换得到p13、p14、p15、p16,其中,h6、h10、h14均为0,再根据哈达玛逆变换得到的p1-p16重建原始图像,如图14所示。
在其他实施例中,通信***发送的子图像为图10所示的子图像,接收设备接收到的子图像如图13所示,在图13中,假设子图像3接收错误,子图像1、子图像2、子图像4均接收正确,则接收设备根据图13所示的子图像1、子图像2、子图像3、子图像4重建原始图像,在重建原始图像时,给子视频数据单元中传输错误的子图像分配一个值,另一种可行的实现方式是:给子视频数据单元中传输错误的子图像分配的值是采用插值法确定的,具体的,给子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的,且传输错误的子图像和传输正确的子图像来自同一个图像帧。例如,在图13中,子图像3接收错误,子图像1、子图像2、子图像4均接收正确,则子图像3不参与重建过程,即接收设备只根据子图像1、子图像2、子图像4重建原始图像,具体过程如下:由于原始图像包括16个像素,子图像1、子图像2、子图像4一共有12个像素,根据图10可知,原始图像中16个像素点中每4个相邻的像素点被分解到4个不同的子图像中,因此,根据子图像1、子图像2、子图像4重建原始图像时,子图像1的第一个像素p1、子图像2的第一个像素p2、子图像4的第一个像素p4分别是原始图像第一组相邻4个像素中的3个像素P1、P2、P4,同理,p5、p6、p8分别是原始图像P5-P8中的3个像素P5、P6、P8,p9、p10、p12分别是原始图像P9-P12中的3个像素P9、P10、P12,p13、p14、p16分别是原始图像P13-P16中的3个像素P 13、P 14、P 16,根据p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16可得到如图15所示的图像A,图像A中空余的像素即是接收错误的子图像3包括的像素,由于子图像3接收错误,因此,子图像3不能参与重建原始图像的过程。由于p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16都是正确接收的,即p1、p2、p4、p5、p6、p8、p9、p10、p12、p13、p14、p16分别与原始图像相同位置上的像素点相同,本实施例可根据插值法确定图像A中空余的像素值,一种可行的插值法是:p3等于p1、p2、p4的算数平均值,p7等于p5、p6、p8的算数平均值,p11等于p9、p10、p12的算数平均值,p15等于p13、p14、p16的算数平均值,从而得到重建的原始图像B。其中,这里只是给出了插值确定图像A中空余的像素值的一种方法,本领域技术人员可以采用其他的插值方式确定图像A中空余像素值,在这里不做具体限定。
本实施例通过接收设备对多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,具体的,根据解码后接收正确的子图像重建原始图像,可以在部分子图像接收错误的情况下,使得重建的图像最大程度的接近原始图像,提高了接收设备在重建图像过程中的容错能力,增强了***的鲁棒性。
本发明实施例提供一种视频传输***。图16为本发明实施例提供的视频传输***的结构图,如图16所示,视频传输***1600包括一个或多个成像装置1601、以及可移动物体上的一个或多个处理器1602,一个或多个成像装置1601被配置为采集视频数据;一个或多个处理器1602单独或协同工作,被配置为:将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;对所述多个子视频数据单元分别进行编码;以及基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
其中,所述信道的一个或多个特性至少包括带宽。或者,所述信道的一个或多个特性包括如下至少一种:噪声、干扰、信噪比、误比特率、衰落速率、带宽。
其中,所述子视频数据单元的一个或多个特性包括:所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
可选的,所述一个或多个编码后的子视频数据单元的总的码流数据大小与信道带宽匹配。或者,所述多个子视频数据单元依据所述能量集中度进行优先级排序。处理器1602选择一个或多个编码后的子视频数据单元时,被配置为:根据所述子视频数据单元的优先级和信道带宽,选择所述一个或多个编码后的子视频数据单元。
本发明实施例提供的视频传输***的具体原理和实现方式均与图2所示实施例类似,此处不再赘述。
本实施例通过将视频数据分解为多个子视频数据单元,并对多个子视频数据单元分别进行编码,根据信道特性和子视频数据单元的特性,选择一个或多个编码后的子视频数据单元,以使选择出的一个或多个编码后的子视频数据单元符合信道特性,当选择出的一个或多个编码后的子视频数据单元在与其匹配的信道上传输时,可以有效地解决信源与信道的失配问题,可有效降低视频数据由于信源信道失配问题而造成的传输延时抖动。
本发明实施例提供一种视频传输***。在图16所示实施例提供的技术方案的基础上,所述视频数据包括一个或多个图像帧。处理器1602将视频数据分解为多个子视频数据单元时,被配置为:将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,所述子视频数据单元中的每一个包括所述图像帧中每一个分解得到的多个子图像中的至少一个子图像。每个子图像包括所述图像帧的一部分。具体的,每个子图像包括所述图像帧的一个或多个像素。或者,每个子图像包括所述图像帧的一个或多个转换系数。
具体的,处理器1602将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像时,被配置为:将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
处理器1602将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像时,被配置为:利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。其中,所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶变换、沃尔什-哈达玛变换、哈尔变换或斜变换中选择的。
或者,处理器1602将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像时,被配置为:利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
另外,处理器1602对所述多个子视频数据单元分别进行编码时可通过如下几种可行的方式实现:
第一种可行的方式:
处理器1602控制多个编码器对所述多个子视频数据单元进行编码。具体的,处理器1602控制所述多个编码器对所述多个子视频数据单元并行编码;或者,处理器1602控制所述多个编码器分别采用不同的视频编码规则对所述多个子视频数据单元进行编码;再或者,处理器1602控制所述多个编码器采用相同的视频编码规则对所述多个子视频数据单元进行编码。
第二种可行的方式:处理器1602控制编码器对所述多个子视频数据单元中的两个或多个进行编码。
第三种可行的方式:处理器1602控制编码器基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
第四种可行的方式:处理器1602被配置为:依据不同的压缩率对所述多个子视频数据单元进行压缩。其中,压缩率是根据所述子视频数据单元的一个或多个特性确定的。
其中,编码器可以是独立于处理器1602且与处理器1602电连接的一个硬件实体,也可以是处理器1602内用于实现编码功能的软件。
在本实施例中,可移动物体为无人飞行器。一个或多个成像装置1601通过载体与所述可移动物体连接,该载体可以是一种多轴万向节。
本发明实施例提供的视频传输***的具体原理和实现方式均与图2-10所示实施例类似,此处不再赘述。
本实施例通过将视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,具体的空间分解包括空间变换分解和空间下采样分解,使得分解后得到的子图像包括图像帧的一个或多个像素,或者包括图像帧的一个或多个转换系数,对于一帧图像,可对其分解后得到的多个子图像进行组合后发送,以使组合后的码流数据大小与信道带宽匹配,或者组合后的码流数据还包括重要性较高的子图像对应的码流数据,使得每一帧图像在无线信道上传输时,均能实现信源和信道匹配,减小了帧级别的视频数据由于信源信道失配问题而造成的传输延时抖动。
本发明实施例提供一种接收设备。图17为本发明实施例提供的接收设备的结构图,如图17所示,接收设备1700包括通讯接口1701、一个或多个处理器1702,一个或多个处理器1702单独或协同工作,通讯接口1701和处理器1702通讯连接;通讯接口1701用于接收多个编码后的子视频数据单元,,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像;一个或多个处理器1702用于:控制解码器对所述多个编码后的子视频数据单元进行解码;根据解码后的子视频数据单元重建所述视频数据。
可选的,处理器1702控制解码器对所述多个编码后的子视频数据单元进行解码时,具体用于:控制解码器对所述多个编码后的子视频数据单元分别进行解码。其中,解码器可以是独立于处理器1702且与处理器1702电连接的一个硬件实体,也可以是处理器1702内用于实现解码功能的软件。
另外,处理器1702还用于:检测所述子视频数据单元的一个或多个子图像的传输错误;处理器1702根据解码后的子视频数据单元重建所述视频数据时,具体用于:根据接收正确的子图像重建所述视频数据。
此外,处理器1702还用于给所述子视频数据单元中传输错误的子图像分配一个值。
其中,给所述子视频数据单元中传输错误的子图像分配的值为0。
或者,给所述子视频数据单元中传输错误的子图像分配的值是采用插值法确定的。给所述子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的,且所述传输错误的子图像和所述传输正确的子图像来自同一个图像帧。
处理器1702根据解码后的子视频数据单元重建所述视频数据时,具体用于:采用逆变换重建所述视频数据。
其中,所述接收设备可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合。
本发明实施例提供的接收设备的具体原理和实现方式均与图11-15所示实施例类似,此处不再赘述。
本实施例通过接收设备对多个子视频数据单元分别进行解码,得到解码后的子视频数据单元,并根据解码后的子视频数据单元重建原始图像,具体的,根据解码后接收正确的子图像重建原始图像,可以在部分子图像接收错误的情况下,使得重建的图像最大程度的接近原始图像,提高了接收设备在重建图像过程中的容错能力,增强了***的鲁棒性。
本发明实施例提供一种控制终端,该控制终端包括上述实施例所述的接收设备。例如,该控制终端可以是遥控器、智能手机、平板电脑、地面控制站、膝上型电脑、手表、手环等及其组合,同时还可以在地面控制无人飞行器。
本发明实施例提供一种无人飞行器。图18为本发明实施例提供的无人飞行器的结构图,如图18所示,无人飞行器1800包括:机身、动力***和视频传输***,所述动力***包括如下至少一种:电机1801、螺旋桨1802和电子调速器1803,动力***安装在所述机身,用于提供飞行动力;飞行控制器1804与所述动力***通讯连接,用于控制所述无人飞1806行器飞行;其中,飞行控制器1804包括惯性测量单元及陀螺仪。所述惯性测量单元及所述陀螺仪用于检测所述无人飞行器的加速度、俯仰角、横滚角及偏航角等。
视频传输***包括一个或多个成像装置1805、以及配置在可移动物体上的一个或多个处理器1806,成像装置1805通过支撑设备1807连接到机身,且处理器1806和成像装置1805通讯连接,支撑设备1807具体可以是云台。视频传输***的原理和实现方式均与上述实施例类似,此处不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (67)
1.一种视频传输方法,其特征在于,包括:
将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
2.根据权利要求1所述的方法,其特征在于,所述视频数据包括一个或多个图像帧;
所述将视频数据分解为多个子视频数据单元,包括:
将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,所述子视频数据单元中的每一个包括所述图像帧中每一个分解得到的多个子图像中的至少一个子图像。
3.根据权利要求2所述的方法,其特征在于,每个子图像包括所述图像帧的一部分。
4.根据权利要求3所述的方法,其特征在于,所述每个子图像包括所述图像帧的一个或多个像素。
5.根据权利要求3所述的方法,其特征在于,所述每个子图像包括所述图像帧的一个或多个转换系数。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,包括:
将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
7.根据权利要求6所述的方法,其特征在于,所述将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,包括:
利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
8.根据权利要求7所述的方法,其特征在于,所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶变换、沃尔什-哈达玛变换、哈尔变换或斜变换中选择的。
9.根据权利要求7所述的方法,其特征在于,所述将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像,包括:
利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述信道的一个或多个特性至少包括带宽。
11.根据权利要求1-9任一项所述的方法,其特征在于,所述信道的一个或多个特性包括如下至少一种:
噪声、干扰、信噪比、误比特率、衰落速率、带宽。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述子视频数据单元的一个或多个特性包括:
所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
13.根据权利要求12所述的方法,其特征在于,所述选择一个或多个编码后的子视频数据单元,包括:
选择一个或多个编码后的子视频数据单元,以使所述一个或多个编码后的子视频数据单元的总的码流数据大小与信道带宽匹配。
14.根据权利要求12所述的方法,其特征在于,所述多个子视频数据单元依据所述能量集中度进行优先级排序。
15.根据权利要求14所述的方法,其特征在于,所述选择一个或多个编码后的子视频数据单元,包括:
根据所述子视频数据单元的优先级和信道带宽,选择所述一个或多个编码后的子视频数据单元。
16.根据权利要求1-15任一项所述的方法,其特征在于,所述对所述多个子视频数据单元分别进行编码,包括:
所述多个子视频数据单元由多个单独的编码器进行编码。
17.根据权利要求16所述的方法,其特征在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用所述多个单独的编码器对所述多个子视频数据单元并行编码。
18.根据权利要求16所述的方法,其特征在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用不同的视频编码规则对所述多个子视频数据单元进行编码。
19.根据权利要求16所述的方法,其特征在于,所述多个子视频数据单元由多个单独的编码器进行编码,包括:
采用相同的视频编码规则对所述多个子视频数据单元进行编码。
20.根据权利要求1-15任一项所述的方法,其特征在于,所述对所述多个子视频数据单元分别进行编码,包括:
所述多个子视频数据单元中的两个或多个由同一个编码器进行编码。
21.根据权利要求1-15任一项所述的方法,其特征在于,所述对所述多个子视频数据单元分别进行编码,包括:
基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
22.根据权利要求1-15任一项所述的方法,其特征在于,所述对所述多个子视频数据单元分别进行编码,包括:
依据不同的压缩率对所述多个子视频数据单元进行压缩。
23.根据权利要求22所述的方法,其特征在于,所述压缩率是根据所述子视频数据单元的一个或多个特性确定的。
24.一种视频接收方法,其特征在于,包括:
接收多个编码后的子视频数据单元;
对所述多个编码后的子视频数据单元进行解码;
根据解码后的子视频数据单元重建所述视频数据,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
25.根据权利要求24所述的方法,其特征在于,所述对所述多个编码后的子视频数据单元进行解码,包括:
对所述多个编码后的子视频数据单元分别进行解码。
26.根据权利要求24或25所述的方法,其特征在于,还包括:
检测所述子视频数据单元的一个或多个子图像的传输错误;
所述根据解码后的子视频数据单元重建所述视频数据,包括:
根据接收正确的子图像重建所述视频数据。
27.根据权利要求26所述的方法,其特征在于,还包括:
给所述子视频数据单元中传输错误的子图像分配一个值。
28.根据权利要求27所述的方法,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值为0。
29.根据权利要求27所述的方法,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值是采用插值法确定的。
30.根据权利要求29所述的方法,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的,且所述传输错误的子图像和所述传输正确的子图像来自同一个图像帧。
31.根据权利要求28或29所述的方法,其特征在于,所述根据解码后的子视频数据单元重建所述视频数据,包括:
采用逆变换重建所述视频数据。
32.一种视频传输***,其特征在于,包括:
一个或多个成像装置,被配置为采集视频数据;以及
所述可移动物体上的一个或多个处理器,单独或协同工作,所述处理器被配置为:
将视频数据分解为多个子视频数据单元,其中,每个子视频数据单元包括一个或多个子图像;
对所述多个子视频数据单元分别进行编码;以及
基于信道的一个或多个特性,以及所述子视频数据单元的一个或多个特性,选择一个或多个编码后的子视频数据单元并传输。
33.根据权利要求32所述的***,其特征在于,所述视频数据包括一个或多个图像帧;
所述处理器将视频数据分解为多个子视频数据单元时,被配置为:
将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像,其中,所述子视频数据单元中的每一个包括所述图像帧中每一个分解得到的多个子图像中的至少一个子图像。
34.根据权利要求33所述的***,其特征在于,每个子图像包括所述图像帧的一部分。
35.根据权利要求34所述的***,其特征在于,所述每个子图像包括所述图像帧的一个或多个像素。
36.根据权利要求34所述的***,其特征在于,所述每个子图像包括所述图像帧的一个或多个转换系数。
37.根据权利要求33-36任一项所述的***,其特征在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个分解成多个子图像时,被配置为:
将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
38.根据权利要求37所述的***,其特征在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像时,被配置为:
利用傅里叶相关变换或正交变换将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
39.根据权利要求38所述的***,其特征在于,所述傅里叶相关变换或正交变换是从哈达玛变换、离散余弦变换、离散傅里叶变换、沃尔什-哈达玛变换、哈尔变换或斜变换中选择的。
40.根据权利要求37所述的***,其特征在于,所述处理器将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像时,被配置为:
利用空间下采样将所述视频数据中的一个或多个图像帧中的每一个空间分解成多个子图像。
41.根据权利要求32-40任一项所述的***,其特征在于,所述信道的一个或多个特性至少包括带宽。
42.根据权利要求32-40任一项所述的***,其特征在于,所述信道的一个或多个特性包括如下至少一种:
噪声、干扰、信噪比、误比特率、衰落速率、带宽。
43.根据权利要求32-42任一项所述的***,其特征在于,所述子视频数据单元的一个或多个特性包括:
所述子视频数据单元编码后的码流数据大小,或者所述子视频数据单元的能量集中度。
44.根据权利要求43所述的***,其特征在于,所述处理器选择一个或多个编码后的子视频数据单元时,被配置为:
选择一个或多个编码后的子视频数据单元,以使所述一个或多个编码后的子视频数据单元的总的码流数据大小与信道带宽匹配。
45.根据权利要求35所述的***,其特征在于,所述多个子视频数据单元依据所述能量集中度进行优先级排序。
46.根据权利要求45所述的***,其特征在于,所述处理器选择一个或多个编码后的子视频数据单元时,被配置为:
根据所述子视频数据单元的优先级和信道带宽,选择所述一个或多个编码后的子视频数据单元。
47.根据权利要求32-46任一项所述的***,其特征在于,
所述处理器还用于控制多个编码器对所述多个子视频数据单元进行编码。
48.根据权利要求47所述的***,其特征在于,所述处理器具体用于控制所述多个编码器对所述多个子视频数据单元并行编码。
49.根据权利要求47所述的***,其特征在于,所述处理器具体用于控制所述多个编码器分别采用不同的视频编码规则对所述多个子视频数据单元进行编码。
50.根据权利要求47所述的***,其特征在于,所述处理器具体用于控制所述多个编码器采用相同的视频编码规则对所述多个子视频数据单元进行编码。
51.根据权利要求32-46任一项所述的***,其特征在于,所述处理器还用于控制编码器对所述多个子视频数据单元中的两个或多个进行编码。
52.根据权利要求32-46任一项所述的***,其特征在于,所述处理器还用于控制编码器基于运动补偿的视频压缩标准对所述多个子视频数据单元中的至少一个进行编码。
53.根据权利要求32-46任一项所述的***,其特征在于,所述处理器对所述多个子视频数据单元分别进行编码时,被配置为:
依据不同的压缩率对所述多个子视频数据单元进行压缩。
54.根据权利要求53所述的***,其特征在于,所述压缩率是根据所述子视频数据单元的一个或多个特性确定的。
55.根据权利要求32-54任一项所述的***,其特征在于,所述可移动物体为无人飞行器。
56.根据权利要求32-54任一项所述的***,其特征在于,所述一个或多个成像装置通过载体与所述可移动物体连接。
57.根据权利要求56所述的***,其特征在于,所述载体是一种多轴万向节。
58.一种接收设备,其特征在于,包括:通讯接口、一个或多个处理器,单独或协同工作,所述通讯接口和所述处理器通讯连接;
所述通讯接口用于接收多个编码后的子视频数据单元;
所述一个或多个处理器用于:控制解码器对所述多个编码后的子视频数据单元进行解码;根据解码后的子视频数据单元重建所述视频数据,其中,所述视频数据包括一个或多个图像帧,所述子视频数据单元包括对所述图像帧中每一个进行分解后得到的多个子图像中的至少一个子图像。
59.根据权利要求58所述的接收设备,其特征在于,所述处理器控制解码器对所述多个编码后的子视频数据单元进行解码时,具体用于:
控制解码器对所述多个编码后的子视频数据单元分别进行解码。
60.根据权利要求58或59所述的接收设备,其特征在于,所述处理器还用于:检测所述子视频数据单元的一个或多个子图像的传输错误;
所述处理器根据解码后的子视频数据单元重建所述视频数据时,具体用于:根据接收正确的子图像重建所述视频数据。
61.根据权利要求60所述的接收设备,其特征在于,所述处理器还用于:给所述子视频数据单元中传输错误的子图像分配一个值。
62.根据权利要求61所述的接收设备,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值为0。
63.根据权利要求61所述的接收设备,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值是采用插值法确定的。
64.根据权利要求63所述的接收设备,其特征在于,给所述子视频数据单元中传输错误的子图像分配的值是根据传输正确的子图像确定的,且所述传输错误的子图像和所述传输正确的子图像来自同一个图像帧。
65.根据权利要求62或63所述的接收设备,其特征在于,所述处理器根据解码后的子视频数据单元重建所述视频数据时,具体用于:
采用逆变换重建所述视频数据。
66.一种控制终端,其特征在于,包括:如权利要求58-65任一项所述的接收设备。
67.一种无人飞行器,其特征在于,包括:
机身;
动力***,安装在所述机身,用于提供飞行动力;
以及如权利要求32-57任一项所述的视频传输***。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/078728 WO2018176303A1 (zh) | 2017-03-30 | 2017-03-30 | 视频传输、接收方法、***、设备及无人飞行器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108496369A true CN108496369A (zh) | 2018-09-04 |
Family
ID=63344689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780005017.8A Pending CN108496369A (zh) | 2017-03-30 | 2017-03-30 | 视频传输、接收方法、***、设备及无人飞行器 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108496369A (zh) |
WO (1) | WO2018176303A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565291A (zh) * | 2020-07-14 | 2020-08-21 | 深圳市慧明捷科技有限公司 | 一种无人机多基站图像传输方法 |
WO2020258241A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的图像处理方法、装置、可移动平台及介质 |
CN114040226A (zh) * | 2022-01-10 | 2022-02-11 | 北京小鸟科技股份有限公司 | 低带宽高分辨率视频传输的数据传输方法、***及设备 |
CN114424552A (zh) * | 2019-09-29 | 2022-04-29 | 华为技术有限公司 | 一种低延迟信源信道联合编码方法及相关设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021179304A1 (zh) * | 2020-03-13 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 自动调整视频直播码率的方法、视频传输装置和服务器 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1689334A (zh) * | 2002-10-04 | 2005-10-26 | 皇家飞利浦电子股份有限公司 | 使用多描述分层编码提高传输效率的方法和*** |
US20060182178A1 (en) * | 2005-01-26 | 2006-08-17 | Kenji Oi | Moving picture data transmission apparatus |
WO2008041954A1 (en) * | 2006-10-06 | 2008-04-10 | Agency For Science, Technology And Research | Method for encoding, method for decoding, encoder, decoder and computer program products |
CN101848499A (zh) * | 2009-03-25 | 2010-09-29 | 上海贝尔股份有限公司 | 改进无线***中的分级业务传输的方法、网络单元及*** |
CN102907096A (zh) * | 2010-05-10 | 2013-01-30 | 三星电子株式会社 | 用于发送和接收分层编码视频的方法和设备 |
US20140098665A1 (en) * | 2006-05-12 | 2014-04-10 | Microsoft Corporation | Signaling to application lack of requested bandwidth |
CN104349142A (zh) * | 2014-11-03 | 2015-02-11 | 南京航空航天大学 | 一种基于分层表达的无人机视频自适应传输方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013128010A2 (en) * | 2012-03-02 | 2013-09-06 | Canon Kabushiki Kaisha | Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream |
CN103945165A (zh) * | 2014-05-05 | 2014-07-23 | 北京领通科技有限公司 | 终端设备远程视频传输的处理方法和装置 |
-
2017
- 2017-03-30 WO PCT/CN2017/078728 patent/WO2018176303A1/zh active Application Filing
- 2017-03-30 CN CN201780005017.8A patent/CN108496369A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1689334A (zh) * | 2002-10-04 | 2005-10-26 | 皇家飞利浦电子股份有限公司 | 使用多描述分层编码提高传输效率的方法和*** |
US20060182178A1 (en) * | 2005-01-26 | 2006-08-17 | Kenji Oi | Moving picture data transmission apparatus |
US20140098665A1 (en) * | 2006-05-12 | 2014-04-10 | Microsoft Corporation | Signaling to application lack of requested bandwidth |
WO2008041954A1 (en) * | 2006-10-06 | 2008-04-10 | Agency For Science, Technology And Research | Method for encoding, method for decoding, encoder, decoder and computer program products |
CN101848499A (zh) * | 2009-03-25 | 2010-09-29 | 上海贝尔股份有限公司 | 改进无线***中的分级业务传输的方法、网络单元及*** |
CN102907096A (zh) * | 2010-05-10 | 2013-01-30 | 三星电子株式会社 | 用于发送和接收分层编码视频的方法和设备 |
CN104349142A (zh) * | 2014-11-03 | 2015-02-11 | 南京航空航天大学 | 一种基于分层表达的无人机视频自适应传输方法 |
Non-Patent Citations (1)
Title |
---|
周文帅等: "基于预测式错误恢复机制的多描述视频编码研究", 《电子与信息学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020258241A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的图像处理方法、装置、可移动平台及介质 |
CN114424552A (zh) * | 2019-09-29 | 2022-04-29 | 华为技术有限公司 | 一种低延迟信源信道联合编码方法及相关设备 |
CN111565291A (zh) * | 2020-07-14 | 2020-08-21 | 深圳市慧明捷科技有限公司 | 一种无人机多基站图像传输方法 |
CN114040226A (zh) * | 2022-01-10 | 2022-02-11 | 北京小鸟科技股份有限公司 | 低带宽高分辨率视频传输的数据传输方法、***及设备 |
CN114040226B (zh) * | 2022-01-10 | 2022-03-11 | 北京小鸟科技股份有限公司 | 低带宽高分辨率视频传输的数据传输方法、***及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2018176303A1 (zh) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108496369A (zh) | 视频传输、接收方法、***、设备及无人飞行器 | |
US12003770B2 (en) | Face discontinuity filtering for 360-degree video coding | |
US20210226695A1 (en) | Data communication systems and methods | |
US20230199219A1 (en) | Hybrid cubemap projection for 360-degree video coding | |
US10911750B2 (en) | System and methods for feedback-based data transmission | |
KR101844032B1 (ko) | 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스 | |
US20200045336A1 (en) | Predictive coding for 360-degree video based on geometry padding | |
US10938503B2 (en) | Video codec data recovery techniques for lossy wireless links | |
CA3059870A1 (en) | 360-degree video coding using face continuities | |
CN105120240B (zh) | 高倍变焦无人机空中高清多维实时侦查传输监控装置 | |
WO2018067952A1 (en) | Geometry conversion and frame packing associated with 360-degree videos | |
CN205510277U (zh) | 一种无人机全景图像传输设备 | |
CN105208335B (zh) | 高倍变焦无人机空中高清多维实时侦查传输*** | |
CN108513712A (zh) | 视频发送方法、接收方法、***以及无人飞行器 | |
WO2019083943A1 (en) | PROJECTION OF CUBEMAP CARD ANGLE HYBRID VIDEO CODING 360 DEGREES | |
KR20240058858A (ko) | 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 | |
Chen et al. | MuVi: Multiview video aware transmission over MIMO wireless systems | |
Hu et al. | Mobile edge assisted live streaming system for omnidirectional video | |
Fujihashi et al. | Multiview video transmission over underwater acoustic path | |
CN105208336B (zh) | 高倍变焦无人机空中高清多维实时侦查传输方法 | |
CN109756737A (zh) | 图像预测方法和装置 | |
WO2018176341A1 (zh) | 视频发送方法、接收方法、***以及无人飞行器 | |
Qvarfordt et al. | High quality mobile XR: Requirements and feasibility | |
KR101670767B1 (ko) | 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템 | |
CN109561119A (zh) | 一种数据发送方法、数据接收方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220405 |