CN114466238A - 帧解复用方法、电子设备及存储介质 - Google Patents

帧解复用方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114466238A
CN114466238A CN202011240224.1A CN202011240224A CN114466238A CN 114466238 A CN114466238 A CN 114466238A CN 202011240224 A CN202011240224 A CN 202011240224A CN 114466238 A CN114466238 A CN 114466238A
Authority
CN
China
Prior art keywords
frame
multimedia
frames
electronic device
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240224.1A
Other languages
English (en)
Other versions
CN114466238B (zh
Inventor
侯朋飞
苏多铎
杜晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011240224.1A priority Critical patent/CN114466238B/zh
Priority to PCT/CN2021/126345 priority patent/WO2022095752A1/zh
Publication of CN114466238A publication Critical patent/CN114466238A/zh
Application granted granted Critical
Publication of CN114466238B publication Critical patent/CN114466238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供一种帧解复用方法、电子设备及存储介质,涉及多媒体技术领域,该方法包括:获取目标文件,所述目标文件包含多个多媒体帧;获取输入时刻;基于所述输入时刻确定最佳读取量及第一多媒体帧;基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧,其中,所述第二多媒体帧包括所述第一多媒体帧;将多个所述第二多媒体帧发送给第二电子设备。本申请实施例提供的方法,能够提升对音频帧和视频帧的计算能力及读取能力,由此可以提升音频帧和视频帧的发送量,进而可以提高音频帧和视频帧的发送效率。

Description

帧解复用方法、电子设备及存储介质
技术领域
本申请实施例涉及多媒体技术领域,尤其涉及一种帧解复用方法、电子设备及存储介质。
背景技术
随着通信技术的发展,电子设备的功能越来越丰富,用户可以使用电子设备搜索各种多媒体资源并进行播放。随着网络技术的不断发展,分布式网络的应用越来越广泛,其中,包括多媒体分布式技术。
多媒体分布式技术的核心功能之一是从源设备将多媒体数据进行解复用,并将解复用后得到的音频数据和视频数据发送到目标设备。
发明内容
本申请实施例提供了一种帧解复用方法、电子设备及存储介质,以提供一种对音频帧和视频帧的解复用计算方式,提升对音频帧和视频帧的计算能力及读取能力,由此可以提升音频帧和视频帧的发送量,进而可以提高音频帧和视频帧的发送效率。
第一方面,本申请实施例提供了一种帧解复用方法,包括:
获取目标文件,目标文件包含多个多媒体帧;具体地,该目标文件可以是多媒体文件,例如,一段视频。该多媒体帧可以包括音频帧和视频帧。
获取输入时刻;具体地,该输入时刻可以包括用户输入的时刻,例如,用户在快进或快退是指定的时刻。该输入时刻也可以是上述多媒体视频在顺序播放时的任一时刻,本申请实施例对此不作特殊限定。
基于输入时刻确定最佳读取量及第一多媒体帧;具体地,该最佳读取量可以是本次可以读取的多媒体帧的数量。该第一多媒体帧与该输入时刻对应。
基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧,其中,第二多媒体帧包括第一多媒体帧;具体地,该多个第二多媒体帧可以是包括上述第一多媒体帧的多个数据帧。示例性的,假设最佳读取量为4,若第一多媒体帧的帧号为1001,则从1001开始读取4帧,也就是1001、1002、1003及1004这4个帧。
将多个第二多媒体帧发送给第二电子设备。
其中一种可能的实现方式中,多个多媒体帧包括多个视频帧和多个音频帧,基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧包括:
基于最佳读取量,从第一视频帧开始,读取目标文件中的多个第二视频帧;具体地,该多个第二多媒体帧可以是多个第二视频帧。
或基于最佳读取量,从第一音频帧开始,读取目标文件中的多个第二音频帧;具体地,该多个第二多媒体帧可以是多个第二音频帧。
其中一种可能的实现方式中,基于输入时刻确定最佳读取量包括:
获取预设待定读取数;具体地,该预设待定读取数可以是暂定的最佳读取数。
统计从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数;示例性的,假设该目标文件的总帧数为1000,帧号为1-1000,也就是说,该目标文件开始时刻对应的帧号为1,该目标文件结束时刻对应的帧号为1000,若该输入时刻对应的帧号为490,则剩余的帧数为1000-490=510,也就是说,从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数为510。
若多媒体帧的帧数大于或等于预设待定读取数,则将预设待定读取数设为最佳读取量;示例性的,假设预设待定读取数为4,若从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数大于或等于4,则可以将最佳读取数设为4,也就是说,本次读取4帧。
若多媒体帧的帧数小于预设待定读取数,则将最佳读取量设为1;示例性的,假设当前时刻对应的帧号为998,目标文件的总帧数为1000,则从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数为1000-998=2,此时,可将最佳读取量设为1,也就是说,本次只读取一帧。
其中一种可能的实现方式中,预设待定读取数由向量寄存器的位数和多媒体帧的数据类型确定。其中,该向量寄存器可以是单指令多数据指令集,例如,NEON。
其中一种可能的实现方式中,基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧包括:
基于输入时刻确定块偏移;
基于最佳读取量获取每个第二多媒体帧的帧大小;
基于块偏移和帧大小构建帧矩阵;
对帧矩阵进行向量化运算,得到帧偏移向量;
根据帧偏移向量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧。
其中一种可能的实现方式中,将多个第二多媒体帧发送给第二电子设备包括:
将多个第二多媒体帧及每个第二多媒体帧的帧大小发送给第二电子设备。由此可以便于目标设备基于该每个第二多媒体帧的帧大小分离出每个第二多媒体帧。
第二方面,本申请实施例提供一种帧解复用装置,包括:
第一获取模块,用于获取目标文件,目标文件包含多个多媒体帧;
第二获取模块,用于获取输入时刻;
计算模块,用于基于输入时刻确定最佳读取量及第一多媒体帧;
读取模块,用于基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧,其中,第二多媒体帧包括第一多媒体帧;
发送模块,用于将多个第二多媒体帧发送给第二电子设备。
其中一种可能的实现方式中,多个多媒体帧包括多个视频帧和多个音频帧,上述读取模块还用于基于最佳读取量,从第一视频帧开始,读取目标文件中的多个第二视频帧;
或基于最佳读取量,从第一音频帧开始,读取目标文件中的多个第二音频帧。
其中一种可能的实现方式中,上述计算模块包括:
获取单元,用于获取预设待定读取数;
统计单元,用于统计从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数;
确定单元,用于若多媒体帧的帧数大于或等于预设待定读取数,则将预设待定读取数设为最佳读取量;若多媒体帧的帧数小于预设待定读取数,则将最佳读取量设为1。
其中一种可能的实现方式中,上述预设待定读取数由向量寄存器的位数和多媒体帧的数据类型确定。
其中一种可能的实现方式中,上述读取模块包括:
计算单元,用于基于输入时刻确定块偏移;
检索单元,用于基于最佳读取量获取每个第二多媒体帧的帧大小;
构建单元,用于基于块偏移和所述帧大小构建帧矩阵;
运算单元,用于对帧矩阵进行向量化运算,得到帧偏移向量;
读取单元,用于根据帧偏移向量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧。
其中一种可能的实现方式中,上述发送模块还用于将多个第二多媒体帧及每个第二多媒体帧的帧大小发送给第二电子设备。
第三方面,本申请实施例提供一种第一电子设备,包括:
存储器,上述存储器用于存储计算机程序代码,上述计算机程序代码包括指令,当上述第一电子设备从上述存储器中读取上述指令,以使得上述第一电子设备执行以下步骤:
获取目标文件,目标文件包含多个多媒体帧;
获取输入时刻;
基于输入时刻确定最佳读取量及第一多媒体帧;
基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧,其中,第二多媒体帧包括第一多媒体帧;
将多个第二多媒体帧发送给第二电子设备。
其中一种可能的实现方式中,多个多媒体帧包括多个视频帧和多个音频帧上述指令被上述第一电子设备执行时,使得上述第一电子设备执行基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧的步骤包括:
基于最佳读取量,从第一视频帧开始,读取目标文件中的多个第二视频帧;
或基于最佳读取量,从第一音频帧开始,读取目标文件中的多个第二音频帧。
其中一种可能的实现方式中,上述指令被上述第一电子设备执行时,使得上述第一电子设备执行基于输入时刻确定最佳读取量的步骤包括:
获取预设待定读取数;
统计从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数;
若多媒体帧的帧数大于或等于预设待定读取数,则将预设待定读取数设为最佳读取量;
若多媒体帧的帧数小于预设待定读取数,则将最佳读取量设为1。
其中一种可能的实现方式中,上述预设待定读取数由向量寄存器的位数和多媒体帧的数据类型确定。
其中一种可能的实现方式中,上述指令被上述第一电子设备执行时,使得上述第一电子设备执行基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧的步骤包括:
基于输入时刻确定块偏移;
基于最佳读取量获取每个第二多媒体帧的帧大小;
基于块偏移和帧大小构建帧矩阵;
对帧矩阵进行向量化运算,得到帧偏移向量;
根据帧偏移向量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧。
其中一种可能的实现方式中,上述指令被上述第一电子设备执行时,使得上述第一电子设备执行将多个第二多媒体帧发送给第二电子设备的步骤包括:
将多个第二多媒体帧及每个第二多媒体帧的帧大小发送给第二电子设备。
第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序,当上述计算机程序被计算机执行时,用于执行第一方面所述的方法。
在一种可能的设计中,第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为本申请实施例提供的应用场景示意图;
图2为本申请实施例提供的帧解复用方法的流程示意图;
图3为本申请实施例提供的帧矩阵示意图;
图4为本申请实施例提供的帧偏移向量示意图;
图5为本申请实施例提供的帧解复用装置的结构示意图;
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
多媒体分布式技术的核心功能之一是从源设备将多媒体数据进行解复用,并将解复用后得到的音频数据和视频数据发送到目标设备。
图1为源设备将多媒体数据发送至目标设备的流程框图,如图1所示,在源设备中可以对多媒体文件进行解复用,由此可以分别得到音频数据和视频数据;接着,可以分别对音频数据和视频数据进行读取,由于每次只能读取一帧数据,因此,每次只能得到单个音频帧和单个视频帧,例如,每次读取音频数据,只能得到一帧音频数据,每次读取视频数据,只能得到一帧视频数据。接着,源设备通过传输模块将视频帧和音频帧发送给目标设备,其中,每次只能发送一帧数据,例如,每次只能发送一帧音频数据或一帧视频数据。
通过图1的方案可知,源设备每次只能解复用一帧数据(例如,一帧音频或一帧视频)。因此,源设备需要足够的时间才能将一定量的音频数据和视频数据发送到目标设备,以便目标设备进行播放,由此会给目标设备的音频数据和视频数据的播放带来时延,降低了用户的视听体验。此外,源设备在发送多媒体数据的时候每次只能发送一帧数据,数据的传输效率低下。
基于上述问题,本申请实施例提出了一种帧解复用方法,由此可以在源设备中一次读取多个多媒体数据帧,提高数据的读取效率,并通过源设备一次发送多个多媒体数据帧,可以提高数据的发送效率,进而可以减少目标设备对多媒体数据的播放时延,提高用户的视听体验。
现以MP4格式的多媒体文件为例,并结合图2-图4对本申请实施例提供的帧解复用方法进行说明,
如图2所示为本申请实施例提供的帧解复用方法一个实施例的流程示意图,包括:
步骤101,在源设备中获取目标多媒体文件。
具体地,该源设备可以是对多媒体文件进行播放的第一电子设备,例如,手机、平板、电脑等,也可以是其他类型的第一电子设备,本申请对此不作特殊限定。该多媒体文件可以包括多媒体数据帧,该多媒体数据帧可以包括音频数据帧和视频数据帧。可以理解的是,本申请实施例中以MP4格式的多媒体文件为例,但本申请实施例并不限定多媒体文件的格式。
其中,上述MP4格式的音频数据帧和视频数据帧在多媒体文件中的存储可以通过表格索引方式实现。以视频数据帧为例,该视频数据帧可以包括时序到帧索引表、帧到块索引表、块偏移索引表及帧大小索引表。如表1所示为时序到帧索引表。
表1
序号 帧数目 帧时长
1 1 42
2 1 41
3 2 42
4 1 41
通过上述表1中的索引关系,可以由用户输入的任意时刻,查找获得对应的帧号。举例来说,假设用户输入的时刻为200,而序号1的帧数目为1,帧时长为42,序号2的帧数目为1,帧时长为41,序号3的帧数目为2,帧时长为42,序号4的帧数目为1,帧时长为41,则前4个帧的总时长为1*42+1*41+2*42=167,前5个帧的总时长为1*42+1*41+2*42+1*41=208,因此,时刻200对应的是第5个帧,也就是说,帧号为5。
如表2所示为帧到块索引表。其中,每个块可以包含一个或多个帧。每个块的长度可以不同,块内的帧的长度也可以不同。
表2
序号 块号 每个块的帧数
1 1至28 13
2 29 12
3 30至57 13
4 58 12
通过上述表2中的索引关系,可以由指定帧的帧号,查找获得对应的包含该指定帧的块,从而可以通过块找到这个指定帧。举例来说,假设指定帧为第500个帧,而序号1的块集合中包含28*13=364个帧,其中,块集合可以包括一个或多个块,该序号1的块集合中包含28个块,块号分别为1-28;序号2的块集合中包含1*12=12个帧,其中,序号2的块集合包含1个块,块号为29;序号3的块集合中包含28*13=364个帧,其中,序号3的块集合包含28个块,块号分别为30-57。由于364+12<500<364+12+364,也就是说,该第500个帧大于前2个块集合的总帧数,但是小于前3个块集合的总帧数,因此,该第500个帧位于序号3集合的块中。接着,由于28*13+1*12+9*13<500<28*13+1*12+10*13,也就是说,该第500个帧大于前38个块的总帧数,但是小于前39个块的总帧数,因此,该第500个帧位于块号为39的块中。而500=28*13+1*12+9*13+7,因此,该第500个帧为块号为39的块中的第7个帧。
如表3所示为块偏移索引表。其中,块偏移用于标识每个块在多媒体文件中的位置。
表3
块号 块偏移
1 $00039D28
2 $0003D19B
3 $0003F50D
4 $00041B22
通过上述表3中的索引关系,可以由指定块的序号,查找获得与该指定块对应的块偏移。
如表4所示为帧大小索引表。
表4
帧号 帧大小
1 $000000ae
2 $0000001e
3 $000015cc
4 $0000001e
通过上述表4中的索引关系,可以由指定帧的帧号,查找获得与该指定帧对应的帧大小。
从上述表1-表4可知,用户任意输入一个时刻后,可以通过上述表1-表4,经过查表获得对应的块偏移及帧大小,进而可以获得对应的帧偏移,由此可以实现在多媒体文件播放时的快进和快退。以上述第500个帧举例,通过表2可以获得与该第500个帧对应的块号(例如,块39),从而可以通过表3查找获得对应的块偏移。而块39中的第一个帧的帧号为494,块39中的第七个帧的帧号为500,因此,通过表4可以查找获得帧494-帧499的大小。由此,通过块39的偏移及帧494-帧499的大小,可以分别得到帧494-帧500的偏移,例如,由于帧494是块39的第一个帧,因此,通过块39的偏移可以获得帧494的偏移。而通过块39的偏移及帧494的帧大小可以获得帧495的偏移。通过块39的偏移、帧494的帧大小及帧495的帧大小可以获得帧496的偏移,以此类推。其中,帧494-帧500的偏移可以是数据帧的播放地址,由此可以实现快进和快退。
步骤102,获取输入时刻。
具体地,该输入时刻可以是用户输入的任意时刻,例如,用户可以在多媒体文件的播放进度条上任意点击一个时刻,以实现快进或快退;也可以是预设的时刻,本申请实施例对此不作特殊限定。
步骤103,基于该输入时刻确定当前最佳读取量。
具体地,该最佳读取量用于标识本次可读取的多媒体数据帧的数量,例如,一次可读取n个音频数据帧或一次可读取n个视频数据帧,其中,n为最佳读取量。
在具体实现时,可以由寄存器的位数和多媒体数据帧的数据类型确定读取基数m。其中,该读取基数m用于标识以块为单位的读取数。示例性的,若采用NEON指令集,该NEON是ARM Cortex-A系列处理器的128位单指令多数据指令集(Single Instruction MultipleData,SIMD),也就是说,该NEON是128位的向量寄存器;若多媒体数据帧的数据类型为uin32_t类型,也就是说,多媒体数据帧是32位的,则读取基数m可以是P/D,其中,P为NEON的寄存器的位数,Q为多媒体数据帧的位数,也就是,m=128/32=4。
可以理解的是,也可以选用其他类型的指令集,也可以在多媒体数据帧中选用不同的数据类型,因此,该读取基数m也可以是不同的值,例如,2、8、16等,本申请实施例对此不作特殊限定。
进一步地,当确定读取基数m后,可以根据上述读取基数m确定当前最佳读取量。在具体实现时,可以将上述读取基数m与预设倍数相乘,由此可以获得待定读取量,接着,可以将该待定读取量与目标多媒体文件中待读取的总帧数进行比较,若该待读取的总帧数大于或等于该待定读取量,则可以将该待定读取量设为当前最佳读取量;示例性的,假设m=4,预设倍数为4,则待定读取量为16,若待读取的总帧数大于或等于16,则可以将当前最佳读取量设为16,也就是说,本次可以读取16帧;若该待读取的总帧数小于该待定读取量,则可以当前最佳读取量设为1,示例性的,假设m=4,预设倍数为4,则待定读取量为16,若待读取的总帧数小于16,则可以当前最佳读取量设为1,也就是说,本次只读取1帧。
步骤104,基于该输入时刻确定块偏移。
具体地,当获得输入时刻后,还可以根据输入时刻确定块偏移。在具体实现时,可以根据该输入时刻在表1中进行查询,以确定与该输入时刻对应的帧号;接着,根据该帧号在表2中进行查询,以确定与该输入时刻对应的块号;而根据该块号在表3中进行查询,可以确定块偏移。
步骤105,基于当前最佳读取量确定帧数,根据帧数获取对应的帧大小。
具体地,当确定当前最佳读取量之后,可以确定本次读取的帧数。示例性的,若本次最佳读取量为4,则本次读取的帧数为4。接着,根据与输入时刻对应的帧号及本次读取的帧数依次在表4中进行查询,可以获取本次读取的帧的每个帧的帧大小,示例性的,若本次读取4个帧,则可以获取上述4个帧的帧大小。
步骤106,基于上述块偏移及帧大小构建帧矩阵。
具体地,当确定块偏移及帧大小之后,还可以根据上述块偏移及帧大小构建帧矩阵。其中,该帧矩阵中的每一行可以包含块偏移和帧大小。该矩阵的行数与最佳读取量对应,该矩阵的列数与最佳读取量对应。示例性的,若该最佳读取量为4,则该帧矩阵可以是4*4的矩阵;若该最佳读取量为8,则该帧矩阵可以是8*8的矩阵,本申请实施例对此不作特殊限定。
现以最佳读取量为4为例进行说明,由于最佳读取量为4,也就是说,本次读取4个帧,因此,可以构建4*4的帧矩阵。如图3所示为4*4的帧矩阵,该帧矩阵中的第一行数据为(块偏移,0,0,0),第二行数据为(块偏移,首帧大小,0,0),第三行数据为(块偏移,首帧大小,第二帧大小,0),第四行数据为(块偏移,首帧大小,第二帧大小,第三帧大小)。
步骤107,对帧矩阵进行向量化计算,得到帧偏移向量。
具体地,当获得帧矩阵后,还可以对帧矩阵进行向量化计算,由此可以得到帧偏移向量。其中,该向量化计算可以是对帧矩阵中的所有列进行累加求和,由此得到列向量,该列向量可以是帧偏移向量。
现以图3所示的帧矩阵为例进行说明,对该帧矩阵中的4列进行累加求和,由此可以得到如图4所示的列向量,其中,该列向量可以为帧偏移向量。该列向量中每一行的数据对应每个帧的偏移,例如,该列向量中的第一行的值为块偏移值,该块偏移值对应首帧的偏移;该列向量中的第二行的值为块偏移值+首帧大小,该块偏移值+首帧大小的值对应第二帧的偏移;该列向量中的第三行的值为块偏移值+首帧大小+第二帧大小,该块偏移值+首帧大小+第二帧大小的值对应第三帧的偏移;该列向量中的第四行的值为块偏移值+首帧大小+第二帧大小+第三帧大小,该块偏移值+首帧大小+第二帧大小+第三帧大小的值对应第四帧的偏移。
步骤108,根据帧偏移向量获取目标多媒体文件中的多媒体数据帧,并将该多媒体数据帧发送给目标设备。
具体地,该目标设备可以是手机、平板、电视等具有多媒体播放功能的第一电子设备。当源设备获得帧偏移向量之后,可以根据帧偏移向量中的每个帧的帧偏移获取目标多媒体文件中的多个多媒体数据帧,并可以将该多个多媒体数据帧发送给目标设备。可以理解的是,由于该帧偏移向量对应的可以是音频帧偏移向量或视频帧偏移向量,因此,每次获取的可以是视频数据帧,也可以是音频数据帧,本申请实施例对此不作特殊限定。
可选地,该源设备在发送上述多媒体数据帧给目标设备时,还可以将每个多媒体数据帧的帧大小发送给该目标设备,以便该目标设备对每个多媒体数据帧进行分离,由此可以对每个多媒体数据帧进行解码并播放。在具体实现时,源设备可以设置一个缓存(buffer),该buffer可以用于存储多媒体数据帧,其中,上述buffer中存储的多媒体数据帧可以是本次经向量化计算后得到的多媒体数据帧,接着,源设备可以将上述buffer中存储的多媒体数据帧以及与上述每个多媒体数据帧对应的帧大小发送给目标设备。当目标设备接收到上述buffer中存储的多媒体数据帧以及与上述每个多媒体数据帧对应的帧大小后,可以根据上述帧大小依次从buffer中分离出每个帧。示例性的,该buffer中的第一个帧的偏移可以视为0,根据第一个帧的帧大小可以分离出第一个帧;接着,以第一个帧的帧大小作为第二个帧的偏移,并根据第二个帧的帧大小可以分离出第二个帧,以此类推,可以分离出buffer中的所有帧。
本实施例中,通过对多个多媒体数据帧进行向量化计算,由此可以获得多个多媒体数据帧的偏移,以实现一次读取多个多媒体数据帧,提高了数据读取的效率,并通过一次向目标设备发送多个多媒体数据帧,由此可以提高数据的发送效率。
图5为本申请帧解复用装置一个实施例的结构示意图,如图5所示,上述帧解复用装置50可以包括:第一获取模块51、第二获取模块52、计算模块53、读取模块54及发送模块55;
第一获取模块51,用于获取目标文件,目标文件包含多个多媒体帧;
第二获取模块52,用于获取输入时刻;
计算模块53,用于基于输入时刻确定最佳读取量及第一多媒体帧;
读取模块54,用于基于最佳读取量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧,其中,第二多媒体帧包括第一多媒体帧;
发送模块55,用于将多个第二多媒体帧发送给第二电子设备。
在一种可能的实现方式中,多个多媒体帧包括多个视频帧和多个音频帧,上述读取模块54还用于基于最佳读取量,从第一视频帧开始,读取目标文件中的多个第二视频帧;
或基于最佳读取量,从第一音频帧开始,读取目标文件中的多个第二音频帧。
在一种可能的实现方式中,上述计算模块53包括:获取单元531、统计单元532及确定单元533;
获取单元531,用于获取预设待定读取数;
统计单元532,用于统计从输入时刻开始至目标文件结束时刻的所有多媒体帧的帧数;
确定单元533,用于若多媒体帧的帧数大于或等于预设待定读取数,则将预设待定读取数设为最佳读取量;若多媒体帧的帧数小于预设待定读取数,则将最佳读取量设为1。
在一种可能的实现方式中,上述预设待定读取数由向量寄存器的位数和多媒体帧的数据类型确定。
在一种可能的实现方式中,上述读取模块54包括:计算单元541、检索单元542、构建单元543、运算单元544及读取单元545;
计算单元541,用于基于输入时刻确定块偏移;
检索单元542,用于基于最佳读取量获取每个第二多媒体帧的帧大小;
构建单元543,用于基于块偏移和所述帧大小构建帧矩阵;
运算单元544,用于对帧矩阵进行向量化运算,得到帧偏移向量;
读取单元545,用于根据帧偏移向量,从第一多媒体帧开始,读取目标文件中的多个第二多媒体帧。
在一种可能的实现方式中,上述发送模块55还用于将多个第二多媒体帧及每个第二多媒体帧的帧大小发送给第二电子设备。
应理解以上图5所示的帧解复用装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,计算模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些模块可以集成在一起,以片上***(System-On-a-Chip;以下简称:SOC)的形式实现。
图6示出了第一电子设备100的结构示意图。
第一电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对第一电子设备100的具体限定。在本申请另一些实施例中,第一电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现第一电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现第一电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现第一电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为第一电子设备100充电,也可以用于第一电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对第一电子设备100的结构限定。在本申请另一些实施例中,第一电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过第一电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
第一电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。第一电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在第一电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在第一电子设备100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,第一电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得第一电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobilecommunications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidou navigation satellite system,BDS),准天顶卫星***(quasi-zenithsatellite system,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
第一电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantumdot lightemitting diodes,QLED)等。在一些实施例中,第一电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
第一电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,第一电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当第一电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。第一电子设备100可以支持一种或多种视频编解码器。这样,第一电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现第一电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展第一电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储第一电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行第一电子设备100的各种功能应用以及数据处理。
第一电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。第一电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当第一电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。第一电子设备100可以设置至少一个麦克风170C。在另一些实施例中,第一电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,第一电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。第一电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,第一电子设备100根据压力传感器180A检测所述触摸操作强度。第一电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定第一电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定第一电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测第一电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消第一电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,第一电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。第一电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当第一电子设备100是翻盖机时,第一电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测第一电子设备100在各个方向上(一般为三轴)加速度的大小。当第一电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。第一电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,第一电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。第一电子设备100通过发光二极管向外发射红外光。第一电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定第一电子设备100附近有物体。当检测到不充分的反射光时,第一电子设备100可以确定第一电子设备100附近没有物体。第一电子设备100可以利用接近光传感器180G检测用户手持第一电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。第一电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测第一电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。第一电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,第一电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,第一电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,第一电子设备100对电池142加热,以避免低温导致第一电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,第一电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于第一电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。第一电子设备100可以接收按键输入,产生与第一电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和第一电子设备100的接触和分离。第一电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。第一电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,第一电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在第一电子设备100中,不能和第一电子设备100分离。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对第一电子设备100的结构限定。在本申请另一些实施例中,第一电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
可以理解的是,上述第一电子设备100等为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的范围。
本申请实施例可以根据上述方法示例对上述第一电子设备100等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种帧解复用方法,应用于第一电子设备,其特征在于,所述方法包括:
获取目标文件,所述目标文件包含多个多媒体帧;
获取输入时刻;
基于所述输入时刻确定最佳读取量及第一多媒体帧;
基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧,其中,所述第二多媒体帧包括所述第一多媒体帧;
将多个所述第二多媒体帧发送给第二电子设备。
2.根据权利要求1所述的方法,其特征在于,所述多个多媒体帧包括多个视频帧和多个音频帧,所述基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧包括:
基于所述最佳读取量,从所述第一视频帧开始,读取所述目标文件中的多个第二视频帧;
或基于所述最佳读取量,从所述第一音频帧开始,读取所述目标文件中的多个第二音频帧。
3.根据权利要求1所述的方法,其特征在于,所述基于所述输入时刻确定最佳读取量包括:
获取预设待定读取数;
统计从所述输入时刻开始至所述目标文件结束时刻的所有多媒体帧的帧数;
若所述多媒体帧的帧数大于或等于所述预设待定读取数,则将所述预设待定读取数设为所述最佳读取量;
若所述多媒体帧的帧数小于所述预设待定读取数,则将所述最佳读取量设为1。
4.根据权利要求3所述的方法,其特征在于,所述预设待定读取数由向量寄存器的位数和所述多媒体帧的数据类型确定。
5.根据权利要求1所述的方法,其特征在于,所述基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧包括:
基于所述输入时刻确定块偏移;
基于所述最佳读取量获取每个所述第二多媒体帧的帧大小;
基于所述块偏移和所述帧大小构建帧矩阵;
对所述帧矩阵进行向量化运算,得到帧偏移向量;
根据所述帧偏移向量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧。
6.根据权利要求1所述的方法,其特征在于,所述将多个所述第二多媒体帧发送给第二电子设备包括:
将多个所述第二多媒体帧及每个所述第二多媒体帧的帧大小发送给第二电子设备。
7.一种第一电子设备,其特征在于,包括:存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括指令,当所述第一电子设备从所述存储器中读取所述指令,以使得所述第一电子设备执行以下步骤:
获取目标文件,所述目标文件包含多个多媒体帧;
获取输入时刻;
基于所述输入时刻确定最佳读取量及第一多媒体帧;
基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧,其中,所述第二多媒体帧包括所述第一多媒体帧;
将多个所述第二多媒体帧发送给第二电子设备。
8.根据权利要求7所述的第一电子设备,其特征在于,所述多个多媒体帧包括多个视频帧和多个音频帧,所述指令被所述第一电子设备执行时,使得所述第一电子设备执行基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧的步骤包括:
基于所述最佳读取量,从所述第一视频帧开始,读取所述目标文件中的多个第二视频帧;
或基于所述最佳读取量,从所述第一音频帧开始,读取所述目标文件中的多个第二音频帧。
9.根据权利要求7所述的第一电子设备,其特征在于,所述指令被所述第一电子设备执行时,使得所述第一电子设备执行基于所述输入时刻确定最佳读取量的步骤包括:
获取预设待定读取数;
统计从所述输入时刻开始至所述目标文件结束时刻的所有多媒体帧的帧数;
若所述多媒体帧的帧数大于或等于所述预设待定读取数,则将所述预设待定读取数设为所述最佳读取量;
若所述多媒体帧的帧数小于所述预设待定读取数,则将所述最佳读取量设为1。
10.根据权利要求9所述的第一电子设备,其特征在于,所述预设待定读取数由向量寄存器的位数和所述多媒体帧的数据类型确定。
11.根据权利要求7所述的第一电子设备,其特征在于,所述指令被所述第一电子设备执行时,使得所述第一电子设备执行基于所述最佳读取量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧的步骤包括:
基于所述输入时刻确定块偏移;
基于所述最佳读取量获取每个所述第二多媒体帧的帧大小;
基于所述块偏移和所述帧大小构建帧矩阵;
对所述帧矩阵进行向量化运算,得到帧偏移向量;
根据所述帧偏移向量,从所述第一多媒体帧开始,读取所述目标文件中的多个第二多媒体帧。
12.根据权利要求7所述的第一电子设备,其特征在于,所述指令被所述第一电子设备执行时,使得所述第一电子设备执行将多个所述第二多媒体帧发送给第二电子设备的步骤包括:
将多个所述第二多媒体帧及每个所述第二多媒体帧的帧大小发送给第二电子设备。
13.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在所述第一电子设备上运行时,使得所述第一电子设备执行如权利要求1-6中任一项所述帧解复用的方法。
14.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-6中任一项所述帧解复用的方法。
CN202011240224.1A 2020-11-09 2020-11-09 帧解复用方法、电子设备及存储介质 Active CN114466238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011240224.1A CN114466238B (zh) 2020-11-09 2020-11-09 帧解复用方法、电子设备及存储介质
PCT/CN2021/126345 WO2022095752A1 (zh) 2020-11-09 2021-10-26 帧解复用方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240224.1A CN114466238B (zh) 2020-11-09 2020-11-09 帧解复用方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114466238A true CN114466238A (zh) 2022-05-10
CN114466238B CN114466238B (zh) 2023-09-29

Family

ID=81404210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240224.1A Active CN114466238B (zh) 2020-11-09 2020-11-09 帧解复用方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114466238B (zh)
WO (1) WO2022095752A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721678B (zh) * 2022-09-29 2024-07-05 荣耀终端有限公司 音频数据的监测方法、电子设备以及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036926A2 (en) * 2002-10-18 2004-04-29 Global Epoint, Inc. Video and telemetry apparatus and methods
EP2530948A1 (en) * 2011-06-03 2012-12-05 Samsung Electronics Co., Ltd. Method and device for demultiplexing audio & video data of multimedia file
CN104602004A (zh) * 2010-08-17 2015-05-06 M&K控股株式会社 帧内预测模式的解码方法
US20170064344A1 (en) * 2015-08-31 2017-03-02 Gopro, Inc. Video encoding for reduced streaming latency
CN106686445A (zh) * 2015-11-05 2017-05-17 北京中广上洋科技股份有限公司 对多媒体文件进行按需跳转的方法
CN108184163A (zh) * 2017-12-29 2018-06-19 深圳华侨城卡乐技术有限公司 一种视频播放方法、存储介质及播放器
CN111291610A (zh) * 2019-12-12 2020-06-16 深信服科技股份有限公司 视频检测方法、装置、设备及计算机可读存储介质
CN111526314A (zh) * 2020-04-24 2020-08-11 华为技术有限公司 视频拍摄方法及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102182166B1 (ko) * 2013-12-01 2020-11-24 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
US10171843B2 (en) * 2017-01-19 2019-01-01 International Business Machines Corporation Video segment manager
CN109936763B (zh) * 2017-12-15 2022-07-01 腾讯科技(深圳)有限公司 视频的处理及发布方法
CN111741338A (zh) * 2020-07-22 2020-10-02 深圳力维智联技术有限公司 Hls流媒体播放方法、***、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036926A2 (en) * 2002-10-18 2004-04-29 Global Epoint, Inc. Video and telemetry apparatus and methods
CN104602004A (zh) * 2010-08-17 2015-05-06 M&K控股株式会社 帧内预测模式的解码方法
EP2530948A1 (en) * 2011-06-03 2012-12-05 Samsung Electronics Co., Ltd. Method and device for demultiplexing audio & video data of multimedia file
US20170064344A1 (en) * 2015-08-31 2017-03-02 Gopro, Inc. Video encoding for reduced streaming latency
CN106686445A (zh) * 2015-11-05 2017-05-17 北京中广上洋科技股份有限公司 对多媒体文件进行按需跳转的方法
CN108184163A (zh) * 2017-12-29 2018-06-19 深圳华侨城卡乐技术有限公司 一种视频播放方法、存储介质及播放器
CN111291610A (zh) * 2019-12-12 2020-06-16 深信服科技股份有限公司 视频检测方法、装置、设备及计算机可读存储介质
CN111526314A (zh) * 2020-04-24 2020-08-11 华为技术有限公司 视频拍摄方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨欣;张白愚;黄焱;杨莉芸;: "基于BDA的卫星数字电视视频存储***优化方案", 信息工程大学学报, no. 02 *
王国中, 赵海武, 顾君忠: "MPEG-2到AVS视频转码器的实现", 计算机工程, no. 19 *

Also Published As

Publication number Publication date
CN114466238B (zh) 2023-09-29
WO2022095752A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
CN110347269B (zh) 一种空鼠模式实现方法及相关设备
CN111552451A (zh) 显示控制方法及装置、计算机可读介质及终端设备
WO2022022319A1 (zh) 一种图像处理方法、电子设备、图像处理***及芯片***
CN114422340A (zh) 日志上报方法、电子设备及存储介质
CN112651510A (zh) 模型更新方法、工作节点及模型更新***
CN114610193A (zh) 内容共享方法、电子设备及存储介质
CN114880251A (zh) 存储单元的访问方法、访问装置和终端设备
CN114490174A (zh) 文件***检测方法、电子设备及计算机可读存储介质
CN113126948A (zh) 一种音频播放方法及相关设备
CN113438643B (zh) 终端能力上报***、方法、电子设备及存储介质
CN112037157B (zh) 数据处理方法及装置、计算机可读介质及电子设备
CN115714890A (zh) 供电电路和电子设备
CN113467735A (zh) 图像调整方法、电子设备及存储介质
CN115134640A (zh) 同步播放方法及装置
CN110806994B (zh) 一种信号传输方法及装置
CN114554012A (zh) 来电接听方法、电子设备及存储介质
CN109285563B (zh) 在线翻译过程中的语音数据处理方法及装置
CN114095602A (zh) 索引显示方法、电子设备及计算机可读存储介质
CN113542574A (zh) 变焦下的拍摄预览方法、终端、存储介质及电子设备
CN114466238B (zh) 帧解复用方法、电子设备及存储介质
CN113518189A (zh) 拍摄方法、***、电子设备及存储介质
CN113129916A (zh) 一种音频采集方法、***及相关装置
CN113901485B (zh) 应用程序加载方法、电子设备及存储介质
WO2022033344A1 (zh) 视频防抖方法、终端设备和计算机可读存储介质
CN113923351A (zh) 多路视频拍摄的退出方法、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant