CN113676397B - 空间位置数据处理方法、装置、存储介质及电子设备 - Google Patents
空间位置数据处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113676397B CN113676397B CN202110948132.7A CN202110948132A CN113676397B CN 113676397 B CN113676397 B CN 113676397B CN 202110948132 A CN202110948132 A CN 202110948132A CN 113676397 B CN113676397 B CN 113676397B
- Authority
- CN
- China
- Prior art keywords
- position data
- audio frame
- spatial
- spatial position
- spatial audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 43
- 238000007405 data analysis Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000009499 grossing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 7
- 230000006854 communication Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 5
- 230000005669 field effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/64—Hybrid switching systems
- H04L12/6418—Hybrid transport
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/64—Hybrid switching systems
- H04L12/6418—Hybrid transport
- H04L2012/6467—Information loss recovery, e.g. error correction, prediction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开实施方式涉及一种空间位置数据处理方法、装置、存储介质与电子设备,涉及数据处理技术领域。该方法包括:获取当前空间音频帧空间位置数据解析结果;响应于当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;响应于当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。本公开提升了空间音频帧对应的空间位置数据的流畅度,降低了空间位置数据发生突变的几率。
Description
技术领域
本公开的实施方式涉及数据处理技术领域,更具体地,本公开的实施方式涉及一种空间位置数据处理方法、空间位置数据处理装置、计算机可读存储介质及电子设备。
背景技术
随着音视频技术的不断革新,空间音频技术成为音频技术领域备受关注的研究方向。
空间音频技术一般是指在音频通信过程中,传输音频数据的同时传输声音源的空间位置数据,以使接收端在播放音频数据时,根据与音频数据对应的空间位置数据,为用户营造三维空间声场效果,使用户产生身临其境的听觉体验。
在空间音频数据的传输过程中,当网络环境较差时,可能会出现空间音频数据丢包或者抖动等情况,可以采用相关的处理手段对空间音频数据进行处理,以解决由于空间音频数据丢包或者抖动导致的接收端声音不稳定或者不连续的状况。
本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文,此处的描述不因为包括在本部分中就承认是现有技术。
发明内容
在本上下文中,本公开的实施方式期望提供一种空间位置数据处理方法、装置、计算机可读存储介质及电子设备。
根据本公开实施方式的第一方面,提供一种空间位置数据处理方法,所述方法包括:
获取当前空间音频帧空间位置数据解析结果;
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将所述当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述方法还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均未丢失,所述方法还包括:
响应于所述当前空间音频帧空间位置数据解析结果指示所述当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据,包括:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
根据所述历史空间音频帧目标空间位置数据和所述空间位置数据预测模型,确定当前空间音频帧预测空间位置数据;
根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定所述当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述方法还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均丢失,所述方法还包括:
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据,包括:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述方法还包括:若所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,所述方法还包括:
响应于预设数量连续空间音频帧空间位置数据未丢失,则更新所述空间位置数据预测模型的模型参数,所述预设数量连续空间音频帧空间位置数据包括所述当前空间音频帧空间位置数据。
根据本公开实施方式的第二方面,提供一种空间位置数据处理装置,所述装置包括:
获取模块,被配置为获取当前空间音频帧空间位置数据解析结果;
第一确定模块,被配置为响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;
第二确定模块,被配置为响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述第一确定模块,被配置为:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将所述当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述装置还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均未丢失,所述第一确定模块,还被配置为:
响应于所述当前空间音频帧空间位置数据解析结果指示所述当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述第一确定模块,被配置为:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述第二确定模块,被配置为:
根据所述历史空间音频帧目标空间位置数据和所述空间位置数据预测模型,确定当前空间音频帧预测空间位置数据;
根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述第二确定模块,被配置为:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定所述当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述装置还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均丢失,所述第二确定模块,还被配置为:
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述第二确定模块,被配置为:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,所述装置还包括:若所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,所述装置还包括更新模块,被配置为:
响应于预设数量连续空间音频帧空间位置数据未丢失,则更新所述空间位置数据预测模型的模型参数,所述预设数量连续空间音频帧空间位置数据包括所述当前空间音频帧空间位置数据。
根据本公开实施方式的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一种方法。
根据本公开实施方式的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一种方法。
根据本公开实施方式的空间位置数据处理方法、装置、计算机可读存储介质及电子设备,提供了空间位置数据丢失后的恢复方案,提升接收端最终获取的空间音频帧对应的空间位置数据的流畅度;还可以根据上一空间音频帧空间位置数据丢失与否对当前空间音频帧对应的空间位置数据进行处理,得到当前空间音频帧目标空间位置数据,降低空间音频播放过程中空间位置数据发生突变的几率,提升用户的听觉体验。。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示出了根据本公开实施方式的一种空间位置数据处理方法运行环境的***架构图;
图2示出了根据本公开实施方式的一种空间位置数据处理方法的流程示意图;
图3示出了根据本公开实施方式的一种确定当前空间音频帧目标空间位置数据方法的流程示意图;
图4示出了根据本公开实施方式的一种空间位置数据处理方法的流程示意图;
图5示出了根据本公开实施方式的一种空间位置数据处理装置的结构示意图;
图6示出了根据本公开实施方式的电子设备的结构方框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本公开的实施方式,提供一种空间位置数据处理方法、装置、计算机可读存储介质及电子设备。
在本文中,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本公开的若干代表性实施方式,详细阐述本公开的原理和精神。
发明概述
本发明人发现,在空间音频数据实时传输过程中,针对可能出现的空间音频数据丢包或者抖动等情况,现有技术通常提供的解决方案可以是:基于QoS(Quality ofService,质量服务)技术,通过FEC(Forward Error Correction,前向纠错),ARQ(Automatic Repeat Request,丢包重传)或者ABC(Adaptive Bit-rate Control,码率自适应)等抗丢包技术来解决空间音频数据丢包或者抖动导致的接收端音频信息确实的现象,但是,由于QoS技术是从信道维度提供的空间音频数据恢复,在确定空间音频数据丢后,并没有提供相应的解决方案;或者,在确定空间音频数据丢失后,可以提供一种音频数据恢复技术,如PLC(Packet Lost Concealment,错误隐藏)可以恢复与空间音频数据对应的音频数据,但是,这种技术无法应用于与空间音频数据对应的空间位置数据恢复;或者,在传输多声道音频数据的过程中,由于多声道音频数据本身携带空间信息,在音频数据丢失的状况下,可以通过对携带空间信息的音频数据的处理,恢复出多声道音频数据,营造立体声效,但是,这种空间信息恢复方法不适用于音频数据与空间位置数据相互独立的空间音频数据。
鉴于上述内容,本公开的基本思想在于:提供一种空间位置数据处理方法、装置、计算机可读存储介质及电子设备,可以获取当前空间音频帧空间位置数据解析结果;响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据,其中,当前空间音频帧为实时音频通信过程中正在传输的一帧空间音频帧,当前空间音频帧包括与当前空间音频帧对应的音频数据以及空间位置数据,当前空间音频帧空间位置数据为与当前空间音频帧对应的空间位置数据。本公开提供了空间位置数据丢失后的恢复方案,可以提升接收端最终获取的空间音频帧对应的空间位置数据的流畅度;还可以根据上一空间音频帧空间位置数据丢失与否对当前空间音频帧对应的空间位置数据进行处理,得到当前空间音频帧目标空间位置数据,降低空间音频播放过程中空间位置数据发生突变的几率,提升用户的听觉体验。
在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
需要注意的是,下述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
本公开可以应用于空间音频数据传输的所有场景,例如:在音频通信过程中,音频通信发起方可以采集空间音频数据得到当前空间音频帧,将当前空间音频帧打包后得到当前空间音频帧数据包,将当前空间音频帧数据包发送至音频通信接收方,音频通信接收方可以对接收到的当前空间音频帧数据包进行解析,得到当前空间音频帧空间位置数据结果,响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;或者,响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据;进一步的,音频通信接收方可以结合当前空间音频帧音频数据,得到音频通信接收方最终获取的当前空间音频帧。通过本公开实施例提供的空间音频帧实时传输过程中的空间位置数据处理方案,可以提升空间音频帧的传输流畅度,也可以降低空间音频播放过程中空间位置数据发生突变的几率,提升用户的听觉体验。
示例性方法
本公开的示例性实施方式首先提供一种空间位置数据处理方法,图1示出了该方法运行环境的***架构图。如图1所示,该***架构100可以包括:第一终端110、服务器120和第二终端130。第一终端110可以是音频通信发起方所使用的终端设备,第二终端130可以是音频通信接收方所使用的终端设备,终端设备可以是智能手机、平板电脑、个人电脑、智能穿戴设备、智能车载设备、游戏机等。服务器120可以包括第三方平台的后台***,第三方可以是直播服务提供方,音频通信提供方或者游戏服务提供方等。
一般情况下,第一终端110与服务器120之间,第二终端130与服务器120之间可以分别进行交互,其中,第一终端110在发起音频通信后,可以实时获取音频数据和空间信息数据,得到当前空间音频帧,并封装当前空间音频帧,得到当前空间音频帧数据包,向服务器120发送当前空间音频帧数据包,服务器120可以接收第一终端110发送的当前空间音频帧数据包,并将当前空间音频帧数据包发送至与第一终端110进行音频通信的第二终端130,第二终端130可以接收当前空间音频帧数据包,解析当前空间音频帧数据包获取当前空间音频帧空间位置数据解析结果;并响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;或者,响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
其中,第一终端设备110和第二终端设备130中可以搭载有空间音频数据传输框架,例如WebRTC框架,可以实现空间音频数据的封装打包和传输,服务器120可以是一台服务器,也可以是多台服务器组成的集群,本公开实施例对服务器的具体架构不作限定。
本公开的示例性实施方式首先提供一种空间位置数据处理方法,空间位置数据处理方法可以应用于第二终端,如图2所示,该方法可以包括步骤S201至步骤S203:
步骤S201、获取当前空间音频帧空间位置数据解析结果。
在本公开实施例中,当前空间音频帧为实时音频通信过程中正在传输的一帧空间音频帧,当前空间音频帧包括与当前空间音频帧对应的音频数据以及空间位置数据,当前空间音频帧空间位置数据为与当前空间音频帧对应的空间位置数据,当前空间音频帧空间位置数据解析结果用于指示当前空间音频帧空间位置数据丢失或者未丢失。
步骤S202、响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
在本公开实施例中,当前空间音频帧目标空间位置数据是播放当前空间音频帧时,与当前空间音频帧对应的空间位置数据。
步骤S203、响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
在本公开实施例中,历史空间音频帧目标空间位置数据是在当前空间音频帧之前的一帧或者多帧空间音频帧目标空间位置数据。
综上所述,本公开实施例提供的空间位置数据处理方法,可以提供空间位置数据丢失后的恢复方案,提升接收端最终获取的空间音频帧对应的空间位置数据的流畅度;还可以根据上一空间音频帧空间位置数据丢失与否对当前空间音频帧对应的空间位置数据进行处理,得到当前空间音频帧目标空间位置数据,降低空间音频播放过程中空间位置数据发生突变的几率,提升用户的听觉体验。。
在一个可选的实施例中,上述步骤S201中的第二终端可以获取当前空间音频帧空间位置数据解析结果。
其中,第二终端获取当前空间音频帧空间位置数据解析结果的过程可以包括:接收服务器发送的当前空间音频帧数据包,若当前空间音频帧数据包未丢失,可以解析得到当前空间音频帧空间位置数据,确定当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失;或者,若当前空间音频帧数据包丢失,则无法解析得到当前空间音频帧空间位置数据,确定当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,其中,当前空间音频帧数据包中至少包括当前空间音频帧空间位置数据。
可选的,实时音频通信过程中可以提供抗丢包技术,第二终端可以在当前空间音频帧数据包丢失后,利用相应的抗丢包技术确定能否重新获取当前空间音频帧空间位置数据,若根据抗丢包技术可以重新获取当前空间音频帧空间位置数据,则确定当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失;若根据抗丢包技术依旧无法重新获取当前空间音频帧空间位置数据,则确定当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,其中,抗丢包技术可以是丢包重传技术或者冗余技术等空间位置数据抗丢包技术。
需要说明的是,在本公开实施例中,空间位置数据可以根据音频通信的场景确定,示例的,音频通信可以为真实会话场景,例如,音频通话,则空间位置数据可以是声音源在真实场景中的位置信息;或者,音频通信可以为虚拟会话场景,例如,虚拟游戏中的虚拟角色会话,则空间位置数据可以是虚拟角色在虚拟游戏场景中的位置信息。
在一个可选的实施例中,上述步骤S202中的第二终端可以响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
其中,第二终端根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据的过程可以包括:
获取上一空间音频帧空间位置数据解析结果,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,可以响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据;或者,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,可以响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。在当前空间音频帧空间位置数据未丢失的情况下,可以根据上一空间音频帧空间位置数据是否丢失情况,确定是否对当前空间音频帧空间位置数据进行处理,降低当前空间音频帧的播放过程中,当前空间音频帧空间位置数据发生突变的几率。
在一种可选的实施方式中,第二终端在接收到服务器发送的当前空间音频帧数据包后,还可以分析当前空间音频帧空间位置数据的抖动情况,得到前空间音频帧空间位置数据解析结果,以使当前空间音频帧空间位置数据解析结果可以指示当前空间音频帧空间位置数据是否发生抖动,其中,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,以及当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,且当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则可以根据上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据,以降低由于数据抖动导致的相邻空间音频帧在播放过程中发生突变的几率。其中,第二终端分析当前空间音频帧空间位置数据的抖动情况的过程可以基于第二终端中搭载的空间音频数据传输框架确定,本公开实施例对此不作限定;示例的,如果第二终端中搭载的空间音频数据传输框架为WebRTC框架,则可以利用WebRTC框架中的抖动估计模块(DelayManager,NetEQ)分析空间音频帧空间位置数据的抖动情况。
其中,根据上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据的过程可以包括:获取上一空间音频帧目标空间位置数据,对上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据进行平滑处理,得到当前空间音频帧目标空间位置数据,平滑处理可以是低通滤波、中值滤波、移动平均或者卡尔曼滤波等。可以理解的是,上一空间音频帧目标空间位置数据是播放上一空间音频帧时,与上一当前空间音频帧对应的空间位置数据。
示例的,若当前空间音频帧为实时音频通信过程中的第99帧空间音频帧,第二终端通过解析数据包得到第99帧空间音频帧空间位置数据,接着,可以获取第98帧空间音频帧空间位置数据解析结果,若第98帧空间音频帧空间位置数据解析结果指示第98帧空间音频帧空间位置数据未丢失,则可以将第99帧空间音频帧空间位置数据确定为第99帧空间音频帧目标空间位置数据;若第98帧空间音频帧空间位置数据解析结果指示第98帧空间音频帧空间位置数据丢失,则可以获取第98帧空间音频帧目标空间位置数据,并对第98帧空间音频帧目标空间位置数据和第99帧空间音频帧空间位置数据进行平滑处理,得到第99帧空间音频帧目标空间位置数据,在第99帧空间音频帧播放过程中,利用第99帧空间音频帧目标空间位置数据以及第99帧空间音频帧对应的音频数据,为用户营造三维空间声场效果。
在一个可选的实施例中,上述步骤S203的第二终端可以响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
其中,如图3所示,第二终端根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据的过程可以包括:
步骤S301、根据历史空间音频帧目标空间位置数据和空间位置数据预测模型,确定当前空间音频帧预测空间位置数据。
在本步骤S301中,第二终端可以根据历史空间音频帧目标空间位置数据和空间位置数据预测模型,确定当前空间音频帧预测空间位置数据,该过程可以包括:获取历史空间音频帧目标空间位置数据,将历史空间音频帧目标空间位置数据输入空间位置数据预测模型,得到当前空间音频帧预测空间位置数据,可以在当前空间音频帧空间位置数据丢失情况下,结合历史空间音频帧目标空间位置数据,预测得到与当前空间音频帧空间位置数据未丢失情况下最相近的空间位置数据。其中,历史空间音频帧目标空间位置数据可以是在当前空间音频帧之前的一帧或者多帧空间音频帧目标空间位置数据,空间位置数据预测模型可以是多项式拟合预测模型、线性预测模型或者神经网络预测模型,本公开实施例对此不作限定。
步骤S302、根据上一空间音频帧空间位置数据解析结果和当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
在本步骤S302中,第二终端可以根据上一空间音频帧空间位置数据解析结果和当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,该过程可以包括:获取上一空间音频帧空间位置数据解析结果,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,可以响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,可以响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。在当前空间音频帧空间位置数据丢失的情况下,可以根据上一空间音频帧空间位置数据是否丢失情况,确定是否对当前空间音频帧空间位置数据进行平滑处理,降低当前空间音频帧的播放过程中,当前空间音频帧空间位置数据发生突变的可能性。
在一种可选的实施方式中,当前空间音频帧空间位置数据解析结果还可以指示当前空间音频帧空间位置数据是否发生抖动,其中,若上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,以及当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,且当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则可以根据上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据,以降低由于数据抖动导致的相邻空间音频帧在播放过程中发生突变的可能性。
其中,根据上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据,包括:获取上一空间音频帧目标空间位置数据,对上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据进行平滑处理,得到当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,为了保证空间音频帧空间位置数据丢失状况下,可以利用空间位置数据预测模型预测得到与空间音频帧空间位置数据未丢失情况下更接近的空间音频帧预测空间位置数据,可以在当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失时,判断实时音频通信过程中是否存在预设数量连续空间音频帧空间位置数据未丢失情况,若存在预设数量连续空间音频帧空间位置数据未丢失情况,可以响应于预设数量连续空间音频帧空间位置数据未丢失,则更新空间位置数据预测模型的模型参数,其中,预设数量连续空间音频帧空间位置数据包括当前空间音频帧空间位置数据,预设数量可以基于实际需要确定,本公开实施例对此不作限定。例如,假设当前空间音频帧为实时音频通信过程中的第99帧空间音频帧,预设数量为20帧,则可以在确定第99帧空间音频帧空间位置数据未丢失情况下,判断实时音频通信过程中第88帧至第98帧空间音频帧空间位置数据是否未丢失,若第88帧至第98帧空间音频帧空间位置数据未丢失,则更新空间位置数据预测模型。
其中,更新空间位置数据预测模型的模型参数的过程可以包括:利用预设数量连续空间音频帧空间位置数据对空间位置数据预测模型进行优化,得到更新后的空间位置数据预测模型,示例的,若空间位置数据预测模型为多项式拟合预测模型,更新多项式拟合预测模型的过程可以包括:利用预设数量连续空间音频帧空间位置数据重新确定多项式拟合预测模型的拟合参数,得到更新后的多项式拟合预测模型。
可以理解的是,在本公开实施例中,在获取到当前空间音频帧目标空间位置数据后,可以利用当前空间音频帧目标空间位置数据和当前空间音频帧对应的音频数据,为用户营造当前空间音频帧的三维空间声场效果。
示例的,如图4所示,假设实时音频通信过程中的传输的当前空间音频帧为第N帧空间音频帧,则第二终端可以根据第N帧空间音频帧空间位置数据解析结果,确定第N帧空间音频帧目标空间位置数据,如图4所示,该过程可以包括:
步骤S401、获取第N帧空间音频帧空间位置数据解析结果;
步骤S402、根据第N帧空间音频帧空间位置数据解析结果,判断第N帧空间音频帧空间位置数据是否丢失;
步骤S403、若第N帧空间音频帧空间位置数据丢失,则利用空间位置数据预测模型和历史空间音频帧空间位置数据,得到第N帧空间音频帧预测空间位置数据;
步骤S404、判断第N-1帧空间音频帧空间位置数据是否丢失;
步骤S405、若第N-1帧空间音频帧空间位置数据丢失,将第N帧空间音频帧预测空间位置数据确定为第N帧空间音频帧目标空间位置数据;
步骤S406、若第N-1帧空间音频帧空间位置数据未丢失,将第N帧空间音频帧预测空间位置数据和第N-1帧空间音频帧目标空间位置数据进行平滑处理,得到第N帧空间音频帧目标空间位置数据;
步骤S407、若第N帧空间音频帧空间位置数据未丢失,则判断第N-1帧空间音频帧空间位置数据是否丢失;
步骤S408、若第N-1帧空间音频帧空间位置数据未丢失,将第N帧空间音频帧空间位置数据确定为第N帧空间音频帧目标空间位置数据;
步骤S409、若第N-1帧空间音频帧空间位置数据丢失,将第N帧空间音频帧空间位置数据和第N-1帧空间音频帧目标空间位置数据进行平滑处理,得到第N帧空间音频帧目标空间位置数据。
示例性装置
在介绍了本公开示例性实施方式的方法之后,接下来,参考图5对本公开示例性实施方式的装置进行说明。
本公开实施例提供一种空间位置数据处理装置,如图5所示,该空间位置数据处理装置500包括:
获取模块501,被配置为获取当前空间音频帧空间位置数据解析结果;
第一确定模块502,被配置为响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据;
第二确定模块503,被配置为响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,第一确定模块502,被配置为:
响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据;或者,
响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,若当前空间音频帧空间位置数据和上一空间音频帧空间位置数据均未丢失,第一确定模块501,还被配置为:
响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,第一确定模块501,被配置为:
对上一空间音频帧目标空间位置数据和当前空间音频帧空间位置数据进行平滑处理,得到当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,第二确定模块502,被配置为:
根据历史空间音频帧目标空间位置数据和空间位置数据预测模型,确定当前空间音频帧预测空间位置数据;
根据上一空间音频帧空间位置数据解析结果和当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,第二确定模块502,被配置为:
响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,
响应于上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,若当前空间音频帧空间位置数据和上一空间音频帧空间位置数据均丢失,第二确定模块502,还被配置为:
响应于当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,第二确定模块502,被配置为:
对上一空间音频帧目标空间位置数据和当前空间音频帧预测空间位置数据进行平滑处理,得到当前空间音频帧目标空间位置数据。
在一种可选的实施方式中,若当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,空间位置数据处理装置还包括更新模块504,被配置为:
响应于预设数量连续空间音频帧空间位置数据未丢失,则更新空间位置数据预测模型的模型参数,预设数量连续空间音频帧空间位置数据包括当前空间音频帧空间位置数据。
此外,本公开实施方式的其他具体细节在上述方法的发明实施方式中已经详细说明,在此不再赘述。
示例性存储介质
下面对本公开示例性实施方式的存储介质进行说明。
本示例性实施方式中,可以通过程序产品实现上述方法,如可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RE等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言-诸如Java、C++等,还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(FAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性电子设备
参考图6对本公开示例性实施方式的电子设备进行说明。
图6显示的电子设备600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640。
其中,存储单元存储有程序代码,程序代码可以被处理单元610执行,使得处理单元610执行本说明书上述"示例性方法"部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元610可以执行如图所示的方法步骤等。
存储单元620可以包括易失性存储单元,例如随机存取存储单元(RAM)621和/或高速缓存存储单元622,还可以进一步包括只读存储单元(ROM)623。
存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624,这样的程序模块625包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以包括数据总线、地址总线和控制总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,这种通信可以通过输入/输出(I/O)接口650进行。电子设备600还包括显示单元640,其连接到输入/输出(I/O)接口650,用于进行显示。并且,电子设备600还可以通过网络适配器6100与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器6100通过总线630与电子设备600的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
应当注意,尽管在上文详细描述中提及了装置的若干模块或子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (18)
1.一种空间位置数据处理方法,其特征在于,所述方法包括:
获取当前空间音频帧空间位置数据解析结果;
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,所述当前空间音频帧目标空间位置数据是播放当前空间音频帧时,与所述当前空间音频帧对应的空间位置数据;
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据;
其中,所述根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据;
其中,根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据,包括:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
2.根据权利要求1所述的方法,其特征在于,所述根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将所述当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均未丢失,所述方法还包括:
响应于所述当前空间音频帧空间位置数据解析结果指示所述当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
4.根据权利要求1所述的方法,其特征在于,所述根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
根据所述历史空间音频帧目标空间位置数据和所述空间位置数据预测模型,确定当前空间音频帧预测空间位置数据;
根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,包括:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定所述当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均丢失,所述方法还包括:
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据。
7.根据权利要求5或6任一所述的方法,其特征在于,所述根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据,包括:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,所述方法还包括:
响应于预设数量连续空间音频帧空间位置数据未丢失,则更新所述空间位置数据预测模型的模型参数,所述预设数量连续空间音频帧空间位置数据包括所述当前空间音频帧空间位置数据。
9.一种空间位置数据处理装置,其特征在于,所述装置包括:
获取模块,被配置为获取当前空间音频帧空间位置数据解析结果;
第一确定模块,被配置为响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,则根据上一空间音频帧空间位置数据解析结果和所述当前空间音频帧空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据,所述当前空间音频帧目标空间位置数据是播放当前空间音频帧时,与所述当前空间音频帧对应的空间位置数据;
第二确定模块,被配置为响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据丢失,则根据上一空间音频帧空间位置数据解析结果、历史空间音频帧目标空间位置数据以及预先建立的空间位置数据预测模型中的至少一个,确定当前空间音频帧目标空间位置数据;
其中,所述第一确定模块,被配置为:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据;
其中,所述第一确定模块,被配置为:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
10.根据权利要求9所述的装置,其特征在于,所述第一确定模块,被配置为:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则将所述当前空间音频帧空间位置数据确定为当前空间音频帧目标空间位置数据。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均未丢失,所述第一确定模块,还被配置为:
响应于所述当前空间音频帧空间位置数据解析结果指示所述当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧空间位置数据,确定当前空间音频帧目标空间位置数据。
12.根据权利要求9所述的装置,其特征在于,所述第二确定模块,被配置为:
根据所述历史空间音频帧目标空间位置数据和所述空间位置数据预测模型,确定当前空间音频帧预测空间位置数据;
根据所述上一空间音频帧空间位置数据解析结果和所述当前空间音频帧预测空间位置数据中的至少一个,确定当前空间音频帧目标空间位置数据。
13.根据权利要求12所述的装置,其特征在于,所述第二确定模块,被配置为:
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据未丢失,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据;或者,
响应于所述上一空间音频帧空间位置数据解析结果指示上一空间音频帧空间位置数据丢失,则确定所述当前空间音频帧预测空间位置数据为当前空间音频帧目标空间位置数据。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:若所述当前空间音频帧空间位置数据和所述上一空间音频帧空间位置数据均丢失,所述第二确定模块,还被配置为:
响应于所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据发生抖动,则根据上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据,确定当前空间音频帧目标空间位置数据。
15.根据权利要求13或14任一所述的装置,其特征在于,所述第二确定模块,被配置为:
对所述上一空间音频帧目标空间位置数据和所述当前空间音频帧预测空间位置数据进行平滑处理,得到所述当前空间音频帧目标空间位置数据。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:若所述当前空间音频帧空间位置数据解析结果指示当前空间音频帧空间位置数据未丢失,所述装置还包括更新模块,被配置为:
响应于预设数量连续空间音频帧空间位置数据未丢失,则更新所述空间位置数据预测模型的模型参数,所述预设数量连续空间音频帧空间位置数据包括所述当前空间音频帧空间位置数据。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。
18.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110948132.7A CN113676397B (zh) | 2021-08-18 | 2021-08-18 | 空间位置数据处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110948132.7A CN113676397B (zh) | 2021-08-18 | 2021-08-18 | 空间位置数据处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113676397A CN113676397A (zh) | 2021-11-19 |
CN113676397B true CN113676397B (zh) | 2023-04-18 |
Family
ID=78543648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110948132.7A Active CN113676397B (zh) | 2021-08-18 | 2021-08-18 | 空间位置数据处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113676397B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008002098A1 (en) * | 2006-06-29 | 2008-01-03 | Lg Electronics, Inc. | Method and apparatus for an audio signal processing |
CN110622242A (zh) * | 2017-05-11 | 2019-12-27 | 高通股份有限公司 | 用于立体声解码的立体声参数 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003107591A1 (en) * | 2002-06-14 | 2003-12-24 | Nokia Corporation | Enhanced error concealment for spatial audio |
CN104282309A (zh) * | 2013-07-05 | 2015-01-14 | 杜比实验室特许公司 | 丢包掩蔽装置和方法以及音频处理*** |
US10714098B2 (en) * | 2017-12-21 | 2020-07-14 | Dolby Laboratories Licensing Corporation | Selective forward error correction for spatial audio codecs |
WO2020249480A1 (en) * | 2019-06-12 | 2020-12-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Packet loss concealment for dirac based spatial audio coding |
-
2021
- 2021-08-18 CN CN202110948132.7A patent/CN113676397B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008002098A1 (en) * | 2006-06-29 | 2008-01-03 | Lg Electronics, Inc. | Method and apparatus for an audio signal processing |
CN110622242A (zh) * | 2017-05-11 | 2019-12-27 | 高通股份有限公司 | 用于立体声解码的立体声参数 |
Non-Patent Citations (3)
Title |
---|
Xiguang Zheng."Packet loss protection for interactive audio object rendering: A multiple description approach".《2012 Fourth International Workshop on Quality of Multimedia Experience》.2012,全文. * |
杨立东 ; 王晶 ; 赵毅 ; 谢湘 ; 匡镜明 ; .基于张量分解的多声道音频恢复方法.北京理工大学学报.2015,(11),全文. * |
杨立东."基于张量分解的多声道音频恢复方法".《((音乐 or 音频) s (空间 or 位置)) and 空间音频 and ((丢包 or 丢失 or 丢帧) s 帧)》.2015,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113676397A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110113407B (zh) | 小程序状态同步方法、设备和计算机存储介质 | |
CN111221491A (zh) | 交互控制方法及装置、电子设备、存储介质 | |
CN109819322A (zh) | 视频传输方法、装置、计算机可读存储介质及电子设备 | |
CN111177617A (zh) | 基于运维管理***的web直接运维方法、装置及电子设备 | |
CN111177112A (zh) | 基于运维管理***的数据库阻断方法、装置及电子设备 | |
WO2019080685A1 (zh) | 视频图像分割方法及装置、存储介质、电子设备 | |
US10803876B2 (en) | Combined forward and backward extrapolation of lost network data | |
CN114221954A (zh) | 文件传输方法及装置、电子设备及存储介质 | |
WO2020131593A1 (en) | Conditional forward error correction for network data | |
EP3895380A1 (en) | Handling timestamp inaccuracies for streaming network protocols | |
CN113676485A (zh) | 虚拟现实交互方法、装置、存储介质与电子设备 | |
US9912617B2 (en) | Method and apparatus for voice communication based on voice activity detection | |
CN113676397B (zh) | 空间位置数据处理方法、装置、存储介质及电子设备 | |
CN112153322B (zh) | 数据分发方法、装置、设备及存储介质 | |
US10216672B2 (en) | System and method for preventing time out in input/output systems | |
CN114760309A (zh) | 基于云端服务的终端的业务交互方法、装置、设备和介质 | |
CN114189890A (zh) | 更新网络服务质量模型的方法、装置、设备及存储介质 | |
CN113660063B (zh) | 空间音频数据处理方法、装置、存储介质及电子设备 | |
CN114153542A (zh) | 投屏方法、装置、电子设备及计算机可读存储介质 | |
CN113079103A (zh) | 音频发送方法、装置、电子设备及存储介质 | |
CN114760389B (zh) | 语音通话方法、装置、计算机存储介质及电子设备 | |
CN115733893B (zh) | 触摸屏组网监控方法、装置、设备及可读存储介质 | |
CN115086263B (zh) | Ios终端的im消息发送方法、***、存储介质、计算机设备 | |
CN115631758B (zh) | 音频信号处理方法、装置、设备和存储介质 | |
US11876849B2 (en) | Media service processing method and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |