CN113838477A - 音频数据包的丢包恢复方法、装置、电子设备及存储介质 - Google Patents

音频数据包的丢包恢复方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113838477A
CN113838477A CN202111069091.0A CN202111069091A CN113838477A CN 113838477 A CN113838477 A CN 113838477A CN 202111069091 A CN202111069091 A CN 202111069091A CN 113838477 A CN113838477 A CN 113838477A
Authority
CN
China
Prior art keywords
sampling point
audio data
amplitude value
sampling
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111069091.0A
Other languages
English (en)
Inventor
周文欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Zhilian Beijing Technology Co Ltd
Original Assignee
Apollo Zhilian Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Zhilian Beijing Technology Co Ltd filed Critical Apollo Zhilian Beijing Technology Co Ltd
Priority to CN202111069091.0A priority Critical patent/CN113838477A/zh
Publication of CN113838477A publication Critical patent/CN113838477A/zh
Priority to EP22195091.8A priority patent/EP4099323A3/en
Priority to US17/931,174 priority patent/US20230005490A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供了一种音频数据包的丢包恢复方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及语音技术、车联网、智能座舱和智能交通等人工智能领域，方案为：接收车载终端发送音频数据包，若音频数据包发生丢包，识别被丢掉的第一采样点集，第一采样点集中包括N个第一采样点，N为正整数；获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和后面的第三采样点集，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点；根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。本公开中解决了车机的音频传输数据丢包问题。

Description

音频数据包的丢包恢复方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及语音技术、车联网、智能座舱和智能交通等人工智能技术领域。
背景技术
在车机与手机互联的交互场景中，存在音频数据包丢包的情况，丢包会导致音源质量变差，影响语音引擎的识别效率。而现有的解决音源质量问题的方案，会导致传输的数据量更大，并对车机的兼容性及性能产生考验，因此，如何更好地解决音频数据包的丢包问题，是现在需要急迫解决的事情。
发明内容
本公开提供了一种音频数据包的丢包恢复方法、装置、电子设备以及存储介质、计算机程序产品。
根据本公开的一方面，提供了一种音频数据包的丢包恢复方法，包括：
接收车载终端发送音频数据包，响应于检测到音频数据包发生丢包，识别被丢掉的第一采样点集，其中，第一采样点集中包括N个第一采样点，N为正整数；
获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集，其中，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点；
根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。
本公开实施例中基于丢包位置前后相邻的N个数据包来恢复丢失的N个数据包，解决了车机的音频传输数据丢包问题，提高了音源质量。
根据本公开的另一方面，提供了一种音频数据包的丢包恢复装置，包括：
检测模块，用于接收车载终端发送音频数据包，响应于检测到音频数据包发生丢包，识别被丢掉的第一采样点集，其中，第一采样点集中包括N个第一采样点，N为正整数；
获取模块，用于获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集，其中，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点；
生成模块，用于根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。
根据本公开的另一方面，提供了一种电子设备，包括至少一个处理器，以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一个方面实施例的音频数据包的丢包恢复方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一个方面实施例的音频数据包的丢包恢复方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一个方面实施例的音频数据包的丢包恢复方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图2是采样点集的示意图；
图3是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图4是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图5是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图6是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图7是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图8是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图；
图9是根据本公开一个实施例的音频数据包的丢包恢复装置的结构图；
图10是用来实现本公开实施例的音频数据包的丢包恢复方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了方便对本公开的理解，下面首先对本公开涉及的技术领域进行简单解释说明。
数据处理是对数据的采集、存储、检索、加工、变换和传输。通过数据处理可以从大量的、杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
语音技术在计算机领域中的关键技术有自动语音识别技术和语音合成技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式，语音比其他的交互方式有更多的优势。
智能交通是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理***而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理技术。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
图1是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，如图1所示，该方法包括以下步骤：
S101，接收车载终端发送音频数据包，响应于检测到音频数据包发生丢包，识别被丢掉的第一采样点集，其中，第一采样点集中包括N个第一采样点，N为正整数。
本公开实施例中，终端设备可以接收车载终端通过两者之间的通信链路发送的音频数据包。其中，终端设备与车载终端之间可以通过热点(WiFi、蓝牙)、IrDA、ZigBee或者USB等方式连接。
车载终端上具有音频采集装置，例如可以为麦克风(mic)、拾音器等，可以基于音频采集装置对司乘人员的语音进行采集。
终端设备可以为手机、蓝牙耳机、平板电脑或者智能手表等。
终端设备在接收到车载终端发送的音频数据包后，为了判断音频质量的好坏，需要检测音频数据包是否发生丢包。在一些实现中，由于音频数据包应该在时序上连续，因此可以基于时刻确定是否发生丢包，并将未连续的时刻作为被丢包的时刻，从而将被丢包时刻对应的采样点作为被丢包采样点，称为第一采样点。在另一些实现中，车载终端在采集音频数据时对每个数据进行编号，相邻的数据序号是连续的，当检测到序号不连续，则证明音频数据包发生丢包，并将缺失的序号对应的采样点作为被丢包采样，称为第一采样点。
S102，获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集，其中，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点。
基于发生丢包的位置，获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集。
以图2为例，当被丢掉的第一采样点集为t21～t30这些时刻对应的采样点，则可以采集t11～t20这前10个点作为第二采样点集，采集t31～t40这后10个点作为第三采样点集。
为了保证数据恢复的精准性，需要采集一定量的音频数据。在本公开中，可选地，第二采样点集中的第二采样点与第三采样点集中的第三采样点可以与第一采样点的个数一致，都为N个。可选地，也可以采集多于N个采样点。
S103，根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。
根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，可以获取第一采样点对应的目标音频幅度值。按照第一采样点对应的目标音频幅度值可以生成第一采样点的目标音频数据。将目标音频数据***第一采样点的采样位置上，使得在每个采样时刻均有对应的音频数据，使得音频数据包完整，进而完成了对音频数据包的丢包恢复。
本公开实施例中，接收车载终端发送音频数据包，响应于检测到音频数据包发生丢包，识别被丢掉的第一采样点集，其中，第一采样点集中包括N个第一采样点，N为正整数，获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集，其中，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点，根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。本公开实施例中，基于丢包位置前后相邻的N个数据包来恢复丢失的N个数据包，解决了车机的音频传输数据丢包问题，提高了音源质量。
图3是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，在上述实施例的基础上，进一步结合图3，对根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据的过程进行解释说明，包括以下步骤：
S301，根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取第一采样点对应的目标音频幅度值。
在一些实现中，根据第二采样点采样的第一音频数据，获取第一拟合曲线，根据第三采样点采样的第二音频数据，获取第二拟合曲线。针对每个第一采样点，基于第一拟合曲线和第二拟合曲线，获取第一采样点对应的目标音频幅度值。
在另一些实现中，将第二采样点集中一个第二采样点与第三采样点集中一个第三采样点进行组合，获取组合中第二采样点的第二音频幅度值和所述第三采样点的第三音频幅度值的平均值，作为目标音频幅度值。
可选地，获取任一采样点的音频幅度值，对第二采样点集按照时间从早到晚的顺序，依次选取一个第二采样点，对第三采样点集按照时间从晚到早的顺序，依次选取一个第三采样点，将从第二采样点和第三采样点集中同顺序选取的采样点进行组合。获取组合中第二采样点的第二音频幅度值和第三采样点的第三音频幅度值的平均值，作为目标音频幅度值。
可选地，获取任一采样点的音频幅度值，对第二采样点集按照时间从晚到早的顺序，依次选取一个第二采样点，对第三采样点集按照时间从晚到早的顺序，依次选取一个第三采样点，将从第二采样点和第三采样点集中同顺序选取的采样点进行组合。获取组合中第二采样点的第二音频幅度值和第三采样点的第三音频幅度值的平均值，作为目标音频幅度值。
可选地，获取任一采样点的音频幅度值，对第二采样点集按照时间从晚到早的顺序，依次选取一个第二采样点，对第三采样点集按照时间从早到晚顺序，依次选取一个第三采样点，将从第二采样点和第三采样点集中同顺序选取的采样点进行组合。获取组合中第二采样点的第二音频幅度值和第三采样点的第三音频幅度值的平均值，作为目标音频幅度值。
S302，按照第一采样点对应的目标音频幅度值生成第一采样点的目标音频数据。
目标音频幅度值中包含音源的音量大小和频率信息，可以以此恢复目标音频数据。将获取的音频幅度值***对应的第一采样点中，生成目标音频数据。
本公开实施例中，根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取第一采样点对应的目标音频幅度值，按照第一采样点对应的目标音频幅度值生成第一采样点的目标音频数据。本公开实施例中根据丢包位置前后采集的音频数据获取目标音频幅度值，进一步生成目标音频数据，对生成目标音频数据的过程进行细化分解，可以得到更精确的数据结果。
图4是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，在上述实施例的基础上，进一步结合图4，对根据生成拟合曲线获取每个第一采样点对应的音频幅度值的过程进行解释说明，包括以下步骤：
S401，根据第二采样点采样的第一音频数据，获取第一拟合曲线。
将第二采样点的采样时间和音频幅度值分别设置为x轴和y轴，即可将每个第二采样点作为一个数据点，采用最小二乘法获取第一拟合曲线的函数：φ1＝a0+a1x+...+akxk，并且使得拟合曲线与真实值的偏差最小，即任一x值所对应的真实幅度值y与代入函数得到的φ值的偏差最小。
最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵的形式用最小二乘法来表达。
S402，根据第三采样点采样的第二音频数据，获取第二拟合曲线。
关于根据第二音频数据获取第二拟合曲线的具体实现可以参见步骤S401中根据第一音频数据获取第一拟合曲线的相关介绍，此处不再赘述。
第二拟合曲线的函数为：φ2＝b0+b1x+...+bkxk。
S403，针对每个第一采样点，基于第一拟合曲线和第二拟合曲线，获取第一采样点对应的目标音频幅度值。
本公开中，第一拟合曲线和第二拟合曲线中x值为采样时刻，获取第一采样点的采样时刻，将采样时刻输入到第一拟合曲线和第二拟合曲线中，可以得到该采样时刻对应的第一拟合幅度值φ1和第二拟合幅度值φ2，根据第一拟合幅度值和第二拟合幅度值可以确定目标音频幅度值。
在一些实现中，直接将第一拟合幅度值和第二拟合幅度值的平均幅度值确定为目标音频幅度值，即目标幅度值
Figure BDA0003259774200000071
本公开实施例中，根据第二采样点采样的第一音频数据，获取第一拟合曲线，根据第三采样点采样的第二音频数据，获取第二拟合曲线，针对每个第一采样点，基于第一拟合曲线和第二拟合曲线，获取第一采样点对应的目标音频幅度值。本公开实施例中建立了第一音频数据与第二音频数据的拟合曲线，基于拟合曲线来获取目标音频幅度值，通过建立数学模型获取目标音频幅度值，使数据的获取更加精确、符合实际。
图5是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，在上述实施例的基础上，为了使生成的幅度值曲线更加平滑，所以在另一些实现中，在获取第一拟合幅度值和第二拟合幅度值的平均幅度值后还需要对生成的幅度值曲线前后共3N个时间点进行二项式拟合，包括以下步骤。
S501，获取第一采样点的采样时刻，将采样时刻分别输入第一拟合曲线和第二拟合曲线，得到第一拟合幅度值和第二拟合幅度值。
关于步骤S501的具体实现可以参见本公开各实施例中相关介绍，此处不再赘述。
S502，获取第一拟合幅度值和第二拟合幅度值的平均幅度值，基于平均幅度值，生成第一采样点的拟合音频数据。
每个第一采样时刻有其对应的第一拟合幅度值和第二拟合幅度值，基于这两个幅度值求取平均值，得到每个第一采样点的拟合音频幅度值，根据拟合音频幅度值可以生成第一采样点的拟合音频数据。
S503，根据第一音频数据、拟合音频数据和第二音频数据，生成第三拟合曲线。
此时生成的拟合音频幅度值曲线并不光滑，为了使恢复的音频数据更加真实无噪声，需要根据第一音频数据、拟合音频数据和第二音频数据这相邻的3N个时间点再进行二项式拟合，生成第三拟合曲线φ3＝c0+c1x+...+ckxk。
其中，生成第三拟合曲线的过程可以参见S401中生成第一拟合曲线的过程，此处不再赘述。
S504，将所述采样时刻输入第三拟合曲线，得到目标音频幅度值。
本公开中，第三拟合曲线中x值为采样时刻，获取第一采样点的采样时刻，将采样时刻输入到第三拟合曲线中，可以直接得到该采样时刻对应的目标音频幅度值。
本公开实施例中，获取第一采样点的采样时刻，将采样时刻分别输入第一拟合曲线和第二拟合曲线，得到第一拟合幅度值和第二拟合幅度值，获取第一拟合幅度值和第二拟合幅度值的平均幅度值，基于平均幅度值，生成第一采样点的拟合音频数据，根据第一音频数据、拟合音频数据和第二音频数据，生成第三拟合曲线，将所述采样时刻输入第三拟合曲线，得到目标音频幅度值。本公开实施例中在基于第一音频数据和第二音频数据获取拟合音频数据后对这3N个时间点的数据进行再次拟合，进一步获取了光滑的目标音频幅度值曲线，使恢复的音频数据更加真实无噪声。
图6是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，在上述实施例的基础上，***第一采样点的采样位置上之后，如图6所示，还包括：
S601，对恢复的音频数据包进行语义解析，响应于恢复的音频数据包未满足语义解析要求，则开启终端设备自身的音频采集装置进行音频数据采集。
将恢复后的音频数据包发送到语音引擎进行识别，判断车载终端恢复后的录音数据是否满足语音引擎的要求。若语音引擎不能识别音频数据包中的语音数据，则证明音频数据包的噪声仍旧过大，不满足语义解析要求。
此时开启终端设备自身的音频采集装置进行音频数据采集，可选地，音频采集设备可以是终端设备上的麦克风、拾音器等。
可选地，车载终端可以向用户发出语音提示或文字提示，提醒用户由于音源质量太差，音频采集装置已发生变换，请重复语音指令。
S602，向车载终端发送退出音频采集线程的指示。
基于连接方式，移动终端向车载终端发送退出音频采集线程的指示，车载终端接收到该指示，则关闭音频采集装置。
本公开实施例中，对恢复的音频数据包进行语义解析，响应于恢复的音频数据包未满足语义解析要求，则开启终端设备自身的音频采集装置进行音频数据采集，向车载终端发送退出音频采集线程的指示。本公开实施例中当经过丢包恢复的音频数据包仍无法满足语音引擎的要求，则更改音频采集装置进行采集，可以解决车机麦克风接触不良或者噪声太大等严重影响录音的音频质量的问题。
在上述实施例中，介绍了车载终端向终端设备发送音频数据包时的丢包恢复策略，若车载终端的音频采集装置被占用，则无法采集音频数据发送给终端设备，需要更换音频采集装置，在此之前需要判断车载终端的音频采集装置是否被占用。图7是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，如图7所示，该方法包括以下步骤：
S701，获取车载终端初始发送的音频数据包的音频幅度值。
车载终端与终端设备建立连接后，优先启动车载终端的麦克风并开始录音。录音完成后，车载终端向终端设备发送音频数据包，终端设备获取音频数据包的音频幅度值。
S702，根据音频幅度值对车载终端上的音频采集装置的占用状态进行识别。
判断接收端获取到的音频值是否大于给定的阈值。如果大于等于阈值，则证明录音数据正常，车机的音频采集装置未被占用。如果小于阈值，则说明车机的录音数据有问题，音频采集装置处于占用状态。
其中阈值为通常情况下，车机的音频采集装置未被占用时的最小音频幅度值。阈值可以通过大量实验训练得到。
若响应于音频采集装置未处于占用状态则执行S703；若响应于音频采集装置处于占用状态则执行S704。
S703，持续接收车载终端发送的音频数据包。
移动终端继续接收车载终端发送的音频数据包。
S704，开启终端设备自身的音频采集装置进行音频数据采集。
开启终端设备自身的音频采集装置进行音频数据采集，可选地，音频采集设备可以是手机或者蓝牙耳机或者其他的电子设备。
可选地，车机可以向用户发出语音提示或文字提示，提醒用户由于车载终端的音频采集装置已被占用，现已更换为移动终端的音频采集装置，请重复语音指令。
S705，向车载终端发送退出音频采集线程的指示。
关于步骤S705的具体实现可以参见本公开各实施例中相关介绍，此处不再赘述。
本公开实施例中，获取车载终端初始发送的音频数据包的音频幅度值；根据音频幅度值对车载终端上的音频采集装置的占用状态进行识别；响应于音频采集装置未处于占用状态，则持续接收车载终端发送的音频数据包；响应于音频采集装置处于占用状态，开启终端设备自身的音频采集装置进行音频数据采集，并向车载终端发送退出音频采集线程的指示。本公开实施例中判断车载终端的音频采集装置是否处于占用状态，当处于占用状态时，更换为移动设备上的音频采集装置进行采集，解决了车机麦克风被占用或者不可用时导致的语音功能不可用的问题。
图8是根据本公开一个实施例的音频数据包的丢包恢复方法的流程图，如图8所示，基于本公开提供的音频数据包的丢包恢复方法，在实际应用场景下音频数据包的丢包恢复过程包括以下步骤：
S801，终端设备与车载终端建立连接。
S802，建立连接后，启动车载终端的音频采集装置进行录音。
S803，终端设备判断车载终端的麦克风是否被占用。
若没有被占用，则执行S804；若被占用，则执行S807。
S804，终端设备判断音频数据包是否产生丢包。
终端设备从音频数据包中识别相邻的两个音频数据，以及相邻的两个音频数据各自的第一采样时刻和第二采样时刻。由于音频数据包应该在时序上连续，因此可以基于时刻确定是否发生丢包。当响应于第一采样时刻和第二采样时刻未连续，则证明音频数据包发生丢包。获取在第一采样时刻和第二采样时刻之间的被丢掉的采样时刻，其中，一个被丢掉的采样时刻对应一个第一采样点，第一采样点集中包括N个第一采样点，N为正整数。
若产生丢包，则执行S805。
S805，终端设备使用音频丢包的恢复策略恢复音频数据。
其中，音频丢包的恢复策略为上述实施例中根据第一音频数据与第二音频数据恢复目标音频数据的策略。
S806，终端设备判断车载终端恢复后的录音数据是否满足语音引擎的要求。
若不满足要求，则执行S807；若满足要求，则执行S808.
S807，使用终端设备上的音频采集装置录音。
S808，录制的音频数据流提供给语音引擎。
本公开实施例中，移动设备与车载终端建立连接，建立连接后，默认是启动车载终端的音频采集装置录音，当车载终端的音频采集装置被占用时，自动选择使用终端设备的音频采集装置录音，当车载终端的音频采集装置未被占用，且音频数据产生丢包，使用音频丢包恢复策略恢复音频数据；若恢复后的录音数据仍不能满足语音引擎的要求，则也需要使用终端设备的音频采集装置录音，最终将满足要求的录音音频数据提供给语音引擎。本公开实施例中通过音频丢包恢复策略恢复了音频数据，并可通过对音频数据的判断，自动选择合适的音频采集装置，有效解决了车机的音频传输数据丢包问题和车载终端的音频采集装置接触不良或者噪声太大等严重影响录音的音频质量问题，以及车载终端的音频采集装置被占用或者不可用时导致的语音功能不可用的问题，极大的提升了用户体验。
图9是根据本公开一个实施例的音频数据包的丢包恢复装置的结构图，如图9所示，音频数据包的丢包恢复装置900包括：
检测模块910，用于接收车载终端发送音频数据包，响应于检测到音频数据包发生丢包，识别被丢掉的第一采样点集，其中，第一采样点集中包括N个第一采样点，N为正整数；
获取模块920，用于获取与第一采样点集相邻，且位于第一采样点集前面的第二采样点集和位于第一采样点集后面的第三采样点集，其中，第二采样点集中包括至少N个第二采样点，第三采样点集中包括至少N个第三采样点；
生成模块930，用于根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成第一采样点的目标音频数据，并***第一采样点的采样位置上。
本公开实施例中基于丢包位置前后相邻的N个数据包来恢复丢失的N个数据包，解决了车机的音频传输数据丢包问题，提高了音源质量。
需要说明的是，前述对音频数据包的丢包恢复方法实施例的解释说明也适用于该实施例的音频数据包的丢包恢复装置，此处不再赘述。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：根据第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取第一采样点对应的目标音频幅度值；按照第一采样点对应的目标音频幅度值生成第一采样点的目标音频数据。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：根据第二采样点采样的第一音频数据，获取第一拟合曲线；根据第三采样点采样的第二音频数据，获取第二拟合曲线；针对每个第一采样点，基于第一拟合曲线和第二拟合曲线，获取第一采样点对应的目标音频幅度值。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：获取第一采样点的采样时刻，将采样时刻分别输入第一拟合曲线和第二拟合曲线，得到第一拟合幅度值和第二拟合幅度值；根据第一拟合幅度值和第二拟合幅度值确定目标音频幅度值。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：将第一拟合幅度值和第二拟合幅度值的平均幅度值确定为目标音频幅度值。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：获取第一拟合幅度值和第二拟合幅度值的平均幅度值，基于平均幅度值，生成第一采样点的拟合音频数据；根据第一音频数据、拟合音频数据和第二音频数据，生成第三拟合曲线；将采样时刻输入第三拟合曲线，得到目标音频幅度值。
进一步地，在本公开实施例一种可能的实现方式中，生成模块930，还用于：针对第二采样点集和第三采样点集中的任一采样点，获取任一采样点的音频幅度值；将第二采样点集中一个第二采样点与第三采样点集中一个第三采样点进行组合；获取组合中第二采样点的第二音频幅度值和第三采样点的第三音频幅度值的平均值，作为目标音频幅度值。
进一步地，在本公开实施例一种可能的实现方式中，检测模块910，还用于：从音频数据包中识别相邻的两个音频数据，以及相邻的两个音频数据各自的第一采样时刻和第二采样时刻；响应于第一采样时刻和第二采样时刻未连续，获取在第一采样时刻和第二采样时刻之间的被丢掉的采样时刻，其中一个被丢掉的采样时刻对应的一个第一采样点。
进一步地，在本公开实施例一种可能的实现方式中，音频数据包的丢包恢复装置900，还包括：语义解析模块940，用于对恢复的音频数据包进行语义解析，响应于恢复的音频数据包未满足语义解析要求，则开启终端设备自身的音频采集装置进行音频数据采集，并向车载终端发送退出音频采集线程的指示。
进一步地，在本公开实施例一种可能的实现方式中，音频数据包的丢包恢复装置900，还包括：装置选择模块950，用于获取车载终端初始发送的音频数据包的音频幅度值；根据音频幅度值对车载终端上的音频采集装置的占用状态进行识别；响应于音频采集装置未处于占用状态，则持续接收车载终端发送的音频数据包。
进一步地，在本公开实施例一种可能的实现方式中，装置选择模块950，还用于：响应于音频采集装置处于占用状态，开启终端设备自身的音频采集装置进行音频数据采集；向车载终端发送退出音频采集线程的指示。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如音频数据包的丢包恢复方法。例如，在一些实施例中，音频数据包的丢包恢复方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的音频数据包的丢包恢复方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行音频数据包的丢包恢复方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种音频数据包的丢包恢复方法，包括：
接收车载终端发送音频数据包，响应于检测到所述音频数据包发生丢包，识别被丢掉的第一采样点集，其中，所述第一采样点集中包括N个第一采样点，N为正整数；
获取与所述第一采样点集相邻，且位于所述第一采样点集前面的第二采样点集和位于所述第一采样点集后面的第三采样点集，其中，所述第二采样点集中包括至少N个第二采样点，所述第三采样点集中包括至少N个第三采样点；
根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成所述第一采样点的目标音频数据，并***所述第一采样点的采样位置上。
2.根据权利要求1所述的方法，其中，所述根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成所述第一采样点的目标音频数据，包括：
根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取所述第一采样点对应的目标音频幅度值；
按照所述第一采样点对应的目标音频幅度值生成所述第一采样点的目标音频数据。
3.根据权利要求2所述的方法，其中，所述根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取每个所述第一采样点对应的目标音频幅度值，包括：
根据所述第二采样点采样的第一音频数据，获取第一拟合曲线；
根据所述第三采样点采样的第二音频数据，获取第二拟合曲线；
针对每个所述第一采样点，基于所述第一拟合曲线和所述第二拟合曲线，获取所述第一采样点对应的目标音频幅度值。
4.根据权利要求3所述的方法，其中，所述针对每个所述第一采样点，基于所述第一拟合曲线和所述第二拟合曲线，获取所述第一采样点对应的目标音频幅度值，包括：
获取所述第一采样点的采样时刻，将所述采样时刻分别输入所述第一拟合曲线和所述第二拟合曲线，得到第一拟合幅度值和第二拟合幅度值；
根据所述第一拟合幅度值和第二拟合幅度值确定所述目标音频幅度值。
5.根据权利要求4所述的方法，其中，所述根据所述第一拟合幅度值和第二拟合幅度值确定所述目标音频幅度值，包括：
将所述第一拟合幅度值和第二拟合幅度值的平均幅度值确定为所述目标音频幅度值。
6.根据权利要求4所述的方法，其中，所述根据所述第一拟合幅度值和第二拟合幅度值确定所述目标音频幅度值，包括：
获取所述第一拟合幅度值和第二拟合幅度值的平均幅度值，基于所述平均幅度值，生成所述第一采样点的拟合音频数据；
根据所述第一音频数据、所述拟合音频数据和所述第二音频数据，生成第三拟合曲线；
将所述采样时刻输入所述第三拟合曲线，得到所述目标音频幅度值。
7.根据权利要求2所述的方法，其中，所述根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取所述第一采样点对应的目标音频幅度值，包括：
针对所述第二采样点集和所述第三采样点集中的任一采样点，获取所述任一采样点的音频幅度值；
将所述第二采样点集中一个所述第二采样点与所述第三采样点集中一个所述第三采样点进行组合；
获取所述组合中所述第二采样点的第二音频幅度值和所述第三采样点的第三音频幅度值的平均值，作为所述目标音频幅度值。
8.根据权利要求1-7任一项所述的方法，其中，所述识别被丢掉的第一采样点集，包括：
从所述音频数据包中识别相邻的两个音频数据，以及所述相邻的两个音频数据各自的第一采样时刻和第二采样时刻；
响应于所述第一采样时刻和所述第二采样时刻未连续，获取在所述第一采样时刻和所述第二采样时刻之间的被丢掉的采样时刻，其中一个所述被丢掉的采样时刻对应的一个所述第一采样点。
9.根据权利要求1-7任一项所述的方法，其中，所述***所述第一采样点的采样位置上之后，还包括：
对恢复的音频数据包进行语义解析，响应于所述恢复的音频数据包未满足语义解析要求，则开启终端设备自身的音频采集装置进行音频数据采集；
向所述车载终端发送退出音频采集线程的指示。
10.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：
获取所述车载终端初始发送的所述音频数据包的音频幅度值；
根据所述音频幅度值对所述车载终端上的音频采集装置的占用状态进行识别；
响应于所述音频采集装置未处于占用状态，则持续接收所述车载终端发送的音频数据包。
11.根据权利要求10所述的方法，其中，所述方法还包括：
响应于所述音频采集装置处于占用状态，开启终端设备自身的音频采集装置进行音频数据采集；
向所述车载终端发送退出音频采集线程的指示。
12.一种音频数据包的丢包恢复装置，包括：
检测模块，用于接收车载终端发送音频数据包，响应于检测到所述音频数据包发生丢包，识别被丢掉的第一采样点集，其中，所述第一采样点集中包括N个第一采样点，N为正整数；
获取模块，用于获取与所述第一采样点集相邻，且位于所述第一采样点集前面的第二采样点集和位于所述第一采样点集后面的第三采样点集，其中，所述第二采样点集中包括至少N个第二采样点，所述第三采样点集中包括至少N个第三采样点；
生成模块，用于根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，生成所述第一采样点的目标音频数据，并***所述第一采样点的采样位置上。
13.根据权利要求12所述的装置，其中，所述生成模块，还用于：
根据所述第二采样点采样的第一音频数据和第三采样点采样的第二音频数据，获取所述第一采样点对应的目标音频幅度值；
按照所述第一采样点对应的目标音频幅度值生成所述第一采样点的目标音频数据。
14.根据权利要求13所述的装置，其中，所述生成模块，还用于：
根据所述第二采样点采样的第一音频数据，获取第一拟合曲线；
根据所述第三采样点采样的第二音频数据，获取第二拟合曲线；
针对每个所述第一采样点，基于所述第一拟合曲线和所述第二拟合曲线，获取所述第一采样点对应的目标音频幅度值。
15.根据权利要求14所述的装置，其中，所述生成模块，还用于：
获取所述第一采样点的采样时刻，将所述采样时刻分别输入所述第一拟合曲线和所述第二拟合曲线，得到第一拟合幅度值和第二拟合幅度值；
根据所述第一拟合幅度值和第二拟合幅度值确定所述目标音频幅度值。
16.根据权利要求15所述的装置，其中，所述生成模块，还用于：
将所述第一拟合幅度值和第二拟合幅度值的平均幅度值确定为所述目标音频幅度值。
17.根据权利要求15所述的装置，其中，所述生成模块，还用于：
获取所述第一拟合幅度值和第二拟合幅度值的平均幅度值，基于所述平均幅度值，生成所述第一采样点的拟合音频数据；
根据所述第一音频数据、所述拟合音频数据和所述第二音频数据，生成第三拟合曲线；
将所述采样时刻输入所述第三拟合曲线，得到所述目标音频幅度值。
18.根据权利要求13所述的装置，其中，所述生成模块，还用于：
针对所述第二采样点集和所述第三采样点集中的任一采样点，获取所述任一采样点的音频幅度值；
将所述第二采样点集中一个所述第二采样点与所述第三采样点集中一个所述第三采样点进行组合；
获取所述组合中所述第二采样点的第二音频幅度值和所述第三采样点的第三音频幅度值的平均值，作为所述目标音频幅度值。
19.根据权利要求12-18所述的装置，其中，所述检测模块，还用于：
从所述音频数据包中识别相邻的两个音频数据，以及所述相邻的两个音频数据各自的第一采样时刻和第二采样时刻；
响应于所述第一采样时刻和所述第二采样时刻未连续，获取在所述第一采样时刻和所述第二采样时刻之间的被丢掉的采样时刻，其中一个所述被丢掉的采样时刻对应的一个所述第一采样点。
20.根据权利要求12-18所述的装置，其中，还包括：
语义解析模块，用于对恢复的音频数据包进行语义解析，响应于所述恢复的音频数据包未满足语义解析要求，则开启终端设备自身的音频采集装置进行音频数据采集，并向所述车载终端发送退出音频采集线程的指示。
21.根据权利要求12-18所述的装置，其中，还包括：
装置选择模块，用于获取所述车载终端初始发送的所述音频数据包的音频幅度值；
根据所述音频幅度值对所述车载终端上的音频采集装置的占用状态进行识别；
响应于所述音频采集装置未处于占用状态，则持续接收所述车载终端发送的音频数据包。
22.根据权利要求21所述的装置，其中，所述装置选择模块，还用于：
响应于所述音频采集装置处于占用状态，开启终端设备自身的音频采集装置进行音频数据采集；
向所述车载终端发送退出音频采集线程的指示。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。
CN202111069091.0A 2021-09-13 2021-09-13 音频数据包的丢包恢复方法、装置、电子设备及存储介质 Pending CN113838477A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111069091.0A CN113838477A (zh) 2021-09-13 2021-09-13 音频数据包的丢包恢复方法、装置、电子设备及存储介质
EP22195091.8A EP4099323A3 (en) 2021-09-13 2022-09-12 Packet loss recovery method for audio data packet, electronic device and storage medium
US17/931,174 US20230005490A1 (en) 2021-09-13 2022-09-12 Packet loss recovery method for audio data packet, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069091.0A CN113838477A (zh) 2021-09-13 2021-09-13 音频数据包的丢包恢复方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113838477A true CN113838477A (zh) 2021-12-24

Family

ID=78959006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069091.0A Pending CN113838477A (zh) 2021-09-13 2021-09-13 音频数据包的丢包恢复方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US20230005490A1 (zh)
EP (1) EP4099323A3 (zh)
CN (1) CN113838477A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354585A (zh) * 2023-12-06 2024-01-05 深圳感臻智能股份有限公司 一种针对视频网络丢包的优化方法及装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015242A1 (en) * 2003-07-17 2005-01-20 Ken Gracie Method for recovery of lost speech data
US6996626B1 (en) * 2002-12-03 2006-02-07 Crystalvoice Communications Continuous bandwidth assessment and feedback for voice-over-internet-protocol (VoIP) comparing packet's voice duration and arrival rate
US20080118082A1 (en) * 2006-11-20 2008-05-22 Microsoft Corporation Removal of noise, corresponding to user input devices from an audio signal
CN101281745A (zh) * 2008-05-23 2008-10-08 深圳市北科瑞声科技有限公司 一种车载语音交互***
JP2009003388A (ja) * 2007-06-25 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> ピッチ探索範囲決定装置、ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CN101976567A (zh) * 2010-10-28 2011-02-16 吉林大学 一种语音信号差错掩盖方法
US20150371641A1 (en) * 2013-02-05 2015-12-24 Telefonaktiebolaget L M Ericsson (Publ) Enhanced audio frame loss concealment
CN108257610A (zh) * 2016-12-27 2018-07-06 乐视汽车（北京）有限公司 一种车机及对应的语音传输方法及***
CN108696491A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 音频数据的发送处理方法与装置、接收处理方法与装置
US10127918B1 (en) * 2017-05-03 2018-11-13 Amazon Technologies, Inc. Methods for reconstructing an audio signal
CN109273006A (zh) * 2018-09-28 2019-01-25 上汽通用五菱汽车股份有限公司 车载***的语音控制方法、车载***、车辆及存储介质
CN110290475A (zh) * 2019-05-30 2019-09-27 深圳米唐科技有限公司 车载人机交互方法、***及计算机可读存储介质
CN111328061A (zh) * 2020-02-28 2020-06-23 诚迈科技（南京）股份有限公司 一种音频资源的控制方法、车载终端和***
CN111627435A (zh) * 2020-04-30 2020-09-04 长城汽车股份有限公司 语音识别方法与***及基于语音指令的控制方法与***
CN112037781A (zh) * 2020-08-07 2020-12-04 北京百度网讯科技有限公司 语音数据的获取方法和装置
CN112634912A (zh) * 2020-12-18 2021-04-09 北京猿力未来科技有限公司 丢包补偿方法及装置
CN113242358A (zh) * 2021-04-25 2021-08-10 百度在线网络技术（北京）有限公司 音频数据处理方法、装置、***、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60327371D1 (de) * 2003-01-30 2009-06-04 Fujitsu Ltd EINRICHTUNG UND VERFAHREN ZUM VERBERGEN DES VERSCHWINDENS VON AUDIOPAKETEN, EMPFANGSENDGERuT UND AUDIOKOMMUNIKAITONSSYSTEM
CN108510993A (zh) * 2017-05-18 2018-09-07 苏州纯青智能科技有限公司 一种网络传输中实时音频数据丢包恢复的方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996626B1 (en) * 2002-12-03 2006-02-07 Crystalvoice Communications Continuous bandwidth assessment and feedback for voice-over-internet-protocol (VoIP) comparing packet's voice duration and arrival rate
US20050015242A1 (en) * 2003-07-17 2005-01-20 Ken Gracie Method for recovery of lost speech data
US20080118082A1 (en) * 2006-11-20 2008-05-22 Microsoft Corporation Removal of noise, corresponding to user input devices from an audio signal
JP2009003388A (ja) * 2007-06-25 2009-01-08 Nippon Telegr & Teleph Corp <Ntt> ピッチ探索範囲決定装置、ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体
CN101588341A (zh) * 2008-05-22 2009-11-25 华为技术有限公司 一种丢帧隐藏的方法及装置
CN101281745A (zh) * 2008-05-23 2008-10-08 深圳市北科瑞声科技有限公司 一种车载语音交互***
CN101958119A (zh) * 2009-07-16 2011-01-26 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CN101976567A (zh) * 2010-10-28 2011-02-16 吉林大学 一种语音信号差错掩盖方法
US20150371641A1 (en) * 2013-02-05 2015-12-24 Telefonaktiebolaget L M Ericsson (Publ) Enhanced audio frame loss concealment
CN108257610A (zh) * 2016-12-27 2018-07-06 乐视汽车（北京）有限公司 一种车机及对应的语音传输方法及***
CN108696491A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 音频数据的发送处理方法与装置、接收处理方法与装置
US10127918B1 (en) * 2017-05-03 2018-11-13 Amazon Technologies, Inc. Methods for reconstructing an audio signal
CN109273006A (zh) * 2018-09-28 2019-01-25 上汽通用五菱汽车股份有限公司 车载***的语音控制方法、车载***、车辆及存储介质
CN110290475A (zh) * 2019-05-30 2019-09-27 深圳米唐科技有限公司 车载人机交互方法、***及计算机可读存储介质
CN111328061A (zh) * 2020-02-28 2020-06-23 诚迈科技（南京）股份有限公司 一种音频资源的控制方法、车载终端和***
CN111627435A (zh) * 2020-04-30 2020-09-04 长城汽车股份有限公司 语音识别方法与***及基于语音指令的控制方法与***
CN112037781A (zh) * 2020-08-07 2020-12-04 北京百度网讯科技有限公司 语音数据的获取方法和装置
CN112634912A (zh) * 2020-12-18 2021-04-09 北京猿力未来科技有限公司 丢包补偿方法及装置
CN113242358A (zh) * 2021-04-25 2021-08-10 百度在线网络技术（北京）有限公司 音频数据处理方法、装置、***、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨海松: "语音丢帧补偿算法的评价方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, pages 136 - 175 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354585A (zh) * 2023-12-06 2024-01-05 深圳感臻智能股份有限公司 一种针对视频网络丢包的优化方法及装置

Also Published As

Publication number Publication date
US20230005490A1 (en) 2023-01-05
EP4099323A3 (en) 2023-05-31
EP4099323A2 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
EP3923272A1 (en) Method and apparatus for adapting a wake-up model
JP7213943B2 (ja) 車載機器の音声処理方法、装置、機器及び記憶媒体
CN110675873B (zh) 智能设备的数据处理方法、装置、设备及存储介质
CN111968642A (zh) 语音数据处理方法、装置及智能车辆
KR20210108324A (ko) 이동식 신호등을 검출하는 방법, 장치, 전자 기기 및 저장 매체
EP4099323A2 (en) Packet loss recovery method for audio data packet, electronic device and storage medium
CN114333774A (zh) 语音识别方法、装置、计算机设备及存储介质
CN113452760A (zh) 验证码的同步方法、装置、电子设备和存储介质
CN113901341A (zh) 导航信息提示方法、装置、介质及程序产品
CN111312243A (zh) 设备交互方法和装置
CN113129904B (zh) 声纹判定方法、装置、***、设备和存储介质
CN114333017A (zh) 一种动态拾音方法、装置、电子设备及存储介质
JP2022116285A (ja) 車両に対する音声処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN114119972A (zh) 模型获取及对象处理方法、装置、电子设备及存储介质
CN115312042A (zh) 用于处理音频的方法、装置、设备以及存储介质
CN112542157A (zh) 语音处理方法、装置、电子设备及计算机可读存储介质
CN111582708A (zh) 医疗信息的检测方法、***、电子设备及计算机可读存储介质
CN113327611B (zh) 语音唤醒方法、装置、存储介质及电子设备
CN110969189B (zh) 人脸检测方法、装置及电子设备
US20230178100A1 (en) Tail point detection method, electronic device, and non-transitory computer-readable storage medium
US20240037458A1 (en) Systems and methods for reducing network traffic associated with a service
EP4050533A2 (en) Method for providing state information of taxi service order, device and storage medium
CN117423336A (zh) 音频数据处理方法、装置、电子设备及存储介质
CN113393669A (zh) 交通工具的控制方法、装置、设备、介质及程序产品
CN115440257A (zh) 车辆音频的处理方法及装置、车辆、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination