CN113936698B - 音频数据的处理方法、装置以及电子设备 - Google Patents
音频数据的处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN113936698B CN113936698B CN202111130355.9A CN202111130355A CN113936698B CN 113936698 B CN113936698 B CN 113936698B CN 202111130355 A CN202111130355 A CN 202111130355A CN 113936698 B CN113936698 B CN 113936698B
- Authority
- CN
- China
- Prior art keywords
- audio data
- length
- audio
- noise reduction
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 230000009467 reduction Effects 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 122
- 239000000872 buffer Substances 0.000 claims description 92
- 239000002699 waste material Substances 0.000 abstract description 8
- 230000006978 adaptation Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10009—Improvement or modification of read or write signals
- G11B20/10037—A/D conversion, D/A conversion, sampling, slicing and digital quantisation or adjusting parameters thereof
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10009—Improvement or modification of read or write signals
- G11B20/10046—Improvement or modification of read or write signals filtering or equalising, e.g. setting the tap weights of an FIR filter
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
- G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B2020/10833—Copying or moving data from one record carrier to another
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了一种音频数据的处理方法、装置以及电子设备。其中，该方法包括：对待处理音频进行采样，得到多个音频数据，从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据，从而对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据，进而对第三音频数据进行降噪处理，得到降噪后的音频。本发明解决了现有技术中对不同的音频降噪算法进行单独适配所导致的资源浪费的问题。
Description
技术领域
本发明涉及通信技术领域，具体而言，涉及一种音频数据的处理方法、装置以及电子设备。
背景技术
随着通信技术的发展，人们在工作与生活中，越来越多的使用音频数据传输信息，其中，音频数据的传输过程中，对音频数据进行降噪处理是保证音频传输质量的关键。
现有技术中，根据不同的应用场景往往会采用不同的音频降噪方法，由于不同的音频降噪方法对输入的音频数据的采样率，采样的精度，类型以及长短要求不一样，因此在实际的音频数据降噪处理的过程中，通常需要根据不同的音频降噪方法对音频数据进行拆分后单独处理。
但是，针对不同的音频降噪方法对音频数据进行拆分后单独处理，由于其重复的步骤以及无法扩展的缺陷，通常需要较大的内存空间才可以完成对音频数据的全部降噪处理，导致了内存空间资源浪费的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种音频数据的处理方法、装置以及电子设备，以至少解决现有技术中对不同的音频降噪算法进行单独适配所导致的资源浪费的问题的技术问题。
根据本发明实施例的一个方面，提供了一种音频数据的处理方法，包括：对待处理音频进行采样，得到多个音频数据，从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据，从而对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据，进而对第三音频数据进行降噪处理，得到降噪后的音频。
进一步地，音频数据的处理方法还包括：将多个音频数据依次存储至第一缓存区域中，从第一缓存区域中依次读取第一音频数据，从第一音频数据中读取第二音频数据，并将第二音频数据存储至第二缓存区域中。
进一步地，音频数据的处理方法还包括：在第二缓存区域中未存储第二音频数据时，从第一缓存区域中读取第一长度的第一音频数据，得到第二音频数据，其中，第一长度为第二缓存区域存储数据的最大长度，并确定第二音频数据为第三音频数据。
进一步地，音频数据的处理方法还包括：在第二缓存区域中存储第二音频数据时，检测第二音频数据的第二长度，并计算第一长度与第二长度的差值，得到第三长度，其中，第一长度为第二缓存区域存储数据的最大长度，从多个音频数据中读取第一长度的第一音频数据，同时，从第一长度的第一音频数据中读取第三长度的第一音频数据，进而对第二音频数据以及第三长度的第一音频数据进行拼接处理，得到第三音频数据，并从第一长度的第一音频数据中读取第二长度的第一音频数据，并将第二长度的第一音频数据存储至第一存储区域中。
进一步地，音频数据的处理方法还包括：在第一缓存区域中不存在第一音频数据，并且，存储在第二缓存区域中的第二音频数据的长度小于第一长度时，对第二音频数据进行降噪处理，并基于降噪处理后的第二音频数据对待处理音频进行更新处理。
进一步地，音频数据的处理方法还包括：对第三音频数据中的至少部分音频进行降噪处理，得到降噪后的音频，并确定第三音频数据中的剩余音频数据，其中，剩余音频数据为第三音频数据中未进行降噪处理的音频数据，从而在剩余音频数据的长度大于或等于第一长度时，对剩余音频数据进行降噪处理。
进一步地，音频数据的处理方法还包括：确定对第三音频数据进行降噪处理的降噪算法，并确定降噪算法对应的帧长度，进而根据帧长度确定第一长度，其中，第一长度为第二缓存区域存储数据的最大长度。
根据本发明实施例的另一方面，还提供了一种音频数据的处理装置，包括：采样模块，用于对待处理音频进行采样，得到多个音频数据；获取模块，用于从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据；拼接模块，用于对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据；处理模块，用于对第三音频数据进行降噪处理，得到降噪后的音频。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的音频数据的处理方法。
根据本发明实施例的另一方面，还提供了存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行上述的音频数据的处理方法。
根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，其特征在于，计算机程序在被处理器执行时实现上述的音频数据的处理方法。
在本发明实施例中，采用通过两个缓存区域对多个音频数据进行降噪处理的方式，通过对待处理音频进行采样，得到多个音频数据，从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据，从而对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据，进而对第三音频数据进行降噪处理，得到降噪后的音频。
在上述过程中，本公开通过使用两个不同的缓存区域对多个音频数据分别读取、存储以及拼接，从而可对多个音频数据进行统一的降噪处理，避免了由于出现不同的音频数据时需要对每一种音频数据进行单独的处理，所导致的内存资源浪费的问题，进而降低了音频数据降噪处理的复杂程度，实现了节省内存资源空间的效果。
由此可见，本公开所提供的方案达到了对多个音频数据进行统一降噪处理的目的，从而实现了节省内存资源空间的技术效果，进而解决了现有技术中对不同的音频降噪算法进行单独适配所导致的资源浪费的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图2是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图3是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图4是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图5是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图6是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图7是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图8是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图9是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图10是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图11是根据本发明实施例的一种可选的音频数据的处理方法的流程图；
图12是根据本发明实施例的一种可选的音频数据的装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种音频数据的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
此外，还需要说明的是，具备音频数据处理功能的电子设备可作为本公开实施例所提供方法的执行主体，其中，该电子设备包括但不限于：笔记本计算机、台式计算机、服务器、智能手机以及智能平板等计算机设备，以及智能音响以及麦克风等音频处理设备。
图1是根据本发明实施例的一种可选的音频数据的处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，对待处理音频进行采样，得到多个音频数据。
其中，在步骤S102中，待处理音频可包含多个音频数据，其中，多个音频数据之间的采样率、采样精度、类型以及长度可能不同。音频数据包括但不限于：语音对话中产生的语音数据以及视频对话时产生的语音数据等音频数据。
步骤S104，从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据。
在步骤S104中，获取第一音频数据之前，可先设定两个存储区域，其中，如图3所示，第一缓存区域存储数据的长度大于第二缓存区域存储数据的长度，第一缓存区域可以是2倍frame(音频处理的单元，一般以时间为衡量单位，常见的有5毫秒，10毫秒，20毫秒等，也称为帧)长度的缓存区域，第二缓存区域可以是待处理的frame数据的缓存区域，其中第一缓存区域存储数据的长度是第二缓存区域存储长度的两倍，其中第二缓存区域可称为cache(电脑高速缓冲存储器)1，第二缓存区域可称为cache2，cache1可用于拼接完整的frame音频数据，即拼接上述的第一音频数据和第二音频数据，待拼接完成后生成第三音频数据，从而电子设备可对第三音频数据进行降噪处理。而cache2可用于配合cache1进行音频数据的降噪处理，缓存还有处理的多个音频数据中至少部分数据，即上述的第一音频数据，另外，cache2还可用于在音频数据的降噪处理过程中，当出现上一批不够整段frame的剩余音频数据和当前批次的剩余的音频数据之和超过一个frame的长度时，将音频数据缓存在cache2中。
可选的，电子设备可从多个音频数据中获取第一音频数据，如图4所示，电子设备对待处理音频进行采样后得到音频数据处理的初始状态，多个音频数据的采样点为1-15以及A、B、C。其中，第一音频数据为多个音频数据中至少部分数据，第一音频数据可存储在第一缓存区域中，如图5所示，电子设备可以将多个音频数据中的部分音频数据A、B、C三个采样点存储在第一缓存区域中。需要说明的是，由于音频数据处理是一个周而复始的过程，音频数据处理过程中间的一个通用处理的状态可作为起始状态，起始和结束只是这个普通状态的特例。而且，音频数据的输入、降噪分批处理过程也是周而复始的，上一批音频数据处理结束的状态也是下一批数据处理之前的状态。因此，图5将选定了音频数据处理过程中一个普通的内部循环结束后的状态作为初始的流程处理状态，即1-15已经全部降噪处理完成。
进一步地，在对多个音频数据进行降噪处理之前，电子设备可从第一音频数据中获取音频数据并存储到第二缓存区域中。需要说明的是，第二音频数据可以是电子设备直接从多个音频数据中读取到第二缓存区域中的数据，也可以是电子设备从第一缓存区域中的第一音频数据中读取到的数据，例如，如图6所示，电子设备将第一缓存区域中的A、B、C读取到第二缓存区域中。
需要说明的是，通过从第一音频数据中获取第二音频数据的技术手段，可将音频数据按照移动顺序，将长度不同的多个音频数据统一处理在第一缓存区域中进行处理，从而实现了节省内存空间资源的效果。
步骤S106，对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据。
在步骤S106中，电子设备可对第二缓存区域中的第一音频数据和第二缓存数据进行拼接处理，其中，第二音频数据为第二缓存区域中存储的音频数据，第二音频数据可以是电子设备直接从多个音频数据中读取到第二缓存区域中的数据，也可以是电子设备从第一缓存区域中的第一音频数据中读取到的数据，当电子设备从第一存储区域中读取第一音频数据后，电子设备可将读取的第一音频数据和第二音频数据进行拼接，得到第三音频数据。如图7所示,其中，第二缓存区域中的A、B、C为电子设备从第一缓存区域中读取的第一音频数据，1、2为电子设备直接从多个音频数据中读取到的第二缓存区域中的数据，电子设备将两种数据进行拼接处理，得到第三音频数据。
进一步地，如图7所示，电子设备在读取音频数据时，是按照一定的读取数据进行读取的，例如，在图7中，电子设备是首先读取第一缓存区域中的A、B、C，然后在从多个音频数据中读取两个音频数据1、2存储在第二缓存区域中剩余的长度中，并且电子设备还会将多个音频数据中待处理的音频数据缓存在第一缓存区域中，例如，3、4、5，避免其在没有经过降噪处理时，被第二缓存区域中降噪处理的结果覆盖掉。其中，每次在多个音频数据中获取新的音频数据的长度为第二缓存区域存储数据的最大长度。
通过上述过程，使用不同的两个缓存区域对多个音频数据分别读取、存储以及拼接，从而可对多个音频数据进行统一的降噪处理，两个不同的缓存区域结构紧凑完整，实现了节省内容空间资源的效果。
步骤S108，对第三音频数据进行降噪处理，得到降噪后的音频。
可选的，如图8所示，电子设备对第二缓存区域中的第三音频数据进行降噪处理，处理的结果可按照预先设定的处理函数保存在第二缓存区域中。其中，处理函数需在降噪处理之前进行设置，如图2所示，在处理降噪之前，操作人员可先在电子设备上设定降噪的处理函数和一个音频数据的采样点的数据类型的自定义转换方法，本公开实施例采用的为生成长度共计三个frame长度的两个缓存，即上述的第一缓存区域和第二缓存区域，从而按照循环读取的顺序读取待处理的音频数据到两个缓存区域中，将音频数据分段进行降噪处理，直到音频数据全部完成降噪处理，输出音频数据。
可选的，如图9所示，电子设备在对第二缓存区域中的第三音频数据进行降噪处理之后，将降噪处理后的结果复制到多个音频数据中，使得多个音频数据中的1、2、3、4、5变换为A’、B’、C’、1’、2’。
进一步地，如图10所示，电子设备将第一缓存区域中的还没有进行降噪处理的音频数据3、4、5读取到第二缓存区域中，并且在剩余待处理的多个音频数据中读取还没有读取过的音频数据补充到第二缓存区域中，填满第二缓存区域的剩余长度，进而再次对第二缓存区域的音频数据进行降噪处理。
通过上述过程，设定数据转换函数和降噪函数，抽象了音频数据的降噪处理过程，适合在各种平台上统一实现，而且使用两个大小不同的缓存区域统一处理音频数据的读取过程，实现了节约内存空间的效果。
基于上述步骤S102至步骤S108所限定的方案，可以获知，在本公开中，采用通过两个缓存区域对多个音频数据进行降噪处理的方式，通过对待处理音频进行采样，得到多个音频数据，并从第一缓存区域中依次读取第一音频数据，其中，第一音频数据为多个音频数据中的至少部分数据，以及从第一缓存区域中依次读取第一音频数据，其中，第一音频数据为多个音频数据中的至少部分数据，进而对第三音频数据进行降噪处理，得到降噪后的音频。
容易注意到的是，在上述过程中，本公开通过使用两个大小不同的缓存区域对多个音频数据分别读取、存储以及拼接，从而可对多个音频数据进行统一的降噪处理，避免了由于出现不同的音频数据时需要对每一种音频数据进行单独的处理，所导致的内存资源浪费的问题，进而降低了音频数据降噪处理的复杂程度，实现了节省内存资源空间的效果。
由此可见，本公开所提供的方案达到了对多个音频数据进行统一降噪处理的目的，从而实现了节省内存资源空间的技术效果，进而解决了现有技术中对不同的音频降噪算法进行单独适配所导致的资源浪费的问题。
在一种可选的实施例中，电子设备将多个音频数据依次存储至第一缓存区域中，并且从第一缓存区域中依次读取第一音频数据，进而从第一音频数据中读取第二音频数据，并将第二音频数据存储至第二缓存区域中。
可选的，电子设备可多个音频数据依次存储至第一缓存区域中，图4所示，电子设备对待处理音频进行采样后得到音频数据处理的初始状态，多个音频数据的采样点为1-15以及A、B、C。其中，电子设备将A、B、C依次存储至第一缓存区域中，从而在后续的读取过程中，电子设备可从第一缓存区域中依次读取第一音频数据。电子设备还可从第一音频数据中读取第二音频数据并存储到第二缓存区域中。例如，如图6所示，电子设备将第一缓存区域中的A、B、C读取到第二缓存区域中。
通过上述过程，多个音频数据按照读取顺序依次存储在第一缓存区域以及第二缓存区域中，保证了对长度不同的音频数据的降噪处理过程中的准确性以及音频数据的完整度。
在一种可选的实施例中，电子设备在第二缓存区域中未存储第二音频数据时，从第一缓存区域中读取第一长度的第一音频数据，得到第二音频数据，其中，第一长度为第二缓存区域存储数据的最大长度，并确定第二音频数据为第三音频数据。
可选的，电子设备在检测到第二缓存区域中未存储有数据时，可以从第一缓存区域读取第一音频数据，读取的数据长度为第二缓存区域存储数据的最大长度，即第一长度，例如，当第二缓存区域的存储数据的最大长度为5时，电子设备可在第二缓存区域中未存储有数据的情况下，直接读取从第一存储数据中读取长度为5的第一音频数据，从而得到第二音频数据，并且不需要进行拼接，直接确定为第三音频数据。
在一种可选的实施例中，电子设备在第二缓存区域中存储第二音频数据时，检测第二音频数据的第二长度，计算第一长度与第二长度的差值，得到第三长度，其中，第一长度为第二缓存区域存储数据的最大长度，并从多个音频数据中读取第一长度的第一音频数据，从第一长度的第一音频数据中读取第三长度的第一音频数据，从而对第二音频数据以及第三长度的第一音频数据进行拼接处理，得到第三音频数据，进而从第一长度的第一音频数据中读取第二长度的第一音频数据，并将第二长度的第一音频数据存储至第一存储区域中。
可选的，如图6所示，电子设备在检测到第二缓存区域中存储有第二音频数据，例如A、B、C，电子设备会检测第二音频数据的第二长度，例如，A、B、C的长度为3，在此基础上，电子设备会继续机选第一长度与第二长度的差值，图6中的第一长度为5，则差值为2＝5-3，即第三长度为2，此时，如图7所示，电子设备会从多个音频数据中读取长度为5的第一音频数据，例如，1-5，并对长度为5的第一音频数据进行划分，按照顺序，将长度为2的一部分第一音频数据(1、2)与第二音频数据(A、B、C)进行拼接处理，得到第三音频数据。同时，将剩余部分的第一音频数据(3、4、5)存储至第一存储区域中。
通过上述过程，可将音频数据按照移动顺序，将长度不同的多个音频数据统一处理在第一缓存区域中进行处理，从而实现了节省内存空间资源的效果。
在一种可选的实施例中，在第一缓存区域中不存在第一音频数据，并且，存储在第二缓存区域中的第二音频数据的长度小于第一长度时，电子设备对第二音频数据进行降噪处理，并基于降噪处理后的第二音频数据对待处理音频进行更新处理，其中，第一长度为第二缓存区域存储数据的最大长度。
可选的，如图11所示，在第一缓存区域不存在第一音频数据时，并且第二缓存区域中的第二音频数据的长度小于第一长度，图11中，只有16、17、18长度为3的音频数据，小于第二缓存区域存储数据的最大长度，此时，电子设备可对第二缓存区域中的16、17、18直接进行降噪处理，并在处理完成后，对待处理音频进行更新。
需要注意到的是，当音频数据处理到最后时，会存在只有不足第一长度的第二音频数据在第二缓存区域中，而第一缓存区域中不存在第一音频数据的情况，通过上述过程，将剩余部分音频数据进行降噪处理，保证了音频数据降噪处理的完整性。
在一种可选的实施例中，电子设备对第三音频数据中的至少部分音频进行降噪处理，得到降噪后的音频，确定第三音频数据中的剩余音频数据，其中，剩余音频数据为第三音频数据中未进行降噪处理的音频数据，在剩余音频数据的长度大于或等于第一长度时，对剩余音频数据进行降噪处理，其中，第一长度为第二缓存区域存储数据的最大长度。
可选的，电子设备在处理多批次音频数据时，可能会存在剩余音频数据的长度大于或等于第一长度的情况，例如，当两批音频数据降噪后剩余的长度超过一个frame的长度的情况下，需要在出现溢出(即输入音频数据的空间不足以接收输出音频数据和剩余音频数据长度之和)之前获取多出的一帧frame降噪后的音频数据，这种情况只可能发生在当前一批数据处理的结束的时候，此时，电子设备可对剩余音频数据进行降噪处理，从而后续恢复到流程的初始状态。
通过上述过程，避免了输入音频数据的空间不足以接收输出音频数据和剩余音频数据长度之和的问题，提高了音频数据降噪处理过程的稳定性。
在一种可选的实施例中，电子设备确定对第三音频数据进行降噪处理的降噪算法，并确定降噪算法对应的帧长度，进而根据帧长度确定第一长度，其中，第一长度为第二缓存区域存储数据的最大长度。
可选的，电子设备首先确定对第三音频数据进行降噪处理的降噪算法，其中，降噪算法包括但不限于：Opus(由互联网工程任务组进行标准化的一种适用于网上上低延迟的即时声音传输音频格式)降噪算法、Webrtc(一个支持网页浏览器进行实时语音对话或视频对话的***)语音降噪算法、FFMpeg(一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)降噪算法以及NLM算法(非局部平均降噪，用临近数据的相似度以及两点间距离做加权平均推算真实数据的算法)。而且由于各种算法对应的frame(也称为帧)长度不同，例如，Opus降噪方法，采用8000HZ或16000HZ的采样率，输入frame是480，而Webrtc语音降噪算法只可采用16000HZ的采样率，输入frame为160。因此电子设备需确定降噪算法的帧长度，并从而确定第二缓存区域存储数据的长度，即第一长度，如图3所示，如果当前降噪算法对应的帧长度为5，则第二缓存区域的长度也为5。
需要注意到的是，通过上述过程，根据降噪算法，设定两个不同的缓存区域的存储数据的长度，从而可对多个音频数据进行统一的降噪处理，实现了节省内存空间资源的效果。
由上述内容可知，本公开通过使用两个大小不同的缓存区域对多个音频数据分别读取、存储以及拼接，从而可对多个音频数据进行统一的降噪处理，避免了由于出现不同的音频数据时需要对每一种音频数据进行单独的处理，所导致的内存资源浪费的问题，进而降低了音频数据降噪处理的复杂程度，实现了节省内存资源空间的效果。
实施例2
根据本公开实施例，还提供了一种音频数据的处理装置实施例，其中，图12是根据本公开实施例2的一种根据本公开音频数据的处理装置示意图，该装置包括：采样模块1201，用于对待处理音频进行采样，得到多个音频数据；获取模块1203，用于从多个音频数据获取第一音频数据，以及从第一音频数据获取第二音频数据；拼接模块1205，用于对第一音频数据和第二音频数据进行拼接处理，得到第三音频数据；处理模块1207，用于对第三音频数据进行降噪处理，得到降噪后的音频。
需要说明的是，上述采样模块1201、获取模块1203、拼接模块1205以及处理模块1207对应于上述实施例中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
可选的，上述获取模块还包括：第一存储模块、读取模块以及第二存储模块。其中，第一存储模块，用于将多个音频数据依次存储至第一缓存区域中；读取模块，用于从第一缓存区域中依次读取第一音频数据；第二存储模块，用于从第一音频数据中读取第二音频数据，并将第二音频数据存储至第二缓存区域中。
可选的，上述拼接模块还包括：第一读取模块以及确定模块。其中，第一读取模块，用于在第二缓存区域中未存储第二音频数据时，从第一缓存区域中读取第一长度的第一音频数据，得到第二音频数据，其中，第一长度为第二缓存区域存储数据的最大长度；确定模块，用于确定第二音频数据为第三音频数据。
可选的，上述拼接模块还包括：检测模块、计算模块、第二读取模块、第三读取模块、第一拼接模块以及第四读取模块。其中，检测模块，用于在第二缓存区域中存储第二音频数据时，检测第二音频数据的第二长度；计算模块，用于计算第一长度与第二长度的差值，得到第三长度，其中，第一长度为第二缓存区域存储数据的最大长度；第二读取模块，用于从多个音频数据中读取第一长度的第一音频数据；第三读取模块，用于从第一长度的第一音频数据中读取第三长度的第一音频数据；第一拼接模块，用于对第二音频数据以及第三长度的第一音频数据进行拼接处理，得到第三音频数据；第四读取模块，用于从第一长度的第一音频数据中读取第二长度的第一音频数据，并将第二长度的第一音频数据存储至第一存储区域中。
可选的，音频数据的处理装置还包括：更新模块，用于在第一缓存区域中不存在第一音频数据，并且，存储在第二缓存区域中的第二音频数据的长度小于第一长度时，对第二音频数据进行降噪处理，并基于降噪处理后的第二音频数据对待处理音频进行更新处理。
可选的，上述处理模块还包括：第一处理模块、第一确定模块以及第二处理模块。其中，第一处理模块，用于对第三音频数据中的至少部分音频进行降噪处理，得到降噪后的音频；第一确定模块，用于确定第三音频数据中的剩余音频数据，其中，剩余音频数据为第三音频数据中未进行降噪处理的音频数据；第二处理模块，用于在剩余音频数据的长度大于或等于第一长度时，对剩余音频数据进行降噪处理。
可选的，音频数据的处理装置还包括：第二确定模块、第三确定模块以及第四确定模块。其中，第二确定模块，用于确定对第三音频数据进行降噪处理的降噪算法；第三确定模块，用于确定降噪算法对应的帧长度；第四确定模块，用于根据帧长度确定第一长度，其中，第一长度为第二缓存区域存储数据的最大长度。
实施例3
根据本公开实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例1中的音频数据处理方法。
实施例4
根据本公开实施例的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述实施例1中的音频数据处理方法。
实施例5
根据本公开实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述实施例1中的音频数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种音频数据的处理方法，其特征在于，包括：
对待处理音频进行采样，得到多个音频数据；
从所述多个音频数据获取第一音频数据，以及从所述第一音频数据获取第二音频数据；
对所述第一音频数据和所述第二音频数据进行拼接处理，得到第三音频数据；
对所述第三音频数据进行降噪处理，得到降噪后的音频。
2.根据权利要求1所述的方法，其特征在于，从所述多个音频数据获取第一音频数据，以及从所述第一音频数据获取第二音频数据，包括：
将所述多个音频数据依次存储至第一缓存区域中；
从所述第一缓存区域中依次读取所述第一音频数据；
从所述第一音频数据中读取所述第二音频数据，并将所述第二音频数据存储至第二缓存区域中。
3.根据权利要求2所述的方法，其特征在于，对所述第一音频数据和所述第二音频数据进行拼接处理，得到第三音频数据，包括：
在所述第二缓存区域中未存储所述第二音频数据时，从所述第一缓存区域中读取第一长度的第一音频数据，得到所述第二音频数据，其中，所述第一长度为所述第二缓存区域存储数据的最大长度；
确定所述第二音频数据为所述第三音频数据。
4.根据权利要求2所述的方法，其特征在于，对所述第一音频数据和所述第二音频数据进行拼接处理，得到第三音频数据，包括：
在所述第二缓存区域中存储所述第二音频数据时，检测所述第二音频数据的第二长度；
计算第一长度与所述第二长度的差值，得到第三长度，其中，所述第一长度为所述第二缓存区域存储数据的最大长度；
从所述多个音频数据中读取所述第一长度的第一音频数据；
从所述第一长度的第一音频数据中读取所述第三长度的第一音频数据；
对所述第二音频数据以及所述第三长度的第一音频数据进行拼接处理，得到所述第三音频数据；
从所述第一长度的第一音频数据中读取所述第二长度的第一音频数据，并将所述第二长度的第一音频数据存储至第一存储区域中。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述第一缓存区域中不存在所述第一音频数据，并且，存储在所述第二缓存区域中的第二音频数据的长度小于第一长度时，对所述第二音频数据进行降噪处理，并基于降噪处理后的第二音频数据对所述待处理音频进行更新处理。
6.根据权利要求2所述的方法，其特征在于，对所述第三音频数据进行降噪处理，得到降噪后的音频，包括：
对所述第三音频数据中的至少部分音频进行降噪处理，得到所述降噪后的音频；
确定所述第三音频数据中的剩余音频数据，其中，所述剩余音频数据为所述第三音频数据中未进行降噪处理的音频数据；
在所述剩余音频数据的长度大于或等于第一长度时，对所述剩余音频数据进行降噪处理。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定对所述第三音频数据进行降噪处理的降噪算法；
确定所述降噪算法对应的帧长度；
根据所述帧长度确定第一长度，其中，所述第一长度为所述第二缓存区域存储数据的最大长度。
8.一种音频数据的处理装置，其特征在于，包括：
采样模块，用于对待处理音频进行采样，得到多个音频数据；
获取模块，用于从所述多个音频数据获取第一音频数据，以及从所述第一音频数据获取第二音频数据；
拼接模块，用于对所述第一音频数据和所述第二音频数据进行拼接处理，得到第三音频数据；
处理模块，用于对所述第三音频数据进行降噪处理，得到降噪后的音频。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的音频数据的处理方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1至7中任一项所述的音频数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130355.9A CN113936698B (zh) | 2021-09-26 | 2021-09-26 | 音频数据的处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111130355.9A CN113936698B (zh) | 2021-09-26 | 2021-09-26 | 音频数据的处理方法、装置以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936698A CN113936698A (zh) | 2022-01-14 |
| CN113936698B true CN113936698B (zh) | 2023-04-28 |
Family
ID=79277024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111130355.9A Active CN113936698B (zh) | 2021-09-26 | 2021-09-26 | 音频数据的处理方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936698B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259116A (zh) * | 2020-10-14 | 2021-01-22 | 北京字跳网络技术有限公司 | 一种音频数据的降噪方法、装置、电子设备及存储介质 |
| CN112420065A (zh) * | 2020-11-05 | 2021-02-26 | 北京中科思创云智能科技有限公司 | 音频降噪处理方法和装置及设备 |
| CN112927680A (zh) * | 2021-02-10 | 2021-06-08 | 中国工商银行股份有限公司 | 一种基于电话信道的声纹有效语音的识别方法及装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0916200A (ja) * | 1995-06-30 | 1997-01-17 | Olympus Optical Co Ltd | 音声記録再生装置 |
| JP2013047710A (ja) * | 2011-08-29 | 2013-03-07 | Sony Corp | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 |
| JP2016015585A (ja) * | 2014-07-01 | 2016-01-28 | ソニー株式会社 | 信号処理装置、信号処理方法及びコンピュータプログラム |
| JP6597062B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社Ｊｖｃケンウッド | 雑音低減装置、雑音低減方法、雑音低減プログラム |
| CN107068161B (zh) * | 2017-04-14 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音降噪方法、装置和计算机设备 |
| JP2019192963A (ja) * | 2018-04-18 | 2019-10-31 | オリンパス株式会社 | ノイズ軽減装置、ノイズ軽減方法およびプログラム |
| CN110634497B (zh) * | 2019-10-28 | 2022-02-18 | 普联技术有限公司 | 降噪方法、装置、终端设备及存储介质 |
| CN113035246B (zh) * | 2019-12-24 | 2022-06-17 | 深圳市三诺数字科技有限公司 | 音频数据同步处理方法、装置、计算机设备及存储介质 |
| CN113162837B (zh) * | 2020-01-07 | 2023-09-26 | 腾讯科技（深圳）有限公司 | 语音消息的处理方法、装置、设备及存储介质 |
| CN111916075A (zh) * | 2020-07-03 | 2020-11-10 | 北京声智科技有限公司 | 一种音频信号的处理方法、装置、设备及介质 |
| TWM612163U (zh) * | 2020-12-21 | 2021-05-21 | 技嘉科技股份有限公司 | 具有自動降噪功能之顯示裝置 |
-
2021
- 2021-09-26 CN CN202111130355.9A patent/CN113936698B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112259116A (zh) * | 2020-10-14 | 2021-01-22 | 北京字跳网络技术有限公司 | 一种音频数据的降噪方法、装置、电子设备及存储介质 |
| CN112420065A (zh) * | 2020-11-05 | 2021-02-26 | 北京中科思创云智能科技有限公司 | 音频降噪处理方法和装置及设备 |
| CN112927680A (zh) * | 2021-02-10 | 2021-06-08 | 中国工商银行股份有限公司 | 一种基于电话信道的声纹有效语音的识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936698A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109194960B (zh) | 一种图像帧渲染方法、装置及电子设备 | |
| CN110598008B (zh) | 录制数据的数据质检方法及装置、存储介质 | |
| CN112581361B (zh) | 图像风格迁移模型的训练方法、图像风格迁移方法及装置 | |
| US20230177652A1 (en) | Image restoration method and apparatus, and electronic device | |
| CN110534085B (zh) | 用于生成信息的方法和装置 | |
| CN113505848B (zh) | 模型训练方法和装置 | |
| CN113298728A (zh) | 一种视频优化方法、装置、终端设备及存储介质 | |
| CN113012073A (zh) | 视频质量提升模型的训练方法和装置 | |
| CN113936698B (zh) | 音频数据的处理方法、装置以及电子设备 | |
| CN117835001A (zh) | 视频编辑方法、装置、设备和介质 | |
| CN113240396A (zh) | 分析员工工作状态的方法、装置、设备及存储介质 | |
| CN115333879B (zh) | 一种远程会议方法及*** | |
| CN111414343A (zh) | 日志写入方法、装置、电子设备和介质 | |
| CN113555037B (zh) | 篡改音频的篡改区域检测方法、装置及存储介质 | |
| CN112883088A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112652329B (zh) | 文本重对齐方法、装置、电子设备和存储介质 | |
| CN113050987B (zh) | 一种接口文档的生成方法、装置、存储介质及电子设备 | |
| JP2022068146A (ja) | データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| JP7167640B2 (ja) | 最適化装置、最適化方法、およびプログラム | |
| CN111147954A (zh) | 一种缩略图抽取方法及装置 | |
| CN113192491B (zh) | 声学模型生成方法、装置、计算机设备及存储介质 | |
| CN110599437A (zh) | 用于处理视频的方法和装置 | |
| CN115209218B (zh) | 一种视频信息处理方法、电子设备及存储介质 | |
| CN113763921B (zh) | 用于纠正文本的方法和装置 | |
| CN115050349B (zh) | 文本转换音频的方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240104 Address after: Room 301, 3rd Floor, Building 4, West District, No.10 Northwest Wangdong Road, Haidian District, Beijing, 100085 Patentee after: Beijing Duxiaoman Payment Technology Co.,Ltd. Patentee after: Du Xiaoman Technology (Beijing) Co.,Ltd. Address before: 100193 Room 606, 6 / F, building 4, West District, courtyard 10, northwest Wangdong Road, Haidian District, Beijing Patentee before: Du Xiaoman Technology (Beijing) Co.,Ltd. |