CN113641327A - 音频播放方法、设备、存储介质及装置 - Google Patents

音频播放方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN113641327A
CN113641327A CN202010396040.8A CN202010396040A CN113641327A CN 113641327 A CN113641327 A CN 113641327A CN 202010396040 A CN202010396040 A CN 202010396040A CN 113641327 A CN113641327 A CN 113641327A
Authority
CN
China
Prior art keywords
audio
information
live broadcast
playing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010396040.8A
Other languages
English (en)
Inventor
庄先典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mijinghefeng Technology Co ltd
Original Assignee
Beijing Mijinghefeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mijinghefeng Technology Co ltd filed Critical Beijing Mijinghefeng Technology Co ltd
Priority to CN202010396040.8A priority Critical patent/CN113641327A/zh
Publication of CN113641327A publication Critical patent/CN113641327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及音频播放技术领域，公开了一种音频播放方法、设备、存储介质及装置。本发明通过在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；分别对各音频数据传输流进行解码，获得多路音频数据；对多路所述音频数据进行合并，获得目标音频；对所述目标音频进行播放，以实现多路直播流的音频播放，从而可在不同浏览器的网页上实现多路直播流的音频播放。

Description

音频播放方法、设备、存储介质及装置
技术领域
本发明涉及音频播放技术领域，尤其涉及音频播放方法、设备、存储介质及装置。
背景技术
目前，移动版苹果浏览器Safari带来的最大的局限之一是一次只能播放一个单音频流，这是由于移动版Safari中的超文本标记语言第5版(Hyper Text Markup Language，HTML5)媒体元素都是单例的，所以一次只能播放一个HTML5音频流和HTML5视频流。
为了解决上述问题，苹果操作***iOS为移动版Safari提供了单一HTML5媒体容器，媒体容器包括音频和视频容器。如果在播放一个音频流的同时播放另一个音频流时，那么就会从容器中删除前一个音频流，新的音频流将会在前一个音频流的位置上被实例化，从而实现多路的连续播放，但是兼容较差。
发明内容
本发明的主要目的在于提供音频播放方法、设备、存储介质及装置，旨在解决如何提高音频播放的兼容性。
为实现上述目的，本发明提供一种音频播放方法，所述音频播放方法包括以下步骤：
在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
分别对各音频数据传输流进行解码，获得多路音频数据；
对多路所述音频数据进行合并，获得目标音频；
对所述目标音频进行播放，以实现多路直播流的音频播放。
可选的，所述目标音频包括直播房间标签信息；
所述对所述目标音频进行播放，包括：
提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
可选的，所述根据所述直播房间标签信息将所述目标音频在对应直播间进行播放之后，所述方法还包括：
获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
可选的，所述根据所述待加入用户标签信息将新用户加入所述直播间之后，所述方法还包括：
获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
可选的，所述根据所述语音信息对所述目标音频进行更新之前，所述方法还包括：
判断所述新用户的身份信息；
在所述身份信息为主播身份时执行所述根据所述语音信息对所述目标音频进行更新的步骤。
可选的，所述对所述目标音频进行播放，包括：
提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
可选的，所述根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息之前，所述方法还包括：
获取用户在所述直播间设置的直播播放参数信息以及获取用户进入所述直播间的用户标签信息；
根据所述用户标签信息以及对应的直播播放参数信息建立预设对应关系。
可选的，所述在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流之前，所述方法还包括：
获取当前页面支持的服务类型信息；
在所述服务类型信息未包括媒体源扩展类型信息时，将所述当前页面加载媒体源扩展应用程序，得到目标网页。
可选的，所述音频数据包括采样时间序列；
所述对多路所述音频数据进行合并，获得目标音频，包括：
读取所述音频数据的采样时间序列；
根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频，包括：
调用合并脚本信息；
通过所述合并脚本信息采用所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述对所述目标音频进行播放之后，所述方法还包括：
获取所述目标音频对应的频谱数据；
对所述频谱数据进行可视化分析，得到可视化音频数据。
可选的，所述对所述频谱数据进行可视化分析，得到可视化音频数据，包括：
获取所述频谱数据中的数组信息；
调用网页画布应用程序，通过所述网页画布应用程序对所述数组信息进行可视化分析，得到可视化音频数据。
此外，为实现上述目的，本发明还提出一种音频播放装置，所述音频播放装置包括：
转换模块，用于在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
解码模块，用于分别对各音频数据传输流进行解码，获得多路音频数据；
合并模块，用于对多路所述音频数据进行合并，获得目标音频；
播放模块，用于对所述目标音频进行播放，以实现多路直播流的音频播放。
可选的，所述目标音频包括直播房间标签信息；
所述播放模块，还用于提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
可选的，所述音频播放装置还包括：连麦模块；
所述连麦模块，用于获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
可选的，所述音频播放装置还包括：更新模块；
所述更新模块，用于获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
可选的，所述更新模块，还用于判断所述新用户的身份信息；
在所述身份信息为主播身份时根据所述语音信息对所述目标音频进行更新。
可选的，所述播放模块，还用于提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
此外，为实现上述目的，本发明还提出一种音频播放设备，所述音频播放设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行音频播放程序，所述音频播放程序被所述处理器执行时实现如上文所述的音频播放方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有音频播放程序，所述音频播放程序被处理器执行时实现如上文所述的音频播放方法的步骤。
本发明提供的技术方案，通过在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；分别对各音频数据传输流进行解码，获得多路音频数据；对多路所述音频数据进行合并，获得目标音频；对所述目标音频进行播放，以实现多路直播流的音频播放，从而可在不同浏览器的网页上实现多路直播流的音频播放。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的音频播放设备结构示意图；
图2为本发明音频播放方法第一实施例的流程示意图；
图3为本发明音频播放方法一实施例的多路直播的界面展示示意图；
图4为本发明音频播放方法一实施例的整体流程示意图；
图5为本发明音频播放方法一实施例的音频数据传输流的数据结构示意图；
图6为本发明音频播放方法第二实施例的流程示意图；
图7为本发明音频播放方法第三实施例的流程示意图；
图8为本发明音频播放方法一实施例的可视化音频数据展示示意图；
图9为本发明音频播放装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；分别对各音频数据传输流进行解码，获得多路音频数据；对多路所述音频数据进行合并，获得目标音频；对所述目标音频进行播放，以实现多路直播流的音频播放，从而可在不同浏览器的网页上实现多路直播流的音频播放。
本申请实施例涉及的主要技术术语包括：
高级音频编码(Advanced Audio Coding，AAC)。
原始流(Elementary Streams，ES)。
音频数据传输流(Audio Data Transport Stream，ADTS)。
音频缓冲区AudioBuffer。
脉冲编码调制(Pulse Code Modulation，PCM)。
循环冗余校验(Cyclic Redundancy Check，CRC)。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的音频播放设备结构示意图。
如图1所示，该音频播放设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口以及无线接口，而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus，USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)；也可以是稳定的存储器，比如，非易失存储器(Non-volatile Memory)，具体可为，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对音频播放设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及音频播放程序。
在图1所示的音频播放设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接外设；所述音频播放设备通过处理器1001调用存储器1005中存储的音频播放程序，并执行本发明实施例提供的音频播放方法。
基于上述硬件结构，提出本发明音频播放方法的实施例。
参照图2，图2为本发明音频播放方法第一实施例的流程示意图。
在第一实施例中，所述音频播放方法包括以下步骤：
步骤S10：在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流。
需要说明的是，本实施例的执行主体为音频播放设备，还可为其他可实现相同或相似功能的设备，例如移动终端，本实施例对此不作限制，在本实施例中，以移动终端上配置的浏览器为例进行说明。
在本实施例中，所述浏览器可为安卓***支持的浏览器，还可为苹果***支持的浏览器，本实施例对浏览器的类型不作限制，因此，在任何浏览器下均可实现多路音频的播放，本实施例主要针对在移动端的页面上在直播间进行直播时实现多路音频的播放。
可以理解的是，音频数据传输流为ADTS，待播放直播流为AAC或者原始直播流，在为原始直播流时，需对原始直播流进行采集，以及推流和拉流，转换为AAC，由于AAC无法通过网页的播放器进行播放，因此，需要将AAC转换为ADTS，从而实现直播流的有效播放，如图3所示的多路直播的界面展示示意图，在当前直播间中可同时展示主播1和主播2的音频信息。
步骤S20：分别对各音频数据传输流进行解码，获得多路音频数据。
需要说明的是，由于ADTS为根据AAC进行转换得到的，因此为了获得多路音频数据传输流中的传输流信息，需要对对各音频数据传输流进行解码，获得多路音频数据，从而实现对多路音频数据的合并。
如图4所示的整体示意图，获取待播放直播流，将所述待播放直播流进行解复用，得到高级音频编码，并将高级音频编码进行转换，从而得到音频数据传输流，然后将音频数据传输流进行解码，得到多路音频数据，并将多路音频数据进行合并，得到目标音频，将目标音频进行播放，从而实现移动端上基于网页的多路音频的播放，其中，通过Fetch或XMLHttpRequest或WebSocket等方式获取待播放直播流。
在具体实现中，多路音频数据可为音频数据传输流中的原生数据流，如图5所示的音频数据传输流的数据结构示意图，包括音频数据传输流头部、纠错部分以及原生数据块部分，将对各音频数据传输流进行解码，从而可得到音频数据传输流头部、纠错部分以及原生数据块部分，其中，获得的多路音频数据可为原生数据块部分，从而实现对音频数据传输流的还原，以便实现多路音频数据的连续播放。
步骤S30：对多路所述音频数据进行合并，获得目标音频。
在本实施例中，由于对各音频数据传输流进行解码，获得多路音频数据，通过多路音频数据从而可对多路所述音频数据进行合并，获得目标音频，其中，目标音频为处理后的进行直播的音频数据。
步骤S40：对所述目标音频进行播放，以实现多路直播流的音频播放。
本实施例通过上述方案，通过在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；分别对各音频数据传输流进行解码，获得多路音频数据；对多路所述音频数据进行合并，获得目标音频；对所述目标音频进行播放，以实现多路直播流的音频播放，从而可在不同浏览器的网页上实现多路直播流的音频播放。
参照图6，图6为本发明音频播放方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明音频播放方法的第二实施例。
所述目标音频包括直播房间标签信息；
所述步骤S40，包括：
步骤S401，提取所述目标音频中的直播房间标签信息。
需要说明的是，所述直播房间标签信息为目标页面正在进行直播的直播间信息，例如房间1001，还可为其他形式的标签信息，本实施例对此不作限制，在接收到多路音频数据时，由于多路音频数据其目的地可能为不同的直播间，因此，需要对多路音频数据进行区分，将属于当前直播间的音频数据引入当前直播间进行播放。
步骤S402，根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
进一步地，所述步骤S402，之后，所述方法还包括：
获取连麦指令信息；在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；根据所述待加入用户标签信息将新用户加入所述直播间。
可以理解的是，在直播间中涉及用户之前的互动，在本实施例支持连麦功能，通过连麦功能可将连麦的用户加入到当前直播间中，还可根据用户的连麦需求确定是进行音频互动还是进行视频互动，从而提高互动的灵活性，例如用户A加入直播间之后，直播间提供连麦功能，根据连麦功能用户A可在点击连麦按钮之后加入语音对话，从而实现与主播之间的互动。
在本实施例中，主播在主播间中还可设置连麦权限，即在允许连麦的情况下用户A可进行连麦操作，在主播未允许连麦的情况下用户A无法进行连麦操作，从而实现直播间的有效管理。
为了实现主播间的有效互动，还可进行用户切换功能，即在主播需要跟用户B进行有效互动时，可将用户B在界面的正下方进行放大展示，从而可清楚用户B的实际操作情况，并与用户B进行语音或视频互动，其他在直播间的用户进行静音处理，从而保证与用户B之间的有效互动。
在具体实现中，在获取到所述连麦指令信息对应的响应信息时，响应信息为获取允许用户加入的指令，在允许用户加入的指令提取所述连麦指令信息中的待加入用户标签信息；根据所述待加入用户标签信息将新用户加入所述直播间，因为待加入用户标签信息是识别用户的唯一标识，通过得到用户的待加入用户标签信息，从而可将用户加入当前直播间。
进一步地，所述根据所述待加入用户标签信息将新用户加入所述直播间之后，所述方法还包括：
获取所述新用户的语音信息；根据所述语音信息对所述目标音频进行更新。
在本实施例中，由于不对主播用户进行限定，因此可根据用户的需求将新用户加入当前直播间中，在新用户加入后可根据新用户的音频数据对目标音频进行更新，从而实现音频播放的实时性。
进一步地，所述根据所述语音信息对所述目标音频进行更新之前，所述方法还包括：
判断所述新用户的身份信息；在所述身份信息为主播身份时执行所述根据所述语音信息对所述目标音频进行更新的步骤。
在本实施例中，在对所述目标音频进行更新需要判断新用户是否为加入的主播身份，如果为主播身份，则根据新用户的语音信息对所述目标音频进行更新，如果不为主播身份，则将用户的语音信息进行记录，通过对用户的语音信息进行记录还可方便用户进行回看，从而实现对直播中内容的全程跟踪。
进一步地，所述步骤S40，包括：
提取所述目标音频中各路音频数据的用户标签信息；根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；根据所述直播播放参数信息在直播间对所述目标音频进行播放。
在本实施例中，用户标签信息为用户的唯一识别信息，例如用户身份标识(Identity document，ID)，用户标签信息为在用户登录直播间进行注册时生成的唯一标识信息，通过用户标签信息还可获取到用户设置的参数信息，例如音频的颜色，音频的展示的形式以及其他属性的参数信息，从而实现用户的个性化设置，可方便各个用户进行识别。
进一步地，所述根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息之前，所述方法还包括：
获取用户在所述直播间设置的直播播放参数信息以及获取用户进入所述直播间的用户标签信息；根据所述用户标签信息以及对应的直播播放参数信息建立预设对应关系。
在本实施例中，由于根据用户的习惯可进行一些个性化的设置，即设置相应的直播播放参数信息，直播播放参数信息包括音频的颜色以及音频的展示的形式等例如用户标签信息为ID1001的用户在登录直播间之后可设置对应参数信息，比如展示音频的颜色等，从而实现个性化的用户配置。
进一步地，所述步骤S10之前，所述方法还包括：
获取当前页面支持的服务类型信息；在所述服务类型信息未包括媒体源扩展类型信息时，将所述当前页面加载媒体源扩展应用程序，得到目标网页。
本实施例通过上述方案，由于移动终端在页面进行多路音频播放时，需要当前页面支持媒体源扩展，才能实现多路音频的连续播放，因此，为了实现移动终端的多路音频的连续播放，需要当前页面支持媒体源扩展服务，因此，在获取当前页面支持的服务类型信息时，对服务类型信息进行判断，在服务类型信息未包括媒体源扩展类型信息时，将所述当前页面加载媒体源扩展应用程序，得到目标网页，从而实现移动终端基于页面的多路音频的播放。
参照图7，图7为本发明音频播放方法第三实施例的流程示意图，基于第一实施例或第二实施例提出本发明音频播放方法的第三实施例，在本实施例中，基于第一实施例进行说明。
第三实施例中，所述音频数据包括采样时间序列，所述步骤S30，包括：：
步骤S301，读取所述音频数据的采样时间序列。
需要说明的是，由于ADTS头包含了AAC文件的采样率、通道数以及帧数据长度等信息，ADTS头分为固定头信息和可变头信息两个部分，固定头信息在每个帧中的是一样的，可变头信息在各个帧中并不是固定值，ADTS头一般是7个字节，如果需要对数据进行CRC校验，则会有校验码，根据校验码进行校正，通过对各ADTS进行解码，获得多路音频数据，并对多路音频数据进行识别，得到音频数据中的采样时间序列。
步骤S302，根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
进一步地，所述步骤S302，包括：
调用合并脚本信息；通过所述合并脚本信息采用所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
在本实施例中，所述合并脚本信息可为合并merger脚本信息，还可为其他可实现相同或相似功能的脚本信息，本实施例对此不作限制。
进一步地，所述步骤S40之后，所述方法还包括：
获取所述目标音频对应的频谱数据；对所述频谱数据进行可视化分析，得到可视化音频数据。
可以理解的是，由于在浏览器的兼容问题，无法实现移动终端基于页面的频谱，而本实施例由于对音频数据传输流进行解码，从而可得到目标音频对应的频谱数据，根据目标音频对应的频谱数据可实现可视化音频数据，如图8所示的可视化音频数据展示示意图，通过对目标音频对应的频谱数据进行处理，得到可视化音频数据。
进一步地，所述对所述频谱数据进行可视化分析，得到可视化音频数据，包括：
获取所述频谱数据中的数组信息；调用网页画布应用程序，通过所述网页画布应用程序对所述数组信息进行可视化分析，得到可视化音频数据。
在具体实现中，通过获取所述频谱数据中的数组信息；调用网页画布应用程序，通过所述网页画布应用程序对所述数组信息进行可视化分析，得到可视化音频数据，其中，网页画布应用程序可为画布canvas应用程序，还可为其他可实现相同或相似功能的应用程序，本实施例对此不做限制。
本实施例通过上述方案，通过由于对音频数据传输流进行解码，从而可得到目标音频对应的频谱数据，根据目标音频对应的频谱数据实现可视化音频数据，方便进行音频分析。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有音频播放程序，所述音频播放程序被处理器执行时实现如上文所述的终端入网方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图9，本发明实施例还提出一种音频播放装置，所述音频播放装置包括：
转换模块10，用于在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流。
需要说明的是，本实施例的执行主体为音频播放设备，还可为其他可实现相同或相似功能的设备，例如移动终端，本实施例对此不作限制，在本实施例中，以移动终端上配置的浏览器为例进行说明。
在本实施例中，所述浏览器可为安卓***支持的浏览器，还可为苹果***支持的浏览器，本实施例对浏览器的类型不作限制，因此，在任何浏览器下均可实现多路音频的播放，本实施例主要针对在移动端的页面上在直播间进行直播时实现多路音频的播放。
可以理解的是，音频数据传输流为ADTS，待播放直播流为AAC或者原始直播流，在为原始直播流时，需对原始直播流进行采集，以及推流和拉流，转换为AAC，由于AAC无法通过网页的播放器进行播放，因此，需要将AAC转换为ADTS，从而实现直播流的有效播放，如图3所示的多路直播的界面展示示意图，在当前直播间中可同时展示主播1和主播2的音频信息。
解码模块20，用于分别对各音频数据传输流进行解码，获得多路音频数据。
需要说明的是，由于ADTS为根据AAC进行转换得到的，因此为了获得多路音频数据传输流中的传输流信息，需要对对各音频数据传输流进行解码，获得多路音频数据，从而实现对多路音频数据的合并。
如图4所示的整体示意图，在网页播放模块获取待播放直播流，将所述待播放直播流进行解复用，得到高级音频编码，并将高级音频编码进行转换，从而得到音频数据传输流，然后将音频数据传输流进行解码，得到多路音频数据，并将多路音频数据进行合并，得到目标音频，将目标音频进行播放，从而实现移动端上基于网页的多路音频的播放，其中，通过Fetch或XMLHttpRequest或WebSocket等方式获取待播放直播流。
在具体实现中，多路音频数据可为音频数据传输流中的原生数据流，如图5所示的音频数据传输流的数据结构示意图，包括音频数据传输流头部、纠错部分以及原生数据块部分，将对各音频数据传输流进行解码，从而可得到音频数据传输流头部、纠错部分以及原生数据块部分，其中，获得的多路音频数据可为原生数据块部分，从而实现对音频数据传输流的还原，以便实现多路音频数据的连续播放。
合并模块30，用于对多路所述音频数据进行合并，获得目标音频。
在本实施例中，由于对各音频数据传输流进行解码，获得多路音频数据，通过多路音频数据从而可对多路所述音频数据进行合并，获得目标音频，其中，目标音频为处理后的进行直播的音频数据。
播放模块40，用于对所述目标音频进行播放，以实现多路直播流的音频播放。
本实施例通过上述方案，通过在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；分别对各音频数据传输流进行解码，获得多路音频数据；对多路所述音频数据进行合并，获得目标音频；对所述目标音频进行播放，以实现多路直播流的音频播放，从而可在不同浏览器的网页上实现多路直播流的音频播放。
进一步地，可选的，所述目标音频包括直播房间标签信息；
所述播放模块，还用于提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
可选的，所述音频播放装置还包括：连麦模块；
所述连麦模块，用于获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
可选的，所述音频播放装置还包括：更新模块；
所述更新模块，用于获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
可选的，所述更新模块，还用于判断所述新用户的身份信息；
在所述身份信息为主播身份时根据所述语音信息对所述目标音频进行更新。
可选的，所述播放模块，还用于提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
可选的，所述音频播放装置还包括：获取模块；所述获取模块，用于获取用户在所述直播间设置的直播播放参数信息以及获取用户进入所述直播间的用户标签信息；
根据所述用户标签信息以及对应的直播播放参数信息建立预设对应关系。
可选的，所述获取模块，还用于获取当前页面支持的服务类型信息；
在所述服务类型信息未包括媒体源扩展类型信息时，将所述当前页面加载媒体源扩展应用程序，得到目标网页。
可选的，所述音频数据包括采样时间序列；所述合并模块，还用于读取所述音频数据的采样时间序列；
根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述合并模块，还用于调用合并脚本信息；
通过所述合并脚本信息采用所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述获取模块，还用于获取所述目标音频对应的频谱数据；
对所述频谱数据进行可视化分析，得到可视化音频数据。
可选的，所述获取模块，还用于获取所述频谱数据中的数组信息；
调用网页画布应用程序，通过所述网页画布应用程序对所述数组信息进行可视化分析，得到可视化音频数据。
本发明所述音频播放装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
本发明提供一种音频播放方法，所述音频播放方法包括以下步骤：
在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
分别对各音频数据传输流进行解码，获得多路音频数据；
对多路所述音频数据进行合并，获得目标音频；
对所述目标音频进行播放，以实现多路直播流的音频播放。
可选的，所述目标音频包括直播房间标签信息；
所述对所述目标音频进行播放，包括：
提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
可选的，所述根据所述直播房间标签信息将所述目标音频在对应直播间进行播放之后，所述方法还包括：
获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
可选的，所述根据所述待加入用户标签信息将新用户加入所述直播间之后，所述方法还包括：
获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
可选的，所述根据所述语音信息对所述目标音频进行更新之前，所述方法还包括：
判断所述新用户的身份信息；
在所述身份信息为主播身份时执行所述根据所述语音信息对所述目标音频进行更新的步骤。
可选的，所述对所述目标音频进行播放，包括：
提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
可选的，所述根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息之前，所述方法还包括：
获取用户在所述直播间设置的直播播放参数信息以及获取用户进入所述直播间的用户标签信息；
根据所述用户标签信息以及对应的直播播放参数信息建立预设对应关系。
可选的，所述在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流之前，所述方法还包括：
获取当前页面支持的服务类型信息；
在所述服务类型信息未包括媒体源扩展类型信息时，将所述当前页面加载媒体源扩展应用程序，得到目标网页。
可选的，所述音频数据包括采样时间序列；
所述对多路所述音频数据进行合并，获得目标音频，包括：
读取所述音频数据的采样时间序列；
根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述根据所述采样时间序列对多路所述音频数据进行合并，获得目标音频，包括：
调用合并脚本信息；
通过所述合并脚本信息采用所述采样时间序列对多路所述音频数据进行合并，获得目标音频。
可选的，所述对所述目标音频进行播放之后，所述方法还包括：
获取所述目标音频对应的频谱数据；
对所述频谱数据进行可视化分析，得到可视化音频数据。
可选的，所述对所述频谱数据进行可视化分析，得到可视化音频数据，包括：
获取所述频谱数据中的数组信息；
调用网页画布应用程序，通过所述网页画布应用程序对所述数组信息进行可视化分析，得到可视化音频数据。
此外，为实现上述目的，本发明还提出一种音频播放装置，所述音频播放装置包括：
转换模块，用于在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
解码模块，用于分别对各音频数据传输流进行解码，获得多路音频数据；
合并模块，用于对多路所述音频数据进行合并，获得目标音频；
播放模块，用于对所述目标音频进行播放，以实现多路直播流的音频播放。
可选的，所述目标音频包括直播房间标签信息；
所述播放模块，还用于提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
可选的，所述音频播放装置还包括：连麦模块；
所述连麦模块，用于获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
可选的，所述音频播放装置还包括：更新模块；
所述更新模块，用于获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
可选的，所述更新模块，还用于判断所述新用户的身份信息；
在所述身份信息为主播身份时根据所述语音信息对所述目标音频进行更新。
可选的，所述播放模块，还用于提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音频播放方法，其特征在于，所述音频播放方法包括以下步骤：
在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
分别对各音频数据传输流进行解码，获得多路音频数据；
对多路所述音频数据进行合并，获得目标音频；
对所述目标音频进行播放，以实现多路直播流的音频播放。
2.如权利要求1所述的音频播放方法，其特征在于，所述目标音频包括直播房间标签信息；
所述对所述目标音频进行播放，包括：
提取所述目标音频中的直播房间标签信息；
根据所述直播房间标签信息将所述目标音频在对应直播间进行播放。
3.如权利要求2所述的音频播放方法，其特征在于，所述根据所述直播房间标签信息将所述目标音频在对应直播间进行播放之后，所述方法还包括：
获取连麦指令信息；
在获取到所述连麦指令信息对应的响应信息时，提取所述连麦指令信息中的待加入用户标签信息；
根据所述待加入用户标签信息将新用户加入所述直播间。
4.如权利要求3所述的音频播放方法，其特征在于，所述根据所述待加入用户标签信息将新用户加入所述直播间之后，所述方法还包括：
获取所述新用户的语音信息；
根据所述语音信息对所述目标音频进行更新。
5.如权利要求4所述的音频播放方法，其特征在于，所述根据所述语音信息对所述目标音频进行更新之前，所述方法还包括：
判断所述新用户的身份信息；
在所述身份信息为主播身份时执行所述根据所述语音信息对所述目标音频进行更新的步骤。
6.如权利要求1至5中任一项所述的音频播放方法，其特征在于，所述对所述目标音频进行播放，包括：
提取所述目标音频中各路音频数据的用户标签信息；
根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息；
根据所述直播播放参数信息在直播间对所述目标音频进行播放。
7.如权利要求6所述的音频播放方法，其特征在于，所述根据所述用户标签信息在预设对应关系中查找对应的直播播放参数信息之前，所述方法还包括：
获取用户在所述直播间设置的直播播放参数信息以及获取用户进入所述直播间的用户标签信息；
根据所述用户标签信息以及对应的直播播放参数信息建立预设对应关系。
8.一种音频播放装置，其特征在于，所述音频播放装置包括：
转换模块，用于在目标网页接收到多路待播放直播流时，将多路所述待播放直播流分别转换为对应的音频数据传输流；
解码模块，用于分别对各音频数据传输流进行解码，获得多路音频数据；
合并模块，用于对多路所述音频数据进行合并，获得目标音频；
播放模块，用于对所述目标音频进行播放，以实现多路直播流的音频播放。
9.一种音频播放设备，其特征在于，所述音频播放设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行音频播放程序，所述音频播放程序被所述处理器执行时实现如权利要求1至7中任一项所述的音频播放方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有音频播放程序，所述音频播放程序被处理器执行时实现如权利要求1至7中任一项所述的音频播放方法的步骤。
CN202010396040.8A 2020-05-11 2020-05-11 音频播放方法、设备、存储介质及装置 Pending CN113641327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010396040.8A CN113641327A (zh) 2020-05-11 2020-05-11 音频播放方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010396040.8A CN113641327A (zh) 2020-05-11 2020-05-11 音频播放方法、设备、存储介质及装置

Publications (1)

Publication Number Publication Date
CN113641327A true CN113641327A (zh) 2021-11-12

Family

ID=78415551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010396040.8A Pending CN113641327A (zh) 2020-05-11 2020-05-11 音频播放方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN113641327A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206795A1 (zh) * 2022-04-29 2023-11-02 歌尔股份有限公司 基于音频进行多频道数据传输方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206795A1 (zh) * 2022-04-29 2023-11-02 歌尔股份有限公司 基于音频进行多频道数据传输方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US20170111414A1 (en) Video playing method and device
US10244078B2 (en) Information processing apparatus, information processing method, and program
EP3460670A1 (en) Information processing device, portable terminal, information processing method, program, and information processing system
JP5174675B2 (ja) トリガを伴わない双方向テレビ
US11227620B2 (en) Information processing apparatus and information processing method
KR20180050961A (ko) 멀티미디어 수신 장치에서 디코딩을 수행하는 방법 및 멀티미디어 장치
KR20090026491A (ko) 어플리케이션 서비스 제공 방법 및 시스템
CN112653700A (zh) 一种基于webrtc网页视频通信的方法
US10965969B2 (en) Method and apparatus for playing online television program
CN103945284B (zh) 信息处理方法和信息处理装置
CN103259802A (zh) 媒体文件的下载方法、装置及客户端设备
CN111510755A (zh) 音视频的切换方法、装置、计算机设备及可读存储介质
WO2020026009A1 (zh) 一种视频对象的推荐方法、装置和设备/终端/服务器
CN114025244A (zh) 音视频推送方法、装置、设备及计算机可读存储介质
CN112449250B (zh) 一种视频资源的下载方法、装置、设备和介质
CN110858915A (zh) 媒体文件播放过程中的分辨率切换方法、装置及存储介质
CN113641327A (zh) 音频播放方法、设备、存储介质及装置
CN113727184A (zh) 视频播放方法、装置、***、存储介质以及电子设备
KR101958662B1 (ko) 웹페이지 자바 스크립트 객체 공유 방법 및 장치
EP2830310A1 (en) Terminal device, relay device, information processing method, program, and contents identification system
CN107770377A (zh) 一种基于html5的创建语音交互手机新闻客户端的方法
CN105357588A (zh) 数据显示方法及终端
CN102387177B (zh) 影音文件的下载方法及装置
CN108600826B (zh) 一种播放ts流的方法及装置
CN111064993A (zh) 基于水印的数据传递、生成方法、电视、机顶盒及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination