CN108924641A - 直播方法、装置及计算机设备及存储介质 - Google Patents

直播方法、装置及计算机设备及存储介质 Download PDF

Info

Publication number
CN108924641A
CN108924641A CN201810779978.0A CN201810779978A CN108924641A CN 108924641 A CN108924641 A CN 108924641A CN 201810779978 A CN201810779978 A CN 201810779978A CN 108924641 A CN108924641 A CN 108924641A
Authority
CN
China
Prior art keywords
stream medium
medium data
data
mobile terminal
communication link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810779978.0A
Other languages
English (en)
Inventor
吴志群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810779978.0A priority Critical patent/CN108924641A/zh
Publication of CN108924641A publication Critical patent/CN108924641A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开是关于一种直播方法,包括基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;解析所述第一数据包获得待直播的所述第一流媒体数据;以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。本公开在可穿戴设备上不具备播放流媒体的功能时,能够通过建立的蓝牙通讯链路在移动终端实时播放可穿戴设备采集的流媒体,移动终端再通过网络连接向其他与其连接的移动终端实现网络直播,节约了在移动终端直接采集流媒体的能耗,降低了移动终端采集流媒体数据的成本,也方便主播在移动终端操作播放界面。

Description

直播方法、装置及计算机设备及存储介质
技术领域
本公开涉及通信、直播技术领域,具体而言,本发明涉及一种直播方法的方法、装置及计算机设备及存储介质。
背景技术
相关技术中,一般外设与iOS进行无线网络通讯只有Wi-Fi/4G、经典蓝牙和低功耗蓝牙,且当前市面上所有外设直播/监控等功能的实现都是基于Wi-Fi/4G与iOS App网络通讯,通过Wi-Fi/4G与iOS App网络通讯会消耗电池供电穿戴类设备大量的能量,而由于可穿戴设备主要通过电池进行供电,其储备电量较低,阻碍了电池供电穿戴类设备在网络通讯中的应用,又由于常规的低功耗蓝牙主要用于做信令控制和状态更新类消息的收发,且其带宽受限于6KB/s,无法满足传输大数据量传输的带宽需求。导致常规的通过MFI认证授权的蓝牙设备的打印机、数据相机等的主要功能常常限制于传输文档和照片等数据中,不能够实时进行视音频等的直播。另外,常规的可穿戴设备需要通过复杂的网络配置才可以与iOS进行通讯,导致可穿戴设备通过其上集成的4G模块进行直播成本过高。
发明内容
为克服相关技术中存在的问题,本公开提供一种直播方法的方法、装置及计算机设备及存储介质。
根据本公开实施例的第一方面,提供一种直播方法,包括:
基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
解析所述第一数据包获得待直播的所述第一流媒体数据;
以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
进一步地,还包括:
响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
进一步地,还包括:
响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
进一步地,在所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,之中,具体包括:
建立与可穿戴设备之间的所述蓝牙通讯链路;
通过所述蓝牙通讯链路获取包含所述第一数据包的播放数据;
解析所述播放数据获取所述第一数据包。
进一步地,在所述解析所述播放数据获取所述第一数据包,之中,具体包括:
基于外部设备链接协议从外部设备链接协议载荷内提取所述播放数据;
解析所述播放数据获得所述第一数据包。
进一步地,在所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,之中,包括:
将所述第一数据包上传到流媒体服务器;
从所述流媒体服务器获取所述第一数据包。
根据本公开实施例的第二方面,提供一种直播装置,包括:
第一数据包获取模块,被配置为基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
第一数据包解析模块,被配置为解析所述第一数据包获得待直播的所述第一流媒体数据;
第一流媒体数据推送模块,被配置为以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
进一步地,还包括:
通讯链路切换模块,被配置为响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
第二流媒体数据获取模块,被配置为基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
第二流媒体数据推送模块,被配置为以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
进一步地,还包括:
画面合成模块,被配置为响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
第三流媒体数据推送模块,被配置为以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
进一步地,在所述第一数据包获取模块之中,具体包括:
蓝牙通讯链路建立单元,被配置为建立与可穿戴设备之间的所述蓝牙通讯链路;
播放数据获取单元,被配置为通过所述蓝牙通讯链路获取包含所述第一数据包的播放数据;
播放数据解析单元,被配置为解析所述播放数据获取所述第一数据包。
进一步地,在所述播放数据解析单元之中,具体包括:
外部设备链接协议载荷解析单元,被配置为基于外部设备链接协议从外部设备链接协议载荷内提取所述播放数据;
第一数据包提取单元,被配置为解析所述播放数据获得所述第一数据包。
进一步地,在所述第一数据包获取模块之中,具体包括:
上传单元,被配置为将所述第一数据包上传到流媒体服务器;
第一数据包获取单元,被配置为从所述流媒体服务器获取所述第一数据包。
根据本公开实施例的第三方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种直播方法,所述方法包括任一技术方案所述的直播方法的步骤。
根据本公开实施例的第四方面,提供一种服务器,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行根据任一技术方案所述的直播方法的步骤。
根据本公开实施例的第五方面,提供一种应用程序/计算机程序产品,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种直播方法,所述方法包括任一技术方案所述的直播方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
1、本公开的实施例通过建立可穿戴设备与移动终端之间蓝牙通讯链路,进而在可穿戴设备通过流媒体装置实时采集第一流媒体数据之后,能将所述流媒体数据以播放数据形式传输给移动终端上的直播应用程序,以便于直播应用程序的直播间能够播放所述流媒体数据,在可穿戴设备上不具备播放流媒体的功能时,能够通过建立的蓝牙通讯链路在移动终端实时播放可穿戴设备采集的流媒体,移动终端在通过网络连接向其他与其连接的移动终端推送流媒体数据,实现在可穿戴设备基础上的网络直播,节约了在移动终端直接采集流媒体的能耗,由于移动终端不需要一直保持和主播之间的距离,进而也方便主播在移动终端操作播放界面。
2、本公开的实施例通过蓝牙建立可穿戴设备与移动终端之间的蓝牙通讯链路。由于蓝牙连接配对方法简单,只要移动终端能够识别到蓝牙设备,并在验证通过后,便能够实现可穿戴设备与移动终端之间数据传输,解决了传统直播外设Wi-Fi配网的复杂性问题。由于可穿戴设备不需要通过4G模块传输其采集的流媒体数据,因此也降低了集成4G模块的穿戴类设备进行直播时导致直播成本过高的问题。
3、本公开的实施例将所述流媒体数据封装在所述移动终端的外部设备链接协议载荷内获得所述播放数据,在一种实施方式中,外部设备链接协议主要为基于IOS定制的iDevice Accessory Protocol Second(iAP2),通过该协议实现了外接蓝牙与基于IOS移动终端的流媒体数据传输,同时该协议增加了蓝牙传输流媒体数据的带宽,且有剩余顶宽用于蓝牙与基于IOS移动终端其他通讯数据的传输。进而有效避免了因带宽导致蓝牙设备(如经典蓝牙设备)无法与基于IOS移动终端实现通讯的问题,同时有效地降低了网络直播中通过4G模块和/或Wi-Fi采集流媒体的成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据一示例性实施例示出的一种直播方法的流程图;
图2是根据一示例性实施例示出的一种直播方装置的框图;
图3是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播方法的流程图;
图4是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播方法的流程图;
图5是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播装置的框图;
图6是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播装置的框图;
图7是根据一示例性实施例示出的一种装置的框图;
图8是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种直播方法的流程图,如图1所示,直播方法可用于移动终端中,包括以下步骤。
在步骤S110中,基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
在步骤S120中,解析所述第一数据包获得待直播的所述第一流媒体数据;
在步骤S130中,以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
本公开的实施例主要应用于移动终端中,该移动终端中包括用于直播的应用程序,同时该移动终端还配置有蓝牙,以便于基于该蓝牙建立蓝牙通讯链路,使得移动终端可以基于蓝牙通讯链路获取其他具有蓝牙设备传输的包含第一流媒体数据的第一数据包。其他具有蓝牙设备如可穿戴设备,该可穿戴设备包括蓝牙以及采集流媒体数据的装置,或者可穿戴设备本身即为采集流媒体数据的装置,采集流媒体数据的装置如摄像装置。为了使得第一数据包中待直播的流媒体数据能够正常地在直播界面进行播放。移动终端的应用程序在前述蓝牙通讯链路的基础上获取到第一数据包之后,需要将第一数据包中待直播的第一流媒体数据提取出来,因此,解析第一数据包,以从第一数据包中获取待直播的第一流媒体数据。在第一流媒体数据中还可以包括第一流媒体数据的格式、大小、名称等属性信息。进一步地,本公开的实施例主要应用于基于IOS***的移动终端中,为了使得具有蓝牙的可穿戴设备能实现与基于IOS***移动终端的蓝牙通讯,建立蓝牙通讯链路。具有蓝牙的可穿戴设备需要满足基于IOS***的移动终端的第二设备附件协议,即iDevice AccessoryProtocol Second(iAP2)。且在满足该协议之前,可穿戴设备还需要获得基于IOS***的移动终端的认证授权,以使得可穿戴设备为基于IOS***移动终端信任的设备,保证可穿戴设备通过蓝牙与移动终端之间数据传输的唯一性和安全性,详情见后文,再次不做赘述。需要说明的是,本公开的实施例中,所述第一数据包的格式包括FLV格式,第一数据包中的第一流媒体数据的大小不超过150KB/s。由于第一流媒体数据的传输主要是基于移动终端的主播触发操作实现,在前述的基础上,在移动终端的直播应用程序获取到第一流媒体数据之后,以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。以便于通过网络连接的其他移动终端中的直播应用程序能够在进入该直播间之后,能在其对应的其他移动终端上进行网络直播。
进一步地,还包括:
响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
结合前文所述,前述过程主要是基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,并将其中的第一流媒体数据进行播放,在其他的实施方式中,在移动终端本端具有摄像装置时,移动终端本端的摄像装置同样可以采集流媒体数据,且该流媒体数据为第二流媒体数据。为了便于主播在直播间的播放界面展示更多拍摄视角,主播可以在移动终端上进行切换流媒体数据获取路径的操作。当主播在移动终端上进行了该操作之后,生成对应的通讯链路切换指令,该指令中包含当前通讯链路信息以及将要切换到的通讯链路信息,如当前通讯链路为蓝牙通讯链路,将要切换到的通讯链路为本端摄像通讯链路,则当前通讯链路信息中包括通讯链路的名称、连接的蓝牙设备名称(或者为可穿戴设备名称)、通讯链路的连接方式(通过蓝牙实现移动终端与可穿戴设备的连接);将要切换到的通讯链路信息包括本端需要调用的数据传输接口、第二流媒体数据采集装置名称等。移动终端的应用程序响应于前述的通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路,此时,第二流媒体数据则通过本端的摄像装置进行实时采集,并将采集的第二流媒体数据实时地通过本端摄像通讯链路(调用的直播应用程序和摄像装置进行数据传输接口)传输到直播应用程序中,以便于应用程序能够及时的获取到第二流媒体数据;之后同前述第一流媒体数据一样,以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放,具体过程再次不做赘述。
进一步地,还包括:
响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
在本公开的实施例中,为了能够使得进入直播间的用户能够同时看到两个拍摄角度的画面,主播可以在直播间触发画面合成的控件,当主播在直播间进行了画面合成操作后,直播应用程序通过调用其所在移动终端的蓝牙连接接口和摄像装置连接接口,实现同时调用前述的蓝牙通讯链路和本端摄像通讯链路,进而便于基于蓝牙通讯链路获取到可穿戴设备采集的第一流媒体数据和通过本端摄像通讯链路获取到本端摄像装置采集的第二流媒体数据,然后基于前述的画面合成操作,将第一流媒体数据和第二流媒体数据进行合成得到第三流媒体数据,之后同前述第一流媒体数据一样,以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放,具体过程再次不做赘述。需要说明的是,前述过程的实现基于应用程序所在移动终端具备摄像装置,且摄像装置拍摄图像能够传输到直播间。
进一步地,在所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,之中,具体包括:
建立与可穿戴设备之间的所述蓝牙通讯链路;
通过所述蓝牙通讯链路获取包含所述第一数据包的播放数据;
解析所述播放数据获取所述第一数据包。
在本公开的实施例中,为了使得移动终端的应用程序能够正常地通过蓝牙获取到可穿戴设备采集的第一流媒体数据。因此,所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包之中,还需要建立移动终端与可穿戴设备之间的蓝牙通讯链路。结合前文所述,本公开的实施例主要应用于基于IOS***的应用程序。在本公开的实施例中,移动终端主要用于通过其上集成的4G模块和Wi-Fi向其他终端推送流媒体数据,或者在移动终端的直播应用程序上播放流媒体数据。移动终端上可以包括显示装置和音频装置的一种或者两种。建立与可穿戴之间的蓝牙通讯链路包括移动终端通过蓝牙与可穿戴设备进行连接进而建立用于传输数据的蓝牙通讯链路。在可穿戴设备或者可穿戴设备上的流媒体装置实时采集了第一流媒体数据后,可穿戴设备则实时地获取该第一流媒体数据,并将第一流媒体数据通过蓝牙通讯链路实时地发送到移动终端,流媒体数据主要包含在播放数据中,播放数据包括流媒体数据的格式、分辨率等等。移动终端也实时地接收该播放数据,对该播放数据进行解析,提取其中的第一流媒体数据进行播放,和/或将该第一流媒体数据从移动终端通过其上集成的4G模块或者Wi-Fi推送与该移动终端上直播应用程序的直播间中,使得进入该直播间的其他用户能够看到第一流媒体数据。从前文可知,第一流媒体数据是包含在第一数据包中的,因此,通过蓝牙通讯链路获取到的是包含第一数据包的播放数据,播放数据是以数据包的形式被获取到的,因此需要对播放数据解析,以从中提取出第一数据包。
进一步地,在所述解析所述播放数据获取所述第一数据包,之中,具体包括:
基于外部设备链接协议从外部设备链接协议载荷内提取所述播放数据;
解析所述播放数据获得所述第一数据包。
进一步地,在所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,之中,包括:
将所述第一数据包上传到流媒体服务器;
从所述流媒体服务器获取所述第一数据包。
在本公开的实施例中,结合前文说明可知,播放数据在可穿戴设备端中被封装在外部设备链接协议载荷中的,因此移动终端通过外部设备链接协议提取出载荷内的播放数据。移动终端接收到且解析了播放数据后,由于播放数据中包括了第一流媒体数据播放时的其他数据,如分辨率、格式、大小等。因此,对该播放数据进行解析,以获得可穿戴设备采集的流媒体数据。结合前文可知,本公开的实施例主要应用于基于IOS***的应用程序。因此,外部设备链接协议如前文的基于IOS***的第二设备附件协议,即iDevice AccessoryProtocol Second(iAP2)。进一步地,第一流媒体数据在可穿戴设备中还通过基于直播推送协议(RTMP)封装成Flash Video(FLV)格式的第一数据包,在移动终端基于外部设备链接协议解析的播放数据获取到的是第一数据包,为了便进入移动终端直播应用程序的直播间的其他终端能够进入该直播间后,更好地获取到该第一流媒体数据实现网络直播,移动终端将第一数据包上传至流媒体服务器,进而其他用户通过其使用的终端进入该直播间时,其对应的终端则从流媒体服务器中获取第一数据包,使得其他移动终端能够通过其上集成网络通讯模块(4G模块)或者Wi-Fi模块从流媒体服务器获取到所述第一数据包,且其上的直播应用程序能够解析该第一数据包获取到第一流媒体数据,实现网络直播。
图2是根据一示例性实施例示出的一种直播装置的框图图,参照图2所示,该装置包括:第一数据包获取模块110、第一数据包解析模块120、第一流媒体数据推送模块130。
第一数据包获取模块110,被配置为基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
第一数据包解析模块120,被配置为解析所述第一数据包获得待直播的所述第一流媒体数据;
第一流媒体数据推送模块130,被配置为以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
本公开的实施例主要应用于移动终端中,该移动终端中包括用于直播的应用程序,同时该移动终端还配置有蓝牙,以便于基于该蓝牙建立蓝牙通讯链路,使得移动终端可以基于蓝牙通讯链路获取其他具有蓝牙设备传输的包含第一流媒体数据的第一数据包。其他具有蓝牙设备如可穿戴设备,该可穿戴设备包括蓝牙以及采集流媒体数据的装置,或者可穿戴设备本身即为采集流媒体数据的装置,采集流媒体数据的装置如摄像装置。为了使得第一数据包中待直播的流媒体数据能够正常地在直播界面进行播放。移动终端的应用程序在前述蓝牙通讯链路的基础上获取到第一数据包之后,需要将第一数据包中待直播的第一流媒体数据提取出来,因此,解析第一数据包,以从第一数据包中获取待直播的第一流媒体数据。在第一流媒体数据中还可以包括第一流媒体数据的格式、大小、名称等属性信息。进一步地,本公开的实施例主要应用于基于IOS***的移动终端中,为了使得具有蓝牙的可穿戴设备能实现与基于IOS***移动终端的蓝牙通讯,建立蓝牙通讯链路。具有蓝牙的可穿戴设备需要满足基于IOS***的移动终端的第二设备附件协议,即iDevice AccessoryProtocol Second(iAP2)。且在满足该协议之前,可穿戴设备还需要获得基于IOS***的移动终端的认证授权,以使得可穿戴设备为基于IOS***移动终端信任的设备,保证可穿戴设备通过蓝牙与移动终端之间数据传输的唯一性和安全性,详情见后文,再次不做赘述。需要说明的是,本公开的实施例中,所述第一数据包的格式包括FLV格式,第一数据包中的第一流媒体数据的大小不超过150KB/s。由于第一流媒体数据的传输主要是基于移动终端的主播触发操作实现,在前述的基础上,在移动终端的直播应用程序获取到第一流媒体数据之后,以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。以便于通过网络连接的其他移动终端中的直播应用程序能够在进入该直播间之后,能在其对应的其他移动终端上进行网络直播。
进一步地,该装置还包括:
通讯链路切换模块,被配置为响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
第二流媒体数据获取模块,被配置为基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
第二流媒体数据推送模块,被配置为以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
结合前文所述,前述过程主要是基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包,并将其中的第一流媒体数据进行播放,在其他的实施方式中,在移动终端本端具有摄像装置时,移动终端本端的摄像装置同样可以采集流媒体数据,且该流媒体数据为第二流媒体数据。为了便于主播在直播间的播放界面展示更多拍摄视角,主播可以在移动终端上进行切换流媒体数据获取路径的操作。当主播在移动终端上进行了该操作之后,生成对应的通讯链路切换指令,该指令中包含当前通讯链路信息以及将要切换到的通讯链路信息,如当前通讯链路为蓝牙通讯链路,将要切换到的通讯链路为本端摄像通讯链路,则当前通讯链路信息中包括通讯链路的名称、连接的蓝牙设备名称(或者为可穿戴设备名称)、通讯链路的连接方式(通过蓝牙实现移动终端与可穿戴设备的连接);将要切换到的通讯链路信息包括本端需要调用的数据传输接口、第二流媒体数据采集装置名称等。移动终端的应用程序响应于前述的通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路,此时,第二流媒体数据则通过本端的摄像装置进行实时采集,并将采集的第二流媒体数据实时地通过本端摄像通讯链路(调用的直播应用程序和摄像装置进行数据传输接口)传输到直播应用程序中,以便于应用程序能够及时的获取到第二流媒体数据;之后同前述第一流媒体数据一样,以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放,具体过程再次不做赘述。
进一步地,该装置还包括:
画面合成模块,被配置为响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
第三流媒体数据推送模块,被配置为以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
在本公开的实施例中,为了能够使得进入直播间的用户能够同时看到两个拍摄角度的画面,主播可以在直播间触发画面合成的控件,当主播在直播间进行了画面合成操作后,直播应用程序通过调用其所在移动终端的蓝牙连接接口和摄像装置连接接口,实现同时调用前述的蓝牙通讯链路和本端摄像通讯链路,进而便于基于蓝牙通讯链路获取到可穿戴设备采集的第一流媒体数据和通过本端摄像通讯链路获取到本端摄像装置采集的第二流媒体数据,然后基于前述的画面合成操作,将第一流媒体数据和第二流媒体数据进行合成得到第三流媒体数据,之后同前述第一流媒体数据一样,以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放,具体过程再次不做赘述。需要说明的是,前述过程的实现基于应用程序所在移动终端具备摄像装置,且摄像装置拍摄图像能够传输到直播间。
进一步地,该装置的所述第一数据包获取模块之中,具体包括:
蓝牙通讯链路建立单元,被配置为建立与可穿戴设备之间的所述蓝牙通讯链路;
播放数据获取单元,被配置为通过所述蓝牙通讯链路获取包含所述第一数据包的播放数据;
播放数据解析单元,被配置为解析所述播放数据获取所述第一数据包。
在本公开的实施例中,为了使得移动终端的应用程序能够正常地通过蓝牙获取到可穿戴设备采集的第一流媒体数据。因此,所述基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包之中,还需要建立移动终端与可穿戴设备之间的蓝牙通讯链路。结合前文所述,本公开的实施例主要应用于基于IOS***的应用程序。在本公开的实施例中,移动终端主要用于通过其上集成的4G模块和Wi-Fi向其他终端推送流媒体数据,或者在移动终端的直播应用程序上播放流媒体数据。移动终端上可以包括显示装置和音频装置的一种或者两种。建立与可穿戴之间的蓝牙通讯链路包括移动终端通过蓝牙与可穿戴设备进行连接进而建立用于传输数据的蓝牙通讯链路。在可穿戴设备或者可穿戴设备上的流媒体装置实时采集了第一流媒体数据后,可穿戴设备则实时地获取该第一流媒体数据,并将第一流媒体数据通过蓝牙通讯链路实时地发送到移动终端,流媒体数据主要包含在播放数据中,播放数据包括流媒体数据的格式、分辨率等等。移动终端也实时地接收该播放数据,对该播放数据进行解析,提取其中的第一流媒体数据进行播放,和/或将该第一流媒体数据从移动终端通过其上集成的4G模块或者Wi-Fi推送与该移动终端上直播应用程序的直播间中,使得进入该直播间的其他用户能够看到第一流媒体数据。从前文可知,第一流媒体数据是包含在第一数据包中的,因此,通过蓝牙通讯链路获取到的是包含第一数据包的播放数据,播放数据是以数据包的形式被获取到的,因此需要对播放数据解析,以从中提取出第一数据包。
进一步地,该装置的所述播放数据解析单元之中,具体包括:
外部设备链接协议载荷解析单元,被配置为基于外部设备链接协议从外部设备链接协议载荷内提取所述播放数据;
第一数据包提取单元,被配置为解析所述播放数据获得所述第一数据包。
进一步地,该装置的所述第一数据包获取模块之中,具体包括:
上传单元,被配置为将所述第一数据包上传到流媒体服务器;
第一数据包获取单元,被配置为从所述流媒体服务器获取所述第一数据包。
在本公开的实施例中,结合前文说明可知,播放数据在可穿戴设备端中被封装在外部设备链接协议载荷中的,因此移动终端通过外部设备链接协议提取出载荷内的播放数据。移动终端接收到且解析了播放数据后,由于播放数据中包括了第一流媒体数据播放时的其他数据,如分辨率、格式、大小等。因此,对该播放数据进行解析,以获得可穿戴设备采集的流媒体数据。结合前文可知,本公开的实施例主要应用于基于IOS***的应用程序。因此,外部设备链接协议如前文的基于IOS***的第二设备附件协议,即iDevice AccessoryProtocol Second(iAP2)。进一步地,第一流媒体数据在可穿戴设备中还通过基于直播推送协议(RTMP)封装成Flash Video(FLV)格式的第一数据包,在移动终端基于外部设备链接协议解析的播放数据获取到的是第一数据包,为了便进入移动终端直播应用程序的直播间的其他终端能够进入该直播间后,更好地获取到该第一流媒体数据实现网络直播,移动终端将第一数据包上传至流媒体服务器,进而其他用户通过其使用的终端进入该直播间时,其对应的终端则从流媒体服务器中获取第一数据包,使得其他移动终端能够通过其上集成网络通讯模块(4G模块)或者Wi-Fi模块从流媒体服务器获取到所述第一数据包,且其上的直播应用程序能够解析该第一数据包获取到第一流媒体数据,实现网络直播。需要说明的是,在本公开的实施例中,移动终端包括手机、平板等具有显示装置、4G和/或Wi-Fi模块的设备。
为了能够更好地说明实现直播的方法,在本公开的实施例中还提供了一种基于可穿戴设备的流媒体直播方法,图3是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播方法的流程图,如图3所示,基于可穿戴设备的流媒体直播方法用于可穿戴设备终端中,包括以下步骤。
在步骤S100中,建立与移动终端之间的蓝牙通讯链路;
在步骤S200中,获取实时采集的第一流媒体数据;
在步骤S300中,通过所述蓝牙通讯链路实时发送包括所述第一流媒体数据的播放数据,以便于所述移动终端依据所述播放数据推送和/或播放所述第一流媒体数据。
本公开的实施例主要应用于基于IOS***的应用程序,由于iOS目前对于经典蓝牙的支持比较封闭,通常情况下,仅支持A2DP/HID等配置文件,也就是说只有蓝牙音箱、耳机、键盘、鼠标、游戏手柄等标准外设获得的支持。在本公开的实施例中,可穿戴设备中包括蓝牙,其上还可以设置有流媒体装置,流媒体装置用于实时采集第一流媒体数据,流媒体装置包括视音频采集装置,如摄像装置、音频采集装置等等,可穿戴设备本身也可以是视音频采集装置,其可以采集视音频等第一流媒体数据,在采集完成后,调用前述的蓝牙通讯链路传输前述的第一流媒体数据。建立与移动终端之间的蓝牙通讯链路包括可穿戴设备通过蓝牙与移动终端连接进而建立用于传输数据的蓝牙通讯链路。在可穿戴设备或者可穿戴设备上的流媒体装置实时采集了第一流媒体数据后,可穿戴设备则实时地获取该第一流媒体数据,并将第一流媒体数据通过蓝牙通讯链路实时地发送到移动终端,第一流媒体数据主要包含在播放数据中,播放数据包括流媒体数据的格式、分辨率等等,移动终端也实时地接收该播放数据,对该播放数据进行解析,提取其中的流媒体数据进行播放,和/或将该第一流媒体数据从移动终端通过其上集成的4G模块或者Wi-Fi推送与该移动终端上直播应用程序连接的其他终端上,如与当前主播连线的其他观众、主播所在的移动终端和/或者流媒体服务器。
需要说明的是,为了便于基于iOS的移动终端检测并识别出具有蓝牙的外设可穿戴设备时,需要满足基于iOS的移动终端规定服务发现协议(SDP)的如下两个条件:1、可穿戴设备的蓝牙设备必须支持Extended Inquiry Response,且必须包含一个UUID为0xFFCACADEAFDECADEDEFACADE00000000的Service Class;2、具有蓝牙可穿戴设备SDP服务必须实现UUID为0xFFCACADEAFDECADEDEFACADE00000000的Service Record,ProtocolDescriptor List为RFCOMM(0x0003),Profile Descriptor List为Serial Port(0x1101)。因此,可穿戴设备的蓝牙并不限制于蓝牙4.0之前的蓝牙,即经典蓝牙。在具备低功耗蓝牙或者低功耗蓝牙和经典蓝牙的可穿戴设备满足前述条件时,其均可以实现本公开的实施例。另外,本申请中的蓝牙也并不限制与蓝牙的版本,在蓝牙具备前述的条件时且能够满足第二设备附件协议,即iDevice Accessory Protocol Second(iAP2),则具备该蓝牙的可穿戴设备同样可以实现本公开的实施例。
进一步地,在所述通过所述蓝牙通讯链路实时发送包括所述第一流媒体数据的播放数据,之前,具体包括:
将所述第一流媒体数据封装在所述移动终端的外部设备链接协议载荷内获得所述播放数据。
图4是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播方法的流程图,如图4所示,基于可穿戴设备的流媒体直播方法用于可穿戴设备终端中,在所述将所述第一流媒体数据封装在所述移动终端的外部设备链接协议载荷内获得所述播放数据,之中,具体包括如下步骤。
在步骤S310中,基于直播推送协议封装所述第一流媒体数据获得FLV格式的第一数据包;
在步骤S320中,将所述第一数据包封装在所述移动终端的所述外部设备链接协议载荷内获得所述播放数据。
本公开的实施例中,为了便于更好、更快速以及精准地传输流媒体数据,使得流媒体数据能够正常地在基于IOS的移动终端进行播放,可穿戴设备将该第一流媒体数据封装在移动终端的外部设备链接协议载荷内。在本公开的实施例中,由于移动终端可以为基于IOS***的应用程序,因此,为了使得第一流媒体数据能够正常地在IOS***中应用程序上进行播放,第一流媒体数据的传输过程同样需要满足外部设备链接协议。所述外部设备链接协议包括基于IOS***的第二设备附件协议,即iDevice Accessory Protocol Second(iAP2),符合该规范的具有蓝牙的可穿戴设备称之为Apple External Accessory。当然,为了第一流媒体数据传输的精准、快速性,流媒体数据在可穿戴设备上被封装为RTMP数据单元,RTMP数据单元包括封装第一流媒体数据的第一数据包,为了便于移动终端在播放数据中准确地识别并提取出该第一数据包,该第一数据包为在RTMP单元中被封装成FlashVideo(FLV)格式,其中RTMP为前述的直播推送协议,即第一数据包是基于直播推送协议(RTMP)封装成Flash Video(FLV)格式。进一步地,为了满足移动终端协议使得第一流媒体数据能够正常地在移动终端播放或者推送到与该移动终端直播应用程序直播间或者与该移动终端连接的其他存储终端(如流媒体服务器),实现其他移动终端拉流回放的网络直播,该第一数据包以及与播放相关的其他播放数据是封装在前述的基于iDeviceAccessory Protocol Second(iAP2)的载荷内,封装在Accessory Protocol Second(iAP2)的载荷内的第一数据包以及与播放相关的其他播放数据统称为播放数据。
进一步地,在所述建立与移动终端之间的蓝牙通讯链路,之中,具体包括:
接收移动终端发送的建立所述蓝牙通讯链路的请求;
响应于所述请求建立与所述移动终端之间的所述蓝牙通讯链路。
进一步地,移动终端开启其上的蓝牙之后,实时地扫描周围具有蓝牙的设备的蓝牙信号,在发现蓝牙信号时,向该设备发起连接并协商密钥。本公开的实施例中,移动终端发现可穿戴设备的蓝牙信号时,移动终端则向可穿戴设备发送建立蓝牙通讯链路的请求,可穿戴设备接收到该请求时,则响应于建立蓝牙通讯链路的请求,建立与移动终端之间的蓝牙通讯链路,进而获得可以传输数据的蓝牙通讯链路,进一步地,该蓝牙通讯链路可以用于传输流媒体数据。
进一步地,在所述建立与移动终端之间的蓝牙通讯链路,之后,包括:
接收所述移动终端发送的验证密钥;
依据所述验证密钥确定待验证密钥;
将所述待验证密钥通过所述蓝牙通讯链路发送给所述移动终端,以使所述移动终端对所述待验证密钥进行验证。
在本公开的实施例中,为了保证蓝牙通讯链路的唯一性以及移动终端能够信任可穿戴设备,同时为了保证蓝牙通讯链路的安全性,避免传输的数据被截获,可穿戴设备与移动终端之间需要通过密钥验证。进而在此过程中,移动终端会向可穿戴设备发送验证密钥,可穿戴设备接收该验证密钥并对该验证密钥进行计算获得被移动终端验证的待验证密钥,可穿戴设备再将该待验证密钥通过蓝牙通讯链路返回给移动终端进行验证,在待验证密钥通过后,则可以确定可穿戴设备为信任设备,可穿戴设备与移动终端之间可以通过该蓝牙通讯链路进行数据传输。
进一步地,在所述建立与移动终端之间的蓝牙通讯链路,之后,包括:
接收所述移动终端发送的身份信息注册登记请求;
响应于所述注册登记请求,向所述移动终端发送可穿戴设备的身份信息,以便于所述移动终端对所述身份信息进行审核。
进一步地,在所述通过所述蓝牙通讯链路实时发送包括所述流媒体数据的播放数据,之前,包括:
在所述移动终端审核通过所述身份信息后,接收所述移动终端发送的审核通过所述身份信息的反馈信息;
接收所述移动终端发送的数据传输回路的消息;
依据所述消息建立基于所述蓝牙通讯链路的所述数据传输回路。
进一步地,为了能够使得数据传输过程更为安全,更准确地确定可穿戴设备为信任设备。移动终端向可穿戴设备端发送身份信息注册登记请求,为了使得可穿戴设备能够正常地向移动终端发送数据(包括流媒体数据),同时也保证数据传输的安全性,可穿戴设备接收移动终端发送的神信息注册登记请求,并响应于该身份信息注册登记请求,向移动终端反馈可穿戴设备自身的身份信息,以便于移动终端能够更进一步地确认该可穿戴设备的安全性,保证移动终端对可穿戴设备的信任。其中,身份信息包括:设备名称、序列号、Bundle Id、Mac地址等。在移动终端审核通过该身份信息后,此时,移动终端确认可穿戴设备为信任设备,两者之间可以通过蓝牙通讯链路进行数据传输。此时移动终端向可穿戴设备发送审核通过身份信息的反馈信息,以告知可穿戴设备为其为移动终端的信任设备,可以进行正常的数据传输,此时,移动终端还会向可穿戴设备发送数据传输回路的消息。可穿戴设备接收到该反馈信息和数据传输回路的消息后,可穿戴设备再该数据传输回路的消息基础上建立基于所述蓝牙通讯链路的所述数据传输回路。该数据传输回路包括应用层通讯回路,可穿戴设备和移动终端基于该应用层通讯回路和前述的蓝牙通讯链路进行数据传输(包括第一数据包、第一流媒体数据)。
在本公开的实施例中,是在基于IOS***进行流媒体数据的传输。因此,前述过程可以为如下过程:
基于iOS的移动终端发现到***可穿戴设备后(可穿戴设备上设置有蓝牙),基于iOS的移动终端可以对可穿戴设备发起连接并协商秘钥,以便于对可穿戴设备进行验证并授予数据传输的权力。验证密钥协商认证授权过程为对可穿戴设备进行MFI(Made foriPhone)认证授权,也就是说只有通过基于iOS的移动终端认证的可穿戴设备才可以与基于iOS的移动终端进行应用层通讯。认证的过程对于可穿戴设备来说需要利用到移动终端中的加密芯片(Apple Authentication Coprocessor 2.0C)。加密认证过程中,基于iOS的移动终端会发送一个随机秘钥序列(即验证密钥)给到可穿戴设备,可穿戴设备可以将该数据通过其上搭载的I2C接口输送给具有MFI认证授权的芯片,500毫秒钟内MFI芯片会将计算的结果(待验证密钥)返回给可穿戴设备,之后可穿戴设备将该计算结果(待验证密钥)通过蓝牙通讯链路回传给基于iOS的移动终端,基于iOS的移动终端对返回结果进行验证,这个过程叫做Authentication Challenge。待验证密钥通过验证后,基于iOS的移动终端会进一步要求可穿戴设备发送可穿戴设备详细信息(即身份信息),包括设备名称、序列号、BundleId、Mac地址等,以便于基于iOS的移动终端的MFI认证机构注册登记并审核可穿戴设备的身份信息,且在通过审核的可穿戴设备的身份信息,基于iOS的移动终端才会予以可穿戴设备信任并建立应用层通讯回路,该过程叫做Identification Information。基于iOS的移动终端的应用程序可基于IOS中的External Accessory Framework_SDK(外部配件辅助框架软件开发工具包)与可穿戴设备通过蓝牙通讯链路进行数据传输。需要说明的是,在前述过程中,需要遵循基于iOS的移动终端制定的第二设备附件协议(iDevice Accessory ProtocolSecond(iAP2)),符合该规范的具有蓝牙的可穿戴设备被称之为基于移动终端的外部配件(External Accessory)。在本公开的实施例中,基于IOS的移动终端Accessory Session开启之后,可穿戴设备对基于IOS的移动终端上的应用程序可以开始于可穿戴设备通过蓝牙通讯链路进行数据传输,其中播放数据包被嵌套在iAP2协议封包内部,通过移动终端和可穿戴设备连接之间协商的通讯参数,单个数据载荷可以高达65520,最大传输量可达160Kb/s。在一种实施方式中,流媒体数据为视频直播数据时,视频直播码流通常为500bps。根据实测统计,H264格式视频码流为800bps数据量约为100KB/s左右,AAC-LC音频编码数据量约为8Kb/s,而iAP2通讯协议所能达到的最大有效载荷为150KB/s左右,基于iAP2通讯协议的蓝牙通讯链路可以充分满足视频直播的数据通过。所剩余的顶宽可以用于主播通过耳机连接iOS实现音频连麦。有效避免因带宽瓶颈导致其它可穿戴设备中具有标准蓝牙设备无法与基于IOS的移动终端进行通讯的问题。
图5是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播装置框图,参照图5,该装置包括:第一蓝牙通讯链路建立模块100、获取模块200、实时发送模块300。
第一蓝牙通讯链路建立模块100,被配置为建立与移动终端之间的蓝牙通讯链路;
获取模块200,被配置为获取实时采集的第一流媒体数据;
实时发送模块300,被配置为通过所述蓝牙通讯链路实时发送包括所述第一流媒体数据的播放数据,以便于所述移动终端依据所述播放数据推送和/或播放所述第一流媒体数据。
本公开的实施例主要应用于基于IOS***的应用程序,由于iOS目前对于经典蓝牙的支持比较封闭,通常情况下,仅支持A2DP/HID等配置文件,也就是说只有蓝牙音箱、耳机、键盘、鼠标、游戏手柄等标准外设获得的支持。在本公开的实施例中,可穿戴设备中包括蓝牙,其上还可以设置有流媒体装置,流媒体装置用于实时采集第一流媒体数据,流媒体装置包括视音频采集装置,如摄像装置、音频采集装置等等,可穿戴设备本身也可以是视音频采集装置,其可以采集视音频等第一流媒体数据,在采集完成后,调用前述的蓝牙通讯链路传输前述的第一流媒体数据。建立与移动终端之间的蓝牙通讯链路包括可穿戴设备通过蓝牙与移动终端连接进而建立用于传输数据的蓝牙通讯链路。在可穿戴设备或者可穿戴设备上的流媒体装置实时采集了第一流媒体数据后,可穿戴设备则实时地获取该第一流媒体数据,并将第一流媒体数据通过蓝牙通讯链路实时地发送到移动终端,第一流媒体数据主要包含在播放数据中,播放数据包括流媒体数据的格式、分辨率等等,移动终端也实时地接收该播放数据,对该播放数据进行解析,提取其中的流媒体数据进行播放,和/或将该第一流媒体数据从移动终端通过其上集成的4G模块或者Wi-Fi推送与该移动终端上直播应用程序连接的其他终端上,如与当前主播连线的其他观众、主播所在的移动终端和/或者流媒体服务器。
需要说明的是,为了便于基于iOS的移动终端检测并识别出具有蓝牙的外设可穿戴设备时,需要满足基于iOS的移动终端规定服务发现协议(SDP)的如下两个条件:1、可穿戴设备的蓝牙设备必须支持Extended Inquiry Response,且必须包含一个UUID为0xFFCACADEAFDECADEDEFACADE00000000的Service Class;2、具有蓝牙可穿戴设备SDP服务必须实现UUID为0xFFCACADEAFDECADEDEFACADE00000000的Service Record,ProtocolDescriptor List为RFCOMM(0x0003),Profile Descriptor List为Serial Port(0x1101)。因此,可穿戴设备的蓝牙并不限制于蓝牙4.0之前的蓝牙,即经典蓝牙。在具备低功耗蓝牙或者低功耗蓝牙和经典蓝牙的可穿戴设备满足前述条件时,其均可以实现本公开的实施例。另外,本申请中的蓝牙也并不限制与蓝牙的版本,在蓝牙具备前述的条件时且能够满足第二设备附件协议,即iDevice Accessory Protocol Second(iAP2),则具备该蓝牙的可穿戴设备同样可以实现本公开的实施例。
进一步地,该装置还包括:
流媒体数据封装模块,被配置为将所述第一流媒体数据封装在所述移动终端的外部设备链接协议载荷内获得所述播放数据。
图6是根据一示例性实施例示出的一种基于可穿戴设备的流媒体直播装置框图,参照图6,该装置的所述第一流媒体数据封装模块之中,具体包括:直播推送协议封装单元310、外部设备链接协议封装单元320。
直播推送协议封装单元310,被配置为基于直播推送协议封装所述第一流媒体数据获得FLV格式的第一数据包;
外部设备链接协议封装单元320,被配置为将所述第一数据包封装在所述移动终端的所述外部设备链接协议载荷内获得所述播放数据。
本公开的实施例中,为了便于更好、更快速以及精准地传输流媒体数据,使得流媒体数据能够正常地在基于IOS的移动终端进行播放,可穿戴设备将该第一流媒体数据封装在移动终端的外部设备链接协议载荷内。在本公开的实施例中,由于移动终端可以为基于IOS***的应用程序,因此,为了使得第一流媒体数据能够正常地在IOS***中应用程序上进行播放,第一流媒体数据的传输过程同样需要满足外部设备链接协议。所述外部设备链接协议包括基于IOS***的第二设备附件协议,即iDevice Accessory Protocol Second(iAP2),符合该规范的具有蓝牙的可穿戴设备称之为Apple External Accessory。当然,为了第一流媒体数据传输的精准、快速性,流媒体数据在可穿戴设备上被封装为RTMP数据单元,RTMP数据单元包括封装第一流媒体数据的第一数据包,为了便于移动终端在播放数据中准确地识别并提取出该第一数据包,该第一数据包为在RTMP单元中被封装成FlashVideo(FLV)格式,其中RTMP为前述的直播推送协议,即第一数据包是基于直播推送协议(RTMP)封装成Flash Video(FLV)格式。进一步地,为了满足移动终端协议使得第一流媒体数据能够正常地在移动终端播放或者推送到与该移动终端直播应用程序直播间或者与该移动终端连接的其他存储终端(如流媒体服务器),实现其他移动终端拉流回放的网络直播,该第一数据包以及与播放相关的其他播放数据是封装在前述的基于iDeviceAccessory Protocol Second(iAP2)的载荷内,封装在Accessory Protocol Second(iAP2)的载荷内的第一数据包以及与播放相关的其他播放数据统称为播放数据。
进一步地,该装置的所述蓝牙通讯链路建立模块之中,具体包括:
蓝牙通讯链路请求单元,被配置为接收移动终端发送的建立所述蓝牙通讯链路的请求;
蓝牙通讯链路建立单元,被配置为响应于所述请求建立与所述移动终端之间的所述蓝牙通讯链路。
进一步地,移动终端开启其上的蓝牙之后,实时地扫描周围具有蓝牙的设备的蓝牙信号,在发现蓝牙信号时,向该设备发起连接并协商密钥。本公开的实施例中,移动终端发现可穿戴设备的蓝牙信号时,移动终端则向可穿戴设备发送建立蓝牙通讯链路的请求,可穿戴设备接收到该请求时,则响应于建立蓝牙通讯链路的请求,建立与移动终端之间的蓝牙通讯链路,进而获得可以传输数据的蓝牙通讯链路,进一步地,该蓝牙通讯链路可以用于传输流媒体数据。
进一步地,该装置还包括:
验证密钥接收模块,被配置为接收所述移动终端发送的验证密钥;
待验证密钥确定模块,被配置为依据所述验证密钥确定待验证密钥;
待验证密钥发送模块,被配置为将所述待验证密钥通过所述蓝牙通讯链路发送给所述移动终端,以使所述移动终端对所述待验证密钥进行验证。
在本公开的实施例中,为了保证蓝牙通讯链路的唯一性以及移动终端能够信任可穿戴设备,同时为了保证蓝牙通讯链路的安全性,避免传输的数据被截获,可穿戴设备与移动终端之间需要通过密钥验证。进而在此过程中,移动终端会向可穿戴设备发送验证密钥,可穿戴设备接收该验证密钥并对该验证密钥进行计算获得被移动终端验证的待验证密钥,可穿戴设备再将该待验证密钥通过蓝牙通讯链路返回给移动终端进行验证,在待验证密钥通过后,则可以确定可穿戴设备为信任设备,可穿戴设备与移动终端之间可以通过该蓝牙通讯链路进行数据传输。
进一步地,该装置还包括:
身份信息注册登记请求模块,被配置为接收所述移动终端发送的身份信息注册登记请求;
身份信息注册登记发送模块,被配置为响应于所述注册登记请求,向所述移动终端发送可穿戴设备的身份信息,以便于所述移动终端对所述身份信息进行审核。
进一步地,该装置还包括:
反馈信息接收模块,被配置为在所述移动终端审核通过所述身份信息后,接收所述移动终端发送的审核通过所述身份信息的反馈信息;
数据传输回路消息接收模块,被配置为接收所述移动终端发送的数据传输回路的消息;
数据传输回路消息建立模块,被配置为依据所述消息建立基于所述蓝牙通讯链路的所述数据传输回路。
进一步地,为了能够使得数据传输过程更为安全,更准确地确定可穿戴设备为信任设备。移动终端向可穿戴设备端发送身份信息注册登记请求,为了使得可穿戴设备能够正常地向移动终端发送数据(包括流媒体数据),同时也保证数据传输的安全性,可穿戴设备接收移动终端发送的神信息注册登记请求,并响应于该身份信息注册登记请求,向移动终端反馈可穿戴设备自身的身份信息,以便于移动终端能够更进一步地确认该可穿戴设备的安全性,保证移动终端对可穿戴设备的信任。其中,身份信息包括:设备名称、序列号、Bundle Id、Mac地址等。在移动终端审核通过该身份信息后,此时,移动终端确认可穿戴设备为信任设备,两者之间可以通过蓝牙通讯链路进行数据传输。此时移动终端向可穿戴设备发送审核通过身份信息的反馈信息,以告知可穿戴设备为其为移动终端的信任设备,可以进行正常的数据传输,此时,移动终端还会向可穿戴设备发送数据传输回路的消息。可穿戴设备接收到该反馈信息和数据传输回路的消息后,可穿戴设备再该数据传输回路的消息基础上建立基于所述蓝牙通讯链路的所述数据传输回路。该数据传输回路包括应用层通讯回路,可穿戴设备和移动终端基于该应用层通讯回路和前述的蓝牙通讯链路进行数据传输(包括第一数据包、流媒体数据)。
在本公开的实施例中,是在基于IOS***进行流媒体数据的传输。因此,前述过程可以为如下过程:
基于iOS的移动终端发现到***可穿戴设备后(可穿戴设备上设置有蓝牙),基于iOS的移动终端可以对可穿戴设备发起连接并协商秘钥,以便于对可穿戴设备进行验证并授予数据传输的权力。验证密钥协商认证授权过程为对可穿戴设备进行MFI(Made foriPhone)认证授权,也就是说只有通过基于iOS的移动终端认证的可穿戴设备才可以与基于iOS的移动终端进行应用层通讯。认证的过程对于可穿戴设备来说需要利用到移动终端中的加密芯片(Apple Authentication Coprocessor 2.0C)。加密认证过程中,基于iOS的移动终端会发送一个随机秘钥序列(即验证密钥)给到可穿戴设备,可穿戴设备可以将该数据通过其上搭载的I2C接口输送给具有MFI认证授权的芯片,500毫秒钟内MFI芯片会将计算的结果(待验证密钥)返回给可穿戴设备,之后可穿戴设备将该计算结果(待验证密钥)通过蓝牙通讯链路回传给基于iOS的移动终端,基于iOS的移动终端对返回结果进行验证,这个过程叫做Authentication Challenge。待验证密钥通过验证后,基于iOS的移动终端会进一步要求可穿戴设备发送可穿戴设备详细信息(即身份信息),包括设备名称、序列号、BundleId、Mac地址等,以便于基于iOS的移动终端的MFI认证机构注册登记并审核可穿戴设备的身份信息,且在通过审核的可穿戴设备的身份信息,基于iOS的移动终端才会予以可穿戴设备信任并建立应用层通讯回路,该过程叫做Identification Information。基于iOS的移动终端的应用程序可基于IOS中的External Accessory Framework_SDK(外部配件辅助框架软件开发工具包)与可穿戴设备通过蓝牙通讯链路进行数据传输。需要说明的是,在前述过程中,需要遵循基于iOS的移动终端制定的第二设备附件协议(iDevice Accessory ProtocolSecond(iAP2)),符合该规范的具有蓝牙的可穿戴设备被称之为基于移动终端的外部配件(External Accessory)。在本公开的实施例中,基于IOS的移动终端Accessory Session开启之后,可穿戴设备对基于IOS的移动终端上的应用程序可以开始于可穿戴设备通过蓝牙通讯链路进行数据传输,其中播放数据包被嵌套在iAP2协议封包内部,通过移动终端和可穿戴设备连接之间协商的通讯参数,单个数据载荷可以高达65520,最大传输量可达160Kb/s。在一种实施方式中,流媒体数据为视频直播数据时,视频直播码流通常为500bps。根据实测统计,H264格式视频码流为800bps数据量约为100KB/s左右,AAC-LC音频编码数据量约为8Kb/s,而iAP2通讯协议所能达到的最大有效载荷为150KB/s左右,基于iAP2通讯协议的蓝牙通讯链路可以充分满足视频直播的数据通过。所剩余的顶宽可以用于主播通过耳机连接iOS实现音频连麦。有效避免因带宽瓶颈导致其它可穿戴设备中具有标准蓝牙设备无法与基于IOS的移动终端进行通讯的问题。
图7是根据一示例性实施例示出的一种用于直播方法的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如Wi-Fi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图8是根据一示例性实施例示出的一种用于直播方法的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图8,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述任一技术方案的基于可穿戴设备的流媒体直播方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作***,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种直播方法,其特征在于,包括:
基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
解析所述第一数据包获得待直播的所述第一流媒体数据;
以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
2.根据权利要求1所述的直播方法,其特征在于,还包括:
响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
3.根据权利要求2所述的直播方法,其特征在于,还包括:
响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
4.根据权利要求1所述的直播方法,其特征在于,所述第一流媒体数据不超过150KB/s。
5.一种直播装置,其特征在于,包括:
第一数据包获取模块,被配置为基于蓝牙通讯链路获取包含第一流媒体数据的第一数据包;
第一数据包解析模块,被配置为解析所述第一数据包获得待直播的所述第一流媒体数据;
第一流媒体数据推送模块,被配置为以主播账户身份将所述第一流媒体数据推送到直播间直播界面进行播放。
6.根据权利要求5所述的直播装置,其特征在于,还包括:
通讯链路切换模块,被配置为响应于通讯链路切换指令,将所述蓝牙通讯链路切换为本端摄像通讯链路;
第二流媒体数据获取模块,被配置为基于所述本端摄像通讯链路获取摄像装置实施采集的第二流媒体数据;
第二流媒体数据推送模块,被配置为以主播账户身份将所述第二流媒体数据推送到直播间直播界面进行播放。
7.根据权利要求6所述的直播装置,其特征在于,还包括:
画面合成模块,被配置为响应于主播触发的画面合成操作,将所述第一流媒体数据和所述第二流媒体数据合成获得第三流媒体数据;
第三流媒体数据推送模块,被配置为以主播账户身份将所述第三流媒体数据推送到直播间直播界面进行播放。
8.根据权利要求5所述的直播装置,其特征在于,所述第一流媒体数据不超过150KB/s。
9.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种直播方法,所述方法包括权利要求1至4任一项所述的直播方法的步骤。
10.一种服务器,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行根据权利要求1至4任一项所述的直播方法的步骤。
CN201810779978.0A 2018-07-16 2018-07-16 直播方法、装置及计算机设备及存储介质 Pending CN108924641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810779978.0A CN108924641A (zh) 2018-07-16 2018-07-16 直播方法、装置及计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810779978.0A CN108924641A (zh) 2018-07-16 2018-07-16 直播方法、装置及计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN108924641A true CN108924641A (zh) 2018-11-30

Family

ID=64412815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810779978.0A Pending CN108924641A (zh) 2018-07-16 2018-07-16 直播方法、装置及计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN108924641A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689151A (zh) * 2020-12-07 2021-04-20 深圳盈天下视觉科技有限公司 直播方法、装置、计算机设备和存储介质
CN114079798A (zh) * 2020-08-17 2022-02-22 王江 颈部穿戴设备及其***和颈托设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN106792245A (zh) * 2016-11-22 2017-05-31 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备
CN106970783A (zh) * 2016-09-06 2017-07-21 上海赫千电子科技有限公司 车载主机与电子设备的通信方法
CN107211242A (zh) * 2015-02-08 2017-09-26 苹果公司 车内无线通信
CN107452407A (zh) * 2017-08-17 2017-12-08 北京达佳互联信息技术有限公司 视频数据的存储、显示方法和装置以及智能眼镜

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211242A (zh) * 2015-02-08 2017-09-26 苹果公司 车内无线通信
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置
CN106970783A (zh) * 2016-09-06 2017-07-21 上海赫千电子科技有限公司 车载主机与电子设备的通信方法
CN106792245A (zh) * 2016-11-22 2017-05-31 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备
CN107452407A (zh) * 2017-08-17 2017-12-08 北京达佳互联信息技术有限公司 视频数据的存储、显示方法和装置以及智能眼镜

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114079798A (zh) * 2020-08-17 2022-02-22 王江 颈部穿戴设备及其***和颈托设备
CN112689151A (zh) * 2020-12-07 2021-04-20 深圳盈天下视觉科技有限公司 直播方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110138937B (zh) 一种通话方法、设备及***
CN112351322B (zh) 一种通过遥控器实现一碰投屏的终端设备、方法以及***
CN113207122B (zh) 一种消息传输方法及设备
CN112469013B (zh) 一种蓝牙连接方法及相关装置
WO2021017909A1 (zh) 一种通过nfc标签实现功能的方法、电子设备及***
WO2023011376A1 (zh) 一种北斗通信***中密钥更新方法、***及相关装置
CN109151619A (zh) 数据通信方法及装置
CN114697955A (zh) 一种加密通话方法、装置、终端及存储介质
WO2022111671A1 (zh) 业务处理方法及相关设备
CN112449336B (zh) 一种设备能力发现方法及p2p设备
CN108924641A (zh) 直播方法、装置及计算机设备及存储介质
CN109565650A (zh) 同步信号块的配置信息的广播、接收方法和装置
CN113630777A (zh) 上网控制***、方法及路由设备
CN108924642B (zh) 流媒体直播方法、装置及计算机设备及存储介质
WO2023071993A1 (zh) 蓝牙配对方法、设备、***和存储介质
CN115525366A (zh) 一种投屏方法及相关装置
CN114157412A (zh) 信息验证的方法、电子设备及计算机可读存储介质
WO2024113865A1 (zh) 视频流的安全传输方法和装置
WO2024037040A9 (zh) 数据处理方法及电子设备
CN109644334A (zh) 自干扰处理方法及装置
WO2021051964A1 (zh) 配对方法及设备
US20230337147A1 (en) Device Configuration Method and Device
WO2022174664A1 (zh) 一种直播方法、装置及***
CN115209213A (zh) 一种无线投屏方法及移动设备
CN115550919A (zh) 设备配对认证方法、装置、发送方设备及接收方设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130

RJ01 Rejection of invention patent application after publication