CN113840170B - 连麦直播的方法及装置 - Google Patents

连麦直播的方法及装置 Download PDF

Info

Publication number
CN113840170B
CN113840170B CN202010581753.1A CN202010581753A CN113840170B CN 113840170 B CN113840170 B CN 113840170B CN 202010581753 A CN202010581753 A CN 202010581753A CN 113840170 B CN113840170 B CN 113840170B
Authority
CN
China
Prior art keywords
texture data
wheat
local
continuous
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010581753.1A
Other languages
English (en)
Other versions
CN113840170A (zh
Inventor
郑伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN202010581753.1A priority Critical patent/CN113840170B/zh
Publication of CN113840170A publication Critical patent/CN113840170A/zh
Application granted granted Critical
Publication of CN113840170B publication Critical patent/CN113840170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及互联网直播技术领域，尤其涉及连麦直播的方法及装置，应用于包含图像处理器的主播端，所述方法包括：接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；利用图像处理器分别对连麦视频数据和本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；对原始的连麦纹理数据和本地纹理数据进行合成，生成本地连麦画面，并将本地连麦画面在主播端播放；对原始的连麦纹理数据和本地纹理数据进行复制，并将复制出的连麦纹理数据和本地纹理数据渲染至图像处理器的缓存区，生成直播连麦画面，并对直播连麦画面进行直播推流。本发明由于仅进行一次纹理处理，降低了数据的处理量，节省了主播端的算力，提高了处理效率。

Description

连麦直播的方法及装置
技术领域
本发明涉及互联网直播技术领域，尤其涉及连麦直播的方法及装置。
背景技术
在视频直播时，主播用户可以与直播间内的多个用户进行实时视频通信，这种实时视频通信的方式被称为视频连麦。对于视频连麦而言，与主播用户实时视频通信的用户被称为连麦用户，主播用户与连麦用户连麦成功后，将会生成连麦画面，连麦画面中同时包含来自主播用户的画面和来自连麦用户的画面。连麦画面不仅会在主播端播放，还会由主播端推流至直播间内的所有观众端。
现有技术在连麦直播的过程中，对于主播端而言，首先，通过本地图像采集单元采集本地视频数据，同时，接收连麦端发送的连麦视频数据。接着，对本地视频数据进行两次独立的纹理处理，生成两个本地视频纹理数据，同时，对连麦视频数据进行两次独立的纹理处理，生成两个连麦视频纹理数据。然后，对其中的一个本地视频纹理数据和一个连麦视频纹理数据进行合成，获得用于在主播端本地播放的本地连麦画面。再对另一个本地视频纹理数据和另一个连麦视频纹理数据进行合成，获得用于直播推流的直播连麦画面。现有技术由于对于同一类视频数据需要进行两次独立的纹理处理，因此，存在数据处理量大、处理效率低的问题，进而导致连麦直播容易出现延时和卡顿的情况。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的连麦直播的方法及装置。
依据本发明的第一个方面，本发明提供了一种连麦直播的方法，应用于包含图像处理器的主播端，所述方法包括：
接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；
利用所述图像处理器分别对所述连麦视频数据和所述本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；
对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，并将所述本地连麦画面在所述主播端播放；
对原始的所述连麦纹理数据和所述本地纹理数据进行复制，并将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，生成直播连麦画面，并对所述直播连麦画面进行直播推流；
其中，所述将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，包括：
读取所述主播端的***屏幕的分辨率；
判断所述***屏幕的分辨率是否与所述图像处理器的坐标系对应的目标分辨率相同；
若相同，则根据等比缩放转换方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；
根据转换后的坐标将所述连麦纹理数据和所述本地纹理数据渲染至所述缓存区。
优选的，所述对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，包括：
利用所述图像处理器对原始的所述本地纹理数据进行渲染，获得第一图层；
利用所述图像处理器在所述第一图层上对原始的所述连麦纹理数据进行渲染，获得可调节的第二图层；
将所述第一图层和所述第二图层合成，获得所述本地连麦画面。
优选的，在所述对原始的所述连麦纹理数据和所述本地纹理数据进行复制之后，所述方法还包括；
在原始的所述连麦纹理数据和复制出的所述连麦纹理数据之间建立同步关系；
在原始的所述本地纹理数据和复制出的所述本地纹理数据之间建立同步关系。
优选的，所述根据等比缩放转换方式，将所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标，包括以下公式：
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0；
Gh＝Sh/SH*2.0；
其中，Gx为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的横坐标，Gy为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的纵坐标，Sx为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的横坐标，Sy为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的纵坐标，SW为所述屏幕坐标系下所述***屏幕的宽度，SH为所述屏幕坐标系下所述***屏幕的高度，Sw为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的宽度，Sh为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的高度。
优选的，所述根据先转换长边后补偿短边的方式，将所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标，包括以下公式：
Calibrate＝(1/A)/(SW/SH)；
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0/Calibrate；
Gh＝Sh/SH*2.0；
其中，Calibrate为校准系数，A为所述目标分辨率，SW为所述屏幕坐标系下所述***屏幕的宽度，SH为所述屏幕坐标系下所述***屏幕的高度，Gx为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的横坐标，Gy为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的纵坐标，Sx为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的横坐标，Sy为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的纵坐标，Sw为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的宽度，Sh为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的高度。
优选的，所述目标分辨率为16:9。
依据本发明的第二个方面，本发明提供了一种连麦直播的装置，应用于包含图像处理器的主播端，所述装置包括：
获取模块，用于接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；
纹理处理模块，用于利用所述图像处理器分别对所述连麦视频数据和所述本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；
合成模块，用于对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，并将所述本地连麦画面在所述主播端播放；
复制渲染模块，用于对原始的所述连麦纹理数据和所述本地纹理数据进行复制，并将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，生成直播连麦画面，并对所述直播连麦画面进行直播推流；
其中，所述复制渲染模块，包括：
读取单元，用于读取所述主播端的***屏幕的分辨率；
判断单元，用于判断所述***屏幕的分辨率是否与所述图像处理器的坐标系对应的目标分辨率相同；
处理单元，用于若相同，则根据等比缩放转换方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；
渲染单元，用于根据转换后的坐标将所述连麦纹理数据和所述本地纹理数据渲染至所述缓存区。
优选的，所述合成模块，包括：
本地纹理数据渲染单元，用于利用所述图像处理器对原始的所述本地纹理数据进行渲染，获得第一图层；
连麦纹理数据渲染单元，用于利用所述图像处理器在所述第一图层上对原始的所述连麦纹理数据进行渲染，获得可调节的第二图层；
合成单元，用于将所述第一图层和所述第二图层合成，获得所述本地连麦画面。
依据本发明的第三个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述第一个方面所述的方法步骤。
依据本发明的第四个方面，本发明提供了一种计算机设备，包括存储，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如前述第一个方面所述的方法步骤。
本发明的连麦直播的方法应用于包含图像处理器的主播端，首先接收连麦端发送的连麦视频数据，并从本地采集本地视频数据。接着，利用图像处理器分别对连麦视频数据和本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据。然后，对原始的连麦纹理数据和本地纹理数据进行合成，生成本地连麦画面，并将本地连麦画面在主播端播放。同时，对原始的连麦纹理数据和本地纹理数据进行复制，并将复制出的连麦纹理数据和本地纹理数据渲染至图像处理器的缓存区，生成直播连麦画面，并对直播连麦画面进行直播推流。本发明由于仅进行一次纹理处理，对于用于生成直播连麦画面的数据通过复制的方式生成，降低了数据的处理量，节省了主播端的算力，提高了处理效率，避免了连麦直播中出现卡顿和延时的情况。同时，在本发明中，在将复制出的连麦纹理数据和本地纹理数据渲染至图像处理器的缓存区的过程中，首先，读取主播端的***屏幕的分辨率。然后，判断***屏幕的分辨率是否与图像处理器的坐标系对应的目标分辨率相同。若相同，则根据等比缩放转换方式，将连麦纹理数据和本地纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将连麦纹理数据和本地纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器的坐标系下的坐标。最后，根据转换后的坐标将连麦纹理数据和本地纹理数据渲染至缓存区。通过上述渲染方式，能够使连麦直播自适应不同分辨率的直播设备。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考图形表示相同的部件。在附图中：
图1示出了本发明实施例中连麦直播的方法的流程图；
图2示出了本发明实施例中图像处理器坐标系的示意图；
图3示出了本发明实施例中屏幕坐标系的示意图；
图4示出了本发明实施例中的原始的纹理数据和复制出的纹理数据之间关系的示意图；
图5示出了本发明实施例中连麦直播的装置的结构图；
图6示出了本发明实施例中计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明第一实施例提供一种连麦直播的方法，应用于包含图像处理器(GraphicsProcessing Unit，GPU)的主播端。主播端可以与直播间内的用户进行视频连麦，连麦的对象被称为连麦端，而直播间内除主播端和连麦端以外的其他客户端被称为观众端。
如图1所示，本发明实施例的连麦直播的方法包括以下步骤：
步骤101：接收连麦端发送的连麦视频数据，并从本地采集本地视频数据。
步骤102：利用图像处理器分别对连麦视频数据和本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据。
步骤103：对原始的连麦纹理数据和本地纹理数据进行合成，生成本地连麦画面，并将本地连麦画面在主播端播放。
步骤104：对原始的连麦纹理数据和本地纹理数据进行复制，并将复制出的连麦纹理数据和本地纹理数据渲染至图像处理器的缓存区，生成直播连麦画面，并对直播连麦画面进行直播推流。
对于步骤101而言，主播端本地设置有图像采集单元，主播端的图像采集单元用于实时采集主播端的画面，生成本地视频数据。连麦端也设置有图像采集单元，连麦端的图像采集单元用于实时采集连麦端的画面，生成连麦视频数据。进一步，连麦端将连麦视频数据发送给主播端，主播端接收连麦端发送的连麦视频数据。
主播端在获取到连麦视频数据和本地视频数据之后，执行步骤102。在步骤102中，主播端通过其内部的图像处理器对连麦视频数据进行纹理处理，生成连麦纹理数据，以及对本地视频数据进行纹理处理，生成本地纹理数据。需要说明的是，通过纹理处理获得的连麦纹理数据和本地纹理数据属于原始的连麦纹理数据和本地纹理数据，后续将会对原始的连麦纹理数据和本地纹理数据进行复制。另外，对于连麦纹理数据和本地纹理数据而言，两者均为二维矩形。
在生成原始的连麦纹理数据和本地纹理数据之后，在步骤103中，对于如何将原始的连麦纹理数据与本地纹理数据合成，包括以下步骤：
步骤201：利用图像处理器对原始的本地纹理数据进行渲染，获得第一图层。
步骤202：利用图像处理器在第一图层上对原始的连麦纹理数据进行渲染，获得可调节的第二图层。
步骤203：将第一图层和第二图层合成，获得本地连麦画面。
具体来讲，第一图层与本地纹理数据对应，用于展现主播端的画面。第二图层与连麦纹理数据对应，用于展现连麦端的画面。第二图层相对于第一图层可调节，即，第二图层相对于第一图层的大小可调，第二图层相对于第一图层的位置可调。进而，通过将第一图层和第二图层合成，能够获得本地连麦画面，本地连麦画面在主播端显示可见，用于供主播端观看。通过上述合成方式，实现了主播端的动态调整视频布局位置的技术效果。需要说明的是，第二图层相对于第一图层的坐标由主播端的***屏幕的分辨率决定，***屏幕对应的坐标系通常被称为屏幕坐标系(UI坐标系)。
在生成原始的连麦纹理数据和本地纹理数据之后，在步骤104中，通过对连麦纹理数据和本地纹理数据复制，获得新的连麦纹理数据和本地纹理数据。进而，将复制出的新的连麦纹理数据和本地纹理数据渲染至图像处理器的缓存区，生成直播连麦画面。原始的纹理数据和复制出的新的纹理数据之间的关系如图4所示。主播端通过直播推流，经直播服务器将直播连麦画面发送给所有观众端。
进一步来讲，对于如何对复制出的连麦纹理数据和本地纹理数据进行渲染，包括以下步骤：
步骤301：读取主播端的***屏幕的分辨率。
步骤302：判断***屏幕的分辨率是否与图像处理器的坐标系对应的目标分辨率相同。
步骤303：若相同，则根据等比缩放转换方式，将复制出的连麦纹理数据和本地纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的连麦纹理数据和本地纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器的坐标系下的坐标。
步骤304：根据转换后的坐标将连麦纹理数据和本地纹理数据渲染至缓存区。
具体来讲，图像处理器具有一坐标系，通常称为图像处理器坐标系，图像处理器坐标系是一个2×2的正方形，原点在中间位置，如图2所示。无论是主播端、连麦端还是观众端，其直播设备的***屏幕具有屏幕坐标系，屏幕坐标系是一个与***屏幕的分辨率对应的形状，原点位于左上角，如图3所示。对于图像处理器而言，预先设定图像处理器坐标系与一分辨率对应，该分辨率被称为目标分辨率。目标分辨率由连麦直播预定的分辨率决定。例如，若规定连麦直播的分辨率为16:9，那么则将目标分辨率确定为16:9。在建立出图像处理器坐标系与目标分辨率的对应关系之后，表明目标分辨率就是图像处理器坐标系涵盖的2×2的正方形的整个范围。例如，若目标分辨率为16:9，那么，图像处理器坐标系的整个范围对应一个宽高比为16:9的数据。
下面以目标分辨率为16:9为例，对本发明实施例进行详细说明。
首先，通过主播端的直播设备的操作***提供的接口，读取主播端的***屏幕的分辨率。接着，判断***屏幕的分辨率是否为16:9。如果***屏幕的分辨率是16:9，表明由屏幕坐标系转换到图像处理器坐标系是一个等比缩放的过程。因此，根据等比缩放转换方式分别对连麦纹理数据和本地纹理数据进行坐标转换，将纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器坐标系下的坐标，即，将纹理数据等比缩放到(-1，1)的区域，以便将纹理数据渲染至图像处理器的缓存区。其中，连麦纹理数据和本地纹理数据的具体转换过程相同，均采用以下公式：
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0；
Gh＝Sh/SH*2.0；
其中，Gx为连麦纹理数据和本地纹理数据在图像处理器的坐标系下顶点的横坐标，Gy为连麦纹理数据和本地纹理数据在图像处理器的坐标系下顶点的纵坐标，Sx为连麦纹理数据和本地纹理数据在屏幕坐标系下顶点的横坐标，Sy为连麦纹理数据和本地纹理数据在屏幕坐标系下顶点的纵坐标，SW为屏幕坐标系下***屏幕的宽度，SH为屏幕坐标系下***屏幕的高度，Sw为屏幕坐标系下连麦纹理数据和本地纹理数据的宽度，Sh为屏幕坐标系下连麦纹理数据和本地纹理数据的高度。本发明基于等比缩放转换原理，通过上述公式能够适应不同分辨率的***屏幕的转换，同时，计算复杂度低，转换速度快，提高了渲染速度，保证了连麦直播的流畅度。
需要说明的是，连麦纹理数据和本地纹理数据的坐标转换过程是分别进行的。例如，当对本地纹理数据进行坐标转换时，Gx为本地纹理数据在图像处理器的坐标系下顶点的横坐标，Gy为本地纹理数据在图像处理器的坐标系下顶点的纵坐标，Sx为本地纹理数据在屏幕坐标系下顶点的横坐标，Sy为本地纹理数据在屏幕坐标系下顶点的纵坐标，SW为屏幕坐标系下***屏幕的宽度，SH为屏幕坐标系下***屏幕的高度，Sw为屏幕坐标系下本地纹理数据的宽度，Sh为屏幕坐标系下本地纹理数据的高度。同理，当对连麦纹理数据进行坐标转换时，Gx、Gy、Sx、Sy、SW、SH、Sw和Sh为与连麦纹理数据对应的参数，此处不再赘述。
进一步，在判断***屏幕的分辨率是否为16:9之后，如果***屏幕的分辨率不是16:9，那么，由屏幕坐标系转换到图像处理器坐标系不再是一个等比缩放的过程。根据前文可知，纹理数据是一个矩形，因此，在***屏幕的分辨率不是16:9的情况下，根据先转换长边后补偿短边的方式分别对连麦纹理数据和本地纹理数据进行坐标转换，将纹理数据在***屏幕的屏幕坐标系下的坐标转换成在图像处理器坐标系下的坐标，即，将纹理数据等比缩放到(-1，1)的区域，以便将纹理数据渲染至图像处理器的缓存区。其中，连麦纹理数据和本地纹理数据的具体转换过程相同，均采用以下公式：
Calibrate＝(1/A)/(SW/SH)；
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0/Calibrate；
Gh＝Sh/SH*2.0；
其中，Calibrate为校准系数，A为目标分辨率，在本例中，A为16:9。SW为屏幕坐标系下***屏幕的宽度，SH为屏幕坐标系下***屏幕的高度，Gx为连麦纹理数据和本地纹理数据在图像处理器的坐标系下顶点的横坐标，Gy为连麦纹理数据和本地纹理数据在图像处理器的坐标系下顶点的纵坐标，Sx为连麦纹理数据和本地纹理数据在屏幕坐标系下顶点的横坐标，Sy为连麦纹理数据和本地纹理数据在屏幕坐标系下顶点的纵坐标，Sw为屏幕坐标系下连麦纹理数据和本地纹理数据的宽度，Sh为屏幕坐标系下连麦纹理数据和本地纹理数据的高度。本发明先利用目标分辨率调整校准系数，再利用校准系数基于等比缩放转换原理对坐标进行转换，不仅能够适应不同分辨率的***屏幕的转换，同时，计算复杂度低，转换速度快，提高了渲染速度，保证了连麦直播的流畅度。
需要说明的是，与等比缩放转换方式同理，连麦纹理数据和本地纹理数据的坐标转换过程也是分别进行的，针对不同类型的纹理数据，Gx、Gy、Sx、Sy、SW、SH、Sw和Sh选择与纹理数据对应的参数，此处不再赘述。
进一步，在完成对纹理数据的坐标转换之后，根据转换后的坐标将纹理数据渲染至缓存区，生成直播连麦画面。最后，将直播连麦画面进行视频编码和流格式封装，并通过实时消息传输协议(Real Time Messaging Protocol，RTMP)将直播连麦画面推送到直播服务器，由直播服务器分发到观众端，观众端通过直播拉流协议获取直播连麦画面。
另外，在对原始的连麦纹理数据和本地纹理数据复制后，在原始的连麦纹理数据和复制出的连麦纹理数据之间建立同步关系，以及，在原始的本地纹理数据和复制出的本地纹理数据之间建立同步关系，从而实现了纹理数据的复用。同步关系是指若上一帧复制出的纹理数据还未被渲染，而新的一帧原始的纹理数据已经出现，则直接丢掉上一帧复制出的纹理数据，同步对新的一帧原始的纹理数据进行复制及渲染。以连麦纹理数据为例，如果原始的连麦纹理数据为A，复制出的连麦纹理数据为A’，上一帧原始的连麦纹理数据为An-1，新的一帧的连麦纹理数据为An，上一帧复制出的连麦纹理数据为A’n-1，新的一帧复制出的连麦纹理数据为A’n。如果A’n-1还没有被渲染到缓存区，An就已经到来，那么，丢掉A’n-1，直接对An进行复制得到A’n，并将A’n渲染到缓存区。本发明通过在原始的纹理数据和复制出的纹理数据之间建立同步关系，能够保证渲染的及时性和有效性，提高了处理效率，保证了连麦直播画面的流畅度。
基于同一发明构思，本发明第二实施例还提供一种连麦直播的装置，，应用于包含图像处理器的主播端，如图5所示，所述装置包括：
获取模块21，用于接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；
纹理处理模块22，用于利用所述图像处理器分别对所述连麦视频数据和所述本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；
合成模块23，用于对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，并将所述本地连麦画面在所述主播端播放；
复制渲染模块24，用于对原始的所述连麦纹理数据和所述本地纹理数据进行复制，并将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，生成直播连麦画面，并对所述直播连麦画面进行直播推流；
其中，复制渲染模块24，包括：
读取单元，用于读取所述主播端的***屏幕的分辨率；
判断单元，用于判断所述***屏幕的分辨率是否与所述图像处理器的坐标系对应的目标分辨率相同；
处理单元，用于若相同，则根据等比缩放转换方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；
渲染单元，用于根据转换后的坐标将所述连麦纹理数据和所述本地纹理数据渲染至所述缓存区。
优选的，合成模块23，包括：
本地纹理数据渲染单元，用于利用所述图像处理器对原始的所述本地纹理数据进行渲染，获得第一图层；
连麦纹理数据渲染单元，用于利用所述图像处理器在所述第一图层上对原始的所述连麦纹理数据进行渲染，获得可调节的第二图层；
合成单元，用于将所述第一图层和所述第二图层合成，获得所述本地连麦画面。
优选的，所述装置还包括；
第一同步模块，用于在原始的所述连麦纹理数据和复制出的所述连麦纹理数据之间建立同步关系；
第二同步模块，用于在原始的所述本地纹理数据和复制出的所述本地纹理数据之间建立同步关系。
基于同一发明构思，本发明第三实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述第一实施例所述的方法步骤。
基于同一发明构思，本发明第四实施例还提供了一种计算机设备，如图6所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机设备可以为包括手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以计算机设备为手机为例：
图6示出的是与本发明实施例提供的计算机设备相关的部分结构的框图。参考图6，该计算机设备包括：存储器61和处理器62。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对计算机设备的各个构成部件进行具体的介绍：
存储器61可用于存储软件程序以及模块，处理器62通过运行存储在存储器61的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器62是计算机设备的控制中心，通过运行或执行存储在存储器61内的软件程序和/或模块，以及调用存储在存储器61内的数据，执行各种功能和处理数据。可选的，处理器62可包括一个或多个处理单元；优选的，处理器62可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。
在本发明实施例中，该计算机设备所包括的处理器62可以具有前述第一实施例中任一方法步骤所对应的功能。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种连麦直播的方法，其特征在于，应用于包含图像处理器的主播端，所述方法包括：
接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；
利用所述图像处理器分别对所述连麦视频数据和所述本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；
对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，并将所述本地连麦画面在所述主播端播放；
对原始的所述连麦纹理数据和所述本地纹理数据进行复制，并将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，生成直播连麦画面，并对所述直播连麦画面进行直播推流；
其中，所述将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，包括：
读取所述主播端的***屏幕的分辨率；
判断所述***屏幕的分辨率是否与所述图像处理器的坐标系对应的目标分辨率相同；
若相同，则根据等比缩放转换方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；
根据转换后的坐标将所述连麦纹理数据和所述本地纹理数据渲染至所述缓存区。
2.如权利要求1所述的方法，其特征在于，所述对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，包括：
利用所述图像处理器对原始的所述本地纹理数据进行渲染，获得第一图层；
利用所述图像处理器在所述第一图层上对原始的所述连麦纹理数据进行渲染，获得可调节的第二图层；
将所述第一图层和所述第二图层合成，获得所述本地连麦画面。
3.如权利要求1所述的方法，其特征在于，在所述对原始的所述连麦纹理数据和所述本地纹理数据进行复制之后，所述方法还包括；
在原始的所述连麦纹理数据和复制出的所述连麦纹理数据之间建立同步关系；
在原始的所述本地纹理数据和复制出的所述本地纹理数据之间建立同步关系。
4.如权利要求1所述的方法，其特征在于，所述根据等比缩放转换方式，将所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标，包括以下公式：
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0；
Gh＝Sh/SH*2.0；
其中，Gx为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的横坐标，Gy为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的纵坐标，Sx为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的横坐标，Sy为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的纵坐标，SW为所述屏幕坐标系下所述***屏幕的宽度，SH为所述屏幕坐标系下所述***屏幕的高度，Sw为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的宽度，Sh为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的高度。
5.如权利要求1所述的方法，其特征在于，所述根据先转换长边后补偿短边的方式，将所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标，包括以下公式：
Calibrate＝(1/A)/(SW/SH)；
Gx＝Sx/SW*2.0-1.0；
Gy＝Sy/SH*2.0-1.0；
Gw＝Sw/SW*2.0/Calibrate；
Gh＝Sh/SH*2.0；
其中，Calibrate为校准系数，A为所述目标分辨率，SW为所述屏幕坐标系下所述***屏幕的宽度，SH为所述屏幕坐标系下所述***屏幕的高度，Gx为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的横坐标，Gy为所述连麦纹理数据和所述本地纹理数据在所述图像处理器的坐标系下顶点的纵坐标，Sx为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的横坐标，Sy为所述连麦纹理数据和所述本地纹理数据在所述屏幕坐标系下顶点的纵坐标，Sw为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的宽度，Sh为所述屏幕坐标系下所述连麦纹理数据和所述本地纹理数据的高度。
6.如权利要求1所述的方法，其特征在于，所述目标分辨率为16:9。
7.一种连麦直播的装置，其特征在于，应用于包含图像处理器的主播端，所述装置包括：
获取模块，用于接收连麦端发送的连麦视频数据，并从本地采集本地视频数据；
纹理处理模块，用于利用所述图像处理器分别对所述连麦视频数据和所述本地视频数据进行纹理处理，对应生成原始的连麦纹理数据和本地纹理数据；
合成模块，用于对原始的所述连麦纹理数据和所述本地纹理数据进行合成，生成本地连麦画面，并将所述本地连麦画面在所述主播端播放；
复制渲染模块，用于对原始的所述连麦纹理数据和所述本地纹理数据进行复制，并将复制出的所述连麦纹理数据和所述本地纹理数据渲染至所述图像处理器的缓存区，生成直播连麦画面，并对所述直播连麦画面进行直播推流；
其中，所述复制渲染模块，包括：
读取单元，用于读取所述主播端的***屏幕的分辨率；
判断单元，用于判断所述***屏幕的分辨率是否与所述图像处理器的坐标系对应的目标分辨率相同；
处理单元，用于若相同，则根据等比缩放转换方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；若不相同，则根据先转换长边后补偿短边的方式，将复制出的所述连麦纹理数据和所述本地纹理数据在所述***屏幕的屏幕坐标系下的坐标转换成在所述图像处理器的坐标系下的坐标；
渲染单元，用于根据转换后的坐标将所述连麦纹理数据和所述本地纹理数据渲染至所述缓存区。
8.如权利要求7所述的装置，其特征在于，所述合成模块，包括：
本地纹理数据渲染单元，用于利用所述图像处理器对原始的所述本地纹理数据进行渲染，获得第一图层；
连麦纹理数据渲染单元，用于利用所述图像处理器在所述第一图层上对原始的所述连麦纹理数据进行渲染，获得可调节的第二图层；
合成单元，用于将所述第一图层和所述第二图层合成，获得所述本地连麦画面。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一权利要求所述的方法步骤。
10.一种计算机设备，包括存储，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一权利要求所述的方法步骤。
CN202010581753.1A 2020-06-23 2020-06-23 连麦直播的方法及装置 Active CN113840170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581753.1A CN113840170B (zh) 2020-06-23 2020-06-23 连麦直播的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581753.1A CN113840170B (zh) 2020-06-23 2020-06-23 连麦直播的方法及装置

Publications (2)

Publication Number Publication Date
CN113840170A CN113840170A (zh) 2021-12-24
CN113840170B true CN113840170B (zh) 2023-06-16

Family

ID=78964124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581753.1A Active CN113840170B (zh) 2020-06-23 2020-06-23 连麦直播的方法及装置

Country Status (1)

Country Link
CN (1) CN113840170B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023245495A1 (zh) * 2022-06-22 2023-12-28 云智联网络科技(北京)有限公司 将渲染数据转换为视频流的方法及装置、电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534954A (zh) * 2016-12-19 2017-03-22 广州虎牙信息科技有限公司 基于直播视频流的信息交互方法、装置和终端设备
WO2018121556A1 (zh) * 2016-12-27 2018-07-05 北京奇虎科技有限公司 直播数据处理方法、装置、程序及介质
CN108848391A (zh) * 2018-06-21 2018-11-20 深圳市思迪信息技术股份有限公司 视频直播多人连麦方法及装置
CN109257618A (zh) * 2018-10-17 2019-01-22 北京潘达互娱科技有限公司 一种直播中的连麦合流方法、装置及服务器
CN109302617A (zh) * 2018-10-19 2019-02-01 武汉斗鱼网络科技有限公司 一种指定多元素的视频连麦方法、装置、设备及存储介质
CN109618191A (zh) * 2018-12-17 2019-04-12 广州市百果园信息技术有限公司 直播连麦方法、装置、计算机可读存储介质及终端
CN109688419A (zh) * 2018-12-27 2019-04-26 北京潘达互娱科技有限公司 一种直播中的连麦方法、装置及服务器
CN109729379A (zh) * 2019-02-01 2019-05-07 广州虎牙信息科技有限公司 直播视频连麦的实现方法、装置、终端和存储介质
CN109756744A (zh) * 2017-11-02 2019-05-14 腾讯科技（深圳）有限公司 数据处理方法、电子设备及计算机存储介质
CN110958464A (zh) * 2019-12-11 2020-04-03 北京达佳互联信息技术有限公司 直播数据处理方法、装置、服务器、终端及存储介质
CN111050185A (zh) * 2018-10-15 2020-04-21 武汉斗鱼网络科技有限公司 直播间连麦视频混流方法、存储介质、电子设备及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128802A1 (en) * 2008-11-24 2010-05-27 Yang-Hung Shih Video processing ciucuit and related method for merging video output streams with graphical stream for transmission
CN106331850B (zh) * 2016-09-18 2020-01-24 上海幻电信息科技有限公司 浏览器直播客户端、浏览器直播***及浏览器直播方法
US10818033B2 (en) * 2018-01-18 2020-10-27 Oath Inc. Computer vision on broadcast video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534954A (zh) * 2016-12-19 2017-03-22 广州虎牙信息科技有限公司 基于直播视频流的信息交互方法、装置和终端设备
WO2018121556A1 (zh) * 2016-12-27 2018-07-05 北京奇虎科技有限公司 直播数据处理方法、装置、程序及介质
CN109756744A (zh) * 2017-11-02 2019-05-14 腾讯科技（深圳）有限公司 数据处理方法、电子设备及计算机存储介质
CN108848391A (zh) * 2018-06-21 2018-11-20 深圳市思迪信息技术股份有限公司 视频直播多人连麦方法及装置
CN111050185A (zh) * 2018-10-15 2020-04-21 武汉斗鱼网络科技有限公司 直播间连麦视频混流方法、存储介质、电子设备及***
CN109257618A (zh) * 2018-10-17 2019-01-22 北京潘达互娱科技有限公司 一种直播中的连麦合流方法、装置及服务器
CN109302617A (zh) * 2018-10-19 2019-02-01 武汉斗鱼网络科技有限公司 一种指定多元素的视频连麦方法、装置、设备及存储介质
CN109618191A (zh) * 2018-12-17 2019-04-12 广州市百果园信息技术有限公司 直播连麦方法、装置、计算机可读存储介质及终端
CN109688419A (zh) * 2018-12-27 2019-04-26 北京潘达互娱科技有限公司 一种直播中的连麦方法、装置及服务器
CN109729379A (zh) * 2019-02-01 2019-05-07 广州虎牙信息科技有限公司 直播视频连麦的实现方法、装置、终端和存储介质
CN110958464A (zh) * 2019-12-11 2020-04-03 北京达佳互联信息技术有限公司 直播数据处理方法、装置、服务器、终端及存储介质

Also Published As

Publication number Publication date
CN113840170A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN109983757B (zh) 全景视频回放期间的视图相关操作
CN109983500B (zh) 重新投影全景视频图片的平板投影以通过应用进行渲染
US10242714B2 (en) Interface for application-specified playback of panoramic video
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
US20040109014A1 (en) Method and system for displaying superimposed non-rectangular motion-video images in a windows user interface environment
US9363496B2 (en) Moving image generation device
US20080168512A1 (en) System and Method to Implement Interactive Video Streaming
KR20030036160A (ko) 정보 처리 장치, 그래픽 처리 유닛, 그래픽 처리 방법,저장 매체 및 컴퓨터 프로그램
EP3509300A1 (en) Panoramic video compression method and device
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
CN113840170B (zh) 连麦直播的方法及装置
WO2020258907A1 (zh) 虚拟物品的生成方法、装置及设备
CN110012336A (zh) 直播界面的图片配置方法、终端及装置
CN110913118B (zh) 视频处理方法、装置及存储介质
US7936936B2 (en) Method of visualizing a large still picture on a small-size display
JP2019149785A (ja) 映像変換装置及びプログラム
CN112533005B (zh) 一种vr视频慢直播的交互方法及***
JP2007102462A (ja) 画像合成方法、システム、端末、および画像合成プログラム
CN113301425A (zh) 视频播放方法、视频播放装置及电子设备
CN111741343A (zh) 视频处理方法及装置、电子设备
US20020158895A1 (en) Method of and a system for distributing interactive audiovisual works in a server and client system
CN113259716A (zh) 视频下发方法、视频获取方法、服务器、终端和***
CN110519530B (zh) 基于硬件的画中画显示方法及装置
JP4929848B2 (ja) 映像データの伝送システムとその方法、送信処理装置とその方法
CN113034367B (zh) 信息处理方法、装置、计算机***及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant