CN112233196A - 直播间绿屏检测方法、装置、设备及存储介质 - Google Patents
直播间绿屏检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112233196A CN112233196A CN202011218258.0A CN202011218258A CN112233196A CN 112233196 A CN112233196 A CN 112233196A CN 202011218258 A CN202011218258 A CN 202011218258A CN 112233196 A CN112233196 A CN 112233196A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- live
- target
- green screen
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 3
- 230000001976 improved effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 241000209140 Triticum Species 0.000 description 3
- 235000021307 Triticum Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请涉及一种直播间绿屏检测方法、装置、设备及存储介质。该方法包括：获取目标直播间直播过程中的直播画面图像；对直播画面图像进行HSB颜色模式提取处理，得到直播画面图像的像素点对应的第一HSB信息；从直播画面图像的像素点中，确定第一HSB信息中H值在预设数值范围内的第一目标像素点；若第一目标像素点与直播画面图像的像素点的占比信息满足预设条件，确定直播画面图像为绿屏图像。提高了直播间绿屏检测效率。
Description
技术领域
本申请涉及视频处理技术领域，尤其涉及一种直播间绿屏检测方法、装置、设备及存储介质。
背景技术
现有对视频的绿屏检测一般是通过测试人员执行的，在测试过程中，若遇到绿屏现象，不能及时将绿屏现象保留，导致绿屏问题的排查不能有效进行以及绿屏修复也不能及时有效的解决，这导致人工方式的绿屏检测的应用场景有限。而现有自动识别绿屏图像的方法也没有涉及直播场景，并且一般通过RGB颜色模式判断图像是否为绿色，而RGB颜色模式需要三通道的颜色合成才能用于判断颜色，实时性欠佳。
另外，目前机器学习的应用比较广泛，机器学习可以实现绿屏检测的高效性，但机器学习的训练成本比较高。
发明内容
有鉴于上述存在的技术问题，本申请提出了一种直播间绿屏检测方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种直播间绿屏检测方法，包括：
获取目标直播间直播过程中的直播画面图像；
对所述直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到所述直播画面图像的像素点对应的第一HSB信息；
从所述直播画面图像的像素点中，确定所述第一HSB信息中H值在预设数值范围内的第一目标像素点；
若所述第一目标像素点与所述直播画面图像的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
根据本申请的另一方面，提供了一种直播间绿屏检测装置，包括：
直播画面图像获取模块，用于获取目标直播间直播过程中的直播画面图像；
第一HSB信息获取模块，用于对所述直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到所述直播画面图像的像素点对应的第一HSB信息；
第一目标像素点确定模块，用于从所述直播画面图像的像素点中，确定所述第一HSB信息中H值在预设数值范围内的第一目标像素点；
绿屏图像确定模块，用于若所述第一目标像素点与所述直播画面图像的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
根据本申请的另一方面，提供了一种直播间绿屏检测设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
通过获取直播间直播过程中的直播画面图像并对直播画面图像进行绿屏检测，实现直播间绿屏检测的自动化，可以提高直播间绿屏检测的效率。以及通过直播画面图像的像素点对应的第一HSB信息中H值确定直播画面图像是否为绿屏图像，不需要进行颜色通道合成，进一步提高了绿屏检测的效率，为直播间绿屏修复的及时性提供了保障。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出根据本申请一实施例提供的一种应用***的示意图。
图2示出根据本申请一实施例的直播间绿屏检测方法的流程图。
图3示出根据本申请一实施例的直播间绿屏检测方法的流程图。
图4示出根据本申请一实施例的基于直播类型信息以及日志信息，进行直播间绿屏修复处理的方法流程图。
图5示出根据本申请一实施例的直播间绿屏检测方法的流程图。
图6示出根据本申请一实施例的直播间绿屏检测方法的流程图。
图7示出根据本申请一实施例的直播间绿屏检测装置的框图。
图8是根据一示例性实施例示出的一种用于直播间绿屏检测装置800的框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及计算机视觉等技术，具体通过如下实施例进行说明：
请参阅图1，图1示出根据本申请一实施例提供的一种应用***的示意图。所述应用***可以用于本申请的直播间绿屏检测方法。如图1所示，该应用***至少可以包括服务器01和终端02。
本申请实施例中，所述服务器01可以包括独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例中，所述终端02可以包括智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、智能可穿戴设备等类型的实体设备。实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中终端02上运行的操作***可以包括但不限于安卓***、IOS***、linux、windows等。
本说明书实施例中，上述终端02以及服务器01可以通过有线或无线通信方式进行直接或间接地连接，本申请对此不作限定。
所述终端02可以用于提供面向用户的直播间绿屏检测处理。用户在终端02上观看直播间的直播视频时，终端可以通过录屏获取用户观看的直播视频；或者通过截图的方式，获取用户观看的直播视频中的直播画面图像，从而可以进行直播间绿屏检测处理。终端02提供面向用户的直播间绿屏检测处理的方式可以包括但不限于应用程序方式、网页方式等。这里的直播视频可以是电竞直播视频，本申请对此不作限定。
需要说明的是，本申请实施例中，可以由服务器01执行直播间绿屏检测方法，优选地，在服务器01中实现该直播间绿屏检测方法。以便减轻终端02的数据处理压力，改善面向用户的终端的设备性能。在由服务器01执行直播间绿屏检测方法时，终端可以实时将用户观看的直播视频或用户观看的直播视频中的直播画面图像发送至服务器02，使得服务器02可以进行直播间绿屏检测处理。可选地，服务器02在检测到绿屏时，可以进行直播间绿屏修复处理，通过及时修复处理，可以降低直播间在后续的直播视频中出现绿屏的概率。
在一个具体的实施例中，服务器02为分布式***时，该分布式***可以为区块链***，分布式***为区块链***时，可以由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)形成，节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式***中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作***层和应用层。具体的，区块链***中各节点的功能，涉及的功能可以包括：
1)路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链***中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。
具体地，图2示出根据本申请一实施例的直播间绿屏检测方法的流程图。如图2所示，该方法可以包括：
S201，获取目标直播间直播过程中的直播画面图像。
本说明书实施例中，目标直播间可以是指正在进行预设直播类型直播的直播间。该预设直播类型可以是指直播的场景类型，例如，非PK连麦直播、PK连麦直播，非PK连麦直播可以包括赛事游戏直播等，本申请对此不作限定，可以预先根据实际需求设置。直播画面图像可以是指直播界面图像或者直播界面中直播窗口区域的图像，在直播画面图像为直播界面中直播窗口区域的图像时，可以降低直播画面图像获取以及后续对直播画面图像进行绿屏检测的复杂度和处理时间，使得绿屏检测更加高效。
在目标直播间的直播过程中，用户可以在终端上观看目标直播间的直播，可以获取终端侧目标直播间直播过程中的直播画面图像。例如，终端可以实时截取目标直播间直播过程中的直播画面图像，并可以将目标直播间直播过程中的直播画面图像发送至服务器，相应地，服务器可以获取目标直播间直播过程中的直播画面图像。
在一种可能的实现方式中，S201可以包括：接收终端实时发送的目标直播间直播过程中的直播视频流；对直播视频流进行分帧处理，获取目标直播间直播过程中的直播画面图像。
本说明书实施例中，终端可以通过录屏方式获取目标直播间直播过程中的直播视频流，并可以发送该直播视频流至服务器。服务器接收该直播视频流，可以对直播视频流进行分帧处理，获取目标直播间直播过程中的直播画面图像。由于能够得到每一帧直播画面图像，可以无遗漏的对直播画面图像进行绿屏检测。
S203，对直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到直播画面图像的像素点对应的第一HSB信息；
S205，从直播画面图像的像素点中，确定第一HSB信息中色相H值在预设数值范围内的第一目标像素点。
本说明书实施例中，预设数值范围可以是指H(hues，色相)值表征绿色的数值范围，该预设数值范围可以通过实验确定，例如预设数值范围可以为(35,77)。
本说明书实施例中，可以对直播画面图像进行HSB(hues-saturation-brightness；色相-饱和度-亮度)颜色模式提取处理，得到直播画面图像的像素点对应的第一HSB信息，即得到直播画面图像中每一个像素点对应的第一HSB信息，例如HSB值。从而可以从直播画面图像的像素点中，确定第一HSB信息中H值在预设数值范围内的第一目标像素点，即确定直播缓慢图像中的绿色像素点。
需要说明的是，鉴于直播间在直播过程中发生非彩色直播画面图像的概率非常低，该非彩色可以包括黑色、灰色和白色。基于这种情况，本说明书实施例中为了适应直播间绿屏检测的实时性要求，选择基于H值在预设数值范围内来确定绿色像素点。但如果直播画面图像出现黑色画面图像、灰色画面图像或白色画面图像，该基于H值在预设数值范围内以确定录屏图像的方式，确定的绿屏图像中可能会包括黑色画面图像、灰色画面图像或白色画面图像。基于此，可选地，为了提高绿屏检测精确性，可以从直播画面图像的像素点中，确定第一HSB信息中色相H值在预设数值范围内的初始目标像素点；可以获取S值在第一数值范围内、且B值在第二数值范围内的初始目标像素点作为第一目标像素点。该第一数值范围和第二数值范围可以通过实验确定，例如第一数值范围为(43,255)；第二数值范围为(46,255)。这样确定的第一目标像素点将不会包括黑色像素点、灰色像素点和白色像素点，绿屏检测更精准。
S207，若第一目标像素点与直播画面图像的像素点的占比信息满足预设条件，确定直播画面图像为绿屏图像。
本说明书实施例中，第一目标像素点与直播画面图像的像素点的占比信息可以是指第一目标像素点的数量与直播画面图像的像素点数量的比例。预设条件可以是指预设比例，比如80％。若占比信息达到该预设比例，可以确定直播画面图像为绿屏图像，从而可以确定检测到绿屏图像。
通过获取直播间直播过程中的直播画面图像并对直播画面图像进行绿屏检测，实现直播间绿屏检测的自动化，可以提高直播间绿屏检测的效率。以及通过直播画面图像的像素点对应的第一HSB信息中H值确定直播画面图像是否为绿屏图像，不需要进行颜色通道合成，进一步提高了绿屏检测的效率，为直播间绿屏修复的及时性提供了保障。
上述是直播间的绿屏检测，在检测到绿屏图像时，还可以进行直播间绿屏的原因分析以及修复处理，使得后续直播中出现绿屏的概率可以降低。图3示出根据本申请一实施例的直播间绿屏检测方法的流程图。在一种可能的实现方式中，如图3所示，在确定直播画面图像为绿屏图像之后，即S207之后，该方法还可以包括：
S301，获取目标直播间的直播类型信息以及目标时间范围内的日志信息；该目标时间范围可以表征出现绿屏图像的时间点信息。
本说明书实施例中，直播类型信息可以表征直播间的直播类型；日志信息可以是终端侧的日志信息。在确定直播画面图像为绿屏图像之后，服务器可以获取出现绿屏图像的时间点和预设时间规则；从而可以基于出现绿屏图像的时间点以及该预设时间规则，确定目标时间范围。作为一个示例，预设时间规则可以是将出现绿屏图像的时间点之前的预设时长以及出现绿屏图像的时间点作为目标时间范围，其中，预设时长可以根据实际需要设置，本申请不作限定。在确定目标时间范围后，可以向终端请求目标时间范围内的日志信息。并且可以获取在出现绿屏图像的时间点，目标直播间的直播类型。
可选地，在检测到绿屏图像时，可以触发绿屏告警，在检测到该绿屏告警时，可以执行步骤S301。
S303，基于直播类型信息以及日志信息，进行直播间绿屏修复处理。
本说明书实施例中，可以根据直播类型信息，确定直播类型。并可以基于直播类型以及日志信息，进行直播间绿屏的问题排查，从而可以基于排查的原因，进行直播间绿屏修复处理。
在一种可能的实现方式中，日志信息可以包括终端设备信息以及目标时间范围内的网络信息。终端设备信息可以包括终端设备商信息、操作***信息、终端硬件信息。网络信息可以包括网络标识、网络类型和对应网络状态信息，网络类型可以包括蜂窝网络、WIFI网络等；网络状态信息可以包括网络状态好、网络状态差。本申请对此不作限定。
在日志信息包括终端设备信息以及目标时间范围内的网络信息时，图4示出根据本申请一实施例的基于直播类型信息以及日志信息，进行直播间绿屏修复处理的方法流程图。如图4所示，该步骤S303可以包括：
S401，若网络信息中的网络状态信息为正常，基于终端设备信息，设置第一直播测试环境和第二直播测试环境。第一直播测试环境中的测试终端设备信息为终端设备信息；第二直播测试环境中的测试终端设备信息与终端设备信息不同。也就是说可以设置虚拟终端以用于后续绿屏图像的原因排查，第一直播测试环境可以相当于绿屏图像对应目标终端的虚拟终端，第二直播测试环境可以是与终端设备信息不同的虚拟终端。其中，目标终端可以是指出现绿屏图像的终端。其中，网络信息中的网络状态信息为正常可以是指网络状态信息为网络状态好。
可选地，若网络信息中的网络状态为异常，可以获取网络信息中网络标识对应的目标网络，基于网络信息中的网络类型和网络状态信息，修复该目标网络。其中，网络信息中的网络状态信息为异常可以是指网络状态信息为网络状态差。
S403，获取目标直播画面图像对应的目标直播视频。
本说明书实施例中，对直播间的绿屏检测是实时进行的，因此这里的目标直播画面图像可以为目标直播间开始直播的直播画面图像至绿屏图像，即目标直播画面图像可以是指目标直播间开始直播至出现绿屏图像的时间点之间的直播画面图像。从而可以获取该目标直播画面图像对应的直播视频作为目标直播视频，该目标直播视频可以分别在第一直播测试环境和第二直播测试环境中播放，以用于绿屏问题排查。
S405，确定直播类型信息对应的目标代码。
本说明书实施例中，支撑该直播的平台具有实现各种功能的代码，这些代码可以按照直播类型划分。可以确定直播类型信息对应的目标代码，这样在修复代码时，能够快速定位到目标代码。
S407，若目标直播视频在第一直播测试环境中播放时出现绿屏现象，且目标直播视频在第二直播测试环境中播放时未出现绿屏现象，修复目标代码中的终端设备兼容性代码。
本说明书实施例中，若目标直播视频在第一直播测试环境中播放时出现绿屏现象，且目标直播视频在第二直播测试环境中播放时未出现绿屏现象，可以确定出现绿屏现象是终端设备的兼容性导致的，因此可以修复目标代码中的终端设备兼容性代码，以使修复后的终端设备兼容性代码能够兼容出现绿屏图像的终端设备信息。
S409，若目标直播视频在第一直播测试环境中播放时出现绿屏现象，且直播视频在第二直播测试环境中播放时出现绿屏现象，修复目标代码中的直播类型适配代码。
本说明书实施例中，若目标直播视频在第一直播测试环境中播放时出现绿屏现象，且直播视频在第二直播测试环境中播放时出现绿屏现象，可以确定出现绿屏现象是目标代码本身对直播类型信息对应的直播类型不支持，此时可以修复目标代码中的直播类型适配代码，以使修复后的直播类型适配代码可以支持直播类型信息对应的直播类型。
通过对目标代码的修复，可以同时修复所有直播间因为终端设备兼容以及直播类型适配导致的绿屏问题，该修复方式不是仅针对某个直播视频的修复，可以从根本上修复直播间的绿屏问题，修复的广度和深度都具有更好的效果。
可选地，本说明书实施例中，还可以对修复后的目标代码进行验证，验证通过后，才利用修复后的目标代码替换目标代码，这样可以保证替换后的代码更优。基于此，如图5所示，该方法还可以包括：
S501，基于修复后的目标代码、目标直播视频以及第一直播测试环境和第二直播测试环境，进行绿屏测试处理，得到绿屏测试结果。
本说明书实施例中，可以基于修复后的目标代码，设置虚拟直播平台。从而可以基于该虚拟直播平台，将目标直播视频在第一直播测试环境和第二直播测试环境中播放，在目标直播视频的播放过程中进行绿屏检测，得到绿屏测试结果，例如，出现绿屏现象、未出现绿屏现象。
S503，若绿屏测试结果为未出现绿屏现象，利用修复后的目标代码替换目标代码。也就是说，修复后的目标代码可以解决绿屏问题，则利用修复后的目标代码替换目标代码。
可选地，若绿屏测试结果为出现绿屏现象，说明绿屏问题还未解决，继续基于直播类型信息以及日志信息，进行直播间绿屏修复处理。
在一种可能的实现方式中，该方法还可以包括：若网络信息中的网络状态信息为正常、且直播视频在第一直播测试环境中播放时以及直播视频在第二直播测试环境中播放时均未出现绿屏现象，修复绿屏检测代码。也就是说，在确定是绿屏误检时，可以修复绿屏检测代码，通过对绿屏检测代码的动态修复，使得后续的绿屏检测可以更加准确，降低绿屏检测的误检率。
本说明书实施例中，为了进一步提高直播间绿屏检测效率，可以将直播画面图像划分为至少两个子区域，相应地，如图6所示，在获取终端侧目标直播间直播过程中的直播画面图像之后，该方法还可以包括：
S601，将直播画面图像划分为预设数量的子区域。
本说明书实施例中，预设数量可以是至少两个，本申请对此不作限定。预设数量的子区域的面积可以相同，也可以不同，本申请对此也不作限定。
S603，确定子区域的检测顺序。
本说明书实施例中，在得到子区域后，可以随机确定子区域的检测顺序；也可以按照从左到右、从上到下的顺序，确定子区域的检测顺序。本申请对此不作限定。
S605，基于检测顺序，对子区域进行HSB颜色模式提取处理，得到子区域的像素点对应的第二HSB信息。
本说明书实施例中，可以基于检测顺序，依次对子区域进行绿屏检测，在检测到子区域为非绿屏区域时，才对下一个子区域进行绿屏检测。在检测到子区域为绿屏区域时，停止绿屏检测，直接确定直播画面图像为绿屏图像。绿屏检测效率更高。具体地，该S605中的对子区域进行HSB颜色模式提取处理，得到子区域的像素点对应的第二HSB信息，可以参见步骤S203，在此不再赘述。
S607，从子区域的像素点中，确定第二HSB信息中H值在预设数值范围内的第二目标像素点；
S609，若第二目标像素点与子区域的像素点的占比信息满足预设条件，确定直播画面图像为绿屏图像。
本说明书实施例中，步骤S607～S609可以参见S205～S207，在此不再赘述。
图7示出根据本申请一实施例的直播间绿屏检测装置的框图。如图7所示，该装置可以包括：
直播画面图像获取模块701，用于获取目标直播间直播过程中的直播画面图像；
第一HSB信息获取模块703，用于对所述直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到所述直播画面图像的像素点对应的第一HSB信息；
第一目标像素点确定模块705，用于从所述直播画面图像的像素点中，确定所述第一HSB信息中H值在预设数值范围内的第一目标像素点；
绿屏图像确定模块707，用于若所述第一目标像素点与所述直播画面图像的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
通过获取直播间直播过程中的直播画面图像并对直播画面图像进行绿屏检测，实现直播间绿屏检测的自动化，可以提高直播间绿屏检测的效率。以及通过直播画面图像的像素点对应的第一HSB信息中H值确定直播画面图像是否为绿屏图像，不需要进行颜色通道合成，进一步提高了绿屏检测的效率，为直播间绿屏修复的及时性提供了保障。
在一种可能的实现方式中，其特征在于，该装置还可以包括：
直播类型和日志获取模块，用于获取所述目标直播间的直播类型信息以及目标时间范围内的日志信息；所述目标时间范围表征出现所述绿屏图像的时间点信息；
绿屏修复模块，用于基于所述直播类型信息以及所述日志信息，进行直播间绿屏修复处理。
在一种可能的实现方式中，日志信息包括终端设备信息以及所述目标时间范围内的网络信息；绿屏修复模块可以包括：
测试环境设置单元，用于若所述网络信息中的网络状态信息为正常，基于所述终端设备信息，设置第一直播测试环境和第二直播测试环境，所述第一直播测试环境中的测试终端设备信息为所述终端设备信息；所述第二直播测试环境中的测试终端设备信息与所述终端设备信息不同；
目标直播视频获取单元，用于获取目标直播画面图像对应的目标直播视频，所述目标直播画面图像为所述目标直播间开始直播的直播画面图像至所述绿屏图像；
目标代码确定单元，用于确定所述直播类型信息对应的目标代码；
第一修复单元，用于若所述目标直播视频在所述第一直播测试环境中播放时出现绿屏现象，且所述目标直播视频在所述第二直播测试环境中播放时未出现绿屏现象，修复所述目标代码中的终端设备兼容性代码；
第二修复单元，用于若所述目标直播视频在所述第一直播测试环境中播放时出现绿屏现象，且所述直播视频在所述第二直播测试环境中播放时出现绿屏现象，修复所述目标代码中的直播类型适配代码。
在一种可能的实现方式中，该装置还可以包括：
绿屏检测代码修复模块，用于若所述网络信息中的网络状态信息为正常、且所述直播视频在所述第一直播测试环境中播放时以及所述直播视频在所述第二直播测试环境中播放时均未出现绿屏现象，修复绿屏检测代码。
在一种可能的实现方式中，该装置还可以包括：
绿屏测试模块，用于基于修复后的目标代码、所述目标直播视频以及所述第一直播测试环境和第二直播测试环境，进行绿屏测试处理，得到绿屏测试结果；
目标代码更新模块，用于若绿屏测试结果为未出现绿屏现象，利用所述修复后的目标代码替换所述目标代码。
在一种可能的实现方式中，直播画面图像获取模块701可以包括：
直播视频流接收单元，用于接收终端实时发送的目标直播间直播过程中的直播视频流；
直播画面图像获取单元，用于对所述直播视频流进行分帧处理，获取所述目标直播间直播过程中的直播画面图像。
在一种可能的实现方式中，该装置还可以包括：
子区域划分模块，用于将所述直播画面图像划分为预设数量的子区域；
检测顺序确定模块，用于确定所述子区域的检测顺序；
第二HSB信息获取模块，用于基于所述检测顺序，对所述子区域进行HSB颜色模式提取处理，得到所述子区域的像素点对应的第二HSB信息；
第二目标像素点确定模块，用于从所述子区域的像素点中，确定所述第二HSB信息中H值在预设数值范围内的第二目标像素点；
绿屏图像确定模块707，还用于若所述第二目标像素点与所述子区域的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
关于上述实施例中的装置，其中各个模块和单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
另一方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的直播间绿屏检测方法。
图8是根据一示例性实施例示出的一种用于直播间绿屏检测装置800的框图。例如，装置800可以被提供为一服务器。参照图8，装置800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述方法。
装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出(I/O)接口858。装置800可以操作基于存储在存储器832的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器832，上述计算机程序指令可由装置800的处理组件822执行以完成上述方法。
本申请可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种直播间绿屏检测方法，其特征在于，所述方法包括：
获取目标直播间直播过程中的直播画面图像；
对所述直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到所述直播画面图像的像素点对应的第一HSB信息；
从所述直播画面图像的像素点中，确定所述第一HSB信息中色相H值在预设数值范围内的第一目标像素点；
若所述第一目标像素点与所述直播画面图像的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
2.根据权利要求1所述的方法，其特征在于，在所述确定所述直播画面图像为绿屏图像之后，还包括：
获取所述目标直播间的直播类型信息以及目标时间范围内的日志信息；所述目标时间范围表征出现所述绿屏图像的时间点信息；
基于所述直播类型信息以及所述日志信息，进行直播间绿屏修复处理。
3.根据权利要求2所述的方法，其特征在于，所述日志信息包括终端设备信息以及所述目标时间范围内的网络信息；所述基于所述直播类型信息以及所述日志信息，进行直播间绿屏修复处理，包括：
若所述网络信息中的网络状态信息为正常，基于所述终端设备信息，设置第一直播测试环境和第二直播测试环境，所述第一直播测试环境中的测试终端设备信息为所述终端设备信息；所述第二直播测试环境中的测试终端设备信息与所述终端设备信息不同；
获取目标直播画面图像对应的目标直播视频，所述目标直播画面图像为所述目标直播间开始直播的直播画面图像至所述绿屏图像；
确定所述直播类型信息对应的目标代码；
若所述目标直播视频在所述第一直播测试环境中播放时出现绿屏现象，且所述目标直播视频在所述第二直播测试环境中播放时未出现绿屏现象，修复所述目标代码中的终端设备兼容性代码；
若所述目标直播视频在所述第一直播测试环境中播放时出现绿屏现象，且所述直播视频在所述第二直播测试环境中播放时出现绿屏现象，修复所述目标代码中的直播类型适配代码。
4.根据权利要求3所述的方法，其特征在于，还包括：
若所述网络信息中的网络状态信息为正常、且所述直播视频在所述第一直播测试环境中播放时以及所述直播视频在所述第二直播测试环境中播放时均未出现绿屏现象，修复绿屏检测代码。
5.根据权利要求3所述的方法，其特征在于，还包括：
基于修复后的目标代码、所述目标直播视频以及所述第一直播测试环境和第二直播测试环境，进行绿屏测试处理，得到绿屏测试结果；
若绿屏测试结果为未出现绿屏现象，利用所述修复后的目标代码替换所述目标代码。
6.根据权利要求1所述的方法，其特征在于，所述获取目标直播间直播过程中的直播画面图像，包括：
接收终端实时发送的目标直播间直播过程中的直播视频流；
对所述直播视频流进行分帧处理，获取所述目标直播间直播过程中的直播画面图像。
7.根据权利要求1所述的方法，其特征在于，所述获取目标直播间直播过程中的直播画面图像之后，还包括：
将所述直播画面图像划分为预设数量的子区域；
确定所述子区域的检测顺序；
基于所述检测顺序，对所述子区域进行HSB颜色模式提取处理，得到所述子区域的像素点对应的第二HSB信息；
从所述子区域的像素点中，确定所述第二HSB信息中H值在预设数值范围内的第二目标像素点；
若所述第二目标像素点与所述子区域的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
8.一种直播间绿屏检测装置，其特征在于，包括：
直播画面图像获取模块，用于获取目标直播间直播过程中的直播画面图像；
第一HSB信息获取模块，用于对所述直播画面图像进行色相-饱和度-亮度HSB颜色模式提取处理，得到所述直播画面图像的像素点对应的第一HSB信息；
第一目标像素点确定模块，用于从所述直播画面图像的像素点中，确定所述第一HSB信息中色相H值在预设数值范围内的第一目标像素点；
绿屏图像确定模块，用于若所述第一目标像素点与所述直播画面图像的像素点的占比信息满足预设条件，确定所述直播画面图像为绿屏图像。
9.一种直播间绿屏检测设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令以实现权利要求1至7中任意一项所述的方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218258.0A CN112233196B (zh) | 2020-11-04 | 2020-11-04 | 直播间绿屏检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011218258.0A CN112233196B (zh) | 2020-11-04 | 2020-11-04 | 直播间绿屏检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233196A true CN112233196A (zh) | 2021-01-15 |
| CN112233196B CN112233196B (zh) | 2023-12-12 |
Family
ID=74121473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011218258.0A Active CN112233196B (zh) | 2020-11-04 | 2020-11-04 | 直播间绿屏检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233196B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099220A (zh) * | 2021-06-07 | 2021-07-09 | 全时云商务服务股份有限公司 | 一种视频会议视频图像绿屏检测方法、***及存储介质 |
| CN113490009A (zh) * | 2021-07-06 | 2021-10-08 | 广州虎牙科技有限公司 | 内容信息植入方法、装置、服务器和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130151970A1 (en) * | 2011-06-03 | 2013-06-13 | Maha Achour | System and Methods for Distributed Multimedia Production |
| CN106780634A (zh) * | 2016-12-27 | 2017-05-31 | 努比亚技术有限公司 | 图片主色调提取方法及装置 |
| US20190130165A1 (en) * | 2017-10-27 | 2019-05-02 | Avigilon Corporation | System and method for selecting a part of a video image for a face detection operation |
| CN110708476A (zh) * | 2019-09-17 | 2020-01-17 | 广州秀美网络文化传媒有限公司 | 一种实时图像处理方法及装置 |
| CN110827364A (zh) * | 2018-08-07 | 2020-02-21 | 北京优酷科技有限公司 | 一种检测绿屏图像的方法及装置 |
-
2020
- 2020-11-04 CN CN202011218258.0A patent/CN112233196B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130151970A1 (en) * | 2011-06-03 | 2013-06-13 | Maha Achour | System and Methods for Distributed Multimedia Production |
| CN106780634A (zh) * | 2016-12-27 | 2017-05-31 | 努比亚技术有限公司 | 图片主色调提取方法及装置 |
| US20190130165A1 (en) * | 2017-10-27 | 2019-05-02 | Avigilon Corporation | System and method for selecting a part of a video image for a face detection operation |
| CN110827364A (zh) * | 2018-08-07 | 2020-02-21 | 北京优酷科技有限公司 | 一种检测绿屏图像的方法及装置 |
| CN110708476A (zh) * | 2019-09-17 | 2020-01-17 | 广州秀美网络文化传媒有限公司 | 一种实时图像处理方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099220A (zh) * | 2021-06-07 | 2021-07-09 | 全时云商务服务股份有限公司 | 一种视频会议视频图像绿屏检测方法、***及存储介质 |
| CN113099220B (zh) * | 2021-06-07 | 2021-08-13 | 全时云商务服务股份有限公司 | 一种视频会议视频图像绿屏检测方法、***及存储介质 |
| CN113490009A (zh) * | 2021-07-06 | 2021-10-08 | 广州虎牙科技有限公司 | 内容信息植入方法、装置、服务器和存储介质 |
| CN113490009B (zh) * | 2021-07-06 | 2023-04-21 | 广州虎牙科技有限公司 | 内容信息植入方法、装置、服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233196B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108900776B (zh) | 用于确定响应时间的方法和装置 | |
| US10499035B2 (en) | Method and system of displaying a popping-screen | |
| KR102463304B1 (ko) | 비디오 처리 방법 및 장치, 전자기기, 컴퓨터 판독 가능한 저장 매체 및 컴퓨터 프로그램 | |
| CN112233196B (zh) | 直播间绿屏检测方法、装置、设备及存储介质 | |
| US20200118257A1 (en) | Image Processing Method, Terminal, and Non-Transitory Computer-Readable Storage Medium | |
| CN111105392B (zh) | 显示性能测试方法、装置及存储介质 | |
| CN112001274A (zh) | 人群密度确定方法、装置、存储介质和处理器 | |
| CN110826799A (zh) | 业务预测方法、装置、服务器及可读存储介质 | |
| CN111028348A (zh) | 一种大批量模型快速加载的方法 | |
| CN109656791B (zh) | 一种基于Jmeter的gRPC性能测试方法及装置 | |
| CN111161592B (zh) | 课堂监督方法和督课终端 | |
| CN115934179B (zh) | 业务功能控制方法及设备 | |
| CN112235213B (zh) | 一种sdn交换机分流方法、***、终端及存储介质 | |
| CN112995254B (zh) | 传输心跳信息的方法、设备、***、装置及组件 | |
| CN106802856B (zh) | 游戏应用程序的性能测试方法、服务器和游戏应用客户端 | |
| CN111290873B (zh) | 故障处理方法和装置 | |
| US20210118141A1 (en) | Defect enhancement | |
| CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 | |
| CN117592974B (zh) | 基于元宇宙的设备维修方法、装置、电子设备和可读介质 | |
| CN111325148A (zh) | 遥感影像的处理方法、装置、设备和存储介质 | |
| CN111815656B (zh) | 视频处理方法、装置、电子设备和计算机可读介质 | |
| CN117093466B (zh) | 性能测试方法、装置、电子设备及存储介质 | |
| CN108228303B (zh) | 关联账户的更新方法及装置 | |
| CN111950126A (zh) | 数据耦合与传输方法及装置 | |
| CN117253106A (zh) | 模型训练方法、缺陷类型确定方法及装置、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |