CN107241644B - 一种视频直播过程中的图像处理方法和装置 - Google Patents

一种视频直播过程中的图像处理方法和装置 Download PDF

Info

Publication number
CN107241644B
CN107241644B CN201710405153.8A CN201710405153A CN107241644B CN 107241644 B CN107241644 B CN 107241644B CN 201710405153 A CN201710405153 A CN 201710405153A CN 107241644 B CN107241644 B CN 107241644B
Authority
CN
China
Prior art keywords
image
video intercepting
net cast
video
business process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710405153.8A
Other languages
English (en)
Other versions
CN107241644A (zh
Inventor
张志东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710405153.8A priority Critical patent/CN107241644B/zh
Publication of CN107241644A publication Critical patent/CN107241644A/zh
Priority to PCT/CN2018/088397 priority patent/WO2018219222A1/zh
Application granted granted Critical
Publication of CN107241644B publication Critical patent/CN107241644B/zh
Priority to US16/536,484 priority patent/US11178450B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种视频直播过程中的图像处理方法和装置，用于通过图像比对实现视频直播过程中的图像自动提取，节省运营人员的工作量。本发明实施例提供一种视频直播过程中的图像处理方法，包括：获取为业务进程预设的特征图像；按照截图间隔从视频直播数据流中获取到视频截取图像；检测所述视频截取图像上是否存在所述特征图像；当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像。

Description

一种视频直播过程中的图像处理方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频直播过程中的图像处理方法和装置。
背景技术
当前游戏视频直播发展迅速，其中最热门的是多人在线战术竞技游戏(Multiplayer Online Battle Arena，MOBA)类游戏视频直播，越来越多的玩家通过相关的官方赛事或视频直播平台直播自己的游戏进程，也有越来越多的玩家通过观看这些视频直播来学习游戏相关的操作和技术。
对于游戏进程中的信息，现有技术中由运营人员在观看视频直播的过程中进行手工录入。通过运营人员观看游戏视频直播，在出现需要录入的相关信息时，由运营人员通过运营***手工录入。
现有技术中对于手工录入游戏进程的信息，需要运营人员全程关注游戏进程，并在需要录入时手工的录入游戏进程的信息。这种手工录入的方案至少存在如下技术问题：1)、现有技术中需要配置运营人员，只适用于数量有限的游戏视频直播，无法适用于数量很大的游戏视频直播，一个运营人员在同一个时间只能对一场直播录入游戏进程的信息，因此现有技术中只能在重要的、数量有限的官方赛事直播中使用运营人员手动录入的方案，而对于数量众多的个人直播则没有办法实行。2)、现有技术中需要运营人员人工输入游戏进程的信息，由于个人精力和专注力的不可持续性，也容易出现相关信息的漏报和错报。3)、从运营人员发现需要录入的游戏进程的信息，再手工输入该信息，再上报到相关的后台服务，必然导致信息录入的延迟也比较大，根本不适用于游戏视频直播。
发明内容
本发明实施例提供了一种视频直播过程中的图像处理方法和装置，用于通过图像比对实现视频直播过程中的图像自动提取，节省运营人员的工作量。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种视频直播过程中的图像处理方法，包括：
获取为业务进程预设的特征图像；
按照截图间隔从视频直播数据流中获取到视频截取图像；
检测所述视频截取图像上是否存在所述特征图像；
当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像。
第二方面，本发明实施例还提供一种视频直播过程中的图像处理装置，包括：
特征获取模块，用于获取为业务进程预设的特征图像；
视频截取模块，用于按照截图间隔从视频直播数据流中获取到视频截取图像；
特征检测模块，用于检测所述视频截取图像上是否存在所述特征图像；
图像输出模块，用于当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像。
本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，获取为业务进程预设的特征图像，按照截图间隔从视频直播数据流中获取到视频截取图像，检测视频截取图像上是否存在特征图像，当视频截取图像上检测到特征图像时，输出该视频截取图像。本发明实施例中通过实时提取视频直播数据流得到视频截取图像，对视频截取图像进行图像识别，在该视频截取图像上检测到业务进程的特征图像时输出该视频截取图像。通过图像识别技术，可以精确、快速、无间断的获取包括有特征图像的视频截取图像。运营人员不再需要实时关注视频直播过程，极大的减少了运营人员的工作量。通过图像比对实现视频直播过程中的图像自动提取，省去了进程信息的手动提取过程，不存在进程信息的漏报、错报和上报延迟。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频直播过程中的图像处理方法的流程方框示意图；
图2-a为本发明实施例提供的视频直播窗口的一种应用场景示意图；
图2-b为图2-a所示的直播界面内的视频直播窗口进行截取得到的示意图；
图3-a为本发明实施例提供的特征图像和样例内容图像的一种应用场景示意图；
图3-b为图3-a所示的视频截图中截取得到的特征图像的示意图；
图3-c为图3-a所示的视频截图中截取得到的样例内容图像的示意图；
图4-a为本发明实施例提供的进程信息在视频直播窗口内的显示场景示意图；
图4-b为图4-a所示的视频直播窗口内显示的视频出装图像的示意图；
图5-a为本发明实施例提供的一种视频直播过程中的图像处理装置的组成结构示意图；
图5-b为本发明实施例提供的一种视频直播过程中的图像处理装置的组成结构示意图；
图5-c为本发明实施例提供的一种视频直播过程中的图像处理装置的组成结构示意图；
图5-d为本发明实施例提供的一种视频直播过程中的图像处理装置的组成结构示意图；
图6为本发明实施例提供的视频直播过程中的图像处理方法应用于终端的组成结构示意图。
具体实施方式
本发明实施例提供了一种视频直播过程中的图像处理方法和装置，用于通过图像比对实现视频直播过程中的图像自动提取，节省运营人员的工作量。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明视频直播过程中的图像处理方法的一个实施例，具体可以应用于视频直播平台中通过图像比对实现视频直播过程中的图像自动提取，而不需要运营人员手工提取进程信息。该视频直播平台可以用于游戏视频直播，也可以用于比赛赛事直播。请参阅图1所示，本发明一个实施例提供的视频直播过程中的图像处理方法，可以包括如下步骤：
101、获取为业务进程预设的特征图像。
在本发明实施例中，业务进程是需要获取进程信息的视频直播进程，例如该业务进程可以是游戏进程。业务进程是视频直播的进展情况，对于视频直播的直播观看用户而言，直播观看用户可以向视频直播平台定制需要观战的进程。接下来举例说明业务进程，该业务进程可以包括游戏进程，该业务进程也也可以包括其他应用实现场景下的进程，例如办公软件等。其中，业务进程可以使用进程标识来表示。举例说明，游戏进程可以包括：游戏的开始与结束、游戏进程内的战斗信息、装备的出装信息，其中，装备的出装是指本次游戏战斗双方各采用的具体装备。
在本发明实施例中，视频直播的直播观看用户可以选择需要观战的业务进程，在业务进程确定下来之后，根据业务进程从视频直播平台上获取到为业务进程预设的特征图像。其中，特征图像是用于识别的图像特征集合，该特征图像包括有业务进程的视频图像。例如，直播观看用户需要从视频直播平台上观看游戏场景中装备的出装信息，则可以从视频直播平台上选择包括有出装信息的游戏页面作为特征图像。
在本发明的一些实施例中，步骤101获取为业务进程预设的特征图像，包括：
A1、获取业务进程对应的样例截取图像；
A2、从样例截取图像上获取到为业务进程预设的特征图像，特征图像，包括：第一位置坐标和第一长宽信息；
A3、从样例截取图像上获取到样例内容图像，样例内容图像，包括：第二位置坐标和第二长宽信息。
其中，在视频直播过程中需要显示的业务进程确定下来之后，首先获取到该业务进程对应的样例截取图像，例如该样例截取图像可以从视频直播窗口上获取到，也可以视频直播应用程序的素材库中获取到。举例说明，在视频直播客户端的显示界面上显示有视频直播窗口，该视频直播窗口内显示有视频图像，针对视频直播的页面不同，视频直播窗口内可显示相应的页面。
当观众用户确定需要观战具体的进程(例如业务进程)时，对该视频直播窗口上显示业务进程的图像进行截屏，从而可以得到业务进程对应的样例截取图像。该样例截取图像是从视频直播窗口上截屏得到，通常在视频直播开始之前，先获取到该样例截取图像。接下来从该样例截取图像上查找到特征图像，例如从样例截取图像上获取到在视频过程中能够标识业务进程的某个图像块作为特征图像，业务进程的特征图像是区别于其它进程的视频图像，该特征图像可以是样例截取图像上的某个菜单按钮，或者显示位置在视频直播过程中不发生改变的显示框，将特征图像在视频直播窗口上的位置标记为第一位置坐标，将该特征图像的长度数据和宽度数据标记为第一长宽信息。最后从样例截取图像上获取到样例内容图像，其中样例内容图像指示了需要截取图像内容的位置以及截取的具体区域，该样例内容图像在视频直播窗口上的位置标记为第二位置坐标，该样例内容图像在视频直播窗口上的长度数据和宽度数据标记为第二长宽信息。
举例说明如下，以直播观看用户需要观看的业务进程为装备的出装信息为例，从样例截取图像上找出出装图中区别于其它图像时的一部分图像，称之为特征图像，并存储下以下信息：以样例截取图像的左上角为坐标原点(0,0) 为例，特征图像的左上角起始坐标(x1,y1)，特征图像的宽度高度(w1,h1)，同时，将该特征图像截取下来并保存。根据该样例截取图像找出游戏内出装内容图像，并且记录下以下信息：出装图像的左上角起始坐标(x2,y2)，出装图像的宽度高度(w2,h2)。
102、按照截图间隔从视频直播数据流中获取到视频截取图像。
在本发明实施例中，设置截图时间的间隔，假设为每3秒，通过对视频直播平台上播放的视频直播数据流进行解码，并每3秒获取到当前的视频直播截图，称之为视频截取图像。需要说明的是，截图间隔设置完成后，可以从视频直播数据流中按照截图间隔获取到多个视频截取图像，在每获取到一个视频截取图像之后，都需要执行步骤103中的检测流程。
需要说明的是，前述步骤101和步骤102之间不具有时序或者逻辑上的先后顺序，例如可以先执行步骤101再执行步骤102，也可以先执行步骤102 再执行步骤101，还可以同时执行步骤101和步骤102，其中，图1中以先执行步骤101再执行步骤102为例进行举例说明。
103、检测视频截取图像上是否存在特征图像。
在本发明实施例中，通过步骤102获取到视频截取图像之后，接下来对该视频截取图像进行图像分析，检测该视频截取图像上是否存在步骤101中获取到的特征图像，即需要检测在视频截取图像上是否出现了特征图像，即特征图像的特征是否也位于视频截取图像之上，若视频截取图像上检测到特征图像，则说明当前获取到的视频截取图像包括有业务进程的进程信息，举例说明，若业务进程是游戏场景中的出装信息，那么当前获取到的视频截取图像上出现符合该业务进程的特征图像时，则说明该视频截取图像已经出现了符合直播观看用户需求的出装信息。若视频截取图像上没有检测到特征图像，则说明当前获取到的视频截取图像不包括业务进程的进程信息。
本发明实施例中，视频直播数据流是通过视频直播平台推给用户客户端的，用户客户端上可显示该视频直播数据流，本发明实施例中可以按照截图间隔对视频进行解码并获取每帧图像，并且对每帧图像的检测也可以使用图像对比算法进行自动检测，本发明实施例提供视频图像的截取以及图像的特征分析都不需要依赖于视频直播平台的运营人员即可自动完成，因此准确率和效率可以得到保证。
在本发明的一些实施例中，在前述执行步骤A1至A3的实现场景下，步骤103检测视频截取图像上是否存在特征图像，包括：
B1、根据第一位置坐标和第一长宽信息从视频截取图像上截取出对比图像，对比图像在视频截取图像上的位置坐标为第一位置坐标，对比图像在视频截取图像上的长宽信息为第一长宽信息；
B2、通过图像比对确定对比图像和特征图像是否相同，若对比图像和特征图像相同，确定视频截取图像上检测到特征图像，若对比图像和特征图像不相同，确定视频截取图像上没有检测到特征图像
其中，通过步骤102获取到视频截取图像之后，从该视频截取图像上截取出符合第一位置坐标和第一长宽信息的对比图像，该对比图像在视频截取图像上的位置和大小，与特征图像的位置和大小是相同的。接下来通过图像比对算法可以比对特征图像和对比图像这两个图像是否是相同的图像，例如可以采用的图像比对算法是OpenCV的AKAZE方法。
在本发明的一些实施例中，本发明实施例提供的视频直播过程中的图像处理方法除了执行前述的步骤之外，还可以包括如下步骤：
C1、当视频截取图像上没有检测到特征图像时，检测已经达到下一次的截图间隔时，触发执行前述步骤102：按照截图间隔从视频直播数据流中获取到视频截取图像。
其中，步骤103检测视频截取图像上是否存在特征图像，除了执行步骤 104，若视频截取图像上没有检测到特征图像，则本次的视频直播截图处理流程结束，需要等待下一次的截图间隔到达时触发执行前述步骤102，通过再次执行步骤102可以得到下一帧的视频截取图像，再次执行步骤103至步骤104。
104、当视频截取图像上检测到特征图像时，输出该视频截取图像。
在本发明实施例中，若视频截取图像上检测到特征图像，则说明当前获取到的视频截取图像是符合业务进程要求的视频图像，接下来将该视频截取图像输出。本发明实施例中包括有特征图像的视频截取图像可以包括多种情况，例如将该视频截取图像通过显示屏幕向视频直播的观众输出，使得观众能够实时的获取到业务进程的进程情况。又如，将该视频截取图像从终端的内存中输出，保存为业务进程对应的进程图像，从而便于对该视频截取图像进行图像内容的分析以及信息提取。
举例说明，输出从该视频截取图像上可以获取到业务进程对应的进程信息，例如可从视频截取图像上获取到某个游戏事件以及对应的时间。可以理解的是，针对需要关注的业务进程的不同，从视频截取图像上获取到的进程信息也是不相同的。举例说明，业务进程是游戏进程内的战斗信息，若视频截取图像上检测到战斗信息的特征图像，则可以从该视频截取图像上获取到游戏进程内的战斗进展情况。
在本发明的一些实施例中，在前述执行步骤A1至A3的实现场景下，步骤104输出该视频截取图像，包括：
D1、根据第二位置坐标和第二长宽信息从视频截取图像上截取出业务进程对应的进程内容图像，并输出该进程内容图像。
其中，若视频截取图像上检测到特征图像，则说明当前获取到的视频截取图像是符合业务进程要求的视频图像，在前述步骤A3所示场景下，样例内容图像的位置坐标为第二位置坐标，样例内容图像的长度数据和宽度数据是第二长宽信息，从该视频截取图像上截取出符合第二位置坐标和第二长宽信息的进程内容图像，该进程内容图像在视频截取图像上的位置和大小，与样例内容的位置和大小是相同的。将该进程内容图像输出后，在本发明的另一些实施例中，还可以通过分析进程内容图像，可以获取到业务进程对应的进程信息。例如业务进程为游戏的开始和结束，则通过分析进程内容图像，可以确定游戏视频直播的开始直播时间以及结束直播时间。
在本发明的一些实施例中，步骤104输出该视频截取图像之后，方法还包括：
E1、从视频截取图像获取到业务进程对应的进程信息；
E2、在视频直播窗口上显示业务进程对应的进程信息。
其中，输出该视频截取图像之后，可以进一步的对该视频截取图像进行图像内容的分析以及信息提取。举例说明，输出从该视频截取图像上可以获取到业务进程对应的进程信息，例如可从视频截取图像上获取到某个游戏事件以及对应的时间，完成对视频截取图像的进程信息获取之后，通过视频直播窗口可以向用户显示业务进程对应的进程信息。
在本发明的一些实施例中，上述步骤E2在视频直播窗口上显示业务进程对应的进程信息，包括：
E21、接收用户下发的进程调取指令；
E22、根据所述进程调取指令在视频直播窗口上显示所述业务进程对应的进程信息。
举例说明，用户可以通过视频直播客户端下发进程调取指令，接下来可以根据进程调取指令在视频直播窗口上显示业务进程对应的进程信息，从而可以完成根据用户的指令实时的自动显示进程信息，整个进程的处理不需要运营人员参与即可完成。
通过以上实施例对本发明实施例的描述可知，获取为业务进程预设的特征图像，按照截图间隔从视频直播数据流中获取到视频截取图像，检测视频截取图像上是否存在特征图像，当视频截取图像上检测到特征图像时，输出该视频截取图像。本发明实施例中通过实时提取视频直播数据流得到视频截取图像，在该视频截取图像上检测到业务进程的特征图像时输出该视频截取图像。通过图像识别技术，可以精确、快速、无间断的获取包括有特征图像的视频截取图像。运营人员不再需要实时关注视频直播过程，极大的减少了运营人员的工作量。通过图像比对实现视频直播过程中的图像自动提取，省去了进程信息的手动提取过程，不存在进程信息的漏报、错报和上报延迟。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
以视频直播平台具体为游戏视频直播平台为例，直播观看用户需要关注的进程是游戏进程的出装信息。本发明实施例通过对游戏视频直播内容进行视频解码获取视频截取图像，再通过相关的智能图像识别技术，自动获取游戏进程的进程信息，并将这些进程信息用于视频直播的运营。例如，游戏过程中发生了事件，比如某个选手使用的某英雄击败了另外选手的英雄，比如游戏结束了，这些进程信息都可以被用于视频直播的运营。其中，游戏进行的进程信息包括但不限于：游戏的开始与结束，游戏进程内的战斗信息，装备的出装信息等。
本发明实施例提供的技术方案通过实时提取游戏视频截取图像，通过智能图像识别技术，可以精确、快速、无间断的获取游戏进程的进程信息并上报，减轻了运营人员的运营成本，极大的提升了进程信息的获取速度和准确度。接下来以某一游戏视频直播为例，举例说明本发明实施例的一种实际产品应用。
本发明实施例中游戏客户端内的直播界面如图2-a所示，其中位于左侧占据大部分屏幕的窗口为游戏场景下的视频直播窗口，即图2-a中界面上方菜单“视频、竞猜、赛事”与下方菜单“热词、弹幕、高清”之间的框线所框住的部分为视频直播窗口，图2-b为图2-a所示的直播界面内的视频直播窗口进行截取得到的示意图。为了解决观众玩家主动、实时观看出装信息的需求，本发明实施例提供的技术方案可包括如下过程：
1、在比赛前获取到游戏内相关出装信息的游戏截图，如图3-a所示，为方便后续的说明，在该游戏截图上加上框线，并存储下以下信息：游戏截图的长度、宽度(w,h)，以像素为单位。
2、根据步骤1中在比赛之前获取到的游戏截图，找出出装图中区别于其它图像时的一部分图像，这里将以图3-a中的“对阵属性”菜单称之为“特征图像”，并存储下以下信息：特征图像的左上角起始坐标(x1,y1)，特征图像的宽度高度(w1,h1)。同时，将该特征图像截取下来并保存。需要说明的是，后续实施例中以左上角作为坐标原点(0,0)为例进行说明，不限定的是，坐标原点还可以选择为左下角。
需要说明的是，步骤1和步骤2中可以获取到用来进行智能识别的特征图像，所以需要在比赛前获取，由于图3-a中的某些位置(例如“对阵属性”、“英雄属性”、“经验走势”、“经济走势”)是固定不变的，因此才能通过在游戏中的实时截图与提前获取的特征图像的相同位置对比来确定实时截图是否为需要存储的出装图。例如，图3-b为图3-a所示的视频截图中截取得到的特征图像的示意图，图3-b中的“对阵属性”的图像块为特征图像。在直播过程中，角色的出装信息是由用户实时操作，用户操作购买或卖掉某些装备，游戏***进行统计和展示出装信息。
3、根据游戏截图，找出游戏进程需要的游戏内出装图，如图3-a和图3-c中所示的框线内部分，图3-c为图3-a所示的视频截图中截取得到的样例内容图像的示意图，记录下图3-c中的以下信息：出装图的左上角起始坐标(x2,y2)；出装图的宽度高度(w2,h2)。
通过前述步骤1和步骤2可以获取到特征图像。
4、在游戏视频直播开始后，运营人员在前方推一路专有的游戏视频直播流，该视频直播流的视频参数设置为前述1步骤中的宽度与高度，即(w,h)。该视频直播流在游戏进程开始后，即由现场运营人员切换游戏界面切到出装信息图上，并一直保持，运营人员在该局游戏结束前不再需要任何其它操作。
5、设置出装信息截图时间的间隔，假设为每3秒，通过对该视频直播流进行解码，并每三秒获取到当前视频直播截图，称之为“直播截图”。获取该直播截图后，将前述2步骤中该直播截图与特征图像的相同位置(即左上角坐标(x1,y1)，宽度高度(w1,h1))的图像截取出来，称之为对比图像。其中，特征图像是游戏开始前截取的，对比图像是游戏开始后实时截取的。
6、将前述5步骤中的对比图像与前述2步骤中存储的特征图像进行对比。其中，图像对比可以使用开源的OpenCV的AKAZE方法。关于OpenCV与AKAZE的技术的具体实现过程，请参考http://opencv.org。根据比较结果即可判断当前直播截图是否为需要的出装信息图，如果结果为否，则该次直播截图处理流程结束，等待下一个三秒后的直播截图后，转步骤5执行。
7、如果步骤6中的判断结果为是，即表示当前直播截图有需要的视频图像，将该直播截图与前述步骤3中的“出装图”相同位置的图像(即左上角坐标(x2,y2)、宽度高度(w2,h2))截取并保存，该保存图像即为需要的“出装信息图”。
8、如图4-a所示，为本发明实施例提供的进程信息在视频直播窗口内的显示场景示意图，图4-b为图4-a所示的视频直播窗口内显示的视频出装图像的示意图。电视台的观众，即可通过电视台用户界面(User Interface，UI)中内置的“出装”按钮，主动、实时获取当前游戏直播进程中的选手出装信息。
本发明实施例中通过图像比对，获取到直播过程中的每个出装图，并保存，若用户点击出装按钮，就可以实时调取出，然后显示给用户。
本技术方案实施后，只需要获取到特征图像，以及游戏直播开始后的视频截取图像，运营人员不再需要实时关注游戏进程，极大的减少了运营人员的工作量；同时由于本技术方案和***在游戏直播进程中智能判断当前视频内容，并通过提前设置的特征图像与实时截取的对比图像进行对比就可以获取到游戏进程的进程信息，从而极大的提升了游戏进程信息获取的效率，同时也减少了信息获取出错的概率，因为现有技术中运营人员手工输入可能出现错误。
需要说明的是，本发明实施例中，游戏进程信息包括：游戏的开始与结束，游戏进程内的战斗信息和出装信息。前例说明了出装信息获取，对于游戏的开始与结束，游戏进程内的战斗信息的获取都与出装信息的获取相类似，只需要设置相应的特征图即可。
综上所述，本发明实施例提出了一种从游戏视频直播内容截图中，通过智能图像识别技术获取游戏进程相关信息的技术方案。上述技术方案获取游戏装备出装截图，仅为该技术方案的其中一种应用，还可以依据该技术方案获取更多的游戏进程信息。比如将特征图设为游戏开始或结束特征图像，即可获得游戏开始与结束的事件与时间。如果将特征图换位游戏内的战斗信息，比如选手击杀的特征图，还可获得游戏内的击杀事件与时间等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图5-a所示，本发明实施例提供的一种视频直播过程中的图像处理装置500，可以包括：特征获取模块501、视频截取模块502、特征检测模块 503、图像输出模块504，其中，
特征获取模块501，用于获取为业务进程预设的特征图像；
视频截取模块502，用于按照截图间隔从视频直播数据流中获取到视频截取图像；
特征检测模块503，用于检测所述视频截取图像上是否存在所述特征图像；
图像输出模块504，用于当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像。
在本发明的一些实施例中，请参阅图5-b所示，所述特征获取模块501，包括：
样例获取模块5011，用于获取所述业务进程对应的样例截取图像；
特征定位模块5012，用于从所述样例截取图像上获取到为所述业务进程预设的特征图像，所述特征图像，包括：第一位置坐标和第一长宽信息；
内容定位模块5013，用于从所述样例截取图像上获取到样例内容图像，所述样例内容图像，包括：第二位置坐标和第二长宽信息。
在本发明的一些实施例中，请参阅图5-c所示，所述特征检测模块503，包括：
对比图像截取模块5031，用于根据所述第一位置坐标和所述第一长宽信息从所述视频截取图像上截取出对比图像，所述对比图像在所述视频截取图像上的位置坐标为所述第一位置坐标，所述对比图像在所述视频截取图像上的长宽信息为所述第一长宽信息；
图像比对模块5032，用于通过图像比对确定所述对比图像和所述特征图像是否相同，若所述对比图像和所述特征图像相同，确定所述视频截取图像上检测到所述特征图像，若所述对比图像和所述特征图像不相同，确定所述视频截取图像上没有检测到所述特征图像。
在本发明的一些实施例中，所述图像输出模块504，具体用于根据所述第二位置坐标和所述第二长宽信息从所述视频截取图像上截取出所述业务进程对应的进程内容图像，并输出所述进程内容图像。
在本发明的一些实施例中，样例获取模块5011，具体用于从视频直播窗口上获取所述业务进程对应的样例截取图像。
在本发明的一些实施例中，请参阅图5-d所示，所述视频直播过程中的图像处理装置500还包括：
信息获取模块505，用于所述图像输出模块504输出所述视频截取图像之后，从所述视频截取图像获取到所述业务进程对应的进程信息；
显示模块506，用于在视频直播窗口上显示所述业务进程对应的进程信息。
在本发明的一些实施例中，所述显示模块506，具体用于接收用户下发的进程调取指令；根据所述进程调取指令在视频直播窗口上显示所述业务进程对应的进程信息。
在本发明的一些实施例中，所述特征检测模块503，还用于当所述视频截取图像上没有检测到所述特征图像时，检测已经达到下一次的截图间隔时，触发执行所述视频截取模块。
通过以上对本发明实施例的描述可知，获取为业务进程预设的特征图像，按照截图间隔从视频直播数据流中获取到视频截取图像，检测视频截取图像上是否存在特征图像，当视频截取图像上检测到特征图像时，输出该视频截取图像。本发明实施例中通过实时提取视频直播数据流得到视频截取图像，对视频截取图像进行图像识别，在该视频截取图像上检测到业务进程的特征图像时输出该视频截取图像。通过图像识别技术，可以精确、快速、无间断的获取包括有特征图像的视频截取图像。运营人员不再需要实时关注视频直播过程，极大的减少了运营人员的工作量。通过图像比对实现视频直播过程中的图像自动提取，省去了进程信息的手动提取过程，不存在进程信息的漏报、错报和上报延迟。
本发明实施例还提供了另一种终端，如图6所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑等任意终端设备，以终端为手机为例：
图6示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图6，手机包括：射频(Radio Frequency，RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进 (Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service， SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元 1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图6中，触控面板1031 与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理***与处理器1080逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明的前述实施例中，手机包括：处理器1080，存储器1020；所述处理器1080、所述存储器1020通过总线相互的通信；
所述存储器1020用于存储程序、指令和数据；
所述处理器1080，调用所述存储器1020中的程序、指令和数据，用于执行前述图1的实施例所示的方法。举例说明，该终端所包括的处理器1080还具有控制执行以上由终端执行的视频直播过程中的图像处理方法流程。
通过以上实施例对本发明实施例的描述可知，获取为业务进程预设的特征图像，按照截图间隔从视频直播数据流中获取到视频截取图像，检测视频截取图像上是否存在特征图像，当视频截取图像上检测到特征图像时，输出该视频截取图像。本发明实施例中通过实时提取视频直播数据流得到视频截取图像，在该视频截取图像上检测到业务进程的特征图像时输出该视频截取图像。通过图像识别技术，可以精确、快速、无间断的获取包括有特征图像的视频截取图像。运营人员不再需要实时关注视频直播过程，极大的减少了运营人员的工作量。通过图像比对实现视频直播过程中的图像自动提取，省去了进程信息的手动提取过程，不存在进程信息的漏报、错报和上报延迟。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种视频直播过程中的图像处理方法，其特征在于，包括：
获取为业务进程预设的特征图像；
按照截图间隔从视频直播数据流中获取到视频截取图像；
检测所述视频截取图像上是否存在所述特征图像；
当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像；
其中，所述获取为业务进程预设的特征图像，包括：
获取所述业务进程对应的样例截取图像；
从所述样例截取图像上获取到为所述业务进程预设的特征图像。
2.根据权利要求1所述的方法，其特征在于，所述特征图像，包括：第一位置坐标和第一长宽信息；
所述检测所述视频截取图像上是否存在所述特征图像，包括：
根据所述第一位置坐标和所述第一长宽信息从所述视频截取图像上截取出对比图像，所述对比图像在所述视频截取图像上的位置坐标为所述第一位置坐标，所述对比图像在所述视频截取图像上的长宽信息为所述第一长宽信息；
通过图像比对确定所述对比图像和所述特征图像是否相同，若所述对比图像和所述特征图像相同，确定所述视频截取图像上检测到所述特征图像，若所述对比图像和所述特征图像不相同，确定所述视频截取图像上没有检测到所述特征图像。
3.根据权利要求1所述的方法，其特征在于，还包括从所述样例截取图像上获取到样例内容图像，所述样例内容图像，包括：第二位置坐标和第二长宽信息；
所述输出所述视频截取图像，包括：
根据所述第二位置坐标和所述第二长宽信息从所述视频截取图像上截取出所述业务进程对应的进程内容图像，并输出所述进程内容图像。
4.根据权利要求1所述的方法，其特征在于，所述获取所述业务进程对应的样例截取图像，包括：
从视频直播窗口上获取所述业务进程对应的样例截取图像。
5.根据权利要求1所述的方法，其特征在于，所述输出所述视频截取图像之后，所述方法还包括：
从所述视频截取图像获取到所述业务进程对应的进程信息；
在视频直播窗口上显示所述业务进程对应的进程信息。
6.根据权利要求5所述的方法，其特征在于，所述在视频直播窗口上显示所述业务进程对应的进程信息，包括：
接收用户下发的进程调取指令；
根据所述进程调取指令在视频直播窗口上显示所述业务进程对应的进程信息。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
当所述视频截取图像上没有检测到所述特征图像时，检测已经达到下一次的截图间隔时，触发执行如下步骤：按照截图间隔从视频直播数据流中获取到视频截取图像。
8.一种视频直播过程中的图像处理装置，其特征在于，包括：
特征获取模块，用于获取为业务进程预设的特征图像；
视频截取模块，用于按照截图间隔从视频直播数据流中获取到视频截取图像；
特征检测模块，用于检测所述视频截取图像上是否存在所述特征图像；
图像输出模块，用于当所述视频截取图像上检测到所述特征图像时，输出所述视频截取图像；
其中，所述特征获取模块，包括：
样例获取模块，用于获取所述业务进程对应的样例截取图像；
特征定位模块，用于从所述样例截取图像上获取到为所述业务进程预设的特征图像。
9.根据权利要求8所述的装置，其特征在于，所述特征图像，包括：第一位置坐标和第一长宽信息；
所述特征检测模块，包括：
对比图像截取模块，用于根据所述第一位置坐标和所述第一长宽信息从所述视频截取图像上截取出对比图像，所述对比图像在所述视频截取图像上的位置坐标为所述第一位置坐标，所述对比图像在所述视频截取图像上的长宽信息为所述第一长宽信息；
图像比对模块，用于通过图像比对确定所述对比图像和所述特征图像是否相同，若所述对比图像和所述特征图像相同，确定所述视频截取图像上检测到所述特征图像，若所述对比图像和所述特征图像不相同，确定所述视频截取图像上没有检测到所述特征图像。
10.根据权利要求8所述的装置，其特征在于，所述特征获取模块还包括内容定位模块，用于从所述样例截取图像上获取到样例内容图像，所述样例内容图像，包括：第二位置坐标和第二长宽信息；
所述图像输出模块，具体用于根据所述第二位置坐标和所述第二长宽信息从所述视频截取图像上截取出所述业务进程对应的进程内容图像，并输出所述进程内容图像。
11.根据权利要求8所述的装置，其特征在于，所述样例获取模块，具体用于从视频直播窗口上获取所述业务进程对应的样例截取图像。
12.根据权利要求8所述的装置，其特征在于，所述视频直播过程中的图像处理装置还包括：
信息获取模块，用于所述图像输出模块输出所述视频截取图像之后，从所述视频截取图像获取到所述业务进程对应的进程信息；
显示模块，用于在视频直播窗口上显示所述业务进程对应的进程信息。
13.根据权利要求12所述的装置，其特征在于，所述显示模块，具体用于接收用户下发的进程调取指令；根据所述进程调取指令在视频直播窗口上显示所述业务进程对应的进程信息。
14.根据权利要求8至13中任一项所述的装置，其特征在于，所述特征检测模块，还用于当所述视频截取图像上没有检测到所述特征图像时，检测已经达到下一次的截图间隔时，触发执行所述视频截取模块。
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的方法。
CN201710405153.8A 2017-05-31 2017-05-31 一种视频直播过程中的图像处理方法和装置 Active CN107241644B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710405153.8A CN107241644B (zh) 2017-05-31 2017-05-31 一种视频直播过程中的图像处理方法和装置
PCT/CN2018/088397 WO2018219222A1 (zh) 2017-05-31 2018-05-25 视频直播过程中的图像处理方法和装置、存储介质
US16/536,484 US11178450B2 (en) 2017-05-31 2019-08-09 Image processing method and apparatus in video live streaming process, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710405153.8A CN107241644B (zh) 2017-05-31 2017-05-31 一种视频直播过程中的图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN107241644A CN107241644A (zh) 2017-10-10
CN107241644B true CN107241644B (zh) 2018-09-07

Family

ID=59984761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710405153.8A Active CN107241644B (zh) 2017-05-31 2017-05-31 一种视频直播过程中的图像处理方法和装置

Country Status (3)

Country Link
US (1) US11178450B2 (zh)
CN (1) CN107241644B (zh)
WO (1) WO2018219222A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241644B (zh) 2017-05-31 2018-09-07 腾讯科技（深圳）有限公司 一种视频直播过程中的图像处理方法和装置
CN108632633B (zh) * 2018-04-28 2021-08-10 网易（杭州）网络有限公司 一种网络直播的数据处理方法和装置
CN108632632B (zh) * 2018-04-28 2021-12-10 网易（杭州）网络有限公司 一种网络直播的数据处理方法和装置
CN109847364A (zh) * 2019-03-04 2019-06-07 上海珑讯电竞信息科技有限公司 一种电子竞技比赛赛事引擎
US20230233943A1 (en) * 2019-10-11 2023-07-27 Pepper Esports Inc. Method and system for processing textual depictions in a computer game screenshot
CN111324249B (zh) 2020-01-21 2020-12-01 北京达佳互联信息技术有限公司 多媒体素材生成方法、装置及存储介质
CN111737599A (zh) * 2020-05-07 2020-10-02 北京城市网邻信息技术有限公司 一种房源对象的验证方法和装置
CN112367530A (zh) * 2020-10-29 2021-02-12 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备和存储介质
CN114554297B (zh) * 2022-01-17 2024-02-23 北京达佳互联信息技术有限公司 页面截图方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263907A (zh) * 2011-08-04 2011-11-30 央视国际网络有限公司 比赛视频的播放控制方法及其片段信息的生成方法和装置
CN105009599A (zh) * 2012-12-31 2015-10-28 谷歌公司 精彩时刻的自动标识
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和***
CN106445153A (zh) * 2016-09-29 2017-02-22 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN106550249A (zh) * 2016-11-07 2017-03-29 天脉聚源(北京)传媒科技有限公司 一种虚拟频道的节目编排方法及***

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110312414A1 (en) * 2010-06-16 2011-12-22 Microsoft Corporation Automated certification of video game advertising using ocr
JP5092000B2 (ja) * 2010-09-24 2012-12-05 株式会社東芝 映像処理装置、方法、及び映像処理システム
US8984562B2 (en) * 2011-01-13 2015-03-17 Verizon Patent And Licensing Inc. Method and apparatus for interacting with a set-top box using widgets
US9798457B2 (en) * 2012-06-01 2017-10-24 Microsoft Technology Licensing, Llc Synchronization of media interactions using context
US9352226B2 (en) * 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
CA2914204A1 (en) * 2013-06-03 2014-12-11 Miworld Technologies Inc. System and method for image based interactions
US10565818B2 (en) * 2016-09-26 2020-02-18 Everi Games, Inc. Apparatus and methods for facilitating wagering on games conducted on an independent video gaming system
JP6348732B2 (ja) * 2014-03-05 2018-06-27 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20150296250A1 (en) * 2014-04-10 2015-10-15 Google Inc. Methods, systems, and media for presenting commerce information relating to video content
CN104978117B (zh) * 2014-04-11 2018-11-09 阿里巴巴集团控股有限公司 一种实现截屏的方法和装置
US10223438B1 (en) * 2014-04-24 2019-03-05 Broadbandtv, Corp. System and method for digital-content-grouping, playlist-creation, and collaborator-recommendation
US9600723B1 (en) * 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
US9986288B2 (en) * 2014-08-21 2018-05-29 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
EP3262643A4 (en) * 2015-02-24 2019-02-20 Plaay, LLC SYSTEM AND METHOD FOR CREATING A VIDEO OF SPORTS
US10129582B2 (en) * 2015-06-30 2018-11-13 Kempt, LLC Systems, methods, and computer program products for capturing spectator content displayed at live events
US9552520B1 (en) * 2015-07-07 2017-01-24 Disney Enterprises, Inc. Systems and methods for automatic key frame extraction and storyboard interface generation for video
CN105363201B (zh) * 2015-08-27 2018-09-25 腾讯科技（深圳）有限公司 提示信息的显示方法及装置
JP6144738B2 (ja) * 2015-09-18 2017-06-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
US9721611B2 (en) * 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US10004991B2 (en) * 2016-06-28 2018-06-26 Hothead Games Inc. Systems and methods for customized camera views in virtualized environments
US10824594B2 (en) * 2016-11-07 2020-11-03 Qualcomm Incorporated Associating a captured screenshot with application-specific metadata that defines a session state of an application contributing image data to the captured screenshot
US10726086B2 (en) * 2016-11-15 2020-07-28 Houzz, Inc. Aesthetic search engine
CN106658038A (zh) * 2016-12-19 2017-05-10 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置
CN106851385B (zh) * 2017-02-20 2019-12-27 北京乐我无限科技有限责任公司 视频录制方法、装置和电子设备
CN108696760A (zh) * 2017-04-07 2018-10-23 京东方科技集团股份有限公司 一种信息获取、提供方法及装置
US20180300557A1 (en) * 2017-04-18 2018-10-18 Amazon Technologies, Inc. Object analysis in live video content
EP3596663B1 (en) * 2017-05-19 2024-06-12 Deepmind Technologies Limited Neural network system
CN107241644B (zh) * 2017-05-31 2018-09-07 腾讯科技（深圳）有限公司 一种视频直播过程中的图像处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263907A (zh) * 2011-08-04 2011-11-30 央视国际网络有限公司 比赛视频的播放控制方法及其片段信息的生成方法和装置
CN105009599A (zh) * 2012-12-31 2015-10-28 谷歌公司 精彩时刻的自动标识
CN105915953A (zh) * 2016-06-12 2016-08-31 腾讯科技（深圳）有限公司 直播视频鉴别的方法、装置和***
CN106445153A (zh) * 2016-09-29 2017-02-22 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN106550249A (zh) * 2016-11-07 2017-03-29 天脉聚源(北京)传媒科技有限公司 一种虚拟频道的节目编排方法及***

Also Published As

Publication number Publication date
US20190364333A1 (en) 2019-11-28
CN107241644A (zh) 2017-10-10
WO2018219222A1 (zh) 2018-12-06
US11178450B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN107241644B (zh) 一种视频直播过程中的图像处理方法和装置
CN106621329B (zh) 一种游戏数据处理的方法
CN111773696B (zh) 一种虚拟对象的展示方法、相关装置及存储介质
CN106993200B (zh) 一种数据的直播方法、相关设备及***
CN111491197B (zh) 一种直播内容展示的方法、装置及存储介质
CN106730839B (zh) 一种信息显示的方法及终端
CN109194973A (zh) 一种多主播直播间赠送虚拟礼物的展示方法、装置及设备
CN105879391B (zh) 一种游戏中角色的移动控制方法和服务器以及客户端
CN107438200A (zh) 直播间礼物展示的方法和装置
CN106303733B (zh) 播放直播特效信息的方法和装置
CN108123945B (zh) 随机数据的发放方法、***及智能终端
CN107947825B (zh) 天线选择电路以及移动终端
US10698579B2 (en) Method, device for displaying reference content and storage medium thereof
CN108024134B (zh) 一种基于直播的数据分析方法、装置和终端设备
CN109126135B (zh) 虚拟射门方法、计算机存储介质和终端
CN110213599A (zh) 一种附加信息处理的方法、设备及存储介质
CN109003194A (zh) 评论分享方法、终端以及存储介质
CN109032741A (zh) 终端屏幕亮度调节方法、移动终端及存储介质
CN109862433A (zh) 游戏视频的生成方法、装置、终端及计算机可读存储介质
CN109646940A (zh) 同步应用程序的方法、终端及计算机可读存储介质
CN106101764A (zh) 一种显示视频数据的方法、装置和***
CN107948509A (zh) 直播画面焦距的调节方法、存储设备以及终端
CN109741269A (zh) 图像处理方法、装置、计算机设备和存储介质
CN103473010B (zh) 一种辅助绘画的方法和装置
CN110124321A (zh) 一种对象处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant