CN108076373A - 视频图像的处理方法、装置和电子设备 - Google Patents

视频图像的处理方法、装置和电子设备 Download PDF

Info

Publication number
CN108076373A
CN108076373A CN201710079414.1A CN201710079414A CN108076373A CN 108076373 A CN108076373 A CN 108076373A CN 201710079414 A CN201710079414 A CN 201710079414A CN 108076373 A CN108076373 A CN 108076373A
Authority
CN
China
Prior art keywords
video image
business object
display area
attribute information
target service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710079414.1A
Other languages
English (en)
Inventor
周舒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710079414.1A priority Critical patent/CN108076373A/zh
Publication of CN108076373A publication Critical patent/CN108076373A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种视频图像的处理方法、装置和电子设备。其中，所述视频图像的处理方法包括：当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。通过本发明实施例，在不影响视频图像的正常观看体验的情况下，实现了对视频图像中的业务对象的替换，提高视频图像中的业务对象的展示效果。

Description

视频图像的处理方法、装置和电子设备
技术领域
本发明涉及信息处理技术，尤其涉及一种视频图像的处理方法、装置和电子设备。
背景技术
随着互联网技术的发展，人们越来越多地使用互联网观看视频，由此，互联网视频为许多新的业务提供了商机。由于互联网视频可以成为重要的业务流量入口，因而被认为是广告植入的优质资源。
目前，用户使用互联网观看的视频包括全球领域的视频，但是由于语言限制或者文化差异等原因，视频中出现的广告无法在全球通用，或者在不同地域内都达不到最好的传播和推广效果。
而且，视频中出现的广告有对应的目标人群，可能仅适用于男性或者女性用户，或者仅适用于某个年龄阶段的用户，或者仅适用于某个国家或地区的用户，对于其他用户则几乎起不到广告效果。
发明内容
本发明的目的在于，提供一种视频图像的处理的方案，以提高视频图像中的业务对象的展示效果。
根据本发明实施例的第一方面，提供一种视频图像的处理方法。所述方法包括：当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
可选地，所述业务对象展示区域的属性信息包括所述业务对象展示区域的前景区域信息；所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象，包括：如果所述业务对象展示区域与所述业务对象展示区域的前景区域存在重叠区域，则采用计算机绘图方式在剩余区域绘制所述目标业务对象，所述剩余区域包括所述业务对象展示区域中除所述重叠区域之外的区域。
可选地，所述方法还包括：获取所述视频图像中已标注的业务对象展示区域的属性信息。
可选地，在所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象之前，所述方法还包括：获取所述视频图像的属性信息，其中，所述视频图像的属性信息包括所述视频图像的目标地域信息和目标人群性别信息；根据所述视频图像的属性信息确定所述目标业务对象。
可选地，所述根据所述视频图像的属性信息确定所述目标业务对象，包括：当所述属性信息为所述视频图像的目标地域信息时，从与所述目标地域信息相对应的业务对象中确定所述目标业务对象；当所述属性信息为所述视频图像的目标人群性别信息时，从与所述目标人群性别信息相对应的业务对象中确定所述目标业务对象。
可选地，所述目标业务对象包括预设业务对象。
可选地，所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象，包括：根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性；基于调整后的所述目标业务对象的展示属性，采用计算机绘图方式绘制所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括位置信息、尺寸信息和/或角度信息；所述根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性，包括：根据所述视频图像中的所述业务对象展示区域的属性信息，通过移动、缩放、旋转、对称、变形中的至少一种调整所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括透明度信息；所述根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性，包括：根据所述视频图像中的所述业务对象展示区域的透明度信息调整所述目标业务对象的透明度。
可选地，所述目标业务对象为具有语义的特效或广告贴纸。
可选地，所述目标业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。
根据本发明实施例的第二方面，还提供了一种视频图像的处理装置，所述装置包括：第一获取模块，用于当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；绘制模块，用于基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
可选地，所述业务对象展示区域的属性信息包括所述业务对象展示区域的前景区域信息；所述绘制模块，用于如果所述业务对象展示区域与所述业务对象展示区域的前景区域存在重叠区域，则采用计算机绘图方式在剩余区域绘制所述目标业务对象，所述剩余区域包括所述业务对象展示区域中除所述重叠区域之外的区域。
可选地，所述装置还包括：第二获取模块，用于获取所述视频图像中已标注的业务对象展示区域的属性信息。
可选地，所述装置还包括：第三获取模块，用于获取所述视频图像的属性信息，其中，所述视频图像的属性信息包括所述视频图像的目标地域信息和目标人群性别信息；确定模块，用于根据所述视频图像的属性信息确定所述目标业务对象。
可选地，所述确定模块包括：第一确定单元，用于当所述属性信息为所述视频图像的目标地域信息时，从与所述目标地域信息相对应的业务对象中确定所述目标业务对象；第二确定单元，用于当所述属性信息为所述视频图像的目标人群性别信息时，从与所述目标人群性别信息相对应的业务对象中确定所述目标业务对象。
可选地，所述目标业务对象包括预设业务对象。
可选地，所述绘制模块包括：调整单元，用于根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性；绘制单元，用于基于调整后的所述目标业务对象的展示属性，采用计算机绘图方式绘制所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括位置信息、尺寸信息和/或角度信息；所述调整单元用于根据所述视频图像中的所述业务对象展示区域的属性信息，通过移动、缩放、旋转、对称、变形中的至少一种调整所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括透明度信息；所述调整单元用于根据所述视频图像中的所述业务对象展示区域的透明度信息调整所述目标业务对象的透明度。
可选地，所述目标业务对象为具有语义的特效或广告贴纸。
可选地，所述目标业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。
根据本发明实施例的第三方面，还提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面中任一所述的视频图像的处理方法。
根据本发明实施例的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象的可执行指令。
根据本发明实施例提供的视频图像的处理方案，通过检测视频图像中是否存在业务对象展示区域，在检测到视频图像中的业务对象展示区域时，获取业务对象展示区域的属性信息，并进一步根据该属性信息，采用计算机绘图方式在视频图像中的对象展示区域内绘制目标业务对象，使视频图像中的目标业务对象覆盖原有的业务对象，从而完成视频图像中业务对象的替换，实现了在不影响视频观看体验的情况下，在视频图像中展示合适的业务对象，提高视频图像中业务对象的展示效果。当目标业务对象用于展示广告时，一方面，该目标业务对象绘制在视频图像中原有的业务对象的绘制区域，相当于对视频图像进行了业务对象的替换，不会影响视频的正常观看体验；另一方面，该业务对象可以为更加适合视频图像的观看群体，提高视频图像中业务对象的展现效果。
附图说明
图1是示出根据本发明实施例一的一种视频图像的处理方法的步骤流程图；
图2是示出根据本发明实施例二的一种视频图像的处理方法的步骤流程图；
图3是示出根据本发明实施例三的一种视频图像的处理装置的结构框图；
图4是示出根据本发明实施例四的一种视频图像的处理装置的结构框图；
图5是示出根据本发明实施例五的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
参照图1，示出了根据本发明实施例一的一种视频图像的处理方法的步骤流程图。
本实施例的视频图像的处理方法可用于对视频图像中原有的业务对象进行替换，在视频图像中展示对观众具有较高展示效果的新的业务对象，以提高视频图像中业务对象的展现效果。该视频图像的处理方法的执行主体可以包括但不限于播放视频的客户端，或者与播放视频的客户端相对应的服务器。
本实施例的视频图像的处理方法包括以下步骤：
步骤S102：当检测到视频图像中存在业务对象展示区域时，获取业务对象展示区域的属性信息。
本实施例中，视频图像可以为正在直播的直播类视频图像，也可以为点播的录播类视频图像。视频图像中包含业务对象展示区域，用于在视频图像中展示业务对象，例如，视频图像中植入的具有推广和传播效果的广告。业务对象也可以为在视频图像的录制场景中展示的业务对象，例如，业务对象展示区域可以为设置在录制场景中的广告展位，其中，广告展位中可以投放有广告，也可以未投放广告。
业务对象展示区域的属性信息包括业务对象展示区域在视频图像中的位置信息、尺寸信息、形状信息、角度信息、透明度信息以及颜色信息等具体属性信息，可以方便确定业务对象展示区域。
执行本步骤时，可以通过检测视频图像中是否存在业务对象来实现，当检测到视频图像中存在业务对象时，确定视频图像中存在业务对象展示区域，进而获取业务对象展示区域的属性信息。具体地，可以采用像影的特征识别和提取等图像分析的方法，或者采用卷积神经网络模型来检测视频图像中是否存在业务对象，并在检测到视频图像中存在业务对象时，获取业务对象展示区域的属性信息。
步骤S104：基于业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
在获取视频图像中的业务对象展示区域的属性信息之后，根据该属性信息确定业务对象展示区域，在该展示区域内绘制目标业务对象。优选地，使目标业务对象覆盖业务对象展示区域中原有的业务对象。其中，目标业务对象可以根据视频图像的观众类型进行确定，并优选为以视频图像的观众作为目标群体的业务对象，用于使得目标业务对象的类型或内容适合观众，从而提高视频图像中的业务对象的展示效果。
执行该步骤，相当于利用目标业务对象替换视频图像中原有的业务对象，提高视频图像中的新的目标业务对象对观众的体验，可以有效地提高视频图像中业务对象的展现效果；而且，目标业务对象仅覆盖原有的业务对象，不会与视频图像中的其他视频主体内容产生冲突，从而不会影响视频图像的正常观看体验。对于视频图像中未展示业务对象的业务对象展示区域，基于业务对象展示区域的属性信息，在业务对象展示区域内绘制目标业务对象，能够在不影响视频图像的情况下，在视频图像中进行目标业务对象的展示。
具体地，根据业务对象展示区域的位置、尺寸、形状、透明度和颜色等属性信息，确定该业务对象展示区域的具***置、尺寸、形状、透明度和颜色等相关属性，进而确定该业务对象展示区域并在业务对象展示区域中绘制目标业务对象。
此外，若视频图像中包括多个业务对象展示区域，则在绘制目标业务对象时，可以在多个业务对象展示区域中，根据多个业务对象展示区域的属性信息绘制一种或多种目标业务对象。
在绘制目标业务对象的处理中，对目标业务对象采用计算机绘图方式绘制可以通过适当的计算机图形图像绘制或渲染等方式实现，包括但不限于：基于OpenGL图形绘制引擎进行绘制等。OpenGL定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，其与硬件无关，可以方便地进行2D或3D图形图像的绘制。通过OpenGL，不仅可以实现2D效果如2D贴纸的绘制，还可以实现3D特效的绘制及粒子特效的绘制等等。但不限于OpenGL，其它方式，如Unity或OpenCL等也同样适用。
上述为本发明实施例的视频图像的处理方法，若视频图像中原有的业务对象的类型对于观众不合适或者展现效果较差，可以通过客户端执行该方法，对接收到的视频传输流中的视频图像进行上述处理；也通过服务器可以执行该方法，对发送的视频传输流中的视频图像进行上述处理，在视频图像中绘制合适的目标业务对象，代替原有的业务对象，以提高视频图像中的业务对象的展现效果。
例如，以国际性的足球比赛或者篮球比赛等体育赛事的直播视频为例，比赛场地中设置有较多的广告牌，这些广告牌的目标群体通常为当地观众，广告标语也为当地语言，对于外国的观众来讲，这些广告的推广效果较低。在直播国外的体育赛事时，可以利用该本实施例的视频图像的处理方法，将直播视频图像中原有的广告替换成针对本地观众的广告，以提高视频图像中的广告的推广效果。
根据本发明实施例提供的视频图像的处理方法，通过检测视频图像中是否存在业务对象展示区域，在检测到视频图像中的业务对象展示区域时，获取业务对象展示区域的属性信息，并进一步根据该属性信息，采用计算机绘图方式在视频图像中的对象展示区域内绘制目标业务对象，使视频图像中的目标业务对象覆盖原有的业务对象，从而完成视频图像中业务对象的替换，实现了在不影响视频观看体验的情况下，在视频图像中展现合适的业务对象，提高视频图像中业务对象的展现效果。当目标业务对象用于展示广告时，一方面，该目标业务对象绘制在视频图像中原有的业务对象的绘制区域，相当于对视频图像进行了业务对象的替换，不会影响视频的正常观看体验；另一方面，该业务对象可以为更加适合视频图像的观看群体，提高视频图像中业务对象的展现效果。
实施例二
参照图2，示出了根据本发明实施例二的一种视频图像的处理方法的步骤流程图，该方法可视为上述实施例一的视频图像的处理方法的一种可选执行方式。
本实施例的视频图像的处理方法可以由任意具有数据采集、处理和传输功能的视频内容传输流的接收设备执行，包括但不限于播放视频的客户端、安装有该客户端的移动终端以及与该客户端相对应的服务器等。
本实施例的视频图像的处理方法包括以下步骤：
步骤S202：当检测到视频图像中存在业务对象展示区域时，获取业务对象展示区域的属性信息。
本实施例中，在检测视频图像中是否存在业务对象展示区域的处理中，对视频图像中原有的业务对象进行检测。原有的业务对象可以为植入视频图像中的具有语义的广告贴纸，或者视频图像的录播场景中的原始广告图形。若检测到视频图像中存在业务对象，则通过检测、提取等处理获取业务对象展示区域的属性信息。检测业务对象可以采用任意适当的检测方式实现，本发明实施例中，一种可行方式为，可以利用预先训练好的、用于检测视频图像中原有的业务对象的第一卷积神经网络模型，对视频图像进行业务对象的检测。其中，对第一卷积神经网络模型的训练可以包括：
获取待训练的第一样本图像的特征向量，其中，特征向量中至少包含有样本图像中的业务对象的位置信息；对特征向量进行卷积处理，获取特征向量卷积结果；判断特征向量卷积结果中对应的业务对象的位置信息是否满足收敛条件；若满足，则完成对卷积网络模型的训练；若不满足，则根据特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息，调整卷积网络模型的参数并根据调整后的卷积网络模型的参数对卷积网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息满足收敛条件。
在这里说明，在实际的应用场景中，对于录播视频图像，若视频图像中已标注有业务对象展示区域的属性信息，可以直接获取视频图像中已标注的业务对象展示区域的属性信息。
步骤S204：获取视频图像的属性信息，根据视频图像的属性信息确定目标业务对象。
根据视频图像的属性信息确定目标业务对象，可以使得在视频图像中展示目标业务对象时，具有较好的展示效果。
其中，视频图像的属性信息包括视频图像的目标地域信息和目标人群性别信息。当属性信息为视频图像的目标地域信息时，从与目标地域信息相对应的业务对象中确定目标业务对象；当属性信息为视频图像的目标人群性别信息时，从与目标人群性别信息相对应的业务对象中确定目标业务对象。
例如，以国际性的足球比赛或者篮球比赛等体育赛事的视频图像为例，比赛场地中设置有较多的广告牌，这些广告牌中投放的广告的目标地域为比赛场地所在国家或地域，对于其他国家或地域的观众来讲，这些广告的推广效果较低。因此，对于其他国家或地域的体育赛事的视频图像，可以利用选取针对本地观众的广告作为目标业务对象。
再例如，若视频图像的目标人群多为女性，则可以选取女性产品的广告作为目标业务对象。
此外，在确定目标业务对象时，还可以选取预设业务对象作为目标业务对象。
在获取目标业务对象的数据时，可以从视频内容传输流的接收端(客户端或接收视频内容传输流的服务器)的本地提取目标业务对象数据，也可以发送视频内容传输流的服务器接收目标业务对象的数据。
S206：根据视频图像中的业务对象展示区域的属性信息调整目标业务对象的展示属性。
本实施例中，在确定并获取目标业务对象之后，根据业务对象展示区域的属性信息来调整目标业务对象的展示属性，以使目标业务对象与视频图像中的业务对象展示区域一致，避免目标业务对象与视频图像中的内容发生冲突。
一种可行的实施方式中，业务对象展示区域的属性信息包括位置信息、尺寸信息和/或角度信息，可以根据这些信息，通过移动、缩放、旋转、变形等操作中的至少一种，来调整目标业务对象，使得目标业务对象的位置、尺寸、角度以及形状等展示属性均与业务对象展示区域一致。
另一种可行的实施方式中，业务对象展示区域的属性信息包括透明度信息，可以根据该透明度信息调整目标业务对象的透明度。例如，在视频图像录制场景中，业务对象展示在透明物(如玻璃)之后，则可以根据视频图像中的业务对象展示区域的透明度信息，相应地降低目标业务对象的透明度。
S208：基于调整后的目标业务对象的展示属性，采用计算机绘图方式绘制目标业务对象。
在绘制目标业务对象的处理中，基于调整后的目标业务对象的展示属性，在视频图像的业务对象展示区域中绘制目标业务对象，可以使得目标业务对象能够覆盖业务对象展示区域中原有的业务对象，避免目标业务对象与视频图像中的主体或内容发生冲突，从而避免影响视频图像的正常观看体验。
优选地，业务对象展示区域的属性信息还包括业务对象展示区域的前景区域信息，在绘制目标业务对象的处理中，判断业务对象展示区域与业务对象展示区域的前景区域是否存在重叠区域。若果业务对象展示区域与其前景区域存在重叠区域，相当于目标业务对象与业务对象展示区域的前景区域存在重叠区域，则采用计算机绘图方式在剩余区域绘制目标业务对象，从而避免目标业务对象与该前景区域产生冲突，影响视频图像的观看体验。其中，剩余区域包括业务对象展示区域中除重叠区域之外的区域。
其中，业务对象展示区域的前景区域通常为视频图像中原有的业务对象的前景区域。业务对象展示区域的前景区域的信息可以但不限于，使用训练好的、用于检测视频图像中的原有的业务对象的前景区域的第二神经网络模型进行检测。其中，对第二卷及神经网络模型的训练可以包括：
获取第二样本图像的第二特征向量，其中，第二样本图像为包含有前景标注信息和背景标注信息的样本图像；对第二特征向量进行卷积处理，获取第二特征向量卷积结果；对第二特征向量卷积结果进行放大处理；判断放大后的第二特征向量卷积结果是否满足卷积收敛条件；若满足，则完成对第二卷积神经网络模型的训练；若不满足，则根据放大后的第二特征向量卷积结果调整第二卷积神经网络模型的网络参数并根据调整后的第二卷积神经网络模型的网络参数对第二卷积神经网络模型进行迭代训练，直至迭代训练后的第二特征向量卷积结果满足卷积收敛条件。
本实施例中，采用如OpenGL方式的等计算机绘图方式，在上述绘制区域中绘制目标业务对象，进行目标业务对象的展示。其中，目标业务对象为包含有语义信息的特效或广告贴纸，包括以二维贴纸特效形式、三维特效形式、粒子特效形式等形式展示的广告。例如，以三维特效形式展示的广告，该广告特效可包括多张不同状态的展示图像组成的视频帧，通过OpenGL等计算机绘图方式在展现位置上依次绘制视频帧的相应图像，由此实现广告效果的动态展现可以吸引观众观看，提升广告投放和展示的趣味性，提高广告投放和展示效率。在某些情况下，广告还可以以三维特效形式展示，如通过粒子特效方式展示广告的文字或LOGO等。
本发明实施例提供的视频图像的处理方法，通过在检测到视频图像中的业务对象展示区域时，获取业务对象展示区域的属性信息，并根据业务对象展示区域的属性信息确定目标业务对象，以及根据视频图像的属性信息调整目标业务对象的展示属性，采用计算机绘图方式在视频中的对象展示区域内绘制目标业务对象，从而在不影响视频图像的正常观看体验的情况下完成视频图像中业务对象的替换，并使得视频图像中的目标业务对象符合视频图像的目标区域和目标人群等，具有较高的展示效果。
实施例三
参照图3，示出了根据本发明实施例三的一种视频图像的处理装置的结构框图。
本实施例的视频图像的处理装置包括：第一获取模块302，用于当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；绘制模块304，用于基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
根据本发明实施例提供的视频图像的处理装置，通过检测视频图像中是否存在业务对象展示区域，在检测到视频图像中的业务对象展示区域时，获取业务对象展示区域的属性信息，并进一步根据该属性信息，采用计算机绘图方式在视频图像中的对象展示区域内绘制目标业务对象，使视频图像中的目标业务对象覆盖原有的业务对象，从而完成视频图像中业务对象的替换，实现了在不影响视频观看体验的情况下，在视频图像中展现合适的业务对象，提高视频图像中业务对象的展现效果。当目标业务对象用于展示广告时，一方面，该目标业务对象绘制在视频图像中原有的业务对象的绘制区域，相当于对视频图像进行了业务对象的替换，不会影响视频的正常观看体验；另一方面，该业务对象可以为更加适合视频图像的观看群体，提高视频图像中业务对象的展现效果。
实施例四
本实施例对上述实施例三中所示的视频图像的处理装置进行了进一步的改进，改进后的视频图像的处理装置如图4所示。
该视频图像的处理装置除包括实施例三中的第一获取模块302和绘制模块304之外，还包括第二获取模块306、第三获取模块308和确定模块310。
可选地，所述业务对象展示区域的属性信息包括所述业务对象展示区域的前景区域信息；所述绘制模块304，用于如果所述业务对象展示区域与所述业务对象展示区域的前景区域存在重叠区域，则采用计算机绘图方式在剩余区域绘制所述目标业务对象，所述剩余区域包括所述业务对象展示区域中除所述重叠区域之外的区域。
可选地，第二获取模块306用于获取所述视频图像中已标注的业务对象展示区域的属性信息。
可选地，第三获取模块308用于获取所述视频图像的属性信息，其中，所述视频图像的属性信息包括所述视频图像的目标地域信息和目标人群性别信息；确定模块310用于根据所述视频图像的属性信息确定所述目标业务对象。
可选地，所述确定模块310包括：第一确定单元3102，用于当所述属性信息为所述视频图像的目标地域信息时，从与所述目标地域信息相对应的业务对象中确定所述目标业务对象；第二确定单元3104，用于当所述属性信息为所述视频图像的目标人群性别信息时，从与所述目标人群性别信息相对应的业务对象中确定所述目标业务对象。
可选地，所述目标业务对象包括预设业务对象。
可选地，所述绘制模块304包括：调整单元3042，用于根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性；绘制单元3044，用于基于调整后的所述目标业务对象的展示属性，采用计算机绘图方式绘制所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括位置信息、尺寸信息和/或角度信息；所述调整单元3042用于根据所述视频图像中的所述业务对象展示区域的属性信息，通过移动、缩放、旋转、对称、变形中的至少一种调整所述目标业务对象。
可选地，所述业务对象展示区域的属性信息包括透明度信息；所述调整单元3042用于根据所述视频图像中的所述业务对象展示区域的透明度信息调整所述目标业务对象的透明度.
可选地，所述目标业务对象为具有语义的特效或广告贴纸。
可选地，所述目标业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。
本实施例的视频图像的处理装置用于实现前述多个方法实施例中视频图像的处理方法，如实施例一和二中的视频图像的处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例五
本发明实施例五提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，电子设备500包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件512和/或通信接口509。其中，通信组件512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口509包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口509经由诸如因特网的网络执行通信处理。
处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过通信总线504与通信组件512相连、并经通信组件512与其他目标设备通信，从而完成本发明实施例提供的任一项视频图像的处理方法对应的操作，例如，当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501或GPU513、ROM502以及RAM503通过通信总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器执行上述方法对应的操作。输入/输出(I/O)接口505也连接至通信总线504。通信组件512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口509。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器执行时，执行本发明实施例的方法中限定的上述功能。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频图像的处理方法，其特征在于，所述方法包括：
当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；
基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
2.根据权利要求1所述的方法，其特征在于，所述业务对象展示区域的属性信息包括所述业务对象展示区域的前景区域信息；
所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象，包括：
如果所述业务对象展示区域与所述业务对象展示区域的前景区域存在重叠区域，则采用计算机绘图方式在剩余区域绘制所述目标业务对象，所述剩余区域包括所述业务对象展示区域中除所述重叠区域之外的区域。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取所述视频图像中已标注的业务对象展示区域的属性信息。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象之前，所述方法还包括：
获取所述视频图像的属性信息，其中，所述视频图像的属性信息包括所述视频图像的目标地域信息和目标人群性别信息；
根据所述视频图像的属性信息确定所述目标业务对象。
5.根据权利要求4所述的方法，其特征在于，所述根据所述视频图像的属性信息确定所述目标业务对象，包括：
当所述属性信息为所述视频图像的目标地域信息时，从与所述目标地域信息相对应的业务对象中确定所述目标业务对象；
当所述属性信息为所述视频图像的目标人群性别信息时，从与所述目标人群性别信息相对应的业务对象中确定所述目标业务对象。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述目标业务对象包括预设业务对象。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象，包括：
根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性；
基于调整后的所述目标业务对象的展示属性，采用计算机绘图方式绘制所述目标业务对象。
8.根据权利要求7所述的方法，其特征在于，所述业务对象展示区域的属性信息包括位置信息、尺寸信息和/或角度信息；
所述根据所述视频图像中的所述业务对象展示区域的属性信息调整所述目标业务对象的展示属性，包括：
根据所述视频图像中的所述业务对象展示区域的属性信息，通过移动、缩放、旋转、对称、变形中的至少一种调整所述目标业务对象。
9.一种视频图像的处理装置，其特征在于，所述装置包括：
第一获取模块，用于当检测到视频图像中存在业务对象展示区域时，获取所述业务对象展示区域的属性信息；
绘制模块，用于基于所述业务对象展示区域的属性信息，采用计算机绘图方式绘制目标业务对象。
10.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8任一所述的视频图像的处理方法。
CN201710079414.1A 2017-02-14 2017-02-14 视频图像的处理方法、装置和电子设备 Pending CN108076373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079414.1A CN108076373A (zh) 2017-02-14 2017-02-14 视频图像的处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079414.1A CN108076373A (zh) 2017-02-14 2017-02-14 视频图像的处理方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN108076373A true CN108076373A (zh) 2018-05-25

Family

ID=62159189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079414.1A Pending CN108076373A (zh) 2017-02-14 2017-02-14 视频图像的处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108076373A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726027A (zh) * 2018-12-30 2019-05-07 联想(北京)有限公司 消息查看方法、装置及电子设备
CN110213629A (zh) * 2019-06-27 2019-09-06 腾讯科技（深圳）有限公司 一种信息植入方法、装置、服务器及存储介质
CN110992251A (zh) * 2019-11-29 2020-04-10 北京金山云网络技术有限公司 视频中logo替换方法、装置及电子设备
CN111028338A (zh) * 2019-12-06 2020-04-17 珠海金山网络游戏科技有限公司 一种基于Unity3D的图像绘制方法及装置
WO2020092128A1 (en) * 2018-10-30 2020-05-07 Maycas Technology Limited Systems and methods for enhancing live audience experience on electronic device
CN113222995A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873741A (zh) * 2014-04-02 2014-06-18 北京奇艺世纪科技有限公司 一种用于替换视频中感兴趣区域的方法及装置
CN104268282A (zh) * 2014-10-15 2015-01-07 李阳 一种展示网页广告的方法和***
US20150189350A1 (en) * 2013-12-27 2015-07-02 Inha-Industry Partnership Institute Caption replacement service system and method for interactive service in video on demand
CN104766229A (zh) * 2015-04-22 2015-07-08 合一信息技术（北京）有限公司 植入式广告投放方法
CN105610954A (zh) * 2015-12-31 2016-05-25 腾讯科技（深圳）有限公司 媒体信息处理方法及***
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150189350A1 (en) * 2013-12-27 2015-07-02 Inha-Industry Partnership Institute Caption replacement service system and method for interactive service in video on demand
CN103873741A (zh) * 2014-04-02 2014-06-18 北京奇艺世纪科技有限公司 一种用于替换视频中感兴趣区域的方法及装置
CN104268282A (zh) * 2014-10-15 2015-01-07 李阳 一种展示网页广告的方法和***
CN104766229A (zh) * 2015-04-22 2015-07-08 合一信息技术（北京）有限公司 植入式广告投放方法
CN105610954A (zh) * 2015-12-31 2016-05-25 腾讯科技（深圳）有限公司 媒体信息处理方法及***
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020092128A1 (en) * 2018-10-30 2020-05-07 Maycas Technology Limited Systems and methods for enhancing live audience experience on electronic device
CN109726027A (zh) * 2018-12-30 2019-05-07 联想(北京)有限公司 消息查看方法、装置及电子设备
CN110213629A (zh) * 2019-06-27 2019-09-06 腾讯科技（深圳）有限公司 一种信息植入方法、装置、服务器及存储介质
CN110992251A (zh) * 2019-11-29 2020-04-10 北京金山云网络技术有限公司 视频中logo替换方法、装置及电子设备
CN110992251B (zh) * 2019-11-29 2023-11-10 北京金山云网络技术有限公司 视频中logo替换方法、装置及电子设备
CN111028338A (zh) * 2019-12-06 2020-04-17 珠海金山网络游戏科技有限公司 一种基于Unity3D的图像绘制方法及装置
CN111028338B (zh) * 2019-12-06 2023-08-08 珠海金山数字网络科技有限公司 一种基于Unity3D的图像绘制方法及装置
CN113222995A (zh) * 2020-02-06 2021-08-06 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备

Similar Documents

Publication Publication Date Title
CN108076373A (zh) 视频图像的处理方法、装置和电子设备
CN107343211B (zh) 视频图像处理方法、装置和终端设备
US10776970B2 (en) Method and apparatus for processing video image and computer readable medium
EP3745339A1 (en) Method for implanting advertisements in video, and computer device
US11069094B1 (en) Generating realistic makeup in a digital video stream
CN107341434A (zh) 视频图像的处理方法、装置和终端设备
US20130124311A1 (en) System and Method for Dynamic Integration of Advertisements in a Virtual Environment
CN105975581A (zh) 媒体信息的展示方法、客户端及服务器
CN107197384A (zh) 应用于视频直播平台的虚拟机器人多模态交互方法和***
WO2013120851A1 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US20190155864A1 (en) Method and apparatus for recommending business object, electronic device, and storage medium
CN108109010A (zh) 一种智能ar广告机
KR20190075177A (ko) 컨텍스트 기반 증강 광고
CN108076128A (zh) 用户属性提取方法、装置和电子设备
CN108076387B (zh) 业务对象推送方法及装置、电子设备
CN108073670A (zh) 业务对象推荐方法、装置及电子设备
CN108073669A (zh) 业务对象展示方法、装置和电子设备
CN110446093A (zh) 一种视频进度条显示方法、装置和存储介质
CN106504025A (zh) 一种多媒体信息处理方法及装置
CN106845400A (zh) 一种基于人脸关键点跟踪实现特效而产生的品牌展示方法
CN108255910A (zh) 信息展示方法、客户端、服务端及设备
CN107770602A (zh) 视频图像处理方法和装置
CN108604389A (zh) 连续深度排序图像合成
CN108076359A (zh) 业务对象的展示方法、装置和电子设备
CN108073672A (zh) 业务对象推荐方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180525

RJ01 Rejection of invention patent application after publication