CN110213629A - 一种信息植入方法、装置、服务器及存储介质 - Google Patents

一种信息植入方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN110213629A
CN110213629A CN201910569777.2A CN201910569777A CN110213629A CN 110213629 A CN110213629 A CN 110213629A CN 201910569777 A CN201910569777 A CN 201910569777A CN 110213629 A CN110213629 A CN 110213629A
Authority
CN
China
Prior art keywords
information
video
implanted
implantation
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910569777.2A
Other languages
English (en)
Other versions
CN110213629B (zh
Inventor
生辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910569777.2A priority Critical patent/CN110213629B/zh
Publication of CN110213629A publication Critical patent/CN110213629A/zh
Priority to PCT/CN2020/098462 priority patent/WO2020259676A1/zh
Priority to EP20831160.5A priority patent/EP3993433A4/en
Priority to US17/384,516 priority patent/US11854238B2/en
Application granted granted Critical
Publication of CN110213629B publication Critical patent/CN110213629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种信息植入方法、装置、服务器及存储介质；该方法包括：获取预设植入实体在预设待植入视频帧中的后景倾斜度信息；获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；获取后景倾斜度信息和至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据至少一个倾斜度差信息，从至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；将目标多媒体信息植入预设待植入视频帧的预设植入实体的承载面上，得到目标视频帧。通过本发明，能够提升多媒体信息植入的智能性。

Description

一种信息植入方法、装置、服务器及存储介质
技术领域
本发明涉及计算机领域中的信息处理技术，尤其涉及一种信息植入方法、装置、服务器及存储介质。
背景技术
在互联网的视频信息播放场景中，除了播放自身的视频信息，还有展示多媒体信息的需求；一般来说，该多媒体信息的展示形式主要包括植入多媒体信息和弹出多媒体信息两种形式；其中，植入多媒体信息是指在视频信息中的桌面和台面等预设植入实体上植入三维模型或者实物等多媒体信息的形式。
针对植入多媒体信息的实现，为了提高植入效果，通常由工作人员将多个多媒体信息分别植入到视频帧中的预设植入实体上，并通过人工判图筛选来确定与视频帧中预设植入实体切合度最高的目标多媒体信息。然而，上述多媒体信息植入的过程中，由于是通过人工方式实现的，智能性低。
发明内容
本发明实施例提供一种信息植入方法、装置、服务器及存储介质，能够提升多媒体信息植入的智能性。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种信息植入方法，包括：
获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，所述预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，所述后景倾斜度信息为所述预设待植入视频帧中所述预设植入实体的承载面的倾斜度信息；
获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，所述至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；
获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；
将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧。
本发明实施例提供一种信息植入装置，包括：
后景倾斜度获取模块，用于获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，所述预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，所述后景倾斜度信息为所述预设待植入视频帧中所述预设植入实体的承载面的倾斜度信息；
前景倾斜度获取模块，用于获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，所述至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；
倾斜度差获取模块，用于获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；
植入模块，用于将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧。
本发明实施例提供一种信息植入服务器，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的方法。
本发明实施例具有以下有益效果：通过对比预设待植入视频中预设植入实体的后景倾斜度信息和至少一个预设多媒体信息中每个预设多媒体信息的前景倾斜度信息，获得对应的倾斜度差信息，从而根据倾斜度差信息从至少一个预设多媒体信息中确定与预设待植入视频帧切换度最高的目标多媒体信息，以根据该目标多媒体信息完成多媒体信息的植入，实现了一种智能的向视频帧中植入多媒体信息的过程，提升了多媒体信息植入的智能性。
附图说明
图1a-1d为本发明实施例提供的示例性的植入广告的示意图；
图2为本发明实施例提供的信息植入***100的一个可选的架构示意图；
图3为本发明实施例提供的信息植入服务器500的结构示意图；
图4为本发明实施例提供的信息植入方法的一个可选的流程示意图；
图5为本发明实施例提供的一种示例性的信息植入方法的流程示意图；
图6为本发明实施例提供的一种示例性的获取后景倾斜度信息的示意图；
图7为本发明实施例提供的一种示例性的获取前景倾斜度信息的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)视频信息：当连续的图像变化每秒超过预订数量帧时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，而看上去是平滑连续的视觉效果，这样连续的图像即为视频信息；比如，单独的一个视频文件，或一个视频片段。
2)视频库：用于存储视频信息的数据库。
3)镜头：摄像机一次连续拍摄的一段视频，由若干视频帧组成。
4)视频帧：指视频的最小单位，是一幅静态的图像；比如，在播放视频信息时，定格在任意时刻的画面，即为一个视频帧。
5)多媒体信息：计算机和视频技术的结合，这里，指用于植入视频帧中的信息；比如，广告图片。
6)植入实体：视频帧中所呈现的用于植入多媒体信息的现实世界中的实物，比如，视频帧中的桌子和吧台等。
7)前景倾斜度：与植入的多媒体信息对应，指多媒体信息在对应的图像中，在视觉上呈现的倾斜信息。
8)后景倾斜度：与植入实体对应，指植入实体在对应的视频帧中，在视觉上呈现的倾斜信息。
需要说明的是，当在视频信息中展示的多媒体信息为广告时，包括两种展示形式：弹窗广告和植入广告；其中，对于弹窗广告，又称为Video-Out，是一种场景弹窗广告，指基于视频信息中汽车、人脸、目标和场景等视频信息内容，展示与视频信息内容相关的弹窗广告；而对于植入广告，又称为Video-In，是一种软广告形式，指在视频帧的桌面、墙面、相框、吧台和广告牌等位置植入平面或者实物广告。
图1a-1d为本发明实施例提供的示例性的植入广告的示意图，其中，图1a描述了在桌面上植入牛奶盒的场景示意图，左侧图为未植入牛奶盒之前的视频帧a1，右侧图为已植入牛奶盒的视频帧a1；如图1a的左侧图所示，在视频帧a1中摆放有桌子a1-1，且在桌子a1-1上放置有杯子a1-2和盘子a1-3；如图1a的右侧图所示，视频帧a1中的桌子a1-1上除了放置有杯子a1-2和盘子a1-3，还放置了牛奶盒a1-4。
图1b描述了在桌面上植入携带海报的三维模型的场景示意图，左侧图为未植入携带海报的三维模型之前的视频帧a1，右侧图为已植入携带海报的三维模型的视频帧a1；图1b中的左侧图同图1a的左侧图一致，图1b中的右侧图示出了，视频帧a1中的桌子a1-1上除了放置有杯子a1-2和盘子a1-3，还放置了携带海报的三维模型a1-5。
图1c描述了在相框中植入海报的场景示意图，上侧图为未植入海报的视频帧c1，下侧图为已植入海报的视频帧c1；如图1c的上侧图所示，在视频帧c1中摆放有吊灯c1-1，以及墙面c1-2和相框c1-3；如图1c的下侧图所示，在视频帧c1中摆放有吊灯c1-1，以及墙面c1-2和相框c1-3，相框c1-3中还显示有海报c1-4。
图1d描述了在显示屏中植入海报的场景示意图，上侧图为未植入海报的视频帧d1，下侧图为已植入海报的视频帧d1；如图1d的上侧图所示，在视频帧d1中的桌子d1-1摆放有显示屏d1-2；如图1d的下侧图所示，在视频帧d1中，桌子d1-1摆放的显示屏d1-2中还显示有海报d1-3。
针对上述的Video-In植入广告，一般来说，实物广告对应存在多张不同角度的实物图片，而从多张不同角度的实物图片中，选择和背景视频帧中的植入实体的朝向相近的实物图片作为前景实物图片进行广告的植入这一过程，目前都是由有经验的设计人员人工完成。比如，在桌面上植入实物广告等多媒体信息时，广告主针对一实物广告对应上传了30张实物广告照片，设计人员将这30张实物广告照片植入包含桌面的视频帧中，再进行人工判图筛选，整个过程需要30分钟。如此，现有技术向视频帧中的植入实体植入多媒体信息时，时间成本高，效率低，自动化程度低，以及智能性低。
基于此，本发明实施例提供一种信息植入方法、装置、服务器和存储介质，在向视频帧中的植入实体植入多媒体信息时，能够降低时间成本，提高植入效率、自动化程度和智能性，下面说明本发明实施例提供的服务器的示例性应用。
参见图2，图2为本发明实施例提供的信息植入***100的一个可选的架构示意图，为实现支撑一个信息植入应用，信息植入服务器500通过网络400连接多媒体服务器300和视频服务器200；网络400可以是广域网或者局域网，又或者是二者的组合；信息植入服务器500用于从多媒体服务器300中获取至少一个多媒体信息，以及从视频服务器200中获取要植入多媒体信息的预设视频信息，并从至少一个多媒体信息中，甄选出朝向与预设视频信息中的预设待植入视频帧的朝向差别最小的目标多媒体信息，以根据目标多媒体信息完成多媒体信息的植入。最终，得到与预设视频信息对应的植入后的视频信息；从而，当用户播放植入后的视频信息时，能够观看到植入效果好的广告信息等多媒体信息。
参见图3，图3为本发明实施例提供的信息植入服务器500的结构示意图，图3所示的服务器500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。服务器500中的各个组件通过总线***540耦合在一起。可理解，总线***540用于实现这些组件之间的连接通信。总线***540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线***540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器550旨在包括任意适合类型的存储器。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作***551，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作***设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的信息植入装置可以采用软件方式实现，图3示出了存储在存储器550中的信息处理装置555，其可以是程序和插件等形式的软件，包括以下软件模块：后景倾斜度获取模块5551、前景倾斜度获取模块5552、倾斜度差获取模块5553、植入模块5554、确定单元5555、视频融合模块5556和视频播放模块5557，其中，后景倾斜度获取模块5551包括识别模块5551-1、边缘获取模块5551-2、轮廓点筛选模块5551-3、直线拟合模块5551-4和斜率获取模块5551-5，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的信息植入装置可以采用硬件方式实现，作为示例，本发明实施例提供的信息植入装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的信息植入方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
将结合本发明实施例提供的信息植入服务器的示例性应用和实施，说明本发明实施例提供的信息植入方法。
参见图4，图4为本发明实施例提供的信息植入方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。另外，本发明实施例中的执行主体为信息植入服务器。
S101、获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，后景倾斜度信息为预设待植入视频帧中预设植入实体的承载面的倾斜度信息。
在本发明实施例中，当广告商等多媒体投放者在确定的预设视频信息中进行多媒体对象投放时，从预设视频信息中确定一个要植入多媒体信息且包含预设植入实体的视频帧，即预设待植入视频帧；由于多媒体对象为实物(比如，牛奶盒或者显示有海报的三维模型)，针对一个多媒体对象对应存在不同角度的图片信息，即至少一个预设多媒体信息，若要明确至少一个预设多媒体信息中的哪个角度的预设多媒体信息的朝向，与预设待植入视频帧中预设植入实体的朝向差别最小，则需获取预设待植入视频帧中预设植入实体的朝向信息，即后景倾斜度信息。
需要说明的是，预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，指预设视频信息中的一帧视频帧；预设待植入视频帧中包含预设植入实体，预设植入实体为预设待植入视频帧中具有承载面的实物对象，比如，桌子或者吧台；而后景倾斜度信息为预设待植入视频帧中预设植入实体的承载面的倾斜度信息，比如，桌子下边缘的斜率或者吧台下边缘的斜率。
S102、获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息。
在本发明实施例中，至少一个预设多媒体信息为一个多媒体对象对应的至少一个角度的图片信息，对至少一个预设多媒体信息中的每一个预设多媒体信息的待接触面的倾斜度信息进行获取，也就获得了至少一个预设多媒体信息对应的至少一个前景倾斜度信息；也就是说，至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息，比如，牛奶盒下边缘的至少一个斜率或者显示有海报的三维模型下边缘的至少一个斜率。
这里，至少一个预设多媒体信息作为一个多媒体对象对应的至少一个角度的图片信息，为经过抠图等图片处理获得的仅包括多媒体对象的图片。
需要说明的是，S101和S102在执行顺序上不分先后；也就是说，可以是先执行S101再执行S102，还可以是先执行S102再执行S101，又可以是同时执行S101和S102，等等，本发明实施例对此不做具体限定。
S103、获取后景倾斜度信息和至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据至少一个倾斜度差信息，从至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息。
在本发明实施例中，当获取到后景倾斜度信息和至少一个前景倾斜度信息的之后，首先，将后景倾斜度信息分别与至少一个前景倾斜度信息中的每个前景倾斜度信息进行比较，从而获得后景倾斜度信息和至少一个前景倾斜度信息中的每个前景倾斜度信息的倾斜度差，也就获得了至少一个倾斜度差信息；也就是说，至少一个倾斜度差信息为后景倾斜度信息和至少一个前景倾斜度信息中的每个前景倾斜度信息的倾斜度差所构成的集合。
然后，根据至少一个倾斜度差信息，从至少一个预设多媒体信息中筛选出满足预设倾斜度差条件的一个预设多媒体信息，也就获得了目标多媒体信息。这里，预设倾斜度差条件为倾斜度差最小的信息。
在一些实施例中，根据至少一个倾斜度差信息，从至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息，具体包括：根据预设倾斜度差条件，从至少一个预设多媒体信息中，确定与至少一个倾斜度差信息中的最小倾斜度差信息对应的预设多媒体信息，得到初始目标多媒体信息。这里，可以直接将初始多媒体信息作为目标多媒体信息进行信息植入的处理；为了进一步提升植入效果，还可以根据预设待植入视频帧，对初始目标多媒体信息进行渲染处理，得到目标多媒体信息。
可以理解的是，由于初始目标多媒体信息对应的图片显示属性(比如，饱和度、亮度和对比度等)，与预设待植入视频信息对应的图片显示属性存在差别，因此，根据预设待植入视频帧，对初始目标多媒体信息进行渲染处理，以使渲染处理后的预设多媒体信息(即目标多媒体信息)的图片显示属性与预设待植入视频帧的图片显示属性的差别最小，实现前景和后景的和谐化，方便目标多媒体信息的植入，也能提升目标多媒体信息的植入效果。
S104、将目标多媒体信息植入预设待植入视频帧的预设植入实体的承载面上，得到目标视频帧。
在本发明实施例中，当获得了目标多媒体信息之后，就可以将目标多媒体信息植入到预设待植入视频帧中；具体地，将目标多媒体信息植入到预设待植入视频帧的预设植入实体的承载面上，而植入了目标多媒体信息的预设待植入视频帧即为目标视频帧。这里，目标多媒体信息在承载面上具体的植入位置为预设的植入位置，比如，当承载面为桌面时，预设的植入位置可以为桌面上摆放东西的附近，也可以是桌面上离关键信息最远的位置。
可以理解的是，通过将后景倾斜度信息与至少一个前景倾斜度信息进行对比，将至少一个前景倾斜度信息中与后景倾斜度信息差别最小的前景倾斜度信息筛选出来，并将差别最小的前景倾斜度信息对应的预设多媒体信息作为目标多媒体信息，从而将目标多媒体信息植入到预设待植入视频帧中，实现了一种自动甄选实物(多媒体对象)朝向的信息植入方案，提升了植入效果。
在一些实施例中，S101中获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，具体包括S101a-S101e：
S101a、在预设待植入视频帧中，识别预设植入实体，得到对应的初始植入位置区域。
在本发明实施例中，预设待植入视频帧中存在预设植入实体，通过对预设待植入视频帧中的预设植入实体进行识别，能够获得预设待植入视频帧中预设植入实体的所在位置区域，即获得了初始植入位置区域。
在一些实施例中，获取初始植入位置区域时可采用预设实例分割算法，比如，MaskR-CNN(Mask Region-based Convolutional Neural Network)，掩膜基于区域的卷积神经网络；具体通过输入预设待植入视频帧，并基于预设植入实体的实体特征信息，对该预设待植入视频帧进行目标检测和实例分割来获得。
S101b、获取初始植入位置区域的植入位置边缘信息。
在本发明实施例中，当获得了初始植入位置区域之后，就能够对初始植入位置区域进行边缘处理，以获得预设待植入视频帧中预设植入实体对应的边缘，即获得了植入位置边缘信息。
在一些实施例中，获取初始植入位置区域的植入位置边缘信息时：首先，根据预设区域特征，从初始植入位置区域中，筛选植入位置区域；也就是说，由于初始植入位置区域中的有效位置区域才能用于承载预设多媒体信息，因此，需要对初始植入位置区域进行进一步筛选，也就是根据预设区域特征，从初始植入位置区域中筛选出有效位置区域，也就获得了植入位置区域。这里，预设区域特征为用于承载预设多媒体信息的承载面的特征，植入位置区域为预设植入实体的承载面对应的区域信息。
然后，根据预设平整度特征，从植入位置区域中，筛选植入位置特征区域；也就是说，获得了植入位置区域之后，根据预设平整度特征，从植入位置区域中去除平面区域而获取与倾斜度相关的区域，也就筛选出了植入位置特征区域。这里，预设平整度特征指平面区域的平整度大于与倾斜度相关的区域的平整度。这里，可以通过预设色块聚类算法对植入位置区域进行色块聚类后，也就获得了对应的平面区域和与倾斜度相关的区域。
最后，对植入位置特征区域进行边缘检测，得到植入位置边缘信息；也就是说，获得了植入位置特征区域之后，通过边缘检测处理，以获取预设待植入视频帧中预设植入实体的承载面的边缘信息，即植入位置边缘信息。这里，可以通过预设边缘检测算法对植入位置特征区域进行边缘检测，预设边缘检测算法为现有技术中进行边缘检测的算法，比如，拉普拉斯边缘检测算法、索贝尔边缘检测算法和Canny边缘检测算法，本发明实施例在次不再赘述。
S101c、根据预设边缘点阈值，对植入位置边缘信息中的每个边缘的特征轮廓点进行筛选，得到至少一个特征轮廓点组合。
在本发明实施例中，获得了植入位置边缘信息之后，由于植入位置边缘信息由亮度变化明显的像素点组成即边缘点组合，为了提高边缘点组合中边缘点的准确率，根据预设边缘点阈值对植入位置边缘信息中的边缘点进行筛选；又由于植入位置边缘信息对应于至少一个边缘，因此，对植入位置边缘信息中的每个边缘的特征轮廓点中，将特征轮廓点值大于预设边缘点阈值的边缘点作为特征轮廓点，也就获得了每个边缘对应的特征轮廓点组合，从而获得植入位置边缘信息对应的至少一个特征轮廓点组合。
需要说明的是，预设边缘点阈值为通过自适应阈值学习获得的参考阈值，可以是灰度值，还可以是其他特征值，本发明实施例对此不做具体限定。
S101d、分别对至少一个特征轮廓点组合进行直线拟合，得到至少一个后景拟合直线信息。
在本发明实施例中，获得了至少一个特征轮廓点组合之后，基于预设直线拟合算法，以每个特征轮廓点组合为单位进行直线拟合，针对每个特征轮廓点组合得到一个后景拟合直线信息，从而获得与至少一个特征轮廓点组合对应的至少一个后景拟合直线信息。
需要说明的是，预设直线拟合算法为现有技术中用于直线拟合的算法，比如，RANSAC算法和最小二乘法，本发明实施例在此不再赘述。
S101e、将至少一个后景拟合直线信息对应的至少一个斜率信息，作为后景倾斜度信息。
需要说明的是，在本发明实施例中，获得了至少一个后景拟合直线信息之后，也就获得了对应的至少一个斜率信息，这里，至少一个斜率信息也就是后景倾斜度信息。
需要说明的是，S101a-S101e描述了获取后景倾斜度信息的实现过程，而对于每个预设多媒体信息对应的前景倾斜度信息的获取过程，与后景倾斜度信息的实现过程一致；并且，后景倾斜度信息中的一个斜率与每个前景倾斜度信息中的一个斜率一一对应，后景倾斜度信息中斜率的数量与每个前景倾斜度信息中斜率的数量相等。所不同的是，由于至少一个预设多媒体信息为仅包含多媒体对象的图片，该图片中的信息就已是与预设植入实体对应的初始植入位置区域，不再需要执行与S101a相应的步骤。而如果至少一个预设多媒体信息中不是仅包含多媒体对象的图片，则需要执行与S101a相应的步骤，以在预设多媒体信息中确定与预设植入实体对应的初始植入位置区域。另外，预设多媒体信息的待承载面对应的至少一个边缘信息的至少一个斜率信息构成了前景倾斜度信息。这里，预设多媒体信息为多媒体对象的图片信息。
在一些实施例中，S103中获取后景倾斜度信息和至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，具体包括S103a-S103b：
S103a、获取后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的差值，得到至少一个斜率差信息，当前前景倾斜度信息为至少一个前景倾斜度信息中的任一前景倾斜度信息，当前前景倾斜度信息中一个斜率信息与后景倾斜度信息中的一个斜率信息对应。
在本发明实施例中，由于后景倾斜度信息中的一个斜率与每个前景倾斜度信息中的一个斜率一一对应，后景倾斜度信息中斜率的数量与每个前景倾斜度信息中斜率的数量相等；从至少一个前景倾斜度信息中任选一个前景倾斜度信息作为当前前景倾斜度信息，并通过一一将后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中对应的每个斜率信息相减，所得到的差值即为至少一个斜率差信息。
这里，当前前景倾斜度信息为至少一个前景倾斜度信息中的任一前景倾斜度信息，当前前景倾斜度信息中每个斜率信息与后景倾斜度信息中的每个斜率信息对应。
S103b、获取至少一个斜率差信息的乘积，得到当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息，从而得到与至少一个前景倾斜度信息对应的至少一个倾斜度差信息。
在本发明实施例中，获得了至少一个斜率差信息之后，将至少一个斜率差信息中的斜率差信息一一相乘，所述得到的结果即为当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息。由于当前前景倾斜度信息为至少一个前景倾斜度信息中的任一前景倾斜度信息，因此，当将至少一个前景倾斜度信息中的每个前景倾斜度信息作为当前前景倾斜度信息来获得对应的倾斜度差信息之后，也就获得了至少一个倾斜度差信息。其中，当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息，如式(1)所示：
其中，M为至少一个预设多媒体信息的数量，M＝i为第i个预设多媒体信息，Ni为第i个预设多媒体信息对应的前景倾斜度信息中斜率数量，j为第j个斜率的编号，αfij为第i个预设多媒体信息中的第j个斜率，αbij为与第i个预设多媒体信息中的第j个斜率对应的预设植入实体的第j个斜率。
在一些实施例中，还描述了另一种获取至少一个倾斜度差信息的实现步骤，因此，S103中获取后景倾斜度信息和至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，具体包括S103c-S103d：
S103c、获取后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的比值，得到至少一个斜率比信息。
在本发明实施例中，从至少一个前景倾斜度信息中任选一个前景倾斜度信息作为当前前景倾斜度信息，并通过一一将后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中对应的每个斜率信息相比，所得到的比值即为至少一个斜率比信息。
这里，当前前景倾斜度信息为至少一个前景倾斜度信息中的任一前景倾斜度信息，当前前景倾斜度信息中每个斜率信息与后景倾斜度信息中的每个斜率信息对应。
S103d、获取至少一个斜率比信息的总和与至少一个斜率比信息对应数量的比值，得到当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息，从而得到与至少一个前景倾斜度信息对应的至少一个倾斜度差信息。
在本发明实施例中，获得了至少一个斜率比信息之后，至少一个斜率比信息的总和与至少一个斜率比信息对应数量的比值，所述得到的比值结果即为当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息。由于当前前景倾斜度信息为至少一个前景倾斜度信息中的任一前景倾斜度信息，因此，当将至少一个前景倾斜度信息中的每个前景倾斜度信息作为当前前景倾斜度信息来获得对应的倾斜度差信息之后，也就获得了至少一个倾斜度差信息。其中，当前前景倾斜度信息与后景倾斜度信息的倾斜度差信息，如式(2)所示：
其中，式(2)中各符号所代表的含义同式(1)中各符号所代表的含义相同，本发明实施例在此不再赘述。
需要说明的是，S103a-S103b与S103c-S103d分别描述获取至少一个倾斜度差信息的两种不同的实现方式，因此，S103a-S103b与S103c-S103d为两种并列且独立的执行过程，当执行S103a-S103b时则不执行S103c-S103d，而当执行S103c-S103d时则不执行S103a-S103b。
在一些实施例中，还包括从预设视频信息中确定预设待植入视频帧的实现步骤，因此，在S101获取预设植入实体在预设待植入视频帧中的后景倾斜度信息之前，该信息植入方法还包括S105-S108：
S105、当接收到信息植入请求时，根据信息植入请求，从预设视频库中获取对应的预设视频信息。
在本发明实施例中，当接收到请求向预设视频信息中植入多媒体对象的信息植入请求信息时，响应该信息植入请求，从信息植入请求中获取请求视频名称，根据请求视频名称获取请求视频标识，进而根据请求视频标识从预设视频库中获取对应的预设视频信息。
S106、对预设视频信息依据镜头进行分割，得到视频镜头信息。
在本发明实施例中，获得了预设视频信息之后，依据预设镜头切分算法，将预设视频信息依据镜头拆分成视频分片，从而得到由至少一个镜头信息组成的视频镜头信息。这里，预设镜头切分算法为现有技术中的镜头切分算法，本发明实施例在此不再赘述。
S107、根据预设植入实体检测算法，对视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到预设植入实体和预设植入实体所在的目标视频镜头组合。
在本发明实施例中，获得了视频镜头信息之后，针对视频镜头信息中的每个镜头信息中的每个视频帧，依据预设植入实体检测算法进行植入实体的检测，如此，也就能够确定预设待植入实体，并确定预设待植入实体所在的目标视频镜头组合。这里，植入实体为预设指定的实体，比如，桌子；预设植入实体属于植入实体。
在一些实施例中，S107中根据预设植入实体检测算法，对视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到预设植入实体和预设植入实体所在的目标视频镜头组合，具体包括S107a-S107c：
S107a、根据预设植入实体检测算法，对视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到至少一个植入实体和至少一个植入实体所在的至少一个待植入视频镜头组合。
在本发明实施例中，由于植入实体为预设指定的实体，因此，在对视频镜头信息进行植入实体检测时，就能够得到至少一个植入实体和至少一个植入实体所在的至少一个待植入视频镜头组合；比如，当植入实体为桌子时，能够检测到至少一张桌子和至少一个桌子所在的待植入视频镜头组合。这里，至少一个待植入视频镜头组合中的每个待植入视频镜头组合包括至少一个镜头信息。
S107b、获取至少一个待植入视频镜头组合对应的至少一个时间信息。
在本发明实施例中，获得了至少一个植入实体和至少一个植入实体所在的至少一个待植入视频镜头组合之后，如何从至少一个植入实体中确定预设植入实体，依据镜头信息的播放时间信息，从至少一个植入实体所在的至少一个待植入视频镜头组合中，确定预设植入实体所在的目标视频镜头组合；由于每个镜头信息都对应播放时间信息，将至少一个待植入视频镜头组合中的每个待植入视频镜头组合对应的播放时间信息组合进行整合(比如，求和)，获得对应的时间信息，而对于至少一个待植入视频镜头组合，也就获得了对应的至少一个时间信息。
S107c根据至少一个时间信息和预设植入时间信息，从至少一个植入实体中确定预设植入实体，并从至少一个待植入视频镜头组合中，确定预设植入实体所在的目标视频镜头组合。
在本发明实施例中，获得了至少一个时间信息之后，可以将至少一个时间信息中的每个时间信息与预设植入时间信息比较，至少一个时间信息中大于预设植入时间信息的时间信息对应的植入实体中，将任一个植入实体作为预设植入实体，同时，从至少一个待植入视频镜头组合中，确定预设植入实体所在的目标视频镜头组合；还可以将至少一个时间信息中与预设植入时间信息最接近的时间信息对应的植入实体作为预设植入实体，同时，从至少一个待植入视频镜头组合中，确定预设植入实体所在的目标视频镜头组合；等等；本发明实施例对此不做具体限定。
示例性地，当预设植入时间信息为10秒时，至少一个时间信息分别为1秒、5秒、11秒和25秒，由于时间信息11秒与预设植入时间信息10最接近，则时间信息10秒对应的植入实体为预设植入实体，并将时间信息10秒对应的植入实体所在的待植入视频镜头组合作为预设植入实体所在的目标视频镜头组合。
S108、从目标视频镜头组合中，选择当前待植入视频镜头信息，并从当前待植入视频镜头信息中，确定预设待植入视频帧，当前待植入视频镜头信息为目标视频镜头组合中的任一个镜头信息。
在本发明实施例中，获得了目标视频镜头组合之后，从目标视频镜头组合中任选一个镜头信息作为当前待植入视频镜头信息，并将当前待植入视频镜头信息中的任一视频帧作为预设待植入视屏帧。
在一些实施例中，还包括基于目标视频帧获得目标视频信息的实现过程，因此，S104将目标多媒体信息植入预设待植入视频帧的预设植入实体的承载面上，得到目标视频帧之后，该信息植入方法还包括S109-S110：
S109、根据目标视频帧，完成目标多媒体信息在当前待植入视频镜头信息的植入，得到目标视频镜头信息，直至完成目标多媒体信息在目标视频镜头组合中每个镜头信息的植入，得到已植入视频镜头组合，已植入视频镜头组合为与预设植入实体对应的至少一个目标视频镜头信息。
在本发明实施例中，当完成了目标多媒体信息在预设待植入视频帧中的植入之后，可以针对当前待植入视频镜头信息中的每帧视频帧都采用类似的方法以完成目标多媒体信息在当前待植入视频镜头信息的植入；还可以是根据当前待植入视频镜头信息中各帧承载面上承载位置之间的偏移量来完成目标多媒体信息在当前待植入视频惊喜信息的植入；等等，本发明实施例不做具体限定。这里，目标视频镜头信息为植入了目标多媒体信息之后的当前待植入视频镜头信息。
当完成了目标多媒体信息在目标视频镜头组合中任一镜头信息的植入之后，也就获得了植入了目标多媒体信息之后的目标视频镜头组合，即获得了已植入视频镜头组合；这里，已植入视频镜头组合为与预设植入实体对应的至少一个目标视频镜头信息。
S110、根据已植入视频镜头组合，从视频镜头信息中，获取未植入视频镜头组合，未植入视频镜头组合为视频镜头信息中除至少一个目标视频镜头信息对应的镜头信息之外剩余的镜头信息。
在本发明实施例中，获得了已植入视频镜头组合之后，由于已植入视频镜头组合为视频镜头信息中已植入了目标多媒体信息之后的镜头信息所构成的组合，从而视频镜头信息中，除去至少一个目标视频镜头信息对应的镜头信息之外所剩余的镜头信息，也就获得了未植入视频镜头组合。
S111、将至少一个已植入视频镜头组合与至少一个未植入视频镜头组合进行视频融合，得到目标视频信息。
在本发明实施例中，当获得了至少一个已植入视频镜头组合与至少一个未植入视频镜头组合之后，基于视频镜头信息中各镜头信息之间的连接关系，将至少一个已植入视频镜头组合与至少一个未植入视频镜头组合进行视频融合，也就获得了目标视频信息。
在一些实施例中，还可以将至少一个已植入视频镜头组合替换视频镜头信息中对应的镜头信息获得目标视频信息。
在一些实施例中，S109中根据目标视频帧，完成目标多媒体信息在当前待植入视频镜头信息的植入，得到目标视频镜头信息，具体包括S109a-S109d：
S109a、从预设待植入视频帧中，确定运动参考对象，运动参考对象为预设植入实体承载面上的对象。
在本发明实施例中，预设待植入视频帧中的预设植入实体的承载面上承载有至少一个对象，比如桌面上的杯子，从该至少一个对象中，选择一个作为当前待植入视频镜头信息中各帧之间或者与参考视频帧之间的位置偏移量的参考对象，即作为运动参考对象。这里，参考视频帧可以为预设待植入视频帧。
S109b、获取运动参考对象在当前待植入视频镜头信息中的运动轨迹信息。
在本发明实施例中，确定了运动参考对象之后，获取运动参考对象在当前待植入视频镜头信息中各帧之间或者与参考视频帧之间的位置偏移量，也就获得了运动轨迹信息。
S109c、根据运动轨迹信息，确定目标多媒体信息在至少一个未植入视频帧的预设植入实体承载面上对应的至少一个目标承载位置，至少一个未植入视频帧为当前待植入视频镜头信息中除预设待植入视频帧之外剩余的视频帧。
在本发明实施例中，获得了运动参考对象的运动轨迹信息之后，也就明确了运动参考对象在当前待植入视频镜头信息中各帧之间或者与参考视频帧之间的位置偏移量，从而也就获得了目标多媒体信息在当前待植入视频镜头信息中各帧之间或者与参考视频帧之间的位置偏移量；此时，也就能够基于目标多媒体信息在当前待植入视频镜头信息中各帧之间或者与参考视频帧之间的位置偏移量，确定目标多媒体信息在至少一个未植入视频帧的预设植入实体承载面上对应的至少一个目标承载位置；这里，至少一个未植入视频帧为当前待植入视频镜头信息中除预设待植入视频帧之外剩余的视频帧。
S109d、基于至少一个目标承载位置，将目标多媒体信息植入至少一个未植入视频帧的预设植入实体承载面上，得到目标视频镜头信息。
在本发明实施例中，获得了至少一个目标承载位置之后，也就明确了目标多媒体信息在至少一个未植入视频帧的预设植入实体承载面上的位置，将目标多媒体信息植入至少一个未植入视频帧的预设植入实体承载面上的位置处，从而获得目标视频镜头信息。
在一些实施例中，还包括根据目标视频信息进行应用的实现过程，因此，S111将至少一个已植入视频镜头组合与至少一个未植入视频镜头组合进行视频融合，得到目标视频信息之后，该信息植入方法还包括S112：
S112、当接收到视频加载请求时，根据视频加载请求，通过播放设备播放目标视频信息。
本发明实施例中，当用户请求观看目标视频信息时，对应能够接收到视频加载请求，响应该视频加载请求，播放该目标视频信息。具体在播放目标视频信息时，可以通过播放设备播放该目标视频信息。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。在该示例性地应用场景中，预设植入实体为指定桌子，至少一个多媒体信息为饮料盒对应的4张不同角度的饮料盒抠图，如图5所示，具体步骤如下：
S201、当接收到饮料盒植入请求时，从饮料盒植入请求中获取视频名称，根据视频名称从预设视频库中获取视频标识(比如，vid)，以根据视频标识获得视频素流源文件。
需要说明的是，饮料盒植入请求为信息植入请求，视频素流源文件为预设视频信息。
S202、依据镜头切分算法，对视频素流源文件进行单镜头视频分片拆分，得到视频镜头信息。
S203、利用多模态视频植入广告位检测算法，获得指定桌子所在视频镜头组合。
需要说明的是，多模态视频植入广告位检测算法为预设植入实体检测算法，视频镜头组合为目标视频镜头组合。另外，如果确定在墙面进行信息植入，则获得的为墙面所在视频镜头组合；如果确定在相框进行信息植入，则获得的为相框所在视频镜头组合。
S204、将视频镜头组合的每个镜头信息中的任一视频帧作为预设待植入视频帧，并从预设待植入视频帧中采用实例分割算法Mask R-CNN识别出指标桌子，得到指定桌子的所在区域。
这里，指定桌子的所在区域即初始植入位置区域。
S205、根据指定桌子的桌面区域大小，对指定桌子的所在区域进行蒙版处理，得到有效桌面区域。
这里，指定桌子的桌面区域大小为预设区域特征，有效桌面区域为植入位置区域。如图6中的框a，示出了预设待植入视频帧，该预设待植入视频帧中包含预设植入实体：指定桌子。而如图6中的框b，示出了有效桌面区域。
S206、采用色块聚类方式对有效桌面区域进行聚类处理，根据桌面的平整度大于桌边的平整度，去除有效桌面区域中平整的上桌面部分，留下下桌面区域。
需要说明的是，由于需要获取的指定桌子的后景倾斜度信息为下桌面边缘的倾斜度，因此，平整的上桌面部分并不纳入计算，仅需对下桌面区域进行计算。这里，桌面的平整度大于桌边的平整度为预设平整度特征，下桌面区域为植入位置特征区域。如图6中的框c，示出了下桌面区域。
S207、采用拉普拉斯边缘检测算法对下桌面区域进行边缘检测，得到下桌面边缘。这里，拉普拉斯边缘检测算法为预设边缘检测算法，下桌面边缘为植入位置边缘信息。
如图6中的框d，示出了下桌面边缘。
S208、通过自适应阈值学习，确定预设边缘点阈值，并从下桌面边缘的每个边缘的边缘点组合中，将筛选出的大于预设边缘点阈值的边缘点组合作为两个特征轮廓点组合。
如图6中的框e所示，两个特征轮廓点组合为区域1包括的边缘点和区域2包括的边缘点。
S209、采用RANSAC算法对两个特征轮廓点组合进行直线拟合，得到两个后景拟合直线信息。
需要说明的是，RANSAC算法为预设直线拟合算法，两个后景拟合直线信息如式(3)所示：
y1＝α1x1+β1，y2＝α2x2+β2 (3)
其中，y1和y2为因变量，x1和x2为自变量，α1和α2为两个后景拟合直线信息对应的两个斜率，β1和β2为常数。这里式(3)又称为后景倾斜度信息的模型化表示。
如图6中的框f，示出了拟合出的两条边缘61和62对应的后景拟合直线信息。
S210、将两个后景拟合直线信息对应的两个斜率作为指定桌子的后景倾斜度信息。
S211、获取2张饮料盒抠图对应的2个前景倾斜度信息。
需要说明的是，获取2张饮料盒抠图对应的2个前景倾斜度信息，与前述获取后景倾斜度信息的步骤类似，并且，对于每张饮料盒抠图，对应两个斜率信息，以及，饮料盒抠图的两个斜率信息与指定桌子的两个斜率信息一一对应。
如图7示出了经过边缘提取和边缘拟合获得的2个前景倾斜度信息，其中，每个饮料盒抠图对应的1个前景倾斜度信息包含2个斜率，分别是边71对应的斜率和边72对应的斜率，以及边73对应的斜率和边74对应的斜率。
S212、获取后景倾斜度信息和2个前景倾斜度信息的倾斜度差，得到2个倾斜度差信息，并对将2个倾斜度差信息对应的饮料盒抠图进行渲染处理，获得目标饮料盒抠图，将目标饮料盒抠图植入预设待植入视频帧的指定桌子的承载面上。
S213、采用仿射变换，获取指定桌子上运动参考对象(比如，杯子)的运动偏移量，并根据运动参考对象的运动偏移量，完成目标饮料盒抠图在指定桌子所在视频镜头组合中的一个镜头信息中的植入，得到已植入饮料盒的视频镜头，从而得到已植入饮料盒的视频镜头组合。这里，已植入饮料盒的视频镜头为目标视频镜头，已植入饮料盒的视频镜头组合为已植入视频镜头组合。
S214、将已植入饮料盒的视频镜头组合与未植入饮料盒的视频镜头组合进行融合，得到目标视频信息。这里，未植入饮料盒的视频镜头组合为未植入视频镜头组合。
S215、播放目标视频信息。
可以理解的是，采用本发明实施例提供的信息植入方法，能够完全替代设计人员人工确定目标多媒体信息，节省了人力成本开支；同时，相对于采用设计人员人工确定目标多媒体信息，时长从30分钟下降至1分钟，节省了时间成本。另外，采用本发明实施例提供的信息植入方法，来实现广告植入，一方面，广告形式不可跳过，会员可见，从而触达率高；另一方面，广告主无需赌剧，广告投入风险小；再一方面，植入广告分人群投放，预算成本低；又一方面，对于视频提供方，是重要利用增长点。
下面继续说明本发明实施例提供的信息植入装置555的实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器540的信息植入装置555中的软件模块可以包括：
后景倾斜度获取模块5551，用于获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，所述预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，所述后景倾斜度信息为所述预设待植入视频帧中所述预设植入实体的承载面的倾斜度信息；
前景倾斜度获取模块5552，用于获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，所述至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；
倾斜度差获取模块5553，用于获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；
植入模块5554，用于将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧。
进一步地，所述后景倾斜度获取模块5551包括识别模块5551-1、边缘获取模块5551-2、轮廓点筛选模块5551-3、直线拟合模块5551-4和斜率获取模块5551-5；
所述识别模块5551-1，用于在所述预设待植入视频帧中，识别所述预设植入实体，得到对应的初始植入位置区域；
所述边缘获取模块5551-2，用于获取所述初始植入位置区域的植入位置边缘信息；
所述轮廓点筛选模块5551-3，用于根据预设边缘点阈值，对所述植入位置边缘信息中的每个边缘的特征轮廓点进行筛选，得到至少一个特征轮廓点组合；
所述直线拟合模块5551-4，用于分别对所述至少一个特征轮廓点组合进行直线拟合，得到至少一个后景拟合直线信息；
所述斜率获取模块5551-5，用于将所述至少一个后景拟合直线信息对应的至少一个斜率信息，作为所述后景倾斜度信息。
进一步地，所述边缘获取模块5551-2，还用于根据预设区域特征，从所述初始植入位置区域中，筛选植入位置区域；根据预设平整度特征，从所述植入位置区域中，筛选植入位置特征区域；对所述植入位置特征区域进行边缘检测，得到所述植入位置边缘信息。
进一步地，所述倾斜度差获取模块5553，还用于获取所述后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的差值，得到至少一个斜率差信息，所述当前前景倾斜度信息为所述至少一个前景倾斜度信息中的任一前景倾斜度信息，所述当前前景倾斜度信息中一个斜率信息与所述后景倾斜度信息中的一个斜率信息对应；获取所述至少一个斜率差信息的乘积，得到所述当前前景倾斜度信息与所述后景倾斜度信息的倾斜度差信息，从而得到与所述至少一个前景倾斜度信息对应的所述至少一个倾斜度差信息。
进一步地，所述倾斜度差获取模块5553，还用于获取所述后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的比值，得到至少一个斜率比信息；获取所述至少一个斜率比信息的总和与所述至少一个斜率比信息对应数量的比值，得到所述当前前景倾斜度信息与所述后景倾斜度信息的倾斜度差信息，从而得到与所述至少一个前景倾斜度信息对应的所述至少一个倾斜度差信息。
进一步地，所述信息处理装置555还包括视频帧确定单元5555，所述视频帧确定单元5555，用于当接收到信息植入请求时，根据所述信息植入请求，从预设视频库中获取对应的所述预设视频信息；对所述预设视频信息依据镜头进行分割，得到视频镜头信息；根据预设植入实体检测算法，对所述视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到所述预设植入实体和所述预设植入实体所在的目标视频镜头组合；从所述目标视频镜头组合中，选择当前待植入视频镜头信息，并从所述当前待植入视频镜头信息中，确定所述预设待植入视频帧，所述当前待植入视频镜头信息为所述目标视频镜头组合中的任一个镜头信息。
进一步地，所述视频帧确定单元5555，还用于根据预设植入实体检测算法，对所述视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到至少一个植入实体和所述至少一个植入实体所在的至少一个待植入视频镜头组合；获取所述至少一个待植入视频镜头组合对应的至少一个时间信息；根据所述至少一个时间信息和预设植入时间信息，从所述至少一个植入实体中确定所述预设植入实体，并从所述至少一个待植入视频镜头组合中，确定所述预设植入实体所在的所述目标视频镜头组合。
进一步地，所述信息处理装置555还包括视频融合模块5556，所述视频融合模块5556，用于根据所述目标视频帧，完成所述目标多媒体信息在所述当前待植入视频镜头信息的植入，得到目标视频镜头信息，直至完成所述目标多媒体信息在所述目标视频镜头组合中每个镜头信息的植入，得到已植入视频镜头组合，所述已植入视频镜头组合为与所述预设植入实体对应的至少一个所述目标视频镜头信息；根据所述已植入视频镜头组合，从所述视频镜头信息中，获取未植入视频镜头组合，所述未植入视频镜头组合为所述视频镜头信息中除所述至少一个目标视频镜头信息对应的镜头信息之外剩余的镜头信息；将所述至少一个已植入视频镜头组合与所述至少一个未植入视频镜头组合进行视频融合，得到目标视频信息。
进一步地，所述频融合模块5556，还用于从所述预设待植入视频帧中，确定运动参考对象，所述运动参考对象为所述预设植入实体承载面上的对象；获取所述运动参考对象在所述当前待植入视频镜头信息中的运动轨迹信息；根据所述运动轨迹信息，确定所述目标多媒体信息在至少一个未植入视频帧的所述预设植入实体承载面上对应的至少一个目标承载位置，所述至少一个未植入视频帧为所述当前待植入视频镜头信息中除所述预设待植入视频帧之外剩余的视频帧；基于所述至少一个目标承载位置，将所述目标多媒体信息植入所述至少一个未植入视频帧的所述预设植入实体承载面上，得到所述目标视频镜头信息。
进一步地，所述植入模块5554，还用于根据所述预设倾斜度差条件，从所述至少一个预设多媒体信息中，确定与所述至少一个倾斜度差信息中的最小倾斜度差信息对应的预设多媒体信息，得到初始目标多媒体信息；根据所述预设待植入视频帧，对所述初始目标多媒体信息进行渲染处理，得到所述目标多媒体信息。
进一步地，所述信息处理装置555还包括视频播放模块5557，所述视频播放模块5557，用于当接收到视频加载请求时，根据所述视频加载请求，通过播放设备播放所述目标视频信息。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图4示出的方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例通过对比预设待植入视频中预设植入实体的后景倾斜度信息和至少一个预设多媒体信息中每个预设多媒体信息的前景倾斜度信息，获得对应的倾斜度差信息，从而根据倾斜度差信息从至少一个预设多媒体信息中确定与预设待植入视频帧切换度最高的目标多媒体信息，以根据该目标多媒体信息完成多媒体信息的植入，实现了一种智能的向视频帧中植入多媒体信息的过程，提升了多媒体信息植入的智能性。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (14)

1.一种信息植入方法，其特征在于，所述方法包括：
获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，所述预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，所述后景倾斜度信息为所述预设待植入视频帧中所述预设植入实体的承载面的倾斜度信息；
获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，所述至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；
获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；
将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧。
2.根据权利要求1所述的方法，其特征在于，所述获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，包括：
在所述预设待植入视频帧中，识别所述预设植入实体，得到对应的初始植入位置区域；
获取所述初始植入位置区域的植入位置边缘信息；
根据预设边缘点阈值，对所述植入位置边缘信息中的每个边缘的特征轮廓点进行筛选，得到至少一个特征轮廓点组合；
分别对所述至少一个特征轮廓点组合进行直线拟合，得到至少一个后景拟合直线信息；
将所述至少一个后景拟合直线信息对应的至少一个斜率信息，作为所述后景倾斜度信息。
3.根据权利要求2所述的方法，其特征在于，所述获取所述初始植入位置区域的植入位置边缘信息，包括：
根据预设区域特征，从所述初始植入位置区域中，筛选植入位置区域；
根据预设平整度特征，从所述植入位置区域中，筛选植入位置特征区域；
对所述植入位置特征区域进行边缘检测，得到所述植入位置边缘信息。
4.根据权利要求1所述的方法，其特征在于，所述获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，包括：
获取所述后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的差值，得到至少一个斜率差信息，所述当前前景倾斜度信息为所述至少一个前景倾斜度信息中的任一前景倾斜度信息，所述当前前景倾斜度信息中一个斜率信息与所述后景倾斜度信息中的一个斜率信息对应；
获取所述至少一个斜率差信息的乘积，得到所述当前前景倾斜度信息与所述后景倾斜度信息的倾斜度差信息，从而得到与所述至少一个前景倾斜度信息对应的所述至少一个倾斜度差信息。
5.根据权利要求1所述的方法，其特征在于，所述获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，包括：
获取所述后景倾斜度信息中的每个斜率信息，与当前前景倾斜度信息中每个斜率信息的比值，得到至少一个斜率比信息；
获取所述至少一个斜率比信息的总和与所述至少一个斜率比信息对应数量的比值，得到所述当前前景倾斜度信息与所述后景倾斜度信息的倾斜度差信息，从而得到与所述至少一个前景倾斜度信息对应的所述至少一个倾斜度差信息。
6.根据权利要求1所述的方法，其特征在于，所述获取预设植入实体在预设待植入视频帧中的后景倾斜度信息之前，所述方法还包括：
当接收到信息植入请求时，根据所述信息植入请求，从预设视频库中获取对应的所述预设视频信息；
对所述预设视频信息依据镜头进行分割，得到视频镜头信息；
根据预设植入实体检测算法，对所述视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到所述预设植入实体和所述预设植入实体所在的目标视频镜头组合；
从所述目标视频镜头组合中，选择当前待植入视频镜头信息，并从所述当前待植入视频镜头信息中，确定所述预设待植入视频帧，所述当前待植入视频镜头信息为所述目标视频镜头组合中的任一个镜头信息。
7.根据权利要求6所述的方法，其特征在于，所述根据预设植入实体检测算法，对所述视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到所述预设植入实体和所述预设植入实体所在的目标视频镜头组合，包括：
根据预设植入实体检测算法，对所述视频镜头信息的每个镜头信息中的每个视频帧进行植入实体的检测，得到至少一个植入实体和所述至少一个植入实体所在的至少一个待植入视频镜头组合；
获取所述至少一个待植入视频镜头组合对应的至少一个时间信息；
根据所述至少一个时间信息和预设植入时间信息，从所述至少一个植入实体中确定所述预设植入实体，并从所述至少一个待植入视频镜头组合中，确定所述预设植入实体所在的所述目标视频镜头组合。
8.根据权利要求6所述的方法，其特征在于，所述将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧之后，所述方法还包括：
根据所述目标视频帧，完成所述目标多媒体信息在所述当前待植入视频镜头信息的植入，得到目标视频镜头信息，直至完成所述目标多媒体信息在所述目标视频镜头组合中每个镜头信息的植入，得到已植入视频镜头组合，所述已植入视频镜头组合为与所述预设植入实体对应的至少一个所述目标视频镜头信息；
根据所述已植入视频镜头组合，从所述视频镜头信息中，获取未植入视频镜头组合，所述未植入视频镜头组合为所述视频镜头信息中除所述至少一个目标视频镜头信息对应的镜头信息之外剩余的镜头信息；
将所述至少一个已植入视频镜头组合与所述至少一个未植入视频镜头组合进行视频融合，得到目标视频信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标视频帧，完成所述目标多媒体信息在所述当前待植入视频镜头信息的植入，得到目标视频镜头信息，包括：
从所述预设待植入视频帧中，确定运动参考对象，所述运动参考对象为所述预设植入实体承载面上的对象；
获取所述运动参考对象在所述当前待植入视频镜头信息中的运动轨迹信息；
根据所述运动轨迹信息，确定所述目标多媒体信息在至少一个未植入视频帧的所述预设植入实体承载面上对应的至少一个目标承载位置，所述至少一个未植入视频帧为所述当前待植入视频镜头信息中除所述预设待植入视频帧之外剩余的视频帧；
基于所述至少一个目标承载位置，将所述目标多媒体信息植入所述至少一个未植入视频帧的所述预设植入实体承载面上，得到所述目标视频镜头信息。
10.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息，包括：
根据所述预设倾斜度差条件，从所述至少一个预设多媒体信息中，确定与所述至少一个倾斜度差信息中的最小倾斜度差信息对应的预设多媒体信息，得到初始目标多媒体信息；
根据所述预设待植入视频帧，对所述初始目标多媒体信息进行渲染处理，得到所述目标多媒体信息。
11.根据权利要求6所述的方法，其特征在于，所述将所述至少一个已植入视频镜头组合与所述至少一个未植入视频镜头组合进行视频融合，得到目标视频信息之后，所述方法还包括：
当接收到视频加载请求时，根据所述视频加载请求，通过播放设备播放所述目标视频信息。
12.一种信息植入装置，其特征在于，包括：
后景倾斜度获取模块，用于获取预设植入实体在预设待植入视频帧中的后景倾斜度信息，所述预设待植入视频帧为预设视频信息中用于植入多媒体信息的最小单位，所述后景倾斜度信息为所述预设待植入视频帧中所述预设植入实体的承载面的倾斜度信息；
前景倾斜度获取模块，用于获取至少一个预设多媒体信息对应的至少一个前景倾斜度信息，所述至少一个前景倾斜度信息中的每个前景倾斜度信息为对应的预设多媒体信息的待接触面的倾斜度信息；
倾斜度差获取模块，用于获取所述后景倾斜度信息和所述至少一个前景倾斜度信息的倾斜度差，得到至少一个倾斜度差信息，并根据所述至少一个倾斜度差信息，从所述至少一个预设多媒体信息中确定满足预设倾斜度差条件的目标多媒体信息；
植入模块，用于将所述目标多媒体信息植入所述预设待植入视频帧的所述预设植入实体的承载面上，得到目标视频帧。
13.一种信息植入服务器，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的方法。
14.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至11任一项所述的方法。
CN201910569777.2A 2019-06-27 2019-06-27 一种信息植入方法、装置、服务器及存储介质 Active CN110213629B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910569777.2A CN110213629B (zh) 2019-06-27 2019-06-27 一种信息植入方法、装置、服务器及存储介质
PCT/CN2020/098462 WO2020259676A1 (zh) 2019-06-27 2020-06-28 一种信息植入方法、装置、设备及计算机存储介质
EP20831160.5A EP3993433A4 (en) 2019-06-27 2020-06-28 INFORMATION EMBEDDING METHOD AND APPARATUS, DEVICE AND COMPUTER STORAGE MEDIUM
US17/384,516 US11854238B2 (en) 2019-06-27 2021-07-23 Information insertion method, apparatus, and device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910569777.2A CN110213629B (zh) 2019-06-27 2019-06-27 一种信息植入方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN110213629A true CN110213629A (zh) 2019-09-06
CN110213629B CN110213629B (zh) 2022-02-11

Family

ID=67795127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910569777.2A Active CN110213629B (zh) 2019-06-27 2019-06-27 一种信息植入方法、装置、服务器及存储介质

Country Status (4)

Country Link
US (1) US11854238B2 (zh)
EP (1) EP3993433A4 (zh)
CN (1) CN110213629B (zh)
WO (1) WO2020259676A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111223106A (zh) * 2019-10-28 2020-06-02 稿定（厦门）科技有限公司 全自动人像蒙版抠图方法及***
CN111556336A (zh) * 2020-05-12 2020-08-18 腾讯科技（深圳）有限公司 一种多媒体文件处理方法、装置、终端设备及介质
WO2020259676A1 (zh) * 2019-06-27 2020-12-30 腾讯科技（深圳）有限公司 一种信息植入方法、装置、设备及计算机存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067865A1 (en) * 2008-07-11 2010-03-18 Ashutosh Saxena Systems, Methods and Devices for Augmenting Video Content
US20120230594A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
CN102907093A (zh) * 2010-05-28 2013-01-30 微软公司 使到视频中的动态信息***自动化
CN103258316A (zh) * 2013-03-29 2013-08-21 东莞宇龙通信科技有限公司 一种图片处理方法和装置
CN105472434A (zh) * 2014-11-17 2016-04-06 Tcl集团股份有限公司 植入内容到视频演示中的方法和***
CN105608455A (zh) * 2015-12-18 2016-05-25 浙江宇视科技有限公司 一种车牌倾斜校正方法及装置
KR101741747B1 (ko) * 2016-06-09 2017-05-31 (주)매직비젼 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
CN106991641A (zh) * 2017-03-10 2017-07-28 北京小米移动软件有限公司 植入图片的方法及装置
CN107493488A (zh) * 2017-08-07 2017-12-19 上海交通大学 基于Faster R‑CNN模型的视频内容物智能植入的方法
CN108076373A (zh) * 2017-02-14 2018-05-25 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
KR101915792B1 (ko) * 2017-09-01 2018-11-09 (주)비버스팩토리 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US20190075339A1 (en) * 2017-09-05 2019-03-07 Adobe Inc. Injecting targeted ads into videos
CN109842811A (zh) * 2019-04-03 2019-06-04 腾讯科技（深圳）有限公司 一种在视频中植入推送信息的方法、装置及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL149543A0 (en) * 1999-11-08 2002-11-10 Mirage Systems Inc Method and apparatus for real time insertion of images into video
CN101213833A (zh) * 2005-06-08 2008-07-02 汤姆逊许可公司 ***替代图像/视频的方法、装置及***
DE102006020022A1 (de) * 2006-04-26 2007-10-31 Kollin, Jörn Verfahren zur Nutzung von Sichtflächen als Werbeflächen für Luftbild- und Satellitenaufnahmen
US8281334B2 (en) * 2008-03-31 2012-10-02 Microsoft Corporation Facilitating advertisement placement over video content
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
US20120180084A1 (en) * 2011-01-12 2012-07-12 Futurewei Technologies, Inc. Method and Apparatus for Video Insertion
US20120259712A1 (en) * 2011-04-06 2012-10-11 Avaya Inc. Advertising in a virtual environment
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
EP2819095A1 (en) * 2013-06-24 2014-12-31 Thomson Licensing Method and apparatus for inserting a virtual object in a video
CN105284122B (zh) * 2014-01-24 2018-12-04 Sk 普兰尼特有限公司 用于通过使用帧聚类来***广告的装置和方法
CN103974126B (zh) * 2014-05-15 2017-03-01 北京奇艺世纪科技有限公司 一种在视频中植入广告的方法及装置
CN104735465B (zh) * 2015-03-31 2019-04-12 北京奇艺世纪科技有限公司 在视频画面中植入平面图案广告的方法及装置
CN106375858B (zh) * 2015-07-23 2019-06-18 Tcl集团股份有限公司 一种在视频中植入广告的方法、装置及***
US20170150231A1 (en) * 2015-11-19 2017-05-25 Echostar Technologies Llc Media content delivery selection
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
CN107169135B (zh) 2017-06-12 2021-03-19 阿里巴巴（中国）有限公司 图像处理方法、装置和电子设备
CN109168034B (zh) * 2018-08-28 2020-04-28 百度在线网络技术（北京）有限公司 商品信息显示方法、装置、电子设备和可读存储介质
CN110213629B (zh) * 2019-06-27 2022-02-11 腾讯科技（深圳）有限公司 一种信息植入方法、装置、服务器及存储介质
CN110300316B (zh) * 2019-07-31 2022-02-11 腾讯科技（深圳）有限公司 视频中植入推送信息的方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100067865A1 (en) * 2008-07-11 2010-03-18 Ashutosh Saxena Systems, Methods and Devices for Augmenting Video Content
CN102907093A (zh) * 2010-05-28 2013-01-30 微软公司 使到视频中的动态信息***自动化
US20120230594A1 (en) * 2011-03-10 2012-09-13 Jill Boyce Adaptive picture rotation
CN103258316A (zh) * 2013-03-29 2013-08-21 东莞宇龙通信科技有限公司 一种图片处理方法和装置
CN105472434A (zh) * 2014-11-17 2016-04-06 Tcl集团股份有限公司 植入内容到视频演示中的方法和***
CN105608455A (zh) * 2015-12-18 2016-05-25 浙江宇视科技有限公司 一种车牌倾斜校正方法及装置
KR101741747B1 (ko) * 2016-06-09 2017-05-31 (주)매직비젼 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
CN108076373A (zh) * 2017-02-14 2018-05-25 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
CN106991641A (zh) * 2017-03-10 2017-07-28 北京小米移动软件有限公司 植入图片的方法及装置
CN107493488A (zh) * 2017-08-07 2017-12-19 上海交通大学 基于Faster R‑CNN模型的视频内容物智能植入的方法
KR101915792B1 (ko) * 2017-09-01 2018-11-09 (주)비버스팩토리 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US20190075339A1 (en) * 2017-09-05 2019-03-07 Adobe Inc. Injecting targeted ads into videos
CN109842811A (zh) * 2019-04-03 2019-06-04 腾讯科技（深圳）有限公司 一种在视频中植入推送信息的方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
舒莲卿: "基于内容的视频动态广告植入研究", 《信息与电脑(理论版)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259676A1 (zh) * 2019-06-27 2020-12-30 腾讯科技（深圳）有限公司 一种信息植入方法、装置、设备及计算机存储介质
US11854238B2 (en) 2019-06-27 2023-12-26 Tencent Technology (Shenzhen) Company Limited Information insertion method, apparatus, and device, and computer storage medium
CN110599605A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN110599605B (zh) * 2019-09-10 2021-07-13 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
US11538229B2 (en) 2019-09-10 2022-12-27 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and computer-readable storage medium
CN111223106A (zh) * 2019-10-28 2020-06-02 稿定（厦门）科技有限公司 全自动人像蒙版抠图方法及***
CN111556336A (zh) * 2020-05-12 2020-08-18 腾讯科技（深圳）有限公司 一种多媒体文件处理方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN110213629B (zh) 2022-02-11
EP3993433A1 (en) 2022-05-04
WO2020259676A1 (zh) 2020-12-30
US20210352343A1 (en) 2021-11-11
US11854238B2 (en) 2023-12-26
EP3993433A4 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
CN110213629A (zh) 一种信息植入方法、装置、服务器及存储介质
CN105472434B (zh) 植入内容到视频演示中的方法和***
CN110458820A (zh) 一种多媒体信息植入方法、装置、设备及存储介质
WO2021012837A1 (zh) 推荐信息植入位置的确定方法、装置、设备及存储介质
CN110300316A (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
Ryan New Nollywood: A sketch of Nollywood’s metropolitan new style
JP2021511729A (ja) 画像、又はビデオデータにおいて検出された領域の拡張
US8953895B2 (en) Image classification apparatus, image classification method, program, recording medium, integrated circuit, and model creation apparatus
WO2017163113A1 (en) Methods and systems for generating and using simulated 3d images
EP3549105A1 (en) Photo and video collaboration platform
US8712110B2 (en) Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
Cobley et al. Digital cameras and domestic photography: communication, agency and structure
CN104285439A (zh) 在虚拟会议中传达注视信息
CN106250421A (zh) 一种拍摄处理的方法及终端
CN109858971A (zh) 用户画像的处理方法、装置、存储介质及电子设备
US20220328073A1 (en) 3d media elements in 2d video
CN109685593A (zh) 数据对象信息提供方法、装置及电子设备
CN108650500A (zh) 一种全景视频处理方法及装置
CN115083354A (zh) 背光调节方法、装置、介质以及交互平板
CN110209963A (zh) 界面显示方法、装置、设备以及存储介质
CN110036356A (zh) Vr***中的图像处理
JP2005236821A (ja) 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置
US7577976B2 (en) Support server, support method, and program for determining providing route of content
CN114117090A (zh) 资源展示方法、装置及服务器
Irawanto Exploring the Terrains of Indonesian Cultural Policy: Learning from Singapore’s and Malaysia’s Experiences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant