CN109074679A - 具有增强现实强化的基于场景的实时广告 - Google Patents

Abstract

本申请文件公开了用于在增强现实环境中实时内容匹配广告的方法和***。特别地，在计算机设备向用户提供在虚拟环境中提取的真实生活对象的多个集成图像。所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定。所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

Description

具有增强现实强化的基于场景的实时广告

交叉引用

本申请要求申请号为62/317554，提交于2016年4月4日，发明名称为“基于增强现实的通信的实时图像和信号处理***”的美国临时专利申请，和申请号为62/322358，提交于2016年4月14日，发明名称为“使用基于增强现实的通信的实时沉浸式广告***”的美国临时专利申请的优先权，二者在本申请文件中被整体引用。

技术领域

本发明主要涉及具有实时增强现实(AR)强化的用于基于场景的内容匹配广告的***、设备和方法。

背景技术

广告业是一个价值数十亿美元的产业。日常生活中充满了各种形式的大量广告：图像、视频、音频和互动广告。然而，金钱和资源常常被浪费掉，因为广告没有被传递给合适的受众或者广告传递的时间不合适。

本领域需要的是基于场景和内容匹配的改进的***和方法。

发明内容

本申请文件公开了具有实时增强现实(AR)强化的用于基于场景的内容匹配广告的方法和设备。

一方面，本申请文件公开了一种提供沉浸式广告的方法。该方法包括：在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，其中所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

在一些实施例中，用户偏好信息包括用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会经济状况、用户实时请求信息或它们的组合。

在一些实施例中，场景信息包括日期和时间信息、通信场景、内容场景、广告商场景、地理定位场景、呈现场景或它们的组合。

在一些实施例中，该方法还包括识别用户偏好信息，所述用户偏好信息包括用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会经济状况、用户实时请求信息，或他们的组合；识别场景信息，所述场景信息包括通信场景、内容场景、广告商场景、位置场景或呈现场景；以及基于用户偏好信息和场景信息通过搜索一组广告内容确定一个或多个广告元素。

在一些实施例中，确定步骤还包括：基于广告商场景确定一个或多个广告元素。

在一些实施例中，广告商场景包括广告商指定的内容匹配标准，包括受欢迎或不受欢迎的论坛或定价信息。

在一些实施例中，一个或多个广告元素在竞价过程中确定。

在一些实施例中，提取的真实生活对象包括使用基于特性的综合机制提取的多维图像信息，该提取通过在一个或多个实时捕获图像中从实际环境中分离真实生活对象而进行，虚拟环境由多个图像构建而成；其中集成图像中的每个像素被划分为多层，每层基于所提取的真实生活对象的每个像素和虚拟环境的多个图像的每个图像的对应像素之间的图像关系，使用所提取的真实生活对象中的对应像素和虚拟环境的多个图像的每个图像来确定，图像关系至少包括深度关系或透明度关系。

在一些实施例中，当提取真实生活对象的图像信息，构建虚拟环境或确定集成图像中的像素层时，将一个或多个广告元素实时嵌入到多个集成图像中。

在一些实施例中，该方法包括在计算机设备实时地提供一个或多个音轨，所述一个或多个音轨包括与多个集成图像相关联的音频信息。

在一些实施例中，多个集成图像形成包括一个或多个音轨的视频。

在一些实施例中，所述一个或多个音轨包括涉及所述一个或多个广告元素的音频信息。

在一些实施例中，所述一个或多个音轨包括内置音轨的翻译音轨，所述翻译音轨基于计算机设备的地理位置或预定设置，从多种语言的音轨实时自动地选择。

在一些实施例中，所述一个或多个广告元素与产品或服务相关联。

在一些实施例中，基于计算机设备的地理位置或计算机设备的用户设置的偏好，从多个提取的真实生活对象中选择所提取的真实生活对象。

在一些实施例中，所提取的多个真实生活对象包括名人、演员、运动员或计算机设备的用户。

在一些实施例中，所提取的真实生活对象与多个集成图像中的虚拟环境的一个或多个元素交互。

在一些实施例中，虚拟环境包括反应计算机设备的位置的元素。

一方面，本申请文件公开的是一个计算机***，包括一个或多个处理器；和可以被所述一个或多个处理器访问的存储器。所述存储器存储可由所述一个或多个处理器执行的指令，以：在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，其中所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

一方面，本申请文件公开的是一种非暂时性计算机可读介质，包含指令，当其包含的指令被计算机处理器执行时，这些指令会使计算机处理器：在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，其中所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

可以理解的是，本申请文件公开的任何实施例都可以在适用时以单独或任意组合的方式应用于本发明的任何方面。

在附图和以下描述中详细阐述了一个或多个实施方式。其他特征、方面和潜在优势将在说明书和附图以及权利要求中得以体现。

附图说明

本领域技术人员会理解，以下说明的附图仅用于阐释的目的。附图并非旨在以任何方式限制本教导的范围。

图1A示出了用于执行实时图像和信号处理的示例***的框图

图1B示出了说明用于执行实时图像和信号处理的实施例的示例方法。

图1C示出了用于实时图像和信号处理的示例***。

图2示出了用于用户设备上的实时图像和信号处理的示例步骤和***。

图3A描述了用户设备和服务器之间的实时图像和信号处理的示例步骤和***。

图3B示出了用于用户设备和服务器之间的实时图像和信号处理的示例步骤和***。

图3C示出了用于用户设备和服务器之间的实时图像和信号处理的示例步骤和***。

图4A示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和***。

图4B示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和***。

图4C示出了用于在两个用户设备和中间服务器之间进行实时图像和信号处理的示例步骤和***。

图5A示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和***。

图5B示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和***。

图5C示出了用于在两个用户设备之间进行实时图像和信号处理的示例步骤和***。

图6示出了用于实现图1-5的特征和过程的示例***体系结构的框图。

图7示出了用于实现图1-5的特征和过程的示例***体系结构的框图。

各附图中相似的附图标记表示相似的元件。

具体实施方式

概述

图1A示出了在示例的基于AR的实时图像和信号处理***10中存在的元素。当真实生活对象身处实际环境中(例如，方框12)时，捕获真实生活对象的图像等信号。然后实时处理所捕获的图像以提取真实生活对象的图像信息(例如，方框14)。虚拟环境(例如，方框16)可以在真实生活对象被提取之前或同时构建。然后将所提取的真实生活对象与所选择的虚拟环境集成。广告元素和附加数据(例如，方框18)可以被添加到***10中的任何元素。虽然在一些实施例中，可以提前构造某些虚拟环境元素，但整个过程可以在捕捉真实生活对象的图像时实时地进行。

如本申请文件所公开的，术语“图像”可以用来指在不连续时间点拍摄的单独照片或视频中的图像帧。除非另有说明，术语“图像”和“视频”可以互换使用。视频实际上是连续捕获的多个图像的集合。

如本文所公开的，术语“实时”指的是在延迟时间很短或没有延迟的情况下执行的功能。例如，当图像被捕获后不久或刚刚捕获到图像以后，正在进行图像处理时，实时地进行图像提取。在一些实施例中，延迟可以在一分钟内或在几秒内。在一些实施例中，延迟可能是由硬件条件限制(例如数据传输速度或图像处理速度)引起的。

如本申请文件所述，术语“真实生活对象”和“用户”有时互换使用。在一些实施例中，用户就是真实生活对象。在一些实施例中，用户是计算机设备的操作者，控制一个或多个功能，包括图像捕获功能。

如本申请文件所述，术语“信号”和“数据”可以互换使用。例如，它们可以包括图像、音频、视频、文本、空间、地理或与真实生活对象相关的任何其他信息。它们还包括反映真实生活对象状态的元数据或其他嵌入的信息。它们还可以包括与真实生活对象间接关联的数据，例如反映真实生活对象地理定位的图像或视频等信息。如本申请文件所述，“信号”和“数据”可以包括内部和/或外部数据。在此，内部数据是指在实际环境中实时捕获真实生活对象时收集的数据，包括视频、音频和其他类型的信息。外部数据是指在实时收集的内容之外，包括但不限于已经存储在本地用户设备的数据、来自另一个用户设备(可通过网络连接访问)的数据、存储在服务器(例如，包括存储在一个广告供应服务器的广告元素)的数据、或使用网络收集实时检索的数据。本申请文件所公开的大多数示例都是指图像，但这些图像无论如何不应限制本发明的范围。

如本申请文件所公开的，“辅助信号”是不反映真实生活对象本身的信号或数据。辅助信号还可以包括内部或外部数据。在一些实施例中，辅助信号包括非可视信号，例如音频音轨或外部音乐文件。在一些实施例中，辅助信号包括可与提取的真实生活对象、虚拟环境或最终的集成图像或视频结合的广告元素。

在方框12，正在捕获的真实生活对象的信号(例如，图像或音频)，使用例如带有图像/音频捕获设备(如照相机)的用户设备。在一些实施例中，照相机是用户设备的组成部分。在一些实施例中，照相机是可连接到用户设备的外部硬件组件。在一些实施例中，用户设备是支持网络的照相机。优选地，照相机是深度照相机。在一些实施例中，图像/音频捕获装置包括一组照相机。如本文所述，用户设备应配备有CPU/GPU处理器、照相机、麦克风、显示器、扬声器、通信单元和存储器。它包括但不限于台式计算机、膝上型计算机、智能电话设备、个人数字助理、网络照相机、平板电脑、AR眼镜、AR头盔、VR眼镜、智能电视等。照相机可以是三维(3D)照相机、常规RGB照相机、红外(IR)照相机、多光谱照相机、高光谱照相机、360度照相机等。

在一些实施例中，真实生活对象是人。在一些实施例中，真实生活对象是动物或物体。在一些实施例中，对真实生活对象拍摄多个图像。在一些实施例中，连续拍摄图像并形成视频。在所有实施例中，用于捕获真实生活对象的图像的计算机设备可被真实生活对象或计算机设备的用户访问。

如本申请文件所公开的，当捕获图像时，真实生活对象可以存在于任何环境中。对图像捕获的环境没有特殊要求。例如，不需要均匀或接近均匀的颜色的背景屏幕。在大多数实施例中，对真实生活对象的图像的捕获就像真实生活对象身处实际环境中一样。在一些实施例中，真实生活对象的图像是在真实生活对象进行常规活动的时候拍摄的。

在方框14中，在捕获图像的同时，提取真实生活对象的图像信息。在一些实施例中，基于真实生活对象和实际环境的特性之间的一个或多个差异，通过将真实生活对象与其实际环境分离来执行提取。在一些实施例中，该特性可以是视觉特性，包括但不限于空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性、或透明度特性，深度特性，材料特性，或它们的组合。

在一些实施例中，视觉特性包括三维空间特性。

在一些实施例中，特性可以是实时学习的或预先学习的与真实生活对象或实际环境相关的特征。实时学习或预先学习的特性包括但不限于，例如颜色、形状、边缘、光反射率、光照度、运动、深度、材料、对比度或它们的组合。

在一些实施例中，对真实生活对象的提取是在逐图像的基础上进行的。这也适用于视频提取，这是在逐帧的基础上完成的。在一些实施例中，同时并行处理多个图像。

在方框16，提供了虚拟环境。在一些实施例中，可以在图像提取之前甚至在图像捕获之前构建虚拟环境。在一些实施例中，可以在图像提取或图像捕获同时构建虚拟环境。

在一些实施例中，虚拟环境与实际环境不同。在一些实施例中，虚拟环境是实际环境的修改版本。在任何实施例中，用于构建虚拟环境的图像可以是修改的图像，其特性，包括但不限于大小、形状、图像质量、颜色、透视、光线、视觉效果或它们的组合。

在一些实施例中，虚拟环境可以与实际环境相同，但是可以改变一个或多个特征。例如，可以对实际环境进行处理，以增强某些元素从而呈现虚拟环境。此外，可以修改实际环境以增强图像质量从而呈现虚拟环境。在一些实施例中，实际环境中的一个或多个元素在视觉特性如颜色、形状、大小、光线等方面发生改变。

在一些实施例中，虚拟环境可以与实际环境相同，但其与真实生活对象的关系发生改变。在一些实施例中，真实生活对象相对于其所处的环境而言变得更小或更大，例如电影《爱丽丝梦游仙境》。又例如在拍摄的图像中喝茶的人可以显示在最终的集成图像中的茶杯内，而环境中的其他元素保持不变。

在一些实施例中，服务器可以向用户提供虚拟环境的集合。虚拟环境可以根据其中存在的主题被划分为不同的类别。示例性主题包括但不限于自然、动物、空间、电影、建筑、文化、旅行等。用户对特定类型主题的选择可以存储在用户偏好中。

在一些实施例中，虚拟环境包括图像。在一些实施例中，虚拟环境包括视频。在一些实施例中，可以包括多个虚拟环境，每个虚拟环境在图像或视频集成期间被视为单独的元素。

在方框18，提供广告元素和可选的辅助或附加信号。广告元素和辅助信号既可以包括内部数据也可以包括外部数据。内部数据是指在方框12中捕获的信号。外部数据可以预先存储在本地设备或服务器上。广告元素和辅助信号的示例性形式包括但不限于图像、音频、视频、文本、空间、地理或任何其他类型的信息。在大多数实施例中，广告元素由服务器提供。在一些实施例中，可以预先创建广告材料。在一些实施例中，在用户的请求下实时创建广告材料。

在一些实施例中，辅助信号包括非视觉信号，例如音频信号，例如，捕获真实生活对象的图像信息时收集的声音信息。在一些实施例中，音频信号包括内部或现有音频信号或外部音频信号。在一些实施例中，从捕获的图像或视频获得内部或现有音频信号，并进行进一步处理(例如，语音识别和随后的语言翻译)。在一些实施例中，可以处理视频的音频信号以增强声效。例如，可以去除环境噪声以增强真实生活对象(例如，电话会议期间的扬声器)的声音。在一些实施例中，可以将特殊的声效添加到期望的声音中。例如，声音可以呈现为具有三维中空效果以模仿回声环境中的声音。

在一些实施例中，广告元素可以与产品或服务相关联。在一些实施例中，广告元素包括内部或现有音频信号或外部音频信号。在一些实施例中，广告元素可以与真实生活对象(例如，元素12或14)相关联。例如，真实生活对象可以佩戴或持有包含广告元素的产品。在一些实施例中，广告元素被添加到虚拟环境16。例如，广告元素可以被显示为虚拟环境的一部分。在一些实施例中，广告元素可以被实施为集成图像或视频。例如，在集成过程中，除了现有的虚拟环境之外，广告元素可以被视为另一个虚拟环境。在某些环境中，广告元素可以在后集成中添加，例如当用户查看集成图像或视频时。

在一些实施例中，基于用户偏好来提供广告元素，这些用户偏好或者存储在本地用户设备上，或者存储在服务器上(例如作为用户配置文件的一部分)。在一些实施例中，用户偏好由用户购物历史确定。在一些实施例中，用户可以具体地请求产品、服务、产品类型或服务类型。在一些实施例中，可以使用年龄、性别等一般用户信息作为参考。在一些实施例中，可以使用一般可用的趋势信息。

此外，有利地，基于场景信息提供广告元素。场景信息包括但不限于通信场景、广告内容场景、呈现场景等。例如，如果在公司的会议期间呈现广告，则广告可包括与公司具体业务相关的产品和服务的内容。当广告被作为在线广告嵌入公共论坛(如网站或网页)中展示时，可以考虑网站和/或网页的内容。如果认为网站和/或网页上的内容不合适，则不提供广告。不合适的内容包括但不限于宗教狂热、***、色情等。该标准可由提供广告内容的服务器设定。在一些实施例中，广告商可以为其不希望关联的内容设置标准。

在一些实施例中，当多个广告商可以提供相同或相似的合适内容时，可以实施竞价过程来选择广告内容。

在一些实施例中，可以将外部音频信号添加到现有的音频信号中。例如，用户可以选择在视频会议期间播放背景音乐。在一些实施例中，外部音频信号被用来替换现有音频信号(例如，在捕获真实生活对象的图像时收集的音频信号)。这样的音频信号(外部或内部)可以与***中的任何元素(例如，方框12,14,16和20)相关联。在一些实施例中，音频信号与虚拟环境相关联。在一些实施例中，可以将音频信号添加到集成图像。在图1B中描述了用于实现音频信号(例如，作为实时翻译)的示例性过程。

在方框20，将所提取的真实生活对象和虚拟环境集成或组合，以在虚拟环境中呈现真实生活对象的图像或视频。为了实现集成，将定义提取的真实生活对象和虚拟环境之间的关系。在一些实施例中，这些关系被同时定义为图像提取和/或虚拟环境构建。在一些实施例中，一旦提取了真实生活对象的图像信息并且构建了虚拟环境，就定义了这些关系。

在一些实施例中，***或用户为关系提供一般预定义指南。在一些实施例中，基于提取的真实生活对象和虚拟环境的信息，***自动地定义这些关系。在一些实施例中，用户可以提供实时调整，以重新定义或修改在集成过程中所提取的真实生活对象和虚拟环境之间的关系。

在一些实施例中，所提取的真实生活对象与虚拟环境之间的关系包括深度关系。例如，所提取的真实生活对象可以部分地或完全地位于虚拟环境中的一个元素的“前面”或“后面”。在一些实施例中，所提取的真实生活对象可以部分地或完全地在一个元素的“前面”，但部分地或完全地在同一虚拟环境的另一个元素“后面”。在一些实施例中，所提取的真实生活对象的全部或一部分之间的深度关系在不同图像之间的时间进程中发生暂态变化。在一些实施例中，所提取的真实生活对象的全部或一部分之间的深度关系在同一图像中的不同元素上发生空间上的改变。

在一些实施例中，所提取的真实生活对象与虚拟环境之间的关系包括透明度关系。例如，所提取的真实生活对象相对于虚拟环境的元素可以部分或完全透明。在一些实施例中，所提取的真实生活对象的全部或部分之间的透明度关系在不同图像之间的时间进程中发生暂态变化。在一些实施例中，所提取的真实生活对象的全部或一部分之间的透明度关系在同一图像中的不同元素上发生空间上的改变。

处理辅助信号

图1B示出了处理诸如非可视信号等辅助信号的过程。过程60示出了用于从捕获的视频数据获得非视觉信号的示例。本申请文件中执行的所有步骤可以通过图1C所示的信号处理模块128来实现。

在步骤62，处理用户设备捕获的视频以提取音频信息，该音频信息包括但不限于，例如，环境声音、真实生活对象的语音或噪声以及任何其他音频信息。

在步骤64，进一步处理非可视信号。例如，可以减少或消除环境声音和其他噪声，以增强真实生活对象的声音或噪声。然后增强的音频信号可以进行诸如语音识别程序等专业程序的处理，以检测语言并识别音频信号的内容。

在步骤66，在电话会议期间，如果有一个或多个与会者不懂一个人所使用的语言，则该语言可以自动翻译成其他与会者能理解的语言。在一些实施例中，可以在显示器上提供字幕以帮助理解。

在步骤68，可以使用合成语音生成方法来创建在步骤62获得的音频信号的音频翻译。在一些实施例中，用户可以选择设置某种类型的语音和口音的偏好。在一些实施例中，音频翻译文件可以可选地被增强以用于附加的声效，例如三维回声声效。

在一些实施例中，如过程70所示，可以添加外部音频信号。本申请文件中的外部音频信号是那些不属于捕获的视频文件的一部分的信号。例如，在步骤72，用户可以选择他/她偏好的音乐作为使用本申请文件所公开的方法创建的视频的背景音乐。在一些实施例中，用户可以在会议呼叫期间选择偏好的音乐片段作为背景声音。

在步骤76，可以编辑或处理所选的音频片段以更好地贴合预期目的。例如，只有一段音乐片段可以被选择为视频的音乐音轨。另外，所选的音乐片段可以在用作视频会议呼叫的背景音乐之前调低音量。本申请文件提供的示例涉及有两个参与者的会议***。然而，本申请文件所公开的方法和***也可以应用于两个以上的参与者，包括三个或更多、五个或更多、十个或更多、二十个或更多、五十个或更多或数百个或更多，只要会议***能够支持参与者的数量。

在步骤80，将外部音频信号和内部音频信号组合以产生增强的声音。

示例性***

如上所述，在图1A中的示例性实施例中，信息流可被划分为多个块：捕获的信号12、提取的真实生活对象14、虚拟环境16和集成图像20。与这些不同信息块相关联的功能可以由一个或多个计算机设备以任何组合来执行(例如，在一个设备上处理的数据可以被传送到另一个设备进行进一步或附加处理)。

图1C示出了用于执行本申请文件公开的功能的示例性***100。在此，多个用户设备(例如，120和140)通过网络160连接到服务器设备170。信息处理在图示的一个或多个设备上进行。

用户设备120示出了配备有多个功能的本地设备(例如，真实生活对象可访问的设备)。特别地，用户设备120包括用户输入和输出(I/O)模块122、本地数据库124和用于捕获真实生活对象的图像的所有功能模块(例如，模块126,128,130和132)，提取真实生活对象，构建虚拟环境并将真实生活对象与虚拟环境集成。

在一些实施例中，用户设备120包括用户输入和输出模块(I/O模块)122。例如，I/O模块122可以接收用户向用户设备120的输入，并使用文本、音频、视频、运动和/或触觉输出机制呈现来自用户设备102的输出。例如，I/O模块122可以接收手势输入、身体运动或用户的语音输入。在一些实施例中，I/O模块122还被用于检测和跟踪眼球运动、面部表情等。再如，I/O模块122从用户设备120的触摸敏感显示器接收触摸输入。在其他实施例中，I/O模块122可以耦合到其他输入设备，例如键盘、鼠标、监视器、触摸敏感屏幕、扬声器等，并且接收来自这些设备的用户输入。在一些实施例中，I/O模块122包括键盘、鼠标、监视器、触摸敏感屏幕、扬声器等作为I/O模块122或用户设备120的一个组成部分。在一些实施例中，用户设备120可以接收多种类型的用户输入。

在一些实施例中，I/O模块122还可以向用户呈现音频、视觉、运动和/或触觉输出。例如，I/O模块122在用户设备120的监视器上显示集成图像或视频。在一些实施例中，I/O模块122可以呈现图形用户界面(GUI)，GUI使能或支持本申请文件描述的一个或多个实时图像和信号处理方法/***的功能，功能模块包括但不限于信号捕获模块126、信号处理模块128、虚拟环境模块130和集成模块132。在一些实施例中，用户输入和输出模块包括多个菜单命令，每个菜单命令对应于一个或多个查询处理模块的功能。

在一些实施例中，I/O模块122允许用户定位图像处理所需的信息。在实施例中，可以提供菜单选项，使得用户可以选择一个或多个选项来启动一个或多个功能。例如，用户可以点击图标来开始图像捕获过程。此外，例如，可以通过菜单选项提供多个类别的虚拟环境图像。

在一些实施例中，用户可以使用I/O模块122来请求在本地用户设备120上可用的信息，或者可以通过网络连接从服务设备170或另一用户设备140获得信息。例如，I/O模块122可以允许用户使用语音命令来请求某种类型的虚拟环境(例如，欧洲中世纪城堡图像)。一旦图像被传送(在本地或通过网络连接)，用户可以请求处理图像以构建虚拟环境。

在一些实施例中，用户可以使用I/O模块122来管理各种功能模块。例如，用户可以通过使用I/O模块122请求在实时通信过程中改变虚拟环境。用户可以在不中断通信的情况下通过单独地选择菜单选项或输入命令来进行这样的操作。

当将本申请文件所公开的方法/***用于图像或视频处理和编辑时，用户可以使用任何类型的输入来指导和控制该过程。

在一些实施例中，用户设备120还包括本地数据库124。例如，本地数据库可以存储捕获的图像、部分或完全处理的图像(例如，提取的真实生活对象和用于虚拟环境的图像)，或者部分或完全集成的图像。在一些实施例中，本地数据库124存储用户特定信息；例如，用户可以存储一个或多个偏好的虚拟环境的信息。在一些实施例中，本地数据库124存储从另一设备或服务器检索的信息。在一些实施例中，本地数据库124存储从因特网搜索中检索的信息。

在一些实施例中，本地数据库124将数据发送到一个或多个功能模块，并接收来自一个或多个功能模块的数据，功能模块包括但不限于信号捕获模块126、信号处理模块128、虚拟环境模块130和集成模块132。

在一些实施例中，用户设备120包括信号捕获模块126。例如，信号捕获模块126可以包括照相机等图像捕获装置。在一些实施例中，相机是深度启用的。在一些实施例中，使用两个或多个照相机。在一些实施例中，可使用内置麦克风或外部麦克风进行音频收集。在一些实施例中，信号捕获模块126捕获多个图像。在一些实施例中，信号捕获模块126连续捕获视频。

如本申请文件所公开的，信号捕获模块126在实际环境中捕获真实生活对象的图像，实际环境即真实生活对象实际所处的环境。在一些实施例中，真实生活对象是用户设备120的用户。在一些实施例中，用户不是真实生活对象，相反，用户控制用户设备120以捕获信号捕获模块126可访问的对象的图像。例如，真实生活对象可以是由用户操作信号捕获模块126拍摄的名人。

本申请文件所公开的方法和***是有利的，因为它们不要求真实生活对象存在于特定类型的环境中来帮助图像处理。

在一些实施例中，用户设备120包括信号处理模块128。例如，信号处理模块128通过将真实生活对象的图像信息从其实际环境中分离出来，从模块126捕获的图像中提取真实生活对象。所述提取利用基于特性的综合机制，包括基于人工智能的机制。基于特性的综合机制识别真实生活对象和实际环境之间的一个或多个特定特征的差异。例如，特征可以包括并且不限于真实生活对象的视觉特性或视频剪辑中捕获的实际环境、真实生活对象或实际环境的实时学习特性，或与真实生活对象或实际环境有关的预先学习的特征。在一些实施例中，视觉特性可以包括但不限于包括空间特性、尺寸特性、形状特征、运动特性、颜色特性、光照度和反射特性、时间特性、或透明度特性、深度特性、材料特性或它们的组合。在一些实施例中，空间特征包括三维空间特性。

在一些实施例中，实时学习的特性包括但不限于颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点(blackpoint)、运动、深度、材料或它们的组合。在一些实施例中，预先学习的特征还包括但不限于颜色、形状、边缘、光反射率、光照度、曝光度、亮度、阴影、高亮、对比度、黑点(blackpoint)、运动、深度、材料或它们的组合。

本申请文件公开的提取过程可以在一轮或多轮中完成。在一些实施例中，信号处理模块128首先执行一轮粗提取，然后再执行一个或多个附加轮的精细提取。例如，粗提取可以跟踪真实生活对象的轮廓，而精细提取可以细化分割真实生活对象和实际环境的边缘。在一些实施例中，通过一轮或多轮精细提取还可以识别真实生活对象的轮廓内的区域，该区域实际上是环境的一部分，随后从真实对象中去除该区域。

在一些实施例中，除了图像提取之外，信号处理模块128还可以评估和修改图像。

在一些实施例中，信号处理模块可以处理音频信号等非可视信号，如图1C所示。

在一些实施例中，用户设备120包括虚拟环境模块130。虚拟环境模块130可以为后续的图像集成创建和修改虚拟环境。例如，虚拟环境模块130可以基于一个或多个图像构建虚拟环境。虚拟环境可以是二维的或三维的。虚拟环境可以包括在虚拟环境所基于的图像中不存在的特征。例如，虚拟环境模块130可以通过修改相应的图像来改变或调整虚拟环境中的一个或多个元素。在一些实施例中，基于真实生活对象的一个或多个特征做出这样的修改或调整，从而可以更有效地集成所提取的真实生活对象和虚拟环境。示例性的修改或调整包括但不限于缩放、方向改变、形状变化、颜色变化、图像质量调整(例如，曝光度、亮度、阴影、高亮、对比度或黑点)等。可在虚拟环境中对本地单个元素进行修改或调整，或者对整个虚拟环境进行修改或调整。在一些实施例中，虚拟环境可以与实际环境不同。在一些实施例中，虚拟环境可以与实际环境相同，其中虚拟环境中的一个或多个元素被修改以用于随后的图像集成。

虚拟环境模块130和信号处理模块128的功能有许多相似之处，在一些实施例中，可以将它们结合。

在一些实施例中，用户设备120包括集成模块130。集成模块130将提取的真实生活对象与虚拟环境相结合，生成集成图像。如图1B所详细说明的那样，可以在逐像素的基础上进行集成，以提高效率和精度。

在一些实施例中，示例性***100还包括用户设备140。在一些实施例中，用户设备140可以具有与用户设备120相同的功能模块；例如，用户输入和输出模块142、本地数据库144、信号捕获模块146、信号处理模块148、虚拟环境模块150和集成模块152。当存在功能模块时，它可以类似于用户设备140或根据任何适用的已知技术来实现。

在一些实施例中，用户设备可以具有较少的功能模块，而依赖于服务器170提供一个或多个功能。如图1D所示，除了信号捕获模块146之外，其他图像集成相关模块(包括信号处理模块148、虚拟环境模块150和集成模块152)对用户设备140可以是可选的。这些功能可以有效地，以任何组合在用户设备140和服务器170之间进行划分。例如，用户设备140可以将捕获的图像发送到服务器170进行图像处理(例如，图像提取)。在一些实施例中，提取的真实生活对象与服务器170上的虚拟环境集成。在一些实施例中，提取的真实生活对象可以被传送回用户设备以与虚拟环境集成。在一些实施例中，用户可以选择提供定制的虚拟环境。例如，用户设备可以将选择的虚拟环境发送到服务器170，随后，图像集成在服务器170上进行。

在一些实施例中，用户可以选择开启或关闭功能。例如，用户可以选择在用户实际所处实际环境中与另一个用户通信。例如，当与外出的家庭成员通信时，用户可以选择显示真实的家庭环境，不对其作任何更改。这可以通过只打开信号捕获模块146，同时关闭其他功能模块来实现。此外，用户可以选择打开剩余的功能模块中的任何一个。

在一些实施例中，示例性***100还包括服务器170。服务器170与一个或多个用户设备通信，并且包括服务器数据库172、信号处理模块174、虚拟环境模块176、集成模块178、广告供应模块180等功能模块，或它们的变体。在一些实施例中，信号处理模块174、虚拟环境模块176和集成模块178类似于本申请文件中公开的与用户设备120或用户设备140相关的模块。在一些实施例中，由于与用户设备相比，服务器的计算能力和存储空间都有增强，因此这些模块可以在服务器170上执行不同的操作。例如，与用户设备上能够允许的集成相比，服务器上可以进行更多数量像素并行的集成。

广告供应模块180确定广告内容是否将与某些集成图像和/或视频一起提供。如图1A所示，广告内容是一种类型的辅助信号，可以在集成过程中的各个点被合并到最终的集成图像和/或视频中，例如在图像提取、虚拟环境的构建或最终集成过程中。此外，在集成图像或视频被观看时，可以在实时后集成中添加广告元素。

示例性广告***和过程

图2A示出了用于提供广告内容的样本***200。例如，服务器220基于多个因素来确定通过网络240向用户设备(例如，230或232)提供哪些广告内容。

在一些实施例中，服务器220将广告内容202存储在其本地数据库中。在一些实施例中，服务器220从另一服务器接收广告内容；例如，直接从广告商接收广告内容。广告内容包括但不限于视频内容、音频内容、文本行为和任何其他形式的合适内容。

在一些实施例中，服务器220包括广告提供模块208。广告提供模块208介于用户设备(例如，230和232)和广告内容202之间。广告提供模块208识别用户偏好信息。这样的用户偏好可以本地存储在用户设备上或服务器上(例如，作为用户配置文件的一部分)。在一些实施例中，更一般的用户信息(例如年龄和性别)可以存储在服务器上的用户配置文件中，而更多的私有信息被本地存储在用户设备上。在一些实施例中，用户偏好由用户指定的信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会地位、用户社会经济状况、用户实时请求信息或它们的组合确定。在一些实施例中，一般可用的趋势信息可用于预测用户偏好。

在一些实施例中，基于场景的信息，例如日期和时间信息、通信场景、内容场景、广告商场景、地理位置场景、呈现场景或它们的组合，也可用于识别适合于观看者的广告内容。在此，观众可以积极地寻求广告信息，或者在从事其他活动，例如视频会议或视频游戏时被动地向观众呈现这样的信息。

在一些实施例中，用户可以具体地请求产品、服务、产品类型或服务类型。在一些实施例中，这样的请求可以在服务器220或一个或多个用户设备(例如，230和232)上存储的文件中实时或预先指定。

在一些实施例中，可以在服务器220上创建和存储广告商配置文件。例如，广告商可以指定他们希望显示自己广告的论坛或场地。此外，当多个广告商被确定为适合特定的论坛时，可以为广告商设置用于实时竞价的定价信息。如本申请文件所使用的，论坛可以是网站、网页、视频会议平台或可以显示本申请文件所公开的图像和视频的任何形式的平台。

在一些实施例中，基于用户偏好和广告商配置文件来选择广告内容。在一些实施例中，基于通常可用的趋势信息来选择广告内容。在一些实施例中，广告内容在合并到最终的集成图像和/或视频之前被进一步处理。

图2B示出了基于广告的场景信息的内容匹配的实例过程250。本申请文件所公开的集成图像和视频被用作嵌入广告元素的媒体。然而，基于场景的内容匹配广告方法不限于此，而是可以适用于任何媒体。

在步骤254，识别用户偏好信息。用户偏好信息包括用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会经济状况、状态、用户实时请求信息或它们的组合。例如，用户行为信息包括用户习惯、与***的即时交互等。用户活动包括购买活动、浏览活动、社交媒体活动等。例如，可以通过面部表情和用户行为获得心理状态，从而了解用户是否高兴、生气、沮丧等。广告内容可以基于感知到的用户的情绪状态来选择。社会地位包括婚姻状况、个人情感关系状况、与朋友的社交交往活跃或不活跃、受欢迎程度等。这些信息可以从用户的社交媒体信息、用户偏好设置等获得。社会经济地位(SES)是根据收入、受教育程度、职业，对一个人的工作经历和个人或家庭的经济和社会地位、社会关系等的经济学和社会学总体度量。

在步骤256，识别场景信息。场景信息包括但不限于日期和时间信息、通信场景、内容场景、广告商场景、地理定位场景、呈现场景或它们的组合。例如，当用户正在进行公司视频会议时向用户呈现的广告内容可能不同于当用户正在通过视频与朋友或家庭成员聊天时向同一用户呈现的广告内容。此外，当用户参与视频游戏时所呈现的广告内容可能与前述指定的任何内容都不同。

在一些实施例中，确定与潜在呈现论坛相关联的场景，以识别用于呈现特定类型的广告内容的论坛的适当性。例如，儿童可访问的与儿童成长内容相关的网站不会显示任何不适合未成年人的广告内容。

在步骤258，搜索包含广告内容的数据库以识别与所识别的用户偏好和场景信息相匹配的内容。

在步骤260，当仅识别出一次单一点击时，内容将被选择并合并到广告媒体(例如，最终的集成图像或视频)中。

在步骤262，当识别出多次点击时，可以启动竞价过程来确定广告商。在一些实施例中，竞价过程基于定价信息。在一些实施例中，广告内容的质量可能影响到特定的广告内容是否可以选择。

在步骤264，当没有识别出点击时，可以使用附加信息来确定广告内容。这样的附加信息包括但不限于一般用户信息，例如性别、年龄、地理位置和一般可访问的信息，例如与性别、年龄和地理位置相关的趋势信息。在一些实施例中，与特定位置相关联的天气和主要事件也可以被用作搜索包含广告内容的数据库的标准。

在步骤266，进一步搜索包含广告内容的数据库，以识别与所识别的用户偏好和场景信息相匹配的内容。

在步骤268，重复步骤260的方法：当仅识别一次单一点击时，内容将被选择并合并到最终的集成图像或视频中。

在步骤270，重复步骤262的方法：当识别出多次点击时，可以引发竞价过程从而确定广告商。在一些实施例中，竞价过程基于定价信息。在一些实施例中，该广告内容的质量可能会影响特定的广告内容是否可以选择。

在步骤272，当没有识别出点击时，***可决定不呈现广告内容或随机呈现任何广告内容。在一些实施例中，用户可以请求随机广告内容。

在一些实施例中(未在图2B中示出)，所选择的广告内容(例如，作为某些集成图像和视频的一部分)以实时翻译、特殊声效或音乐背景呈现。例如，可以使用图1C所示的过程。

在任何时候，用户可以打开和关闭广告，或者指定任何设置以获得高度个性化的广告体验。此外，用户可以提供实时反馈来请求特定的广告内容或特定类型的广告内容。

主动广告与被动广告

本申请文件公开的***和方法可应用于建立主动和/或被动广告体验。

主动广告体验可以与内容创建以及内容提供相关联。例如，房地产经纪人可以通过将自己的实时图像***到已有的房产照片中来创建传单，而不必重新拍摄照片。此外，此处的方法允许在生成集成图像时通过实时修改来增强现有的房产照片。

再例如，用户可以在本地用户设备上创建小预算广告，无论是否有服务器的帮助。例如，一家花店的店主可以在视频剪辑中把自己的特色插花的图像整合到她最喜欢的场景中。

用户还可以在一个或多个外部服务器的帮助下，使用图3B到3D中所示实施例来创建图像或视频。图像或视频可用于个人欣赏或作为讲话的一种形式(例如，包括用于广告)。如本申请文件所公开的，可以在任何一个或多个在服务器上执行的方法步骤中添加广告元素。

对于广告提供，场景信息被用来实时地创建目标广告材料给观众。例如，为了宣传***，可以提供一个关于***的通用视频作为虚拟环境。不同的真实生活对象，例如名人、演员、运动员、计算机设备的普通用户，可以拍摄他们自己的个人视频，然后将其与虚拟环境集成，以创建尽可能多的宣传视频。

在一些实施例中，可以首先拍摄部分广告视频。当观众请求素材时，再实时地进行集成。例如，当一个中国人点击***官方网站上的链接时，服务器检测到该人的地理位置和可能的其他信息，并专门为该人创建一个视频，该视频显示中国运动员在视频中何时出现，且不同的中国元素都将融入这个通用视频中。视频将以中文呈现，例如使用该人熟悉的人的声音。而当一个美国人点击同一链接时，将实时创建一个不同的视频，为该人提供不同的观看体验，视频中展示与前述不同的运动员、不同的与美国相关的元素，使用英语旁白，旁白者为美国人所熟悉。

如上所述，在进行其他活动如视频会议或视频游戏时，广告可以被动地呈现。虽然进行视频会议或视频游戏等活动的用户并不主动寻求广告信息，但是本申请文件所公开的基于场景的内容匹配方法以非侵入性方式用嵌入式广告元素提供无缝相关体验。传统广告通常被认为浪费时间并会引起观众的不愉快反应，相比之下，本申请文件所公开的被动广告可以是沉浸式和互动式的，从而使体验变得有趣。本申请文件所公开的被动广告可以大量应用并能产生巨大收益。

例如，在视频会议之前或期间，用户可以选择夏威夷作为虚拟环境的主题选项。该***又可以识别可以用作虚拟环境或作为虚拟环境的一部分的许多可能的广告元素。例如，过去用户最喜欢的目的地是毛伊岛。毛伊岛最受欢迎的地点和活动可以作为虚拟环境的一部分来呈现。此外，如果用户喜欢冲浪，而且夏威夷的另一个岛有比毛伊岛更好的冲浪体验，那么这另一个冲浪地点的照片或视频就可以呈现给用户。广告元素的选择也可以基于视频会议的场景来进行。如果用户正在与朋友和家人交谈，则可以呈现更多针对家庭的地点或活动的虚拟环境，例如，如果用户有两个孩子，虚拟环境就可以将更多的儿童喜欢的活动的图像或视频包含在内。在一些实施例中，可以根据他们各自与毛伊岛上用户最喜欢的酒店的距离来选择目的地。

通常，可以提供多种类型的广告内容。特定类型的内容的最终选择可以在竞价过程中决定。内容适当和定价最佳的广告商可能会中选。

对在与商业伙伴的视频会议期间选择夏威夷作为虚拟环境的主题选项的同一个用户，将呈现更“安静”的广告内容，例如可以选择夏威夷的一个安静的森林、安静的沙滩的前景作为虚拟环境的一部分。同时，将有许多可能的选择。最后一次选择可以在竞价过程中决定，可以选择具有适当内容和最佳定价的广告商。

在另一个示例中，用户可以被动地参与合成广告材料。例如，到达机场的旅者可以选择通过本申请文件所公开的***来查看新目的地的视频素材。旅者可以与视频素材中的元素交互。旅者可以选择创建和保存反映这种有趣互动的图像和/或视频。在一些实施例中，广告材料可以嵌入图像和/或视频中。在一些实施例中，没有广告材料嵌入图像和/或视频中，但是整体体验本身可以被认为是广告。这样的体验可以为任何目的而设计，或适合任何行业的需要。例如，化妆品公司可以创建一个平台，用户可以在平台上虚拟地试用不同的化妆品。化妆品的效果可以生成为虚拟环境，并与用户合并以创建佩戴化妆产品的用户的修改后的图像或视频。类似地，服装公司可以根据用户偏好智能地向用户展示服装选项。服饰可被创建为虚拟环境，并与用户合并以创建穿着服饰的用户的修改后的图像或视频。

示例性实施例

本申请文件所公开的***和方法具有许多应用。例如，它们可以用于创建或修改图像以供演示，例如参见3A到3D。或者，它们可以被用来实现更有效的实时通信，如图4A到4C和图5A到5C所示。

图3A示出了在用户设备上执行所有功能的样本过程。在一些实施例中，这可以由用户设备120等设备启用。在此，用户可以通过打开深度启用相机来启动图像捕获，深度启用相机连接到用户设备或是用户设备的一个组成部分。这里的真实生活对象可以是设备的用户或设备可访问的对象。例如，摄影师或摄像师可以操作用户设备来收集真实生活对象(例如，人、动物或其组合)的图像和视频。

真实生活对象的提取跟随在图像捕获之后，它可以自动地和图像捕获同时进行。在一些实施例中，用户可以手动控制何时开始图像提取。例如，对于图像或视频编辑，用户可以选择图像提取何时和从何处开始，从而只处理期望的图像或视频部分。

在一些实施例中，用户可以选择虚拟环境。选择可以在图像提取之后进行，或者与图像提取同时进行。在一些实施例中，选择现有的虚拟环境。在一些实施例中，可以在用户选择之后临时构建虚拟环境。在一些实施例中，当构建虚拟环境时，可以考虑真实生活对象的一个或多个特征。例如，当真实生活对象打算与虚拟环境的元素交互时，可以调整虚拟环境的大小或形状以进行无缝集成。

一旦提取的真实生活对象和虚拟环境的数据可用，也可以自动地集成所提取的真实生活对象和虚拟环境。在一些实施例中，用户可以手动控制何时应该开始图像集成。例如，对于图像或视频编辑，用户可以选择何时和在何处开始图像集成，以便只处理期望的图像或视频部分。

图3B到3D示出了在用户设备和远程服务器之间划分功能的样本实施例。如图3B所示，除了在用户设备上进行图像捕获之外，在远程服务器上执行的其他处理步骤包括图像提取、虚拟设备的提供或构建以及两者的集成。然后将集成图像传送回用户设备用以观看。用户可以选择在观看集成图像之后通过提供用户输入来修改集成图像。

在图3C中，除了图像捕获步骤之外，图像提取步骤也在用户设备上进行。虚拟设备的提供或构建以及两者的集成都在远程服务器上执行。然后将集成图像传送回用户设备观看。

在图3D中，除了图像捕获步骤之外，图像提取和虚拟环境的提供和构建也在用户设备上进行。在远程服务器上只执行集成。然后将集成图像传送回用户设备供观看。

图3A到3D中所示的过程可以用于非通信目的，例如图像和/或视频编辑，用于创建实时或非实时/延迟的演示材料，包括但不限于个人视频、纪录片、新闻材料、教育材料、广告材料。这样的过程可以是交互式的，用户可以在不同的点改变或修改命令或选择，包括但不限于启动图像捕获的时间和选择虚拟环境的时间。例如，可以提前或实时地创建关于古罗马的虚拟教育视频。当老师在课堂上展示视频时，她可以要求学生作为向导参加。使用本申请文件所公开的***，学生可以作为古代罗马的虚拟向导在视频中出现。

用户可以使用图3A所示的实施例来独立地创建图像或视频，而不需要来自外部服务器的帮助。图像或视频可用于个人欣赏或作为讲话的一种形式(例如，包括用于广告)。如本申请文件所公开的，可以在任何一个或多个方法步骤中添加广告元素。

例如，房地产经纪人可以通过将自己的实时图像***到已有的房产照片中来创建传单，而不必重新拍摄照片。此外，此处的方法允许在生成集成图像时通过实时修改来增强现有的房产照片。

再例如，用户可以在本地用户设备上创建小预算广告，无论是否有来自服务器的帮助。例如，一家花店的店主可以在视频剪辑中把自己的特色插花的图像整合到她最喜欢的场景中。

用户还可以在一个或多个外部服务器的帮助下，使用图3B到3D中所示实施例来创建图像或视频。图像或视频可用于个人欣赏或作为讲话的一种形式(例如，包括用于广告)。如本申请文件所公开的，可以在任何一个或多个在服务器上执行的方法步骤中添加广告元素。

图3A到3D中所示的过程也可以应用于实时通信。例如，集成图像将直接或间接经由服务器发送到另一用户设备。在此，可以通过发送集成图像的用户设备来进行虚拟环境的选择。接收集成图像的用户设备将看到发送设备选择的虚拟环境。在一些实施例中，接收方用户设备可以选择关闭由发送用户设备选择的虚拟环境。

在一些实施例中，可以在通信过程中添加一个或多个广告元素。广告元素的内容可以基于图2B所示多个因素来确定。在一些实施例中，所选择的广告元素可以被合并到虚拟环境中。例如，当到旧金山出差的旅者联系他的家人时，他选择的虚拟环境可以包括当地礼品店的广告。然而，当他进行商务电话会议时，他选择的虚拟环境可以包括与他的公司或行业的运作相关的广告。在这些示例中，广告内容由通信场景确定。

图4和图5提供了用于实时通信的样本实施例的进一步说明，其中集成图像通过网络集合、中间服务或直接从一个用户设备发送到另一个用户设备。

图4A示出了两个用户设备通过中间服务器相互通信的样本实施例。除了在用户设备上进行图像捕获之外，其他在中间服务器上执行的处理步骤还包括图像提取、虚拟设备的提供或构建以及两者的集成。在此，第一用户设备和第二用户设备都将各自真实生活对象的捕获图像发送到中间服务器，然后从它们各自的实际环境中提取第一和第二真实生活对象。

第一用户设备向服务器发送第一环境的选择，第二用户设备向服务器发送第二环境的选择。在一些实施例中，服务器从存储在服务器上的数据库中的虚拟环境库中提供所选择的虚拟环境。在一些实施例中，服务器基于用户设备提供的图像或从服务器上的数据库中选择的图像构建各自的虚拟环境。在集成期间，所提取的第一真实生活对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实生活对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

图4B示出了与图4A相似的样本过程，除了图像提取在用户设备上而不是中间服务器上进行。然后将提取的图像发送到中间服务器。虚拟环境仍然由中间服务器提供或构造。在集成期间，所提取的第一真实生活对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实生活对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

图4C示出了与图4A和4B类似的样本过程。在此，在用户设备上进行附加的处理步骤。例如，除了图像捕获之外，图像提取和虚拟环境的提供和构建也在用户设备上进行。然后将提取的图像和虚拟环境发送到中间服务器。在集成期间，所提取的第一真实对象将与由第二用户设备选择的虚拟环境集成。类似地，所提取的第二真实对象将与由第一用户设备选择的虚拟环境集成。虽然可以将提取的真实生活对象与自己选择的虚拟环境集成，但是图4A中描绘的是优选的实施例，因为第一真实生活对象的图像将在第二用户设备上观看。

图4A至4C中描述的样本实施例允许服务器在吸引参与其他活动(例如视频会议)的用户同时提供广告内容。在一些实施例中，可以在通信过程中添加一个或多个广告元素。广告元素的内容可以如图2B所示基于多个因素来确定。

在图4A至4C所示的实施例中，用户不主动寻找广告，因此基于用户偏好和场景信息，以非侵入的而相关的方式提供广告很重要。在一些实施例中，所选择的广告元素可以被合并到虚拟环境中。例如，当到旧金山出差的旅者联系他的家人时，他选择的虚拟环境可以包括当地礼品店的广告。此外，在电话会议期间也可以向他的家人呈现广告，并且内容可以选择(例如基于他的家人的地理位置)。

然而，当他进行商务电话会议时，他选择的虚拟环境可以包括与他的公司或行业的运作相关的广告。同样，在电话会议期间，广告也可以呈现给其他呼叫者，并且可以例如基于其位置的地理定位和他们的公司或行业的运作来选择内容。在一些实施例中，呈现相同的广告。在一些实施例中，不同的广告被呈现给不同的参与者。在这些示例中，广告内容由通信场景确定。

图5A至5C示出了没有中间服务器，用户设备彼此直接通信的样本实施例。

在图5A中，两个用户设备中的每个用户设备捕获图像、提取图像、提供/构建虚拟环境并将提取的真实生活对象与虚拟环境集成。集成的图像例如通过蓝牙或无线连接发送到另一个用户设备进行显示。同样，这可能不是优选的环境，因为在一个用户设备上的用户将被迫查看由另一设备选择的虚拟环境。

图5B示出一个示例性实施例，其中一个设备上的用户可以在其自己选择的虚拟环境中查看集成图像。例如，第一用户设备在第一实际环境中捕获第一真实生活对象的图像。然后提取第一真实生活对象并发送到第二用户设备，然后将其集成到第二用户设备中选择的第二虚拟环境中。类似地，第二用户设备捕获第一真实环境中的第二真实生活对象的图像。然后提取第二真实对象并发送给第一用户设备，然后将其集成到第二用户设备中选择的第一虚拟环境中。在这样的实施例中，各个用户可以查看他们在偏好的虚拟环境中通信的一方。

图5C示出了一个示例性实施例，其中一个设备上的用户可以在其自己选择的虚拟环境中查看集成图像。例如，第一用户设备在第一实际环境中捕获第一真实生活对象的图像。然后提取第一真实生活对象并发送到第二用户设备，然后将其集成到第二用户设备中选择的第二虚拟环境中。类似地，第二用户设备捕获第一真实环境中的第二真实生活对象的图像。然后提取第二真实生活对象并发送给第一用户设备，然后将其集成到第二用户设备中选择的第一虚拟环境中。在这样的实施例中，各个用户可以查看他们在偏好的虚拟环境中通信的一方。

图4和图5所示的过程可用于实时通信目的。这样的通信包括但不限于视频会议、交互式游戏、交互式新闻素材、交互式教育材料或交互式广告材料。例如，可以提前或实时地创建关于古罗马的虚拟教育视频。当老师在课堂上展示视频时，她可以请学生作为向导参加。使用本申请文件所公开的***，学生可以作为古代罗马的虚拟向导在视频中出现。

虽然图4和图5中所提供的例子都指的是两方通信***，但其并非将本发明的范围限制于此。只要支持这样的通信模式，本申请文件中所公开的方法和***可以用于任何数量的参与者。

本申请文件上述图1-5所示的***和方法提供了许多优点，特别是与基于AR的图像和视频编辑和基于AR的实时通信的实时图像和信号处理相关联。例如，本申请文件所公开的***和方法保证了精确性、效率、方便性和灵活性，并且可以在许多应用中实现。

本申请文件所公开的方法和***进一步融合适合于集成图像/视频中场景的音乐和环境声音。此外，适当的翻译语言语音被用来进一步增强声音和体验。总之，本申请文件所公开的方法和***将给用户提供深度沉浸式的视觉和听觉体验，使他们感觉处于相同的环境中，即使它们实际上彼此相距很远。

下面概述了可以实施所述方法和***的多个示例。该方法和***可用于基于AR的视频会议。该方法和***有助于保护用户隐私，并允许用户选择偏好的环境来查看会议的其他参与者。

该方法和***可同嵌入式营销应用一起，用于基于AR的视频会议。用户或企业可以将营销消息、广告***到基于AR的视频会议中，从而使参与视频会议的用户能够接触到产品或服务。

该方法和***也可用于基于AR的视频记录和编辑。用户可以创建他们自己在宇宙中任何可以想到的环境中的视频，它使绿幕视频拍摄显得过时。它使得用户可以进行时间旅行，例如访问盛世时代的罗马。它可以用在教育中或只是为了娱乐而使用。

所述方法和***创造了一个无缝沉浸式的环境，使得人们能够跨越巨大的实际地理距离，感觉却像身在同一地点。

该方法和***允许讲不同语言的用户彼此自由地通信。

可以理解的是，用户可以使用任何适用的方法和/或***来改善材料生产和演示的体验，以及主动和被动的广告体验。例如，这种的方法和***包括申请号为15/367124，提交于2016年12月1日，发明名称为“个性化、交互式和智能搜索的方法和***”的美国申请中所公开内容，在此通过整体引用将其纳入本申请文件。

实例***结构

图6是可以实现图1-6的特征和过程的实例计算设备600的框图。计算设备600可以包括存储器接口602、一个或多个数据处理器、图像处理器和/或中央处理单元604和***接口606。存储器接口602、一个或多个处理器604和/或***设备接口506可以是单独的组件，或者可以集成在一个或多个集成电路中。计算设备600中的各个组件可以通过一个或多个通信总线或信号线耦合。

传感器、设备和子***可以耦合到***接口606，以便于实现多个功能。例如，运动传感器610、光传感器612和接近传感器614可以耦合到***接口606，以便于定向、照明和接近功能的实现。其他传感器616也可以连接到***接口606，例如全球导航卫星***(GNSS)(例如GPS接收器)、加速度计、陀螺仪传感器、温度传感器、生物测量传感器、磁强计或其他感测装置，以便实现相关功能。

照相机子***620和光学传感器622，例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，可以用来便于相机功能的实现，例如记录照片和视频剪辑。相机子***620和光学传感器622可用于收集用户认证期间要使用的用户的图像，例如，通过执行面部识别分析。例如，照相机子***620包括但不限于2D相机、3D相机、2D/3D相机、红外相机、近红外相机、紫外线相机、多光谱相机、高光谱相机以及多种相机的组合。

可以通过一个或多个无线通信子***624来促进通信功能，该无线通信子***可以包括射频接收器和发射器和/或光学(例如，红外)接收器和发射器。通信子***624的具体设计和实施可以取决于计算设备600打算在其上运行的通信网络。例如，计算设备600可以包括被设计为在GSM网络、GPRS网络、增强型数据速率GSM演进(Enhanced Data Rate forGSM Evolution，简称“EDGE”)网络、Wi-Fi或WiMAX网络和蓝牙网络等上工作的通信子***624。尤其是，无线通信子***624可以包括主机协议，使得设备120可以作为其他无线设备的基站。示例性无线***624包括但不限于无线互联网(WLAN、WiFi等)、有线互联网、蓝牙、2G/3G/4G/5G无线等。

音频子***626可以耦合到扬声器628和麦克风630，以便于语音功能的实现，例如说话人识别、语音复制、数字记录和电话功能。例如，音频子***626可以用于方便处理语音命令、语音打印和语音认证。音频子***626包括但不限于常规麦克风、高清麦克风、立体声麦克风和多个麦克风的组合。

I/O子***640可以包括显示/触摸表面控制器642和/或其他输入控制器644。显示控制器642可以耦合到触摸表面等显示设备646。例如，显示/触摸表面设备646和相关的显示控制器642可以使用多个触摸敏感技术中的任何一种来检测接触和移动或断开，包括但不限于电容、电阻、红外和表面声波技术，以及其他接近传感器阵列或其他用于确定与显示/触摸表面646接触的一个或多个接触点的元件。它们可以是AR眼镜显示器，也可以是常规显示器(手机显示器、电视显示器等)。

另一个输入控制器(S)644可以耦合到其他输入/控制设备648，例如一个或多个按钮、摇杆开关、拇指轮、红外端口、USB端口和/或指针装置，如手写笔。所述一个或多个按钮(未示出)可包括用于扬声器628和/或麦克风630的音量控制的上/下按钮。

在一个实施方式中，以第一持续时间按下按钮可以解除显示装置646的锁定，并且以比第一个持续时间长的第二个持续时间按下按钮可以接通或切断计算设备600的电源。以第三个持续时间按下按钮可以激活语音控制，激活语音命令，或者激活使用户能够向麦克风630中发出命令以使设备执行口头命令的模块。用户可以定制一个或多个按钮的功能。例如，显示设备646也可以用于实现虚拟或软按钮和/或键盘。

用户可以通过I/O子***640、其他输入控制器644或任何其他类型的输入输出模块中的一个或多个组件提供实时反馈。

在一些实施方式中，计算设备600可以呈现记录的音频和/或视频文件，例如MP3、AAC和MPEG文件。在一些实施方式中，计算设备500可以包括智能手机、平板设备、膝上型计算机或可穿戴设备(例如，智能手表、智能眼镜等)、游戏***、基于AR的设备和/或基于MR的***。示例性AR设备包括AR玻璃护目镜(例如，微软全息眼镜Microsoft Hololens，莫弗里奥眼镜Moverio等)，以及AR头盔(例如，奥克利无线电波Oakley ariwave等)。示例性MR***包括与Xbox和显示器相结合的微软Kinect；与计算机相结合的英特尔实感(realsense)照相机，等等。基于AR***的示例性智能手机可以包括几乎任何配备有相机/麦克风和其他传感器的智能手机。

存储器接口602可以耦合到存储器650。存储器650可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光存储设备和/或闪存(例如，NAND，NOR)。存储器650可以存储操作***652，例如达尔文(Darwin)、RTXC、LINUX、UNIX、OS X、WINDOWS或嵌入式操作***如VxWorks。

操作***652可以包括用于处理基本***服务和执行依赖硬件的任务的指令。在一些实施方式中，操作***652可以是内核(例如，UNIX内核)。在一些实施方式中，操作***652可以包括用于执行语音认证的指令。例如，操作***652可以实施如图1-5所描述的图像处理特征。

存储器650还可以存储通信指令654，以便于与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器通信。存储器650可以包括图形用户界面指令656，以便于图形用户界面处理；传感器处理指令658，以便于与传感器相关的处理和功能；电话指令660，以便于电话相关的过程和功能；电子消息传递指令662，以便于电子消息传递相关过程和功能；Web浏览指令664，以便于与web浏览相关的过程和功能；媒体处理指令666，以便于媒体处理相关的过程和功能；GNSS/导航指令668，以便于GNSS和导航相关的过程和指令；和/或摄像机指令670，以便于摄像机相关的过程和功能。

存储器650可以存储图像和信号处理指令672，以便于其他处理和功能，如图1-6所示出的图像处理过程和功能。

存储器650还可以存储其他软件指令674，例如Web视频指令，以便于与Web视频相关的过程和功能；和/或Web购物指令，以便于与Web购物相关的过程和功能。在一些实施方式中，媒体处理指令666被划分为音频处理指令和视频处理指令，以分别便于与音频处理相关的处理和功能以及与视频处理相关的处理和功能。

上述识别指令和应用程序中的每一个可以对应于执行上述一个或多个功能的一组指令。这些指令不需要作为单独的软件程序、过程或模块来实施。存储器650可以包括附加指令或更少的指令。此外，计算设备600的各种功能可以在硬件和/或软件中实现，包括在一个或多个信号处理和/或应用专用集成电路中。

图7示出了实施图1-5的特征和过程的实例远程服务器***体系结构的框图。

在一些实施例中，远程数据服务器700可以包括中央处理单元710、电源712、用户接口720、通信电路716、总线714、控制器726、可选的非易失性存储728和至少一个存储器730。

存储器730可以包括易失性和非易失性存储单元，例如随机存取存储器(RAM)、只读存储器(ROM)、闪存等等。在优先实施例中，存储器730包括高速RAM，用于存储***控制程序、数据、应用程序，例如从非易失性存储728加载的程序和数据。可以理解，在任何给定的时间，存储器730中的任何模块或数据结构的全部或部分实际上可以存储在存储器728中。

用户接口720可以包括一个或多个输入设备724，例如键盘、键座、鼠标、滚轮等，以及显示器722或其他输出设备。网络接口卡或其他通信电路716可以提供连接到任何有线或无线通信网络，其可以包括因特网和/或任何其他广域网，并且在特定的实施例中包括移动电话网络等电话网络。内部总线714提供集中式数据服务器700的上述元素的互连。

在一些实施例中，集中式数据服务器700的操作主要由操作***732控制，操作***732由中央处理单元710执行。操作***732可以存储在***存储器730中。除了操作***732之外，***存储器730典型的实施还可以包括用于控制对本发明所使用的各种文件和数据结构的访问的文件***734、一个或多个应用模块736以及一个或多个数据库或数据模块750。

在根据本发明的一些实施例中，应用模块736可以包括一个或多个以下描述的并在图7中示出的模块。

信号处理应用738。在根据本发明的一些实施例中，信号处理应用738接收并处理从用户设备发送到服务器的信号，包括但不限于图像、音频或视频。

通过应用计算技术(例如，散列函数)，信号处理应用738将输入数据、传感器数据、网络衍生数据转换成数字数据以构造一个或多个数据库752(例如，754-774)。

内容管理工具740。在一些实施例中，内容管理工具640用于将不同形式的数据库752组织成多个数据库，例如处理机制数据库754、地理定位数据库756、基于网络的趋势数据库758、虚拟环境数据库760、用户配置文件和认证数据库762和附加数据库764，如广告内容。在根据本发明的一些实施例中，内容管理工具740用于搜索和比较托管在远程数据服务器700上的任何数据库。根据本发明的内容可以是文本消息、网址(URL)、Web链接、注释消息、邮政消息、传感器数据、文件、图像、音频文件、视频文件、闪存文件、媒体文件、幻灯片文件或任何可打印或可视化的文件。

存储在远程数据服务器700上的数据库包括任何形式的数据存储***，包括但不限于平面文件、关系数据库(SQL)和联机分析处理(OLAP)数据库(MDX和/或其变体)。在一些特定的实施例中，数据库是分层OLAP多维数据集。在一些实施例中，每个数据库都有一个不被存储为多维数据集但具有定义层次结构的维度表的星形模式。此外，在一些实施例中，数据库具有在基础数据库或数据库模式中未显式分解的层次结构(例如，维度表不是分层排列的)。在一些实施例中，数据库事实上不是托管在远程数据服务器700上，而实际上被集中式数据服务器通过安全网络接口访问。在这样的实施例中，采取加密等安全措施来保护存储在这样的数据库中的敏感信息。

***管理和监视工具742。在根据本发明的一些实施例中，***管理和监视工具742管理和监视远程数据服务器的所有应用程序和数据文件。由于生物特征等个性化数据被存储在远程数据服务器700上，因此访问那些严格控制和监视的文件是很重要的。***管理和监视工具742基于严格的用户认证来确定哪些用户设备可以访问远程数据服务器700。在一些实施例中，可能需要多轮认证。在一些实施例中，***管理和监视工具742使用不止一个安全措施来保护存储在远程数据服务器700上的数据。在一些实施例中，可以应用随机旋转安全***(random rotational security system)来保护存储在远程数据服务器700上的数据。

网络应用746。在一些实施例中，网络应用746通过多个网络服务连接远程数据服务器700。远程数据服务器600连接到多种类型的用户设备，这要求远程数据服务器适用于基于不同类型的网络接口的通信，例如，基于路由器的计算机网络接口、基于交换机的电话式网络接口和基于发射塔的手机无线网络接口，例如，802.11网络或蓝牙网络。

客户支持工具748。客户支持工具748帮助用户了解有关他们的账户、技术支持、隐私或广告体验反馈等信息或问题。在某些实施例中，用户可以请求(例如，通过实时语音、文本或手势命令)来打开和关闭广告体验。

在一些实施例中，存储在远程数据服务器700上的每个数据结构都是单数据结构。在其他实施例中，任何或所有这样的数据结构可以包括多个数据结构(例如，数据库、文件和档案文件)，这些数据结构可能或不一定都存储在远程数据服务器700上。一个或多个数据模块750可以包括任意数量的数据库752，这些数据库由内容管理工具740组织成不同结构(或其他形式的数据结构)。

除了上述识别模块之外，数据750还可以存储在远程数据服务器700上。示例性数据库752包括处理机制数据库754、场景数据库756、广告商数据库758、虚拟环境数据库760和用户配置文件和认证数据集762，下面将对这些数据库进行更详细的描述。

处理机制数据库754。任何适用的机制可以存储在处理机制数据库754中。这样的机制不限于捕获信号数据的机制。附加机制(例如用于处理集成图像或视频的虚拟环境或后期制作处理的附加机制)也可以存储在处理机制数据库754中。

场景数据库756。在一些实施例中，远程数据服务器700承载场景数据库756。场景数据库756存储和组织与场景相关的数据，例如时间、天气、位置相关事件、历史、地图、新闻等的日期和时间信息、通信场景、内容场景、广告商场景、地理定位场景、呈现场景或它们的组合。当服务器为用户选择合适的广告内容时，在此的信息可以提供场景信息。在一些实施例中，包括最近流行的查询、事件、领域知识和其他相关信息的趋势数据可以用作场景信息。当服务器为用户选择合适的广告内容时，可以实时更新信息以提供场景信息。

广告商数据库758。如申请文件所公开的，由广告商相关联或指定的信息存储在广告商数据库758中。在一些实施例中，广告商可以提出对特定平台的偏好。在一些实施例中，广告商可以设置参与竞价过程的定价信息。

虚拟环境数据库760。在一些实施例中，用于构建这种虚拟环境的虚拟环境或图像/视频存储在虚拟环境数据库760中。此外，用户过去对一种或多种类型的修改的偏好可以用于指导和帮助修改未来的虚拟环境。在一些实施例中，虚拟环境或其修改和变化的先前偏好可以与相应的用户配置文件(例如，来自用户配置文件数据库762)一起存储和组织，从而提供用户特定的广告内容。

用户配置文件数据库762。在根据本发明的一些实施例中，用户配置文件数据库762可以创建并存储在远程数据服务器700上，远程数据服务器700存储和管理与用户有关的口令和认证数据。在一些实施例中，用户有机会选择安全设置。在一些实施例中，用户偏好信息也包括在用户配置文件数据库中。示例性用户偏好信息包括但不限于用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社交状态、用户实时请求信息，或它们的组合。

本发明可以实施为计算机***和/或计算机程序产品，其包括嵌入到计算机可读存储介质中的计算机程序机制。此外，本发明的任何方法都可以在一个或多个计算机或计算机***中实施。此外，本发明的任何方法都可以在一个或多个计算机程序产品中实施。本发明的一些实施例提供了一种计算机***或计算机程序产品，其编码或具有用于执行本申请文件中公开的任何或所有方法的指令。这样的方法/指令可以存储在CD-ROM、DVD、磁盘存储产品、闪存驱动器或任何其他计算机可读数据或程序存储产品上。这样的方法也可以嵌入永久存储器中，例如ROM、一个或多个可编程芯片，或者一个或多个应用专用集成电路(ASIC)。这种永久存储可以被定位在服务器、802.11接入点、802.11无线网桥/站、中继器、路由器、移动电话或其他电子设备中。编码在计算机程序产品中的这些方法也可以通过互联网或其他方式通过计算机数据信号(其中嵌入了软件模块)以数字或载波形式传输来进行电子分发。

本发明的一些实施例提供了一种计算机***或计算机程序产品，其包含本申请文件所公开的任何或全部程序模块。这些程序模块可以存储在CD-ROM、DVD、闪存驱动器、磁盘存储产品或任何其他计算机可读数据或程序存储产品上。程序模块也可以嵌入永久存储器中，例如ROM、一个或多个可编程芯片，或者一个或多个应用专用集成电路(ASIC)。这种永久存储可以被定位在服务器、802.11接入点、802.11无线网桥/站、中继器、路由器、移动电话或其他电子设备中。计算机程序产品中的软件模块也可以通过互联网或其他方式通过计算机数据信号(其中嵌入了软件模块)以数字或载波形式传输来进行电子分发。

上述各种方法和技术提供了多个实施本发明的方法。当然，要理解的是，并非所述所有的目标或优点都可以根据本申请文件所描述的任何特定实施例来实现。因此，例如，本领域的技术人员将认识到，该方法可以以实现或优化本申请文件所教导的一个优点或一组优点的方式来执行，而不必实现如本申请文件中所教导或建议的其他目标或优点。本申请文件提到了各种有利和不利的替代方案。应该理解的是，一些优选实施例具体包括一个、另一个或几个有利特征，而另一些具体地排除了一个、另一个或几个不利特征，还有一些通过包括一个、另一个或几个有利特征明确地使当前不利特征的不利性降低。

此外，技术人员将认识到不同实施例的各种特征的适用性。类似地，以上讨论的各种元素、特征和步骤以及每个这样的元素、特征或步骤的其他已知等效成分可以被本领域的普通技术人员混合和匹配，按照本申请文件所述的原理来执行方法。在各种元素、特征和步骤中，一些将被明确地包括在内，而其他将会在各种具体实施例中被明确地排除。

虽然本发明已在某些实施例和实例的场景中公开，但本领域的技术人员将理解，本发明的实施例超出了具体公开的实施例，可以扩展到其他替换实施例和/或使用、修改和等效成分中。

在本发明的实施例中已经公开了许多变化形式和替代元素。更进一步的变化形式和替代元素对本领域的技术人员来说是显而易见的。

本申请文件中所公开的本发明的替代元素或实施例的分组不应被解释为限制条件。在本申请文件中，组中的每一项都可以被单独地引用和要求权利，也可以与该组中的其他项或其他元素的进行任意组合从而被引用和要求权利。出于方便和/或专利性的原因，可以将组中一个或多个项目包含在组中或从组中删除。当进行任何这样的包含或删除时，本申请文件说明书被认为包含修改的组，从而满足所附权利要求中使用的所有马库什组的(Markush groups)的书面描述。

最后，应理解本申请文件公开的本发明的实施例说明了本发明的原理。其他可以采用的修改可以属于本发明的范围。因此，通过示例，而不是限制，本发明的替代配置可以根据本申请文件的教导来使用。因此，本发明的实施例并不仅仅限于所示和所述的内容。

Claims (20)

1.一种提供沉浸式广告的方法，包括：

在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，其中所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；

其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

2.权利要求1所述的方法，其中所述用户偏好信息包括用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会经济状况、用户实时请求信息或它们的组合。

3.权利要求1所述的方法，其中所述场景信息包括日期和时间信息、通信场景、内容场景、广告商场景、地理定位场景、呈现场景或它们的组合。

4.权利要求1所述的方法，进一步包括：

识别用户偏好信息，所述用户偏好信息包括用户指定信息、用户传记信息、用户行为信息、用户活动、用户心理状态、用户社会经济状况、用户实时请求信息，或他们的组合；

识别场景信息，所述场景信息包括通信场景、内容场景、广告商场景、位置场景或呈现场景；以及

基于用户偏好信息和场景信息通过搜索一组广告内容确定一个或多个广告元素。

5.权利要求4所述的方法，其中所述确定步骤还包括：

基于所述广告商场景确定一个或多个广告元素。

6.权利要求5所述的方法，其中所述广告商场景包括广告商指定的内容匹配标准，包括受欢迎或不受欢迎的论坛或定价信息。

7.权利要求5所述的方法，其中所述一个或多个广告元素在竞价过程中确定。

8.权利要求1所述的方法，其中所述提取的真实生活对象包括使用基于特性的综合机制提取的多维图像信息，所述提取通过在一个或多个实时捕获的图像中从实际环境中分离真实生活对象而进行，虚拟环境由多个图像构建而成；

其中集成图像中的每个像素被划分为多层，每层基于所述提取的真实生活对象的每个像素和所述虚拟环境的所述多个图像的每个图像的对应像素之间的图像关系，使用所述提取的真实生活对象中的对应像素和所述虚拟环境的所述多个图像的每个图像来确定，所述图像关系至少包括深度关系或透明度关系。

9.权利要求8所述的方法，其中当提取所述真实生活对象的图像信息，构建所述虚拟环境或确定集成图像中的像素层时，将所述一个或多个广告元素实时嵌入到所述多个集成图像中。

10.权利要求1所述的方法，包括：

在计算机设备实时地提供一个或多个音轨，所述一个或多个音轨包括与所述多个集成图像相关联的音频信息。

11.权利要求1所述的方法，其中所述多个集成图像形成包括一个或多个音轨的视频。

12.权利要求11所述的方法，其中所述一个或多个音轨包括涉及所述一个或多个广告元素的音频信息。

13.权利要求11所述的方法，其中所述一个或多个音轨包括内置音轨的翻译音轨，所述翻译音轨基于所述计算机设备的所述地理位置或预定设置，从多种语言的音轨实时自动地选择。

14.权利要求1所述的方法，其中所述一个或多个广告元素与产品或服务相关联。

15.权利要求1所述的方法，其中基于所述计算机设备的地理位置或所述计算机设备的用户设置的偏好，从多个提取的真实生活对象中选择所述提取的真实生活对象。

16.权利要求15所述的方法，其中所述多个提取的真实生活对象包括名人、演员、运动员或所述计算机设备的用户。

17.权利要求1所述的方法，其中所述提取的真实生活对象与所述多个集成图像中的所述虚拟环境的一个或多个元素交互。

18.权利要求1所述的方法，其中所述虚拟环境包括反应所述计算机设备的位置的元素。

19.一个计算机***，包括：

一个或多个处理器；和

可以被所述一个或多个处理器访问的存储器，所述存储器存储可由所述一个或多个处理器执行的指令，以：

在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；

其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。

20.一种非暂时性计算机可读介质，包含指令，当其包含的指令被计算机处理器执行时，这些指令会使计算机处理器：

在计算机设备向用户提供将提取的真实生活对象集成到虚拟环境中的多个集成图像，所述多个集成图像包括一个或多个广告元素，所述一个或多个广告元素使用全面内容匹配机制来确定；

其中所述全面内容匹配机制基于多个因素，包括广告内容、用户偏好信息、场景信息。