CN102156808A - 增强现实实时虚拟饰品试戴***及方法 - Google Patents

Abstract

本发明提供一种增强现实实时虚拟饰品试戴***及方法，该增强现实实时虚拟饰品试戴***包括视频获取模块、标识识别模块、三维模型模块和实景融合模块，视频获取模块用于实时获取佩戴有识别标识的试戴者的实景视频信息。标识识别模块与视频获取模块相连，用于根据实景视频信息，生成实景视频信息中的识别标识的参数信息。三维模型模块与标识识别模块相连，用于根据参数信息生成饰品三维模型和饰品三维模型的显示参数。实景融合模块分别与视频获取模块和三维模型模块相连，用于根据显示参数将实景视频信息和饰品三维模型相融合，生成试戴视频信息。本发明提供的增强现实实时虚拟饰品试戴***及方法，可以逼真地对虚拟饰品的试戴效果进行显示，提高了虚拟饰品的试戴效果。

Description

增强现实实时虚拟饰品试戴***及方法

技术领域

本发明涉及增强现实技术，尤其涉及一种增强现实实时虚拟饰品试戴***及方法。

背景技术

增强现实技术，是一种综合了图像识别追踪、运动捕捉、虚拟现实等计算机学科的技术，将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中，并与现实物体或者使用者实现自然互动的创新的人机交互技术。

现有技术的虚拟饰品试戴***一般以虚拟现实(Virtual Reality)为支持技术，让设计好的虚拟3D人体模特结合不同款式、尺寸的虚拟3D饰品(如手表、手镯、耳环、项链等)表现出饰品的佩戴以及搭配效果。但由于试戴饰品的为设计好的3D人体模型，不能与真实地试戴者的人体形态、肤色实时结合，并不能真实表现出满意的试戴体验。

发明内容

本发明提供一种增强现实实时虚拟饰品试戴***及方法，以提高虚拟饰品试戴的效果。

本发明提供一种增强现实实时虚拟饰品试戴***，包括：

视频获取模块，用于实时获取佩戴有识别标识的试戴者的实景视频信息；

标识识别模块，与所述视频获取模块相连，用于根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息；

三维模型模块，与所述标识识别模块相连，用于根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数；

实景融合模块，分别与所述视频获取模块和所述三维模型模块相连，用于根据所述显示参数将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息。

如上所述的增强现实实时虚拟饰品试戴***，其中，所述识别标识为条形，沿所述识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。

如上所述的增强现实实时虚拟饰品试戴***，所述标识识别模块包括：

识别单元，用于查找所述实景视频信息中与所述识别标识各个所述颜色带的颜色相同的颜色块，并对所述颜色带的组合模式进行分析，以对所述实景视频信息中的识别标识进行识别；

参数单元，用于计算识别到的所述识别标识的参数信息。

如上所述的增强现实实时虚拟饰品试戴***，所述三维模型模块包括：

基础三维模型单元，用于存储基础三维模型；

调整单元，用于从所述基础三维模型单元中获取所述基础三维模型，并根据所述参数信息调整所述基础三维模型的形状，生成所述饰品三维模型和所述饰品三维模型的显示参数。

如上所述的增强现实实时虚拟饰品试戴***，所述实景融合模块包括：

颜色采集单元，用于对所述实景视频信息中的识别标识周围的颜色进行采集；

填充颜色单元，用于根据所述采集的颜色，生成填充颜色；

标识消除单元，用于通过所述填充颜色对所述实景视频信息中的识别标识进行填充；

组合单元，用于根据所述显示参数、所述识别标识消除后的实景视频信息与所述饰品三维模型，生成所述试戴视频信息。

本发明提供一种增强现实实时虚拟饰品试戴方法，包括：

视频获取模块实时获取佩戴有识别标识的试戴者的实景视频信息；

标识识别模块根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息；

三维模型模块根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数；

实景融合模块根据所述显示参数将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息。

如上所述的增强现实实时虚拟饰品试戴方法，其中，所述识别标识为条形，沿所述识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。

如上所述的增强现实实时虚拟饰品试戴方法，所述标识识别模块根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息，包括：

所述标识识别模块查找所述实景视频信息中与所述识别标识各个所述颜色带的颜色相同的颜色块，并对所述颜色带的组合模式进行分析，以对所述实景视频信息中的识别标识进行识别；

所述标识识别模块计算识别到的所述识别标识的参数信息。

如上所述的增强现实实时虚拟饰品试戴方法，所述三维模型模块根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数，具体为：

所述三维模型模块根据所述参数信息调整基础三维模型的形状，生成所述饰品三维模型和所述饰品三维模型的显示参数。

如上所述的增强现实实时虚拟饰品试戴方法，所述实景融合模块将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息，包括：

所述实景融合模块对所述实景视频信息中的识别标识周围的颜色进行采集；

所述实景融合模块根据所述采集的颜色，生成填充颜色；

所述实景融合模块通过所述填充颜色对所述实景视频信息中的识别标识进行填充；

所述实景融合模块根据所述显示参数、所述识别标识消除后的实景视频信息与所述饰品三维模型，生成所述试戴视频信息。

由上述技术方案可知，本发明提供的增强现实实时虚拟饰品试戴***及方法，通过识别标识的设置，试戴者将识别标识佩戴在饰品佩戴处，标识识别模块对包含有识别标识的实景视频信息进行识别，以获得识别标识的参数信息，据此生成的视频三维模型可以与试戴者的身体特征相匹配，逼真地显示试戴者佩戴饰品的效果，提高了虚拟饰品试戴的效果。

附图说明

图1为本发明实施例提供的一种增强现实实时虚拟饰品试戴***结构示意图；

图2为本发明实施例提供的识别标识结构示意图；

图3为本发明实施例提供的另一种增强现实实时虚拟饰品试戴***结构示意图；

图4为本发明实施例提供的增强现实实时虚拟饰品试戴方法流程图。

附图标记：

11-视频获取模块；     12-标识识别模块；

13-三维模型模块；     14-实景融合模块；

121-识别单元；        122-参数单元；

131-基础三维模型单元；132-调整单元；

141-颜色采集单元；    142-填充颜色单元；

143-标识消除单元；    144-组合单元；

C1-第一颜色带；       C2-第二颜色带；

C3-第三颜色带。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在附图或说明书中，相似或相同的元件皆使用相同的附图标记。

图1为本发明实施例提供的一种增强现实实时虚拟饰品试戴***结构示意图，如图1所示，该增强现实实时虚拟饰品试戴***包括视频获取模块11、标识识别模块12、三维模型模块13和实景融合模块14，视频获取模块11用于实时获取佩戴有识别标识的试戴者的实景视频信息。标识识别模块12与视频获取模块11相连，用于根据实景视频信息，生成实景视频信息中的识别标识的参数信息。三维模型模块13与标识识别模块12相连，用于根据参数信息生成饰品三维模型和饰品三维模型的显示参数。实景融合模块14分别与视频获取模块11和三维模型模块13相连，用于根据显示参数将实景视频信息和饰品三维模型相融合，生成试戴视频信息。

该增强现实实时虚拟饰品试戴***在实际应用中的工作过程具体可以为：试戴者根据要试戴的饰品的类型选择识别标识，如果试戴者想试戴手表，则选择可以缠绕手腕一周的识别标识，如果试戴者想试戴戒指，则选择可以缠绕手指一周的识别标识，如果试戴者想试戴耳环，则选择与耳垂大小相匹配的识别标识，并将识别标识佩戴在身体相应的位置。试戴者佩戴好识别标识后站在视频获取模块11前，视频获取模块11实时获取佩戴有识别标识的试戴者的实景视频信息。具体的，视频获取模块11可以为摄像机或者摄像头等可以进行实时视频采集的设备。标识识别模块12根据实景视频信息，生成实景视频信息中的识别标识的参数信息，具体的，标识识别模块12对视频获取模块11捕捉到的每帧图像进行识别匹配。参数信息具体可以为识别标识的位置信息、宽度信息和伸展方向信息。三维模型模块13中具体可以存储有多个饰品三维模型样本，可以根据试戴者的需要选择其中一件或几件饰品三维模型样本，根据识别标识的参数信息对三维模型样本进行处理，生成与实景视频信息中试戴者向匹配的饰品三维模型，并根据参数信息生成饰品三维模型的显示参数，饰品三维模型的显示参数具体包括饰品三维模型在实景视频中的显示位置信息和角度信息等。实景融合模块14再根据显示参数将饰品三维模型融合到实景视频信息中，生成试戴视频信息，实现了饰品三维模型在试戴者身上佩戴的效果，该试戴视频信息通过显示模块显示给试戴者，给试戴者的感受就和面对试衣镜进行饰品试戴的效果一样。

本实施例提供的增强现实实时虚拟饰品试戴***，通过识别标识的设置，试戴者将识别标识佩戴在饰品佩戴处，标识识别模块12对包含有识别标识的实景视频信息进行识别，以获得识别标识的参数信息，据此生成的视频三维模型可以与试戴者的身体特征相匹配，逼真地显示试戴者佩戴饰品的效果，提高了虚拟饰品试戴的效果。

在本实施例中，识别标识为条形，沿识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。优选地，如图2所示，识别标识为条形，沿识别标识的宽度方向依次排列三个条形的颜色带，分别为第一颜色带C1、第二颜色带C2和第三颜色带C3，第一颜色带C1与第三颜色带C3的颜色相同，且颜色带的颜色与周围环境颜色不同。第一颜色带C1、第二颜色带C2和第三颜色带C3的宽度可以基本相同，也可以为，第一颜色带C1和第三颜色带C3的宽度相同，而与第二颜色带C2的宽度不同，三者的总宽度与识别标识的宽度基本相同。颜色与周围环境包括试戴者着装的颜色不同，可以提高标识识别模块12的识别效率。识别标识分成了多个条形的不同颜色的颜色带，标识识别模块12在进行识别时可以通过颜色以及颜色带的形状进行匹配，方法简单，且不受距离视频获取模块11距离的限制，识别标识的尺寸可以减小，提高了识别的准确性。识别标识也可以为具有特定图案的二维标识，不以本实施例为限。

图3为本发明实施例提供的另一种增强现实实时虚拟饰品试戴***结构示意图，如图3所示，在本实施例中，标识识别模块12具体可以包括识别单元121和参数单元122。识别单元121用于查找实景视频信息中与识别标识各个颜色带的颜色相同的颜色块，并对颜色带的组合模式进行分析，以对实景视频信息中的识别标识进行识别。参数单元122用于计算识别到的识别标识的参数信息。具体的，识别单元121识别图2所示的识别标识的过程可以为：识别单元121找出实景视频信息中每帧图像中所有与第一颜色带C1的颜色相近的像素所组成的色块，再对这些色块进行配对，配对原则是，两色块需要具有一致的方向、相似的尺寸、并排排列。对已成功配对的色块，即可认为是识别标识的第一颜色带C1和第三颜色带C3，再在两个条形色块的中心查找与第二颜色带C2的颜色相近的像素组成的色块，如果找到这样的色块，且该色块的方向和尺寸与两边的色块一致，则识别到了一个识别标识。参数单元122计算识别到的识别标识的参数信息，具体计算该识别标识的中心位置、伸展方向、以及伸展方向上的长度。

在本实施例中，三维模型模块13具体可以包括基础三维模型单元131和调整单元132。基础三维模型单元131用于存储基础三维模型。基础三维模型单元131存储有多个基础三维模型，即饰品三维模型样本，以供试戴者选择。调整单元132用于从基础三维模型单元131中获取基础三维模型，并根据参数信息调整基础三维模型的形状，生成饰品三维模型和饰品三维模型的显示参数。具体的，调整单元132可以根据试戴者的选择从基础三维模型单元131中获取基础三维模型，并根据识别到的识别标识的参数信息调整选择的基础三维模型的位置、尺寸和显示角度。具体的，基础三维模型的尺寸与识别标识的实际尺寸相匹配，如手表的表盘的宽度与识别标识的宽度相同。再根据实景视频信息图像中的识别标识的宽度与实际尺寸相比，产生比例系数，再根据该比例系数调整基础三维模型的宽度。由于识别标识的参数信息是根据实景视频信息生成的，则会根据试戴者位置的变化而改变，据此生成的饰品三维模型也是动态变化的，提高了虚拟饰品试戴的适应性和真实性。

在本实施例中，实景融合模块14具体可以包括颜色采集单元141、填充颜色单元142、标识消除单元143和组合单元144。颜色采集单元141用于对实景视频信息中的识别标识周围的颜色进行采集。填充颜色单元142用于根据采集的颜色，生成填充颜色。标识消除单元143用于通过填充颜色对实景视频信息中的识别标识进行填充。组合单元144用于根据显示参数、识别标识消除后的实景视频信息与饰品三维模型，生成试戴视频信息。在实际应用过程中，如果饰品三维模型没有覆盖住实景视频信息中的识别标识，则还需要对识别标识进行消除处理。颜色采集单元141对实景视频信息中的识别标识周围的颜色进行采集，具体的可以采集识别标识的轮廓边缘不同于识别标识的所有像素的颜色信息。填充颜色单元142根据采集的颜色生成填充颜色，具体的，可以在该些像素中找出N个颜色最近的像素，N为自然数且大于1。取N个像素的颜色的均值，填充颜色单元142再将该均值赋给识别标识的像素，这样，识别标识的颜色将完全消失，取而代之的是识别标识的轮廓上的颜色，实现了试戴视频信息中的识别标识被消除，并融入周边场景图案(肤色、衣服等)的效果。在实际应用中，也可以采用其他方法对识别标识进行消除，以实现使识别标识的颜色与识别标识周围的颜色相似即可，不以本实施例为限。

在本实施例中，基础三维模型可以为整个饰品的三维模型，也可以为饰品的局部三维模型。对于基础三维模型为整个饰品的三维模型，再将据此生成的饰品三维模型与实景视频信息进行融合时，需要对饰品三维模型被试戴者身体遮挡住的部分不进行渲染，以显示出被遮挡效果。

在实际应用过程中，试戴者的试戴视频信息通过显示模块进行显示，可以设置功能按钮以对视频进行放大、缩小和移动，还可以对视频图像拍照保存。该增强现实实时虚拟饰品试戴***还可以与网上商城连接，当试戴者对试戴结果感到满意时，可以直接通过购买按钮进行相应的购买操作，开拓了全新的饰品产业数字营销手段。

图4为本发明实施例提供的增强现实实时虚拟饰品试戴方法流程图，如图4所示，该增强现实实时虚拟饰品试戴方法包括：

步骤10、视频获取模块实时获取佩戴有识别标识的试戴者的实景视频信息；

步骤20、标识识别模块根据实景视频信息，生成实景视频信息中的识别标识的参数信息；

步骤30、三维模型模块根据参数信息生成饰品三维模型和饰品三维模型的显示参数；

步骤40、实景融合模块根据显示参数将实景视频信息和饰品三维模型相融合，生成试戴视频信息。

本实施例提供的增强现实实时虚拟饰品试戴方法，通过识别标识的设置，试戴者将识别标识佩戴在饰品佩戴处，标识识别模块对包含有识别标识的实景视频信息进行识别，以获得识别标识的参数信息，据此生成的视频三维模型可以与试戴者的身体特征相匹配，逼真地显示试戴者佩戴饰品的效果，提高了虚拟饰品试戴的效果。

在本实施例中，识别标识具体可以为条形，沿识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。识别标识分成了多个条形的颜色带，标识识别模块在进行识别时可以通过颜色以及颜色带的形状进行匹配，方法简单，且不受距离视频获取模块距离的限制，识别标识的尺寸可以减小，提高了识别的准确性。

在本实施例中，步骤20、标识识别模块根据实景视频信息，生成实景视频信息中的识别标识的参数信息，具体可以包括：

步骤201、标识识别模块查找实景视频信息中与识别标识各个颜色带的颜色相同的颜色块，并对所述颜色带的组合模式进行分析，以对实景视频信息中的识别标识进行识别；

步骤202、标识识别模块计算识别到的识别标识的参数信息。

在本实施例中，步骤30、三维模型模块根据参数信息生成饰品三维模型和饰品三维模型的显示参数，具体可以为：

三维模型模块根据参数信息调整基础三维模型的形状，生成饰品三维模型和饰品三维模型的显示参数。

在本实施例中，由于识别标识的参数信息是根据实景视频信息生成的，则会根据试戴者位置的变化而改变，据此生成的饰品三维模型也是动态变化的，提高了虚拟饰品试戴的适应性和真实性。

在本实施例中，步骤40、实景融合模块将实景视频信息和饰品三维模型相融合，生成试戴视频信息，具体可以包括：

步骤401、实景融合模块对实景视频信息中的识别标识周围的颜色进行采集；

步骤402、实景融合模块根据采集的颜色，生成填充颜色；

步骤403、实景融合模块通过填充颜色对实景视频信息中的识别标识进行填充；

步骤404、实景融合模块根据显示参数、识别标识消除后的实景视频信息与饰品三维模型，生成试戴视频信息。

在本实施例中，通过对识别标识消除，达到融入周边场景图案(肤色、衣服等)的效果，提高了虚拟饰品试戴的真实性，进一步提高了虚拟饰品试戴的效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种增强现实实时虚拟饰品试戴***，其特征在于，包括：

视频获取模块，用于实时获取佩戴有识别标识的试戴者的实景视频信息；

标识识别模块，与所述视频获取模块相连，用于根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息；

三维模型模块，与所述标识识别模块相连，用于根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数；

实景融合模块，分别与所述视频获取模块和所述三维模型模块相连，用于根据所述显示参数将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息。

2.根据权利要求1所述的增强现实实时虚拟饰品试戴***，其特征在于：所述识别标识为条形，沿所述识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。

3.根据权利要求2所述的增强现实实时虚拟饰品试戴***，其特征在于，所述标识识别模块包括：

识别单元，用于查找所述实景视频信息中与所述识别标识各个所述颜色带的颜色相同的颜色块，并对所述颜色带的组合模式进行分析，以对所述实景视频信息中的识别标识进行识别；

参数单元，用于计算识别到的所述识别标识的参数信息。

4.根据权利要求1或2所述的增强现实实时虚拟饰品试戴***，其特征在于，所述三维模型模块包括：

基础三维模型单元，用于存储基础三维模型；

调整单元，用于从所述基础三维模型单元中获取所述基础三维模型，并根据所述参数信息调整所述基础三维模型的形状，生成所述饰品三维模型和所述饰品三维模型的显示参数。

5.根据权利要求1或2所述的增强现实实时虚拟饰品试戴***，其特征在于，所述实景融合模块包括：

颜色采集单元，用于对所述实景视频信息中的识别标识周围的颜色进行采集；

填充颜色单元，用于根据所述采集的颜色，生成填充颜色；

标识消除单元，用于通过所述填充颜色对所述实景视频信息中的识别标识进行填充；

组合单元，用于根据所述显示参数、所述识别标识消除后的实景视频信息与所述饰品三维模型，生成所述试戴视频信息。

6.一种增强现实实时虚拟饰品试戴方法，其特征在于，包括：

视频获取模块实时获取佩戴有识别标识的试戴者的实景视频信息；

标识识别模块根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息；

三维模型模块根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数；

实景融合模块根据所述显示参数将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息。

7.根据权利要求6所述的增强现实实时虚拟饰品试戴方法，其特征在于：所述识别标识为条形，沿所述识别标识的宽度方向依次排列至少两个条形的不同颜色的颜色带。

8.根据权利要求7所述的增强现实实时虚拟饰品试戴方法，其特征在于，所述标识识别模块根据所述实景视频信息，生成所述实景视频信息中的识别标识的参数信息，包括：

所述标识识别模块查找所述实景视频信息中与所述识别标识各个所述颜色带的颜色相同的颜色块，并对所述颜色带的组合模式进行分析，以对所述实景视频信息中的识别标识进行识别；

所述标识识别模块计算识别到的所述识别标识的参数信息。

9.根据权利要求6或7所述的增强现实实时虚拟饰品试戴方法，其特征在于，所述三维模型模块根据所述参数信息生成饰品三维模型和所述饰品三维模型的显示参数，具体为：

所述三维模型模块根据所述参数信息调整基础三维模型的形状，生成所述饰品三维模型和所述饰品三维模型的显示参数。

10.根据权利要求6或7所述的增强现实实时虚拟饰品试戴方法，其特征在于，所述实景融合模块将所述实景视频信息和所述饰品三维模型相融合，生成试戴视频信息，包括：

所述实景融合模块对所述实景视频信息中的识别标识周围的颜色进行采集；

所述实景融合模块根据所述采集的颜色，生成填充颜色；

所述实景融合模块通过所述填充颜色对所述实景视频信息中的识别标识进行填充；

所述实景融合模块根据所述显示参数、所述识别标识消除后的实景视频信息与所述饰品三维模型，生成所述试戴视频信息。

Images