CN111383343B - 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 - Google Patents
一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 Download PDFInfo
- Publication number
- CN111383343B CN111383343B CN201811634717.6A CN201811634717A CN111383343B CN 111383343 B CN111383343 B CN 111383343B CN 201811634717 A CN201811634717 A CN 201811634717A CN 111383343 B CN111383343 B CN 111383343B
- Authority
- CN
- China
- Prior art keywords
- model
- coloring
- network
- generated
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004040 coloring Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 19
- 238000005034 decoration Methods 0.000 title claims abstract description 12
- 238000005516 engineering process Methods 0.000 title claims abstract description 10
- 238000009877 rendering Methods 0.000 title abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 20
- 239000003550 marker Substances 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000013519 translation Methods 0.000 abstract description 2
- 230000008485 antagonism Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明的目的在于提供一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法。本上色方法同时具备上色速度快和平滑性两个效果,上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性；本上色方法支持机器学习，可以对不同设计师的构图、绘画以及用色习惯进行学习，形成其风格模型，并根据其风格影响渲染上色；本上色方法采用并行设计，可以实现快速渲染上色；使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。用户可以根据自己的喜好模拟装修房子，该方法可在异构网络环境中实现三维家居逼真图像的渲染。
Description
技术领域
本发明属于计算机数字图像领域，涉及一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法。
背景技术
在增强现实的显示软件中，常用的上色方式有两种，一种是微软的SurfaceView上色，另外一种是OpenGL上色。其中微软的SurfaceView使用的是微软的应用程序编程接口，对上色的功能支持的比较完善，上色后能够达到很好平滑效果。但是当在所需要上色的增强现实物体在背景中连续的移动、缩放时，由于SurfaceView上色的速度跟不上几何空间变换的速度。会导致卡顿的现象，影响用户的体验。特别是在进行全局的移动、缩放时，需要遍历每一个图片，每张图逐个进行上色更新在SurfaceView的视图上，整个上色速度会随着图像个数的增多而变慢，画面也会越来越卡顿。而OpenGL上色速度非常快，广泛的应用于游戏和一些动画效果的应用场景中。甚至可以达到毫秒级别的。特别是对于图片的上色，图片纹理数据会被存储在显存中，进行OpenGL上色时OpenGL几乎不耗时间。所以OpenGL不会有卡顿的现象出现。但是OpenGL对于线条没有圆滑的效果。在线条很粗的时候上色的边缘有色斑。现有技术中如果只用单一的上色方式很难达到生产和应用的要求。近些年深度学习越来越受到企业和研发人员的重视。其中衍生出来的生成对抗网络能够利用生成网络和对抗网络进行博弈完成一些上色的任务。生产对抗网络的上色也有它的局限性。需要大量的模型预训练时间。
发明内容
本发明所要解决的技术问题是：使生成对抗网络的上色同时具备上色速度快和平滑性两个效果，使上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性，并根据不同的要求进行不同风格的逼真上色。本上色方法支持机器学习，可以对不同设计师的构图、绘画以及用色习惯进行学习，形成其风格模型，并根据其风格影响渲染上色；本上色方法采用并行设计，可以实现快速渲染上色；使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。
为了实现上述的目的，本发明提供一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，包括以下步骤：
S101：采集实时视频；
S102：扫描数字化标识物；
S103：通过增强现实程序识别标识物；
S104：标识物与三维虚拟物体进行匹配；
S105：根据标识物位置调整三维虚拟模型的位置；
S106：确定风格要求；
S107：匹配预训练上色模型库；
S108：虚拟物体与视频流背景融合；
S109：虚拟物体上色入视频流。
在本发明中，匹配预训练上色模型库的实现方法一，包括以下步骤：
S201：输入需要上色的三维模型顶点坐标；
S202：将三维模型放到三维场景核实的位置；
S203：设置摄像头的角度和视角；
S204：设置光照的位置、颜色、方向参数；
S205：设置三维模型的颜色参数；
S206：将上色后的模型输入生成对抗网络模型；
S207：将通过判别网络的模型存储至预训练模型库。
在本发明中，匹配预训练上色模型库实现方法二，包括以下步骤：
S401：输入已知不同作者不同类型图像；
S402：将输入图像生成对抗网络模型；
S403：将通过判别网络的模型存储至预训练模型库。
在本发明中，虚拟物体与视频流背景融合的方法，包括以下步骤：
S601：使用识别程序识别出视频流背景物体轮廓；
S602：提取视频流背景物***置坐标坐标；
S603：以位置坐标为参考点将虚拟物体叠加显示在视频流背景物体上。
本文发明的一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，具有的特点和有益效果是：
1、 本文发明中的方法使用的方法上色的时间是毫秒级的，可以实现快速上色；
2、 本文发明中的方法使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色；
3、 本文发明中的方法可以根据不同的要求，实现不同作者的风格上色；
4、 本文发明中的方法中使用了生成对抗网络预训练上色模型，相比手工特征上色能够更加快调用。
附图说明
图1是本文发明基于生成对抗网络技术的增强现实图像上色方法的流程图。
图2是本文发明匹配预训练上色模型库的实现方法一的流程图。
图3是本文发明中将上色后的模型输入生成对抗网络模型的流程图。
图4是本文发明匹配预训练上色模型库的实现方法二的流程图。
图5是本文发明中将输入的图像生成对抗网络模型的流程图。
图6是本文发明中虚拟物体与视频流背景融合方法的流程图。
具体实施方式
下面结合附图对本发明的内容作进一步的详细介绍。
本发明所述的一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法包括如下步骤，如图1所示：
S101，使用视频采集设备采集实时的视频流；
S102，扫描数字化标识物；
S103，通过增强现实的程序识别标识物，初次确定三维虚拟物体的位置和方向；
S104，标识物和三维虚拟物体进行匹配；
S105，根据标识物位置再次调整三维虚拟模型的位置；
S106，确定风格要求；
S107，匹配预训练上色模型库；
S108，使用轮廓法将虚拟物体与视频流背景融合，确定位置实现跟踪定位物体；
S109，虚拟物体上色入视频流。
本发明提供的上色方法，使用预训练的方式加快上色的速度，相较于把纹理存储在显存中的调用方式，匹配预训练上色模型库可以快速调用已经存在的模型。
在本发明中，匹配预训练上色模型库的实现方法一包括如下步骤，如图2所示：
S201，输入要上色的三维模型需顶点坐标；
S202，将三维模型放到三维场景核实位置；
S203，设置场景中的摄像头角度和视角；
S204，设置光照的位置、颜色、方向参数；
S205，设置三维模型的颜色参数；
S206，将上色后的模型输入生成对抗网络模型；
S207，将通过判别网络的模型存储至预训练模型库。
本发明所述将上色后的模型输入生成对抗网络模型包含如下步骤，如图3所示：
S301，首先输入上色后的三维模型；
S302，存储至判别网络模型库，判别网络存储的是设置好参数的上色模型；
S303，生成网络输出单个三维模型；
S304，判别网络计算出生成模型和模型库的相似值；
S305，生成模型和模型库的相似值如果大于等于预设的阈值，则判定生成上色的三维模型接近真实的模型。相似值如果小于预设的阈值，则判定生成网络上色的三维模型非真实的模型。重复S303，S304步骤直到判别网络给出生成后的上色模型为真实；
S306，输出通过S405步骤的三维上色模型。
在本发明中，匹配预训练上色模型库的实现方法二包括如下步骤，如图4所示：
S401，输入已知不同作者不同类型图像；
S402，将输入的图像生成对抗网络模型；
S403，将通过判别网络的模型存储至预训练模型库。
将输入的图像生成对抗网络模型包括如下步骤，如图5所示：
S501，输入成品图像模型；
S502，存储至判别网络模型库，判别网络存储的是设置好参数的上色模型；
S503，生成网络输出单个模型；
S504，判别网络计算出生成模型和模型库的相似值；
S505，生成模型和模型库的相似值如果大于等于预设的阈值，则判定生成上色的图像模型接近真实的模型。相似值如果小于预设的阈值，则判定生成网络上色的图像模型非真实的模型。重复S503，S504步骤直到判别网络给出生成后的上色模型为真实。
本发明提供的预训练上色模型库，使用的是基于深度学习的生成对抗网络实现。本发明提供的上色方法，能够跟踪目标实时融合与场景。
本发明提供的虚拟物体与视频流背景融合的方法包括如下步骤，如图6所示：
S601，使用识别程序识别出视频流背景物体轮廓；
S602，提取视频流背景物***置坐标；
S603，以位置坐标为参考点将虚拟物体叠加现实在视频流背景物体上；
除上述实施方法以外，本发明还可以有其他实施方式，凡采用同等替换或者是等效变换形成的技术方案，均属于本发明要求的保护范围内。
Claims (4)
1.一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，其特征在于，包括以下步骤：
S101：采集实时视频；
S102：扫描数字化标识物；
S103：通过增强现实程序识别标识物，初次确定三维虚拟物体的位置和方向；
S104：标识物与三维虚拟物体进行匹配；
S105：根据标识物位置调整三维虚拟模型的位置；
S106：确定风格要求；
S107：匹配预训练上色模型库；
S108：虚拟物体与视频流背景融合，确定位置实现跟踪定位物体；
S109：虚拟物体上色入视频流；
所述的匹配预训练上色模型库的方法一包括以下步骤：
S201：输入需要上色的三维模型顶点坐标；
S202：将三维模型放到三维场景合适的位置；
S203：设置摄像头的角度和视角；
S204：设置光照的位置、颜色、方向参数；
S205：设置三维模型的颜色参数；
S206：将上色后的模型输入生成对抗网络模型；
S207：将通过判别网络的模型存储至预训练模型库；
所述的将上色后的模型输入生成对抗网络模型，包括以下步骤：
S301：输入已经上色后的三维模型；
S302：存储至判别网络模型库，判别网络存储的是设置好参数的上色模型；
S303：生成网络输出生成后的三维模型；
S304：判别网络计算出生成模型和模型库的相似值；
S305：生成模型和模型库的相似值如果大于等于预设的阈值，则判定生成上色的三维模型接近真实的模型；相似值如果小于预设的阈值，则判定生成网络上色的三维模型非真实的模型；重复S303，S304步骤直到判别网络给出生成后的上色模型为真实；
S306：输出通过判别网络的三维上色模型。
2.根据权利要求1所述的一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，其特征在于，所述的匹配预训练上色模型库的方法二包括以下步骤：
S401：输入已知不同作者不同类型图像；
S402：将输入的图像输入生成对抗网络模型；
S403：将通过判别网络的模型存储至预训练模型库。
3.根据权利要求2所述的一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，其特征在于，所述的将输入的图像输入生成对抗网络模型，包括以下步骤：
S501：输入成品图像模型；
S502：存储至判别网络模型库，判别网络存储的是设置好参数的上色模型；
S503：生成网络输出生成后的图像模型；
S504：判别网络计算出生成模型和模型库的相似值；
S505：生成模型和模型库的相似值如果大于等于预设的阈值，则判定生成上色的图像模型接近真实的模型；相似值如果小于预设的阈值，则判定生成网络上色的图像模型非真实的模型，重复S503，S504步骤直到判别网络给出生成后的上色模型为真实。
4.根据权利要求1所述的一种面向家装设计的基于生成对抗网络技术的增强现实图像上色方法，其特征在于，所述的虚拟物体与视频流背景融合，包括以下步骤：
S601：使用识别程序识别出视频流背景物体轮廓；
S602：提取视频流背景物***置坐标坐标；
S603：以位置坐标为参考点将虚拟物体叠加显示在视频流背景物体上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634717.6A CN111383343B (zh) | 2018-12-29 | 2018-12-29 | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811634717.6A CN111383343B (zh) | 2018-12-29 | 2018-12-29 | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383343A CN111383343A (zh) | 2020-07-07 |
| CN111383343B true CN111383343B (zh) | 2024-01-16 |
Family
ID=71220562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811634717.6A Active CN111383343B (zh) | 2018-12-29 | 2018-12-29 | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383343B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223186B (zh) * | 2021-07-07 | 2021-10-15 | 江西科骏实业有限公司 | 实现增强现实的处理方法、设备、产品和装置 |
| CN113379869B (zh) * | 2021-07-23 | 2023-03-24 | 浙江大华技术股份有限公司 | 一种车牌图像生成方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法 |
| CN106814457A (zh) * | 2017-01-20 | 2017-06-09 | 杭州青杉奇勋科技有限公司 | 增强现实眼镜及使用该眼镜进行家居展示的方法 |
| CN108597030A (zh) * | 2018-04-23 | 2018-09-28 | 新华网股份有限公司 | 增强现实ar的光影效果显示方法、装置及电子设备 |
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
| CN108805648A (zh) * | 2017-04-19 | 2018-11-13 | 苏州宝时得电动工具有限公司 | 虚拟现实***及其控制方法 |
-
2018
- 2018-12-29 CN CN201811634717.6A patent/CN111383343B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实***中基于虚拟模型预处理的虚实遮挡处理方法 |
| CN106814457A (zh) * | 2017-01-20 | 2017-06-09 | 杭州青杉奇勋科技有限公司 | 增强现实眼镜及使用该眼镜进行家居展示的方法 |
| CN108805648A (zh) * | 2017-04-19 | 2018-11-13 | 苏州宝时得电动工具有限公司 | 虚拟现实***及其控制方法 |
| CN108597030A (zh) * | 2018-04-23 | 2018-09-28 | 新华网股份有限公司 | 增强现实ar的光影效果显示方法、装置及电子设备 |
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383343A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112509151B (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
| US9036898B1 (en) | High-quality passive performance capture using anchor frames | |
| CN110163942B (zh) | 一种图像数据处理方法和装置 | |
| CN104050859A (zh) | 可交互数字化立体沙盘*** | |
| JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US20210345016A1 (en) | Computer vision based extraction and overlay for instructional augmented reality | |
| CN110926334B (zh) | 测量方法、装置、电子设备及存储介质 | |
| CN105354876A (zh) | 一种基于移动终端的实时立体试衣方法 | |
| EP3533218B1 (en) | Simulating depth of field | |
| US11663775B2 (en) | Generating physically-based material maps | |
| CN104331164A (zh) | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 | |
| CN111383343B (zh) | 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法 | |
| CN111145341A (zh) | 一种基于单光源的虚实融合光照一致性绘制方法 | |
| WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
| CN107871338B (zh) | 基于场景装饰的实时交互渲染方法 | |
| CN109712246B (zh) | 一种基于生成对抗网络技术的增强现实图像上色方法 | |
| US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
| US20230206573A1 (en) | Method of learning a target object by detecting an edge from a digital model of the target object and setting sample points, and method of augmenting a virtual model on a real object implementing the target object using the learning method | |
| US11055911B1 (en) | Method of generating surface definitions usable in computer-generated imagery to include procedurally-generated microdetail | |
| CN112435316B (zh) | 一种游戏中的防穿模方法、装置、电子设备及存储介质 | |
| CN114860072A (zh) | 一种基于单目摄像头的手势识别交互设备 | |
| CN114170409A (zh) | 一种三维模型的自动判断显示标注的方法 | |
| Tao | A VR/AR-based display system for arts and crafts museum | |
| CN114066715A (zh) | 图像风格迁移方法、装置、电子设备以及存储介质 | |
| Chang et al. | A Decision Tree based Real-time Hand Gesture Recognition Method using Kinect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |