CN111583141B - 一种虚拟现实图像增强方法、装置、设备及存储介质 - Google Patents
一种虚拟现实图像增强方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111583141B CN111583141B CN202010365448.9A CN202010365448A CN111583141B CN 111583141 B CN111583141 B CN 111583141B CN 202010365448 A CN202010365448 A CN 202010365448A CN 111583141 B CN111583141 B CN 111583141B
- Authority
- CN
- China
- Prior art keywords
- image
- virtual reality
- model
- gan network
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims description 22
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，从而极大改善虚拟现实设备显示图像的质量。本发明还提供了具有同样效果的装置、强设备以及存储介质。
Description
技术领域
本发明涉及虚拟现实技术领域，特别是涉及一种虚拟现实图像增强方法、一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质。
背景技术
随着技术和产业生态的快速发展，虚拟现实产业规模也不断增长，世界各国纷纷出台政策鼓励和推动虚拟现实产业的发展，因此越来越多的企业开始涉足虚拟现实行业，加大对虚拟现实产业的投资，虚拟现实已经逐渐应用到医疗、工程管理、建筑设计、娱乐教育等多个领域，比如辅助医疗，工业检测、户型体验、游戏体验等，发展潜力巨大。
但是现在很多虚拟现实设备的显示效果并不理想，比如图像视频不够清晰，用户需要花费一番精力才能看清和体验，舒适度较差。所以如何生成高质量的虚拟现实设备所显示的图像是本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种虚拟现实图像增强方法，可以极大改善虚拟现实设备显示图像的质量；本发明的另一目的在于提供一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质，可以极大改善虚拟现实设备显示图像的质量。
为解决上述技术问题，本发明提供一种虚拟现实图像增强方法，包括：
获取虚拟现实设备中用于显示的第一图像；
将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；
将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；
通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；
将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；
将所述第四图像返回所述虚拟现实设备进行显示。
可选的，所述复原模型为反卷积生成模型。
可选的，在所述将所述相似度数据与所述第三图像输入所述GAN网络增强模型之后，还包括：
通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。
可选的，在所述通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强之后，还包括：
通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样本集；其中所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像；
将所述正负样本集输入所述GAN网络增强模型中的判别器，以得到所述GAN网络增强模型的训练样本集。
可选的，在所述得到所述GAN网络增强模型的训练样本集之后，还包括：
将所述训练样本集输入所述GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
将所述虚拟环境图像返回所述虚拟现实设备进行显示。
可选的，所述获取虚拟现实设备中用于显示的第一图像包括：
通过边缘服务器获取虚拟现实设备中用于显示的第一图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
通过所述边缘服务器将所述第四图像返回所述虚拟现实设备进行显示。
可选的，所述获取虚拟现实设备中用于显示的第一图像包括：
通过5G网络获取虚拟现实设备中用于显示的第一图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
通过所述5G网络将所述第四图像返回所述虚拟现实设备进行显示。
本发明还提供了一种虚拟现实图像增强装置，包括：
获取模块：用于获取虚拟现实设备中用于显示的第一图像；
第二图像生成模块：用于将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；
第三图像生成模块：用于将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；
相似度数据生成模块：用于通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；
第四图像生成模块：用于将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；
传输模块：用于将所述第四图像返回所述虚拟现实设备进行显示。
本发明还提供了一种虚拟现实图像增强设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任一项所述虚拟现实图像增强方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述虚拟现实图像增强方法的步骤。
本发明所提供的一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像；将第四图像返回虚拟现实设备进行显示。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，而通过复原模型以及图像语义识别模型对GAN网络增强模型进行辅助，可以使得GAN网络增强模型生成质量更高的的图像返回到虚拟现实设备进行显示，从而极大改善虚拟现实设备显示图像的质量。
本发明还提供了一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种虚拟现实图像增强方法的流程图；
图2为本发明实施例所提供的一种具体的虚拟现实图像增强方法的流程图；
图3为本发明实施例所提供的一种虚拟现实图像增强装置的结构框图；
图4为本发明实施例所提供的一种虚拟现实图像增强设备的结构框图。
具体实施方式
本发明的核心是提供一种虚拟现实图像增强方法。在现有技术中，虚拟现实的很多技术还不够成熟，除了三维图形生成技术相对成熟，其他比如动态环境建模技术、智能语音虚拟现实建模等技术还处于快速发展阶段，体验效果不佳。而虚拟现实技术的研发成本一般较高，产品在软件和硬件方面都不够成熟，企业往往会选择低成本的方式进行尝试，因此虚拟现实的整体发展比较缓慢。目前，虚拟现实产品主要是以头盔和智能眼镜两类为主，多为感官体验，也就是视觉和听觉驱动，对图像视频技术的要求比较高。但是现在很多虚拟现实设备的显示效果并不理想，比如图像视频不够清晰，用户需要花费一番精力才能看清和体验，舒适度较差。
而本发明所提供的一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像；将第四图像返回虚拟现实设备进行显示。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，而通过复原模型以及图像语义识别模型对GAN网络增强模型进行辅助，可以使得GAN网络增强模型生成质量更高的图像返回到虚拟现实设备进行显示，从而极大改善虚拟现实设备显示图像的质量。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种虚拟现实图像增强方法的流程图。
参见图1，在本发明实施例中，虚拟现实图像增强方法包括：
S101：获取虚拟现实设备中用于显示的第一图像。
在本步骤中，会获取虚拟现实设备原本用于显示的第一图像，该第一图像属于原始图像，即未经过修复增强的图像。该第一图像通常情况下是模糊、缺失或者是图像比例不协调的图像，该第一图像在颜色、纹理、亮度、对比度、饱和度、清晰度、平滑度等特征中至少有一项不符合标准，被定义为低质量图像。有关虚拟现实设备的具体结构可以参考现有技术，在此不再进行赘述。
具体的，在本发明实施例中，可以通过边缘服务器获取上述第一图像，即本步骤可以为：通过边缘服务器获取虚拟现实设备中用于显示的第一图像，以通过边缘服务器提升图像的获取速度。具体的，在本发明实施例中，可以通过5G网络传输上述第一图像，即本步骤可以为：通过5G网络获取虚拟现实设备中用于显示的第一图像，以通过边缘服务器提升图像的传输速度。
S102：将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像。
在本步骤中，会将S101中获取的第一图像传输进GAN网络增强模型，以通过GAN网络增强模型对上述第一图像进行修复以及增强，从而得到增强后的第二图像。上述GAN网络增强模型通常由判别器以及生成器构成，其中判别器负责修复前后的图像对比判别，生成器负责生成最终需要的图像。有关判别器、生成器以及GAN网络增强模型的具体结构可以参考现有技术，在此不再进行赘述。
S103：将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像。
在本步骤中，会预先建立一复原模型，该复原模型同样可以实现对第一图像的初步复原。在本步骤中，会将第一图像输入到该复原模型，以得到通过该复原模型除服复原的第三图像。具体的，在本发明实施例中该复原模型可以为反卷积生成模型，即本步骤具体可以通过反卷积生成模型对第一图像进行初步修复，以得到由反卷积生成模型修复的第三图像。有关反卷积生成模型的具体结构可以参考现有技术，在此不再进行赘述。
当然，在本发明实施例中还可以选用其他结构的神经网络作为复原模型，只要能对第一图像进行修正即可，在本发明实施例中不做具体限定。需要说明的是，本步骤与上述S102可以并行的执行，也可以是在S102之后或之前执行均可，在本发明实施例中不做具体限定。
S104：通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据。
在本发明实施例中，会预先建立一图像语义识别模型，有关图像语义识别模型的具体结构可以参考现有技术，在此不再进行赘述。在本步骤中，会通过图像语义识别模型对第二图像以及第三图像进行识别，具体是识别出第二图像与第三图像之间的语义相似度，以生成对应第二图像的相似度数据。该相似度数据可以理解为第二图像与第三图像之间的关联数据，通过第二图像、第三图像以及相似度数据中的任意两个参数，均可以得到第三个参数。
具体的在本步骤中，通常还会检测第二图像的失真度，以判别仅仅通过GAN网络增强模型一次生成的第二图像，与实际需要的图像相比，之间的差距为多少。若该失真度过大，通常需要通过GAN网络增强模型重新生成一新的第二图像，并判别其失真度，以获取具有较低失真度的第二图像。
S105：将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像。
在本步骤中，具体会将相似度数据与第三图像输入GAN网络增强模型，从而使得GAN网络增强模型可以结合上述第二图像以及第三图像，即结合自身对图像的修复效果以及复原模型对图像的修复效果，进一步对输入的图像进行优化，从而得到修复效果更好，更加接近于真实情况的第四图像。
S106：将第四图像返回虚拟现实设备进行显示。
在本步骤中，会将S105生成的第四图像返回至虚拟现实设备，以使得虚拟现实设备具体显示该第四图像而非原始的第一图像，从而极大改善虚拟现实设备显示图像的质量。
具体的，在本发明实施例中，可以通过边缘服务器传输上述第四图像，即本步骤可以为：通过所述边缘服务器将所述第四图像返回所述虚拟现实设备进行显示，以通过边缘服务器提升图像的传输速度。具体的，在本发明实施例中，可以通过5G网络传输上述第四图像，即本步骤可以为：通过所述5G网络将所述第四图像返回所述虚拟现实设备进行显示，以通过边缘服务器提升图像的传输速度。
本发明实施例所提供的一种虚拟现实图像增强方法，包括获取虚拟现实设备中用于显示的第一图像；将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像；将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像；通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据；将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像；将第四图像返回虚拟现实设备进行显示。通过GAN网络增强模型可以对从虚拟现实设备中获取的图像进行增强修复，而通过复原模型以及图像语义识别模型对GAN网络增强模型进行辅助，可以使得GAN网络增强模型生成质量更高的的图像返回到虚拟现实设备进行显示，从而极大改善虚拟现实设备显示图像的质量。
有关本发明所提供的一种虚拟现实图像增强方法的具体内容将在下述发明实施例中做详细介绍。
请参考图2，图2为本发明实施例所提供的一种具体的虚拟现实图像增强方法的流程图。
参见图2，在本发明实施例中，虚拟现实图像增强方法包括：
S201：获取虚拟现实设备中用于显示的第一图像。
S202：将第一图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应第一图像的第二图像。
S203：将第一图像输入复原模型，以通过复原模型生成对应第一图像的第三图像。
S204：通过图像语义识别模型检测第二图像与第三图像的语义相似度，以生成对应第二图像的相似度数据。
S205：将相似度数据与第三图像输入GAN网络增强模型，以通过GAN网络增强模型生成对应的第四图像。
上述S201至S205与上述发明实施例中S101至S105基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。
S206：通过GAN网络增强模型对第四图像进行预设次数的迭代增强。
在本步骤中，具体可以将第四图像重新输入GAN网络增强模型，通过GAN网络增强模型中的判别器对第四图像进行判别，判别该第四图像的亮度、对比度、饱和度、清晰度等多个特征是否符合标准；然后通过GAN网络增强模型中的生成器根据该判别结果对第四图像进行修复。即通过对第四图像进行对第四图像进行迭代增强，以得到修复效果更好的第四图像。具体的，在本发明实施例中通常只会对第四图像进行预设次数的迭代增强，以避免过多次对第四图像进行修复而浪费大量时间。
S207：通过预设时间内连续生成的多个第四图像以及对应的第一图像建立正负样本集。
在本发明实施例中，所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像。
在本步骤中，会将修复后的第四图像与其对应的第一图像构成一正负样本，该正负样本中的正样本为第四图像，而负样本为第一图像。在本步骤中，具体会收集预设时间内连续生成的多个第四图像以及对应的第一图像，将对应的第四图像以及第一图像构成一对正负样本，将多个正负样本构成一正负样本集，以便厚度步骤中通过该正负样本集生成训练样本。
S208：将正负样本集输入GAN网络增强模型中的判别器，以得到GAN网络增强模型的训练样本集。
在本步骤中，具体会将上述正负样本集输入GAN网络增强模型，通过GAN网络增强模型中的判别器对正负样本集中的各个正负样本进行判别，比如通过判别器判别同一对正负样本的图像颜色质量、图像纹理质量等，之后通过向GAN网络增强模型输入相关函数所需参数，可以得到对应的训练样本和生成函数，而多个训练样本可以构成训练样本集。通过构建训练样本集可以为后续类似图像的训练增强提供封边，减少后续训练的工作量，加快后续最终传输会虚拟现实设备图像的生成速度，从而降低图像延迟。
S209：将训练样本集输入GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像。
在本步骤中，具体会通过GAN网络增强模型中的生成器根据上述训练样本集极性训练，从而得到多张连续的图像，该多张图像可以构成一高质量的虚拟环境，即虚拟环境图像。需要说明的是，该虚拟环境图像通常是由多张高质量、连续的、经过多次迭代增强而生成的第四图像所构成，上述构建训练样本集的过程也相当于通过GAN网络增强模型进一步的对第四图像进行迭代增强，并通过多张连续的第四图像构成一高质量的虚拟环境。
S210：将虚拟环境图像返回虚拟现实设备进行显示。
在本步骤中，具体是将S209中生成的虚拟环境图像返回虚拟现实设备进行显示，使得虚拟现实设备可以显示出高质量的虚拟环境。本步骤的其余内容与上述发明实施例中S106基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。
本发明实施例所提供的一种虚拟现实图像增强方法，通过GAN网络增强模型对第四图像进行多次迭代增强，可以进一步提升第四图像的质量；通过构建训练样本集可以有助于减少后续对GAN网络增强模型进行类似图像训练所需的时间。
下面对本发明实施例所提供的一种虚拟现实图像增强装置进行介绍，下文描述的虚拟现实图像增强装置与上文描述的虚拟现实图像增强方法可相互对应参照。
图3为本发明实施例所提供的一种虚拟现实图像增强装置的结构框图，参照图3，虚拟现实图像增强装置可以包括：
获取模块100：用于获取虚拟现实设备中用于显示的第一图像。
第二图像生成模块200：用于将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像。
第三图像生成模块300：用于将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像。
相似度数据生成模块400：用于通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据。
第四图像生成模块500：用于将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像。
传输模块600：用于将所述第四图像返回所述虚拟现实设备进行显示。
作为优选的，在本发明实施例中，所述复原模型为反卷积生成模型。
作为优选的，在本发明实施例中，还包括：
迭代模块：用于通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。
作为优选的，在本发明实施例中，还包括：
正负样本集生成模块：用于通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样本集；其中所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像。
训练样本集生成模块：用于将所述正负样本集输入所述GAN网络增强模型中的判别器，以得到所述GAN网络增强模型的训练样本集。
作为优选的，在本发明实施例中，还包括：
虚拟环境图像生成模块：用于将所述训练样本集输入所述GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像。
所述传输模块600具体用于：
将所述虚拟环境图像返回所述虚拟现实设备进行显示。
本实施例的虚拟现实图像增强装置用于实现前述的虚拟现实图像增强方法，因此虚拟现实图像增强装置中的具体实施方式可见前文中虚拟现实图像增强方法的实施例部分，例如，获取模块100，第二图像生成模块200，第三图像生成模块300，相似度数据生成模块400，第四图像生成模块500，传输模块600分别用于实现上述虚拟现实图像增强方法中步骤S101，S102，S103，S104，S105以及S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种虚拟现实图像增强设备进行介绍，下文描述的虚拟现实图像增强设备与上文描述的虚拟现实图像增强方法以及虚拟现实图像增强装置可相互对应参照。
请参考图4，图4为本发明实施例所提供的一种虚拟现实图像增强设备的结构框图。
参照图4，该虚拟现实图像增强设备可以包括处理器11和存储器12。
所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的虚拟现实图像增强方法。
本实施例的虚拟现实图像增强设备中处理器11用于安装上述发明实施例中所述的虚拟现实图像增强装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的虚拟现实图像增强方法。因此虚拟现实图像增强设备中的具体实施方式可见前文中的虚拟现实图像增强方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种虚拟现实图像增强方法。其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种虚拟现实图像增强方法、一种虚拟现实图像增强装置、一种虚拟现实图像增强设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种虚拟现实图像增强方法，其特征在于，包括：
获取虚拟现实设备中用于显示的第一图像；
将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；
将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；
通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；
将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；
将所述第四图像返回所述虚拟现实设备进行显示。
2.根据权利要求1所述的方法，其特征在于，所述复原模型为反卷积生成模型。
3.根据权利要求2所述的方法，其特征在于，在所述将所述相似度数据与所述第三图像输入所述GAN网络增强模型之后，还包括：
通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强。
4.根据权利要求3所述的方法，其特征在于，在所述通过所述GAN网络增强模型对所述第四图像进行预设次数的迭代增强之后，还包括：
通过预设时间内连续生成的多个所述第四图像以及对应的第一图像建立正负样本集；其中所述正负样本集包括多个正负样本，任一所述正负样本中的正样本为一所述第四图像，负样本为对应的所述第一图像；
将所述正负样本集输入所述GAN网络增强模型中的判别器，以得到所述GAN网络增强模型的训练样本集。
5.根据权利要求4所述的方法，其特征在于，在所述得到所述GAN网络增强模型的训练样本集之后，还包括：
将所述训练样本集输入所述GAN网络增强模型中的生成器，以得到由多张图像所形成的虚拟环境图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
将所述虚拟环境图像返回所述虚拟现实设备进行显示。
6.根据权利要求1所述的方法，其特征在于，所述获取虚拟现实设备中用于显示的第一图像包括：
通过边缘服务器获取虚拟现实设备中用于显示的第一图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
通过所述边缘服务器将所述第四图像返回所述虚拟现实设备进行显示。
7.根据权利要求1所述的方法，其特征在于，所述获取虚拟现实设备中用于显示的第一图像包括：
通过5G网络获取虚拟现实设备中用于显示的第一图像；
所述将所述第四图像返回所述虚拟现实设备进行显示包括：
通过所述5G网络将所述第四图像返回所述虚拟现实设备进行显示。
8.一种虚拟现实图像增强装置，其特征在于，包括：
获取模块：用于获取虚拟现实设备中用于显示的第一图像；
第二图像生成模块：用于将所述第一图像输入GAN网络增强模型，以通过所述GAN网络增强模型生成对应所述第一图像的第二图像；
第三图像生成模块：用于将所述第一图像输入复原模型，以通过所述复原模型生成对应所述第一图像的第三图像；
相似度数据生成模块：用于通过图像语义识别模型检测所述第二图像与所述第三图像的语义相似度，以生成对应所述第二图像的相似度数据；
第四图像生成模块：用于将所述相似度数据与所述第三图像输入所述GAN网络增强模型，以通过所述GAN网络增强模型生成对应的第四图像；
传输模块：用于将所述第四图像返回所述虚拟现实设备进行显示。
9.一种虚拟现实图像增强设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述虚拟现实图像增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述虚拟现实图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365448.9A CN111583141B (zh) | 2020-04-30 | 2020-04-30 | 一种虚拟现实图像增强方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010365448.9A CN111583141B (zh) | 2020-04-30 | 2020-04-30 | 一种虚拟现实图像增强方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583141A CN111583141A (zh) | 2020-08-25 |
| CN111583141B true CN111583141B (zh) | 2023-05-30 |
Family
ID=72127641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010365448.9A Active CN111583141B (zh) | 2020-04-30 | 2020-04-30 | 一种虚拟现实图像增强方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583141B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819716B (zh) * | 2021-01-29 | 2023-06-09 | 西安交通大学 | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 |
| CN114418005B (zh) * | 2022-01-21 | 2022-09-20 | 杭州碧游信息技术有限公司 | 基于gan网络的游戏地图自动生成方法、装置、介质及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570358A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
-
2020
- 2020-04-30 CN CN202010365448.9A patent/CN111583141B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570358A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
| WO2020048271A1 (zh) * | 2018-09-04 | 2020-03-12 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 黄鐄;陶海军;王海峰.条件生成对抗网络的低照度图像增强方法.中国图象图形学报.2019,(12),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583141A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583141B (zh) | 一种虚拟现实图像增强方法、装置、设备及存储介质 | |
| CN111369299A (zh) | 识别的方法、装置、设备及计算机可读存储介质 | |
| CN110728636A (zh) | 一种基于生成式对抗网络的蒙特卡洛渲染图去噪模型、方法及装置 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN110782448A (zh) | 渲染图像的评价方法及装置 | |
| CN113505854A (zh) | 一种人脸图像质量评价模型构建方法、装置、设备及介质 | |
| CN114492831A (zh) | 联邦学习模型的生成方法及其装置 | |
| CN113886641A (zh) | 数字人生成方法、装置、设备及介质 | |
| CN109741315B (zh) | 一种基于深度强化学习的无参考图像质量客观评价方法 | |
| CN114359269A (zh) | 基于神经网络的虚拟食品盒缺陷生成方法及*** | |
| CN111008329A (zh) | 基于内容分类的页面内容推荐方法及装置 | |
| CN111275642B (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| CN108108299B (zh) | 一种用户界面测试方法及装置 | |
| CN115880111B (zh) | 基于图像的虚拟仿真实训课堂教学管理方法及*** | |
| CN111079528A (zh) | 一种基于深度学习的图元图纸校核方法及*** | |
| CN107844777B (zh) | 用于生成信息的方法和装置 | |
| CN111967276B (zh) | 翻译质量评估方法及装置、电子设备、存储介质 | |
| CN111428130B (zh) | 一种知识蒸馏过程中增强文本数据的方法及装置 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN116264606A (zh) | 用于处理视频的方法、设备和计算机程序产品 | |
| CN115345813A (zh) | 一种结合显著边缘特性和全局特性的无参考图像模糊质量评价方法 | |
| CN110689542A (zh) | 一种基于多级卷积神经网络的人像分割处理方法及装置 | |
| Jain et al. | Simulation and rendering of pitting corrosion | |
| CN112990304B (zh) | 一种适用于电力场景的语义分析方法及*** | |
| CN117745680A (zh) | 基于大型视觉语言模型的异常检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230506 Address after: 250098 building S02, No. 1036, Gaoxin Inspur Road, Jinan, Shandong Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd. Address before: 250104 1st floor, R & D building, 2877 Kehang Road, Suncun Town, high tech Zone, Jinan City, Shandong Province Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |