CN116597288A - 一种注视点渲染方法、***、计算机及可读存储介质 - Google Patents
一种注视点渲染方法、***、计算机及可读存储介质 Download PDFInfo
- Publication number
- CN116597288A CN116597288A CN202310879693.5A CN202310879693A CN116597288A CN 116597288 A CN116597288 A CN 116597288A CN 202310879693 A CN202310879693 A CN 202310879693A CN 116597288 A CN116597288 A CN 116597288A
- Authority
- CN
- China
- Prior art keywords
- gaze point
- rendering
- data
- gaze
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 19
- 210000001508 eye Anatomy 0.000 claims abstract description 19
- 238000007499 fusion processing Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 64
- 238000012360 testing method Methods 0.000 claims description 48
- 238000005457 optimization Methods 0.000 claims description 33
- 238000012795 verification Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种注视点渲染方法、***、计算机及可读存储介质，该方法包括：通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。本申请能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
Description
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种注视点渲染方法、***、计算机及可读存储介质。
背景技术
随着科技的进步以及生产力的快速发展，虚拟现实技术也得到了快速的发展，现有的虚拟现实技术的基本实现方式是以计算机技术为主，利用并综合三维图形技术、多媒体技术、仿真技术、显示技术以及伺服技术等多种高科技的最新发展成果，以使人们可以产生一种身临其境的感觉。
其中，注视点渲染是虚拟现实中的一项重要技术，用于实时模拟出人眼注视场景时产生的视觉效果，对应提升画面渲染的效果。
现有技术大部分通过对场景画面中的所有像素进行均匀采样的方式来完成注视点的渲染效果，然而，此种渲染方式无法准确的模拟出人眼在观察画面的过程中所发生的注视点变化，导致渲染的逼真度较低，对应降低了用户的使用体验。
发明内容
基于此，本发明的目的是提供一种注视点渲染方法、***、计算机及可读存储介质，以解决现有技术的渲染方式无法准确的模拟出人眼在观察画面的过程中所发生的注视点变化，导致渲染逼真度较低的问题。
本发明实施例第一方面提出了一种注视点渲染方法，其中，所述方法包括：
通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
本发明的有益效果是：通过实时采集用户的眼球在观察场景图像时产生的注视点数据，并对应将该注视点数据与当前场景图像关联在一起，以生成对应的目标数据集，基于此，通过该目标数据集训练出对应的注视点预测模型，并最终通过该注视点预测模型预测出各个注视点在场景图像中的位置，就能够最终完成对各个注视点周围图像的渲染，从而不仅能够准确的查找出人眼在观察画面的过程中所产生的注视点的位置，还能够进一步对各个注视点进行渲染，从而能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
优选的，所述将所述注视点数据与所述场景图像进行关联的步骤包括：
当获取到所述注视点数据以及所述场景图像时，基于所述注视点数据实时采集每一所述场景图像中标记的注视点坐标，并根据所述注视点坐标查找出所述用户的眼球在所述场景图像中实时生成的若干所述注视点；
获取与每一所述场景图像分别对应的第一时间戳，并获取与每一所述注视点分别对应的第二时间戳；
逐一比对所述第一时间戳以及所述第二时间戳，并将时间戳相同的注视点和场景图像关联在一起，每一所述场景图像包含一个或者多个所述注视点。
优选的，所述根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型的步骤包括：
对所述目标数据集进行插值处理，以生成对应的连续且一致的时间序列数据，并对所述时间序列数据进行图像增强处理；
根据图像增强处理后的时间序列数据划分出对应的训练集、验证集以及测试集，并通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练，以生成所述注视点预测模型。
优选的，所述通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练的步骤包括：
将所述训练集输入至所述R-CNN神经网络的数据处理层中，以对所述数据处理层进行预测训练并生成第一预测结果；
将所述验证集输入至所述数据处理层中，以输出对应的第二预测结果，并将所述第一预测结果和所述第二预测结果同时输入至所述R-CNN神经网络的数据优化层中，以使所述数据优化层输出对应的优化方案；
将所述优化方案输入至所述数据处理层中，以对所述数据处理层中的初始参数进行优化处理，并将所述测试集输入至优化处理后的数据处理层中，以输出对应的测试结果；
根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练。
优选的，所述根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练的步骤包括：
计算出与所述测试结果对应的预测准确率，并实时判断所述预测准确率是否高于预设阈值；
若实时判断到所述预测准确率高于所述预设阈值，则判定所述测试结果合格，并完成对所述R-CNN神经网络的训练。
优选的，所述将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染的步骤包括：
当获取到所述注视点分布图时，根据所述注视点分布图在所述场景图像中查找出各个所述注视点分别对应的目标位置，并检测出所述场景图像中包含的全部像素点；
基于预设规则通过注视权重算法对每一所述注视点周围的像素点添加对应的渲染权重，并基于所述渲染权重完成对各个所述注视点的图像渲染。
优选的，所述预设规则为：
所述渲染权重的大小与所述像素点和与之最近的注视点之间的距离大小成反比。
本发明实施例第二方面提出了一种注视点渲染***，其中，所述***包括：
采集模块，用于通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
训练模块，用于将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
渲染模块，用于通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
其中，上述注视点渲染***中，所述训练模块具体用于：
当获取到所述注视点数据以及所述场景图像时，基于所述注视点数据实时采集每一所述场景图像中标记的注视点坐标，并根据所述注视点坐标查找出所述用户的眼球在所述场景图像中实时生成的若干所述注视点；
获取与每一所述场景图像分别对应的第一时间戳，并获取与每一所述注视点分别对应的第二时间戳；
逐一比对所述第一时间戳以及所述第二时间戳，并将时间戳相同的注视点和场景图像关联在一起，每一所述场景图像包含一个或者多个所述注视点。
其中，上述注视点渲染***中，所述训练模块还具体用于：
对所述目标数据集进行插值处理，以生成对应的连续且一致的时间序列数据，并对所述时间序列数据进行图像增强处理；
根据图像增强处理后的时间序列数据划分出对应的训练集、验证集以及测试集，并通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练，以生成所述注视点预测模型。
其中，上述注视点渲染***中，所述训练模块还具体用于：
将所述训练集输入至所述R-CNN神经网络的数据处理层中，以对所述数据处理层进行预测训练并生成第一预测结果；
将所述验证集输入至所述数据处理层中，以输出对应的第二预测结果，并将所述第一预测结果和所述第二预测结果同时输入至所述R-CNN神经网络的数据优化层中，以使所述数据优化层输出对应的优化方案；
将所述优化方案输入至所述数据处理层中，以对所述数据处理层中的初始参数进行优化处理，并将所述测试集输入至优化处理后的数据处理层中，以输出对应的测试结果；
根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练。
其中，上述注视点渲染***中，所述训练模块还具体用于：
计算出与所述测试结果对应的预测准确率，并实时判断所述预测准确率是否高于预设阈值；
若实时判断到所述预测准确率高于所述预设阈值，则判定所述测试结果合格，并完成对所述R-CNN神经网络的训练。
其中，上述注视点渲染***中，所述渲染模块具体用于：
当获取到所述注视点分布图时，根据所述注视点分布图在所述场景图像中查找出各个所述注视点分别对应的目标位置，并检测出所述场景图像中包含的全部像素点；
基于预设规则通过注视权重算法对每一所述注视点周围的像素点添加对应的渲染权重，并基于所述渲染权重完成对各个所述注视点的图像渲染。
其中，上述注视点渲染***中，所述预设规则为：
所述渲染权重的大小与所述像素点和与之最近的注视点之间的距离大小成反比。
本发明实施例第三方面提出了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上面所述的注视点渲染方法。
本发明实施例第四方面提出了一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上面所述的注视点渲染方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例提供的注视点渲染方法的流程图；
图2为本发明第三实施例提供的注视点渲染***的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例提供的注视点渲染方法，本实施例提供的注视点渲染方法能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
具体的，本实施例提供的注视点渲染方法具体包括以下步骤：
步骤S10，通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
具体的，在本实施例中，首先需要说明的是，本实施例提供的注视点渲染方法具体应用在虚拟现实技术领域，用于实时追踪用户的眼球在观察场景图像时产生的各个注视点，并基于各个注视点进行图像渲染，以对应提升场景图像的显示效果，对应提升用户的使用体验。
其中，需要指出的是，本实施例提供的场景图像是指被用户注视的图像或者视频，因此，当场景图像为图片时，则当前场景图像是静态的，对应的，当场景图像为视频或者应用程序时，则当前场景图像是动态的。
基于此，在本步骤中，需要说明的是，本步骤会首先通过现有的眼动追踪设备启用上述注视点渲染方法，具体的，该眼动追踪设备能够实时检测到用户眼球的动态变化过程，即能够实时追踪到用户的眼球。进一步的，在开始正式渲染之前，需要首先对当前眼动追踪设备进行校准，具体的，通过当前用户对当前眼动追踪设备进行校准，即每位新用户使用时，都需要进行对应的校准。更进一步的，通过校准后的眼动追踪设备就能够实时采集到用户的眼球在观察场景图像时产生的注视点数据。
步骤S20，将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
进一步的，在本步骤中，需要说明的是，由于用户的眼球在观察场景图像时是动态变化的，从而在观察的过程中会产生出多个注视点，即产生出上述注视点数据，基于此，本步骤需要实时将当前注视点数据与当前实时播放的场景图像关联在一起，以对应生成能够便于后续处理的目标数据集。
在此基础之上，就能够进一步根据当前目标数据集以及预先设置好的神经网络训练出需要的注视点预测模型，具体的，该注视点预测模型能够预测出当前场景图像中各个注视点的分布位置，以便于后续的处理。
步骤S30，通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
更进一步的，在本步骤中，需要说明的是，在实时构建出上述注视点预测模型之后，本步骤会进一步通过当前注视点预测模型输出与当前注视点数据对应的注视点分布图，具体的，通过该分布图能够获取到各个注视点的分布位置。
基于此，将当前注视点分布图与当前场景图像进行融合处理，就能够对应在当前场景图像中显示出各个注视点，在此基础之上，在当前场景图像中，以各个注视点为中心进行对应的图像渲染，从而能够对应减少图像渲染的面积，对应提升了图像的渲染效率，同时提升了用户的使用体验。
使用时，通过实时采集用户的眼球在观察场景图像时产生的注视点数据，并对应将该注视点数据与当前场景图像关联在一起，以生成对应的目标数据集，基于此，通过该目标数据集训练出对应的注视点预测模型，并最终通过该注视点预测模型预测出各个注视点在场景图像中的位置，就能够最终完成对各个注视点周围图像的渲染，从而不仅能够准确的查找出人眼在观察画面的过程中所产生的注视点的位置，还能够进一步对各个注视点进行渲染，从而能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
需要说明的是，上述的实施过程只是为了说明本申请的可实施性，但这并不代表本申请的注视点渲染方法只有上述唯一一种实施流程，相反的，只要能够将本申请的注视点渲染方法实施起来，都可以被纳入本申请的可行实施方案。
综上，本发明上述实施例提供的注视点渲染方法能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
本发明第二实施例也提供了一种注视点渲染方法，本实施例提供的注视点渲染方法与上述第一实施例提供的注视点渲染方法的不同之处在于：
具体的，在本实施例中，需要说明的是，上述将所述注视点数据与所述场景图像进行关联的步骤包括：
当获取到所述注视点数据以及所述场景图像时，基于所述注视点数据实时采集每一所述场景图像中标记的注视点坐标，并根据所述注视点坐标查找出所述用户的眼球在所述场景图像中实时生成的若干所述注视点；
获取与每一所述场景图像分别对应的第一时间戳，并获取与每一所述注视点分别对应的第二时间戳；
逐一比对所述第一时间戳以及所述第二时间戳，并将时间戳相同的注视点和场景图像关联在一起，每一所述场景图像包含一个或者多个所述注视点。
具体的，在本实施例中，需要说明的是，本实施例提供的注视点数据包含有若干个实时采集到的注视点，其中，需要指出的是，本实施例在采集每个注视点时，均会对每个注视点添加对应的时间戳，该时间戳与采集时刻相对应。同理，本实施例在播放每个场景图像时，也会对每个场景图像添加对应的时间戳，具体的，该时间戳与每个场景图像的播放时刻相对应。基于此，在通过上述注视点数据获取到若干个注视点之后，会同步获取到与当前场景图像对应的第一时间戳，以及与当前注视点对应的第二时间戳。
基于此，逐一比对当前每个第一时间戳以及当前每个第二时间戳，在此过程中，若检测到时间戳相同的注视点以及场景图像，则实时将时间戳相同的注视点以及场景图像关联在一起。另外，需要指出的是，每个场景图像中可以包含一个或者多个注视点，从而需要进行区分关联。
具体的，在本实施例中，还需要说明的是，上述根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型的步骤包括：
对所述目标数据集进行插值处理，以生成对应的连续且一致的时间序列数据，并对所述时间序列数据进行图像增强处理；
根据图像增强处理后的时间序列数据划分出对应的训练集、验证集以及测试集，并通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练，以生成所述注视点预测模型。
具体的，在本实施例中，还需要说明的是，为了能够有效的训练出需要的注视点预测模型，本实施例需要对上述目标数据集进行二次处理，具体的，由于在采集注视点数据的过程中，可能会出现数据丢失或者记录间隔不一致的情况，从而导致获取到的注视点数据是不完整的，基于此，本实施例还需要首先对当前目标数据集进行插值处理，从而能够生成对应的连续且数据格式一致的时间序列数据，同理，该时间序列数据包含有上述注视点数据以及上述场景图像。基于此，本实施例还会对当前时间序列数据进行亮度调整、对比度调整、图像翻转、旋转以及裁剪等图像增强处理，能够对应提升构建出的注视点预测模型的鲁棒性。
在完成上述时间序列数据的图像增强处理之后，此时就能够基于当前时间序列数据划分出需要的训练集、验证集以及测试集，以进一步对本实施例提供的R-CNN（Region-Convolutional Neural Networks，深度学习目标检测算法）进行对应的训练，以生成上述注视点预测模型。
另外，在本实施例中，需要说明的是，上述通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练的步骤包括：
将所述训练集输入至所述R-CNN神经网络的数据处理层中，以对所述数据处理层进行预测训练并生成第一预测结果；
将所述验证集输入至所述数据处理层中，以输出对应的第二预测结果，并将所述第一预测结果和所述第二预测结果同时输入至所述R-CNN神经网络的数据优化层中，以使所述数据优化层输出对应的优化方案；
将所述优化方案输入至所述数据处理层中，以对所述数据处理层中的初始参数进行优化处理，并将所述测试集输入至优化处理后的数据处理层中，以输出对应的测试结果；
根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练。
另外，在本实施例中，需要说明的是，本实施例提供的R-CNN神经网络具体包括数据输入层、数据处理层、数据优化层以及数据输出层，具体的，本实施例会将上述训练集通过数据输入层输入至数据处理层中，其中，刚开始训练的数据处理层中设置有初始参数，基于此，通过上述训练集对当前初始参数进行训练，以使数据输出层输出对应的第一预测结果。进一步的，通过数据输入层将上述验证集输入至当前数据处理层中，能够对应输出第二预测结果，在此基础之上，将当前第一预测结果以及第二预测结果同时输入至上述数据优化层中，从而能够使当前数据优化层根据当前第一预测结果以及第二预测结果两者之间的偏差值输出对应的优化方案。该优化方案用于优化上述初始参数。
进一步的，将当前优化方案输入至上述数据处理层中，从而能够对当前数据处理层中的初始参数进行优化处理，以完成初始参数的优化。基于此，再将上述测试集输入至优化处理后的数据处理层中，就能够输出对应的测试结果，并且本实施例能够实时根据该测试结果判断出是否完成了当前R-CNN神经网络的训练。
另外，在本实施例中，还需要说明的是，上述根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练的步骤包括：
计算出与所述测试结果对应的预测准确率，并实时判断所述预测准确率是否高于预设阈值；
若实时判断到所述预测准确率高于所述预设阈值，则判定所述测试结果合格，并完成对所述R-CNN神经网络的训练。
另外，在本实施例中，还需要说明的是，在通过上述步骤获取到需要的预测准确率之后，本实施例会立即将当前预测准确率与预设阈值进行比对，并实时判断当前预测准确率是否高于当前预设阈值，优选的，本实施例提供的预测准确率设置为95％。
进一步的，若实时判断到当前预测准确率高于当前预设阈值，则判定测试结果合格，以完成R-CNN神经网络的训练，对应的，若实时判断到当前预测准确率低于当前预设阈值，则判定测试结果不合格，并且需要重复上述测试过程，直至输出的预测准确率高于当前预设阈值，以完成R-CNN神经网络的训练。
其中，在本实施例中，需要指出的是，所述将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染的步骤包括：
当获取到所述注视点分布图时，根据所述注视点分布图在所述场景图像中查找出各个所述注视点分别对应的目标位置，并检测出所述场景图像中包含的全部像素点；
基于预设规则通过注视权重算法对每一所述注视点周围的像素点添加对应的渲染权重，并基于所述渲染权重完成对各个所述注视点的图像渲染。
其中，在本实施例中，需要指出的是，在通过上述步骤获取到需要的注视点分布图之后，就能够快速的根据当前注视点分布图在于其对应的场景图像中查找出当前各个注视点分别对应的目标位置，与此同时，同步检测出当前场景图像中包含的全部像素点。
进一步的，根据预设设置好的渲染规则，并通过预先设置好的注视权重算法对当前每个注视点周围的像素点添加对应的渲染权重，从而只需要基于各个像素点的渲染权重就能够完成对各个注视点的图像渲染。
其中，在本实施例中，需要指出的是，所述预设规则为：
所述渲染权重的大小与所述像素点和与之最近的注视点之间的距离大小成反比。
其中，在本实施例中，需要指出的是，本实施例提供的预设规则为，上述渲染权重的大小与每个像素点和与之最近的注视点之间的距离大小成反比，即像素点离与之最近的注视点的距离越大，当前像素点的渲染权重就越小，相反的，像素点离与之最近的注视点的距离越小，当前像素点的渲染权重就越大，从而能够有效的节省渲染资源，对应提升渲染效率。
需要指出的是，本发明第二实施例所提供的方法，其实现原理及产生的一些技术效果和第一实施例相同，为简要描述，本实施例未提及之处，可参考第一实施例提供的相应内容。
综上，本发明上述实施例提供的注视点渲染方法能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
请参阅图2，所示为本发明第三实施例提供的注视点渲染***，其中，所述***包括：
采集模块12，用于通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
训练模块22，用于将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
渲染模块32，用于通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
其中，上述注视点渲染***中所述训练模块22具体用于：
当获取到所述注视点数据以及所述场景图像时，基于所述注视点数据实时采集每一所述场景图像中标记的注视点坐标，并根据所述注视点坐标查找出所述用户的眼球在所述场景图像中实时生成的若干所述注视点；
获取与每一所述场景图像分别对应的第一时间戳，并获取与每一所述注视点分别对应的第二时间戳；
逐一比对所述第一时间戳以及所述第二时间戳，并将时间戳相同的注视点和场景图像关联在一起，每一所述场景图像包含一个或者多个所述注视点。
其中，上述注视点渲染***中所述训练模块22还具体用于：
对所述目标数据集进行插值处理，以生成对应的连续且一致的时间序列数据，并对所述时间序列数据进行图像增强处理；
根据图像增强处理后的时间序列数据划分出对应的训练集、验证集以及测试集，并通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练，以生成所述注视点预测模型。
其中，上述注视点渲染***中所述训练模块22还具体用于：
将所述训练集输入至所述R-CNN神经网络的数据处理层中，以对所述数据处理层进行预测训练并生成第一预测结果；
将所述验证集输入至所述数据处理层中，以输出对应的第二预测结果，并将所述第一预测结果和所述第二预测结果同时输入至所述R-CNN神经网络的数据优化层中，以使所述数据优化层输出对应的优化方案；
将所述优化方案输入至所述数据处理层中，以对所述数据处理层中的初始参数进行优化处理，并将所述测试集输入至优化处理后的数据处理层中，以输出对应的测试结果；
根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练。
其中，上述注视点渲染***中所述训练模块22还具体用于：
计算出与所述测试结果对应的预测准确率，并实时判断所述预测准确率是否高于预设阈值；
若实时判断到所述预测准确率高于所述预设阈值，则判定所述测试结果合格，并完成对所述R-CNN神经网络的训练。
其中，上述注视点渲染***中所述渲染模块32具体用于：
当获取到所述注视点分布图时，根据所述注视点分布图在所述场景图像中查找出各个所述注视点分别对应的目标位置，并检测出所述场景图像中包含的全部像素点；
基于预设规则通过注视权重算法对每一所述注视点周围的像素点添加对应的渲染权重，并基于所述渲染权重完成对各个所述注视点的图像渲染。
其中，上述注视点渲染***中所述预设规则为：
所述渲染权重的大小与所述像素点和与之最近的注视点之间的距离大小成反比。
本发明第四实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述实施例提供的注视点渲染方法。
本发明第五实施例提供了一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例提供的注视点渲染方法。
综上所述，本发明上述实施例提供的注视点渲染方法、***、计算机及可读存储介质能够大幅提升各个注视点的渲染逼真度，同时提升了场景图像的渲染效果，对应提升了用户的使用体验。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种注视点渲染方法，其特征在于，所述方法包括：
通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
2.根据权利要求1所述的注视点渲染方法，其特征在于：所述将所述注视点数据与所述场景图像进行关联的步骤包括：
当获取到所述注视点数据以及所述场景图像时，基于所述注视点数据实时采集每一所述场景图像中标记的注视点坐标，并根据所述注视点坐标查找出所述用户的眼球在所述场景图像中实时生成的若干所述注视点；
获取与每一所述场景图像分别对应的第一时间戳，并获取与每一所述注视点分别对应的第二时间戳；
逐一比对所述第一时间戳以及所述第二时间戳，并将时间戳相同的注视点和场景图像关联在一起，每一所述场景图像包含一个或者多个所述注视点。
3.根据权利要求1所述的注视点渲染方法，其特征在于：所述根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型的步骤包括：
对所述目标数据集进行插值处理，以生成对应的连续且一致的时间序列数据，并对所述时间序列数据进行图像增强处理；
根据图像增强处理后的时间序列数据划分出对应的训练集、验证集以及测试集，并通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练，以生成所述注视点预测模型。
4.根据权利要求3所述的注视点渲染方法，其特征在于：所述通过所述训练集、所述验证集以及所述测试集对R-CNN神经网络进行训练的步骤包括：
将所述训练集输入至所述R-CNN神经网络的数据处理层中，以对所述数据处理层进行预测训练并生成第一预测结果；
将所述验证集输入至所述数据处理层中，以输出对应的第二预测结果，并将所述第一预测结果和所述第二预测结果同时输入至所述R-CNN神经网络的数据优化层中，以使所述数据优化层输出对应的优化方案；
将所述优化方案输入至所述数据处理层中，以对所述数据处理层中的初始参数进行优化处理，并将所述测试集输入至优化处理后的数据处理层中，以输出对应的测试结果；
根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练。
5.根据权利要求4所述的注视点渲染方法，其特征在于：所述根据所述测试结果判断出是否完成对所述R-CNN神经网络的训练的步骤包括：
计算出与所述测试结果对应的预测准确率，并实时判断所述预测准确率是否高于预设阈值；
若实时判断到所述预测准确率高于所述预设阈值，则判定所述测试结果合格，并完成对所述R-CNN神经网络的训练。
6.根据权利要求1所述的注视点渲染方法，其特征在于：所述将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染的步骤包括：
当获取到所述注视点分布图时，根据所述注视点分布图在所述场景图像中查找出各个所述注视点分别对应的目标位置，并检测出所述场景图像中包含的全部像素点；
基于预设规则通过注视权重算法对每一所述注视点周围的像素点添加对应的渲染权重，并基于所述渲染权重完成对各个所述注视点的图像渲染。
7.根据权利要求6所述的注视点渲染方法，其特征在于：所述预设规则为：
所述渲染权重的大小与所述像素点和与之最近的注视点之间的距离大小成反比。
8.一种注视点渲染***，其特征在于，所述***包括：
采集模块，用于通过用户对眼动追踪设备进行校准，并通过校准后的眼动追踪设备实时采集所述用户的眼球在观察场景图像时产生的注视点数据；
训练模块，用于将所述注视点数据与所述场景图像进行关联，以生成对应的目标数据集，并根据所述目标数据集以及预设神经网络训练出对应的注视点预测模型；
渲染模块，用于通过所述注视点预测模型输出与所述注视点数据对应的注视点分布图，并将所述注视点分布图与所述场景图像进行融合处理，以完成对各个注视点的图像渲染。
9.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的注视点渲染方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述的注视点渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310879693.5A CN116597288B (zh) | 2023-07-18 | 2023-07-18 | 一种注视点渲染方法、***、计算机及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310879693.5A CN116597288B (zh) | 2023-07-18 | 2023-07-18 | 一种注视点渲染方法、***、计算机及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597288A true CN116597288A (zh) | 2023-08-15 |
| CN116597288B CN116597288B (zh) | 2023-09-12 |
Family
ID=87599566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310879693.5A Active CN116597288B (zh) | 2023-07-18 | 2023-07-18 | 一种注视点渲染方法、***、计算机及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597288B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378914A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于注视点信息的渲染方法及装置、***、显示设备 |
| CN112164016A (zh) * | 2020-09-23 | 2021-01-01 | 京东方科技集团股份有限公司 | 图像渲染方法及***、vr设备、装置及可读存储介质 |
| WO2021135607A1 (zh) * | 2019-12-31 | 2021-07-08 | 歌尔股份有限公司 | 一种基于神经网络的目标分类模型的优化方法、装置 |
| CN113992907A (zh) * | 2021-10-29 | 2022-01-28 | 南昌虚拟现实研究院股份有限公司 | 眼球参数校验方法、***、计算机及可读存储介质 |
| CN114816060A (zh) * | 2022-04-23 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 基于视觉追踪的用户注视点估计和精度评估方法 |
| CN115147819A (zh) * | 2022-07-07 | 2022-10-04 | 西安电子科技大学 | 基于注视点预测模型的驾驶员注视点预测方法 |
| CN115457188A (zh) * | 2022-09-19 | 2022-12-09 | 遥在(山东)数字科技有限公司 | 一种基于注视点的3d渲染显示方法及*** |
-
2023
- 2023-07-18 CN CN202310879693.5A patent/CN116597288B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378914A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于注视点信息的渲染方法及装置、***、显示设备 |
| WO2021135607A1 (zh) * | 2019-12-31 | 2021-07-08 | 歌尔股份有限公司 | 一种基于神经网络的目标分类模型的优化方法、装置 |
| CN112164016A (zh) * | 2020-09-23 | 2021-01-01 | 京东方科技集团股份有限公司 | 图像渲染方法及***、vr设备、装置及可读存储介质 |
| CN113992907A (zh) * | 2021-10-29 | 2022-01-28 | 南昌虚拟现实研究院股份有限公司 | 眼球参数校验方法、***、计算机及可读存储介质 |
| CN114816060A (zh) * | 2022-04-23 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 基于视觉追踪的用户注视点估计和精度评估方法 |
| CN115147819A (zh) * | 2022-07-07 | 2022-10-04 | 西安电子科技大学 | 基于注视点预测模型的驾驶员注视点预测方法 |
| CN115457188A (zh) * | 2022-09-19 | 2022-12-09 | 遥在(山东)数字科技有限公司 | 一种基于注视点的3d渲染显示方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 戴帅凡;田丰;: "虚拟现实影视渲染优化技术现状概述", 现代电影技术, no. 04, pages 28 - 31 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597288B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104851112B (zh) | 一种基于数据集补偿的运动目标检测跟踪算法的评估方法 | |
| CN111639744A (zh) | 学生模型的训练方法、装置及电子设备 | |
| US20190171280A1 (en) | Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content | |
| Conati et al. | Further Results on Predicting Cognitive Abilities for Adaptive Visualizations. | |
| KR20170104846A (ko) | 가상현실 콘텐츠 분석 방법 및 장치 | |
| Jiang et al. | Quality assessment for virtual reality technology based on real scene | |
| CN116843196A (zh) | 一种应用于军事训练的智能训练方法及*** | |
| WO2022242203A1 (zh) | 纺织品虚拟触觉评价与预测方法及*** | |
| CN116597288B (zh) | 一种注视点渲染方法、***、计算机及可读存储介质 | |
| KR20170105905A (ko) | 가상현실 콘텐츠 분석 방법 및 장치 | |
| CN109102486A (zh) | 基于机器学习的表面缺陷检测方法及装置 | |
| CN116994084A (zh) | 区域入侵检测模型训练方法及区域入侵检测方法 | |
| CN111275642A (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| Gomes et al. | A QoE evaluation of an immersive virtual reality autonomous driving experience | |
| KR101717399B1 (ko) | 주관적 화질 점수 자동 측정 시스템 및 방법과 이에 관한 기록 매체 | |
| CN115063711A (zh) | 一种计算机应用教学装置 | |
| Zováthi et al. | ST-DepthNet: A spatio-temporal deep network for depth completion using a single non-repetitive circular scanning Lidar | |
| KR102256004B1 (ko) | 딥러닝을 이용한 단백질 용매화 자유에너지 예측 장치 및 그 방법 | |
| CN109166182B (zh) | Ar模拟处理方法、装置、电子设备及可读存储介质 | |
| CN112633065A (zh) | 一种基于数据增强的人脸检测方法、***、存储介质及终端 | |
| CN117237358B (zh) | 一种基于度量学习的立体图像质量评价方法 | |
| KR102669002B1 (ko) | 가상현실 콘텐츠 멀미 및 어지러움 예측 장치 및 방법 | |
| CN115761871B (zh) | 基于眼动检测的检测图像生成方法、装置、设备及介质 | |
| CN113283402B (zh) | 一种差分式二维注视点检测方法及装置 | |
| CN114748872B (zh) | 一种基于信息融合的游戏渲染更新方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |