CN114549927A - 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法 - Google Patents

特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法 Download PDF

Info

Publication number
CN114549927A
CN114549927A CN202210091712.3A CN202210091712A CN114549927A CN 114549927 A CN114549927 A CN 114549927A CN 202210091712 A CN202210091712 A CN 202210091712A CN 114549927 A CN114549927 A CN 114549927A
Authority
CN
China
Prior art keywords
virtual
detection network
map
feature detection
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210091712.3A
Other languages
English (en)
Inventor
王峻峰
李旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210091712.3A priority Critical patent/CN114549927A/zh
Publication of CN114549927A publication Critical patent/CN114549927A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法，包括：获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。本发明利用特征检测网络，能够以单目图像作为输入，同时进行相机位姿求解和深度图预测，提高增强现实***处理流程的效率，降低***对硬件的要求。

Description

特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法
技术领域
本发明增强现实技术领域，尤其涉及特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法。
背景技术
伴随着增强现实技术的发展，其在制造、教育、医疗、娱乐等各行业应用越来越广泛。同时,随着硬件设备的发展，例如头戴式眼镜、移动式平板的普及，也促进了增强现实技术的应用。这使得对增强现实技术提出了，适应性更广泛、时效性更高、精确度更高的要求。现有的增强现实注册跟踪和虚实遮挡处理，往往需要通过不同算法进行分开处理，同时依赖多种传感器相配合。这种方法不仅造成了硬件成本较高，时效性差的特点，还存在精确度和稳定性低的问题。综上，如何提高增强现实注册跟踪和虚实遮挡处理速度、精度和稳定性成为了增强现实应用过程中的关键难点。
随着深度学习技术的发展，卷积神经网络在图像分类和对象识别等任务上，具有十分大的优势。在增强现实领域，深度学习方法也开始逐渐分别应用到增强现实注册跟踪和虚实遮挡过程中。目前基于深度学习的增强现实注册跟踪方法，主要是通过神经网络，采用全连接层直接回归计算相机或真实对像的6D位姿实现。这种利用神经网络直接回归6D参数，存在精度低时效性差的缺点。因此，如何进行准确、高效且实用的增强现实应用是亟待解决的问题。
发明内容
有鉴于此，有必要提供及一种特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法，用以克服现有技术中增强现实应用方法不够高效准确的问题。
为了解决上述技术问题，本发明提供一种特征检测网络训练，包括：
获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；
根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；
根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。
进一步地，在所述获取包含标注信息的单目图像训练样本，还包括：
针对所述每个单目图像，选取若干相同的关键点；
将所述若干相同的关键点转化为所述每个单目图像对应的数值矩阵，根据所述数值矩阵确定所述实际关键点热图；
采集所述每个单目图像的原始深度图像，并进行填充，确定所述实际深度图；
对所述每个单目图像进行图像变换，根据变换后的单目图像、所述实际关键点热图和所述实际深度图进行相应的变换，构建所述单目图像训练样本的增强数据。
进一步地，所述根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值，包括：
将所述单目图像训练样本输入至所述特征检测网络，确定所述每个单目图像对应的预测关键点热图和预测深度图；
根据所述预测关键点热图和所述实际关键点热图之间的误差以及所述预测深度图和所述实际深度图之间的误差，确定所述损失函数。
进一步地，所述特征检测网络的网络结构包括依次连接的输入层、主干特征提取层、反卷积层，以及分别与反卷积层连接的第一卷积输出层和第二卷积输出层，其中：
所述输入层，用于获取输入的所述每个单目图像；
所述主干特征提取层，用于对所述每个单目图像采用softpool进行池化操作，并加入自注意力机制模块，输出主干特征图；
所述反卷积层，用于对所述主干特征图进行反卷积解码操作，输出反卷积特征图；
所述第一卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为热力图估计的所述预测关键点热图；
所述第二卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为深度图估计的所述预测深度图。
本发明还提供一种增强现实注册跟踪方法，包括：
获取待测单目图像；
将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络训练方法确定；
对所述预测关键点热图中的关键点坐标值进行缩放处理，确定所述关键点坐标值对应的空间坐标值。
进一步地，所述对所述预测关键点热图中的关键点坐标值进行缩放处理，确定所述关键点坐标值对应的空间坐标值，包括：
将所述预测关键点热图中的最大值的坐标，作为所述关键点坐标值；
对所述关键点坐标值进行缩放处理，得到对应的关键点图像坐标值，确定所述关键点坐标值对应的所述空间坐标值；
根据所述关键点图像坐标值和所述空间坐标值，采用透视投影求解，确定真实相机对应的旋转矩阵和平移矩阵。
本发明还提供一种增强现虚实遮挡处理方法，包括：
获取待测单目图像；
将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图和预测深度图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络的训练方法确定；
根据所述预测关键点热图，完成增强现实注册跟踪，确定虚拟场景的虚拟深度图；
根据所述虚拟深度图和所述预测深度图，确定虚实融合图像。
进一步地，所述根据所述预测关键点热图，确定虚拟深度图，包括：
根据所述预测关键点热图，确定真实相机对应的旋转矩阵和平移矩阵，其中，所述旋转矩阵和所述平移矩阵根据如上所述的增强现实注册跟踪方法确定；
将所述旋转矩阵和所述平移矩阵赋值给虚拟相机，并通过所述虚拟相机对虚拟模型进行渲染绘制；
将每个像素点在所述虚拟模型的表面到所述虚拟相机之间的距离，作为所述每个像素点对应的虚拟深度值，其中，所述每个像素点对应的虚拟深度值构成所述虚拟深度图。
进一步地，所述根据所述虚拟深度图和所述预测深度图，确定虚实融合图像，包括：
根据所述虚拟深度图，确定虚拟场景对应的每个像素点对应的虚拟深度值；
根据所述预测深度图，确定真实场景对应的每个像素点对应的预测深度值；
遍历所述每个像素点，根据所述虚拟深度值和所述预测深度值，确定所述每个像素点的需要填充的像素，完成虚实遮挡处理。
进一步地，所述遍历所述每个像素点，根据所述虚拟深度值和所述预测深度值，确定所述每个像素点需要填充的像素，完成虚实遮挡处理，包括：
遍历所述每个像素点，将所述虚拟深度值和所述预测深度值进行比较，将比较得出的最小值对应的像素点填充所述虚实融合图像，完成虚实遮挡处理。
与现有技术相比，本发明的有益效果包括：在特征检测网络训练方法中，首先，利用每个单目图像对应的实际关键点热图和实际深度图，构建单目图像训练样本，对单目图像训练样本进行有效的获取；然后，通过实际关键点热图和实际深度图，构建相应的损失函数，对特征检测网络进行训练，有效挖掘单目图像与实际关键点热图、实际深度图之间的对应关联；最后，利用损失函数，对特征检测网络进行训练至收敛，得到训练完备的特征检测网络，后续利用该特征检测网络，即可快速得到单目图像对应预测的预测关键点热图和预测深度图。在增强现实注册跟踪方法中，利用训练完备的特征检测网络对待测单目图像进行预测对应的预测关键点热图，并根据预测关键点热图中的关键点坐标值进行缩放处理，高效得到每一个关键点图像坐标值对应的空间坐标值，捕捉图像坐标和空间坐标的相对关系，进行有效的映射，从而实现注册跟踪的快速性和准确性。在增强现虚实遮挡处理方法中，首先，对待测单目图像进行有效的获取；利用训练完备的特征检测网络，对待测单目图像进行预测，得到相应的预测深度图；最后，结合虚拟深度图和预测深度图两方面的深度信息，判断虚实融合图像每个像素点需要填充的像素值，综合得到最终虚实融合图像，保证虚实遮挡处理的准确性。综上，本发明利用特征检测网络，能够以单目图像作为输入，同时进行相机跟踪注册和虚实遮挡处理，提高增强现实***处理流程的效率，降低***对硬件的要求。
附图说明
图1为本发明提供的特征检测网络训练方法一实施例的流程示意图；
图2为本发明提供的图1中步骤S101之前构建单目图像训练样本一实施例的流程示意图；
图3为本发明提供的图1中步骤S102一实施例的流程示意图；
图4为本发明提供的特征检测网络一实施例的结构示意图；
图5为本发明提供的增强现实注册跟踪方法一实施例的流程示意图；
图6为本发明提供的图5步骤S503中一实施例的流程示意图；
图7为本发明提供的增强现虚实遮挡处理方法一实施例的流程示意图；
图8为本发明提供的图7中步骤S703一实施例的流程示意图；
图9为本发明提供的图7中步骤S704一实施例的流程示意图；
图10为本发明提供的特征检测网络训练装置一实施例的结构示意图；
图11为本发明提供的增强现实注册跟踪装置一实施例的结构示意图；
图12为本发明提供的增强现虚实遮挡处理装置一实施例的结构示意图；
图13为本发明提供的电子设备一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明的描述中，提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可以与其它实施例相结合。
本发明提供了一种特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法，利用特征检测网络对单目图像进行两方面的信息处理，预测对应的深度信息和关键点信息，为进一步提高增强现实的准确性和高效性提供了新思路。
在实施例描述之前，对相关词语进行释义：
增强现实技术：增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动；
增强现实注册跟踪：三维跟踪注册是对现实场景中的图像或物体进行跟踪与定位跟踪：***在真实场景中根据目标位置的变化来实时获取传感器位姿，并按照使用者的当前视角重新建立空间坐标系并将虚拟场景渲染到真实环境中准确位置的过程叫做跟踪。进一步地，注册跟踪技术是增强现实***的核心技术，也是影响增强现实时效性和功能性的关键技术，同时该项技术的不成熟也在第一程度上阻碍着增强现实技术的发展与完善，注册跟踪技术是一种能高效地快速地将虚拟的世界与显示的世界精确对齐的方法，可以很好地促进虚实场景的完美结合，虚拟世界有其三维坐标系，现实世界也有其三维坐标系，因而要将两个不同的坐标系对应起来，就需要找到它们之间的转换关系，而找到其转换关系的过程称为注册；
增强现实虚实遮挡：在虚拟现实技术中，如若画面中的真实物体和虚拟物体之间的遮挡关系不正确，不仅会使用户出现位置上的判断错误，而且会出现视觉疲劳，甚至在一些重要的领域会导致严重的后果，比如当A物体出现在B物体的前方时，错误的遮挡关系会让用户觉得A物体出现在B物体的后方，因而虚实遮挡需反映准确的深度信息，对于提高增强现实的真实感觉起到了很重要的作用。
基于上述技术名词的描述，现有技术中，往往利用神经网络直接对真实对象的6D参数进行回归，存在精度低时效性差的缺点，因而，本发明旨在提出一种高效准确的增强现实注册跟踪和虚实遮挡集成方法。
以下分别对具体实施例进行详细说明：
本发明实施例提供了一种特征检测网络训练方法，结合图1来看，图1为本发明提供的特征检测网络训练方法一实施例的流程示意图，包括步骤S101至步骤S103，其中：
在步骤S101中，获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；
在步骤S102中，根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；
在步骤S103中，根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。
在本发明实施例中，在特征检测网络训练方法中，首先，利用每个单目图像对应的实际关键点热图和实际深度图，构建单目图像训练样本，对单目图像训练样本进行有效的获取；然后，通过实际关键点热图和实际深度图，构建相应的损失函数，对特征检测网络进行训练，有效挖掘单目图像与实际关键点热图、实际深度图之间的对应关联；最后，利用损失函数，对特征检测网络进行训练至收敛，得到训练完备的特征检测网络，后续利用该特征检测网络，即可快速得到单目图像对应预测的预测关键点热图和预测深度图。
其中，单目图像优选为RGB图像，可以理解的是，单目图像的类型包括但不限于所列举的RGB图像，只要能反映对应的平面信息即可。
作为优选的实施例，结合图2来看，图2为本发明提供的图1中步骤S101之前构建单目图像训练样本一实施例的流程示意图，在步骤S101之前具体还包括步骤S201至步骤S204，其中：
在步骤S201中，针对所述每个单目图像，选取若干相同的关键点；
在步骤S202中，将所述若干相同的关键点转化为所述每个单目图像对应的数值矩阵，根据所述数值矩阵确定所述实际关键点热图；
在步骤S203中，采集所述每个单目图像的原始深度图像，并进行填充，确定所述实际深度图；
在步骤S204中，对所述每个单目图像进行图像变换，根据变换后的单目图像、所述实际关键点热图和所述实际深度图进行相应的变换，构建所述单目图像训练样本的增强数据。
在本发明实施例中，利用实际关键点热图和实际深度图的采集，有效构建用于训练的单目图像训练样本。
需要说明的是，上述关键点热图是指以关键点为圆心，采用二维高斯分布，生成的热点图。关键点检测的热点图分支包含4层及以上的通道数，其中，每个通道对应真实对象上的一个关键点。
需要说明的是，上述深度图是输入单目图像对应的深度图预测，深度图采用单通图像表示，进行深度学习训练时，需要将深度归一化到0到255的像素值范围内。
作为优选的实施例，结合图3来看，图3为本发明提供的图1中步骤S102一实施例的流程示意图，上述步骤S102包括步骤S301至步骤S302，其中：
在步骤S301中，将所述单目图像训练样本输入至所述特征检测网络，确定所述每个单目图像对应的预测关键点热图和预测深度图；
在步骤S302中，根据所述预测关键点热图和所述实际关键点热图之间的误差以及所述预测深度图和所述实际深度图之间的误差，确定所述损失函数。
在本发明实施例中，根据预测关键点热图和所际关键点热图之间的误差、以及预测深度图和实际深度图之间的误差，确定损失函数，以保证网络的收敛性。
作为优选的实施例，结合图4来看，图4为本发明提供的特征检测网络一实施例的结构示意图，上述特征检测网络的网络结构包括依次连接的输入层、主干特征提取层、反卷积层，以及分别与反卷积层连接的第一卷积输出层和第二卷积输出层，其中：
所述输入层，用于获取输入的所述每个单目图像；
所述主干特征提取层，用于对所述每个单目图像采用softpool进行池化操作，并加入自注意力机制模块，输出主干特征图；
所述反卷积层，用于对所述主干特征图进行反卷积解码操作，输出反卷积特征图；
所述第一卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为热力图估计的所述预测关键点热图；
所述第二卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为深度图估计的所述预测深度图。
在本发明实施例中，设置特征检测网络，使其包括主干网络和输出分支，其中，主干网络采用编码解码网络设计，输出分支包含两个部分：分别为用于关键点检测的热点图分支和用于深度预测的深度图分支。
需要说明的是，本发明提供的方法包含两个部分，分别为神经网络预测部分，虚实处理部分。在神经网络预测部分，首先建立了用于增强现实***虚实注册跟踪和虚实遮挡处理的深度学***移矩阵，完成增强现实注册跟踪。另一方面以特征检测网络输出的深度图像作为真实场景深度，与虚拟场景进行深度比较，判断虚实融合时需要显示的像素类型，完成虚实遮挡处理。
需要说明的是，在得到上述预测关键点热图和预测深度图之后，需要对预测的数据进行进一步的计算处理。采用透视投影求解的方法，以AR-Centernet检测的4个及以上关键点图像坐标和其对应的空间坐标作为透视投影求解的输入，求解相机的外参矩阵，完成增强现实注册跟踪。另一方面，通过像素遍历的方法，对每个像素点预测深度与虚拟场景的深度进行对比，判断当前像素点是显示真实像素，还是虚拟像素，完成增强现实虚实遮挡处理。
本发明实施例还提供了一种增强现实注册跟踪方法，结合图5来看，图5为本发明提供的增强现实注册跟踪方法一实施例的流程示意图，包括步骤S501至步骤S503，其中：
在步骤S501中，获取待测单目图像；
在步骤S502中，将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络训练方法确定；
在步骤S503中，对所述预测关键点热图中的关键点坐标值进行缩放处理，确定对应的图像坐标，并确定所述关键点坐标值对应的空间坐标值。
在本发明实施例中，在增强现实注册跟踪方法中，利用训练完备的特征检测网络对待测单目图像进行预测对应的预测关键点热图，并根据预测关键点热图中的关键点坐标值进行缩放处理，高效得到每一个关键点图像坐标值对应的空间坐标值，捕捉图像坐标和空间坐标的相对关系，进行有效的映射，从而实现注册跟踪的快速性和准确性。
作为优选的实施例，结合图6来看，图6为本发明提供的图5步骤S503中一实施例的流程示意图，包括步骤S601至步骤S603，其中：
在步骤S601中，将所述预测关键点热图中的最大值的坐标，作为所述关键点坐标值；
在步骤S602中，对所述关键点坐标值进行缩放处理得到对应的关键点图像坐标，确定所述关键点坐标值对应的所述空间坐标值；
在步骤S603中，根据所述关键点图像坐标值和所述空间坐标值，采用透视投影求解，确定真实相机对应的旋转矩阵和平移矩阵。
在本发明实施例中，首先，确定预测关键点热图中的关键点坐标值，然后，确定其对应的空间坐标值，利用两者之间的关系，采用透视投影求解，得到对应的旋转矩阵和平移矩阵。
本发明实施例还提供了一种增强现虚实遮挡处理方法，结合图7来看，图7为本发明提供的增强现虚实遮挡处理方法一实施例的流程示意图，包括步骤S701至步骤S704，其中：
在步骤S701中，获取待测单目图像；
在步骤S702中，将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图和预测深度图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络训练方法确定；
在步骤S703中，根据所述预测关键点热图，完成跟踪注册结果，确定虚拟场景对应的虚拟深度图；
在步骤S704中，根据所述虚拟深度图和所述预测深度图，确定虚实融合图像。
在本发明实施例中，在增强现虚实遮挡处理方法中，首先，对待测单目图像进行有效的获取；利用训练完备的特征检测网络，对待测单目图像进行预测，得到相应的预测关键点热图和预测深度图；进而，利用预测关键点热图，完成注册跟踪，确定每个像素点构成的虚拟深度图；最后，结合虚拟深度图和预测深度图两方面的深度信息，综合得到虚实融合图像，保证虚实遮挡处理的准确性。
作为优选的实施例，结合图8来看，图8为本发明提供的图7中步骤S703一实施例的流程示意图，包括步骤S801至步骤S803，其中：
在步骤S801中，根据所述预测关键点热图，确定真实相机对应的旋转矩阵和平移矩阵；
在步骤S802中，将所述旋转矩阵和所述平移矩阵赋值给虚拟相机，并通过所述虚拟相机对虚拟模型进行渲染绘制；
在步骤S803中，将虚拟场景中每个像素点在所述虚拟模型的表面到所述虚拟相机之间的距离，作为所述每个像素点对应的虚拟深度值，其中，所述每个像素点对应的虚拟深度值构成所述虚拟深度图。
在本发明实施例中，利用预测关键热图，确定虚拟深度值，有效构成对应的虚拟深度图，以便后续与预测深度图对比。
作为优选的实施例，结合图9来看，图9为本发明提供的图7中步骤S704一实施例的流程示意图，包括步骤S901至步骤S903，其中：
在步骤S901中，根据所述虚拟深度图，确定所述虚拟场景中的每个像素点对应的虚拟深度值；
在步骤S902中，根据所述预测深度图，确定所述真实场景中每个像素点对应的预测深度值；
在步骤S903中，遍历所述每个像素点，根据所述虚拟深度值和所述预测深度值，确定所述每个像素点的深度关系，完成虚实遮挡处理。
在本发明实施例中，结合虚拟深度图和预测深度图的比较，确定每个像素点的最终深度值，完成有效的虚实遮挡处理。
作为优选的实施例，上述步骤S903具体包括：
遍历所述每个像素点，将所述虚拟深度值和所述预测深度值进行比较，将比较得出的最小值作为所述每个像素点的所述最终深度值，得到所述虚实融合图像，完成虚实遮挡处理。
在本发明实施例中，通过比较出每个像素值对应的虚拟深度值和预测深度值的最小值，将其作为最终深度值，保证虚实融合的有效性和准确性。
下面结合一个具体的应用场景，更清楚地说明本发明技术方案，其中，将特征检测网络命名为AR-Centernet，具体流程如下：
第一，制作AR-Centernet训练数据集：
对于增强现实注册，根据透视投影原理，采用同一平面内，不共线的4个或4个以上关键点对，能够计算出相机的位姿信息。因此，数据集建立时，对于每张训练数据集中的图片，选取图片中4个或4个以上特征点作为AR-Centernet检测的关键点。为了更加可靠的计算关键点位置，采用热点图表示关键点位置特征；
对于图像中的4个或4个以上关键点信息，将其进一步转换为4个或4个以上通道的数值矩阵。矩阵中每个通道，代表一个确定的关键点。数值矩阵中每个元素的值，根据关键点对应的坐标和区域半径，利用多维高斯分布生成。在数值矩阵中特征坐标处的数值最大，对应的高斯概率也最大。在半径范围内，越靠近中心坐标的位置其对应概率越接近最大概率值，实数值也越接近最大实数值。在半径范围外，所有位置的高斯概率和实数值均为0。区域数值化的数学形式可表示为：
Figure BDA0003489316430000141
AR-Centernet的另一项任务是，估计输入单目RGB图像的深度图。采用微软AzureKinect作为深度图像采集设备，采集RGB图像对应的深度图，作为AR-Centernet深度图估计的标准数据，用于网络训练。由于真实环境中存在光滑表面、红外光线吸收材料以及光照不均匀等问题，采用深度相机获取深度图像时，物体边界处会存在噪音、以及无法测量的空洞区域。在获取原始深度图像后，由于某些像素缺少深度信息，需要对原始深度图进行填充。
第二，设计AR-Centernet网络结构：
本发明提出一种用于增强现实***的注册跟踪和虚实遮挡处理的卷积神经网络AR-Centernet，AR-Centernet以现场单目RGB图像作为输入，对图像中的真实对象关键点进行检测，同时，对RGB图像的深度图进行预测，用于增强现实虚实融合处理。
AR-Centernet网络结构结合图4来看，AR-Centernet的输入层为512×512×3的RGB图像。以Resnet-50为主干特征提取网络，将Resnet-50采用softpool进行池化操作，同时加入自注意力机制模块。通过改进的Resnet-50输出16×16×2048的特征图。然后将特征图进行三次反卷积解码操作，从而获取更高的分辨率输出，得到一个128×128×64的特征图。最后，利用这个特征图进行两次卷积，其中一次卷积用于关键点位置的热力图预测，此卷积层输出的结果为128×128×4，其中每一层代表装配对象上的一个关键点位置。另一次卷积用于装配场景深度图估计，此卷积输出的结果为128×128×1，该层输出输入图像对应的深度图。
第三，对AR-Centernet进行训练：
AR-Centernet进行训练时，为了减少过拟合的风险，对制作的AR-Centernet训练数据集进行增强处理。采用5种方法对数据集进行增强，分别为图片旋转、图片左右翻转、图片上下翻转、添加运动模糊和颜色空间变化。当图像进行旋转、翻转变化的时候，其对应的关键点标注坐标值，也需要随着图像的变换进行坐标值的变换。采用深度学习网络训练框架，例如pytorch，对AR-Centernet进行训练，直到损失函数的输出值保持相对稳定的结果，完成对AR-Centernet的训练。
第四，增强现实注册跟踪和虚实遮挡处理：
1、增强现实注册跟踪；
AR-Centernet的热图输出部分，通过不同卷积层，代表不同的关键点预测。将输出部分128×128×4的卷积层生成的热图，转换为关键点图像坐标值。以热图中最大值所在的图像坐标，作为关键点位置。然后对提取的关键点坐标值进行缩放处理，转换为增强现实***，原始输入图像的大小时，对应的装配对象关键点的图像坐标值。
增强现实注册跟踪流程如前述所示，通过AR-Centernet检测的关键点，对增强现实***进行注册跟踪计算。AR-Centernet计算出关键点对应的图像坐标后，还需要确定其对应的空间坐标。由于AR-Centernet卷积层生成的热图，每一层都对应着确定的关键点，因此，只需要确定每一层对应关键点的空间坐标，即能将AR-Centernet预测的关键点图像坐标与空间点坐标对应，进行相机位姿求解。进行增强现呈现前，以关键点所在真实对象平面的中心为空间坐标原点，可以通过测量获取，关键点的空间坐标值(xw，yw，zw)。
获得图像上关键点空间坐标和像素坐标后可通过下式进行求解，计算相机的旋转矩阵和平移矩阵。
Figure BDA0003489316430000151
2、增强现虚实遮挡处理；
本发明设计的卷积神经网络AR-Centernet的128×128×1的卷积输出层，用于深度图预测。对输入RGB图像进行深度图评估后，得到的深度图大小为128×128，需要根据真实输入图像大小，对AR-Centernet的评估结果，进行缩放处理，作为真实场景深度。
其中，为了准确的进行虚实遮挡处理，需要获取虚拟模型，在虚拟场景中的深度图。在增强现实***中，设置虚拟空间坐标系原点，与真实空间坐标系原点相同。此时，真实空间中装配对象与虚拟空间中映射的虚拟模型具有相同的坐标值。利用AR-Centernet检测的关键点，通过增强现实注册跟踪中相机位姿求解方法，获取真实相机位姿坐标。将真实相机的旋转和平移矩阵，赋值给虚拟相机，使得虚拟相机与真实相机具有相同的位姿参数。完成虚拟场景与真实场景，虚拟相机与真实相机的坐标值统一后，通过虚拟相机对虚拟模型进行渲染绘制时，将每个象素点对应的虚拟模型的表面到虚拟相机的距离，作为该像素的深度值，生成相应的虚拟场景深度图。
其中，虚实遮挡处理的流程如前述所示。通过AR-Centernet获得的真实场景深度图像，与AR-Centernet跟踪注册后获得的虚拟模型渲染得到的虚拟场景深度图像，每个像素对应的深度值进行比较。对于相同位置的像素点，如果真实场景深度，小于虚拟场景的深度值，则该位置显示真实图像的像素。如果真实场景深度，大于虚拟场景的深度值，则该位置显示虚拟场景渲染图像的像素。遍历图像中的每个坐标点位置，得到正确虚实遮挡处理的虚实融合图像，作为增强现实***的虚实融合图像输出。
本发明实施例还提供了一种特征检测网络训练装置，结合图10来看，图10为本发明提供的特征检测网络训练装置一实施例的结构示意图，特征检测网络训练装置1000包括：
第一获取单元1001，用于获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；
第一处理单元1002，用于根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；
训练单元1003，用于根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。
特征检测网络训练装置的各个单元的更具体实现方式可以参见对于上述特征检测网络训练方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明实施例还提供了一种增强现实注册跟踪装置，结合图11来看，图11为本发明提供的增强现实注册跟踪装置一实施例的结构示意图，增强现实注册跟踪装置1100包括：
第二获取单元1101，用于获取待测单目图像；
第二处理单元1102，用于将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络训练方法确定；
注册单元1103，用于对所述预测关键点热图中的关键点坐标值进行缩放处理，确定所述关键点图像坐标值对应的空间坐标值。
增强现实注册跟踪装置的各个单元的更具体实现方式可以参见对于上述增强现实注册跟踪方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明实施例还提供了一种增强现虚实遮挡处理装置，结合图12来看，图12为本发明提供的增强现虚实遮挡处理装置一实施例的结构示意图，增强现虚实遮挡处理装置1200包括：
第三获取单元1201，用于获取待测单目图像；
第三处理单元1202，用于将所述待测单目图像输入至训练完备的特征检测网络，确定预测深度图，其中，所述训练完备的特征检测网络根据如上所述的特征检测网络的训练方法确定；还用于根据所述预测关键点热图，完成跟踪注册，确定虚拟场景的虚拟深度图；
虚实融合单元1203，用于根据所述虚拟深度图和所述预测深度图，确定虚实融合图像。
增强现虚实遮挡处理装置的各个单元的更具体实现方式可以参见对于上述增强现虚实遮挡处理方法的描述，且具有与之相似的有益效果，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的特征检测网络训练方法，和/或如上所述的增强现实注册跟踪方法，和/或如上所述的增强现虚实遮挡处理方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了一种电子设备，结合图13来看，图13为本发明提供的电子设备一实施例的结构示意图，电子设备1300包括处理器1301、存储器1302及存储在存储器1302上并可在处理器1301上运行的计算机程序，处理器1301执行程序时，实现如上所述的特征检测网络训练方法，和/或如上所述的增强现实注册跟踪方法，和/或如上所述的增强现虚实遮挡处理方法。
作为优选的实施例，上述电子设备1300还包括显示器1303，用于显示处理器1301执行如上所述的特征检测网络训练方法，和/或如上所述的增强现实注册跟踪方法，和/或如上所述的增强现虚实遮挡处理方法后的数据处理结果。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1302中，并由处理器1301执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在电子设备1300中的执行过程。例如，计算机程序可以被分割成上述实施例中的第一获取单元1001、第一处理单元1002、训练单元1003、第二获取单元1101、第二处理单元1102、注册单元1103、第三获取单元1201、第三处理单元1202以及虚实融合单元1203，各单元的具体功能如上所述，在此不一一赘述。
电子设备1300可以是带可调摄像头模组的桌上型计算机、笔记本、掌上电脑或智能手机等设备。
其中，处理器1301可能是一种集成电路芯片，具有信号的处理能力。上述的处理器1301可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器1302可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器1302用于存储程序，所述处理器1301在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器1301中，或者由处理器1301实现。
其中，显示器1303可以是LCD显示屏，也可以是LED显示屏。例如，手机上的显示屏。
可以理解的是，图13所示的结构仅为电子设备1300的一种结构示意图，电子设备1300还可以包括比图13所示更多或更少的组件。图13中所示的各组件可以采用硬件、软件或其组合实现。
根据本发明上述实施例提供的计算机可读存储介质和电子设备，可以参照根据本发明实现如上所述的特征检测网络训练方法，和/或如上所述的增强现实注册跟踪方法，和/或如上所述的增强现虚实遮挡处理方法具体描述的内容实现，并具有与如上所述的特征检测网络训练方法，和/或如上所述的增强现实注册跟踪方法，和/或如上所述的增强现虚实遮挡处理方法类似的有益效果，在此不再赘述。
本发明公开了一种特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法，在特征检测网络训练方法中，首先，利用每个单目图像对应的实际关键点热图和实际深度图，构建单目图像训练样本，对单目图像训练样本进行有效的获取；然后，通过实际关键点热图和实际深度图，构建相应的损失函数，对特征检测网络进行训练，有效挖掘单目图像与实际关键点热图、实际深度图之间的对应关联；最后，利用损失函数，对特征检测网络进行训练至收敛，得到训练完备的特征检测网络，后续利用该特征检测网络，即可快速得到单目图像对应预测的预测关键点热图和预测深度图。在增强现实注册跟踪方法中，利用训练玩别的特征检测网络对待测单目图像进行预测对应的预测关键点热图，并根据预测关键点热图中的关键点坐标值进行缩放处理，高效得到每一个关键点坐标值对应的控件坐标值，捕捉图像坐标和空间坐标的相对关系，进行有效的映射，从而实现注册跟踪的快速性和准确性。在增强现虚实遮挡处理方法中，首先，对待测单目图像进行有效的获取；利用训练完备的特征检测网络，对待测单目图像进行预测，得到相应的预测关键点热图和预测深度图；进而，利用预测关键点热图，确定每个像素点构成的虚拟深度图；最后，结合虚拟深度图和预测深度图两方面的深度信息，保证深度信息的准确可靠，综合得到虚实融合图像，保证虚实遮挡处理的准确性。
本发明技术方案，利用特征检测网络，能够以单目图像作为输入，同时进行相机位姿求解和深度图预测，提高增强现实***处理流程的效率，降低***对硬件的要求。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种特征检测网络训练方法，其特征在于，包括：
获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；
根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；
根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。
2.根据权利要求1所述的特征检测网络训练方法，其特征在于，在所述获取包含标注信息的单目图像训练样本，还包括：
针对所述每个单目图像，选取若干相同的关键点；
将所述若干相同的关键点转化为所述每个单目图像对应的数值矩阵，根据所述数值矩阵确定所述实际关键点热图；
采集所述每个单目图像的原始深度图像，并进行填充，确定所述实际深度图；
对所述每个单目图像进行图像变换，根据变换后的单目图像、所述实际关键点热图和所述实际深度图进行相应的变换，构建所述单目图像训练样本的增强数据。
3.根据权利要求1所述的特征检测网络训练方法，其特征在于，所述根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值，包括：
将所述单目图像训练样本输入至所述特征检测网络，确定所述每个单目图像对应的预测关键点热图和预测深度图；
根据所述预测关键点热图和所述实际关键点热图之间的误差以及所述预测深度图和所述实际深度图之间的误差，确定所述损失函数。
4.根据权利要求3所述的特征检测网络训练方法，其特征在于，所述特征检测网络的网络结构包括依次连接的输入层、主干特征提取层、反卷积层，以及分别与反卷积层连接的第一卷积输出层和第二卷积输出层，其中：
所述输入层，用于获取输入的所述每个单目图像；
所述主干特征提取层，用于对所述每个单目图像采用softpool进行池化操作，并加入自注意力机制模块，输出主干特征图；
所述反卷积层，用于对所述主干特征图进行反卷积解码操作，输出反卷积特征图；
所述第一卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为热力图估计的所述预测关键点热图；
所述第二卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为深度图估计的所述预测深度图。
5.一种增强现实注册跟踪方法，其特征在于，包括：
获取待测单目图像；
将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图，其中，所述训练完备的特征检测网络根据权利要求1至4任一项所述的特征检测网络训练方法确定；
对所述预测关键点热图中的关键点坐标值进行缩放处理，确定所述关键点坐标值对应的空间坐标值。
6.根据权利要求5所述的增强现实注册跟踪方法，其特征在于，所述对所述预测关键点热图中的关键点坐标值进行缩放处理，确定所述关键点坐标值对应的空间坐标值，包括：
将所述预测关键点热图中的最大值的坐标，作为所述关键点坐标值；
对所述关键点坐标值进行缩放处理，得到对应的关键点图像坐标值，确定所述关键点坐标值对应的所述空间坐标值；
根据所述关键点图像坐标值和所述空间坐标值，采用透视投影求解，确定真实相机对应的旋转矩阵和平移矩阵。
7.一种增强现虚实遮挡处理方法，其特征在于，包括：
获取待测单目图像；
将所述待测单目图像输入至训练完备的特征检测网络，确定预测关键点热图和预测深度图，其中，所述训练完备的特征检测网络根据权利要求1至4任一项所述的特征检测网络的训练方法确定；
根据所述预测关键点热图，完成增强现实注册跟踪，确定虚拟场景的虚拟深度图；
根据所述虚拟深度图和所述预测深度图，确定虚实融合图像。
8.根据权利要求7所述的增强现虚实遮挡处理方法，其特征在于，所述根据所述预测关键点热图，确定虚拟深度图，包括：
根据所述预测关键点热图，确定真实相机对应的旋转矩阵和平移矩阵，其中，所述旋转矩阵和所述平移矩阵根据权利要求6所述的增强现实注册跟踪方法确定；
将所述旋转矩阵和所述平移矩阵赋值给虚拟相机，并通过所述虚拟相机对虚拟模型进行渲染绘制；
将每个像素点在所述虚拟模型的表面到所述虚拟相机之间的距离，作为所述每个像素点对应的虚拟深度值，其中，所述每个像素点对应的虚拟深度值构成所述虚拟深度图。
9.根据权利要求7所述的增强现虚实遮挡处理方法，其特征在于，所述根据所述虚拟深度图和所述预测深度图，确定虚实融合图像，包括：
根据所述虚拟深度图，确定虚拟场景对应的每个像素点对应的虚拟深度值；
根据所述预测深度图，确定真实场景对应的每个像素点对应的预测深度值；
遍历所述每个像素点，根据所述虚拟深度值和所述预测深度值，确定所述每个像素点的需要填充的像素，完成虚实遮挡处理。
10.根据权利要求9所述的增强现虚实遮挡处理方法，其特征在于，所述遍历所述每个像素点，根据所述虚拟深度值和所述预测深度值，确定所述每个像素点需要填充的像素，完成虚实遮挡处理，包括：
遍历所述每个像素点，将所述虚拟深度值和所述预测深度值进行比较，将比较得出的最小值对应的像素点填充所述虚实融合图像，完成虚实遮挡处理。
CN202210091712.3A 2022-01-26 2022-01-26 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法 Pending CN114549927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210091712.3A CN114549927A (zh) 2022-01-26 2022-01-26 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210091712.3A CN114549927A (zh) 2022-01-26 2022-01-26 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法

Publications (1)

Publication Number Publication Date
CN114549927A true CN114549927A (zh) 2022-05-27

Family

ID=81672847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210091712.3A Pending CN114549927A (zh) 2022-01-26 2022-01-26 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法

Country Status (1)

Country Link
CN (1) CN114549927A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984384A (zh) * 2023-03-20 2023-04-18 乐歌人体工学科技股份有限公司 一种基于面部姿态图像估计的桌面升降控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984384A (zh) * 2023-03-20 2023-04-18 乐歌人体工学科技股份有限公司 一种基于面部姿态图像估计的桌面升降控制方法

Similar Documents

Publication Publication Date Title
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN109040736B (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
JP2019075082A (ja) 深度値推定を用いた映像処理方法及び装置
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
US11461911B2 (en) Depth information calculation method and device based on light-field-binocular system
Kang et al. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces
KR20150082195A (ko) 어노테이션 방법 및 기기
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
US20110242271A1 (en) Synthesizing Panoramic Three-Dimensional Images
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN115439543A (zh) 孔洞位置的确定方法和元宇宙中三维模型的生成方法
US20220405968A1 (en) Method, apparatus and system for image processing
CN113850859A (zh) 用于增强图像深度置信度图的方法、***、制品和装置
WO2023140990A1 (en) Visual inertial odometry with machine learning depth
CN114549927A (zh) 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法
US11770551B2 (en) Object pose estimation and tracking using machine learning
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN117495975A (zh) 一种变焦镜头的标定方法、装置及电子设备
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
US10742947B2 (en) Display control system, display control device, display control method, and program
CN113706543B (zh) 一种三维位姿的构建方法、设备及存储介质
US11657530B2 (en) Stereo matching method and apparatus of images
CN115375740A (zh) 位姿确定方法和三维模型的生成方法、装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination