CN115309301A - 基于深度学习的Android手机端侧AR交互*** - Google Patents
基于深度学习的Android手机端侧AR交互*** Download PDFInfo
- Publication number
- CN115309301A CN115309301A CN202210541388.0A CN202210541388A CN115309301A CN 115309301 A CN115309301 A CN 115309301A CN 202210541388 A CN202210541388 A CN 202210541388A CN 115309301 A CN115309301 A CN 115309301A
- Authority
- CN
- China
- Prior art keywords
- depth
- model
- mobile phone
- image
- phone end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 240000001436 Antirrhinum majus Species 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的Android手机端侧AR交互***，包括一部带有摄像头的手机，手机摄像头采集原始彩色图像数据，通过对相机API的调用，实时处理图像流，并利用Pytorch Mobile深度学习框架训练高效的、鲁棒的轻量化深度估计神经网络模型，在手机端侧利用手机的有限算力，运行神经网络推理，生成与原始图像数据对应的预测深度图。结合原始图像和预测的深度图，利用ARCore Depth Lab的AR交互功能和Unity开发示例实现不依赖于Depth API的Android手机端侧AR交互***。
Description
技术领域
本发明涉及三维场景感知领域，具体为基于深度学习的Android手机端侧AR交互***。
背景技术
近年来，随着深度学习和神经网络技术的迅速发展，计算机视觉领域的相关应用得到了突飞猛进的进展。与此同时，人们对于视觉相关手机应用的娱乐化需求也越来越高。人们不再满足于与简单的二维图像中的场景进行互动，开始希望可以与立体的三维场景进行更深层次的交互。在实现与三维场景交互的过程中，深度估计作为三维感知的关键一环，起到至关重要的作用。传统的相机设备在拍摄图像和视频时，只能获得有限的2D图像信息，缺失了真实三维世界中的深度信息，而采用雷达、RGBD相机等测距设备又存在着成本高昂、体积较大等缺点。除此之外，目前精度较高的单目深度估计算法普遍依赖于高性能的算力环境，在非理想的实验环境下难以取得较好的深度估计效果，不能够良好的部署到移动端，暴露出了其推广应用的局限性。因此，一个不依赖于高性能算力环境和测距设备并可以直接部署到移动端上来实现实时3D场景交互功能的交互***将会有很大的应用前景。
现有的二维视频特效技术如Tik Tok等短视频编辑器上的特效技术对视频二次创作的效果存在着一定的局限性。例如，当用户欲对视频进行特定场景的特效加持(如下雪)时，传统的二维视频技术只能将静态的二维图片与人物拼接在一起，这对于视频的效果是生硬且不利的。本发明可以根据深度估计的结果直接构造3D场景，并加入模拟的特效，可以更好的体现视频中环境的深度层次变化，使得视频更真实、生动和形象，提高视频的观影感受。
本发明就是为了在手机端的有限算力条件下，利用轻量化的单目深度估计网络，在手机端侧的AR场景中实时计算场景深度，最大程度还原真实场景。在此基础上，利用Unity等渲染引擎制作特效，本发明可实现真实环境下通过设置虚拟物体来达成人与环境的交互效果。
发明内容
本发明的目的在于运用更成熟的算法训练模型能从简单的2D视频输入中得到更加准确的深度信息，解决单目相机***下的深度估计问题，并欲解决传统方法下单目深度估计在精度和效率上的缺陷，提出鲁棒性好、精度高、效率快的轻量化单目深度估计网络，突破目前高精度单目深度估计算法对于高性能的算例环境的依赖，并着眼于实际应用，探索该方法应用在手机端侧AR、VR场景中的可能性。除满足娱乐需求外，在未来的自动驾驶、智能医疗、军事作战中都有广泛应用前景。
为实现上述目的，本发明提供如下技术方案：从获取的单目图像中实时估计稠密深度图，利用深度学习模型计算得到图像中每个像素点的深度信息，最后基于该深度信息的辅助，利用Unity软件制作三维特效以实现虚拟物体在精确位置的生成和人机交互，以面向AR/VR的实际应用场景。本发明通过安卓开发，结合Pytorch mobile框架，将算法部署到手机移动端侧，实现在手机端侧的实时交互。
具体来说：
a)获取训练/测试数据：采用开源数据集例如NYU-Depth V2进行大规模网络训练，采用Kinect DK相机在室内拍摄视频，并自动生成深度图作为监督信息，利用单目相机所拍摄视频作为输入测试样例；
b)设计单目深度估计算法：采用AR Core框架构建应用，使用AR Core返回的参数作为相机参数的初始值，结合网络调整相应参数得到相机位姿，作为帧间深度估计的几何约束的基础。利用预训练的轻量化网络EfficientNet做深度预测的主干网络，在此基础上对网络的损失函数加以设计，并在数据集上进行训练；
c)评价单目深度估计算法：通过训练数据集真实深度值作为模型的监督信号，对比模型的预测结果，构建模型最小化损失函数，同时保留其在约束较少的部分提供合理的正则化的能力，得到准确的深度信息达到交互效果；
d)部署算法于端侧：使用Unity作为开发的辅助工具，在完成神经网络的深度信息推断之后，将信息导入Unity模块中，通过算法重建场景，使用unity软件添加特效，利用Pytorch Mobile部署到手机移动端。
优选的，手机***为Android***且版本为Android 8及以上。
优选的，移动端侧芯片为高通Snapdragon 865及以上型号，可使用CPU或者GPU完成神经网络推理，实现高帧率的运行。
优选的，所述在手机端侧部署的轻量化深度估计模型，在服务器端训练完毕后通过torchscript从PyTorch代码创建可序列化和可优化模型的方法，进行模型的转换和模型的优化，转换后的模型为包括模型权重和模型解释器的.ptl格式，同时经过PytorchMobile模块的模型优化，优化后的模型平均推理速度比优化前提升60％。
优选的，轻量化深度估计模型在手机端侧部署的轻量化深度估计方法，实现步骤为：
S1.1：在服务器上训练模型，采用深度数据集训练模型权重；
S1.2：通过Pytorch Mobile转换模型，保存模型推理器
S1.3：通过Java编程，在Android Studio软件上将模型推理器
导入进ARCore模块；
S1.4：调用手机相机API，获取图像流I＝{I1,I2,…,In}并提取当前帧In作为RGB图像的输入IRGB；
S1.5：在手机端侧运行模型推理器
输出预测的深度图
S1.6：将预测的深度图IDepth添加进数据流中，实现模块的封装。
优选的，所述的轻量化深度估计神经网络模型算法，具体步骤为：
S2.1：在手机端侧预测深度图的轻量化深度估计模型，其输入为相机拍摄的彩色RGB图像(图像格式为YUV420)和相机的位姿参数(需要利用Google的ARCore框架中返回的相机位姿参数作为相机参数的初始值)，输出为RAW格式的预测深度图像和预测的置信度图像；
S2.2：所述深度估计神经网络模型为单目深度估计模型，模型完成单次推理不依赖于前后图像帧或多张图像的信息，输入单张图像即可完成单次深度估计；
S2.3：所述深度估计神经网络模型为轻量化网络模型，部署到手机端的模型推理器小于150M，支持在高通Snapdragon 865及以上的手机平台上实现FPS为30帧每秒的深度图预测。
S2.4：以EfficientNet作为深度预测算法编码器的主干网络，输入图像IRGB，通过EfficientNet在不同的分辨率(二分之一、四分之一、八分之一、十六分之一)上提取特征构建图像特征金字塔{S1/2,S1/4,S1/8,S1/16}，本发明中该模型主干网络可被类似的轻量化模型(如MobileNet)所替换；
S2.5：采用多尺度融合的结构作为深度预测算法的解码器，如图3所示，解码器模块接收当前分辨率下的特征分支和上层分辨率下的特征分支，上层分辨率的特征通过一个残差卷积模块与当前分辨率的特征拼接融合。该残差卷积模块由两个Relu激活层和两个卷积核大小为3x3的卷积模块交叉串联组合而成。将融合后的特征输入进具有相同结构的残差卷积模块，通过一个重采样模块和一个卷积核大小为1x1的卷积模块，输出当前分支的特征；
S2.6：使用多尺度损失作为神经网络模型的损失函数，其计算公式为：
其中公式分别计算了预测深度和数据集中的真实深度在x轴和y轴方向的梯度差分，并在不同尺度分辨率下相加融合。
S2.7：为了使模型有更好的鲁棒性和不同数据集上的泛化能力，模型使用了仿射不变深度预测，即d*＝ds+μ。其中s、μ为仿射变换中的尺度和偏移，通过全局最小二乘法求得预测深度和真实深度之间的仿射变换参数。
S2.8：在NyuDepthv2、KITTI、ScanNet、ETH3D等多个公开深度数据集上训练模型，使模型学习足够多的数据先验，提升模型的泛化能力。
优选的，所述利用ARCore Depth Lab的AR交互功能和Unity实现AR交互功能的步骤为：
S3.1:在完成神经网络的深度信息预测之后，用生成的深度预测图替换ARCore调用depth API返回的深度图像，并在Unity中调用ARCore；
S3.2：使用unity提供的渲染引擎，通过深度图生成场景的网格信息，渲染出代表深度信息的伪彩色图；
S3.3：使用ARCore depth lab的部分功能，利用其unity场景的特效组件，将相应的特效添加到深度场景上。
与现有技术相比，本发明的有益效果是：
1、本发明将算法直接部署到手机端侧利用手机算力进行神经网络推理，避免了现有的单目深度估计方法对于大型服务器算力资源的严重依赖。现有深度估计网络通常在精度和效率上难以兼顾，精度较高的方法往往需要经过长时间的模型推理过程，同时其模型结构通常较为复杂。与现有的大型深度学习网络不同，本发明提出的方法在精度和效率上取得了有效的均衡。本发明采用了一种轻量化网络结构模型实现逐帧的单目深度估计网络推理，网络的模型结构较为简单，既降低了训练网络时所消耗的算力，同时又便于运行网络推断和进行端侧部署；
2、实现了在Android平台进行深度估计端侧应用的开发，与现有的在手机平台运行神经网络推理的框架不同，现有的方法通常使用Pytorch在服务器端训练模型，得到参数收敛后的模型之后，再将模型转换为ONNX格式，转换到Tensorflow框架上运行，利用Tensorflow lite模块完成移动设备端侧的模型推理，而本发明不依赖于Tensorflow框架，利用Pytorch Mobile直接转换模型，在移动设备端利用Pytorch框架直接运行模型推理，本方法更加方便快捷，避免了在不同的深度学习框架切换运行模型；
3、本发明所提出的深度估计方法免除了对于depth API的依赖，depth API是Android平台手机***提供的接口(仅部分高端手机型号支持)，与现有的软件如depthlab不同，本发明中的深度信息是从RGB图像中通过深度学习模型推理得到，无需额外的硬件设备(如激光雷达、毫米波雷达等深度传感器)采集深度信息，并利用unity作为三维特效开发工具实现AR/VR的交互功能，具有较强的实际应用价值；
4、本发明在Pytorch Mobile的框架上进行了深度估计网络的推理，该框架提供了一个端到端的工作流程，简化了移动设备端侧的从研究到生产环境的流程，同时也对该框架进行了保护。本发明采用清晰的结构框架，便于后续对各部分内容进行更改和升级操作。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明***模型流程图；
图2为本发明***深度估计结果示例图；
图3为本发明***算法模型图；
图4为本发明***AR交互示例图。
具体实施方式
为进一步了解本发明的内容，使本发明的目的、技术方案及优点更加清晰明了，以下结合附图和实施例对本发明进行详细说明。应当理解的是，此处仅是对本发明进行解释而并非限定。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，本发明提供一种技术方案：基于深度学习的Android手机端侧AR交互***，包括一部带有摄像头的手机，通过对相机API的调用实现用手机来采集原始彩色图像数据，获取相机参数与位姿等，提取相机帧，实时处理图像流。服务器端侧利用PytorchMobile深度学习框架训练高效的、鲁棒的轻量化深度估计神经网络模型，训练完毕后通过torchscript从PyTorch代码创建可序列化和可优化模型的方法，进行模型的转换和模型的优化，处理模型并保存为为包括模型权重和模型解释器的.ptl格式。轻量化深度估计模型通过Java语言和Android Studio软件，将借助torchscript转换的模型文件导入进ARCore模块，在手机端侧运行推理，并用推理预测得到的深度图替换Depth API接口，实现数据流的输入输出。在手机端侧利用手机的有限算力，运行神经网络推理，生成与原始图像数据对应的预测深度图。在完成神经网络的深度信息预测之后，用生成的深度预测图替换ARCore调用depth API返回的深度图像，并在Unity中调用ARCore。先使用unity提供的渲染引擎，通过深度图生成场景的网格信息，渲染出代表深度信息的伪色彩图；接下来使用ARCore-depth-lab的部分功能，利用其unity场景的特效组件，将相应的特效添加到深度场景上。结合原始图像和预测的深度图，利用ARCore Depth Lab的AR交互功能和Unity开发示例实现不依赖于Depth API的Android手机端侧AR交互***。
请参阅图2，为利用本网络结构模型所测试的深度图效果。图2表示的是本发明引入的深度估计框架和轻量化深度估计网络模型对室内场景进行深度图构造的效果图，图中第一行和第三行是输入的RGB图像，第二行和第四行是采用本发明的网络所预测的对应深度图。在采用了多尺度融合的解码框架后，可以看到模型预测图的细节部分估计的较为准确，在有限的算力下恢复出场景的大部分三维信息。
请参阅图3，为本发明的采用的深度估计网络模型结构示意图。该网络模型采用EfficientNet作为编码器的主干网络提取图像特征，并通过在不同分辨率下构建图像金字塔，采用多尺度融合的解码器融合图像特征，最后通过一个残差卷积模块，解码预测图像对应的深度图。其中，残差卷积模块由一个Relu激活层、一个卷积核大小为3x3的卷积模块、一个Relu激活层、一个卷积核大小为3x3的卷积模块依次排列串联组成；多尺度融合模块接收当前特征分支和上一特征分支的特征图，并对上一特征分支通过残差卷积模块后的特征与当前分支的特征进行融合，然后依次连接一个相同结构的残差卷积模块、重采样模块、卷积核大小为1x1的卷积模块输出解码的特征。
请参阅图4，为利用本发明的技术方案在Android手机移动端实测的AR交互效果图。在运行深度图渲染后，模型能在短时间内完成场景的渲染，生成相应的伪彩色图。根据深度估计的结果，可以在手机端对准相应的物体，完成虚拟物体的放置。移动手机，该虚拟物体会随着场景做出相应的移动，实现三维信息的交互。
以上公开的本发明优选实施例仅用以说明本发明的技术方案而非限制。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.基于深度学习的Android手机端侧AR交互***，其特征在于：
首先，通过对相机API的调用实现用手机来采集原始彩色图像数据，利用PytorchMobile深度学习框架训练出的高效的、鲁棒的轻量化深度估计神经网络模型，在手机端侧利用手机的有限算力，运行神经网络推理，实时处理图像流，然后生成与原始图像数据对应的预测深度图。最后结合原始图像和预测的深度图，利用ARCore Depth Lab的AR交互功能和Unity实现AR交互功能。
2.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述手机***为Android***且版本为Android 8及其以上。
3.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述手机可使用CPU或者GPU完成神经网络推理，推荐使用高性能的芯片(如高通Snapdragon 865等)以实现高帧率的运行。
4.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述在手机端侧部署的轻量化深度估计模型，在服务器端训练完毕后通过torchscript从PyTorch代码创建可序列化和可优化模型的方法，进行模型的转换和模型的优化，保存的模型后缀为.ptl格式，模型文件信息包括模型权重和模型的解释器；
5.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述在手机端侧部署的轻量化深度估计方法，其实现步骤为：
S1.1：在服务器上训练模型，采用深度数据集训练模型权重；
S1.2：通过Pytorch Mobile转换模型，保存模型推理器
S1.3：通过Java编程，在Android Studio软件上将模型推理器
导入进ARCore模块；
S1.4：调用手机相机API，获取图像流I＝{I1,I2,…,In}并提取当前帧In作为RGB图像的输入IRGB；
S1.5：在手机端侧运行模型推理器
输出预测的深度图
S1.6：将预测的深度图IDepth添加进数据流中，实现模块的封装；
6.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述轻量化深度估计神经网络模型算法，具体包括：
S2.1：在手机端侧预测深度图的轻量化深度估计模型，其输入为相机拍摄的彩色RGB图像(图像格式为YUV420)和相机的位姿参数(需要利用Google的ARCore框架中返回的相机位姿参数作为相机参数的初始值)，输出为RAW格式的预测深度图像和预测的置信度图像；
S2.2：所述深度估计神经网络模型为单目深度估计模型，模型完成单次推理不依赖于前后图像帧或多张图像的信息，输入单张图像即可完成单次深度估计；
S2.3：所述深度估计神经网络模型为轻量化网络模型，部署到手机端的模型推理器小于150M，支持在高通Snapdragon 865及以上的手机平台上实现FPS为30帧每秒的深度图预测。
S2.4：以EfficientNet作为深度预测算法编码器的主干网络，输入图像IRGB，通过EfficientNet在不同的分辨率(二分之一、四分之一、八分之一、十六分之一)上提取特征构建图像特征金字塔{S1/2,S1/4,S1/8,S1/16}，本发明中该模型主干网络可被类似的轻量化模型(如MobileNet)所替换；
S2.5：采用多尺度融合的结构作为深度预测算法的解码器，如图3所示，解码器模块接收当前分辨率下的特征分支和上层分辨率下的特征分支，上层分辨率的特征通过一个残差卷积模块与当前分辨率的特征拼接融合。该残差卷积模块由两个Relu激活层和两个卷积核大小为3x3的卷积模块交叉串联组合而成。将融合后的特征输入进具有相同结构的残差卷积模块，通过一个重采样模块和一个卷积核大小为1x1的卷积模块，输出当前分支的特征；
S2.6：使用多尺度损失作为神经网络模型的损失函数，其计算公式为：
其中公式分别计算了预测深度和数据集中的真实深度在x轴和y轴方向的梯度差分，并在不同尺度分辨率下相加融合。
S2.7：为了使模型有更好的鲁棒性和不同数据集上的泛化能力，模型使用了仿射不变深度预测，即d*＝ds+μ。其中s、μ为仿射变换中的尺度和偏移，通过全局最小二乘法求得预测深度和真实深度之间的仿射变换参数。
S2.8：在NyuDepthv2、KITTI、ScanNet、ETH3D等多个公开深度数据集上训练模型，使模型学习足够多的数据先验，提升模型的泛化能力。
7.根据权利要求1所述的基于深度学习的Android手机端侧AR交互***，其特征在于：所述利用ARCore Depth Lab的AR交互功能和Unity实现AR交互功能的步骤为：
S3.1:在完成神经网络的深度信息预测之后，用生成的深度预测图替换ARCore调用depth API返回的深度图像，并在Unity中调用ARCore；
S3.2：使用unity提供的渲染引擎，通过深度图生成场景的网格信息，渲染出代表深度信息的伪彩色图；
S3.3：使用ARCore depth lab的部分功能，利用其unity场景的特效组件，将相应的特效添加到深度场景上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541388.0A CN115309301A (zh) | 2022-05-17 | 2022-05-17 | 基于深度学习的Android手机端侧AR交互*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541388.0A CN115309301A (zh) | 2022-05-17 | 2022-05-17 | 基于深度学习的Android手机端侧AR交互*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115309301A true CN115309301A (zh) | 2022-11-08 |
Family
ID=83854804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210541388.0A Pending CN115309301A (zh) | 2022-05-17 | 2022-05-17 | 基于深度学习的Android手机端侧AR交互*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115309301A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152323A (zh) * | 2023-04-18 | 2023-05-23 | 荣耀终端有限公司 | 深度估计方法、单目深度估计模型生成方法和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110221689A (zh) * | 2019-05-10 | 2019-09-10 | 杭州趣维科技有限公司 | 一种基于增强现实的空间绘画方法 |
| CN110716641A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN111465962A (zh) * | 2018-10-04 | 2020-07-28 | 谷歌有限责任公司 | 用于手持式用户设备的增强现实的运动深度 |
| CN114332666A (zh) * | 2022-03-11 | 2022-04-12 | 齐鲁工业大学 | 一种基于轻量化神经网络模型的图像目标检测方法及*** |
-
2022
- 2022-05-17 CN CN202210541388.0A patent/CN115309301A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111465962A (zh) * | 2018-10-04 | 2020-07-28 | 谷歌有限责任公司 | 用于手持式用户设备的增强现实的运动深度 |
| CN110221689A (zh) * | 2019-05-10 | 2019-09-10 | 杭州趣维科技有限公司 | 一种基于增强现实的空间绘画方法 |
| CN110716641A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN114332666A (zh) * | 2022-03-11 | 2022-04-12 | 齐鲁工业大学 | 一种基于轻量化神经网络模型的图像目标检测方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 余方洁: "基于深度图的移动端点云分割方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 08, 15 August 2021 (2021-08-15), pages 138 - 273 * |
| 刘强: "《构建企业级推荐*** 算法 工程实现与案例分析》", 13 July 2021, 机械工业出版社, pages: 169 * |
| 马榕 等: "基于单目深度估计的低功耗视觉里程计", 《***仿真学报》, vol. 33, no. 12, 18 December 2021 (2021-12-18), pages 3001 - 3011 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152323A (zh) * | 2023-04-18 | 2023-05-23 | 荣耀终端有限公司 | 深度估计方法、单目深度估计模型生成方法和电子设备 |
| CN116152323B (zh) * | 2023-04-18 | 2023-09-08 | 荣耀终端有限公司 | 深度估计方法、单目深度估计模型生成方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
| CN113572962B (zh) | 室外自然场景光照估计方法及装置 | |
| CN110033505A (zh) | 一种基于深度学习的人体动作捕捉与虚拟动画生成方法 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113837938B (zh) | 基于动态视觉传感器重建潜在图像的超分辨率方法 | |
| KR20200128378A (ko) | 이미지 생성 네트워크의 훈련 및 이미지 처리 방법, 장치, 전자 기기, 매체 | |
| CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN113034413B (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| WO2024017093A1 (zh) | 图像生成方法、模型训练方法、相关装置及电子设备 | |
| CN111652933B (zh) | 基于单目相机的重定位方法、装置、存储介质与电子设备 | |
| CN116721207A (zh) | 基于Transformer模型的三维重建方法、装置、设备及存储介质 | |
| CN113382275A (zh) | 直播数据的生成方法、装置、存储介质及电子设备 | |
| CN115309301A (zh) | 基于深度学习的Android手机端侧AR交互*** | |
| CN109788270A (zh) | 3d-360度全景图像生成方法及装置 | |
| CN112200817A (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
| CN116524121A (zh) | 一种单目视频三维人体重建方法、***、设备及介质 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| Ren et al. | Efficient human pose estimation by maximizing fusion and high-level spatial attention | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与*** | |
| CN113793420A (zh) | 深度信息处理方法、装置、电子设备及存储介质 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及*** | |
| CN113191301A (zh) | 融合时序和空间信息的视频密集人群计数方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |