CN109931923A - 一种导航引导图的生成方法和装置 - Google Patents

一种导航引导图的生成方法和装置 Download PDF

Info

Publication number
CN109931923A
CN109931923A CN201711353151.5A CN201711353151A CN109931923A CN 109931923 A CN109931923 A CN 109931923A CN 201711353151 A CN201711353151 A CN 201711353151A CN 109931923 A CN109931923 A CN 109931923A
Authority
CN
China
Prior art keywords
data
point cloud
identification object
cloud data
screenshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711353151.5A
Other languages
English (en)
Other versions
CN109931923B (zh
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201711353151.5A priority Critical patent/CN109931923B/zh
Priority to TW107135972A priority patent/TW201928725A/zh
Priority to JP2020529350A priority patent/JP7244185B2/ja
Priority to US16/766,835 priority patent/US11170574B2/en
Priority to EP18888051.2A priority patent/EP3726478A4/en
Priority to PCT/CN2018/120076 priority patent/WO2019114653A1/zh
Publication of CN109931923A publication Critical patent/CN109931923A/zh
Application granted granted Critical
Publication of CN109931923B publication Critical patent/CN109931923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请实施例提供了一种导航引导图的生成方法和装置，所述方法包括：获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；基于所述点云数据库确定目标移动位置；获取基于所述目标移动位置截取的所述产品模型的截图数据；根据所述截图数据生成所述识别对象的导航引导图。本申请实施例通过点云数据库，能够快速生成导航引导图，从而使得用户能够更加基于导航引导图准确扫描识别对象以进行识别对象的演示，这个过程无需人工介入修改引导图，因此不需要耗费人工，且处理速度快。

Description

一种导航引导图的生成方法和装置
技术领域
本申请涉及增强现实技术领域，特别是涉及一种导航引导图的生成方法和一种导航引导图的生成装置。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机(相机)影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟物体套在实际物体并进行互动。随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。
在使用增强现实功能时，线下扫描实际物体需要制作引导图，用以引导用户使用摄影机对准实际物体。然而，通常在点云录制阶段，基于初始化角度生成相应的引导图，如果用户使用摄影机对准用户的角度有所变化，那么需要人工介入修改引导图，修改耗费比较大的人工，且修改速度慢。
发明内容
鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种导航引导图的生成方法和相应的一种导航引导图的生成装置。
为了解决上述问题，本申请公开了一种导航引导图的生成方法，包括：
获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；
基于所述点云数据库确定目标移动位置；
获取基于所述目标移动位置截取的所述产品模型的截图数据；
根据所述截图数据生成所述识别对象的导航引导图。
优选地，所述方法应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述基于所述点云数据库确定所述识别对象的目标移动位置，包括：
从所述点云数据库中获取初始化角度；
将所述初始化角度作为所述摄像头的目标移动位置。
优选地，所述获取基于所述目标移动位置截取的所述产品模型的截图数据，包括：
将所述识别对象的产品模型按照所述目标移动位置进行调整；
获取调整后所述产品模型的截图数据。
优选地，所述根据所述截图数据生成所述识别对象的导航引导图，包括：
从所述截图数据中提取边缘数据；
根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
根据所述调整后的截图数据提取出所述识别对象的轮廓图；
将所述轮廓图作为所述识别对象的导航引导图。
优选地，在所述从所述截图数据中提取边缘数据之后，还包括：
针对所述边缘数据进行频率过滤和颜色修正。
优选地，在所述根据所述截图数据生成所述识别对象的导航引导图之后，还包括：
在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
控制所述移动中的摄像头扫描所述识别对象得到视频数据。
优选地，所述视频数据包括图片数据，在所述控制所述移动中的摄像头扫描所述识别对象得到视频数据之后，还包括：
当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
本申请实施例还公开了一种点云数据库的生成方法，包括：
获取识别对象的产品模型；
采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
本申请实施例还公开了一种导航引导图的生成装置，包括：
点云数据库获取模块，用于获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；
目标移动位置确定模块，用于基于所述点云数据库确定目标移动位置；
截图数据获取模块，用于获取基于所述目标移动位置截取的所述产品模型的截图数据；
导航引导图生成模块，用于根据所述截图数据生成所述识别对象的导航引导图。
优选地，所述装置应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述目标移动位置确定模块包括：
初始化角度获取子模块，用于从所述点云数据库中获取初始化角度；
目标移动位置设置子模块，用于将所述初始化角度作为所述摄像头的目标移动位置。
优选地，所述截图数据获取模块包括：
产品模型调整子模块，用于将所述识别对象的产品模型按照所述目标移动位置进行调整；
截图数据获取子模块，用于获取调整后所述产品模型的截图数据。
优选地，所述导航引导图生成模块包括：
边缘数据提取子模块，用于从所述截图数据中提取边缘数据；
截图数据调整子模块，用于根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
轮廓图提取子模块，用于根据所述调整后的截图数据提取出所述识别对象的轮廓图；
导航引导图设置子模块，用于将所述轮廓图作为所述识别对象的导航引导图。
优选地，还包括：
数据处理子模块，用于针对所述边缘数据进行频率过滤和颜色修正。
优选地，还包括：
业务页面加载模块，用于在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
视频数据得到模块，用于控制所述移动中的摄像头扫描所述识别对象得到视频数据。
优选地，所述视频数据包括图片数据，还包括：
素材数据获取模块，用于当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
三维矩阵得到模块，用于将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
识别对象演示模块，用于基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
本申请实施例还公开了一种点云数据库的生成装置，包括：
产品模型获取模块，用于获取识别对象的产品模型；
第一点云数据得到模块，用于采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
第二点云数据模块，用于采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
点云数据记录模块，用于将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
本申请实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如上述的方法。
本申请实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述装置执行如上述的方法。
本申请实施例包括以下优点：
本申请实施例在启动AR功能时，获取预先针对识别对象设置的点云数据库，基于点云数据库确定出初目标移动位置，并基于该目标移动位置获取产品模型的截图数据，最后将基于截图数据生成用于引导用户对准识别对象的导航引导图，本申请实施例通过点云数据库，能够快速生成导航引导图，从而使得用户能够更加基于导航引导图准确扫描识别对象以进行识别对象的演示，这个过程无需人工介入修改引导图，因此不需要耗费人工，且处理速度快。
附图说明
图1是本申请的一种导航引导图的生成方法实施例的步骤流程图；
图2是本申请的一种导航引导图的示意图；
图3是本申请的一种启动AR导航时流程过程示意图；
图4是本申请的一种导航引导图生成过程的示意图；
图5是本申请的一种三维矩阵的计算过程示意图；
图6是本申请的一种点云数据库的生成方法实施例的步骤流程图；
图7是本申请的一种导航引导图的生成装置实施例的结构框图；
图8是本申请的一种点云数据库的生成装置实施例的结构框图；
图9是本申请的一种***实施例的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请的一种导航引导图的生成方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型。
在具体实现中，本申请实施例预先针对识别对象录制有点云数据库，以及，设计有用于演示识别对象的产品模型。其中，产品模型可以是设计师做好的，也可以通过3D扫描设备扫描出来。
步骤102，基于所述点云数据库确定目标移动位置。
本申请实施例中，基于点云数据库能够用于更加快速生成导航引导图，从而使得用户能够快速对准到目标移动位置上，以进入识别对象的演示。
在本申请的一种优选实施例中，所述方法应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述基于所述点云数据库确定所述识别对象的目标移动位置，包括：
从所述点云数据库中获取初始化角度；
将所述初始化角度作为所述摄像头的目标移动位置。
本申请实施例适用于各类移动终端，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备等具有摄像头(相机)，能够实现摄像功能的设备。
其中，本申请实施例的识别对象是指移动终端使用摄像头对准时的实际物体，比如***、洗碗机等各类智能机器。当用户启动AR功能时，打开摄像头，摄像头将开始扫描识别对象得到视频数据。当然，也可以是在开启摄像头后，用户再启动AR功能，本申请实施例对此并不需要加以限制。
在本申请实施例中，点云数据库可以基于指定的初始化角度对准识别对象进行录制，获取相应得到点云数据，并且，还将基于该初始化角度对于识别对象进行旋转录制，获得在不同角度下的点云数据。具体地，本发明实施例可以从点云数据库中获取到初始化角度，然后将该初始化角度作为摄像头的目标移动位置。
步骤103，获取基于所述目标移动位置截取的所述产品模型的截图数据。
在实际中，产品模型是一个3D立体模型，本发明实施例将获取3D立体模型的2D截图数据。其中，截图数据为除模型外无其他任何干扰部分。
在本申请的一种优选实施例中，所述步骤104可以包括如下子步骤：
子步骤S11，将所述识别对象的产品模型按照所述目标移动位置进行调整；
子步骤S12，获取调整后所述产品模型的截图数据。
具体来说，本申请实施例获取点云数据库中的初始化角度，然后基于初始化角度对于产品模型进行调整，使得模型的位置与点云数据库记录的方向为一个方向，再去获取这个方向下的产品模型的截图数据，这样在AR物体识别后根据引导指示就可以和物体完成比较好的匹配。
其中，AR物体识别是指实时计算物体所在位置和较度，并将虚拟和实物做后期互动的技术。具体来说，就是实现识别对象与产品模型的后期交互，使得识别对象与产品模型在摄像头移动时也能够进行调整使得两者贴合。
步骤104，根据所述截图数据生成所述识别对象的导航引导图。
在本申请实施例中，导航引导图的作用是用于引导用户将摄像头调整到希望用户调整到的位置上去，这个位置可以是点云数据库所记录的角度。
在本申请的一种优选实施例中，所述步骤105可以包括如下子步骤：
子步骤S21，从所述截图数据中提取边缘数据；
子步骤S22，根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
子步骤S23，根据所述调整后的截图数据提取出所述识别对象的轮廓图；
子步骤S24，将所述轮廓图作为所述识别对象的导航引导图。
在获取到截图数据后，将截图数据使用Sobel算法，提取出边缘数据。具体地来说，在获取截图数据后，可以直接将截图数据作为输入，使用Sobel算法提取边缘数据，然后基于边缘数据指定截图数据的边缘颜色和背景，然后产出相应尺寸的轮廓图，即导航引导图。导航引导图具体可以参照图2。
基于Sobel算法得到的边缘数据，是图片最基本的特征，其在计算机视觉、图像分析等应用中起着重要的作用，这是因为图片的边缘包含了用于识别的有用信息，是图像分析和模式识别的主要特征提取手段。
其中，具体的图片尺寸，可以通过利用前端(例如浏览器)的Canvas API函数，指定Canvas的宽度和高度以后，利用Canvas.toDataUrl()函数就可以得到指定宽度和高度的图片。具体过程是这样：
1)将颜色提取信息sobelData.push(255,255,255,255)，是一个个像素点；
2)利用浏览器的Canvas画布将这样的数组像素信息绘制出来，
var context＝canvas.getContext('2d')；
var imageData＝context.createImageData(width,height)；
imageData.data.set(data)；//将像素点信息指定到data数组
3)其中canvas的宽度和高度又是可以指定；
4)利用canvas.toDataUrl()就可以直接生成图片。
当然，上述实现得到相应图片尺寸的方式仅仅是作为示例，在实际应用中也可以采用其他方式实现，本申请实施例对此无需加以限制。
在本申请的一种优选实施例中，在所述子步骤S21之后，还可以包括如下步骤：
子步骤S25，针对所述边缘数据进行频率过滤和颜色修正。
优选地，本申请实施例还可以对于提取的边缘数据进行频率过滤和颜色修正，得到白色线框或者其他颜色线框图。在实际应用中，如果使用频率限制，限制越高，那么可以生成的线框图越简洁。相反，频率越低，生成的线框图细节越多，噪音数据也可能会变多(这种情况可以通过给3D立体模型加上纯色纹理，同时突出边缘粗细来实现)。
在一种优选示例中，边缘数据进行频率过滤和颜色修正只需要加上一个条件判定：
其中，pixelX和pixelY分别代表经横向及纵向边缘检测的图片。magnitude代表G梯度，200是个阈值，数字越大代表筛选越宽松，噪音点也就越多；相反，噪音点也就越小。255,255,255,255分别代表红色、绿色、蓝色和透明度。[255,255,255,255]这一组数值代表为白色不透明，即我们需要的白色线框图。
sobelData.push(255,255,255,255)推进的数组是一个颜色组合器，分别代表红色、绿色、蓝色和透明度，只要指定不同的数值就能得到我需要的颜色框图。
为了使本领域技术人员更好地理解本申请实施例，下面采用具体示例对进行说明。参照图3，移动终端的前端(客户端)可以实现相机渲染和业务路由，海螺码头是指素材库。在启动AR功能时，终端设备的摄像头采集UC视频流(包括有一帧一帧的图片数据)，前端发送Mtop业务请求，该业务请求包含的主要是摄像头截获的图片数据，跳转链接的页面包含了开启摄像头和产品模型，前端可以对于摄像头采集的视频流进行渲染，然后将渲染结果发送到终端的屏幕进行播放。
前端除了可以实现相机渲染和业务路由之外，还可以基于视频流和跟踪结果(三维矩阵)进行处理。点云数据和视频流将会发送到算法中，得到处理后的视频流，并再次发送到前端与跟踪结果实现实际物体和虚拟物体的贴合，最后发送到终端的屏幕进行播放。
参照图4，在图上面为导航引导图的生成过程，具体地，获取设计师设计的产品模型，基于点云数据库中的初始化角度调整产品模型，再获取调整角度后的产品模型从3D到2D的截图数据，最后根据截图数据得到一个轮廓图，即本申请的导航引导图，基于导航引导图，能够引导用户将摄像头的扫描识别对象的角度移动到与点云数据库中相同的角度。
在本申请的一种优选实施例中，在所述根据所述截图数据生成所述识别对象的导航引导图之后，还包括：
在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
控制所述移动中的摄像头扫描所述识别对象得到视频数据。
在具体实现中，本申请实施例可以设置为在启动AR功能时，加载预置的业务页面，业务页面可以加载识别对象的导航引导图，以引导用户将摄像头移动到目标移动位置。此时，还调用摄像头，由摄像头对识别对象进行扫描，并接收摄像头返回的识别对象的视频数据。
在本申请的一种优选实施例中，所述视频数据包括图片数据，在所述根据所述截图数据和所述初始化角度生成所述识别对象的导航引导图之后，即步骤104之后，还可以包括如下步骤：
当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
在生成导航引导图后，就可以提醒用户基于导航引导图去对准识别对象，这样用户对准的角度跟点云数据库中的初始化角度是一样的。
当用户完成识别对象的对准后，就可以从素材库中获取动画、纹理等素材，该素材能够用于为用户演示识别对象。
为了使得虚拟的物体和实际的物体更加贴合，本申请实施例在用户打开AR扫识别对象的时候，会拉取点云数据库，并且将点云数据库中的数据和实际镜头采集到物体的一帧一帧的图片数据利用算法做匹配，匹配正确就会产生投影矩阵和视图矩阵两个变量，也即是三维矩阵，具体可以参照图5。其中，在进行虚拟的物体和实际的物体更加贴合时，只需要将算法识别提取的投影矩阵和视图矩阵信息赋给虚拟的物体即可，本申请实施例对于具体实现过程不做限制。
本申请实施例在启动AR功能时，获取预先针对识别对象设置的点云数据库，基于点云数据库确定出初目标移动位置，并基于该目标移动位置获取产品模型的截图数据，最后将基于截图数据生成用于引导用户对准识别对象的导航引导图，本申请实施例通过点云数据库，能够快速生成导航引导图，从而使得用户能够更加基于导航引导图准确扫描识别对象以进行识别对象的演示，这个过程无需人工介入修改引导图，因此不需要耗费人工，且处理速度快。
参照图6，示出了本申请的一种点云数据库的生成方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201，获取识别对象的产品模型；
步骤202，采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
步骤203，采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
步骤204，将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
在本申请实施例中，算法工程师在初始化时会以某个角度(初始化角度)对准识别对象，这个时候识别对象的特征点的点云数据和初始化角度会被记录。然后算法工程师会移动相机围绕着识别对象进行旋转，记录不同角度的识别对象特征点的点云数据。其中点云数据主要包括有三维边缘和形状信息。
将这些点云数据记录下来以后，会生成一个压缩包(点云数据库)，压缩包中包括有角度以及该角度对应的点云数据。点云数据通过识别算法可以提取出投影矩阵和视图矩阵，这两个矩阵是虚拟物能够和真实物体匹配吻合的最重要的两个变量。
那么在后续用户在打开AR并启动相机扫描识别对象的时候，会拉取这个压缩包，并且和实际相机里采集到的物体(识别对象)做匹配。其中，匹配的结果有：是否识别；识别物体的三维矩阵(包括投影矩阵和视图矩阵)，这个矩阵可以还原物体的在AR终端屏幕里的位置，这样就可以完成虚拟的物体和实际物体的贴合。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图7，示出了本申请的一种导航引导图的生成装置实施例的结构框图，具体可以包括如下模块：
点云数据库获取模块301，用于获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；
目标移动位置确定模块302，用于基于所述点云数据库确定目标移动位置；
截图数据获取模块303，用于获取基于所述目标移动位置截取的所述产品模型的截图数据；
导航引导图生成模块304，用于根据所述截图数据生成所述识别对象的导航引导图。
在本申请的一种优选实施例中，所述装置应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述目标移动位置确定模块302可以包括：
初始化角度获取子模块，用于从所述点云数据库中获取初始化角度；
目标移动位置设置子模块，用于将所述初始化角度作为所述摄像头的目标移动位置。
在本申请的一种优选实施例中，所述截图数据获取模块303可以包括：
产品模型调整子模块，用于将所述识别对象的产品模型按照所述目标移动位置进行调整；
截图数据获取子模块，用于获取调整后所述产品模型的截图数据。
在本申请的一种优选实施例中，所述导航引导图生成模块304可以包括：
边缘数据提取子模块，用于从所述截图数据中提取边缘数据；
截图数据调整子模块，用于根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
轮廓图提取子模块，用于根据所述调整后的截图数据提取出所述识别对象的轮廓图；
导航引导图设置子模块，用于将所述轮廓图作为所述识别对象的导航引导图。
在本申请的一种优选实施例中，所述导航引导图生成模块304还可以包括：
数据处理子模块，用于针对所述边缘数据进行频率过滤和颜色修正。
在本申请的一种优选实施例中，所述装置还可以包括：
业务页面加载模块，用于在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
视频数据得到模块，用于控制所述移动中的摄像头扫描所述识别对象得到视频数据。
在本申请的一种优选实施例中，所述视频数据包括图片数据，所述装置还可以包括：
素材数据获取模块，用于当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
三维矩阵得到模块，用于将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
识别对象演示模块，用于基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
参照图8，示出了本申请的一种点云数据库的生成装置实施例的结构框图，具体可以包括如下模块：
产品模型获取模块401，用于获取识别对象的产品模型；
第一点云数据得到模块402，用于采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
第二点云数据得到模块403，用于采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
点云数据记录模块404，用于将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的***。图9示意性地示出了可被用于实现本公开中所述的各个实施例的示例性***(或装置)1300。
对于一个实施例，图9示出了示例性***1300，该***具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的***控制模块(芯片组)1304、被耦合到***控制模块1304的***存储器1306、被耦合到***控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到***控制模块1304的一个或多个输入/输出设备1310，以及被耦合到***控制模块1306的网络接口1312。
处理器1302可包括一个或多个单核或多核处理器，处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，***1300能够作为本申请实施例中所述的数据平台。
在一些实施例中，***1300可包括具有指令的一个或多个计算机可读介质(例如，***存储器1306或NVM/存储设备1308)以及与该一个或多个计算机可读介质相合并被配置为执行指令以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
对于一个实施例，***控制模块1304可包括任意适当的接口控制器，以向(一个或多个)处理器1302中的至少一个和/或与***控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
***控制模块1304可包括存储器控制器模块，以向***存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
***存储器1306可被用于例如为***1300加载和存储数据和/或指令。对于一个实施例，***存储器1306可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器1306可包括双倍数据速率类型四同步动态随机存取存储器(DDR11SDRAM)。
对于一个实施例，***控制模块1304可包括一个或多个输入/输出控制器，以向NVM/存储设备1308及(一个或多个)输入/输出设备1310提供接口。
例如，NVM/存储设备1308可被用于存储数据和/或指令。NVM/存储设备1308可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1308可包括在物理上作为***1300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。
(一个或多个)输入/输出设备1310可为***1300提供接口以与任意其他适当的设备通信，输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。网络接口1312可为***1300提供接口以通过一个或多个网络通信，***1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1302中的至少一个可与***控制模块1304的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1302中的至少一个可与***控制模块1304的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器1302中的至少一个可与***控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1302中的至少一个可与***控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***1300可以但不限于是：浏览器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***1300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***1300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，如果显示器包括触摸面板，显示屏可以被实现为触屏显示器，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中上述方法各个步骤的指令(instructions)。
在一个示例中提供了一种装置，包括：一个或多个处理器；和，其上存储的有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如本申请实施例中的上述方法各个步骤的指令(instructions)。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种导航引导图的生成方法和一种导航引导图的生成装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (18)

1.一种导航引导图的生成方法，其特征在于，包括：
获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；
基于所述点云数据库确定目标移动位置；
获取基于所述目标移动位置截取的所述产品模型的截图数据；
根据所述截图数据生成所述识别对象的导航引导图。
2.根据权利要求1所述的方法，其特征在于，所述方法应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述基于所述点云数据库确定所述识别对象的目标移动位置，包括：
从所述点云数据库中获取初始化角度；
将所述初始化角度作为所述摄像头的目标移动位置。
3.根据权利要求2所述的方法，其特征在于，所述获取基于所述目标移动位置截取的所述产品模型的截图数据，包括：
将所述识别对象的产品模型按照所述目标移动位置进行调整；
获取调整后所述产品模型的截图数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述截图数据生成所述识别对象的导航引导图，包括：
从所述截图数据中提取边缘数据；
根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
根据所述调整后的截图数据提取出所述识别对象的轮廓图；
将所述轮廓图作为所述识别对象的导航引导图。
5.根据权利要求4所述的方法，其特征在于，在所述从所述截图数据中提取边缘数据之后，还包括：
针对所述边缘数据进行频率过滤和颜色修正。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述截图数据生成所述识别对象的导航引导图之后，还包括：
在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
控制所述移动中的摄像头扫描所述识别对象得到视频数据。
7.根据权利要求6所述的方法，其特征在于，所述视频数据包括图片数据，在所述控制所述移动中的摄像头扫描所述识别对象得到视频数据之后，还包括：
当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
8.一种点云数据库的生成方法，其特征在于，包括：
获取识别对象的产品模型；
采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
9.一种导航引导图的生成装置，其特征在于，包括：
点云数据库获取模块，用于获取识别对象对应的点云数据库；所述识别对象具有对应的产品模型；
目标移动位置确定模块，用于基于所述点云数据库确定目标移动位置；
截图数据获取模块，用于获取基于所述目标移动位置截取的所述产品模型的截图数据；
导航引导图生成模块，用于根据所述截图数据生成所述识别对象的导航引导图。
10.根据权利要求9所述的装置，其特征在于，所述装置应用于具有摄像头的移动终端，所述点云数据库基于初始化角度进行录制，所述目标移动位置确定模块包括：
初始化角度获取子模块，用于从所述点云数据库中获取初始化角度；
目标移动位置设置子模块，用于将所述初始化角度作为所述摄像头的目标移动位置。
11.根据权利要求10所述的装置，其特征在于，所述截图数据获取模块包括：
产品模型调整子模块，用于将所述识别对象的产品模型按照所述目标移动位置进行调整；
截图数据获取子模块，用于获取调整后所述产品模型的截图数据。
12.根据权利要求9所述的装置，其特征在于，所述导航引导图生成模块包括：
边缘数据提取子模块，用于从所述截图数据中提取边缘数据；
截图数据调整子模块，用于根据所述边缘数据调整所述截图数据的边缘颜色和背景颜色；
轮廓图提取子模块，用于根据所述调整后的截图数据提取出所述识别对象的轮廓图；
导航引导图设置子模块，用于将所述轮廓图作为所述识别对象的导航引导图。
13.根据权利要求12所述的装置，其特征在于，还包括：
数据处理子模块，用于针对所述边缘数据进行频率过滤和颜色修正。
14.根据权利要求9所述的装置，其特征在于，还包括：
业务页面加载模块，用于在启动增强现实功能时，加载预置的业务页面；所述业务页面中包括识别对象的导航引导图；
视频数据得到模块，用于控制所述移动中的摄像头扫描所述识别对象得到视频数据。
15.根据权利要求14所述的装置，其特征在于，所述视频数据包括图片数据，还包括：
素材数据获取模块，用于当用户基于所述导航引导图对准识别对象后，从素材库中获取素材数据；
三维矩阵得到模块，用于将所述视频数据的图片数据与所述点云数据库进行匹配得到三维矩阵；
识别对象演示模块，用于基于三维矩阵将所述素材数据、图片数据交互至产品模型为用户演示所述识别对象，所述素材数据包括动画和/或纹理。
16.一种点云数据库的生成装置，其特征在于，包括：
产品模型获取模块，用于获取识别对象的产品模型；
第一点云数据得到模块，用于采用初始化角度对准所述产品模型进行录制，得到所述初始化角度对应的点云数据；
第二点云数据得到模块，用于采用多个录制角度对准所述产品模型进行录制，得到多个录制角度对应的点云数据；
点云数据记录模块，用于将所述初始化角度和所述初始化角度对应的点云数据，以及，所述录制角度和所述录制角度对应的点云数据记录到点云数据库中。
17.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-7所述的一个或多个导航引导图的生成方法，或者如权利要求8所述的一个或多个点云数据库的生成方法。
18.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述装置执行如权利要求1-7所述的一个或多个导航引导图的生成方法，或者如权利要求8所述的一个或多个点云数据库的生成方法。
CN201711353151.5A 2017-12-15 2017-12-15 一种导航引导图的生成方法和装置 Active CN109931923B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201711353151.5A CN109931923B (zh) 2017-12-15 2017-12-15 一种导航引导图的生成方法和装置
TW107135972A TW201928725A (zh) 2017-12-15 2018-10-12 一種導航引導圖的產生方法和裝置
JP2020529350A JP7244185B2 (ja) 2017-12-15 2018-12-10 ナビゲーションガイドを生成するための方法および装置
US16/766,835 US11170574B2 (en) 2017-12-15 2018-12-10 Method and apparatus for generating a navigation guide
EP18888051.2A EP3726478A4 (en) 2017-12-15 2018-12-10 PROCESS AND APPARATUS FOR PRODUCING A NAVIGATION GUIDANCE DIAGRAM
PCT/CN2018/120076 WO2019114653A1 (zh) 2017-12-15 2018-12-10 一种导航引导图的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711353151.5A CN109931923B (zh) 2017-12-15 2017-12-15 一种导航引导图的生成方法和装置

Publications (2)

Publication Number Publication Date
CN109931923A true CN109931923A (zh) 2019-06-25
CN109931923B CN109931923B (zh) 2023-07-07

Family

ID=66819983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711353151.5A Active CN109931923B (zh) 2017-12-15 2017-12-15 一种导航引导图的生成方法和装置

Country Status (6)

Country Link
US (1) US11170574B2 (zh)
EP (1) EP3726478A4 (zh)
JP (1) JP7244185B2 (zh)
CN (1) CN109931923B (zh)
TW (1) TW201928725A (zh)
WO (1) WO2019114653A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113886682A (zh) * 2021-09-10 2022-01-04 平安科技（深圳）有限公司 肩颈运动场景下的信息推送方法、***和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240037865A1 (en) 2022-07-28 2024-02-01 Ntt Docomo, Inc. Xr multi-window control

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN105261060A (zh) * 2015-07-23 2016-01-20 东华大学 基于点云压缩和惯性导航的移动场景实时三维重构方法
CN105303384A (zh) * 2014-07-21 2016-02-03 上海羽舟网络科技有限公司 一种产品的3d展示方法及***
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106097425A (zh) * 2016-06-07 2016-11-09 天津天大求实电力新技术股份有限公司 基于增强现实技术的电力设备信息提取与展示方法及***
CN106502419A (zh) * 2016-11-11 2017-03-15 广州市万表科技股份有限公司 虚拟手表试戴方法及装置
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324081B2 (en) 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
JP4433525B2 (ja) 1999-10-05 2010-03-17 株式会社セガ 画像処理装置
KR101309176B1 (ko) 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US8060186B2 (en) * 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US10133438B2 (en) 2008-09-17 2018-11-20 Nokia Technologies Oy User interface for augmented reality
US8442502B2 (en) 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
US9901828B2 (en) 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8803992B2 (en) 2010-05-12 2014-08-12 Fuji Xerox Co., Ltd. Augmented reality navigation for repeat photography and difference extraction
WO2012003844A1 (en) 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US8654235B2 (en) 2010-08-13 2014-02-18 Lg Electronics Inc. Apparatus and method for displaying service information provided in service zone
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US9854328B2 (en) 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
US9773313B1 (en) * 2014-01-03 2017-09-26 Google Inc. Image registration with device data
JP6138077B2 (ja) 2014-03-19 2017-05-31 三菱電機株式会社 写真計測システムおよび写真撮影位置指示方法
WO2015155628A1 (en) * 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
CN105023266B (zh) 2014-04-29 2018-03-30 高德软件有限公司 增强现实实现方法、装置和终端设备
US9886162B2 (en) 2014-06-02 2018-02-06 Qualcomm Incorporated Device-provided tracking data for augmented reality
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation
DE102014013678B3 (de) * 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9990028B2 (en) 2014-10-03 2018-06-05 Verizon Patent And Licensing Inc. System and method for providing live augmented reality content
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10092361B2 (en) * 2015-09-11 2018-10-09 AOD Holdings, LLC Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone
US9599825B1 (en) * 2015-09-30 2017-03-21 Daqri, Llc Visual indicator for transparent display alignment
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US10268740B2 (en) 2015-10-14 2019-04-23 Tharmalingam Satkunarajah 3D analytics actionable solution support system and apparatus
EP3403050A4 (en) * 2016-02-15 2019-08-21 Pictometry International Corp. AUTOMATED SYSTEM AND METHOD OF CHARACTERIZATION EXTRACTION
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
CN106254848B (zh) 2016-07-29 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种基于增强现实的学习方法及终端
JP6917820B2 (ja) * 2016-08-05 2021-08-11 株式会社半導体エネルギー研究所 データ処理システム
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实***和方法
US10115236B2 (en) * 2016-09-21 2018-10-30 Verizon Patent And Licensing Inc. Placing and presenting virtual objects in an augmented reality environment
US20180101989A1 (en) * 2016-10-06 2018-04-12 Google Inc. Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10489975B2 (en) * 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US11587315B2 (en) * 2019-06-19 2023-02-21 Deere & Company Apparatus and methods for augmented reality measuring of equipment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN105303384A (zh) * 2014-07-21 2016-02-03 上海羽舟网络科技有限公司 一种产品的3d展示方法及***
CN104183014A (zh) * 2014-08-13 2014-12-03 浙江大学 一种面向城市增强现实的高融合度信息标注方法
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN105261060A (zh) * 2015-07-23 2016-01-20 东华大学 基于点云压缩和惯性导航的移动场景实时三维重构方法
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106097425A (zh) * 2016-06-07 2016-11-09 天津天大求实电力新技术股份有限公司 基于增强现实技术的电力设备信息提取与展示方法及***
CN106502419A (zh) * 2016-11-11 2017-03-15 广州市万表科技股份有限公司 虚拟手表试戴方法及装置
CN107292921A (zh) * 2017-06-19 2017-10-24 电子科技大学 一种基于kinect相机的快速三维重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113886682A (zh) * 2021-09-10 2022-01-04 平安科技（深圳）有限公司 肩颈运动场景下的信息推送方法、***和存储介质

Also Published As

Publication number Publication date
JP2021507332A (ja) 2021-02-22
JP7244185B2 (ja) 2023-03-22
EP3726478A1 (en) 2020-10-21
WO2019114653A1 (zh) 2019-06-20
US20200372711A1 (en) 2020-11-26
US11170574B2 (en) 2021-11-09
EP3726478A4 (en) 2021-09-08
CN109931923B (zh) 2023-07-07
TW201928725A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
EP3690815B1 (en) Method, medium and apparatus for automatically labeling target object within image
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
US20170278308A1 (en) Image modification and enhancement using 3-dimensional object model based recognition
TWI490772B (zh) 自繪控制項的螢幕適配方法及裝置
US11153553B2 (en) Synthesis of transformed image views
CN111737518B (zh) 基于三维场景模型的图像展示方法、装置及电子设备
US20180276882A1 (en) Systems and methods for augmented reality art creation
US9756261B2 (en) Method for synthesizing images and electronic device thereof
CN108769517A (zh) 一种基于增强现实进行远程辅助的方法与设备
US9865032B2 (en) Focal length warping
CN104394422A (zh) 一种视频分割点获取方法及装置
CN109584377B (zh) 一种用于呈现增强现实内容的方法与设备
CN113741698A (zh) 一种确定和呈现目标标记信息的方法与设备
WO2016018422A1 (en) Virtual changes to a real object
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
CN109656363B (zh) 一种用于设置增强交互内容的方法与设备
CN114419289B (zh) 一种基于Unity的虚拟场景货架陈列方法及***
CN110781823A (zh) 录屏检测方法、装置、可读介质及电子设备
CN109931923A (zh) 一种导航引导图的生成方法和装置
US10230933B2 (en) Processing three-dimensional (3D) image through selectively processing stereoscopic images
CN109816791B (zh) 用于生成信息的方法和装置
CN109101144A (zh) 热力图绘制方法及装置
CN112634439B (zh) 一种3d信息展示方法及装置
CN114299271A (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质
CN109427085A (zh) 一种图像数据的处理、渲染方法、服务器及客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant