CN103971400A - 一种基于标识码的三维交互的方法和*** - Google Patents

一种基于标识码的三维交互的方法和*** Download PDF

Info

Publication number
CN103971400A
CN103971400A CN201310047346.2A CN201310047346A CN103971400A CN 103971400 A CN103971400 A CN 103971400A CN 201310047346 A CN201310047346 A CN 201310047346A CN 103971400 A CN103971400 A CN 103971400A
Authority
CN
China
Prior art keywords
reference picture
image
identification code
picture
homography matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310047346.2A
Other languages
English (en)
Other versions
CN103971400B (zh
Inventor
周士奇
楚汝锋
张伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201310047346.2A priority Critical patent/CN103971400B/zh
Priority to TW102126657A priority patent/TWI587205B/zh
Priority to US14/172,654 priority patent/US9195871B2/en
Priority to EP20156185.9A priority patent/EP3674853A1/en
Priority to EP14710073.9A priority patent/EP2954390B1/en
Priority to PCT/US2014/014792 priority patent/WO2014123954A2/en
Publication of CN103971400A publication Critical patent/CN103971400A/zh
Priority to US14/885,232 priority patent/US9430835B2/en
Priority to US15/210,034 priority patent/US9704247B2/en
Priority to US15/618,469 priority patent/US10121099B2/en
Application granted granted Critical
Publication of CN103971400B publication Critical patent/CN103971400B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1456—Methods for optical code recognition including a method step for retrieval of the optical code determining the orientation of the optical code with respect to the reader and correcting therefore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于标识码的三维交互的方法和***。本申请涉及图像处理，尤其涉及一种可摄像设备的信息处理的方法。其解决的问题是，如何使用更小计算量更快捷地实现人与设备的三维交互。本申请的方法主要包括，获得可摄像设备拍摄的包含标识码实物的图像，识别标识码所对应的物品信息；获取与标识码相关的参考图像及参考图像的特征点；基于参考图像和特征点获得可摄像设备相对于标识码实物的位置和/或姿态信息；以及基于所述位置和/或姿态信息与所述标识码对应的物品信息，进行三维交互。本方法主要用于可摄像设备的三维交互。

Description

一种基于标识码的三维交互的方法和***
技术领域
本申请涉及图像处理，尤其涉及一种可摄像设备的信息处理的方法和***。
背景技术
随着人们对交互体验的要求的不断增加，增强现实应用已经获得了非常迅猛的发展。三维注册是增强现实***中最基础最重要的技术之一。三维注册即计算出世界坐标系与屏幕坐标系的转化关系，然后由此计算出当前可摄像设备的位置和姿态，进而利用此信息将虚拟物体和真实场景结合在一起。
已有方法有：1、利用sift（Scale Invariant Feature Transform，尺度不变特征转换）,surf（Speed Up Robust Feature，加速鲁棒性特征）方法对特征点进行匹配，但是此类方法计算量比较大；2、利用random ferns(随机蕨类算法)等的模型的方法，但是这类方法占用内存空间比较大。
对于增强现实注册的研究，如中国专利：“一种基于标志点的增强现实三维注册方法和***”，申请号20071011266.6，此发明将生成的人肉眼不可见的光标志点投影到现实环境的承载面上，然后采用具有不可见光滤光片的摄像机对投影在承载面上的不可见光标志点进行拍摄，获取不可见光标志点在屏幕中的二维坐标数据从而进行注册，此发明对硬件要求比较高。
又如“基于云计算的自然特征注册方法”，申请号201110180881.6，此发明首先提取参考图像的自然特征点集，在注册过程中提取从图像获取设备不断得到的图像关键帧的自然特征点，然后通过基于云计算的自然特征点匹配，根据匹配结果计算出摄像机的位置和角度，进而进行三维注册。此发明需要后台的服务器，而且对网络通信要求比较高。
另外，基于自然图片（例如商标）的三维人机交互，在设备计算能力有限时只能识别少数几种商品；或者需要网络和后台服务器配合来达到识别多种商品的目的。
另一方面，标识码（例如：二维码）图案简单、易于识别，并且标准统一，可以对应多种商品，而且计算相对简单，比较容易在手机等移动设备上实现。传统的标识码，例如二维码在手机等移动设备上的应用，用户通过手机摄像头扫描二维码或输入二维码下面的号码、关键字即可实现快速手机上网，快速便捷地浏览网页、下载图文、音乐、视频、获取优惠券、参与抽奖、了解企业产品信息，而省去了在手机上输入URL的繁琐过程，实现一键上网。同时，还可以方便地用手机识别和存储名片、自动输入短信，获取公共服务（如天气预报），实现电子地图查询定位、手机阅读等多种功能。传统的标识码的应用只是利用二维码读取一定的信息，然后利用读取的信息打开额外链接等。
发明内容
本申请的主要目的在于提供一种在进行三维的交互过程中，获得预测图像的预测单应矩阵，并将所述预测单应矩阵应用于特征点匹配，并获得从参考图像至当前图像的单应矩阵，然后以参考图像至当前图像的单应矩阵获得可摄像设备位置或姿态的方法，以及以此进行三维交互的方法。上述方法可解决现有技术存在的在三维交互中的计算量过大，或占用内存过多，或对硬件、网络有较高要求以至于较难应用在可移动摄像设备中的问题。
进一步，在上述发明的应用前提下，本申请又提供一种利用标识码进行三维交互的方法，可以以更快的速度进行三维交互，并同时获得物品的信息以进行进一步的其他应用，可实现多目标识别。
根据本申请的一个方面，提供一种基于标识码的三维交互的方法，包括：
获得可摄像设备拍摄的包含标识码实物的图像，识别标识码并获得标识码所对应的物品信息；获取与所述标识码相关的参考图像以及该参考图像的特征点；基于所述参考图像和所述特征点，计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息；以及基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。
根据本申请的实施例，在该方法中，所述物品信息可以包括通过识别标识码得到的基本信息。
根据本申请的实施例，在该方法中，所述物品信息包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据，所述目标数据中包括所述物品信息对应的三维图像。
根据本申请的实施例，在该方法中，所述三维交互可以包括：基于由物品信息获得物品的三维图像，将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
根据本申请的实施例，在该方法中，所述三维交互可以包括：连续获得可摄像设备相对于标识码实物的位置和姿态，从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面。
根据本申请的实施例，在该方法中，获取与所述标识码相关的参考图像以及该参考图像的特征点可以包括：获得利用可摄像设备获取的画面中含有标识码实物的初始图像，基于初始图像获得参考图像，利用特征点检测算法对参考图像进行计算，获得参考图像中的特征点及其位置。
根据本申请的实施例，在该方法中，基于所述初始图像获得参考图像可以包括：将所述初始图像作为参考图像，或者基于所述物品信息按照标识码生成算法生成一幅标准标识码，将所述标准标识码作为参考图像。
根据本申请的实施例，在该方法中，获得可摄像设备相对于标识码实物的位置和/或姿态信息可以包括：获得可摄像设备拍摄的包含标识码实物的当前图像；基于所述参考图像和当前图像，获得从参考图像至当前图像的单应矩阵；以及基于所述单应矩阵，获得可摄像设备相对于标识码实物的位置和/或姿态信息。
根据本申请的实施例，在该方法中，基于所述参考图像和当前图像，获得从参考图像至当前图像单应矩阵可以包括：获得标识码在初始图像中4个顶点的位置；以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对；以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
根据本申请的实施例，在该方法中，基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵可以包括：利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点；利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
根据本申请的实施例，在该方法中，利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点，可以包括：获得预测图像，其中所述预测图像是基于当前图像之前已经获取的图像利用预定算法计算获得的用于预测当前图像的图像；计算获得参考图像中的特征点在预测图像中的预测位置；以及以参考图像中的特征点在预测图像中的预测位置在当前图像中找到相应预定位置；在所述各参考图像中的特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的预定图像匹配块；以及在当前图像各预定位置的周围，在预先设定的范围内，以预定的图像匹配块为标准，利用第二类特征点匹配算法获得参考图像的特征点在当前图像中的匹配点。
根据本申请的实施例，在该方法中，可以以如下方式获得预测图像及参考图像中的特征点在预测图像中的预测位置：获得可摄像设备拍摄的含有标识码实物的第一图像A，获得可摄像设备拍摄的含有标识码实物的第二图像B，所述第一图像A，第二图像B为在当前图像之前获取的图像，利用参考图像、第一图像A、第二图像B获得参考图像至第二图像B的单应矩阵第一图像A至第二图像B的单应矩阵计算预测图像的预测单应矩阵以预测单应矩阵P对参考图像进行变换，获得预测图像，以预测单应矩阵P对参考图像中的特征点的位置进行变换，获得参考图像中的特征点在预测图像中的预测位置。
根据本申请的实施例，在该方法中，所述第二图像B可以为当前图像的前一帧图像，所述第一图像A可以为当前图像的前两帧图像。
根据本申请的另一个方面，提供一种基于标识码的三维交互的***，包括：
标识码获取与识别模块，用于获得可摄像设备拍摄的包含标识码实物的图像，识别标识码并获得标识码所对应的物品信息；参考图像获取模块，用于获取与所述标识码相关的参考图像以及该参考图像的特征点；位置与姿态获取模块，用于基于所述参考图像和所述特征点，计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息；以及交互模块，用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。
根据本申请的实施例，在所述***中，所述交互模块可以进一步被配置成：基于由物品信息获得物品的三维图像，将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
根据本申请的实施例，在所述***中，所述交互模块可以进一步被配置成包括：连续获得可摄像设备相对于标识码实物的位置和姿态，从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面。
根据本申请的实施例，在所述***中，参考图像获取模块可以被配置成：获得利用可摄像设备获取的画面中含有标识码实物的初始图像，基于初始图像获得参考图像；以及利用特征点检测算法对参考图像进行计算，获得参考图像中的特征点及其位置。
根据本申请的实施例，在所述***中，位置与姿态获取模块可以被配置成：获得可摄像设备拍摄的包含标识码实物的当前图像；基于所述参考图像和当前图像，获得从参考图像至当前图像的单应矩阵；以及基于所述单应矩阵，获得可摄像设备相对于标识码实物的位置和/或姿态信息。
根据本申请的实施例，在所述***中，基于所述参考图像和当前图像，获得从参考图像至当前图像单应矩阵可以包括：获得标识码在初始图像中4个顶点的位置；以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
根据本申请的实施例，在所述***中，基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵可以包括：利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点；利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
根据本申请的另一个方面，提供一种利用参考图像获得预测图像的预测单应矩阵的方法，包括以下步骤：
获取一张参考图像S；获得利用可摄像设备获取的含有参考图像实物的第一图像A，获得利用可摄像设备获取的含有参考图像实物的第二图像B，利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵计算预测图像的预测单应矩阵
根据本申请的实施例，在该方法中，可以采用如下步骤获得单应矩阵利用特征点检测算法对参考图像S进行计算，获得参考图像S中的特征点及其位置；利用特征点检测算法对第二图像B进行计算，获得第二图像B中的特征点及其位置；利用特征点匹配算法获得参考图像S的特征点在第二图像B中的匹配点及其位置；利用参考图像的特征点和第二图像B中的匹配点构成匹配点对；基于所述匹配点对，获得参考图像至第二图像的单应矩阵
根据本申请的实施例，在该方法中，可以采用如下方式获得第一图像至第二图像的单应矩阵利用特征点检测算法对参考图像S进行计算，获得参考图像S中的特征点及其位置；利用特征点检测算法对第一图像A进行计算，获得第一图像A中的特征点及其位置；利用特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置；利用参考图像的特征点和第一图像A中的匹配点构成匹配点对；基于所述匹配点对，获得参考图像至第一图像A的单应矩阵获得第一图像A至第二图像B的单应矩阵 H B A = H B S × ( H A S ) - 1 .
根据本申请的实施例，在该方法中，可以在利用参考图像的特征点和第二图像B中的匹配点构成的步骤中采用Prosac算法或Ransac算法排除误匹配点对，并基于经过排除处理的匹配点对，获得参考图像至第二图像的单应矩阵
根据本申请的实施例，在该方法中，可以在利用参考图像的特征点和第一图像A中的匹配点构成匹配点对的步骤中采用Prosac算法或Ransac算法排除误匹配点对，并基于经过排除处理的匹配点对，获得参考图像至第一图像A的单应矩阵
与现有技术相比，根据本申请的技术方案，解决现有技术存在的上述在三维交互中的计算量过大，或占用内存过多，或对硬件、网络有较高要求以至于较难应用在可移动摄像设备中，较难实现多目标识别的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于标识码的三维交互的方法步骤图；
图2是图1中S102和步骤S103的优选方法步骤图。其更详细地描述了如何获取与所述标识码相关的参考图像以及该参考图像的特征点并基于其获得可摄像设备相对于标识码实物的位置和/或姿态；
图3和图4在图1及图2的基础上，更详细地描述一个例子，以详细描述获得从参考图像至当前图像的单应矩阵的优选方法步骤。其中，当k=1时，参考图3；当k>1时，参考图4；
图5是根据本申请实施例的利用参考图像获得预测图像的预测单应矩阵的方法的流程图；
图6是根据本申请实施例的利用参考图像、预测图像的预测单应矩阵，获得参考图像的特征点在当前图像的匹配点的方法的流程；
图7是根据本申请实施例的获得从参考图像至当前图像的单应矩阵的方法的流程图；以及
图8是根据本申请实施例的一种基于标识码的三维交互的***800的结构方框图。
具体实施方式
本申请的主要思想在于，提供一种在进行三维的交互过程中，获得预测图像的预测单应矩阵的方法；并将所述预测单应矩阵应用于特征点匹配，并获得从参考图像至当前图像的单应矩阵，从而以参考图像至当前图像的单应矩阵获得可摄像设备位置或姿态的方法，及以此进行三维交互的方法。
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
为了方便下文描述，首先介绍本申请的各个实施方式中所涉及的术语的解释。
三维交互：获得物体在三维空间中的状态信息，并基于所述三维空间中的状态信息与用户进行交互。所述物体可以包括：用户、用户所持设备、用户所指定的物等；所述三维空间中的状态信息可以包括：在三维空间的位置、在三维空间中的姿态等。
标识码：以图像来存储信息的信息码。例如，条形码，二维码。
标识码实物：以实物展现的标识码，例如一张打印的标识码，一张印刷的标识码，或在显示器上显示的标识码。
标准标识码：基于信息所生成的准确无变形的标识码。
参考图像：参考图像是在一次三维交互中使用的一幅图像，其可以用于描述被摄对象的初始状态或标准状态，参考图像作为当前图像的参考，用来通过对参考图像与当前图像的计算，可以获得当前可摄像设备的位置及姿态。参考图像可以通过拍摄获得，或通过标识码生成算法生成标准标识码作为参考图像，或可依据标识码查找数据库或通过网络查询获得。
参考图像的特征点：参考图像的特征点为参考图像中特征明显的点，可通过特征点检测算法获得。参考图像的特征点可以包括参考图像的顶点，例如，若参考图像为长方型，则特征点可以包括其4个顶点。
当前图像：当前图像为通过可摄像设备获得的包含标识码实物或参考图像实物的当前的图像，其可以用于描述可摄像设备相对于被摄对象的当前状态，通过对当前图像与参考图像的计算，可以获得当前可摄像设备的位置及姿态。
预测图像：为了减少计算量，加快计算速度，在使用参考图像和当前图像计算可摄像设备的位置及姿态过程中，可先计算并获得预测图像，预测图像是一幅预估的虚拟图像。预测图像可以基于参考图像及预测单应矩阵获得。
预测单应矩阵：为获得预测图像，可以先获得预测单应矩阵，再依据预测单应矩阵获得预测图像。预测单应矩阵体现了对预测图像的计算思路，基于不同的计算思路，可以有不同的预测单应矩阵计算方式。
第一类特征点匹配算法：包括如Sift（Scale Invariant Feature Transform，尺度不变特征转换），Surf（Speed Up Robust Feature，加速鲁棒性特征）或其他功能类似的特征点匹配算法。
第二类特征点匹配算法：包括如模版匹配法、交叉相关法、归一化交叉相关法或其他功能类似的特征点匹配算法。
根据本申请的实施例，提供了一种基于标识码的三维交互的方法。本方法的一个典型场景是，一个用户面对一个粘贴有标识码的产品包装，用户拿出手机（作为一种典型的可摄像设备）开启手机的摄像功能，使画面中包含标识码，此时本方法依据手机获得的画面确定手机相对于产品的位置和姿态，将从标识码识别的产品的信息（例如三维影像）叠加到手机的当前画面的产品包装位置，从而实现良好的用户体验。下面详细描述这种交互方法的步骤。
参考图1，图1是本申请实施例的基于标识码的三维交互的方法步骤图。
根据本申请的方法，在步骤S101处，获得可摄像设备拍摄的包含标识码实物的图像，识别标识码并获得标识码所对应的物品信息。所述物品信息可以包括通过识别标识码得到的基本信息（例如：物品ID等），还可以包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据，目标数据中可以有与所述物品信息对应的三维图像。例如，可摄像设备可以是但不限于摄像机、带有摄像功能的移动设备、带有摄像功能的便携设备等等。通过可摄像设备对标识码实物进行拍摄从而获得包含标识码实物的图像。通过对该标识码进行识别得到该标识码所包含的物品信息。
在步骤S102处，获取与所述标识码相关的参考图像以及该参考图像的特征点。
优选地，在数据库中存储与标识码相关的数据，该数据可以包括：标识码对应的物品ID、与该标识码相关的参考图像、以及该参考图像的特征点等内容。
依据识别标识码得到的物品ID查找数据库。若数据库存在与该标识码相关的参考图像以及该参考图像的特征点，则直接获取之；若数据库不存在该标识码相关的参考图像以及该参考图像的特征点则可依据图2步骤S201所述方法获得标识码相关的参考图像，并且可依据图2步骤S202所述方法获得参考图像的特征点并将其存储到所述数据库中。
在步骤S103处，基于所述参考图像以及该参考图像的特征点，获得所述可摄像设备相对于标识码实物的位置和/或姿态。
在步骤S104处，基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。通过在步骤103处得到可摄像设备与标识码实物之间的位置和/或姿态关系之后，用户例如可以将物品信息（例如物品的三维图像）叠加到包含标识码的图像上以达到该物品信息位于标识码实物的位置上的虚实结合的效果，从而实现三维交互。
可选地，通过在步骤S103处，连续获得可摄像设备相对于标识码实物的位置和/或姿态，从而在步骤S104处，获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面，所述预定方式可以是数据显示、三维图像显示、或示意图标（例如，箭头、柱状图）等。
下面参考图2，更详细地描述步骤S102和步骤S103。图2更详细地描述了如何获取与所述标识码相关的参考图像以及该参考图像的特征点并基于其获得可摄像设备相对于标识码实物的位置和/或姿态。
在步骤S201处，基于所获得的包含标识码实物的图像获得标识码的参考图像。所述参考图像可以是该包含标识码实物的图像本身，也可以是基于该包含标识码实物的图像生成的标准标识码图像。更具体地，获得用可摄像设备获取的画面中含有标识码实物的图像，并识别标识码所对应的物品信息，再基于该物品信息并按照标识码生成算法生成一幅标准标识码图像，将其作为参考图像。获取一张参考图像后，将此参考图像存储于存储器中，可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S202处，检测参考图像特征点。例如，查找参考图像中的多个明显的特征点并记录这些特征点在参考图像中的坐标位置，特征点可以包括其参考图像的顶点。特别地，当参考图像为依据物品信息生成的标准标识码，且标准标识码为矩形，则在生成标准标识码时即获得了其4个顶点作为特征点的位置。请注意：由于本方法所涉矩阵计算需要至少4个点对信息，所以如果仅以顶点进行矩阵计算，所述标准标识码应至少有4个顶点。例如，标准标识码不应为三角形，因为无法以其3个顶点进行矩阵计算。
此后，基于该参考图像，并且以生成该参考图像的图像作为第1帧图像。
在步骤S203处，获得可摄像设备拍摄的包含标识码实物的当前图像。
在步骤S204处，获得从该参考图像至当前图像的单应矩阵。
在步骤S205处，基于所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
根据本申请的实施方式，可以参照图3和图4所示出的方法来获得从参考图像至当前图像的单应矩阵。
下面参照图3和图4更详细地描述一个例子，以详细描述如何获得从参考图像至当前图像的单应矩阵。请注意：图3和图4描述中存在与图1、图2描述重复的步骤，不表示需要重复进行相关此步骤，而是旨在保持步骤的连贯。
在步骤S301处，获得用可摄像设备获取的画面中含有标识码实物的当前图像，以图像中包含标识码的帧计数，第1次出现包含标识码的当前图像设为第1帧，第k次出现包含标识码的当前图像设为第k帧。
当k=1时，如图3所示，进行如下步骤以获得从参考图像到当前图像（k=1）的单应矩阵。
在步骤S302处，利用标识码识别算法对此当前图像识别获得标识码在当前图像中的位置、标识码的4个顶点的位置。应当指出：由于在步骤S306处进行的矩阵计算至少需要4个点对的位置，所以步骤S302处，标识码应至少有4个顶点。
在步骤S303处，使用步骤S101获得的物品信息按照标识码生成算法生成一幅标准标识码图像，将其作为参考图像，生成标准标识码图像，同时获得其4个顶点位置。
在步骤S304处，利用特征点检测算法对参考图像进行计算，获得参考图像中的除4个顶点以外的特征点及其位置；特征点检测算法可以是FAST（Features from Accelerated Segment Test，基于加速分割的检测特征）或者Harris（Harris Corner Detector，哈尔斯角点检测算法）角点检测法等方法；一般获得的特征点为多个；例如，获得了6个特征点。本步骤获得的所述特征点在步骤S404使用。
在步骤S305处，以参考图像中标识码的4个顶点与当前图像中标识码的4个顶点构成匹配点对。
在步骤S306处，基于所述匹配点对，构造方程并求解，获得从参考图像至当前图像的单应矩阵
在步骤S307处，以所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
当k>1时，如图4所示进行如下步骤以获得从参考图像到当前图像（k>1）的单应矩阵。
在步骤S401处，获得预测单应矩阵Pk。
在计算参考图像至当前图像的单应矩阵之前需要获得预测图像，该预测图像是一幅预估的图像，利用预测图像可在预测图像的基础上进行参考图像的特征点的匹配点计算，减少计算量，增快计算速度。要获得预测图像首先要获得预测单应矩阵Pk。可以以不同的硬件操作与计算规则的组合获得预测单应矩阵Pk。优选的，以如下方法计算Pk：当k=2时，当k>2时， P k = H k - 1 k - 2 × H k - 1 S , 其中 H k - 1 k - 2 = H k - 1 S × ( H k - 2 S ) - 1 , 其中，表示第k-2帧图像到第k-1帧图像的单应矩阵，表示从参考图像S至第k-1帧图像的单应矩阵（这一单应矩阵可以参照图3来获得）。
在步骤S402处，以预测单应矩阵Pk对参考图像中的预定点的位置进行变换，获得参考图像中的预定点在预测图像中的预测位置；一般而言，所述预定点为参考图像的全部点，即获得参考图像中的全部点在预测图像中的位置。预定点也可以是参考图像中的一部分点。
在步骤S403处，基于所述预定点的预测位置和参考图像中的预定点的相应色值，获得预测图像。
在步骤S404处，以预测单应矩阵Pk对在步骤S304处获得的参考图像中的特征点的位置进行变换，获得参考图像中的特征点在预测图像中的预测位置；例如：对参考图像中的6个特征点的位置进行变换，获得了6个特征点在预测图像中的6个预测位置。
在步骤S405处，在所述各特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的图像匹配块；例如，已获得参考图像的特征点在预测图像中的6个预测位置，则以每个预测位置为中心，以预定大小9×9个像素的正方形（形状）截取预测图像，即获得了6个图像匹配块，每个图像匹配块为9×9像素。
在步骤S406处，以特征点在预测图像中的预测的位置在当前图像中找到相应位置；例如，已获得了预测图像中的6个特征点的6个预测位置，在当前图像找到相应的6个位置。
在步骤S407处，在当前图像各相应位置的周围，在预先设定的范围内，以相应的图像匹配块为标准，利用第二类特征点匹配算法（例如：模版匹配法、交叉相关法或其他功能类似的特征点匹配算法、本实施例优选归一化交叉相关法）获得参考图像的特征点在当前图像中的匹配点；例如，在步骤S406中在当前图像找到了6个相应位置；对其中1个位置，在其周围预设15×15像素的范围，在范围内，利用步骤S405所获得的相应9×9像素的图像匹配块，利用第二类特征点匹配算法找到1个匹配点，即获得匹配点在当前图像中的1个位置；以上述同样方式找到其余5个匹配点及其在当前图像中的5个位置。
在步骤S408处，利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对。例如：步骤S304中获得6个特征点位置，其中一个特征点在参考图像中的位置为（3,9），步骤S407获得6个匹配点位置，与上述特征点相应匹配点在当前图像的位置为（2,8），则[(3,9)；(2,8)]构成1个匹配点对，以同样方式获得其余5个匹配点对，共6个匹配点对。优选的，可以在获得上述匹配点对后，采用Prosac（Progressive Sample Consensus,进展型采样一致性算法）算法或Ransac算法(Random Sample Consensus，随机抽样一致性算法)排除错误点对。例如，已获得6个匹配点对；采用Prosac或Ransac算法可排除其中1个错误的匹配点对，剩余5个匹配点对。
在步骤S409处，以匹配点对获得从参考图像至到当前图像的单应矩阵优选的，可采用奇异值分解算法，或LM迭代优化算法（Levenberg-Marquardt method，LM迭代优化算法），或高斯牛顿算法计算
在步骤S410处，以所述单应矩阵计算并获得可摄像设备相对于标识码实物的位置和/或姿态。
下面，参见图5，其详细地描述了如何利用参考图像获得预测图像的预测单应矩阵的方法的流程图。该方法包括以下步骤。
在步骤S510处，获取一张参考图像S；(本实施例中的参考图像皆指此参考图像，为方便标记，将参考图像记为符号S，在必要时使用)，参考图像可以是预先存储在设备中，或者可以使通过可摄像设备拍摄的一张图像，或其他方式获取的图像；获取一张参考图像后，存储在存储器中，可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S520处，获得利用可摄像设备获取的含有参考图像实物的第一图像A；参考图像实物指一幅以实物形式存在的参考图像，如一张打印的参考图像，或一张印刷的参考图像；如果参考图像是一张以实物拍摄的照片，则参考图像实物可以是参考图像中的实物。
在步骤S530处，获得利用可摄像设备获取的含有参考图像实物的第二图像B。
在步骤S540处，利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵
可采用不同的方法获得和本实施例采用S541-S5410所述的方式获得之。
在步骤S541利用特征点检测算法对参考图像S进行计算，获得参考图像S中的特征点及其位置；特征点检测算法可以是FAST（Features fromAccelerated Segment Test，基于加速分割的检测特征）或者Harris（HarrisCorner Detector，哈尔斯角点检测算法）角点检测法等方法；一般获得的特征点为多个。
在步骤S542处，利用特征点检测算法对第二图像B进行计算，获得第二图像B中的特征点及其位置。
在步骤S543处，利用第一类特征点匹配算法获得参考图像S的特征点在第二图像B中的匹配点及其位置；所述第一类特征点匹配算法包括Sift，Surf等功能类似的特征点匹配算法。
在步骤S544，利用参考图像的特征点和第二图像B中的匹配点构成匹配点对；优选的，可采用Prosac算法或Ransac算法从所述匹配点对中排除误匹配点对。
在步骤S545处，基于所述匹配点对，获得参考图像至第二图像B的单应矩阵
在步骤S546处，利用特征点检测算法对第一图像A进行计算，获得第一图像A中的特征点及其位置。
在步骤S547处，利用第一类特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置。
在步骤S548处，利用参考图像的特征点和第一图像A中的匹配点构成匹配点对；优选的，可采用Prosac算法或Ransac算法从所述匹配点对中排除误匹配点对。
在步骤S549处，基于所述匹配点对，获得参考图像至第一图像A的单应矩阵
在步骤S5410处，获得第一图像A至第二图像B的单应矩阵
在步骤S550处，计算预测图像的预测单应矩阵
下面，参见图6，其图示了如何利用参考图像、预测图像的预测单应矩阵，获得参考图像的特征点在当前图像的匹配点的方法的流程。该方法描述了在一般情况下如何利用参考图像获得预测单应矩阵，以此获得匹配点。
在步骤S601处，获取一张参考图像S(本实施例中的参考图像皆指此参考图像，为方便标记，将参考图像记为符号S，在必要时使用)。参考图像可以是预先存储在设备中，或者可以是通过可摄像设备拍摄的一张图像，或其他方式获取的图像；获取一张参考图像后，即意味着在本方法中，可在需要时获得参考图像的大小信息、参考图像中的选定点的位置信息、色值信息等信息。
在步骤S602处，获得以可摄像设备获取的一张含有参考图像实物的当前图像。参考图像实物指一幅以实物形式存在的参考图像，如一张打印的参考图像，或一张印刷的参考图像，如果参考图像是一张以当前实物拍摄的照片，则参考图像实物可以是参考图像所指的当前实物。
在步骤S603处，获得此参考图像中的特征点及其位置。一般采用特征点检测算法对参考图像进行检测，以获得特征点的位置；特征点检测算法可以是FAST或者Harris角点检测法等方法；一般获得的特征点为多个；例如，获得了6个特征点。
在步骤S604处，基于所述参考图像获得预测图像的预测单应矩阵P。预测图像是一幅预估的图像，利用预测图像可在预测图像的基础上进行参考图像的特征点的匹配点计算，减少计算量，增快计算速度。要获得预测图像首先要获得预测图像的单应矩阵P。可以以不同的硬件操作与计算规则的组合获得预测单应矩阵P；本实施例优选图5所述方式获得预测单应矩阵P，图5中所指参考图像与本实施例中所指参考图像为同一幅。
在步骤S605处，利用预测单应矩阵P对参考图像中的预定点的位置进行变换，获得参考图像中的预定点在预测图像中的预测位置。一般，所述预定点为参考图像的全部点，即获得参考图像全部点在预测图像中的预测位置。
在步骤S606处，基于所述预定点的预测位置和参考图像中的预定点的相应色值，获得预测图像。
在步骤S607处，以预测单应矩阵P对参考图像中的特征点的位置进行变换，获得参考图像的特征点在预测图像中的预测位置；例如：对6个特征点的位置进行变换，获得了6个特征点在预测图像中的6个预测位置。
在步骤S608处，在所述各特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为各特征点的相应的图像匹配块。例如，已获得参考图像的特征点在预测图像中的6个预测位置，则以每个预测位置为中心，以9×9个像素截取预测图像，即获得了6个图像匹配块，每个图像匹配块为9×9像素。
在步骤S609处，以特征点在预测图像中的预测位置在当前图像中找到相应位置。例如，已获得了预测图像中的6个特征点的6个预测位置，在当前图像找到相应的6个位置。
在步骤S610处，在当前图像中各相应位置的周围，在预先设定的范围内，以相应的图像匹配块为标准，利用第二类特征点匹配算法（例如：模版匹配法、交叉相关法或其他功能类似的特征点匹配算法、本实施例优选归一化交叉相关法）获得参考图像的特征点在当前图像中的匹配点及其位置。例如，在步骤S609中在当前图像找到了6个相应位置；对其中1个位置，在其周围预设15×15像素的范围，在范围内，利用步骤S608所获得的相应9×9像素的图像匹配块，利用特征点匹配算法找到1个匹配点，即获得匹配点在当前图像中的1个位置；以上述同样方式找到其余5个匹配点及其在当前图像中的5个位置。
参见图7，其图示了本申请的获得从参考图像至当前图像的单应矩阵的方法的另一实施例。对本方法的步骤中与上述参照图6描述的方法中功能相同的步骤，其技术细节也如上述参照图6描述的方法中相应步骤所述，不再赘述。该方法包括以下步骤。
在步骤S701处，获取一张参考图像S（本实施例中的参考图像皆指此参考图像，为方便标记，将参考图像记为符号S，在必要时使用）。
在步骤S702处，获得以可摄像设备获取的一张含有参考图像实物的当前图像。
在步骤S703处，获得参考图像中的特征点及其位置。
在步骤S704处，获得参考图像中的特征点在当前图像中的匹配点及其位置；可采用不同的方式获得参考图像的特征点在当前图像中的匹配点，本实施例优选采用图6及其方法所述方式，图6及其方法中所述参考图像、当前图像分别与本实施例中所述参考图像、当前图像相同。
在步骤S705处，利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；即由步骤S703获得的参考图像的特征点在参考图像中的位置与步骤S704获得的当前图像中的匹配点在当前图像中的位置构成匹配点对。例如：步骤S703中获得6个特征点位置，其中一个特征点在参考图像中的位置为（3,9），步骤S704获得6个匹配点位置，与上述特征点相应匹配点在当前图像的位置为（2,8），则[(3,9)；(2,8)]构成1个匹配点对，以同样方式获得其余5个匹配点对，共6个匹配点对。优选的，可以再获得上述匹配点对后，采用Prosac或Ransac算法排除错误点对。例如，已获得6个匹配点对；采用Prosac或Ransac算法可排除其中1个错误的匹配点对，剩余5个匹配点对。
在步骤S706处，以匹配点对获得从参考图像至当前图像的单应矩阵H。优选的，可采用奇异值分解算法，或LM迭代算法，或高斯牛顿算法计算H。例如；在步骤S705中获得了5个匹配点对，采用奇异值分解算法计算获得H。
下面，将描述图8，其图示了本申请的一种基于标识码的三维交互的***的方框图。该***可以包括标识码获取与识别模块801、参考图像获取模块802、位置与姿态获取模块803、以及交互模块804。
标识码获取与识别模块801可以用于获得可摄像设备拍摄的包含标识码实物的图像，并识别标识码所对应的物品信息。参考图像获取模块802可以用于获取与所述标识码相关的参考图像以及该参考图像的特征点。位置与姿态获取模块803可以用于基于所述参考图像和所述特征点，计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息。交互模块804可以用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。
优选地，所述交互模块804进一步被配置成：基于由物品信息获得物品的三维图像，将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
优选地，所述交互模块804进一步被配置成：利用连续帧可摄像设备拍摄的标识码实物的图像连续获得可摄像设备相对于标识码实物的位置和姿态，从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面。
优选地，所述参考图像获取模块802被配置成：获得利用可摄像设备获取的画面中含有标识码实物的初始图像，基于初始图像获得参考图像；以及利用特征点检测算法对参考图像进行计算，获得参考图像中的特征点及其位置。
优选地，所述位置与姿态获取模块803被配置成：获得可摄像设备拍摄的包含标识码实物的当前图像；基于所述参考图像和当前图像，获得从参考图像至当前图像的单应矩阵；以及基于所述单应矩阵，获得可摄像设备相对于标识码实物的位置和/或姿态信息。
优选地，基于所述参考图像和当前图像，获得从参考图像至当前图像单应矩阵包括：获得标识码在初始图像中4个顶点的位置；以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
优选地，基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵包括：利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点；利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；以及以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
本申请的***所包括的各个模块的具体实施与本申请的方法中的步骤的具体实施是相对应的，为了不模糊本申请，在此省略对各个模块的具体细节进行描述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (25)

1.一种基于标识码的三维交互的方法，其特征在于，包括：
获得可摄像设备拍摄的包含标识码实物的图像，识别标识码并获得标识码所对应的物品信息；
获取与所述标识码相关的参考图像以及该参考图像的特征点；
基于所述参考图像和所述特征点，计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息；以及
基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。
2.根据权利要求1所述方法，其特征在于，所述物品信息包括通过识别标识码得到的基本信息。
3.根据权利要求2所述方法，其特征在于，所述物品信息包括依据所述基本信息通过本地数据库或网络获得进一步的用于交互的目标数据，所述目标数据中包括所述物品信息对应的三维图像。
4.根据权利要求1所述方法，其特征在于，所述三维交互包括：
基于由物品信息获得物品的三维图像，将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
5.根据权利要求1所述方法，其特征在于，所述三维交互包括：
连续获得可摄像设备相对于标识码实物的位置和姿态，从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面。
6.根据权利要求1所述的方法，其特征在于，获取与所述标识码相关的参考图像以及该参考图像的特征点包括：
获得利用可摄像设备获取的画面中含有标识码实物的初始图像，基于初始图像获得参考图像，
利用特征点检测算法对参考图像进行计算，获得参考图像中的特征点及其位置。
7.根据权利要求6所述的方法，其特征在于，基于所述初始图像获得参考图像包括：
将所述初始图像作为参考图像，或者基于所述物品信息按照标识码生成算法生成一幅标准标识码，将所述标准标识码作为参考图像。
8.根据权利要求6所述的方法，其特征在于，获得可摄像设备相对于标识码实物的位置和/或姿态信息包括：
获得可摄像设备拍摄的包含标识码实物的当前图像；
基于所述参考图像和当前图像，获得从参考图像至当前图像的单应矩阵；以及
基于所述单应矩阵，获得可摄像设备相对于标识码实物的位置和/或姿态信息。
9.根据权利要求8所述的方法，其特征在于，基于所述参考图像和当前图像，获得从参考图像至当前图像单应矩阵包括：
获得标识码在初始图像中4个顶点的位置；
以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对；以及
基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
10.根据权利要求8所述的方法，其特征在于，基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵包括：
利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点；
利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；以及
以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
11.根据权利要求10所述方法，其特征在于，利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点，包括：
获得预测图像，其中所述预测图像是基于当前图像之前已经获取的图像利用预定算法计算获得的用于预测当前图像的图像；
计算获得参考图像中的特征点在预测图像中的预测位置；以及
以参考图像中的特征点在预测图像中的预测位置在当前图像中找到相应预定位置；
在所述各参考图像中的特征点在预测图像中的预测位置的周围以预定的大小和形状截取预测图像的一部分作为每个特征点的相应的预定图像匹配块；以及
在当前图像各预定位置的周围，在预先设定的范围内，以预定的图像匹配块为标准，利用第二类特征点匹配算法获得参考图像的特征点在当前图像中的匹配点。
12.根据权利要求11所述方法，其特征在于，以如下方式获得预测图像及参考图像中的特征点在预测图像中的预测位置：
获得可摄像设备拍摄的含有标识码实物的第一图像A，
获得可摄像设备拍摄的含有标识码实物的第二图像B，
所述第一图像A，第二图像B为在当前图像之前获取的图像，
利用参考图像、第一图像A、第二图像B获得参考图像至第二图像B的单应矩阵第一图像A至第二图像B的单应矩阵
计算预测图像的预测单应矩阵
以预测单应矩阵P对参考图像进行变换，获得预测图像，
以预测单应矩阵P对参考图像中的特征点的位置进行变换，获得参考图像中的特征点在预测图像中的预测位置。
13.根据权利要求12所述方法，其特征在于，
所述第二图像B为当前图像的前一帧图像，所述第一图像A为当前图像的前两帧图像。
14.一种基于标识码的三维交互的***，其特征在于，包括：
标识码获取与识别模块，用于获得可摄像设备拍摄的包含标识码实物的图像，识别标识码并获得标识码所对应的物品信息；
参考图像获取模块，用于获取与所述标识码相关的参考图像以及该参考图像的特征点；
位置与姿态获取模块，用于基于所述参考图像和所述特征点，计算并获得可摄像设备相对于标识码实物的位置和/或姿态信息；以及
交互模块，用于基于所述可摄像设备相对于标识码实物的位置和/或姿态与所述标识码对应的物品信息，进行三维交互。
15.根据权利要求14所述的***，其特征在于，所述交互模块进一步被配置成：
基于由物品信息获得物品的三维图像，将所述三维图像叠加到可摄像设备拍摄的当前图像中的标识码上或标识码所在的物品位置上。
16.根据权利要求14所述的***，其特征在于，所述交互模块进一步被配置成包括：
连续获得可摄像设备相对于标识码实物的位置和姿态，从而获得可摄像设备与标识码或标识码所在实物的相对移动速度或加速度或两者，以预定方式将所述移动速度或加速度或两者传递到用户界面。
17.根据权利要求14所述的***，其特征在于，参考图像获取模块被配置成：
获得利用可摄像设备获取的画面中含有标识码实物的初始图像，基于初始图像获得参考图像；以及
利用特征点检测算法对参考图像进行计算，获得参考图像中的特征点及其位置。
18.根据权利要求17所述的***，其特征在于，位置与姿态获取模块被配置成：
获得可摄像设备拍摄的包含标识码实物的当前图像；
基于所述参考图像和当前图像，获得从参考图像至当前图像的单应矩阵；以及
基于所述单应矩阵，获得可摄像设备相对于标识码实物的位置和/或姿态信息。
19.根据权利要求18所述的***，其特征在于，基于所述参考图像和当前图像，获得从参考图像至当前图像单应矩阵包括：
获得标识码在初始图像中4个顶点的位置；
以参考图像的4个顶点与初始图像中标识码的4个顶点构成匹配点对;以及
基于匹配点对获得从参考图像变换到当前图像的单应矩阵。
20.根据权利要求18所述的***，其特征在于，基于所述参考图像和当前图像、获得从参考图像至当前图像的单应矩阵包括：
利用特征点匹配算法获得参考图像的特征点在当前图像中的匹配点；
利用参考图像中的特征点和所述当前图像中的匹配点构成匹配点对；以及
以所述匹配点对获得从参考图像至到当前图像的单应矩阵。
21.一种利用参考图像获得预测图像的预测单应矩阵的方法，其特征在于包括以下步骤：
获取一张参考图像S；
获得利用可摄像设备获取的含有参考图像实物的第一图像A，
获得利用可摄像设备获取的含有参考图像实物的第二图像B，
利用参考图像S、第一图像A、第二图像B获得参考图像S至第二图像B的单应矩阵并获得第一图像A至第二图像B的单应矩阵
计算预测图像的预测单应矩阵
22.如权利要求21所述方法，其特征在于，采用如下步骤获得单应矩阵
利用特征点检测算法对参考图像S进行计算，获得参考图像S中的特征点及其位置；
利用特征点检测算法对第二图像B进行计算，获得第二图像B中的特征点及其位置；
利用特征点匹配算法获得参考图像S的特征点在第二图像B中的匹配点及其位置；
利用参考图像的特征点和第二图像B中的匹配点构成匹配点对；
基于所述匹配点对，获得参考图像至第二图像的单应矩阵
23.权利要求21或22所述方法，其特征在于，采用如下方式获得第一图像至第二图像的单应矩阵
利用特征点检测算法对参考图像S进行计算，获得参考图像S中的特征点及其位置；
利用特征点检测算法对第一图像A进行计算，获得第一图像A中的特征点及其位置；
利用特征点匹配算法获得参考图像S的特征点在第一图像A中的匹配点及其位置；
利用参考图像的特征点和第一图像A中的匹配点构成匹配点对；
基于所述匹配点对，获得参考图像至第一图像A的单应矩阵
获得第一图像A至第二图像B的单应矩阵
24.如权利要求22所述的方法，其特征在于，在利用参考图像的特征点和第二图像B中的匹配点构成的步骤中采用Prosac算法或Ransac算法排除误匹配点对，并基于经过排除处理的匹配点对，获得参考图像至第二图像的单应矩阵
25.如权利要求23所述的方法，其特征在于，在利用参考图像的特征点和第一图像A中的匹配点构成匹配点对的步骤中采用Prosac算法或Ransac算法排除误匹配点对，并基于经过排除处理的匹配点对，获得参考图像至第一图像A的单应矩阵
CN201310047346.2A 2013-02-06 2013-02-06 一种基于标识码的三维交互的方法和*** Expired - Fee Related CN103971400B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201310047346.2A CN103971400B (zh) 2013-02-06 2013-02-06 一种基于标识码的三维交互的方法和***
TW102126657A TWI587205B (zh) 2013-02-06 2013-07-25 Method and system of three - dimensional interaction based on identification code
US14/172,654 US9195871B2 (en) 2013-02-06 2014-02-04 Information processing method and system
EP14710073.9A EP2954390B1 (en) 2013-02-06 2014-02-05 Image-based information processing method and system
EP20156185.9A EP3674853A1 (en) 2013-02-06 2014-02-05 Image-based information processing method and system
PCT/US2014/014792 WO2014123954A2 (en) 2013-02-06 2014-02-05 Information processing method and system
US14/885,232 US9430835B2 (en) 2013-02-06 2015-10-16 Information processing method and system
US15/210,034 US9704247B2 (en) 2013-02-06 2016-07-14 Information processing method and system
US15/618,469 US10121099B2 (en) 2013-02-06 2017-06-09 Information processing method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310047346.2A CN103971400B (zh) 2013-02-06 2013-02-06 一种基于标识码的三维交互的方法和***

Publications (2)

Publication Number Publication Date
CN103971400A true CN103971400A (zh) 2014-08-06
CN103971400B CN103971400B (zh) 2018-02-02

Family

ID=51240847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310047346.2A Expired - Fee Related CN103971400B (zh) 2013-02-06 2013-02-06 一种基于标识码的三维交互的方法和***

Country Status (5)

Country Link
US (4) US9195871B2 (zh)
EP (2) EP2954390B1 (zh)
CN (1) CN103971400B (zh)
TW (1) TWI587205B (zh)
WO (1) WO2014123954A2 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105515935A (zh) * 2014-09-22 2016-04-20 阿里巴巴集团控股有限公司 一种交互信息中doi的处理方法及装置
WO2016095438A1 (zh) * 2014-12-19 2016-06-23 深圳市金立通信设备有限公司 一种二维码操控方法及终端
CN106331639A (zh) * 2016-08-31 2017-01-11 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN107633526A (zh) * 2017-09-04 2018-01-26 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
CN108154526A (zh) * 2016-12-06 2018-06-12 奥多比公司 突发模式图像的图像对准
CN108711188A (zh) * 2018-02-24 2018-10-26 石化盈科信息技术有限责任公司 一种基于ar的工厂实时数据展示方法及***
CN109525538A (zh) * 2017-09-20 2019-03-26 丰盛数位有限公司 用于增强现实认证的互动方法及***
CN109906458A (zh) * 2016-09-01 2019-06-18 奥卓解决方法公司 用于生成表面特征码的方法和***
WO2019223468A1 (zh) * 2018-05-22 2019-11-28 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及***
CN110852951A (zh) * 2019-11-08 2020-02-28 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111290676A (zh) * 2020-03-02 2020-06-16 北京金山安全软件有限公司 客户端中指定区域的图片的截取方法、装置及设备
CN111754449A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 基于光通信装置的场景重构方法和相应的电子设备
CN113495979A (zh) * 2020-04-06 2021-10-12 德国邮政股份公司 唯一的对象面id
WO2021217398A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN115356840A (zh) * 2022-09-01 2022-11-18 广东粤港澳大湾区黄埔材料研究院 一种显微镜的锁焦方法及装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6360050B2 (ja) * 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和***
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9846948B2 (en) * 2014-07-09 2017-12-19 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using feature point optimization
WO2016017253A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US11308642B2 (en) * 2017-03-30 2022-04-19 Visualimits Llc Automatic region of interest detection for casino tables
US10650550B1 (en) * 2016-03-30 2020-05-12 Visualimits, Llc Automatic region of interest detection for casino tables
US10217312B1 (en) * 2016-03-30 2019-02-26 Visualimits, Llc Automatic region of interest detection for casino tables
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
US9871774B1 (en) * 2016-09-29 2018-01-16 International Business Machines Corporation Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices
US10417738B2 (en) 2017-01-05 2019-09-17 Perfect Corp. System and method for displaying graphical effects based on determined facial positions
TWI649998B (zh) * 2017-11-21 2019-02-01 鴻海精密工業股份有限公司 立體影像顯示方法及裝置
CN108022301B (zh) 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
EP3667236B1 (en) * 2018-12-13 2023-09-06 Ordnance Survey Limited A method of determining position data
CN109815764B (zh) * 2019-01-16 2022-04-08 王诗会 图像内部机读信息的读取方法及***
CN110210584B (zh) * 2019-05-14 2022-10-21 武汉工程大学 一种基于改进surf复合算法的高速动态二维码识别方法
SG10201913798WA (en) * 2019-12-30 2021-07-29 Sensetime Int Pte Ltd Image processing method and apparatus, and electronic device
US11354883B2 (en) 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
US11416079B2 (en) 2020-12-03 2022-08-16 Motorola Mobility Llc Snap motion gesture detection and response
JP2022145190A (ja) * 2021-03-19 2022-10-03 株式会社リコー 情報処理システム、位置管理方法、情報処理装置及びプログラム
CN113051953A (zh) * 2021-04-08 2021-06-29 广州百视信通智能科技有限公司 一种基于二维码定位的ar虚拟商品展示方法
CN113128448B (zh) * 2021-04-29 2024-05-24 平安国际智慧城市科技股份有限公司 基于肢体识别的视频匹配方法、装置、设备及存储介质
EP4254336A1 (en) * 2022-03-30 2023-10-04 Auki Labs AG A computer implemented method for locating an electronic device in a coordinate system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3086151B2 (ja) 1995-05-18 2000-09-11 シャープ株式会社 二次元バーコード処理機能付き情報処理装置
JP2003531442A (ja) 2000-04-18 2003-10-21 株式会社アマスコリア 識別番号生成方法とこれを用いた電子告知および電子検針サービス方法およびシステム
US6634552B2 (en) * 2001-09-26 2003-10-21 Nec Laboratories America, Inc. Three dimensional vision device and method, and structured light bar-code patterns for use in the same
KR100560735B1 (ko) 2002-05-06 2006-03-14 이승철 식별코드를 이용한 맵정보 검색 방법
US7231063B2 (en) 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US20100020970A1 (en) * 2006-11-13 2010-01-28 Xu Liu System And Method For Camera Imaging Data Channel
CN101339654A (zh) 2007-07-04 2009-01-07 北京威亚视讯科技有限公司 一种基于标志点的增强现实三维注册方法和***
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
CN102254345A (zh) 2011-06-30 2011-11-23 上海大学 基于云计算的自然特征注册方法
US20130068839A1 (en) * 2011-09-21 2013-03-21 Symbol Technologies, Inc. Method of and apparatus for imaging targets by utilizing multiple imaging modules with on-board local microprocessors
CN102800065B (zh) * 2012-07-13 2015-07-29 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、***及移动终端
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和***

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105515935B (zh) * 2014-09-22 2019-09-27 阿里巴巴集团控股有限公司 一种交互信息中doi的处理方法及装置
CN105515935A (zh) * 2014-09-22 2016-04-20 阿里巴巴集团控股有限公司 一种交互信息中doi的处理方法及装置
WO2016095438A1 (zh) * 2014-12-19 2016-06-23 深圳市金立通信设备有限公司 一种二维码操控方法及终端
CN106331639B (zh) * 2016-08-31 2019-08-27 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN106331639A (zh) * 2016-08-31 2017-01-11 浙江宇视科技有限公司 一种自动确定摄像机位置的方法及装置
CN109906458A (zh) * 2016-09-01 2019-06-18 奥卓解决方法公司 用于生成表面特征码的方法和***
CN109906458B (zh) * 2016-09-01 2023-06-30 奥卓解决方法公司 用于生成表面特征码的方法和***
CN108154526B (zh) * 2016-12-06 2023-09-22 奥多比公司 突发模式图像的图像对准
CN108154526A (zh) * 2016-12-06 2018-06-12 奥多比公司 突发模式图像的图像对准
US11164323B2 (en) 2017-09-04 2021-11-02 Tencent Technology (Shenzhen) Company Limited Method for obtaining image tracking points and device and storage medium thereof
CN107633526A (zh) * 2017-09-04 2018-01-26 腾讯科技（深圳）有限公司 一种图像跟踪点获取方法及设备、存储介质
CN109525538A (zh) * 2017-09-20 2019-03-26 丰盛数位有限公司 用于增强现实认证的互动方法及***
CN109525538B (zh) * 2017-09-20 2021-08-24 丰盛数位有限公司 用于增强现实认证的互动方法及***
CN108711188A (zh) * 2018-02-24 2018-10-26 石化盈科信息技术有限责任公司 一种基于ar的工厂实时数据展示方法及***
WO2019223468A1 (zh) * 2018-05-22 2019-11-28 腾讯科技（深圳）有限公司 相机姿态追踪方法、装置、设备及***
US11321870B2 (en) 2018-05-22 2022-05-03 Tencent Technology (Shenzhen) Company Limited Camera attitude tracking method and apparatus, device, and system
CN111754449A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 基于光通信装置的场景重构方法和相应的电子设备
CN110852951A (zh) * 2019-11-08 2020-02-28 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN110852951B (zh) * 2019-11-08 2023-04-07 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及计算机可读存储介质
CN111290676A (zh) * 2020-03-02 2020-06-16 北京金山安全软件有限公司 客户端中指定区域的图片的截取方法、装置及设备
CN111290676B (zh) * 2020-03-02 2021-02-12 北京金山安全软件有限公司 客户端中指定区域的图片的截取方法、装置及设备
CN113495979A (zh) * 2020-04-06 2021-10-12 德国邮政股份公司 唯一的对象面id
CN113853577A (zh) * 2020-04-28 2021-12-28 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
WO2021217398A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 图像的处理方法及装置、可移动平台及其控制终端、计算机可读存储介质
CN115356840A (zh) * 2022-09-01 2022-11-18 广东粤港澳大湾区黄埔材料研究院 一种显微镜的锁焦方法及装置

Also Published As

Publication number Publication date
US20170277989A1 (en) 2017-09-28
EP2954390B1 (en) 2020-04-01
EP3674853A1 (en) 2020-07-01
US20140217178A1 (en) 2014-08-07
US10121099B2 (en) 2018-11-06
TW201432548A (zh) 2014-08-16
US9704247B2 (en) 2017-07-11
CN103971400B (zh) 2018-02-02
US20160035097A1 (en) 2016-02-04
EP2954390A2 (en) 2015-12-16
US9430835B2 (en) 2016-08-30
WO2014123954A2 (en) 2014-08-14
US20160321814A1 (en) 2016-11-03
WO2014123954A3 (en) 2014-10-16
US9195871B2 (en) 2015-11-24
TWI587205B (zh) 2017-06-11

Similar Documents

Publication Publication Date Title
CN103971400A (zh) 一种基于标识码的三维交互的方法和***
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
CN105637530B (zh) 一种使用众包视频的3d模型更新的方法及***
CN106233371B (zh) 选择用于显示的时间分布的全景图像
CN109582880B (zh) 兴趣点信息处理方法、装置、终端及存储介质
Niu et al. Resource-efficient and automated image-based indoor localization
EP2903256B1 (en) Image processing device, image processing method and program
CN104090970A (zh) 兴趣点的展现方法及装置
CN104281840A (zh) 一种基于智能终端定位识别建筑物的方法及装置
Özcan et al. An augmented reality application for smart campus urbanization: MSKU campus prototype
CN111459269B (zh) 一种增强现实显示方法、***及计算机可读存储介质
US20160019223A1 (en) Image modification
WO2018158495A1 (en) Method and system of providing information pertaining to objects within premises
Zhou et al. Indoor positioning algorithm based on improved convolutional neural network
Frahm et al. Geo-registered 3D models from crowdsourced image collections
CN104102732A (zh) 图像展现方法及装置
Park et al. Estimating the camera direction of a geotagged image using reference images
Mantoro et al. A Support Vector Machine Classification of Computational Capabilities of 3D Map on Mobile Device for Navigation Aid.
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
US9230366B1 (en) Identification of dynamic objects based on depth data
Liu et al. Robust and accurate mobile visual localization and its applications
US10878278B1 (en) Geo-localization based on remotely sensed visual features
Ecklbauer A mobile positioning system for android based on visual markers
Gupta et al. Image feature detection using an improved implementation of maximally stable extremal regions for augmented reality applications
US9245192B2 (en) Ad collateral detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1197487

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1197487

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202