CN104335649A - 基于图像匹配的确定智能手机位置和姿态的方法和*** - Google Patents
基于图像匹配的确定智能手机位置和姿态的方法和*** Download PDFInfo
- Publication number
- CN104335649A CN104335649A CN201280072738.8A CN201280072738A CN104335649A CN 104335649 A CN104335649 A CN 104335649A CN 201280072738 A CN201280072738 A CN 201280072738A CN 104335649 A CN104335649 A CN 104335649A
- Authority
- CN
- China
- Prior art keywords
- information
- attitude
- geo
- user terminal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/0009—Transmission of position information to remote stations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
Abstract
本发明涉及一种用于确定位置和姿态的方法和***,能有效地被用于基于位置的服务。其通过使用在网络中的服务器上或用户终端上预先建立的地理定位参考图像数据库,以及用户终端的摄像头所拍摄的图像,精确地确定诸如智能手机的用户终端的关于位置和姿态的信息,并将所确定的位置和姿态提供给用户终端。
Description
技术领域
本发明总体涉及确定用户终端(例如智能手机)的位置和姿态的方法和***,更具体地,涉及确定位置和姿态的方法和***,其使用地理定位参考图像数据库(DB)更精确地确定用户终端(例如智能手机)的位置和姿态的信息,该地理定位参考图像数据库(DB)预先在用户终端或网络上的服务器中构建,从而使用户终端能够有效地利用所确定的关于位置服务的信息。
背景技术
近来,由于智能手机用户的数量增加以及智能手机的使用急剧扩大,基于地图的道路导航***或提供额外信息的***的需求急剧增加。为了通过这种***提供信息,必须在真实世界的座标系中准确地检测智能手机的位置和姿态。然而,使用安装在终端中的全球定位***(GPS)确定用户位置目前具有误差范围大的缺点并且几乎不可能提供户内区域的信息。
发明内容
技术问题
因此,本发明旨在解决上述问题。本发明的一个目标是提供一种确定位置和姿态的方法和***,其使用地理定位参考图像数据库(DB),由从用户终端传输的传感器信息和图像信息更精确地确定用户终端(例如智能手机)的关于位置和姿态的信息,所述地理定位参考图像数据库预先在用户终端或网络上的服务器中构建,从而使用户终端有效地使用所确定的关于定位服务的信息。
技术方案
对本发明的特征进行概括,为实现上述目标,根据本发明的一个方面,一种确定用户终端的位置和姿态的***包括:位置/姿态确定服务器,用于接收从用户终端传输的与位置和姿态相关的传感器信息以及摄像头图像,所述用户终端通过网络与所述位置/姿态确定服务器协同运作,其中,所述位置/姿态确定服务器由从用户终端传输的所述与位置和姿态相关的传感器信息和摄像头图像,通过基于光束平差法(bundle adjustment)的地理定位确定用户终端的位置信息和姿态信息,并将所述位置信息和姿态信息回馈到用户终端。
所述位置/姿态确定服务器可以包括:初始位置/姿态确定模块,用于基于所述传感器信息确定用户终端的初始位置信息和初始姿态信息;数据库,用于预先存储地理定位参考图像,在所述地理定位参考图像中指明了在通过地理定位获取图像时所获得的各个摄像头的位置和姿态;搜索模块,用于在数据库中搜索地理定位参考图像,所述地理定位参考图像包括与接收到的摄像头图像相似的图像;图像匹配模块,用于将接收到的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置相对应的图像点的座标作为连接点(tie point);以及位置/姿态调整模块,用于对匹配的图像执行基于光束平差法的地理定位过程,然后对初始位置信息和初始姿态信息进行校正,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
所述传感器信息可以包括由全球定位***(GPS)模块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数据。
所述图像匹配模块可以提取在将从用户终端传输的多个摄像头图像中的任何两个图像相互比对时的连接点,以及提取在将从用户终端传输的对应摄像头图像与找到的地理定位参考图像相互比对时的连接点,并且提取可靠的连接点以使得所提取的多个连接点在一单个点处会合,从而使误差最小化。
所述位置/姿态调整模块可以由实时地从用户终端传输的传感器信息和摄像头图像来确定最终位置信息和最终姿态信息,并将最终位置信息和最终姿态信息实时地回馈到用户终端。
所述用户终端可以基于回馈的最终位置信息和最终姿态信息,在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信息,并在屏幕中的地图上显示所接收到的信息。
根据本发明的另一个方面,一种确定用户终端的位置和姿态的方法,包括:由通过网络与用户终端协同运作的服务器,接收由用户终端获取的与位置和姿态相关的传感器信息和摄像头图像;所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信息和摄像头图像,通过基于光束平差法的地理定位来确定所述用户终端的位置信息和姿态信息;以及所述服务器将所述位置信息和所述姿态信息回馈到所述用户终端。
确定所述用户终端的位置信息和姿态信息并将这些信息回馈到所述用户终端可以包括:根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息;在数据库中搜索地理定位参考图像,所述地理定位参考图像包括与接收到的摄像头图像相似的图像,在所述数据库中预先存储了地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;经由地理定位获取所述位置和姿态;将所接收的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点的座标作为连接点;以及对所述匹配的图像执行基于光束平差法的地理定位过程,然后对初始位置信息和初始姿态信息进行校正,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
根据本发明的又一个方面,一种用于确定用户终端的位置和姿态的方法,包括:使用摄像头获取摄像头图像,并且使用一个或多个传感器测量与位置和姿态相关的传感器信息;根据所述传感器信息确定初始位置信息和初始姿态信息;在数据库中搜索包括与所述摄像头图像相似的图像的地理定位参考图像,所述数据库中预先存储了地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;将该摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点的座标来作为连接点;以及对所述匹配的图像执行基于光束平差法的地理定位过程,然后对初始位置信息和初始姿态信息进行校正,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
根据本发明的又一个方面,一种确定用户终端的位置和姿态的装置,包括:摄像头,用于获取摄像头图像;传感器模块,用于测量与位置和姿态相关的传感器信息;初始位置/姿态确定模块,用于基于所述传感信息确定初始位置信息和初始姿态信息;数据库,所述数据库用于预先存储地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;搜索模块,用于在所述数据库中搜索包括与所述摄像头图像相似的图像的地理定位参考图像;图像匹配模块,用于将所述摄像头图像与找到的地理定位参考图像相互比对,并且提取与匹配的图像的位置对应的图像点的座标来作为连接点;以及位置/姿态调整模块,用于对所述匹配的图像执行基于光束平差法的地理定位过程,然后对所述初始位置信息和初始姿态信息进行校正,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
有益效果
根据本发明的确定用户终端的位置和姿态的方法和***,使用地理定位参考图像数据库(DB)和由摄像头拍摄的图像更精确地确定关于用户终端的位置和姿态的信息,并将其提供给所述用户终端,从而所述用户终端可以有效地将所确定的信息用于基于位置的服务。被提供给所述用户终端的所述与位置和姿态相关的信息可以用于户内和户外,并且可以有效地用于基于位置的服务,例如精确道路导航服务、提供额外信息的服务以及增强现实的服务。
附图说明
图1是示出根据本发明实施例的确定用户终端的位置和姿态的***的示意图;
图2是示出图1的用户终端和位置/姿态确定服务器的详细方框图;
图3是示出根据本发明实施例的确定用户终端的位置和姿态的***的操作流程图。
具体实施方式
以下,将参考附图以及附图中的细节详细描述本发明的优选实施例,但本发明不限于这些实施例。
图1是示出根据本发明实施例的确定用户终端的位置和姿态的***100的示意图。
参见图1,根据本发明实施例的确定用户终端的位置和姿态的***100包括:位置/姿态确定服务器120,用于通过网络协同用户终端110操作,并且所述网络可以包括基于位置的服务(LBS)服务器,该服务器用于向用户终端110提供与用户终端110的位置和姿态相关的LBS服务信息。
此时,根据通信环镜,所述网络可以是(但不仅限于),因特网(包括Wi-Fi网络),并且可以包括无线移动通信网络,诸如宽带码分多址移动通信***(WCDMA,包括第三代(3G)或基于长期演进(LTE)的4G)或无线宽带(WiBro)网络,或者包括有线电话网络等。在用户终端110通过网络同与用户终端协同的位置/姿态确定服务器120协同操作时,用户终端110可以被提供传输与位置和姿态相关的信息(传感器信息、摄像头图像信息等)的服务,所述与位置和姿态相关的信息由用户终端110从户内或户外区域获得,并且用户终端110可以从位置/姿态确定服务器120接收经更精确校正的与位置和姿态相关的信息来作为回馈信息,该信息是通过对与拍摄摄像头图像时的位置和姿态相关的信息进行校正来获得的。
根据使用环境,用户终端110是能访问网络(例如互联网)并能利用数据服务的终端,其可以是(但不仅限于)智能手机(例如iPod或Android手机),或者可以是便携或移动终端,诸如移动电话或能通过网络进行通信的个人通信服务(PCS)电话、能进行无线通信的同步/异步国际移动通信-2000(IMT-2000)终端、个人数字助理(PDA)、无线应用协议(WAP)电话、移动PS(Play Station)游戏机、或其它类型的便携多媒体播放器(PMP),可以是笔记本式个人计算机(PC)、台式PC、掌上PC,并且可以包括能与其它电子应用通信并且被全社会广泛使用的家用或商用的各种类型的电子应用或设备。
用户终端110可以在与网络上的LBS服务器通信时,接收与相应的位置或姿态相关的服务信息,该服务信息是基于最终位置信息(纬度、经度、高度等)或最终姿态信息(由位置/姿态确定服务器120精确估算并回馈的旋转角信息,例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)、重力方向(首摇轴方向),并且可以在屏幕中的地图上显示相应信息。例如,用户终端110可以在地图上提供更精确的道路导航服务(例如导航***所提供的服务),提供增强现实的服务以更准确地结合适合于给定姿态的(虚拟)图像,并且提供适宜于用户终端110的精确位置和姿态的各种类型的额外信息。
以下,将参考用户终端110的方框图和图2的位置/姿态确定服务器120以及图3的流程图对根据本发明实施例的用于确定用户终端的位置和姿态的***100的操作进行详细描述。
如图2所示,用户终端110包括传感器模块111、摄像头112以及采集传输模块113,并且位置/姿态确定服务器120包括初始位置/姿态确定模块121、图像数据库(DB)122、图像搜索模块123、图像匹配模块124以及位置/姿态调整模块125。
首先,在用户终端110中,根据用户的操作或当前服务的预定应用程序的操作,传感器模块111测量与位置和姿态(PA)相关的传感器信息,摄像头112拍摄周围图像(可以是多个静止或运动图像)并产生摄像头图像,并且采集传输模块113采集这种与位置和姿态(PA)相关的传感器信息和摄像头图像(信息),并且将所采集的信息传输到位置/姿态确定服务器120(图3,S10)。
此时,传感器模块111测量的与位置和姿态(PA)相关的传感器信息可以是由全球定位***(GPS)模块测量的位置数据(纬度、经度、高度等)、由指南针模块测量的方向数据(与运动方向有关的信息)、由陀螺仪传感器测量的姿态数据(与角速度的增量相关的旋转角信息,例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)和重力方向(首摇轴方向)),或者由加速度传感器测量的加速度数据(与在运动方向上的速度增量相关的加速度信息)。
如果从用户终端110传输与位置和姿态(PA)相关的传感器信息和摄像头图像,那么,初始位置/姿态确定模块121根据与位置和姿态(PA)相关的传感器信息,确定初始位置信息(λ,h)(纬度、经度、高度等)和初始姿态信息(θRoll,θPitch,θYaw)(旋转角信息,例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)、重力方向(首摇轴方向))来作为用户终端110的初始外部取向参数(图3,S20)。
初始位置/姿态确定模块121通过将指南针模块的方向数据、陀螺仪传感器的姿态数据、加速度传感器的加速度数据等与位置和姿态(PA)相关的传感器信息应用到预定的导航方程式中,可以估算速度并确定位置信息和姿态信息,并且通过将GPS模块的位置数据额外地应用到所提供的卡尔曼滤波器(Kalman filter),可以确定上述初始位置信息(λ,h)(纬度、经度、高度等)和初始姿态信息(θRoll,θPitch,θYaw),来作为用户终端110的初始外部取向参数。由于使用这种导航方程式或卡尔曼滤波器估算与位置和姿态相关的导航信息的技术在所属领域内是熟知的,所以省略了对其详细的描述。
同时,在图像数据库122中,地理定位参考图像和各个图像点的座标被预先构建并存储,其中,所述地理定位参考图像对应于各个摄像头的位置(λ,h)和姿态(θRoll,θPitch,θYaw),这些图像是在经由地理定位获取图像时所获得的,各个图像点的座标是图像点的地面座标。图像搜索模块123在图像数据库122中搜索地理定位参考图像(图3,S30),该地理定位参考图像包括与从用户终端110接收的给定摄像头图像相似的图像。上述图像点座标可以被存储在图像数据库122中,并且有效地用于计算与位置或姿态相关的信息,下文将会对此描述。但这并不是必需的,其可以被省略并且可以由任意一种估算的图像相对座标代替。
地理定位是一种算法,其通过使用由多传感器(全球定位***(GPS)、惯性测量单元(IMU)、数字摄像头、激光扫描仪等)获取的摄像头的与位置和姿态相关的数据和图像数据,来获取在图像或拍摄位置中所包含的地面物体的三维(3D)地面座标信息。根据数字摄像头等的连续的与位置和姿态相关的数据来执行基于航空三角测量(AT)的地理定位过程,然后可以估算在拍摄位置处的摄像头的图像或位置和姿态中所包括的地面物体的座标(或图像点),同时诸如与位置和姿态相关的数据的外部取向参数被校正,并且可以获取与在拍摄时的位置和姿态相对应的地理定位图像。
通过这种地理定位方法,地理定位参考图像被预先构建并存储在数据库(DB)122中,在所述地理定位参考图像中指明了在图像获取时的各个摄像头的位置和姿态。图像搜索模块123可以在图像数据库122中搜索地理定位参考图像,所述地理定位参考图像包括与用户终端110的摄像头图像相似的图像。
图像匹配模块124可以将用户终端110的多个摄像头图像相互比对或者将摄像头图像与由图像搜索模块123找到的地理定位参考图像进行比对,并且提取与摄像头的拍摄位置(λ,h)对应的匹配的图像的图像点的座标,来作为连接点(共轭点)(图3,S40)。此时,除了将自用户终端110传输的摄像头图像与找到的地理定位参考图像相互比对时的连接点以外,在将自用户终端110传输的多个摄像头图像中的任何两个不同图像相互比对时,可以进一步提取在相匹配的图像部分之间的一个或多个连接点。可以计算出为使得误差最小化而能够让多个所提取的连接点在一点处会合的可靠连接点。
例如,必须满足一个条件,其中对于单个地面点,在被估算为相同图像的摄像头图像和由图像搜索模块123所找到的地理定位参考图像的匹配部分之间的图像点存在于预定共线方程的单一直线上。然而,即使在相同地面点的情况中,也可能出现由于图像点(连接点)的座标之间的误差而使得这些地面点不能在单个地面点处会合的情况。因此,通过采用最小二乘法,可以将下面这种点计算为连接点:这种点允许对于单个地面点的多个共线方程的直线在相对小范围内会合而使得误差最小化。
如果已经以这种方式计算了这些连接点,那么位置/姿态调整模块125被配置为以下情形:为了确定最终外部取向参数(所述最终外部取向参数能使用对应的连接点获取连接点(使得可以获取对应的摄像头图像)),位置/姿态调整模块125可以校正由初始位置/姿态确定模块121根据相互匹配的摄像头图像或地理定位参考图像(或这些图像的图像点)确定的初始外部取向参数(初始位置信息和初始姿态信息),然后可以确定用户终端110的最终外部取向参数(最终位置信息和最终姿态信息)(图3,S50),并且将最终外部取向参数回馈到用户终端110(图3,S60)。在这种情况下,位置/姿态调整模块125根据从用户终端110实时传输的PA传感器信息和摄像头图像来相继确定最终位置信息和最终姿态信息,并将最终位置信息和最终姿态信息实时地回馈到用户终端110。在这种情况下,可以引用存储在数据库122中的对应匹配部分的地理定位参考图像(包括图像点的地面座标)。在这种情况下,位置/姿态调整模块125执行基于光束平差法的地理定位过程,并校正初始外部取向参数(初始位置信息和初始姿态信息),从而精确地估算拍摄对应图像的用户终端110的地面(拍摄)座标。
基于光束平差法的地理定位是一种间接确定摄像头位置和姿态的方法,即,用户终端110在获取图像时的位置和姿态。基于图像的光束平差法的位置/姿态调整模块125使用一种数学模型(带有随机约束条件的高斯-马尔可夫模型),其使用带有随机约束条件的共线条件表达式,将最小二乘法应用到初始外部取向参数(初始位置信息和姿态信息),其中从匹配的图像的部分(或这些图像的图像点)参考了与数据库122中的各个摄像头的位置和姿态对应的地理定位参考图像(包括图像点的地面座标),并且在上述数学模型中反复地计算预定的法方程,从而估算最终会聚的最终外部取向参数(最终位置信息和最终姿态信息)。根据上述过程,可以将以下内容估算为关于拍摄对应摄像头图像的位置和姿态的信息:在基于上述数学模型的预定法方程中,关于能够从匹配的参考图像部分获取连接点的误差被最小化的最终位置和最终姿态的信息。
如上所述,尽管已经示出用户终端110精确地接收用户终端110的对应位置信息和姿态信息来作为回馈信息,同时与在网络上的位置/姿态确定服务器120协同操作的过程,但该过程不限于此例。位置/姿态确定服务器120的组件被包括在用户终端110中来作为位置/姿态确定器件,从而用户终端110可以直接估算并使用上述最终外部取向参数。也就是说,用户终端110可以不仅仅包括传感器模块111、摄像头112和采集传输模块113,还可以包括初始位置/姿态确定模块121、图像数据库122、图像搜索模块123、图像匹配模块124和位置/姿态调整模块125。此时,用户终端110可以直接估算上述精确的最终外部取向参数,而不需要将与位置和姿态相关的传感器信息、摄像头图像等传输到网络上的服务器。
用户终端110可以在与网络上的LBS服务器通信时接收相应的与位置或姿态相关的服务信息并在屏幕中的地图上显示这些信息,该过程是基于由用户终端直接估算的最终外部取向参数,或由网络上的位置/姿态确定服务器120精确地估算并从服务器120回馈的最终外部取向参数,即,最终位置信息(λ,h)(纬度、经度、高度等)或最终姿态信息(θRoll,θPitch,θYaw)。例如,如在导航***中的情况中,用户终端110可以在地图上提供更精确的道路导航服务,实现更精确地结合适用于给定姿态的(虚拟)图像来实施增强现实服务,并且提供适用于用户终端110的精确位置和姿态的各种类型的额外信息。
尽管参考了有限数目个实施例和附图来描述本发明,本发明不限于上述实施例,并且本发明所属领域的技术人员可以做出多种改变和修改。因此,本发明的范围不应由上述实施例限定,并且应当由所附权利要求书及其等同物限定。
Claims (10)
1.一种用于确定用户终端的位置和姿态的***,包括:
位置/姿态确定服务器,用于接收从用户终端传输的与位置和姿态有关的传感器信息和摄像头图像,所述用户终端通过网络与所述位置/姿态确定服务器协同运作,
其中,所述位置/姿态确定服务器由从所述用户终端传输的所述与位置和姿态有关的传感器信息和所述摄像头图像,通过基于光束平差法的地理定位,确定所述用户终端的位置信息和姿态信息,并将所述位置信息和所述姿态信息回馈到所述用户终端。
2.根据权利要求1所述的***,其中所述位置/姿态确定服务器包括:
初始位置/姿态确定模块,用于基于所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息;
数据库,用于预先存储地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;
搜索模块,用于在所述数据库中搜索地理定位参考图像,所述地理定位参考图像包括与接收到的摄像头图像相似的图像;
图像匹配模块,用于将接收到的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点座标来作为连接点;以及
位置/姿态调整模块,用于对所述匹配的图像执行基于光束平差法的地理定位过程,然后校正所述初始位置信息和初始姿态信息,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
3.根据权利要求1所述的***,其中所述传感器信息包括:由全球定位***(GPS)模块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数据。
4.根据权利要求2所述的***,其中,所述图像匹配模块提取在将从所述用户终端传输的多个摄像头图像中的任何两个图像相互比对时的连接点,提取在将从所述用户终端传输的对应摄像头图像与所找到的地理定位参考图像相互比对时的连接点,并且提取可靠的连接点以使多个所提取的连接点在一单个点处会合,从而使误差最小化。
5.根据权利要求2所述的***,其中,所述位置/姿态调整模块由从所述用户终端实时地传输的传感器信息和摄像头图像确定所述最终位置信息和最终姿态信息,并将所述最终位置信息和最终姿态信息实时地回馈到所述用户终端。
6.根据权利要求1所述的***,其中,所述用户终端根据所回馈的所述最终位置信息或最终姿态信息,在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信息,并在屏幕中的地图上显示接收到的信息。
7.一种确定用户终端的位置和姿态的方法,包括:
由通过网络与用户终端协同运作的服务器来接收由所述用户终端获取的与位置和姿态相关的传感器信息和摄像头图像;以及
所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信息和所述摄像头图像,通过基于光束平差法的地理定位,确定所述用户终端的位置信息和姿态信息,并且所述服务器将所述位置信息和姿态信息回馈到所述用户终端。
8.根据权利要求7所述的方法,其中,确定所述用户终端的所述位置信息和姿态信息并将所述位置信息和姿态信息回馈到所述用户终端包括:
根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息;
在数据库中搜索地理定位参考图像,其中所述地理定位参考图像包括与接收到的摄像头图像相似的图像,在所述数据库中预先存储了地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;
经由地理定位获取所述位置和姿态;
将接收到的多个摄像头图像相互比对,或将所述接收到的图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点座标作为连接点;以及
对所述匹配的图像执行基于光束平差法的地理定位过程,然后校正所述初始位置信息和初始姿态信息,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
9.一种确定用户终端的位置和姿态的方法,包括:
使用摄像头获取摄像头图像,并使用一个或多个传感器测量与位置和姿态相关的传感器信息;
根据所述传感器信息确定初始位置信息和初始姿态信息;
在数据库中搜索地理定位参考图像,其中所述地理定位参考图像包括与所述摄像头图像相似的图像,所述数据库中预先存储了地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;
将所述摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点座标作为连接点;以及
对所述匹配的图像执行基于光束平差法的地理定位过程,然后校正所述初始位置信息和初始姿态信息,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
10.一种用于确定用户终端的位置和姿态的装置,包括:
摄像头,用于获取摄像头图像;
传感器模块,用于测量与位置和姿态相关的传感器信息;
初始位置/姿态确定模块,用于基于所述传感器信息确定初始位置信息和初始姿态信息;
数据库,用于预先存储地理定位参考图像,在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态;
搜索模块,用于在所述数据库中搜索地理定位参考图像,所述地理定位参考图像包括与所述摄像头图像相似的图像;
图像匹配模块,用于将所述摄像头图像与找到的地理定位参考图像进行比对,并提取与匹配的图像的位置对应的图像点座标作为连接点;以及
位置/姿态调整模块,用于对所述匹配的图像执行基于光束平差法的地理定位过程,然后校正所述初始位置信息和初始姿态信息,以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120043618A KR101356192B1 (ko) | 2012-04-26 | 2012-04-26 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
KR10-2012-0043618 | 2012-04-26 | ||
PCT/KR2012/009568 WO2013162140A1 (ko) | 2012-04-26 | 2012-11-14 | 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104335649A true CN104335649A (zh) | 2015-02-04 |
CN104335649B CN104335649B (zh) | 2018-09-21 |
Family
ID=49483401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280072738.8A Active CN104335649B (zh) | 2012-04-26 | 2012-11-14 | 基于图像匹配的确定智能手机位置和姿态的方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US9749809B2 (zh) |
EP (1) | EP2844009B1 (zh) |
KR (1) | KR101356192B1 (zh) |
CN (1) | CN104335649B (zh) |
WO (1) | WO2013162140A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103900473A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 |
CN106612417A (zh) * | 2015-10-26 | 2017-05-03 | 韩华泰科株式会社 | 网络相机、监视服务器和控制和控制监视***的方法 |
CN106681000A (zh) * | 2016-11-22 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种增强现实注册装置及其方法 |
CN107666492A (zh) * | 2016-07-25 | 2018-02-06 | 中兴通讯股份有限公司 | 一种控制方法、服务传感器、服务装置及终端 |
CN108897830A (zh) * | 2018-06-22 | 2018-11-27 | 北京邮电大学 | 一种定位方法及装置 |
CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
CN110514181A (zh) * | 2018-05-22 | 2019-11-29 | 杭州萤石软件有限公司 | 一种电子设备定位方法和装置 |
CN111026107A (zh) * | 2019-11-08 | 2020-04-17 | 北京外号信息技术有限公司 | 用于确定可移动物体的位置的方法和*** |
CN113654548A (zh) * | 2021-07-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备及存储介质 |
US11522615B2 (en) | 2017-12-19 | 2022-12-06 | Panasonic Intellectual Property Corporation Of America | Transmission method, reception method, transmission device, and reception device |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140227977A1 (en) * | 2013-02-12 | 2014-08-14 | Zary Segall | Method, node, device, and computer program for interaction |
IL228735B (en) * | 2013-10-06 | 2018-10-31 | Israel Aerospace Ind Ltd | A system and method for determining target direction |
JP6635037B2 (ja) * | 2014-08-01 | 2020-01-22 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN105578591A (zh) * | 2014-10-10 | 2016-05-11 | 华为技术有限公司 | 定位的方法、定位服务器和终端 |
GB2546954A (en) * | 2015-04-17 | 2017-08-09 | Cinime Asia Pacific Pte Ltd | A location method and system |
KR101868855B1 (ko) * | 2016-09-02 | 2018-06-19 | 주식회사 씨앤더블유커뮤니케이션 | 증강현실을 이용한 음악컨텐츠 서비스 제공방법 |
CN106803844B (zh) * | 2017-03-01 | 2019-02-15 | 维沃移动通信有限公司 | 一种灯光控制方法及移动终端 |
US20180350055A1 (en) * | 2017-06-01 | 2018-12-06 | Tesla, Inc. | Augmented reality feature detection |
CN111143489B (zh) * | 2018-11-06 | 2024-01-09 | 北京嘀嘀无限科技发展有限公司 | 基于图像的定位方法及装置、计算机设备和可读存储介质 |
US11924709B2 (en) * | 2019-01-07 | 2024-03-05 | Signify Holding B.V. | Controller, system and method for providing a location-based service to an area |
DE102019211871B4 (de) * | 2019-08-07 | 2021-04-22 | Siemens Schweiz Ag | Verfahren und Anordnung zur Darstellung von technischen Objekten |
US11871114B2 (en) * | 2019-10-04 | 2024-01-09 | Visit Inc. | System and method for producing panoramic image content |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
EP3988967A4 (en) * | 2019-11-02 | 2022-09-07 | Gamania Digital Entertainment Co., Ltd. | POSITIONING PROCESS COMBINING VIRTUALITY AND REALITY |
WO2021163300A1 (en) * | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
CN113473379B (zh) * | 2020-03-31 | 2022-08-30 | 安克创新科技股份有限公司 | 一种判断目标是否回到指定地点的方法 |
KR102650141B1 (ko) * | 2021-12-09 | 2024-03-20 | 서정호 | 위치기반 증강현실 제어 시스템 |
CN115633122B (zh) * | 2022-12-07 | 2023-03-28 | 广州市影擎电子科技有限公司 | 基于手机的伺服运动轨迹录制方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1570665A (zh) * | 2003-04-22 | 2005-01-26 | 富士胶片株式会社 | 图像处理服务器 |
US20070268392A1 (en) * | 2004-12-31 | 2007-11-22 | Joonas Paalasmaa | Provision Of Target Specific Information |
CN101617197A (zh) * | 2007-02-16 | 2009-12-30 | 三菱电机株式会社 | 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据 |
US20110115902A1 (en) * | 2009-11-19 | 2011-05-19 | Qualcomm Incorporated | Orientation determination of a mobile station using side and top view images |
CN102123231A (zh) * | 2009-09-30 | 2011-07-13 | 卡西欧计算机株式会社 | 具有图像数据共享功能的显示终端、共享图像数据的图像共享***及图像共享方法 |
FR2960082A1 (fr) * | 2010-05-17 | 2011-11-18 | Commissariat Energie Atomique | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101013751B1 (ko) * | 2009-07-09 | 2011-02-14 | 주식회사 인스프리트 | 가상화 처리서버 및 dcd 컨텐츠를 이용한 증강현실 제공 시스템 |
KR101557663B1 (ko) * | 2009-07-09 | 2015-10-07 | 에스케이플래닛 주식회사 | 증강 현실을 이용한 위치 기반 서비스 제공 방법과 그를 위한 시스템, 서버 및 휴대용 단말기 |
KR101092104B1 (ko) * | 2009-08-26 | 2011-12-12 | 주식회사 팬택 | 3차원 위치영상 제공 방법 및 시스템 |
KR101648339B1 (ko) | 2009-09-24 | 2016-08-17 | 삼성전자주식회사 | 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치 |
KR101080078B1 (ko) * | 2009-12-08 | 2011-11-04 | 숭실대학교산학협력단 | 통합센서 기반의 모션 캡쳐 시스템 |
-
2012
- 2012-04-26 KR KR20120043618A patent/KR101356192B1/ko active IP Right Grant
- 2012-11-14 US US14/397,275 patent/US9749809B2/en active Active
- 2012-11-14 EP EP12875140.1A patent/EP2844009B1/en active Active
- 2012-11-14 WO PCT/KR2012/009568 patent/WO2013162140A1/ko active Application Filing
- 2012-11-14 CN CN201280072738.8A patent/CN104335649B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1570665A (zh) * | 2003-04-22 | 2005-01-26 | 富士胶片株式会社 | 图像处理服务器 |
US20070268392A1 (en) * | 2004-12-31 | 2007-11-22 | Joonas Paalasmaa | Provision Of Target Specific Information |
CN101617197A (zh) * | 2007-02-16 | 2009-12-30 | 三菱电机株式会社 | 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据 |
CN102123231A (zh) * | 2009-09-30 | 2011-07-13 | 卡西欧计算机株式会社 | 具有图像数据共享功能的显示终端、共享图像数据的图像共享***及图像共享方法 |
US20110115902A1 (en) * | 2009-11-19 | 2011-05-19 | Qualcomm Incorporated | Orientation determination of a mobile station using side and top view images |
FR2960082A1 (fr) * | 2010-05-17 | 2011-11-18 | Commissariat Energie Atomique | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
Non-Patent Citations (1)
Title |
---|
BILL TRIGGS等: "Bundle Adjustment —A Modern Synthesis", 《SECURITY IN COMMUNICATION NETWORKS:THIRD INTERNATIONAL CONFERENCE》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103900473A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 |
CN106612417A (zh) * | 2015-10-26 | 2017-05-03 | 韩华泰科株式会社 | 网络相机、监视服务器和控制和控制监视***的方法 |
CN107666492A (zh) * | 2016-07-25 | 2018-02-06 | 中兴通讯股份有限公司 | 一种控制方法、服务传感器、服务装置及终端 |
CN106681000A (zh) * | 2016-11-22 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种增强现实注册装置及其方法 |
US11522615B2 (en) | 2017-12-19 | 2022-12-06 | Panasonic Intellectual Property Corporation Of America | Transmission method, reception method, transmission device, and reception device |
US11863236B2 (en) | 2017-12-19 | 2024-01-02 | Panasonic Intellectual Property Corporation Of America | Transmission method, reception method, transmission device, and reception device |
CN110514181A (zh) * | 2018-05-22 | 2019-11-29 | 杭州萤石软件有限公司 | 一种电子设备定位方法和装置 |
CN108897830A (zh) * | 2018-06-22 | 2018-11-27 | 北京邮电大学 | 一种定位方法及装置 |
CN108897830B (zh) * | 2018-06-22 | 2022-04-29 | 北京邮电大学 | 一种定位方法及装置 |
CN110275968A (zh) * | 2019-06-26 | 2019-09-24 | 北京百度网讯科技有限公司 | 图像数据处理方法和装置 |
CN111026107A (zh) * | 2019-11-08 | 2020-04-17 | 北京外号信息技术有限公司 | 用于确定可移动物体的位置的方法和*** |
CN113654548A (zh) * | 2021-07-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2013162140A1 (ko) | 2013-10-31 |
US20150126223A1 (en) | 2015-05-07 |
KR20130120598A (ko) | 2013-11-05 |
US9749809B2 (en) | 2017-08-29 |
EP2844009A4 (en) | 2015-12-30 |
EP2844009A1 (en) | 2015-03-04 |
CN104335649B (zh) | 2018-09-21 |
KR101356192B1 (ko) | 2014-01-24 |
EP2844009B1 (en) | 2018-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104335649A (zh) | 基于图像匹配的确定智能手机位置和姿态的方法和*** | |
TWI675351B (zh) | 基於擴增實境的使用者位置定位方法及裝置 | |
US9429438B2 (en) | Updating map data from camera images | |
AU2013334573B2 (en) | Augmented reality control systems | |
CA2762743C (en) | Updating map data from camera images | |
US8352178B2 (en) | Method and device for generating and communicating geographic route information between wireless communication devices | |
US20150123995A1 (en) | Method and apparatus for processing and aligning data point clouds | |
CN103823228A (zh) | 定位***、终端和定位方法 | |
CN101794316A (zh) | 基于gps定位和方向识别的实景咨信***及坐标偏移方法 | |
KR101744956B1 (ko) | 모바일 단말을 이용한 gnss 측량 시스템 및 방법 | |
CN110031880B (zh) | 基于地理位置定位的高精度增强现实方法及设备 | |
KR101413011B1 (ko) | 위치 정보 기반 증강현실 시스템 및 제공 방법 | |
KR20190059120A (ko) | 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템 | |
KR20170094030A (ko) | 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법 | |
WO2016206717A1 (en) | Checking map alignment | |
KR20130116151A (ko) | 보폭 추정 모델 파라미터를 이용한 보행자 위치 추정 방법 및 이를 위한 장치 | |
CN113063421A (zh) | 导航方法及相关装置、移动终端、计算机可读存储介质 | |
JP2013222447A (ja) | 情報提示システム | |
CN112985394B (zh) | 定位方法和装置、存储介质 | |
KR100878781B1 (ko) | 휴대 단말기를 이용하여 구조물의 크기 및 좌표를 측정하는측량 방법 | |
KR100469801B1 (ko) | 실시간 항측 기준점 측량시스템 및 방법 | |
US9146105B2 (en) | System and method for accuracy certification of geographical locations on a land tract | |
KR101601726B1 (ko) | 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템 | |
CN107655458B (zh) | 基于gis的全景图场景自动关联方法 | |
CN106846311B (zh) | 基于图像识别的定位及ar方法及***及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |