CN108009588A - 定位方法及装置、移动终端 - Google Patents

定位方法及装置、移动终端 Download PDF

Info

Publication number
CN108009588A
CN108009588A CN201711258377.7A CN201711258377A CN108009588A CN 108009588 A CN108009588 A CN 108009588A CN 201711258377 A CN201711258377 A CN 201711258377A CN 108009588 A CN108009588 A CN 108009588A
Authority
CN
China
Prior art keywords
image
positioning
scene
feature
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711258377.7A
Other languages
English (en)
Inventor
简伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intelligent Reality Technology Co Ltd
Original Assignee
Shenzhen Intelligent Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intelligent Reality Technology Co Ltd filed Critical Shenzhen Intelligent Reality Technology Co Ltd
Priority to CN201711258377.7A priority Critical patent/CN108009588A/zh
Publication of CN108009588A publication Critical patent/CN108009588A/zh
Priority to PCT/CN2018/087337 priority patent/WO2019104953A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种定位方法及装置、移动终端,属于计算机应用技术领域。所述方法包括:获取移动终端中对预设场景中的场景位置采集的定位照片,将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引,根据所述相似度确定与所述定位照片最相似的目标图像特征,从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述场景位置对应的全景图像帧。上述定位方法及装置、移动终端能够实现简便地对场景位置进行高精度定位。

Description

定位方法及装置、移动终端
技术领域
本发明涉及计算机应用技术领域,特别涉及一种定位方法及装置、移动终端。
背景技术
由于GPS技术的成熟以及覆盖的普遍性,目前室外的导航已经非常普遍,使用频度非常高。但在室内场所,由于GPS技术的精度限制以及信号穿透性较差,例如大型的购物商场和公共场所等室内场所,用户很难进行准确定位,寻找目标店铺、商品、设施等经常存在较大的困难,导致时间成本较高且效率低下。
目前,在室内进行定位时,主要采用蓝牙iBeacon、Wifi等进行定位。通过蓝牙iBeacon进行定位时,需要搭建网关路由将信号串联起来,用户通过蓝牙连接到最近的iBeacon设备定位估计实时位置并在平面图上展示,然而精度在几米之外且不够直观,而且单个iBeacon的覆盖范围有限,导致产生盲区和偏移情况;通过Wifi进行定位时,需提前布设Wifi设备,采用AP(Wireless Access Point,无线网络接入点)中继,用户通过连接上WiFi后定位其实时位置,然而精度误差较大(可能在十米),而且用户定位时需要登录连接特定WiFi,导致定位操作繁琐。
上述定位方法均需要耗费较多的人力物力进行设备铺设,而且定位操作繁琐,精度不高。因此,如何简便地进行高精度定位将成为当前所亟待解决的技术问题。
发明内容
为了解决相关技术中简便地进行高精度定位的技术问题,本发明提供了一种定位方法及装置、移动终端。
第一方面,提供了一种定位方法,包括:
获取移动终端中对预设场景中的场景位置采集的定位照片;
将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引;
根据所述相似度确定与所述定位照片最相似的目标图像特征;
从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述目标场景位置对应的全景图像帧。
第二方面,提供了一种定位装置,包括:
定位照片获取模块,用于获取移动终端中对预设场景中的场景位置采集的定位照片;
度量学习模块,用于将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引;
目标图像特征确定模块,用于根据所述相似度确定与所述定位照片最相似的目标图像特征;
定位模块,用于从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述目标场景位置对应的全景图像帧。
第三方面,提供了一种移动终端,包括:
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可读性指令,所述可读性指令被所述处理器执行时实现如第一方面所述的方法。
第四方面,提供了一种计算机可读性存储介质,其上存储有计算机程序,所述计算机程序在被执行时实现如第一方面所述的方法。
通过本发明的实施例提供的技术方案能够得到以下有益效果:
在预设场景中进行定位时,通过获取移动终端中对预设场景的场景位置采集的定位照片,将定位照片与特征索引中的图像特征进行度量学习,计算定位照片与各图像特征之间的相似度,并根据相似度确定与定位照片最相似的目标图像特征,再从特征索引的场景位置中确定与目标图像特征关联的场景位置,并在全景视频中定位到目标场景位置对应的全景图像帧,从而通过在场景位置采集的定位照片即可定位到该场景位置在全景视频中对应的全景图像帧,实现简便地对场景位置进行高精度定位。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,本发明并不受限制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种定位方法流程图。
图2是根据图1对应实施例示出的另一种定位方法流程图。
图3是根据图2对应实施例示出的定位方法中步骤S210的一种具体实现流程图。
图4是根据图1对应实施例示出的定位方法中步骤S130的一种具体实现流程图。
图5是根据图1对应实施例示出的定位方法中步骤S130的另一种具体实现流程图。
图6是根据一示例性实施例示出的一种定位装置的框图。
图7是根据图6对应实施例示出的另一种定位装置的框图。
图8是根据图7对应实施例示出的图像特征提取模块210的框图。
图9是根据图6对应实施例示出的目标图像特征确定模块130的一种框图。
图10是根据图6对应实施例示出的目标图像特征确定模块130的另一种框图。
图11是根据一示例性实施例示出的一种移动终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种定位方法流程图,该方法可以运行于移动终端,也可以运行于与移动终端相互进行数据传输的服务器,如图1所示,该定位方法可以包括以下步骤。
在步骤S110中,获取移动终端中对预设场景中的场景位置采集的定位照片。
定位照片是在预设场景的某一场景位置采集的照片。例如,用户在预设场景的场景位置A时,通过移动终端的摄像头进行照片的采集。
定位照片可以是用户在定位时在预设场景中的场景位置当场采集的,也可以是预先在预设场景中的场景位置采集后存储在移动终端,还可以是其他的方式对预设场景中的场景位置进行定位照片的采集。
具体的,移动终端可以是手机、平板电脑等计算机设备,具体实现方式不受本实施例的限制。
通常地,预设场景为室内场景,但预设场景也可以为室外场景,在此不对预设场景的具体形式进行限定。
在步骤S120中,将定位照片与特征索引中的图像特征进行度量学习,计算定位照片与各图像特征之间的相似度。
特征索引是从为预设场景采集的全景视频中提取的图像特征与预设场景中相应场景位置之间的关联索引。
每一图像特征均与预设场景中相应的场景位置相对应。
全景视频是预先对预设场景采集的全方位视频。全景视频是由多个连续的全景图像帧组成的。
全景视频与普通视频不同,在任一图像帧,通过调整视角方向,能够对全景视频关联的预设场景中某一场景位置的任一视角方向进行画面显示。
图像特征是从全景视频中提取的和图像信息相关的高维数据。
对定位照片与特征索引中的图像特征进行度量学习时,先从定位照片中提取图像特征,进而对从定位照片中提取的图像特征与特征索引中的图像特征进行度量学习。
度量学习是对从定位照片中提取图像特征后与特征索引中的图像特征进行相似度的计算。
通过度量学习,可以得到不同图像类别之间的图像相似度小,而相同图像类别之间图像相似度大。
例如,如果我们的目标是识别人脸,那么就需要构建一个距离函数去强化合适的特征(如发色,脸型等);而如果我们的目标是识别姿势,那么就需要构建一个捕获姿势相似度的距离函数。为了处理各种各样的相似度,我们可以在特定的任务通过选择合适的特征并手动构建距离函数。
在对定位照片与图像特征进行度量学习的方法有多种,例如通过ContrastiveLoss目标函数、Triplet Loss目标函数进行度量学习,还可以通过其他的方法进行度量学习,在此不对具体的度量学习方法进行限定。
在步骤S130中,根据相似度确定与定位照片最相似的目标图像特征。
根据相似度确定与定位照片最相似的目标图像特征时,可以是选取与定位照片之间的相似度最高的图像特征作为目标图像特征;也可以通过将各图像特征与定位照片之间的相似度分别和预设的相似度阈值进行对比,进而从与定位照片之间的相似度达到相似度阈值的图像特征中再重新选取目标图像特征;还可以通过其他方式根据相似度确定与定位照片最相似的目标图像特征。
在步骤S140中,从特征索引的场景位置中确定与目标图像特征关联的场景位置,并在全景视频中定位到场景位置对应的全景图像帧。
如前所述的,全景视频是对预设场景采集的全方位视频,全景视频的全景图像帧是与预设场景中的场景位置相对应的;而特征索引中,图像特征是与预设场景中的场景位置相关联的。
因而,在确定目标图像特征后,通过该目标图像特征中,从特征索引中确定与该目标图像特征相关联的场景位置,进而根据该场景位置,在全景视频中定位到场景位置对应的全景图像帧,最终通过全景视频的播放为用户进行定位导航。
由于全景视频中各全景图像帧是与预设场景中的场景位置相对应的,而相邻两个全景图像帧对应的场景位置是相隔很近的,即全景视频中的场景位置精度是较高的,因而,通过全景视频的全景图像帧实现对定位照片采集的场景位置进行高精度定位。
通过如上所述的方法,在进行室内定位时,通过获取移动终端中对预设场景中的场景位置采集的定位照片,将定位照片与特征索引中的图像特征进行度量学习,计算定位照片与各图像特征之间的相似度,并根据相似度确定与定位照片最相似的目标图像特征,再从特征索引的场景位置中确定与目标图像特征关联的场景位置,并在全景视频中定位到目标场景位置对应的全景图像帧,从而用户只需通过预设场景中的场景位置采集的定位照片即可定位到该场景位置在全景视频中对应的全景图像帧,实现简便地对场景位置进行高精度定位。
图2是根据图1对应实施例示出的另一种定位方法流程图。如图2中,在图1中示出的定位方法中的步骤S120之后,该定位方法还可以包括以下步骤。
在步骤S210中,通过对全景视频的各全景图像帧进行深度学习,提取各全景图像帧的图像特征。
深度学习是机器学习中一种基于对数据进行表征学习的方法。
对全景视频的各全景图像帧进行深度学习的方法有多种,例如CNN(Convolutional Neural Network,卷积神经网络)、RNN(Recurrent neural Network,循环神经网络)、NBN(DBN)(Deep Belief Networks,深信度网络)、 VGG13网络或VGGNET网络(其他网络)等方法,在此不对深度学习的具体方法进行限定。
在一示例性实施例中,通过CNN进行深度学***移的高维数据,维度有差异不同的高维数据都有较高的容忍能力。
CNN利用权值共享的方式减少需要学习的参数数目,较之一般前向BP算法(ErrorBack Propagation,误差反向传播)使得训练速度和准确度得到了极大的提高。CNN作为一个深度学习算法,可以使得数据的预处理的开销达到最小化。在该算法中作为层级结构的最低层的输入只是高维数据的一小部分(也即局部感受区域或者视野感受子),经过处理后的信息再传输到更深的层次,每层会通有滤波器来取得上层输入的观测数据的特征。
如前所述的,全景视频是对预设场景采集的全方位视频,而全景视频的全景图像帧是对某一场景位置采集的全方位图像。
若直接将定位照片与全景图像帧进行相似度计算,将大大增加计算量,增加相似度计算的处理时间。因此,通过深度学习,提取各全景图像帧的图像特征,并将不同全景图像帧之间的差距放大,从而减小定位照片与全景图像帧进行相似度计算时的计算量,减短相似度计算的处理时间。
在步骤S220中,针对每一全景图像帧的图像特征,根据全景图像帧对应的场景位置,在全景图像帧的各图像特征与对应的场景位置之间建立特征索引。
如前所述的,全景图像帧是与预设场景中的场景位置一一对应的。因而,从全景图像帧中提取出图像特征后,对各全景图像帧的图像特征建立与场景位置之间的关联索引。
从而在对定位照片与图像特征进行相似度计算后,能够迅速定位到目标图像特征关联的场景位置。
利用如上所述的方法,在进行室内定位之前,通过预先通过深度学习从为预设场景采集的全景视频中提取图像特征,并建立图像特征与预设场景中相应场景位置之间的关联索引,在通过定位照片进行定位时能够迅速定位目标图像特征关联的场景位置,大大减小了定位时的数据计算量,减短了定位的耗时,提高了定位效率。
图3是图2对应示例性实施例示出的定位方法中步骤S210的细节描述。图 2中,播放控制指令可以包括播放方向控制指令,该步骤S210可以包括以下步骤。
在步骤S211中,针对全景视频的每一全景图像帧,按照预设角度对全景图像帧进行图像分割,得到分割图像序列。
如前所述的,全景视频的全景图像帧是全方位的图像。而在预设场景中的场景位置采集的定位照片是平面照片。
因此,通过对全景图像帧进行分割,将各全景图像帧分割为与定位图像尺寸接近的分割图像,从而进一步提高相似度计算的准确性。
图像分割是对全景视频图像帧进行切割,将每一个全景视频图像帧切割为多个平面图像。
在一具体的示例性实施例中,按水平方向45度,俯仰角度60度,水平每隔36度水平截取10个分割图像,垂直每隔24度截取10个分割图像,一共截取40个分割图像。
分割图像序列是对全景图像帧进行图像分割后得到的分割图像集合,分割图像序列中包括多个分割图像。
图像分割的方式有多种,具体的图像分割方式不受上述示例性实施例的限制。
在步骤S212中,通过深度学习算法对分割图像序列中的各分割图像进行深度学习,提取各分割图像的图像特征。
利用如上所述的方法,在预先建立全景视频中提取的图像特征与预设场景中相应场景位置之间的特征索引时,先将全景视频中的全景图像帧进行图像分割,再提取各分割图像的图像特征,进而将从定位照片中提取的图像特征与各分割图像的图像特征进行相似度计算,由于定位照片与分割图像均是平面图像且图像尺寸接近,从而大大提高了相似度计算的准确度,减小了相似度计算的数据处理量,减短了定位耗时,提高了定位效率。
图4是图1对应示例性实施例示出的定位方法中步骤S130的细节描述。如图4所示,图1中的步骤S130可以包括以下步骤。
在步骤S131中,通过与预设的相似度阈值的对比,确定与定位照片之间的相似度达到相似度阈值的待选图像特征。
待选图像特征是与定位照片之间的相似度较高的图像特征。
预设的相似度阈值是预先设置的一个相似度临界值。若图像特征与定位照片之间的相似度未达到该相似度阈值,则表明该图像特征并不与定位照片相匹配。
可以理解的是,各图像特征中,可能存在比较相似的多个图像特征。
也就是说,有可能存在与定位照片很相似的多个图像特征,但这些与定位照片很相似的多个图像特征并不一定是同一个全景图像帧的图像特征。因此,通过将与定位照片很相似的多个图像特征确定为待选图像特征,进而在带血图像特征中确定与定位照片最相似的目标图像特征。
在步骤S132中,通过分类网络从待选图像特征中确定与定位照片最相似的目标图像特征。
分类网络是一种判断两个图像特征是否相似的网络。
在一具体的示例性实施例中,分类网络采用Matchnet框架,其网络结构可以是Alexnet、VGG、Googlenet、Resnet等。在这里以Alexnet网络为例,Alexnet 是一个CNN类型的深度学习网络模型,Matchnet是两个分支的网络,每个分支网络结构采用Alexnet,输入为一对图像,输出结果为这两个图像是否相似。其中的网络结构不受本示例性实施例的限制。
利用如上所述的方法,通过预设的相似度阈值,在与定位照片之间的相似度达到相似度阈值的图像特征存在多个时,通过分类网络从这多个图像特征中确定与定位照片最相似的目标图像特征,避免错误确定与定位照片最相似的图像特征,从而大大提高了确定与定位照片最相似的目标图像特征的准确性,大大提高了通过定位照片进行定位的准确性。
图5是图1对应示例性实施例示出的定位方法中步骤S130的细节描述。如图5所示,定位照片的数量为多个,多个定位照片是在场景位置不同视角方向采集的照片,图1中的步骤S130可以包括以下步骤。
在步骤S135中,针对每一图像特征,根据图像特征与在场景位置采集的各定位照片之间的相似度,计算图像特征的待选概率。
如前所述的,全景视频是全方位的,而在预设场景的场景位置也包括多个视角方向。
视角方向是对关联的预设场景进行展示时全景视频中全景图像帧的显示方向,对应于在全景视频关联的预设场景中的相应场景位置时的视野朝向。
待选概率是确定图像特征为与定位照片最相似的目标图像特征的概率大小。
待选概率越大,则图像特征为与定位照片最相似的目标图像特征的可能性就越大。
为进一步提高定位的准确性,通过获取同一场景位置不同视角方向采集的多个定位照片,分别对特征索引中图像特征与各定位照片进行度量分析,分别计算特征索引中图像特征与各定位照片之间的相似度,根据该相似度计算特征索引中图像特征与该场景位置之间的关联度,从而通过多个各定位照片与特征索引中图像特征之间的相似度进行相互印证,进一步提高确定目标图像特征的准确性。
可以通过多种方式根据图像特征与场景位置的各定位照片之间的相似度,计算图像特征的待选概率。针对某一图像特征,可以直接根据该图像特征与在场景位置采集的各定位照片之间的相似度,计算相似度的平均值得到该图像特征的待选概率;也可以通过预设的相似度阈值,只有在该图像特征与在场景位置采集的各定位照片之间的相似度均达到相似度阈值时,才根据该图像特征与各定位照片之间的相似度计算平均值,得到该图像特征的待选概率;也可以按照相似度大小对该图像特征与各定位照片之间的相似度排序,进而对各排序设置不同的权重计算该图像特征的待选概率;还可以是通过其他方式根据图像特征与场景位置的各定位照片之间的相似度,计算图像特征的待选概率,在此不进行逐一描述。
在步骤S136中,根据待选概率,确定与在场景位置采集的定位照片最相似的目标图像特征。
通过对各图像特征的待选概率进行大小比较,确定最大待选概率对应的图像特征为最相似的目标图像特征。
利用如上所述的方法,通过在场景位置不同视角方向采集的定位照片,分别与特征索引中的图像特征进行度量分析,从而通过多个各定位照片与特征索引中图像特征之间的相似度进行相互印证,进一步提高确定目标图像特征的准确性。
下述为本发明装置实施例,可以用于执行上述定位方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明定位方法实施例。
图6是根据一示例性实施例示出的一种定位装置的框图,该装置包括但不限于:定位照片获取模块110、度量学习模块120、目标图像特征确定模块130 及定位模块140。
定位照片获取模块110,用于获取移动终端中对预设场景中的场景位置采集的定位照片;
度量学习模块120,用于将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引;
目标图像特征确定模块130,用于根据所述相似度确定与所述定位照片最相似的目标图像特征;
定位模块140,用于从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述目标场景位置对应的全景图像帧。
上述装置中各个模块的功能和作用的实现过程具体详见上述定位方法中对应步骤的实现过程,在此不再赘述。
可选的,如图7所示,图6示出的定位装置还包括但不限于:图像特征提取模块210和特征索引建立模块220。
图像特征提取模块210,用于通过对所述全景视频的各全景图像帧进行深度学习,提取各全景图像帧的图像特征;
特征索引建立模块220,用于针对每一全景图像帧的图像特征,根据所述全景图像帧对应的场景位置,在所述全景图像帧的各图像特征与对应的所述场景位置之间建立特征索引。
可选的,如图8所示,图7示出的图像特征提取模块210包括但不限于:图像分割单元211和图像特征提取单元212。
图像分割单元211,用于针对所述全景视频的每一全景图像帧,按照预设角度对所述全景图像帧进行图像分割,得到分割图像序列;
图像特征提取单元212,用于通过深度学习算法对所述分割图像序列中的各分割图像进行深度学习,提取各分割图像的图像特征。
可选的,如图9所示,图6示出的目标图像特征确定模块130包括但不限于:期望控制方向确定单元131和目标图像特征确定单元132。
期望控制方向确定单元131,用于待选图像特征确定单元,用于通过与预设的相似度阈值的对比,确定与所述定位照片之间的相似度达到所述相似度阈值的待选图像特征;
第一目标图像特征确定单元132,用于通过分类网络从所述待选图像特征中确定与所述定位照片最相似的目标图像特征。
可选的,如图10所示,定位照片的数量为多个,所述多个定位照片是在所述场景位置不同视角方向采集的照片,图6示出的目标图像特征确定模块130 包括但不限于:待选概率计算单元135和目标图像特征确定单元136。
待选概率计算单元135,用于针对每一图像特征,根据所述图像特征与在所述场景位置采集的各定位照片之间的相似度,计算所述图像特征的待选概率;
第二目标图像特征确定单元136,用于根据所述待选概率,确定与在所述场景位置采集的定位照片最相似的目标图像特征。
图11是根据一示例性实施例示出的一种移动终端100的框图。参考图11,移动终端100可以包括以下一个或者多个组件:处理组件101,存储器102,电源组件103,多媒体组件104,音频组件105,传感器组件107以及通信组件108。其中,上述组件并不全是必须的,移动终端100可以根据自身功能需求增加其他组件或减少某些组件,本实施例不作限定。
处理组件101通常控制移动终端100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令,以完成上述操作的全部或部分步骤。此外,处理组件101可以包括一个或多个模块,便于处理组件101和其他组件之间的交互。例如,处理组件101可以包括多媒体模块,以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在移动终端100的操作。这些数据的示例包括用于在移动终端100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如SRAM(Static RandomAccess Memory,静态随机存取存储器),EEPROM (Electrically Erasable ProgrammableRead-Only Memory,电可擦除可编程只读存储器),EPROM(Erasable Programmable ReadOnly Memory,可擦除可编程只读存储器),PROM(Programmable Read-Only Memory,可编程只读存储器),ROM (Read-Only Memory,只读存储器),磁存储器,快闪存储器,磁盘或光盘。存储器102中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器109执行,以完成图1、图2、图3、图4和图5任一所示方法中的全部或者部分步骤。
电源组件103为移动终端100的各种组件提供电力。电源组件103可以包括电源管理***,一个或多个电源,及其他与为移动终端100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述移动终端100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括LCD(Liquid Crystal Display,液晶显示器)和TP(TouchPanel,触摸面板)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件105被配置为输出和/或输入音频信号。例如,音频组件105包括一个麦克风,当移动终端100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中,音频组件105 还包括一个扬声器,用于输出音频信号。
传感器组件107包括一个或多个传感器,用于为移动终端100提供各个方面的状态评估。例如,传感器组件107可以检测到移动终端100的打开/关闭状态,组件的相对定位,传感器组件107还可以检测移动终端100或移动终端100 一个组件的坐标改变以及移动终端100的温度变化。在一些实施例中,该传感器组件107还可以包括磁传感器,压力传感器或温度传感器。
通信组件108被配置为便于移动终端100和其他设备之间有线或无线方式的通信。移动终端100可以接入基于通信标准的无线网络,如WiFi (WIreless-Fidelity,无线网络),2G或3G,或它们的组合。在一个示例性实施例中,通信组件108经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件108还包括NFC(Near Field Communication,近场通信)模块,以促进短程通信。例如,在NFC模块可基于RFID(Radio Frequency Identification,射频识别)技术,IrDA(Infrared DataAssociation,红外数据协会)技术,UWB(Ultra-Wideband,超宽带)技术,BT (Bluetooth,蓝牙)技术和其他技术来实现。
在示例性实施例中,移动终端100可以被一个或多个ASIC(Application SpecificIntegrated Circuit,应用专用集成电路)、DSP(Digital Signal Processing,数字信号处理器)、PLD(Programmable Logic Device,可编程逻辑器件)、FPGA (Field-ProgrammableGate Array,现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
该实施例中的移动终端的处理器执行操作的具体方式已经在有关该定位方法的实施例中执行了详细描述,此处将不再做详细阐述说明。
可选的,本发明还提供一种移动终端,执行图1、图2、图3、图4和图5 任一所示的定位方法的全部或者部分步骤。所述装置包括:
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可读性指令,所述可读性指令被所述处理器执行时实现如上述任一示例性实施例所述的方法。
该实施例中的服务器中处理器执行操作的具体方式已经在有关该定位方法的实施例中执行了详细描述,此处将不做详细阐述说明。
该实施例中的装置的处理器执行操作的具体方式已经在有关该定位方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102,上述指令可由移动终端100的处理器109执行以完成上述定位方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种定位方法,其特征在于,所述方法包括:
获取移动终端中对预设场景中的场景位置采集的定位照片;
将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引;
根据所述相似度确定与所述定位照片最相似的目标图像特征;
从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述场景位置对应的全景图像帧。
2.根据权利要求1所述的方法,其特征在于,所述将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度的步骤之前,所述方法还包括:
通过对所述全景视频的各全景图像帧进行深度学习,提取各全景图像帧的图像特征;
针对每一全景图像帧的图像特征,根据所述全景图像帧对应的场景位置,在所述全景图像帧的各图像特征与对应的所述场景位置之间建立特征索引。
3.根据权利要求2所述的方法,其特征在于,所述通过对所述全景视频的各全景图像帧进行深度学习,提取各全景图像帧的图像特征的步骤包括:
针对所述全景视频的每一全景图像帧,按照预设角度对所述全景图像帧进行图像分割,得到分割图像序列;
通过深度学习算法对所述分割图像序列中的各分割图像进行深度学习,提取各分割图像的图像特征。
4.根据权利要求1所述的方法,其特征在于,所述根据所述相似度确定与所述定位照片最相似的目标图像特征的步骤包括:
通过与预设的相似度阈值的对比,确定与所述定位照片之间的相似度达到所述相似度阈值的待选图像特征;
通过分类网络从所述待选图像特征中确定与所述定位照片最相似的目标图像特征。
5.根据权利要求1所述的方法,其特征在于,所述定位照片的数量为多个,所述多个定位照片是在所述场景位置不同视角方向采集的照片,所述根据所述相似度确定与所述定位照片最相似的目标图像特征的步骤包括:
针对每一图像特征,根据所述图像特征与在所述场景位置采集的各定位照片之间的相似度,计算所述图像特征的待选概率;
根据所述待选概率,确定与在所述场景位置采集的定位照片最相似的目标图像特征。
6.一种定位装置,其特征在于,所述装置包括:
定位照片获取模块,用于获取移动终端中对预设场景中的场景位置采集的定位照片;
度量学习模块,用于将所述定位照片与特征索引中的图像特征进行度量学习,计算所述定位照片与各图像特征之间的相似度,所述特征索引是从为所述预设场景采集的全景视频中提取的图像特征与所述预设场景中相应场景位置之间的关联索引;
目标图像特征确定模块,用于根据所述相似度确定与所述定位照片最相似的目标图像特征;
定位模块,用于从所述特征索引的场景位置中确定与所述目标图像特征关联的场景位置,并在所述全景视频中定位到所述目标场景位置对应的全景图像帧。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
图像特征提取模块,用于通过对所述全景视频的各全景图像帧进行深度学习,提取各全景图像帧的图像特征;
特征索引建立模块,用于针对每一全景图像帧的图像特征,根据所述全景图像帧对应的场景位置,在所述全景图像帧的各图像特征与对应的所述场景位置之间建立特征索引。
8.根据权利要求7所述的装置,其特征在于,所述图像特征提取模块包括:
图像分割单元,用于针对所述全景视频的每一全景图像帧,按照预设角度对所述全景图像帧进行图像分割,得到分割图像序列;
图像特征提取单元,用于通过深度学习算法对所述分割图像序列中的各分割图像进行深度学习,提取各分割图像的图像特征。
9.根据权利要求6所述的装置,其特征在于,所述目标图像特征确定模块包括:
待选图像特征确定单元,用于通过与预设的相似度阈值的对比,确定与所述定位照片之间的相似度达到所述相似度阈值的待选图像特征;
第一目标图像特征确定单元,用于通过分类网络从所述待选图像特征中确定与所述定位照片最相似的目标图像特征。
10.根据权利要求7所述的装置,其特征在于,所述定位照片的数量为多个,所述多个定位照片是在所述场景位置不同视角方向采集的照片,所述目标图像特征确定模块包括:
待选概率计算单元,用于针对每一图像特征,根据所述图像特征与在所述场景位置采集的各定位照片之间的相似度,计算所述图像特征的待选概率;
第二目标图像特征确定单元,用于根据所述待选概率,确定与在所述场景位置采集的定位照片最相似的目标图像特征。
11.一种移动终端,其特征在于,所述移动终端包括:
处理器;以及
与所述处理器通信连接的存储器;其中,
所述存储器存储有可读性指令,所述可读性指令被所述处理器执行时实现如权利要求1-5任一项所述的方法。
12.一种计算机可读性存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被执行时实现如权利要求1-5任一项所述的方法。
CN201711258377.7A 2017-12-01 2017-12-01 定位方法及装置、移动终端 Pending CN108009588A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711258377.7A CN108009588A (zh) 2017-12-01 2017-12-01 定位方法及装置、移动终端
PCT/CN2018/087337 WO2019104953A1 (zh) 2017-12-01 2018-05-17 定位方法及装置、移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711258377.7A CN108009588A (zh) 2017-12-01 2017-12-01 定位方法及装置、移动终端

Publications (1)

Publication Number Publication Date
CN108009588A true CN108009588A (zh) 2018-05-08

Family

ID=62055952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711258377.7A Pending CN108009588A (zh) 2017-12-01 2017-12-01 定位方法及装置、移动终端

Country Status (2)

Country Link
CN (1) CN108009588A (zh)
WO (1) WO2019104953A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359517A (zh) * 2018-08-31 2019-02-19 深圳市商汤科技有限公司 图像识别方法和装置、电子设备、存储介质、程序产品
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN109691185A (zh) * 2018-07-26 2019-04-26 深圳前海达闼云端智能科技有限公司 一种定位方法、装置、终端和可读存储介质
WO2019104953A1 (zh) * 2017-12-01 2019-06-06 深圳市智能现实科技有限公司 定位方法及装置、移动终端
CN110276841A (zh) * 2019-06-27 2019-09-24 北京小米移动软件有限公司 应用于增强现实设备的运动轨迹确定方法、装置及终端
CN111291588A (zh) * 2018-12-06 2020-06-16 新加坡国立大学 用于在建筑物内定位的方法和***
CN112074062A (zh) * 2019-05-21 2020-12-11 广东小天才科技有限公司 一种基于场景的灯光调节方法及智能照明装置
CN112860946A (zh) * 2021-01-18 2021-05-28 四川弘和通讯有限公司 一种视频图像信息转换为地理信息的方法及***
CN114353796A (zh) * 2021-12-06 2022-04-15 煤炭科学技术研究院有限公司 一种室内定位方法、装置及电子设备
JP2023523364A (ja) * 2020-05-26 2023-06-02 マプサス テクノロジー ホールディング リミテッド 視覚測位方法、装置、機器及び可読記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852153A (zh) * 2019-09-26 2020-02-28 深圳市金溢科技股份有限公司 一种泊位状态检测方法、获取方法、装置、工控机及介质
CN111314739B (zh) * 2020-02-17 2022-05-17 聚好看科技股份有限公司 一种图像处理方法、服务器及显示设备
CN111582378B (zh) * 2020-05-09 2024-02-27 上海钧正网络科技有限公司 定位识别模型的训练生成方法、位置检测方法、装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918858A (zh) * 2010-12-24 2013-02-06 富士胶片株式会社 立体全景图像创建设备、立体全景图像创建方法和立体全景图像创建程序,立体全景图像再现设备、立体全景图像再现方法和立体全景图像再现程序,以及记录介质
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
CN103162682A (zh) * 2011-12-08 2013-06-19 中国科学院合肥物质科学研究院 基于混合现实的室内路径导航方法
CN103198488A (zh) * 2013-04-16 2013-07-10 北京天睿空间科技有限公司 Ptz监控摄像机实时姿态快速估算方法
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和***
CN106095881A (zh) * 2016-06-07 2016-11-09 惠州Tcl移动通信有限公司 一种显示照片相应信息的方法、***及移动终端
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位***及方法
CN106767850A (zh) * 2016-11-10 2017-05-31 广州市沃希信息科技有限公司 一种基于场景图片的乘客定位方法及***
CN106909684A (zh) * 2017-03-06 2017-06-30 青岛鹏海软件有限公司 全景图像检索及展示方法
CN107027041A (zh) * 2017-04-18 2017-08-08 深圳市智能现实科技有限公司 场景展示方法及装置
CN107025275A (zh) * 2017-03-21 2017-08-08 腾讯科技(深圳)有限公司 视频搜索方法及装置
CN107146278A (zh) * 2017-04-18 2017-09-08 深圳市智能现实科技有限公司 场景建模方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782395B2 (en) * 1999-12-03 2004-08-24 Canon Kabushiki Kaisha Method and devices for indexing and seeking digital images taking into account the definition of regions of interest
CN108009588A (zh) * 2017-12-01 2018-05-08 深圳市智能现实科技有限公司 定位方法及装置、移动终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102918858A (zh) * 2010-12-24 2013-02-06 富士胶片株式会社 立体全景图像创建设备、立体全景图像创建方法和立体全景图像创建程序,立体全景图像再现设备、立体全景图像再现方法和立体全景图像再现程序,以及记录介质
CN103162682A (zh) * 2011-12-08 2013-06-19 中国科学院合肥物质科学研究院 基于混合现实的室内路径导航方法
CN103106252A (zh) * 2013-01-16 2013-05-15 浙江大学 利用手持设备的平面区域定位方法
CN103198488A (zh) * 2013-04-16 2013-07-10 北京天睿空间科技有限公司 Ptz监控摄像机实时姿态快速估算方法
CN104748738A (zh) * 2013-12-31 2015-07-01 深圳先进技术研究院 室内定位导航方法和***
CN106095881A (zh) * 2016-06-07 2016-11-09 惠州Tcl移动通信有限公司 一种显示照片相应信息的方法、***及移动终端
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106447585A (zh) * 2016-09-21 2017-02-22 武汉大学 城市地区和室内高精度视觉定位***及方法
CN106767850A (zh) * 2016-11-10 2017-05-31 广州市沃希信息科技有限公司 一种基于场景图片的乘客定位方法及***
CN106909684A (zh) * 2017-03-06 2017-06-30 青岛鹏海软件有限公司 全景图像检索及展示方法
CN107025275A (zh) * 2017-03-21 2017-08-08 腾讯科技(深圳)有限公司 视频搜索方法及装置
CN107027041A (zh) * 2017-04-18 2017-08-08 深圳市智能现实科技有限公司 场景展示方法及装置
CN107146278A (zh) * 2017-04-18 2017-09-08 深圳市智能现实科技有限公司 场景建模方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E. WANG; W. YAN: "iNavigation: an image based indoor navigation system", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
娄路: "面向移动LBS的智能手机室内定位技术探讨", 《电信科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104953A1 (zh) * 2017-12-01 2019-06-06 深圳市智能现实科技有限公司 定位方法及装置、移动终端
CN109691185B (zh) * 2018-07-26 2022-09-30 达闼机器人股份有限公司 一种定位方法、装置、终端和可读存储介质
CN109691185A (zh) * 2018-07-26 2019-04-26 深圳前海达闼云端智能科技有限公司 一种定位方法、装置、终端和可读存储介质
CN109359517A (zh) * 2018-08-31 2019-02-19 深圳市商汤科技有限公司 图像识别方法和装置、电子设备、存储介质、程序产品
CN109671119A (zh) * 2018-11-07 2019-04-23 中国科学院光电研究院 一种基于slam的室内定位方法及装置
CN111291588A (zh) * 2018-12-06 2020-06-16 新加坡国立大学 用于在建筑物内定位的方法和***
CN112074062A (zh) * 2019-05-21 2020-12-11 广东小天才科技有限公司 一种基于场景的灯光调节方法及智能照明装置
CN110276841A (zh) * 2019-06-27 2019-09-24 北京小米移动软件有限公司 应用于增强现实设备的运动轨迹确定方法、装置及终端
CN110276841B (zh) * 2019-06-27 2023-11-24 北京小米移动软件有限公司 应用于增强现实设备的运动轨迹确定方法、装置及终端
JP2023523364A (ja) * 2020-05-26 2023-06-02 マプサス テクノロジー ホールディング リミテッド 視覚測位方法、装置、機器及び可読記憶媒体
JP7446643B2 (ja) 2020-05-26 2024-03-11 マプサス テクノロジー ホールディング リミテッド 視覚測位方法、装置、機器及び可読記憶媒体
CN112860946A (zh) * 2021-01-18 2021-05-28 四川弘和通讯有限公司 一种视频图像信息转换为地理信息的方法及***
CN112860946B (zh) * 2021-01-18 2023-04-07 四川弘和通讯集团有限公司 一种视频图像信息转换为地理信息的方法及***
CN114353796A (zh) * 2021-12-06 2022-04-15 煤炭科学技术研究院有限公司 一种室内定位方法、装置及电子设备

Also Published As

Publication number Publication date
WO2019104953A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN108009588A (zh) 定位方法及装置、移动终端
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN107635101B (zh) 拍摄方法、装置、存储介质和电子设备
CN110782468B (zh) 图像分割模型的训练方法及装置及图像分割方法及装置
CN105631406B (zh) 图像识别处理方法和装置
CN105160327A (zh) 建筑物识别方法和装置
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN108989665A (zh) 图像处理方法、装置、移动终端及计算机可读介质
CN109040605A (zh) 拍摄引导方法、装置及移动终端和存储介质
CN105447864A (zh) 图像的处理方法、装置及终端
CN107707824B (zh) 拍摄方法、装置、存储介质和电子设备
CN115471662B (zh) 语义分割模型的训练方法、识别方法、装置和存储介质
CN109495616B (zh) 一种拍照方法及终端设备
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN107566742A (zh) 拍摄方法、装置、存储介质和电子设备
CN109670458A (zh) 一种车牌识别方法及装置
US20210201478A1 (en) Image processing methods, electronic devices, and storage media
CN112508974B (zh) 图像分割模型的训练方法、装置、电子设备和存储介质
CN111476057B (zh) 车道线获取方法及装置、车辆驾驶方法及装置
CN105678242A (zh) 手持证件模式下的对焦方法和装置
CN115170792B (zh) 红外图像处理方法、装置及设备、存储介质
CN111582257A (zh) 用于对待检测对象进行检测的方法、装置及***
CN111062401A (zh) 堆叠物体的识别方法及装置、电子设备和存储介质
CN109697389B (zh) 身份识别方法与装置
CN106372663B (zh) 构建分类模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication