CN111340882B - 基于图像的室内定位方法及装置 - Google Patents

基于图像的室内定位方法及装置 Download PDF

Info

Publication number
CN111340882B
CN111340882B CN202010104620.5A CN202010104620A CN111340882B CN 111340882 B CN111340882 B CN 111340882B CN 202010104620 A CN202010104620 A CN 202010104620A CN 111340882 B CN111340882 B CN 111340882B
Authority
CN
China
Prior art keywords
image
indoor
bim
indoor image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010104620.5A
Other languages
English (en)
Other versions
CN111340882A (zh
Inventor
周小平
李明明
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bim Winner Beijing Technology Co ltd
Original Assignee
Bim Winner Shanghai Technology Co ltd
Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd
Shenzhen Bim Winner Technology Co ltd
Shenzhen Qianhai Yingjia Data Service Co ltd
Bim Winner Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bim Winner Shanghai Technology Co ltd, Jiaxing Wuzhen Yingjia Qianzhen Technology Co ltd, Shenzhen Bim Winner Technology Co ltd, Shenzhen Qianhai Yingjia Data Service Co ltd, Bim Winner Beijing Technology Co ltd filed Critical Bim Winner Shanghai Technology Co ltd
Priority to CN202010104620.5A priority Critical patent/CN111340882B/zh
Publication of CN111340882A publication Critical patent/CN111340882A/zh
Application granted granted Critical
Publication of CN111340882B publication Critical patent/CN111340882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于图像的室内定位方法及装置，方法包括：获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中建筑物的BIM图像进行特征提取，获取室内图像的特征矩阵和BIM图像的特征矩阵；对室内图像进行分割，根据分割结果获取室内图像的权重矩阵，使用室内图像的权重矩阵分别对室内图像和BIM图像的特征矩阵进行加权；根据室内图像和各BIM图像的特征矩阵的加权结果，将室内图像和各BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标；其中，BIM图像和位置坐标预先关联存储。本发明实施例实现了基于图像的自动室内定位，且定位精度高。

Description

基于图像的室内定位方法及装置
技术领域
本发明属于室内定位技术领域，尤其涉及一种基于图像的室内定位方法及装置。
背景技术
室内定位技术在一些大型场所，如图书馆、体育馆、地下车库和货品仓库等应用广泛。可以实现对人员以及物品的快速定位。传统的室内定位方法多采用无线电、红外线和超声波等作为传播介质。
其中，红外线室内定位方法有两种，第一种是定位目标使用红外线的IR(InfraredRadiation，红外)标识作为移动点，发射调制的红外射线，通过安装在室内的光学传感器接收进行定位；第二种是通过多对发射器和接收器织红外线网覆盖待测空间，直接对运动目标进行定位。红外线的技术已经非常成熟，用于室内定位精度相对较高，但是由于红外线只能视距传播，穿透性极差，当标识被遮挡时就无法正常工作，也极易受灯光、烟雾等环境因素的影响。加上红外线的传输距离不长，使其在布局上，无论哪种方式，需要在每个遮挡背后、甚至转角都安装接收端，布局复杂，使得成本提升，而定位效果有限。
超声波室内定位***是基于超声波测距***而开发，由若干个应答器和主测距器组成。其中，主测距器放置在被测物体上，向位置固定的应答器发射同无线电信号，应答器在收到信号后向主测距器发射超声波信号，利用反射式测距法和三角定位等算法确定物体的位置。超声波室内定位整体精度很高，结构相对简单，有一定的穿透性而且超声波本身具有很强的抗干扰能力。但是超声波在空气中的衰减较大，不适用于大型场合，加上反射测距时受多径效应和非视距传播影响很大，造成需要精确分析计算的底层硬件设施投资，成本太高。
综上所述，传统的室内定位方法需要预先在室内安装信号发射装置，造成成本和使用上的不便利性，而且定位效果较差。
发明内容
为克服上述现有的室内定位方法成本高，定位效果差的问题或者至少部分地解决上述问题，本发明实施例提供一种基于图像的室内定位方法及装置。
根据本发明实施例的第一方面，提供一种基于图像的室内定位方法，包括：
获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；其中，所述BIM图像和所述位置坐标预先关联存储。
具体地，基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：
使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图；
基于卷积计算模型对所述室内图像的子图、BIM图像的子图、室内图像和BIM图像进行卷积计算；
将所述室内图像的子图和室内图像的卷积计算结果作为所述室内图像的特征矩阵，将所述BIM图像的子图和BIM图像的卷积计算结果作为所述BIM图像的特征矩阵。
具体地，使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图的步骤包括：
将滑动窗的左上角与所述室内图像和BIM图像的左上角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的右上角与所述室内图像和BIM图像的右上角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的左下角与所述室内图像和BIM图像的左下角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的右下角与所述室内图像和BIM图像的右下角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的中心点与所述室内图像和BIM图像的中心点进行对齐，截取所述室内图像和BIM图像的子图。
具体地，所述卷积计算模型为VGG16模型；
相应地，基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：
将所述室内图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述室内图像的特征矩阵；
将所述BIM图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述BIM图像的特征矩阵。
具体地，对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵的步骤包括：
基于DeepLabv3+模型对所述室内图像进行语义分割，获取所述室内图像的分割结果；
对所述室内图像划分为网格，若任一所述网格中的室内图像的分割结果包括前景，则将所述网格的权重设置为第一预设权重，否则将该网格的权重设置为第二预设权重；其中，所述第一预设权重小于所述第二预设权重；
根据所有所述网格的权重构建所述室内图像的权重矩阵。
具体地，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权的步骤包括：
对所述室内图像的权重矩阵的尺寸进行调整，以使所述室内图像的权重矩阵的尺寸与所述室内图像的特征矩阵的尺寸相同；
将调整后的所述室内图像的权重矩阵分别与所述室内图像和BIM图像的特征矩阵进行Hadamard乘积，获取所述室内图像和各BIM图像的特征矩阵的加权结果。
具体地，根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标的步骤包括：
将所述室内图像的特征矩阵的加权结果进行展开，获取所述室内图像的特征向量，将各所述BIM图像的特征矩阵的加权结果进行展开，获取各所述BIM图像的特征向量；
计算所述室内图像的特征向量和各所述BIM图像的特征向量之间的余弦相似度，将最大余弦相似度对应的BIM图像作为与所述室内图像最匹配的所述BIM图像；
将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标。
根据本发明实施例第二方面提供一种基于图像的室内定位装置，包括：
提取模块，用于获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
加权模块，用于对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
定位模块，用于根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；其中，所述BIM图像和所述位置坐标预先关联存储。
根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于图像的室内定位方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于图像的室内定位方法。
本发明实施例提供一种基于图像的室内定位方法及装置，该方法通过使用卷积计算模型对用户拍摄的真实室内图像和BIM图像进行特征提取，解决了真实室内图像和BIM图像的跨领域图像匹配问题；通过对室内图像进行分割得到权重矩阵，使用权重矩阵对室内图像和BIM图像的特征矩阵进行加权，实现注意力的集中分配，最后根据加权结果对室内图像和BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标，实现了基于图像的自动室内定位，且定位精度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像的室内定位方法整体流程示意图；
图2为本发明实施例提供的基于图像的室内定位方法中真实拍摄的室内图像示意图；
图3为本发明实施例提供的基于图像的室内定位方法中BIM图像示意图；
图4为本发明实施例提供的基于图像的室内定位方法中滑动窗截取子图示意图；
图5为本发明实施例提供的基于图像的室内定位方法中权重矩阵获取示意图；
图6为本发明又一实施例提供的基于图像的室内定位方法完整流程示意图；
图7为本发明实施例提供的基于图像的室内定位装置整体结构示意图；
图8为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中提供一种基于图像的室内定位方法，图1为本发明实施例提供的基于图像的室内定位方法整体流程示意图，该方法包括：S101，获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM(Building Information Modeling，建筑信息模型)图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
其中，室内图像为用户位于建筑物室内的路网上使用照相设备如手机拍摄的室内场景的照片。将用户拍摄的室内图像与BIM图像进行对比，实现室内定位。本实施例只用输入拍摄的室内图像和BIM图库，即可获取用户拍摄照片的位置坐标，此外还可以获取拍摄照片的方向角，以及与拍摄照片最匹配的BIM图像。本实施例中真实拍摄的室内图像与BIM图像属于两个不同领域的图像，两者之间存在一定的差异，比如纹理、结构比例等，如图2和图3所示。由于不同领域图像的差异直接应用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征描述符等传统图像匹配方法无法达到预期的匹配效果，本实施例通过卷积计算模型来提取室内图像和BIM图像的特征，减少不同领域图像的差异，根据卷积得到的图像特征进行室内定位。
在对室内图像和BIM图像进行特征提取之前，读取室内图像和BIM图像，得到矩阵I(x,y,z)。其中，x,y分别为图像的宽和高，z为图像的R、G和B三个通道。使用双线性插值算法，调整室内图像和BIM图像的大小为(m,n)。
BIM图像采集旨在通过BIM模型建立BIM图像和匹配的位置坐标数据集。BIM室内模型内存在无数的采集点，如果将无限个采集点都进行采集，一方面采集困难，另一方面相邻点的图像特征类似，造成不必要的资源浪费，而且采集点过多会造成待检测的BIM图像过多，大大降低位置定位的运行时间。如何合理设定BIM数据的采集点，将无穷空间中的采集点集转换为有限BIM图像采集点集是协同BIM和计算机视觉的室内定位的关键步骤。
本实施例结合建筑物所形成的BIM室内地图模型，选取BIM图像采集点集合。一方面，待定位位置通常为BIM室内地图模型中的可通行区域，因此，可忽略不可通行区域的空间位置；另一方面，拓扑路网中的节点往往为室内空间中的关键位置，例如门、楼道拐弯处等。因此，路网中的拓扑节点都应归入为BIM图像采集点。对于其他可通行网格，本实施例以一定概率随机选取其为BIM图像采集点。若采集点p处所采集BIM图像的水平方向角为α，垂直方向角为β，则该图像标记为I(p,α,β)。对于采集点p，以Δα和Δβ旋转水平和垂直方向的采集角度，采集BIM图像。然后，根据采集的BIM图像的直方图对采集的BIM图像进行进一步的筛选。对于强度分布集中的图像，即特征少的图像进行排除。
S102，对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
对室内图像进行分割，将室内图像分割为前景部分和背景部分。室内图像中的前景部分，如桌椅、花盆和人等为动态的，在BIM模型中是不存在的，这些为不利于室内定位的因素。而室内定位的视野重点位于背景部分，比如天花板、地板和墙体等。为了区分前景部分和背景部分对室内定位的不同影响程度，本实施例为室内图像中的前景和背景设置不同的权重，从而获取室内图像的权重矩阵，根据权重矩阵对室内图像的特征矩阵和BIM图像的特征矩阵进行加权。
S103，根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；其中，所述BIM图像和所述位置坐标预先关联存储。
将室内图像的特征矩阵的加权结果和每个BIM图像的特征矩阵的加权结果进行对比，根据对比结果获取与室内图像最匹配的BIM图像。BIM图像采集的位置坐标和方向角作为室内图像拍摄的位置坐标和方位角。将BIM图像采集的位置坐标作为拍摄室内图像的用户的坐标。
本实施例通过使用卷积计算模型对用户拍摄的真实室内图像和BIM图像进行特征提取，解决了真实室内图像和BIM图像的跨领域图像匹配问题；通过对室内图像进行分割得到权重矩阵，使用权重矩阵对室内图像和BIM图像的特征矩阵进行加权，实现注意力的集中分配，最后根据加权结果对室内图像和BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标，实现了基于图像的自动室内定位，且定位精度高。
在上述实施例的基础上，本实施例中基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图；基于卷积计算模型对所述室内图像的子图、BIM图像的子图、室内图像和BIM图像进行卷积计算；将所述室内图像的子图和室内图像的卷积计算结果作为所述室内图像的特征矩阵，将所述BIM图像的子图和BIM图像的卷积计算结果作为所述BIM图像的特征矩阵。
具体地，使用滑动窗分别从室内图像和BIM图像中截取多张子图，以减少真实拍摄的室内照片视野广度略微大于BIM截图的情况下的误差。对室内图像的子图和原始的室内图像进行卷积计算，得到室内图像的特征矩阵。对BIM图像的子图和原始BIM图像进行卷积计算，得到BIM图像的特征矩阵。
在上述实施例的基础上，本实施例中使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图的步骤包括：将滑动窗的左上角与所述室内图像和BIM图像的左上角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的右上角与所述室内图像和BIM图像的右上角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的左下角与所述室内图像和BIM图像的左下角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的右下角与所述室内图像和BIM图像的右下角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的中心点与所述室内图像和BIM图像的中心点进行对齐，截取所述室内图像和BIM图像的子图。
具体地，使用(m′,n′)的滑动窗截取五张子图，分别包含四个角点和中心点，以及原始图像，共得到六张图像。对六张室内图像和六张BIM图像进行特征提取。如图4所示，图4中a为原始图像，阴影部分表示为对整张原始图像进行特征提取。图4中的b、c、d、e和f分别表示为以四个角点和中心点对齐截取的子图，阴影部分表示滑动窗截取的子图，对子图进行特征提取。
在上述各实施例的基础上，本实施例中所述卷积计算模型为VGG16模型；相应地，基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：将所述室内图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述室内图像的特征矩阵；将所述BIM图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述BIM图像的特征矩阵。
具体地，VGG16模型的卷积网络结构如表1所示。其中，conv3表示卷积核是3×3的矩阵，卷积层的空间补偿(Spatial Padding)为一个像素，maxpool的类型为(2,2)。在卷积运算值中，卷积作用于图像，通过稀疏连接和参数共享，在大大减少参数量的同时，使得卷积网络具有对平移等的性质。如果一个函数满足输入改变，输出也以同样的方式改变，我们就说它是等变的。如果函数f(x)与g(x)满足f[g(x)]＝g[f(x)]，则f(x)对变换g具有等变性。对于卷积来说，如果令g是输入的任意平移函数，那么卷积函数对于g具有等变性。池化使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出。假设池化层的输入为aij，则输出Amax＝max(aij)。最大池化使卷积网路对图像具有局部平移不变性。由于第四层的准确率最高，本实施例取第四层种maxpool的输出，得到图像的特征矩阵O(i；j；512)，输出512张特征图。
表1 VGG16的卷积网络结构
本实施例在使用VGG16模型进行特征提取之前，使用ImageNet对VGG16模型进行训练。在训练前，需要对ImageNet图像进行预处理。通过统计所有ImageNet图像的像素值，得到所有ImageNet图像的RGB三个通道的均值(r,g,b)，即
其中，p为像素点的值，i、j表示图像的像素点宽和高方向的坐标，r表示图像的R通道，g表示图像的G通道，b表示图像的B通道，n表示ImageNet中所有训练集的图像总张数。
每张图像的RGB三个通道的像素分别减去r、g和b，进行图像的预处理，以减少光照或者照片亮度对特征提取的影响，使提取的特征侧重于图像本身的自然特性，得到提取的特征矩阵I(m′,n′,3)。将I(m′,n′,3)输入VGG16模型，训练集为ImageNet，做如下卷积计算：
将上式应用于I(m′,n′,3)的卷积计算。其中，V为输入图像的张量；K为卷积核；i,j为图像的高和宽；k为通道的个数，s为步长。
在上述各实施例的基础上，本实施例中对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵的步骤包括：基于DeepLabv3+模型对所述室内图像进行语义分割，获取所述室内图像的分割结果；对所述室内图像划分为网格，若任一所述网格中的室内图像的分割结果包括前景，则将所述网格的权重设置为第一预设权重，否则将该网格的权重设置为第二预设权重；其中，所述第一预设权重小于所述第二预设权重；根据所有所述网格的权重构建所述室内图像的权重矩阵。
具体地，使用DeepLabv3+模型进行语义分割。DeepLabv3+模型在训练集上进行训练的过程中，侧重的是前景，而非背景。根据分割结果，设定网格的间隔为(lm,ln)，对室内图像进行网格划分。如果网格中存在语义分割后的部分，即前景，则减少该网格权重为w(w<1)，其余网格权重为1，得到权重矩阵W。此种情况下第一预设潜在为w，第二预设权重为1。从而减少动态物体的影响，将注意力集中于静态部分。图5中的a表示基于分割结果的网格划分结果，白色线条为划分的网格，图5中的b中黑色部分为背景，白色部分为前景。图5中的c中黑色部分为权重为第二预设权重的区域，白色部分为权重为第一预设权重的区域。
此外，还可以采用上述方法获取室内图像的各子图的权重矩阵。在进行加权时，使用室内图像的权重矩阵对室内图像的特征矩阵和BIM图像的特征矩阵进行加权，使用室内图像的各子图的权重矩阵对室内图像的各子图的特征矩阵和BIM图像的各子图的特征矩阵进行加权。
在上述各实施例的基础上，本实施例中使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权的步骤包括：对所述室内图像的权重矩阵的尺寸进行调整，以使所述室内图像的权重矩阵的尺寸与所述室内图像的特征矩阵的尺寸相同；将调整后的所述室内图像的权重矩阵分别与所述室内图像和BIM图像的特征矩阵进行Hadamard乘积，获取所述室内图像和各BIM图像的特征矩阵的加权结果。
具体地，将权重矩阵尺度调整为与特征矩阵相同，得到W’。将特征矩阵与权重矩阵做Hadamard积得到特征矩阵O′(i,j,512)，从而调整对室内图像和BIM图像的注意力。
在上述各实施例的基础上，本实施例中根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标的步骤包括：将所述室内图像的特征矩阵的加权结果进行展开，获取所述室内图像的特征向量，将各所述BIM图像的特征矩阵的加权结果进行展开，获取各所述BIM图像的特征向量；计算所述室内图像的特征向量和各所述BIM图像的特征向量之间的余弦相似度，将最大余弦相似度对应的BIM图像作为与所述室内图像最匹配的所述BIM图像；将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标。
具体地，将特征矩阵O′(I,j,512)展开为特征向量。BIM图库中所有BIM图像的特征向量构成向量库。将室内图像的特征向量与向量库中的每个特征向量进行余弦相似度计算，选取最大余弦相似度对应的向量库中特征向量，将选取的特征向量所属的BIM图像作为与室内图像最匹配的BIM图像，将该BIM图像关联的位置坐标作为拍摄室内图像的位置坐标，从而对用户的位置进行定位。基于图像的室内定位方法的完整流程图如图6所示。
在本发明的另一个实施例中提供一种基于图像的室内定位装置，该装置用于实现前述各实施例中的方法。因此，在前述基于图像的室内定位方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图7为本发明实施例提供的基于图像的室内定位装置整体结构示意图，该装置包括提取模块701、加权模块702和定位模块703，其中：
提取模块701用于获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
加权模块702用于对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
定位模块703用于根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；其中，所述BIM图像和所述位置坐标预先关联存储。
本实施例通过使用卷积计算模型对用户拍摄的真实室内图像和BIM图像进行特征提取，解决了真实室内图像和BIM图像的跨领域图像匹配问题；通过对室内图像进行分割得到权重矩阵，使用权重矩阵对室内图像和BIM图像的特征矩阵进行加权，实现注意力的集中分配，最后根据加权结果对室内图像和BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标，实现了基于图像的自动室内定位，且定位精度高。
在上述实施例的基础上，本实施例中提取模块具体用于：使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图；基于卷积计算模型对所述室内图像的子图、BIM图像的子图、室内图像和BIM图像进行卷积计算；将所述室内图像的子图和室内图像的卷积计算结果作为所述室内图像的特征矩阵，将所述BIM图像的子图和BIM图像的卷积计算结果作为所述BIM图像的特征矩阵。
在上述实施例的基础上，本实施例中提取模块进一步用于：将滑动窗的左上角与所述室内图像和BIM图像的左上角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的右上角与所述室内图像和BIM图像的右上角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的左下角与所述室内图像和BIM图像的左下角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的右下角与所述室内图像和BIM图像的右下角进行对齐，截取所述室内图像和BIM图像的子图；将滑动窗的中心点与所述室内图像和BIM图像的中心点进行对齐，截取所述室内图像和BIM图像的子图。
在上述实施例的基础上，本实施例中所述卷积计算模型为VGG16模型；相应地，提取模块具体用于：将所述室内图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述室内图像的特征矩阵；将所述BIM图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述BIM图像的特征矩阵。
在上各述实施例的基础上，本实施例中加权模块具体用于：基于DeepLabv3+模型对所述室内图像进行语义分割，获取所述室内图像的分割结果；对所述室内图像划分为网格，若任一所述网格中的室内图像的分割结果包括前景，则将所述网格的权重设置为第一预设权重，否则将该网格的权重设置为第二预设权重；其中，所述第一预设权重小于所述第二预设权重；根据所有所述网格的权重构建所述室内图像的权重矩阵。
在上各述实施例的基础上，本实施例中加权模块具体用于：对所述室内图像的权重矩阵的尺寸进行调整，以使所述室内图像的权重矩阵的尺寸与所述室内图像的特征矩阵的尺寸相同；将调整后的所述室内图像的权重矩阵分别与所述室内图像和BIM图像的特征矩阵进行Hadamard乘积，获取所述室内图像和各BIM图像的特征矩阵的加权结果。
在上各述实施例的基础上，本实施例中定位模块具体用于：将所述室内图像的特征矩阵的加权结果进行展开，获取所述室内图像的特征向量，将各所述BIM图像的特征矩阵的加权结果进行展开，获取各所述BIM图像的特征向量；计算所述室内图像的特征向量和各所述BIM图像的特征向量之间的余弦相似度，将最大余弦相似度对应的BIM图像作为与所述室内图像最匹配的所述BIM图像；将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行如下方法：获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中建筑物的BIM图像进行特征提取，获取室内图像的特征矩阵和BIM图像的特征矩阵；对室内图像进行分割，根据分割结果获取室内图像的权重矩阵，使用室内图像的权重矩阵分别对室内图像和BIM图像的特征矩阵进行加权；根据室内图像和各BIM图像的特征矩阵的加权结果，将室内图像和各BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标；其中，BIM图像和位置坐标预先关联存储。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中建筑物的BIM图像进行特征提取，获取室内图像的特征矩阵和BIM图像的特征矩阵；对室内图像进行分割，根据分割结果获取室内图像的权重矩阵，使用室内图像的权重矩阵分别对室内图像和BIM图像的特征矩阵进行加权；根据室内图像和各BIM图像的特征矩阵的加权结果，将室内图像和各BIM图像进行匹配，将与室内图像最匹配的BIM图像对应的位置坐标作为用户的位置坐标；其中，BIM图像和位置坐标预先关联存储。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于图像的室内定位方法，其特征在于，包括：
获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
对所述室内图像进行分割，将所述室内图像分割为前景部分和背景部分，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标，将与所述室内图像最匹配的BIM图像对应的方向角作为所述室内图像拍摄的方向角；其中，所述BIM图像和所述BIM图像对应的位置坐标、所述BIM图像对应的方向角预先关联存储；
其中，所述室内图像为所述用户位于所述建筑物室内的路网上使用照相设备拍摄的室内场景的照片；
根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标的步骤包括：
将所述室内图像的特征矩阵的加权结果进行展开，获取所述室内图像的特征向量，将各所述BIM图像的特征矩阵的加权结果进行展开，获取各所述BIM图像的特征向量；
计算所述室内图像的特征向量和各所述BIM图像的特征向量之间的余弦相似度，将最大余弦相似度对应的BIM图像作为与所述室内图像最匹配的所述BIM图像；
将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；所述BIM图像在预先设定的BIM采集点采集得到。
2.根据权利要求1所述的基于图像的室内定位方法，其特征在于，基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：
使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图；
基于卷积计算模型对所述室内图像的子图、BIM图像的子图、室内图像和BIM图像进行卷积计算；
将所述室内图像的子图和室内图像的卷积计算结果作为所述室内图像的特征矩阵，将所述BIM图像的子图和BIM图像的卷积计算结果作为所述BIM图像的特征矩阵。
3.根据权利要求1所述的基于图像的室内定位方法，其特征在于，使用滑动窗对所述室内图像和BIM图像进行扫描，获取所述室内图像和BIM图像的子图的步骤包括：
将滑动窗的左上角与所述室内图像和BIM图像的左上角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的右上角与所述室内图像和BIM图像的右上角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的左下角与所述室内图像和BIM图像的左下角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的右下角与所述室内图像和BIM图像的右下角进行对齐，截取所述室内图像和BIM图像的子图；
将滑动窗的中心点与所述室内图像和BIM图像的中心点进行对齐，截取所述室内图像和BIM图像的子图。
4.根据权利要求1所述的基于图像的室内定位方法，其特征在于，所述卷积计算模型为VGG16模型；
相应地，基于卷积计算模型对所述室内图像和BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵的步骤包括：
将所述室内图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述室内图像的特征矩阵；
将所述BIM图像作为所述VGG16模型的输入，将所述VGG16模型的第四层中maxpool的输出作为所述BIM图像的特征矩阵。
5.根据权利要求1-4任一所述的基于图像的室内定位方法，其特征在于，对所述室内图像进行分割，根据分割结果获取所述室内图像的权重矩阵的步骤包括：
基于DeepLabv3+模型对所述室内图像进行语义分割，获取所述室内图像的分割结果；
将所述室内图像划分为网格，若任一所述网格中的室内图像的分割结果包括前景，则将所述网格的权重设置为第一预设权重，否则将所述网格的权重设置为第二预设权重；其中，所述第一预设权重小于所述第二预设权重；
根据所有所述网格的权重构建所述室内图像的权重矩阵。
6.根据权利要求1-4任一所述的基于图像的室内定位方法，其特征在于，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权的步骤包括：
对所述室内图像的权重矩阵的尺寸进行调整，以使所述室内图像的权重矩阵的尺寸与所述室内图像的特征矩阵的尺寸相同；
将调整后的所述室内图像的权重矩阵分别与所述室内图像和BIM图像的特征矩阵进行Hadamard乘积，获取所述室内图像和各BIM图像的特征矩阵的加权结果。
7.一种基于图像的室内定位装置，其特征在于，包括：
提取模块，用于获取用户拍摄的建筑物的室内图像，基于卷积计算模型对所述室内图像和BIM图库中预先获取的所述建筑物的BIM图像进行特征提取，获取所述室内图像的特征矩阵和所述BIM图像的特征矩阵；
加权模块，用于对所述室内图像进行分割，将所述室内图像分割为前景部分和背景部分，根据分割结果获取所述室内图像的权重矩阵，使用所述室内图像的权重矩阵分别对所述室内图像的特征矩阵和所述BIM图像的特征矩阵进行加权；
定位模块，用于根据所述室内图像和各BIM图像的特征矩阵的加权结果，将所述室内图像和各所述BIM图像进行匹配，将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标，将与所述室内图像最匹配的BIM图像对应的方向角作为所述室内图像拍摄的方向角；其中，所述BIM图像和所述BIM图像对应的位置坐标、所述BIM图像对应的方向角预先关联存储；
其中，所述室内图像为所述用户位于所述建筑物室内的路网上使用照相设备拍摄的室内场景的照片；
所述定位模块具体用于，将所述室内图像的特征矩阵的加权结果进行展开，获取所述室内图像的特征向量，将各所述BIM图像的特征矩阵的加权结果进行展开，获取各所述BIM图像的特征向量；
计算所述室内图像的特征向量和各所述BIM图像的特征向量之间的余弦相似度，将最大余弦相似度对应的BIM图像作为与所述室内图像最匹配的所述BIM图像；
将与所述室内图像最匹配的BIM图像对应的位置坐标作为所述用户的位置坐标；所述BIM图像在预先设定的BIM采集点采集得到。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于图像的室内定位方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于图像的室内定位方法的步骤。
CN202010104620.5A 2020-02-20 2020-02-20 基于图像的室内定位方法及装置 Active CN111340882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010104620.5A CN111340882B (zh) 2020-02-20 2020-02-20 基于图像的室内定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010104620.5A CN111340882B (zh) 2020-02-20 2020-02-20 基于图像的室内定位方法及装置

Publications (2)

Publication Number Publication Date
CN111340882A CN111340882A (zh) 2020-06-26
CN111340882B true CN111340882B (zh) 2024-02-20

Family

ID=71181649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010104620.5A Active CN111340882B (zh) 2020-02-20 2020-02-20 基于图像的室内定位方法及装置

Country Status (1)

Country Link
CN (1) CN111340882B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112146660B (zh) * 2020-09-25 2022-05-03 电子科技大学 一种基于动态词向量的室内地图定位方法
CN112182279B (zh) * 2020-12-03 2021-03-19 武大吉奥信息技术有限公司 一种基于离散网格与影像匹配的室内自定位方法及设备
CN114627426B (zh) * 2022-05-13 2022-08-23 盈嘉互联（北京）科技有限公司 一种融合建筑数字孪生语义图的图像检测方法及装置
CN117058473B (zh) * 2023-10-12 2024-01-16 深圳易行机器人有限公司 一种基于图像识别的仓储物料管理方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN109726746A (zh) * 2018-12-20 2019-05-07 浙江大华技术股份有限公司 一种模板匹配的方法及装置
CN109784291A (zh) * 2019-01-23 2019-05-21 电子科技大学 基于多尺度的卷积特征的行人检测方法
KR20200012379A (ko) * 2018-07-27 2020-02-05 연세대학교 산학협력단 이미지 기반 실내위치 검출장치 및 검출방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133913A (zh) * 2017-05-08 2017-09-05 重庆邮电大学 一种自动矫直的图像拼接方法
CN108229468A (zh) * 2017-06-28 2018-06-29 北京市商汤科技开发有限公司 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
KR20200012379A (ko) * 2018-07-27 2020-02-05 연세대학교 산학협력단 이미지 기반 실내위치 검출장치 및 검출방법
CN109726746A (zh) * 2018-12-20 2019-05-07 浙江大华技术股份有限公司 一种模板匹配的方法及装置
CN109784291A (zh) * 2019-01-23 2019-05-21 电子科技大学 基于多尺度的卷积特征的行人检测方法

Also Published As

Publication number Publication date
CN111340882A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340882B (zh) 基于图像的室内定位方法及装置
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
US10311302B2 (en) Systems and methods for analyzing remote sensing imagery
Yang et al. Automated extraction of street-scene objects from mobile lidar point clouds
WO2020134528A1 (zh) 目标检测方法及相关产品
CN112017135B (zh) 一种遥感影像数据时空融合的方法、***及设备
CN111291768B (zh) 图像特征匹配方法及装置、设备、存储介质
CN105721853A (zh) 用于深度图生成的数码相机的配置设置
CN105913070B (zh) 一种基于光场相机的多线索显著性提取方法
CN105303514A (zh) 图像处理方法和装置
CN112560619B (zh) 一种基于多聚焦图像融合的多距离鸟类精准识别方法
Peng et al. Model and context‐driven building extraction in dense urban aerial images
CN112634340A (zh) 基于点云数据确定bim模型的方法、装置、设备和介质
CN109299305A (zh) 一种基于多特征融合的空间图像检索***及检索方法
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及***
CN109993753B (zh) 遥感影像中城市功能区的分割方法及装置
CN110287798A (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
Li et al. Global color consistency correction for large-scale images in 3-D reconstruction
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
TW202247108A (zh) 視覺定位方法、設備及電腦可讀儲存媒體
CN105631849B (zh) 多边形目标的变化检测方法及装置
CN113837202A (zh) 特征点的提取方法、图像的重建方法及装置
Uskenbayeva et al. Contour analysis of external images
Lopez et al. Line-based image segmentation method: a new approach to segment VHSR remote sensing images automatically

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240402

Address after: 1308, 13th Floor, Shougang Sports Building, No. 6 Jinyuanzhuang Road, Shijingshan District, Beijing, 100043

Patentee after: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 100041 1008, building 16, xishanhui, Shijingshan Park, Zhongguancun Science Park, Haidian District, Beijing

Patentee before: BIM WINNER (BEIJING) TECHNOLOGY CO.,LTD.

Country or region before: China

Patentee before: BIM WINNER (SHANGHAI) TECHNOLOGY Co.,Ltd.

Patentee before: JIAXING WUZHEN YINGJIA QIANZHEN TECHNOLOGY Co.,Ltd.

Patentee before: SHENZHEN QIANHAI YINGJIA DATA SERVICE Co.,Ltd.

Patentee before: SHENZHEN BIM WINNER TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right