CN107590260A - 点云数据实时检索方法及其*** - Google Patents
点云数据实时检索方法及其*** Download PDFInfo
- Publication number
- CN107590260A CN107590260A CN201710860170.0A CN201710860170A CN107590260A CN 107590260 A CN107590260 A CN 107590260A CN 201710860170 A CN201710860170 A CN 201710860170A CN 107590260 A CN107590260 A CN 107590260A
- Authority
- CN
- China
- Prior art keywords
- cloud data
- hbase
- region
- row
- search method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种点云数据实时检索方法及其***,它解决了现有技术对海量的检索效率低等问题。包括以下步骤:S1:把地图划分成若干具有唯一ID字符串的小栅格,且越相邻的小栅格的ID字符串具有越多的公共前缀字符;S2:利用步骤S1中小栅格的ID字符串生成规则把Hadoop集群的点云数据导入至HBase数据库中;S3:基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase Region Server中进行并行检索。本发明具有以下优点:使地图上临近的点保存在HBase数据库相近的区域,有效提高检索效率。
Description
技术领域
本发明涉及地理空间数据处理以及大数据处理技术,尤其涉及一种点云数据实时检索方法及其***。
背景技术
激光雷达技术可以快速获取高密集、高精度的激光点云数据,通过后期处理点云数据,能够建立精度为厘米级的三维立体模型。这种精细化技术已经应用于军事、民用各个层次,例如,无人驾驶、虚拟现实、建筑工程等。然而,由于这种技术采集的数据量巨大(通常为TB级),如何有效存储和管理这些海量数据、基于海量数据的快速处理及三维立体模型的建模,基于海量空间数据的实时检索还存在技术瓶颈,成为激光雷达技术广泛应用的一种障碍。
为了解决上述技术问题,人们进行了长期的探索,例如中国专利公开了一种基于摆动激光雷达的可变视野三维重建装置[申请号:CN201610444260.7],包括激光雷达摆动机构、机构运动控制模块和三维点云重建模块,其中:单线激光雷达为三维点云数据采集设备,激光雷达中心固定机构承受激光雷达重量并固定激光雷达中心,激光雷达摆动控制机构实现激光雷达视野范围的调节并带动其全向摆动,三者组成激光雷达摆动机构;机构运动控制模块控制激光雷达摆动机构的运动,并对激光雷达位姿进行实时测量;三维点云重建模块对多帧激光雷达测量数据进行拼接,重建空间三维点云。
上述方案能够通过对三维环境的测量与重建,根据需求对视野范围和点云分布进行调节,以实现对不同位置空间信息的重点测量,具有精度高、可靠性强、适应性好特点。但是仍然存在部分不足,例如,基于海量空间数据的实时检索还处于技术瓶颈阶段。
此外,Hadoop是一种在互联网行业广泛使用的大数据架构,Hadoop非常适合存储和处理海量数据,具有高扩展、可伸缩性,HBase数据库提供了对Hadoop文件的实时检索能力,借助Hadoop能够解决前述对海量数据的实时检索过程中存在的技术问题。但是,虽然Hadoop在互联网行业已经广泛应用,但是Hadoop技术在地理信息***行业的成功应用还不多,特别是在激光雷达领域,Hadoop处理激光雷达数据的主要困难在于:1.Hadoop典型应用为对文本信息的处理,对地理信息数据的处理应用还没有实现无缝集成;2.基于空间信息的检索不同于基于文本的检索,HBase没有支持空间实时检索的功能。
发明内容
本发明的目的是针对上述问题,提供一种方法简单,检索效率高的点云数据实时检索方法;
本发明的另一目的是针对上述技术问题,提供一种基于点云数据实时检索方法的点云数据实时检索***。
为达到上述目的,本发明采用了下列技术方案:
本发明的点云数据实时检索方法,包括以下步骤:
S1:把地图划分成若干具有唯一ID字符串的小栅格,且越相邻的小栅格的ID字符串具有越多的公共前缀字符;
S2:利用步骤S1中小栅格的ID字符串生成规则把Hadoop集群的点云数据导入至HBase数据库中;
S3:基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase RegionServer中进行并行检索。
通过上述方案,使地图上临近的点保存在HBase数据库相近的区域,可有效提高检索效率。
在上述的点云数据实时检索方法中,在步骤S1中,采用GEOHASH算法的地图栅格ID生成方法将地图划分为若干小栅格。
在上述的点云数据实时检索方法中,在步骤S2中,导入至HBase数据库中的点云数据根据其地理位置信息存放至相应的小栅格内。
在上述的点云数据实时检索方法中,在步骤S2中,导入至HBase数据库中的点云数据以数据库表的形式保存,且数据库表的每行对应一个小栅格,RowKey为基于该小栅格对应区域的GEOHASH码,每一行具有该行对应区域内的点云信息列簇,列簇中的一列保存一个点的信息。
在上述的点云数据实时检索方法中,在步骤S3中,所述的HBase Endpoint机制的空间数据检索方法为能够针对任意闭合多边形检索条件的检索方法。
在上述的点云数据实时检索方法中,在步骤S3中,使用HBase Endpoint机制对HBase Region Server进行并行检索的方法包括:
S3.1:对RowKey进行过滤,获得满足条件的候选行;
S3.2:对满足条件的行中包含的点进行判断,返回检索结果。
在上述的点云数据实时检索方法中,在步骤S3.1中,获得候选行的方法包括:
S3.1.1:基于搜索区域生成该搜索区域覆盖的所有小栅格;
S3.1.2:计算步骤S3.1.1中获得的小栅格的GEOHASH码,从而生成待搜索区域的RowKey列表,使用该RowKey列表获得候选行。
在上述的点云数据实时检索方法中,步骤S3.2具体包括:
对每个候选行中包含的点判断是否在搜索区域内,并返回在搜索区域内的点。
在上述的点云数据实时检索方法中,在步骤S1之前还包括以下步骤:
从客户端读取点云数据,并将该点云数据写入Hadoop分布式文件***。
一种基于点云数据实时检索方法的点云数据实时检索***。
本发明点云数据实时检索方法及其***相较于现有技术具有以下优点:1、通过将地图划分为若干小栅格将地理位置临近的点云数据保存在相近的磁盘空间,提高检索效率;2、通过HBase Endpoint机制的空间数据检索方法进行并行检索,进一步保证了高效检索,同时使HBase支持空间实时检索功能。
附图说明
图1是本发明方法流程图;
图2是本发明中HBase数据库表结构。
具体实施方式
以下采用本发明的优选实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
如图1所示,本发明的点云数据实时检索方法先执行以下步骤:
将激光雷达收集到的点云数据发送至客户端,接着从客户端读取点云数据,并将该点云数据写入Hadoop分布式文件***中,点云数据写入Hadoop分布式文件***后执行以下步骤:
S1:采用GEOHASH算法的地图栅格ID生成方法将地图划分为若具有唯一ID字符串的小栅格;
下面以坐标(39.92324,116.3906)为例介绍一下GEOHASH的编码算法,首先将纬度范围(-90,90)平分成两个区间(-90,0)、(0,90),如果目标纬度位于前一个区间,则编码为0,否则编码为1。由于39.92324属于(0,90),所以取编码为1,然后再将(0,90)分成(0,45),(45,90)两个区间,而39.92324位于(0,45),所以编码为0,以此类推,直到精度符合要求为止,得到纬度编码为1011 1000 1100 0111 1001;用同样的方法得到经度编码。
该方法的特点是且越相邻的小栅格的ID字符串具有越多的公共前缀字符。
S2:利用步骤S1中小栅格的ID字符串生成规则把Hadoop集群的点云数据导入至HBase数据库中,即导入至HBase数据库中的点云数据根据其地理位置信息存放至相应的小栅格内,并且导入至HBase数据库中的点云数据以数据库表的形式保存,HBase数据库表如图2所示,一行对应一个子区域,a、每行对应一个小区域(小栅格),RowKey(行键)为基于该区域的GEOHASH码;b、每一行具有该行对应区域内的点云信息列簇,列簇中的一列保存一个点的信息。基于这种设计方法,地图上临近的保存在数据库相近的区域,可以提高检索效率。
S3:基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase RegionServer中进行并行检索。并且,本实施例的HBase Endpoint机制的空间数据检索方法为能够针对任意闭合多边形检索条件的检索方法。
所属技术领域人员应当知道,Region中保存有HBas数据的信息,Region Server是HBase运行在每个工作节点上的服务器1,用于维护Region的状态,提供对于Region的管理和服务;hbase有两种辅助处理器,一种是Observer(观察者),类似于关系数据库的trigger(触发器),另外一种就是这里的EndPoint,类似于关系数据库的存储过程,具体地,本实施例中使用HBase Endpoint机制对HBase Region Server进行并行检索的方法包括:
S3.1:对RowKey进行过滤,获得满足条件的候选行;
其中,获得候选行的方法包括:
基于搜索区域生成该搜索区域覆盖的所有小栅格;计算前述步骤中获得的小栅格的GEOHASH码,从而生成待搜索区域的RowKey列表,使用该RowKey列表获得候选行;
S3.2:对满足条件的行中包含的点进行判断,返回检索结果。
而步骤S3.2具体包括:对每个候选行中包含的点判断是否在搜索区域内,并返回在搜索区域内的点。
进一步地,本实施例还公开了一种基于点云数据实时检索方法的点云数据实时检索***。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了小栅格、行键、候选行、点云数据等术语,但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质;把它们解释成任何一种附加的限制都是与本发明精神相违背的。
Claims (10)
1.一种点云数据实时检索方法,其特征在于,包括以下步骤:
S1:把地图划分成若干具有唯一ID字符串的小栅格,且越相邻的小栅格的ID字符串具有越多的公共前缀字符;
S2:利用步骤S1中小栅格的ID字符串生成规则把Hadoop集群的点云数据导入至HBase数据库中;
S3:基于检索条件采用HBase Endpoint机制的空间数据检索方法在Hbase RegionServer中进行并行检索。
2.根据权利要去1所述的点云数据实时检索方法,其特征在于,在步骤S1中,采用GEOHASH算法的地图栅格ID生成方法将地图划分为若干小栅格。
3.根据权利要去2所述的点云数据实时检索方法,其特征在于,在步骤S2中,导入至HBase数据库中的点云数据根据其地理位置信息存放至相应的小栅格内。
4.根据权利要去3所述的点云数据实时检索方法,其特征在于,在步骤S2中,导入至HBase数据库中的点云数据以数据库表的形式保存,且数据库表的每行对应一个小栅格,RowKey为基于该小栅格对应区域的GEOHASH码,每一行具有该行对应区域内的点云信息列簇,列簇中的一列保存一个点的信息。
5.根据权利要去4所述的点云数据实时检索方法,其特征在于,在步骤S3中,所述的HBase Endpoint机制的空间数据检索方法为能够针对任意闭合多边形检索条件的检索方法。
6.根据权利要去1所述的点云数据实时检索方法,其特征在于,在步骤S3中,使用HBaseEndpoint机制对HBase Region Server进行并行检索的方法包括:
S3.1:对RowKey进行过滤,获得满足条件的候选行;
S3.2:对满足条件的行中包含的点进行判断,返回检索结果。
7.根据权利要去6所述的点云数据实时检索方法,其特征在于,在步骤S3.1中,获得候选行的方法包括:
S3.1.1:基于搜索区域生成该搜索区域覆盖的所有小栅格;
S3.1.2:计算步骤S3.1.1中获得的小栅格的GEOHASH码,从而生成待搜索区域的RowKey列表,使用该RowKey列表获得候选行。
8.根据权利要去7所述的点云数据实时检索方法,其特征在于,步骤S3.2具体包括:
对每个候选行中包含的点判断是否在搜索区域内,并返回在搜索区域内的点。
9.根据权利要去1所述的点云数据实时检索方法,其特征在于,在步骤S1之前还包括以下步骤:
从客户端读取点云数据,并将该点云数据写入Hadoop分布式文件***。
10.一种基于权利要求1-9任意一项所述的点云数据实时检索方法的点云数据实时检索***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710860170.0A CN107590260B (zh) | 2017-09-21 | 2017-09-21 | 点云数据实时检索方法及其*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710860170.0A CN107590260B (zh) | 2017-09-21 | 2017-09-21 | 点云数据实时检索方法及其*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107590260A true CN107590260A (zh) | 2018-01-16 |
CN107590260B CN107590260B (zh) | 2020-02-18 |
Family
ID=61046998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710860170.0A Active CN107590260B (zh) | 2017-09-21 | 2017-09-21 | 点云数据实时检索方法及其*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107590260B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902115A (zh) * | 2019-01-28 | 2019-06-18 | 中山大学 | 一种面向栅格数据的区域与流域数据程序化提取方法 |
CN109946724A (zh) * | 2019-03-29 | 2019-06-28 | 江苏小牛电动科技有限公司 | 一种基于geohash算法的gps静态漂移修正方法及其装置 |
CN112365399A (zh) * | 2020-10-09 | 2021-02-12 | 北京星闪世图科技有限公司 | 基于深度学习的风机叶片图像全景拼接方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2339481A1 (en) * | 2009-12-03 | 2011-06-29 | National Digital Research Centre | Enablement of three-dimensional hosting, indexing, analysing and querying structure for spatial systems |
CN103955511A (zh) * | 2014-04-30 | 2014-07-30 | 华南理工大学 | 一种城市3d建筑数据的云平台数据组织和检索方法 |
CN104376053A (zh) * | 2014-11-04 | 2015-02-25 | 南京信息工程大学 | 一种基于海量气象数据的存储与检索方法 |
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
CN106156332A (zh) * | 2016-07-06 | 2016-11-23 | 福建富士通信息软件有限公司 | 基于选定时间段及选定区域筛选进出车辆的方法 |
-
2017
- 2017-09-21 CN CN201710860170.0A patent/CN107590260B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2339481A1 (en) * | 2009-12-03 | 2011-06-29 | National Digital Research Centre | Enablement of three-dimensional hosting, indexing, analysing and querying structure for spatial systems |
CN103955511A (zh) * | 2014-04-30 | 2014-07-30 | 华南理工大学 | 一种城市3d建筑数据的云平台数据组织和检索方法 |
CN104376053A (zh) * | 2014-11-04 | 2015-02-25 | 南京信息工程大学 | 一种基于海量气象数据的存储与检索方法 |
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
CN106156332A (zh) * | 2016-07-06 | 2016-11-23 | 福建富士通信息软件有限公司 | 基于选定时间段及选定区域筛选进出车辆的方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902115A (zh) * | 2019-01-28 | 2019-06-18 | 中山大学 | 一种面向栅格数据的区域与流域数据程序化提取方法 |
CN109902115B (zh) * | 2019-01-28 | 2022-03-04 | 中山大学 | 一种面向栅格数据的区域与流域数据程序化提取方法 |
CN109946724A (zh) * | 2019-03-29 | 2019-06-28 | 江苏小牛电动科技有限公司 | 一种基于geohash算法的gps静态漂移修正方法及其装置 |
CN109946724B (zh) * | 2019-03-29 | 2024-01-16 | 江苏小牛电动科技有限公司 | 一种基于geohash算法的gps静态漂移修正方法及其装置 |
CN112365399A (zh) * | 2020-10-09 | 2021-02-12 | 北京星闪世图科技有限公司 | 基于深度学习的风机叶片图像全景拼接方法和*** |
CN112365399B (zh) * | 2020-10-09 | 2024-05-03 | 江苏星闪世图科技(集团)有限公司 | 基于深度学习的风机叶片图像全景拼接方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN107590260B (zh) | 2020-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107515952A (zh) | 点云数据存储、并行计算和实时检索的方法及其*** | |
CN105426491B (zh) | 一种时空地理大数据的检索方法及*** | |
Lv et al. | Virtual reality smart city based on WebVRGIS | |
Li et al. | Big data in smart cities | |
Akdogan et al. | Voronoi-based geospatial query processing with mapreduce | |
CN104167021B (zh) | 一种基于地球空间立体剖分的空间目标索引方法 | |
CN105808672A (zh) | 基于浏览器的海量三维点云数据的发布方法 | |
CN104063466A (zh) | 虚拟-现实一体化的三维显示方法及*** | |
CN107590260A (zh) | 点云数据实时检索方法及其*** | |
CN103955511A (zh) | 一种城市3d建筑数据的云平台数据组织和检索方法 | |
CN105160707A (zh) | 基于视点索引的三维模型快速可视化方法 | |
CN106156138A (zh) | 兴趣点的空间索引的建立、周边搜索方法和装置 | |
CN107920126A (zh) | 一种云环境下的分布式空间大数据管理方法 | |
CN107679127A (zh) | 基于地理位置的点云信息并行提取方法及其*** | |
Jiang et al. | Application Research of Key Frames Extraction Technology Combined with Optimized Faster R‐CNN Algorithm in Traffic Video Analysis | |
CN110532444A (zh) | 一种高维电力大数据可视化方法及*** | |
Du et al. | Spatio-temporal data index model of moving objects on fixed networks using hbase | |
CN106600700A (zh) | 一种三维模型数据处理*** | |
Kritter et al. | On the real-world applicability of state-of-the-art algorithms for the optimal camera placement problem | |
CN115129795A (zh) | 一种基于地球空间网格的数据空时存储方法 | |
CN110287508A (zh) | 一种多源三维城市模型的可视化融合*** | |
Bonnell et al. | Constructing material interfaces from data sets with volume-fraction information | |
Brown et al. | Height and facet extraction from LiDAR point cloud for automatic creation of 3D building models | |
CN116778285A (zh) | 用于构建数字孪生底座的大数据融合方法及*** | |
CN104866687B (zh) | 支持stl数据源的动态空间索引构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |