CN111046042A - 基于时空碰撞的快速检索方法及*** - Google Patents

Abstract

本发明公开了一种基于时空碰撞的快速检索方法及***，其中，该方法包括：获取原始数据，其中所述原始数据包括对象轨迹数据；对所述原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；采用Geohash算法对所述经纬度进行处理，以生成栅格编码；对所述栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；根据所述优化编码的排序进行数据存储，以便基于所述优化编码的内容进行检索时快速获取目标数据；由此，在存储前对位置数据进行组织优化，使得检索时可以通过优化后的信息快速获取目标数据，从而提高检索效率。

Description

基于时空碰撞的快速检索方法及***

技术领域

本发明涉及计算机技术领域，特别涉及一种基于时空碰撞的快速检索方法、一种计算机可读存储介质、一种计算机设备以及一种基于时空碰撞的快速检索***。

背景技术

随着社会经济的飞速发展，计算机的应用领域越来越广泛，其中在数据检索领域的应用也越来越多了，传统的数据检索方法在对数据进行存储时，直接将对象位置数据进行存储，并做批量数据的加载及统计分析；该方法使得数据检索过程不够灵活，耗时耗力，从而导致检索效率差。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于时空碰撞的快速检索方法，在存储前对位置数据进行组织优化，使得检索时可以通过优化后的信息快速获取目标数据，从而提高检索效率。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种基于时空碰撞的快速检索***。

为达到上述目的，本发明第一方面实施例提出了一种基于时空碰撞的快速检索方法，包括以下步骤：获取原始数据，其中所述原始数据包括对象轨迹数据；对所述原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；采用Geohash算法对所述经纬度进行处理，以生成栅格编码；对所述栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；根据所述优化编码的排序进行数据存储，以便基于所述优化编码的内容进行检索时快速获取目标数据。

根据本发明实施例的基于时空碰撞的快速检索方法，首先获取原始数据，其中原始数据包括对象轨迹数据；接着对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；然后采用Geohash算法对经纬度进行处理，以生成栅格编码；再接着对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；最后根据优化编码的排序进行数据存储，以便基于优化编码的内容进行检索时快速获取目标数据；由此，通过对位置数据进行组织优化，使得检索时可以通过优化后的信息快速获取目标数据，从而提高检索效率。

另外，根据本发明上述实施例提出的基于时空碰撞的快速检索方法还可以具有如下附加的技术特征：

可选地，对所述栅格编码进行处理，包括：对所述栅格编码进行混乱排序、数据索引和MD5摘要处理。

可选地，根据所述优化编码的排序进行数据存储，包括：根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；根据row_key规则进行分区数据，并根据健值和列名对所述优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

可选地，基于所述优化编码的内容进行检索时快速获取目标数据，包括：根据所述优化编码的内容生成查询区间，并根据所述查询区间获取目标数据。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于时空碰撞的快速检索程序，该基于时空碰撞的快速检索程序被处理器执行时实现如上述的基于时空碰撞的快速检索方法。

根据本发明实施例的一种计算机可读存储介质，通过存储基于时空碰撞的快速检索程序，以便处理器在执行该基于时空碰撞的快速检索程序时实现如上述的基于时空碰撞的快速检索方法，从而提高检索效率。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于时空碰撞的快速检索方法。

根据本发明实施例的一种计算机设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于时空碰撞的快速检索方法，从而提高检索效率。

为达到上述目的，本发明第四方面实施例提出了一种基于时空碰撞的快速检索***，包括：获取模块，用于获取原始数据，其中所述原始数据包括对象轨迹数据；提取模块，用于对所述原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；第一处理模块，用于采用Geohash算法对所述经纬度进行处理，以生成栅格编码；第二处理模块，用于对所述栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；存储模块，用于根据所述优化编码的排序进行数据存储；检索模块，用于基于所述优化编码的内容进行检索时快速获取目标数据。

根据本发明实施例的一种基于时空碰撞的快速检索***，通过获取模块获取原始数据，其中原始数据包括对象轨迹数据；并通过提取模块对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；再通过第一处理模块采用Geohash算法对经纬度进行处理，以生成栅格编码；第二处理模块对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；接着通过存储模块根据优化编码的排序进行数据存储，以便通过检索模块基于优化编码的内容进行检索时快速获取目标数据；从而提高检索效率。

另外，根据本发明上述实施例提出的基于时空碰撞的快速检索***还可以具有如下附加的技术特征：

可选地，所述第二处理模块还用于：对所述栅格编码进行混乱排序、数据索引和MD5摘要处理。

可选地，所述存储模块还用于：根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；根据row_key规则进行分区数据，并根据健值和列名对所述优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

可选地，所述检索模块还用于：根据所述优化编码的内容生成查询区间，并根据所述查询区间获取目标数据。

附图说明

图1为根据本发明实施例的基于时空碰撞的快速检索方法的流程示意图；

图2为根据本发明实施例的基于时空碰撞的快速检索***的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为基于时空碰撞的快速检索方法

如图1所示，本发明实施例的基于时空碰撞的快速检索方法的流程示意图；如图1所示，本发明实施例的基于时空碰撞的快速检索方法包括以下步骤：

步骤101，获取原始数据，其中原始数据包括对象轨迹数据。

作为一个实施例，上述对象轨迹数据可为车辆轨迹数据。

作为一个具体实施例，车辆轨迹数据包括如下表1的各项数据信息，其中数据信息以UTF8格式存储的文本文件。

表1车辆轨迹数据信息表

步骤102，对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度。

也就是说，在获取到原始数据信息后，从原始数据信息中提取关键信息，以获得对象标识、定位时间和经纬度；其中对象标识为可以唯一标识对象的信息，定位时间为时间信息，经纬度为空间信息。

作为一个具体实施例，上述如下表2所示，对象标识可为车牌号和车牌颜色，定位时间可包括GPS定位到的车辆经过时间和***时间。

表2关键信息表

也就是说，从车辆轨迹数据信息中提取对象标识、定位时间和经纬度信息。

步骤103，采用Geohash算法对经纬度进行处理，以生成栅格编码。

需要说明的是，生成栅格编码后经纬度和栅格编码之间的映射就不会变化了，栅格编码与经纬度为1对多的映射关系，能使得数据在精度维度上得到压缩，从而降低检索数据压力。

作为一个具体实施例，如下表3所示，对经纬度进行数据转化从而得到栅格编码。

表3生成栅格编码后的关键信息表

步骤104，对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码。

作为一个实施例，对栅格编码进行处理，包括：对栅格编码进行混乱排序、数据索引和MD5摘要处理。

需要说明的是，由于栅格编码在数据的分布上可能会存在拥塞、分布不均的情况，所以需要对栅格编码进行混乱排序、数据索引和MD5摘要处理。

需要说明的是，根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码，从而消除了典型的数据热块。

步骤105，根据优化编码的排序进行数据存储，以便基于优化编码的内容进行检索时快速获取目标数据。

作为一个具体实施例，根据优化编码的排序进行数据存储，包括：根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；根据row_key规则进行分区数据，并根据健值和列名对优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

也就是说，优化编码后的数据上传到Hbase分布式集群，Hbase根据row_key规则对优化编码进行分区数据，并根据优化编码的健值和列名对优化编码进行排序，从而保证相近时间和相近栅格编码的数据在存储层面汇聚，进而提高检索的反应时间。

作为一个具体实施例，基于所述优化编码的内容进行检索时快速获取目标数据，包括：根据优化编码的内容生成查询区间，并根据查询区间获取目标数据。

需要说明的是，查询时，只需输入对应的查询参数，例如时间和位置，即可根据优化编码的内容生成查询区间，并通过Hbase的rowkey根据查询区间迅速定位需要返回的目标数据，从而快速获取目标数据。

需要说明的是，本发明采用Geohash算法，对位置数据进行组织优化，生成栅格编码，栅格编码规范有数据分布和布局的信息，将同一范围内的数据汇总在一起；采用Hbase分布式集群，支持对海量数据存储的横向扩展，row_key和hbase列稀疏矩阵的特性，能够满足通用灵活的业务场景，Hbase提供集群中数据表的自动重平衡能力，主从架构又能提供跨集群传输的数据集的全局视图，从而帮助前期规划Hbase集群的数据吞吐量。

综上所述，根据本发明实施例的基于时空碰撞的快速检索方法，首先获取原始数据，其中原始数据包括对象轨迹数据；接着对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；然后采用Geohash算法对经纬度进行处理，以生成栅格编码；再接着对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；最后根据优化编码的排序进行数据存储，以便基于优化编码的内容进行检索时快速获取目标数据；由此，通过对位置数据进行组织优化，使得检索时可以通过优化后的信息快速获取目标数据，从而提高检索效率。

另外，本发明实施例还提出了一种计算机可读存储介质，其上存储有基于时空碰撞的快速检索程序，该基于时空碰撞的快速检索程序被处理器执行时实现如上述的基于时空碰撞的快速检索方法。

根据本发明实施例的一种计算机可读存储介质，通过存储基于时空碰撞的快速检索程序，以便处理器在执行该基于时空碰撞的快速检索程序时实现如上述的基于时空碰撞的快速检索方法，从而提高检索效率。

另外，本发明实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于时空碰撞的快速检索方法。

根据本发明实施例的一种计算机设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于时空碰撞的快速检索方法，从而提高检索效率。

图2为根据本发明实施例的基于时空碰撞的快速检索***的方框示意图；如图2所示，本实施例的基于时空碰撞的快速检索***，包括：获取模块201、提取模块202、第一处理模块203、第二处理模块204、存储模块205和检索模块206。

其中，获取模块201，用于获取原始数据，其中原始数据包括对象轨迹数据；

提取模块202，用于对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；

第一处理模块203，用于采用Geohash算法对经纬度进行处理，以生成栅格编码；

第二处理模块204，用于对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；

存储模块205，用于根据优化编码的排序进行数据存储；

检索模块206，用于基于优化编码的内容进行检索时快速获取目标数据。

作为一个实施例，第二处理模块204还用于：对栅格编码进行混乱排序、数据索引和MD5摘要处理。

作为一个实施例，存储模块205还用于：根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；根据row_key规则进行分区数据，并根据健值和列名对优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

作为一个实施例，检索模块206还用于：根据优化编码的内容生成查询区间，并根据查询区间获取目标数据。

需要说明的是，前述对于基于时空碰撞的快速检索方法的实施例的解释说明同样适用于本实施例的基于时空碰撞的快速检索***，此处不再赘述。

综上所述，根据本发明实施例的一种基于时空碰撞的快速检索***，通过获取模块获取原始数据，其中原始数据包括对象轨迹数据；并通过提取模块对原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；再通过第一处理模块采用Geohash算法对经纬度进行处理，以生成栅格编码；第二处理模块对栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；接着通过存储模块根据优化编码的排序进行数据存储，以便通过检索模块基于优化编码的内容进行检索时快速获取目标数据；从而提高检索效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于时空碰撞的快速检索方法，其特征在于，包括以下步骤：

获取原始数据，其中所述原始数据包括对象轨迹数据；

对所述原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；

采用Geohash算法对所述经纬度进行处理，以生成栅格编码；

对所述栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；

根据所述优化编码的排序进行数据存储，以便基于所述优化编码的内容进行检索时快速获取目标数据。

2.如权利要求1所述的基于时空碰撞的快速检索方法，其特征在于，对所述栅格编码进行处理，包括：

对所述栅格编码进行混乱排序、数据索引和MD5摘要处理。

3.如权利要求1所述的基于时空碰撞的快速检索方法，其特征在于，根据所述优化编码的排序进行数据存储，包括：

根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；

根据row_key规则进行分区数据，并根据健值和列名对所述优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

4.如权利要求1-3中任一项所述的基于时空碰撞的快速检索方法，其特征在于，基于所述优化编码的内容进行检索时快速获取目标数据，包括：

根据所述优化编码的内容生成查询区间，并根据所述查询区间获取目标数据。

5.一种计算机可读存储介质，其特征在于，其上存储有基于时空碰撞的快速检索程序，该基于时空碰撞的快速检索程序被处理器执行时实现如权利要求1-4中任一项所述的基于时空碰撞的快速检索方法。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如1-4中任一项所述的基于时空碰撞的快速检索方法。

7.一种基于时空碰撞的快速检索***，其特征在于，包括：

获取模块，用于获取原始数据，其中所述原始数据包括对象轨迹数据；

提取模块，用于对所述原始数据进行关键信息提取，以获取对象标识、定位时间和经纬度；

第一处理模块，用于采用Geohash算法对所述经纬度进行处理，以生成栅格编码；

第二处理模块，用于对所述栅格编码进行处理，并根据处理后的栅格编码、对象标识和定位时间生成唯一的优化编码；

存储模块，用于根据所述优化编码的排序进行数据存储；

检索模块，用于基于所述优化编码的内容进行检索时快速获取目标数据。

8.如权利要求7所述的基于时空碰撞的快速检索***，其特征在于，所述第二处理模块还用于：

对所述栅格编码进行混乱排序、数据索引和MD5摘要处理。

9.如权利要求7所述的基于时空碰撞的快速检索***，其特征在于，所述存储模块还用于：

根据Hbase的内部存储文件格式生成HFile索引，并将优化编码后的数据上传到Hbase分布式集群；

根据row_key规则进行分区数据，并根据健值和列名对所述优化编码进行排序，以便相近时间和栅格的数据进行汇聚。

10.如权利要求7-9中任一项所述的基于时空碰撞的快速检索***，其特征在于，所述检索模块还用于：

根据所述优化编码的内容生成查询区间，并根据所述查询区间获取目标数据。

Images