CN117555968B - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117555968B CN117555968B CN202410044903.3A CN202410044903A CN117555968B CN 117555968 B CN117555968 B CN 117555968B CN 202410044903 A CN202410044903 A CN 202410044903A CN 117555968 B CN117555968 B CN 117555968B
- Authority
- CN
- China
- Prior art keywords
- target
- storage
- query
- data
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000005192 partition Methods 0.000 claims abstract description 186
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 47
- 238000001914 filtration Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据处理方法、装置、设备及存储介质，应用于时序数据库中的存储引擎，该方法包括：获取数据存储语句，数据存储语句中包括：目标对象的标识以及目标对象的待存储数据，待存储数据中包括：存储时间；根据存储时间，确定目标对象在存储引擎中对应的目标存储分区，其中，存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据；根据目标对象的标识进行哈希处理，确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置；将目标对象的标识以及待存储数据存储至目标存储位置。减少索引数量，提高数据存储及查询效率。
Description
技术领域
本申请涉及时序数据库技术领域，具体而言，涉及一种数据处理方法、装置、设备及存储介质。
背景技术
时序数据库是用于存储和查询时间序列数据的数据库***，时序数据库最常见的应用场景为点查，点查表示在大量数据中查询某条时间线在某个时间段内的数据。时序数据库针对数据按时海量写入无更新的场景，追求快速写入、高压缩以及快速检索数据。时序数据库会建立索引，以提高查询性能。
当时间线较多，数据又较稀疏即每条时间线的数据都较少时，会存在索引数量过多的问题，进而导致索引占据内存过多、数据写入速度、压缩效率以及分析效率较低。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种数据处理方法、装置、设备及存储介质，以解决现有技术中索引占据内存过多、数据写入速度、压缩效率以及分析效率较低的实际需要的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种数据处理方法，应用于时序数据库中的存储引擎，所述方法包括：
获取数据存储语句，所述数据存储语句中包括：目标对象的标识以及所述目标对象的待存储数据，所述待存储数据中包括：存储时间；
根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，其中，所述存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据；
根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置；
将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置。
作为一种可选的实现方式，所述根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，包括：
根据所述存储时间，确定所述存储时间所在的目标存储时段；
将所述目标存储时段对应的分区作为所述目标对象在所述存储引擎中对应的目标存储分区。
作为一种可选的实现方式，所述根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置，包括：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，得到目标哈希值，根据所述目标哈希值确定所述目标存储位置。
作为一种可选的实现方式，所述方法还包括：
获取数据查询语句，所述数据查询语句中包括：所述目标对象的标识以及目标查询时间；
根据所述目标查询时间，确定目标查询分区；
根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置；
根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置；
将所述目标查询位置上存储的数据作为所述目标对象的查询结果。
作为一种可选的实现方式，所述根据所述目标查询时间，确定目标查询分区，包括：
根据所述目标查询时间，确定所述目标查询时间所在的目标查询时段；
将所述目标查询时段对应的分区作为所述目标查询分区。
作为一种可选的实现方式，所述根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置，包括：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，确定目标哈希值；
将所述目标哈希值对应的各位置分别作为一个待选位置。
作为一种可选的实现方式，所述根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置，包括：
若所述数据查询语句中包括时间过滤信息，则根据所述时间过滤信息对所述至少一个待选位置进行过滤，得到所述目标查询位置。
第二方面，本申请实施例提供一种数据处理装置，应用于时序数据库中的存储引擎，所述装置包括：
获取模块，用于获取数据存储语句，所述数据存储语句中包括：目标对象的标识以及所述目标对象的待存储数据，所述待存储数据中包括：存储时间；
确定模块，用于根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，其中，所述存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据；
所述确定模块，还用于根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置；
存储模块，用于将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置。
作为一种可选的实现方式，所述确定模块具体用于：
根据所述存储时间，确定所述存储时间所在的目标存储时段；
将所述目标存储时段对应的分区作为所述目标对象在所述存储引擎中对应的目标存储分区。
作为一种可选的实现方式，所述确定模块具体用于：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，得到目标哈希值，根据所述目标哈希值确定所述目标存储位置。
作为一种可选的实现方式，所述确定模块还用于：
获取数据查询语句，所述数据查询语句中包括：所述目标对象的标识以及目标查询时间；
根据所述目标查询时间，确定目标查询分区；
根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置；
根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置；
将所述目标查询位置上存储的数据作为所述目标对象的查询结果。
作为一种可选的实现方式，所述确定模块具体用于：
根据所述目标查询时间，确定所述目标查询时间所在的目标查询时段；
将所述目标查询时段对应的分区作为所述目标查询分区。
作为一种可选的实现方式，所述确定模块具体用于：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，确定目标哈希值；
将所述目标哈希值对应的各位置分别作为一个待选位置。
作为一种可选的实现方式，所述确定模块具体用于：
若所述数据查询语句中包括时间过滤信息，则根据所述时间过滤信息对所述至少一个待选位置进行过滤，得到所述目标查询位置。
第三方面，本申请实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如上述第一方面任一所述的数据处理方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述的数据处理方法的步骤。
本申请的有益效果是：
本申请提供了一种数据处理方法、装置、设备及存储介质，时序数据库中的存储引擎获取目标对象的标识以及目标对象的待存储数据，存储引擎通过创建多个分区实现基于预设时段的分区存储，根据待存储数据中的存储时间将目标对象存储在对应时段的目标存储分区中，在目标存储分区中，存储引擎按照目标对象的标识为索引进行哈希处理，得到目标对象的标识以及待存储数据在目标存储分区中的目标存储位置，并将目标对象的标识以及待存储数据存储至目标存储分区中的目标存储位置。根据存储引擎的分区机制，在同一存储分区中，对目标对象的标识进行哈希处理，将目标对象的标识以及待存储数据存储至目标存储分区中的目标存储位置，减少了索引数量以及内存开销，解决数据存储的碎片化问题，提高数据存储及查询效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的数据处理方法的流程示意图；
图2为本申请实施例提供的数据处理方法的确定目标存储分区的流程示意图；
图3为本申请实施例提供的数据处理方法的另一流程示意图；
图4为本申请实施例提供的数据处理方法的确定目标查询分区的流程示意图；
图5为本申请实施例提供的数据处理方法的确定待选位置的流程示意图；
图6为本申请实施例提供的数据处理装置的模块结构图；
图7为本申请实施例提供的计算机设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
为了提高查询性能，时序数据库会建立索引，但当时间线较多，数据又较稀疏时，会存在索引数量过多的问题，进而导致索引占据内存过多、数据写入速度、压缩效率以及分析效率较低。
本申请实施例基于上述问题，提出一种数据处理方法，基于时序数据库中存储引擎中的分区机制，将数据按照预设时段进行分区存储，在同一个目标存储分区内对数据进行哈希处理，确定数据在目标存储分区中的目标存储位置，并将数据存储至目标存储位置，提高数据存储及查询效率。
图1为本申请实施例提供的数据处理方法的流程示意图，该方法的执行主体为时序数据库中的存储引擎。如图1所示，该方法包括：
S101、获取数据存储语句，数据存储语句中包括：目标对象的标识以及目标对象的待存储数据，待存储数据中包括：存储时间。
可选地，时序数据库用于处理时间序列数据，即带时间标签的数据，时间序列数据是一种按照时间顺序排列的数据集合。在时序数据库中，存储引擎接收用户输入的数据存储语句，得到目标对象的标识以及目标对象的待存储数据，待存储数据中包括存储时间。其中，存储时间可以为当前存储数据的时间，也可以为目标对象中携带的时间标签。示例性地，存储银行卡的交易信息时，存储引擎接收用户输入的银行卡交易信息存储语句，将各银行卡的ID作为目标对象的标识，将各银行卡的交易记录作为待存储数据，存储时间可以为当前存储银行卡交易信息的时间，也可以为各银行卡中交易记录的交易时间。
S102、根据存储时间，确定目标对象在存储引擎中对应的目标存储分区，其中，存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据。
可选地，在时序数据库中，存储引擎可以通过创建多个分区来实现基于预设时段的分区存储。具体地，存储引擎预先定义一个时间列，并将该时间列设置为分区键，按照预设时段创建多个分区，例如每天、每周或每月，并根据存储时间将目标对象存储在对应时段的目标存储分区中。示例性地，存储银行卡的交易信息时，存储引擎可以按照每天、每周或每月进行分区，根据存储银行卡交易信息的存储时间确定银行卡交易信息在存储引擎中对应的目标存储分区，或者，根据各银行卡中交易记录的交易时间确定银行卡交易信息在存储引擎中对应的目标存储分区。
S103、根据目标对象的标识进行哈希处理，确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置。
可选地，在时序数据库中引入预设哈希函数，在目标存储分区中，存储引擎以目标对象的标识为索引进行哈希处理，确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置。以存储银行卡的交易信息为例，银行卡ID范围为A0000000-A9999999，共100万张银行卡，将一百万张银行卡ID作为索引，存储引擎对银行卡ID进行哈希处理，根据预设哈希函数确定银行卡ID以及银行卡ID对应的交易记录在目标存储分区中的目标存储位置。具体地，通过哈希处理以多张银行卡ID为索引将多张银行卡的交易信息存储在同一目标存储位置上，例如可以使用一个均匀良好的哈希算法按照哈希桶为1000对银行卡ID进行哈希降维处理，将一千张银行卡的交易信息存储在同一哈希组的存储位置上，使得索引数量从100万缩减为1000，降低数据存储速度。
S104、将目标对象的标识以及待存储数据存储至目标存储位置。
可选地，存储引擎将目标对象的标识以及待存储数据存储至目标存储分区中的目标存储位置。示例性地，存储银行卡的交易信息时，将银行卡ID以及银行卡ID对应的交易记录存储在目标存储分区中的目标存储位置。
本实施例中，时序数据库中的存储引擎获取目标对象的标识以及目标对象的待存储数据，存储引擎通过创建多个分区实现基于预设时段的分区存储，根据待存储数据中的存储时间将目标对象存储在对应时段的目标存储分区中，在目标存储分区中，存储引擎按照目标对象的标识为索引进行哈希处理，得到目标对象的标识以及待存储数据在目标存储分区中的目标存储位置，并将目标对象的标识以及待存储数据存储至目标存储分区中的目标存储位置。根据存储引擎的分区机制，在同一存储分区中，对目标对象的标识进行哈希处理，将目标对象的标识以及待存储数据存储至目标存储分区中的目标存储位置，减少了索引数量以及内存开销，解决数据存储的碎片化问题，提高数据存储及查询效率。
以下，对根据存储时间，确定目标对象在存储引擎中对应的目标存储分区的过程进行详细说明。
图2为本申请实施例提供的数据处理方法的确定目标存储分区的流程示意图，如图2所示，上述步骤S102中根据存储时间，确定目标对象在存储引擎中对应的目标存储分区的步骤，包括：
S201、根据存储时间，确定存储时间所在的目标存储时段。
可选地，存储引擎通过数据存储语句获取目标对象中待存储数据的存储时间，得到存储时间并确定存储时间所在的时段，将该时段作为存储时间的目标存储时段。其中，可以根据当前存储数据的时间确定目标存储时段，也可以根据目标对象中携带的时间标签确定目标存储时段。
示例性地，存储银行卡的交易信息时，存储引擎根据存储银行卡交易信息的存储时间确定存储时间所在的时段，例如，存储银行卡交易信息的存储时间为今天，且存储引擎按照天为单位进行分区，则存储时间所在的时段为今天，将今天作为存储时间的目标存储时段。或者，存储引擎根据银行卡中交易记录的交易时间分别确定存储时间所在的时段，例如，一张银行卡存在两条交易记录，交易时间分别为昨天和今天，且存储引擎按照天为单位进行分区，则存储时间所在的时段分别为昨天和今天，将昨天和今天分别作为存储时间的目标存储时段。
S202、将目标存储时段对应的分区作为目标对象在存储引擎中对应的目标存储分区。
可选地，存储引擎将存储时间所在的目标存储时段对应的分区作为目标对象对应的存储分区。示例性地，若存储引擎按照天为单位进行分区，存储银行卡的交易信息时，存储银行卡交易信息的存储时间为今天，将存储时间所在的目标存储时段即当前日期对应的分区作为目标对象对应的目标存储分区。或者，存储引擎根据银行卡中交易记录的交易时间确定存储时间所在的时段分别为昨天和今天时，将存储时间所在的目标存储时段即当前日期以及当前日期的前一日对应的分区分别作为目标对象对应的目标存储分区。
本实施例中，存储引擎根据存储时间确定存储时间所在的时段，将该时段作为存储时间的目标存储时段，并将存储时间所在的目标存储时段对应的分区作为目标对象对应的存储分区。根据存储时间所在的目标存储时段确定目标对象对应的目标存储分区，便于将目标对象分区存储，减少碎片化问题，提高目标对象的访问速度。
作为一种可选的实施方式，上述步骤S103中根据目标对象的标识进行哈希处理，确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置的步骤，包括：
以目标对象的标识作为输入参数，调用存储引擎中的预设哈希函数，以通过预设哈希函数对目标对象的标识进行哈希处理，得到目标哈希值，根据目标哈希值确定目标存储位置。
可选地，在存储引擎中，引入索引映射函数（Sort Key Mapping Function），索引映射函数为一个哈希函数，用于将不同的索引通过哈希处理后降维成数量级更小的基数。索引映射函数可以为用户自定义的哈希函数，也可以为时序数据库中内嵌的哈希函数。哈希函数存在多对一的映射关系，通过在记录的存储位置和索引之间建立一个预设的映射关系，使每个索引都对应一个存储位置，将映射到相同存储位置的输入参数合并在一起，即映射后具备相同索引的所有输入参数合并为同一类型，起到降维的作用。
具体地，将目标对象的标识作为索引，调用存储引擎中的预设哈希函数，在目标存储分区中，通过预设哈希函数以目标对象的标识为索引进行哈希处理，根据预设哈希函数中存储位置和索引之间建立的预设的映射关系，计算得到目标对象标识对应的目标哈希值，将目标哈希值对应的存储位置作为目标存储位置，得到目标对象的标识以及待存储数据在目标存储分区中的目标存储位置。
示例性地，存储一家银行的银行卡交易信息时，一家银行可能存在几亿张银行卡，而一张银行卡一天可能只产生几笔交易记录，若通过预设哈希函数对索引即银行卡ID进行哈希处理，将数百张银行卡的数据合并存储，则数百张银行卡的数据合并存储的内存开销降低为每张银行卡数据独立存储的百分之一。将银行卡ID作为索引，调用存储引擎中的预设哈希函数，在目标存储分区中，通过预设哈希函数按照银行卡ID为索引进行哈希处理，根据预设哈希函数中存储位置和银行卡ID之间建立的预设的映射关系，计算得到各银行卡ID对应的目标哈希值，将目标哈希值对应的存储位置作为目标存储位置，得到银行卡ID以及银行卡交易记录在目标存储分区中的目标存储位置。
本实施例中，存储引擎通过预设哈希函数对目标对象的标识进行哈希处理，在记录的存储位置和索引之间建立一个预设的映射关系，使每个索引都对应一个存储位置，将映射到相同存储位置的输入参数合并在一起，通过哈希降维，将数据合并存储，减小了内存开销，提高数据存储效率。
以上实施例对向时序数据库中存储数据的过程进行了说明，以下，对从时序数据库中查询数据的过程进行说明。
图3为本申请实施例提供的数据处理方法的另一流程示意图，如图3所示，该方法包括：
S301、获取数据查询语句，数据查询语句中包括：目标对象的标识以及目标查询时间。
可选地，在时序数据库中，存储引擎接收用户输入的数据查询语句，得到目标对象的标识以及目标查询时间。以查询银行卡ID对应的交易记录为例，用户在时序数据库中输入数据查询语句，若需要查询银行卡ID为A0000001的银行卡在2023年1月1日的交易信息时，数据查询语句中包括：待查询的目标银行卡IDA0000001以及目标查询时间2023.01.01。
S302、根据目标查询时间，确定目标查询分区。
可选地，由于上述实施例中存储引擎按照预设时段创建多个分区并存储数据，根据目标存储时段与目标存储分区之间的对应关系以及目标查询时间，将目标查询时间所在的查询时段所对应的分区作为目标查询分区。示例性地，目标查询时间为2023.01.01时，根据存储引擎预设时段的分区规则，将2023.01.01所在的查询时段所对应的分区作为目标查询分区。
S303、根据目标对象的标识进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置。
可选地，在目标查询分区中，存储引擎以目标对象的标识为索引进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置。其中，由于存储引擎存储目标对象的标识以及待存储数据时，以目标对象的标识为索引进行哈希处理，将相同存储位置的目标对象的标识合并存储在一起，因此查询时目标对象的查询结果在目标查询分区中存在至少一个待选位置。
S304、根据至少一个待选位置，确定查询结果在目标查询分区中的目标查询位置。
可选地，若数据查询语句中包括时间过滤信息，则存储引擎时间过滤信息对至少一个待选位置进行过滤，得到查询结果在目标查询分区中的目标查询位置。若数据查询语句中不包括时间过滤信息，则存储引擎直接将至少一个待选位置作为查询结果在目标查询分区中的目标查询位置，得到至少一个目标查询位置。
S305、将目标查询位置上存储的数据作为目标对象的查询结果。
可选地，存储引擎定位到查询结果在目标查询分区中的目标查询位置时，将目标查询位置上存储的数据作为目标对象的查询结果。示例性地，查询银行卡的交易信息时，将目标查询位置上存储的银行卡ID对应的交易记录作为查询结果。
本实施例中，时序数据库中的存储引擎获取目标对象的标识以及目标查询时间，根据目标存储时段与目标存储分区之间的对应关系以及目标查询时间，将目标查询时间所在的查询时段所对应的分区作为目标查询分区。在目标查询分区中，存储引擎以目标对象的标识为索引进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置，并根据至少一个待选位置得到目标查询位置，将目标查询位置上存储的数据作为目标对象的查询结果。提高了数据查询效率以及查询精度。
以下，对根据目标查询时间，确定目标查询分区的过程进行详细说明。
图4为本申请实施例提供的数据处理方法的确定目标查询分区的流程示意图，如图4所示，上述步骤S302中根据目标查询时间，确定目标查询分区的步骤，包括：
S401、根据目标查询时间，确定目标查询时间所在的目标查询时段。
可选地，存储引擎根据目标查询时间，定位目标查询时间所在的查询时段，将目标查询时间所在的查询时段作为目标查询时段。示例性地，若需要查询银行卡ID为A0000001的银行卡在2023年1月1日的交易信息时，存储引擎定位2023年1月1日所在的查询时段，将该查询时段作为目标查询时段。
S402、将目标查询时段对应的分区作为目标查询分区。
可选地，目标查询时段和目标查询分区之间的对应关系与目标存储时段和目标存储分区之间的对应关系一致，该对应关系符合存储引擎按照预设时段创建多个分区，存储引擎根据对应关系确定目标查询时段对应的分区，并将目标查询时段对应的分区作为目标查询分区。
示例性地，若2023年1月1日所在的查询时段为目标查询时段，且存储引擎以天为单位进行分区，则存储引擎将2023.01.01日的分区作为目标查询分区。若2023年1月1日所在的查询时段为目标查询时段，且存储引擎以月为单位进行分区，则存储引擎将2023.01月的分区作为目标查询分区。若2023年1月1日所在的查询时段为目标查询时段，且存储引擎以年为单位进行分区，则存储引擎将2023年的分区作为目标查询分区。
本实施例中，存储引擎根据目标查询时间，定位目标查询时间所在的查询时段，将目标查询时间所在的查询时段作为目标查询时段。且目标查询时段和目标查询分区之间的对应关系与目标存储时段和目标存储分区之间的对应关系一致，存储引擎根据对应关系确定目标查询时段对应的分区，并将目标查询时段对应的分区作为目标查询分区。根据目标查询时间所在的目标查询时段对应的目标查询分区，便于定位目标对象所在的分区，提高数据查询速度。
以下，对根据目标对象的标识进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置的过程进行详细说明。
图5为本申请实施例提供的数据处理方法的确定待选位置的流程示意图，如图5所示，上述步骤S303中根据目标对象的标识进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置的步骤，包括：
S501、以目标对象的标识作为输入参数，调用存储引擎中的预设哈希函数，以通过预设哈希函数对目标对象的标识进行哈希处理，确定目标哈希值。
可选地，将目标对象的标识作为索引，调用存储引擎中的预设哈希函数，在目标查询分区中，通过预设哈希函数以目标对象的标识为索引进行哈希处理，将目标对象的标识代入预设哈希函数计算得到哈希值，将该哈希值作为目标哈希值。示例性地，若目标查询分区为2023.01.01日的分区，银行卡ID为A0000001，在2023.01.01日的分区中，通过预设哈希函数计算得到A0000001的哈希值，将A0000001的哈希值作为目标哈希值。
S502、将目标哈希值对应的各位置分别作为一个待选位置。
可选地，由于哈希函数存在多对一的映射关系，存储位置和索引即目标对象的标识之间存在预设的映射关系，使每个目标对象的标识都对应一个存储位置，且将映射到相同存储位置的目标对象的标识合并存储在一起，则在存储引擎中查询目标哈希值对应的多个位置，存储引擎将目标哈希值对应的各位置分别作为一个待选位置。
示例性地，若需要查询银行卡ID为A0000001的银行卡在2023年1月1日的交易信息时，在2023.01.01日的分区中计算银行卡ID为A0000001的哈希值，若哈希值为1，将1作为目标哈希值，根据存储位置和银行卡ID之间预设的映射关系，在存储引擎中查询所有哈希值为1时对应的位置，并将所有哈希值为1时对应的位置分别作为一个待选位置，例如，可以将2023.01.01日的分区中银行卡ID为A0000001的所有交易记录的位置作为待选位置。
本实施例中，存储引擎通过预设哈希函数对目标对象的标识进行哈希处理，在目标查询分区中，通过预设哈希函数以目标对象的标识为索引进行哈希处理，计算得到目标哈希值。存储引擎根据存储位置和目标对象的标识之间预设的映射关系，在存储引擎中查询目标哈希值对应的多个位置，并将目标哈希值对应的各位置分别作为一个待选位置。在目标查询分区中存储引擎通过对目标对象的标识进行哈希处理，确定了目标对象的查询结果在目标查询分区中的至少一个待选位置。
作为一种可选的实施方式，上述步骤S304中根据至少一个待选位置，确定查询结果在目标查询分区中的目标查询位置的步骤，包括：
若数据查询语句中包括时间过滤信息，则根据时间过滤信息对至少一个待选位置进行过滤，得到目标查询位置。
可选地，用户输入的数据查询语句中，除目标对象的标识以及目标查询时间之外，还可以包括时间过滤信息，该时间过滤信息用于指示目标查询时间查询范围，例如时间过滤信息为大于等于2023.01.01 09：00:00时，表示用户需要查询2023年1月1日上午9点之后的数据。若数据查询语句中包括时间过滤信息，则存储引擎接收用户输入的数据查询语句，得到目标对象的标识、目标查询时间以及时间过滤信息，根据时间过滤信息中指示的目标时间查询范围，过滤至少一个待选位置，将过滤后的位置作为目标查询位置。
示例性地，若需要查询银行卡ID为A0000001的银行卡在2023年1月1日上午9点之后的交易信息时，对2023.01.01日的分区中银行卡ID为A0000001的所有交易记录的待选位置进行过滤，将待选位置中2023年1月1日上午9点之后产生的交易记录的位置作为目标查询位置。
本实施例中，若数据查询语句中包括时间过滤信息，则存储引擎接收用户输入的数据查询语句，得到目标对象的标识、目标查询时间以及时间过滤信息，根据时间过滤信息中指示的目标时间查询范围，过滤至少一个待选位置，得到目标查询位置。通过时间过滤信息对待选位置进行过滤，得到目标查询位置，提高数据查询精度。
基于同一发明构思，本申请实施例中还提供了与数据处理方法对应的数据处理装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图6为本申请实施例提供的数据处理装置的模块结构图，如图6所示，该装置包括：
获取模块601，用于获取数据存储语句，数据存储语句中包括：目标对象的标识以及目标对象的待存储数据，待存储数据中包括：存储时间。
确定模块602，用于根据存储时间，确定目标对象在存储引擎中对应的目标存储分区，其中，存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据。
确定模块602，还用于根据目标对象的标识进行哈希处理，确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置。
存储模块603，用于将目标对象的标识以及待存储数据存储至目标存储位置。
作为一种可选的实施方式，确定模块602具体用于：
根据存储时间，确定存储时间所在的目标存储时段。
将目标存储时段对应的分区作为目标对象在存储引擎中对应的目标存储分区。
作为一种可选的实施方式，确定模块602具体用于：
以目标对象的标识作为输入参数，调用存储引擎中的预设哈希函数，以通过预设哈希函数对目标对象的标识进行哈希处理，得到目标哈希值，根据目标哈希值确定目标存储位置。
作为一种可选的实施方式，确定模块602还用于：
获取数据查询语句，数据查询语句中包括：目标对象的标识以及目标查询时间。
根据目标查询时间，确定目标查询分区。
根据目标对象的标识进行哈希处理，确定目标对象的查询结果在目标查询分区中的至少一个待选位置。
根据至少一个待选位置，确定查询结果在目标查询分区中的目标查询位置。
将目标查询位置上存储的数据作为目标对象的查询结果。
作为一种可选的实施方式，确定模块602具体用于：
根据目标查询时间，确定目标查询时间所在的目标查询时段；
将目标查询时段对应的分区作为目标查询分区。
作为一种可选的实施方式，确定模块602具体用于：
以目标对象的标识作为输入参数，调用存储引擎中的预设哈希函数，以通过预设哈希函数对目标对象的标识进行哈希处理，确定目标哈希值。
将目标哈希值对应的各位置分别作为一个待选位置。
作为一种可选的实施方式，确定模块602具体用于：
若数据查询语句中包括时间过滤信息，则根据时间过滤信息对至少一个待选位置进行过滤，得到目标查询位置。
本申请实施例还提供了一种计算机设备，如图7所示，为本申请实施例提供的计算机设备结构示意图，包括：处理器71、存储器72和总线73。存储器72存储有处理器71可执行的机器可读指令（比如，图6中的装置中获取模块601、确定模块602以及存储模块603对应的执行指令等），当计算机设备运行时，处理器71与存储器72之间通过总线73通信，机器可读指令被处理器71执行时，执行上述实施例中的数据处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述实施例中的数据处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (9)
1.一种数据处理方法，其特征在于，应用于时序数据库中的存储引擎，包括：
获取数据存储语句，所述数据存储语句中包括：目标对象的标识以及所述目标对象的待存储数据，所述待存储数据中包括：存储时间；其中，所述存储时间为当前存储数据的时间或所述目标对象中携带的时间标签；
根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，其中，所述存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据；
根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置；
将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置；
所述方法还包括：
获取数据查询语句，所述数据查询语句中包括：所述目标对象的标识以及目标查询时间；
根据所述目标查询时间，确定目标查询分区；
根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置；
根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置；
将所述目标查询位置上存储的数据作为所述目标对象的查询结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，包括：
根据所述存储时间，确定所述存储时间所在的目标存储时段；
将所述目标存储时段对应的分区作为所述目标对象在所述存储引擎中对应的目标存储分区。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置，包括：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，得到目标哈希值，根据所述目标哈希值确定所述目标存储位置。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标查询时间，确定目标查询分区，包括：
根据所述目标查询时间，确定所述目标查询时间所在的目标查询时段；
将所述目标查询时段对应的分区作为所述目标查询分区。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置，包括：
以所述目标对象的标识作为输入参数，调用所述存储引擎中的预设哈希函数，以通过所述预设哈希函数对所述目标对象的标识进行哈希处理，确定目标哈希值；
将所述目标哈希值对应的各位置分别作为一个待选位置。
6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置，包括：
若所述数据查询语句中包括时间过滤信息，则根据所述时间过滤信息对所述至少一个待选位置进行过滤，得到所述目标查询位置。
7.一种数据处理装置，其特征在于，应用于时序数据库中的存储引擎，所述装置包括：
获取模块，用于获取数据存储语句，所述数据存储语句中包括：目标对象的标识以及所述目标对象的待存储数据，所述待存储数据中包括：存储时间；其中，所述存储时间为当前存储数据的时间或所述目标对象中携带的时间标签；
确定模块，用于根据所述存储时间，确定所述目标对象在所述存储引擎中对应的目标存储分区，其中，所述存储引擎中包括多个分区，各分区分别用于存储一个预设时段的数据；
所述确定模块，还用于根据所述目标对象的标识进行哈希处理，确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置；
存储模块，用于将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置；
所述确定模块，还用于获取数据查询语句，所述数据查询语句中包括：所述目标对象的标识以及目标查询时间；根据所述目标查询时间，确定目标查询分区；根据所述目标对象的标识进行哈希处理，确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置；根据所述至少一个待选位置，确定所述查询结果在所述目标查询分区中的目标查询位置；将所述目标查询位置上存储的数据作为所述目标对象的查询结果。
8.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至6任一所述的数据处理方法的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410044903.3A CN117555968B (zh) | 2024-01-12 | 2024-01-12 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410044903.3A CN117555968B (zh) | 2024-01-12 | 2024-01-12 | 数据处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117555968A CN117555968A (zh) | 2024-02-13 |
| CN117555968B true CN117555968B (zh) | 2024-04-19 |
Family
ID=89823682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410044903.3A Active CN117555968B (zh) | 2024-01-12 | 2024-01-12 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117555968B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334551A (zh) * | 2017-12-29 | 2018-07-27 | 谷米科技有限公司 | 数据存储方法和***、数据查询方法和*** |
| US10423662B1 (en) * | 2019-05-24 | 2019-09-24 | Hydrolix Inc. | Efficient and scalable time-series data storage and retrieval over a network |
| CN111666278A (zh) * | 2019-03-06 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 数据存储、检索方法、电子设备及存储介质 |
| CN112328842A (zh) * | 2021-01-05 | 2021-02-05 | 北京谷数科技股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN112650759A (zh) * | 2020-12-30 | 2021-04-13 | 中国平安人寿保险股份有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
| CN113297278A (zh) * | 2021-07-26 | 2021-08-24 | 阿里云计算有限公司 | 时序数据库、数据处理方法、存储设备及计算机程序产品 |
| CN113297135A (zh) * | 2021-02-10 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法以及装置 |
| CN115098365A (zh) * | 2022-06-21 | 2022-09-23 | 网易（杭州）网络有限公司 | Sql代码的调试方法、装置、电子设备及可读存储介质 |
| CN115168364A (zh) * | 2022-07-31 | 2022-10-11 | 浙江移动信息***集成有限公司 | 一种基于NVM的分区Clevel hash索引结构及数据处理方法 |
| CN117033468A (zh) * | 2023-09-12 | 2023-11-10 | 中国银行股份有限公司 | 数据查询方法、装置、电子设备和计算机可读存储介质 |
| CN117149081A (zh) * | 2023-09-07 | 2023-12-01 | 武汉麓谷科技有限公司 | 一种基于zns固态硬盘的时序数据库存储引擎构建方法 |
-
2024
- 2024-01-12 CN CN202410044903.3A patent/CN117555968B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334551A (zh) * | 2017-12-29 | 2018-07-27 | 谷米科技有限公司 | 数据存储方法和***、数据查询方法和*** |
| CN111666278A (zh) * | 2019-03-06 | 2020-09-15 | 阿里巴巴集团控股有限公司 | 数据存储、检索方法、电子设备及存储介质 |
| US10423662B1 (en) * | 2019-05-24 | 2019-09-24 | Hydrolix Inc. | Efficient and scalable time-series data storage and retrieval over a network |
| CN112650759A (zh) * | 2020-12-30 | 2021-04-13 | 中国平安人寿保险股份有限公司 | 数据查询方法、装置、计算机设备及存储介质 |
| CN112632129A (zh) * | 2020-12-31 | 2021-04-09 | 联想未来通信科技(重庆)有限公司 | 一种码流数据管理方法、装置及存储介质 |
| CN112328842A (zh) * | 2021-01-05 | 2021-02-05 | 北京谷数科技股份有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113297135A (zh) * | 2021-02-10 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法以及装置 |
| CN113297278A (zh) * | 2021-07-26 | 2021-08-24 | 阿里云计算有限公司 | 时序数据库、数据处理方法、存储设备及计算机程序产品 |
| CN115098365A (zh) * | 2022-06-21 | 2022-09-23 | 网易（杭州）网络有限公司 | Sql代码的调试方法、装置、电子设备及可读存储介质 |
| CN115168364A (zh) * | 2022-07-31 | 2022-10-11 | 浙江移动信息***集成有限公司 | 一种基于NVM的分区Clevel hash索引结构及数据处理方法 |
| CN117149081A (zh) * | 2023-09-07 | 2023-12-01 | 武汉麓谷科技有限公司 | 一种基于zns固态硬盘的时序数据库存储引擎构建方法 |
| CN117033468A (zh) * | 2023-09-12 | 2023-11-10 | 中国银行股份有限公司 | 数据查询方法、装置、电子设备和计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Qiao Li ; Liang Shi ; Yejia Di ; Congming Gao ; Cheng Ji ; Yu Liang ; Chun Jason Xue.Process Variation Aware Read Performance Improvement for LDPC-Based nand Flash Memory. IEEE Transactions on Reliability.2019,第 310-321页. * |
| 曹阳 ; 杨振永 ; 肖忠炳.飞机任务简报技术研究与实现.航空电子技术.2014,第33-36页. * |
| 沈啸 ; .基于Oracle数据库海量数据的查询优化研究.无线互联科技.2016,第106-107页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117555968A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197296B (zh) | 基于Elasticsearch索引的数据存储方法 | |
| CN103345469B (zh) | 号码集合的存储、查询方法及其装置 | |
| EP3796182A1 (en) | Data processing method and apparatus, and computer-readable storage medium | |
| CN107992492B (zh) | 一种数据区块的存储方法、读取方法、其装置及区块链 | |
| CN109063066B (zh) | 数据查询方法及装置、数据管理*** | |
| CN105630934A (zh) | 一种数据统计方法及*** | |
| CN106844320B (zh) | 一种财务报表整合方法和设备 | |
| CN108920523A (zh) | 区块链上数据查询方法、装置、设备、***及介质 | |
| CN110162540B (zh) | 区块链账本数据的查询方法、电子装置及存储介质 | |
| CN110716990A (zh) | 一种应用于数据交易的多数据源管理*** | |
| CN117555968B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114281819A (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN107644033A (zh) | 一种在非关系型数据库中进行数据查询的方法与设备 | |
| CN112579608A (zh) | 案件数据查询方法、***、设备及计算机可读存储介质 | |
| CN116450675A (zh) | 基于元数据及相似度实现任务优化合并方法、***及装置 | |
| CN106446080B (zh) | 数据查询的方法、查询服务设备、客户端设备和数据*** | |
| CN110019192B (zh) | 数据库的检索方法及装置 | |
| CN113625967B (zh) | 数据存储方法、数据查询方法及服务器 | |
| CN110363515B (zh) | 权益卡账户信息查询方法、***、服务器及可读存储介质 | |
| CN108521527B (zh) | 话单差异检测方法、***、计算机存储介质及计算机设备 | |
| CN108614811A (zh) | 一种数据分析方法及装置 | |
| CN111639057A (zh) | 日志消息处理方法、装置、计算机设备及存储介质 | |
| CN112906091A (zh) | 一种基于cad的地理信息绘制方法、装置、终端及介质 | |
| CN107861956B (zh) | 一种卡口过车数据记录的查询方法及装置 | |
| CN112069510A (zh) | 一种数据加密排重方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |