CN116303833B - 一种基于olap的向量化数据混合存储方法 - Google Patents
一种基于olap的向量化数据混合存储方法 Download PDFInfo
- Publication number
- CN116303833B CN116303833B CN202310559252.7A CN202310559252A CN116303833B CN 116303833 B CN116303833 B CN 116303833B CN 202310559252 A CN202310559252 A CN 202310559252A CN 116303833 B CN116303833 B CN 116303833B
- Authority
- CN
- China
- Prior art keywords
- storage
- sub
- task
- tasks
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013500 data storage Methods 0.000 claims abstract description 77
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 28
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域，公开了一种基于OLAP的向量化数据混合存储方法，用于实现高效的数据存储并且提高数据处理的效率。方法包括：将数据存储任务输入任务拆分模型进行存储任务分解处理，得到子存储任务集合；获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；根据每个存储节点对应的存储载荷对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种基于OLAP的向量化数据混合存储方法。
背景技术
随着大数据时代的到来，越来越多的企业需要建立海量数据存储和处理***，并从中获取有价值的信息。传统基于关系型数据库的数据存储方法在面对大规模、高维度、复杂结构的数据时存在效率低下、查询速度慢等问题，因此需要一种更加高效、快速、灵活的数据存储和处理方式。
目前，现有的数据存储和处理方法的存储和查询效率较低，并且随着数据量的增长，关系型数据库的扩展性变得越来越差，无法满足大规模数据处理的需求也无法适应非结构化或半结构化的数据存储需求。
发明内容
本发明提供了一种基于OLAP的向量化数据混合存储方法，用于实现高效的数据存储并且提高数据处理的效率。
本发明第一方面提供了一种基于OLAP的向量化数据混合存储方法，所述基于OLAP的向量化数据混合存储方法包括：
获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；
根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
结合第一方面，所述获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务，包括：
接收数据存储请求，并对所述数据存储请求进行任务查询，得到数据存储任务；
对所述数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息；
根据所述目标存储量以及所述存储维度信息，调用预置的任务拆分模型对所述数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务。
结合第一方面，所述获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系，包括：
获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；
对所述至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；
根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系。
结合第一方面，所述获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群，包括：
对所述子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果；
根据所述至少一个任务分类结果从所述子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群。
结合第一方面，所述根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系，包括：
对所述每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识；
基于所述每两个子存储任务之间的对应的关联标识，对所述每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系。
结合第一方面，所述根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷，包括：
对所述存储逻辑关联关系进行信息标注，得到多个标注信息，并根据所述多个标注信息构建所述标注信息与存储节点之间的映射关系；
根据所述映射关系，分别对所述子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点；
根据所述目标存储量，对所述多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷。
结合第一方面，所述根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果，包括：
根据每个存储节点对应的存储载荷和所述映射关系，分别将所述多个子存储任务分发至对应的存储节点；
通过每个存储节点中的存储程序，执行对应的子存储任务；
通过每个存储节点中的存储程序，对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
本发明第二方面提供了一种基于OLAP的向量化数据混合存储***，所述基于OLAP的向量化数据混合存储***包括：
获取模块，用于获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
分析模块，用于获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；
处理模块，用于根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
分配模块，用于根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
融合模块，用于根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
结合第二方面，所述获取模块具体用于：
接收数据存储请求，并对所述数据存储请求进行任务查询，得到数据存储任务；
对所述数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息；
根据所述目标存储量以及所述存储维度信息，调用预置的任务拆分模型对所述数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务。
结合第二方面，所述分析模块还包括：
划分单元，用于获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；
分析单元，用于对所述至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；
构建单元，用于根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系。
结合第二方面，所述划分单元具体用于：
对所述子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果；
根据所述至少一个任务分类结果从所述子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群。
结合第二方面，所述分析单元具体用于：
对所述每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识；
基于所述每两个子存储任务之间的对应的关联标识，对所述每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系。
结合第二方面，所述处理模块具体用于：
对所述存储逻辑关联关系进行信息标注，得到多个标注信息，并根据所述多个标注信息构建所述标注信息与存储节点之间的映射关系；
根据所述映射关系，分别对所述子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点；
根据所述目标存储量，对所述多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷。
结合第二方面，所述分配模块具体用于：
根据每个存储节点对应的存储载荷和所述映射关系，分别将所述多个子存储任务分发至对应的存储节点；
通过每个存储节点中的存储程序，执行对应的子存储任务；
通过每个存储节点中的存储程序，对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
本发明第三方面提供了一种基于OLAP的向量化数据混合存储设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于OLAP的向量化数据混合存储设备执行上述的基于OLAP的向量化数据混合存储方法。
本发明的第四方面提供了一种存储机可读存储介质，所述存储机可读存储介质中存储有指令，当其在存储机上运行时，使得存储机执行上述的基于OLAP的向量化数据混合存储方法。
本发明提供的技术方案中，将数据存储任务输入任务拆分模型进行存储任务分解处理，得到子存储任务集合；获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；根据每个存储节点对应的存储载荷对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果，本发明采用向量化编码和OLAP技术，能够提高数据查询和分析的效率，降低查询延迟和响应时间，将数据按照特定维度进行切分，并将其储存在多个不同的存储设备中，能够提高存储容量和存取速度，能够适应更加复杂、高维度、非结构化或半结构化的数据存储和处理需求，有效地提高***的可扩展性。
附图说明
图1为本发明实施例中基于OLAP的向量化数据混合存储方法的一个实施例示意图；
图2为本发明实施例中存储任务逻辑关系分析的流程图；
图3为本发明实施例中存储任务划分的流程图；
图4为本发明实施例中确定每两个子存储任务之间的初始逻辑关联关系的流程图；
图5为本发明实施例中基于OLAP的向量化数据混合存储***的一个实施例示意图；
图6为本发明实施例中基于OLAP的向量化数据混合存储***的另一个实施例示意图；
图7为本发明实施例中基于OLAP的向量化数据混合存储设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于OLAP的向量化数据混合存储方法，用于实现高效的数据存储并且提高数据处理的效率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于OLAP的向量化数据混合存储方法的一个实施例包括：
S101、获取待处理的数据存储任务，并将数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，子存储任务集合包括：多个子存储任务；
可以理解的是，本发明的执行主体可以为基于OLAP的向量化数据混合存储***，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器获取待处理的数据存储任务。服务器需要从分布式***中获取需要进行存储的任务。然后，将数据存储任务输入预置的任务拆分模型进行存储任务分解处理。服务器通过使用任务拆分模型来将大型任务分解成多个小的子任务，并将多个子任务分配给不同的存储节点或服务器来完成，服务器可以将分解后的子任务组合成一个子存储任务集合。这个集合包含多个子任务，每个子任务都可以独立地进行存储和处理。
S102、获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；
具体的，服务器首先需要对子存储任务集合进行逻辑分析,服务器通过分析子任务集合中每个子任务之间的依赖关系和相互作用来实现，然后，根据逻辑分析的结果，得到子任务之间的存储逻辑关联关系，其中，服务器可以根据不同的逻辑关系来划分子任务集合，并将该子任务集合中每一子任务分配给不同的存储节点或服务器来处理，需要说明是，逻辑关系可能包括顺序关系、并发关系、数据依赖关系、控制依赖关系等。
S103、根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
首先，根据存储逻辑关联关系，将子存储任务集合划分为多个子任务组。每个子任务组都包含一组相关的子任务，这些子任务可以被分配给同一个存储节点处理，然后，根据存储资源的可用性和存储载荷的平衡原则，确定每个子任务组对应的存储节点，其中，服务器根据不同存储节点的存储能力、存储资源的可用性、网络带宽等因素来实现，需要说明的是，服务器需要将子任务组尽可能地均衡地分配给不同的存储节点，以便实现更好的存储性能，进一步的，服务器获取每个存储节点对应的存储载荷，具体可以通过监测不同存储节点的CPU利用率、内存利用率、I/O利用率等指标来实现，最后，服务器根据子任务组和存储节点之间的映射关系以及每个存储节点的存储载荷情况，进行子任务分配和载荷均衡，同时获取每个存储节点对应的存储载荷。
S104、根据每个存储节点对应的存储载荷将多个子存储任务分发至多个存储节点，在每个存储节点中执行对应的子存储任务并对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
具体的，需要说明的是，服务器对该存储逻辑关系进行遍历处理，确定该子存储任务集合中每一子存储任务对应的存储逻辑关系，进一步的，根据每个存储节点对应的存储载荷，服务器根据该每一子存储任务对应的存储逻辑关系分别将多个子存储任务分发至对应的存储节点，进一步的，服务器通过每个存储节点中的存储程序，执行对应的子存储任务，最终，服务器对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
S105、根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果。
具体的，服务器对每个存储节点进行监测，进而根据存储逻辑关联关系，将不同存储节点生成的存储结果进行融合，通过对不同存储节点生成的存储结果进行合并、排序、去重等操作来实现，如果需要进行数据归并等操作，对融合后的存储结果进行处理，以得到最终的目标存储结果。其中，服务器可以根据具体的存储任务来实现。例如，如果是数据聚合任务，可以对融合后的数据进行统计分析。
本发明实施例中，将数据存储任务输入任务拆分模型进行存储任务分解处理，得到子存储任务集合；获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；根据每个存储节点对应的存储载荷对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果，本发明采用向量化编码和OLAP技术，能够提高数据查询和分析的效率，降低查询延迟和响应时间，将数据按照特定维度进行切分，并将其储存在多个不同的存储设备中，能够提高存储容量和存取速度，能够适应更加复杂、高维度、非结构化或半结构化的数据存储和处理需求，有效地提高***的可扩展性。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）接收数据存储请求，并对数据存储请求进行任务查询，得到数据存储任务；
（2）对数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息；
（3）根据目标存储量以及存储维度信息，调用预置的任务拆分模型对数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，子存储任务集合包括：多个子存储任务。
具体的，服务器接收数据存储请求，并对数据存储请求进行任务查询，得到数据存储任务，进一步的，服务器对数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息，具体的，服务器可以对数据存储任务进行分析，得到任务的存储量以及存储维度信息，为后续的任务分解做准备，最终，服务器根据目标存储量以及存储维度信息，调用预置的任务拆分模型对数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，子存储任务集合包括：多个子存储任务，具体的，服务器将数据存储任务分解为多个子存储任务，以便于分发给不同的存储节点进行并行存储。
在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：
S201、获取每个子存储任务对应的向量数据，并根据向量数据对子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；
S202、对至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；
S203、根据每两个子存储任务之间的初始逻辑关联关系，构建子存储任务集合对应的存储逻辑关联关系。
具体的，服务器获取子存储任务对应的向量数据：从已经标注好的数据集中提取子存储任务的特征向量，或者通过深度学习模型对子存储任务进行特征提取。子存储任务划分：根据上一步得到的子存储任务的向量数据，可以使用聚类算法对它们进行划分，得到若干子存储任务集群。聚类算法的选择应该根据具体需求和数据特点进行。例如，可以使用k-means算法或层次聚类算法等。存储任务逻辑关系分析：对于每个子存储任务集群中的每两个子存储任务，需要进行存储任务逻辑关系分析，确定它们之间的初始逻辑关联关系。这可以通过计算它们之间的相似度或距离来实现。例如，可以使用余弦相似度、欧几里得距离或曼哈顿距离等。构建存储逻辑关联关系：根据每两个子存储任务之间的初始逻辑关联关系，可以构建子存储任务集合对应的存储逻辑关联关系。这可以通过定义存储任务之间的关系类型（例如并行、串行等）和权重值来实现。可以根据具体需求和业务场景制定不同的关系定义。例如，在并行操作中，多个子存储任务可以同时执行；在串行操作中，只有一个子存储任务可以执行，其他任务必须等待前一个任务执行完毕才能开始执行。需要说明的是，划分规则可以根据任务属性、存储资源、任务量等因素进行设计，对至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系，其中，服务器对划分好的子存储任务集群进行分析，确定每两个子存储任务之间的逻辑关系，例如，两个子任务可能需要先后顺序执行，或者需要相互协作完成任务等，根据每两个子存储任务之间的初始逻辑关联关系，构建子存储任务集合对应的存储逻辑关联关系，其中，服务器将子存储任务集群中确定的逻辑关系转化为存储逻辑关联关系，例如，当两个子任务需要先后执行时，则需要建立起它们之间的先后顺序关系。
在一具体实施例中，如图3所示，执行步骤S201的过程可以具体包括如下步骤：
S301、对子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果；
S302、根据至少一个任务分类结果从子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群。
具体的，服务器对子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果，其中，服务器是将子任务按照某种属性或特征进行分类，例如按照任务类型、数据来源、存储复杂度等进行分类，以便于后续的任务分配和调度。进一步的，服务器根据至少一个任务分类结果从子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群，其中，服务器根据任务分类结果，从子任务集合中提取对应的子任务，将多个子任务组成一个或多个子任务集群，以便于并行存储。
在一具体实施例中，如图4所示，执行步骤S202的过程可以具体包括如下步骤：
S401、对每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识；
S402、基于每两个子存储任务之间的对应的关联标识，对每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系。
具体的，服务器对每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识，其中，服务器将各子任务之间的逻辑关系与关联标识进行匹配，确定每两个子任务之间的对应的关联标识，需要说明的是，考虑到关联标识的定义、分配和使用等因素，以确保匹配结果的准确性和可靠性。进一步的，服务器基于每两个子存储任务之间的对应的关联标识，对每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系，其中，服务器将子任务之间的逻辑关系转化为存储逻辑关联关系，以便于实现高效的并行存储，需要说明的是，在本实施例中需要考虑到任务之间的依赖关系、任务的优先级等因素，以确保存储的正确性和高效性。同时，需要对关联关系进行优化和调整，以使存储更加平衡和稳定。
在一具体实施例中，执行步骤S103的过程可以具体包括如下步骤：
（1）对存储逻辑关联关系进行信息标注，得到多个标注信息，并根据多个标注信息构建标注信息与存储节点之间的映射关系；
（2）根据映射关系，分别对子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点；
（3）根据目标存储量，对多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷。
具体的，对存储逻辑关联关系进行信息标注，得到多个标注信息，并根据多个标注信息构建标注信息与存储节点之间的映射关系，其中，服务器对存储逻辑关联关系进行标注，包括任务类型、数据源、存储复杂度、优先级等标注信息，并将这些标注信息与存储节点之间进行映射，以便于后续的任务分配和调度，进而，服务器根据映射关系，分别对子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点，其中，服务器根据标注信息与存储节点之间的映射关系，将子任务分配到对应的存储节点上进行存储，以实现高效的并行存储，需要考虑到存储节点的属性、资源、载荷等因素，以确保存储的高效性和可靠性，最终，服务器根据目标存储量，对多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷，其中，服务器根据目标存储量和存储节点的资源情况，对多个存储节点进行载荷均衡存储，以确保每个存储节点的存储载荷均衡，避免出现某些存储节点过载或空闲的情况，需要说明的是，在本实施例中，需要考虑到任务的优先级、存储节点的性能、网络带宽等因素，以实现高效的并行存储。
在一具体实施例中，执行步骤S104的过程可以具体包括如下步骤：
（1）根据每个存储节点对应的存储载荷和映射关系，分别将多个子存储任务分发至对应的存储节点；
（2）通过每个存储节点中的存储程序，执行对应的子存储任务；
（3）通过每个存储节点中的存储程序，对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
具体的，根据每个存储节点对应的存储载荷和映射关系，分别将多个子存储任务分发至对应的存储节点，其中，服务器根据前面的载荷均衡存储结果和映射关系，将多个子存储任务分配到对应的存储节点上进行存储，需要说明的是，在本实施例中，需要考虑存储节点的载荷情况、任务的优先级等因素，以实现高效的并行存储，进一步的，服务器通过每个存储节点中的存储程序，执行对应的子存储任务，其中，服务器是在每个存储节点上启动对应的存储程序，以便于执行子存储任务，最终，服务器通过每个存储节点中的存储程序，对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果，其中，服务器在每个存储节点上对分配给每一存储节点的子存储任务进行存储空间分配，生成对应的存储结果。
上面对本发明实施例中基于OLAP的向量化数据混合存储方法进行了描述，下面对本发明实施例中基于OLAP的向量化数据混合存储***进行描述，请参阅图5，本发明实施例中基于OLAP的向量化数据混合存储***一个实施例包括：
获取模块501，用于获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
分析模块502，用于获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；
处理模块503，用于根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
分配模块504，用于根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
融合模块505，用于根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
通过上述各个组成部分的协同合作，将数据存储任务输入任务拆分模型进行存储任务分解处理，得到子存储任务集合；获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；根据每个存储节点对应的存储载荷对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果，本发明采用向量化编码和OLAP技术，能够提高数据查询和分析的效率，降低查询延迟和响应时间，将数据按照特定维度进行切分，并将其储存在多个不同的存储设备中，能够提高存储容量和存取速度，能够适应更加复杂、高维度、非结构化或半结构化的数据存储和处理需求，有效地提高***的可扩展性。
请参阅图6，本发明实施例中基于OLAP的向量化数据混合存储***另一个实施例包括：
获取模块501，用于获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
分析模块502，用于获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；
处理模块503，用于根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
分配模块504，用于根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
融合模块505，用于根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
可选的，所述获取模块501具体用于：
接收数据存储请求，并对所述数据存储请求进行任务查询，得到数据存储任务；
对所述数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息；
根据所述目标存储量以及所述存储维度信息，调用预置的任务拆分模型对所述数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务。
可选的，所述分析模块502还包括：
划分单元5021，用于获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；
分析单元5022，用于对所述至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；
构建单元5023，用于根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系。
可选的，所述划分单元5021具体用于：
对所述子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果；
根据所述至少一个任务分类结果从所述子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群。
可选的，所述分析单元5022具体用于：
对所述每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识；
基于所述每两个子存储任务之间的对应的关联标识，对所述每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系。
可选的，所述处理模块503具体用于：
对所述存储逻辑关联关系进行信息标注，得到多个标注信息，并根据所述多个标注信息构建所述标注信息与存储节点之间的映射关系；
根据所述映射关系，分别对所述子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点；
根据所述目标存储量，对所述多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷。
可选的，所述分配模块504具体用于：
根据每个存储节点对应的存储载荷和所述映射关系，分别将所述多个子存储任务分发至对应的存储节点；
通过每个存储节点中的存储程序，执行对应的子存储任务；
通过每个存储节点中的存储程序，对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
本发明实施例中，将数据存储任务输入任务拆分模型进行存储任务分解处理，得到子存储任务集合；获取每个子存储任务对应的向量数据，并对子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；根据存储逻辑关联关系确定子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；根据每个存储节点对应的存储载荷对子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；根据存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到数据存储任务对应的目标存储结果，本发明采用向量化编码和OLAP技术，能够提高数据查询和分析的效率，降低查询延迟和响应时间，将数据按照特定维度进行切分，并将其储存在多个不同的存储设备中，能够提高存储容量和存取速度，能够适应更加复杂、高维度、非结构化或半结构化的数据存储和处理需求，有效地提高***的可扩展性。
上面图5和图6从模块化功能实体的角度对本发明实施例中的基于OLAP的向量化数据混合存储***进行详细描述，下面从硬件处理的角度对本发明实施例中基于OLAP的向量化数据混合存储设备进行详细描述。
图7是本发明实施例提供的一种基于OLAP的向量化数据混合存储设备的结构示意图，该基于OLAP的向量化数据混合存储设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于OLAP的向量化数据混合存储设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于OLAP的向量化数据混合存储设备600上执行存储介质630中的一系列指令操作。
基于OLAP的向量化数据混合存储设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的基于OLAP的向量化数据混合存储设备结构并不构成对基于OLAP的向量化数据混合存储设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于OLAP的向量化数据混合存储设备，所述基于OLAP的向量化数据混合存储设备包括存储器和处理器，存储器中存储有存储机可读指令，存储机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于OLAP的向量化数据混合存储方法的步骤。
本发明还提供一种存储机可读存储介质，该存储机可读存储介质可以为非易失性存储机可读存储介质，该存储机可读存储介质也可以为易失性存储机可读存储介质，所述存储机可读存储介质中存储有指令，当所述指令在存储机上运行时，使得存储机执行所述基于OLAP的向量化数据混合存储方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该存储机软件产品存储在一个存储介质中，包括若干指令用以使得一台存储机设备（可以是个人存储机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random acceS memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于OLAP的向量化数据混合存储方法，其特征在于，所述基于OLAP的向量化数据混合存储方法包括：
获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；其中，所述获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系，包括：获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；对所述至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系；
根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
2.根据权利要求1所述的基于OLAP的向量化数据混合存储方法，其特征在于，所述获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务，包括：
接收数据存储请求，并对所述数据存储请求进行任务查询，得到数据存储任务；
对所述数据存储任务进行存储量和存储维度分析，得到目标存储量以及存储维度信息；
根据所述目标存储量以及所述存储维度信息，调用预置的任务拆分模型对所述数据存储任务进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务。
3.根据权利要求1所述的基于OLAP的向量化数据混合存储方法，其特征在于，所述获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群，包括：
获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行分类处理，得到至少一个任务分类结果；
根据所述至少一个任务分类结果从所述子存储任务集合中提取对应的子存储任务，生成至少一个子存储任务集群。
4.根据权利要求1所述的基于OLAP的向量化数据混合存储方法，其特征在于，所述根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系，包括：
对所述每两个子存储任务之间的逻辑关联关系进行关联标识匹配，得到每两个子存储任务之间的对应的关联标识；
基于所述每两个子存储任务之间的对应的关联标识，对所述每两个子存储任务之间的逻辑关联关系进行关联关系融合，得到对应的存储逻辑关联关系。
5.根据权利要求2所述的基于OLAP的向量化数据混合存储方法，其特征在于，所述根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷，包括：
对所述存储逻辑关联关系进行信息标注，得到多个标注信息，并根据所述多个标注信息构建所述标注信息与存储节点之间的映射关系；
根据所述映射关系，分别对所述子存储任务集合中的多个子存储任务进行存储节点映射匹配，得到多个存储节点；
根据所述目标存储量，对所述多个存储节点进行节点载荷均衡存储，得到每个存储节点对应的存储载荷。
6.根据权利要求5所述的基于OLAP的向量化数据混合存储方法，其特征在于，所述根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果，包括：
根据每个存储节点对应的存储载荷和所述映射关系，分别将所述多个子存储任务分发至对应的存储节点；
通过每个存储节点中的存储程序，执行对应的子存储任务；
通过每个存储节点中的存储程序，对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果。
7.一种基于OLAP的向量化数据混合存储***，其特征在于，所述基于OLAP的向量化数据混合存储***包括：
获取模块，用于获取待处理的数据存储任务，并将所述数据存储任务输入预置的任务拆分模型进行存储任务分解处理，得到子存储任务集合，其中，所述子存储任务集合包括：多个子存储任务；
分析模块，用于获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系；其中，所述获取每个子存储任务对应的向量数据，并对所述子存储任务集合进行存储任务逻辑关系分析，得到存储逻辑关联关系，包括：获取每个子存储任务对应的向量数据，并根据所述向量数据对所述子存储任务集合中的多个子存储任务进行存储任务划分，得到至少一个子存储任务集群；对所述至少一个子存储任务集群中的每两个子存储任务进行存储任务逻辑关系分析，确定每两个子存储任务之间的初始逻辑关联关系；根据所述每两个子存储任务之间的初始逻辑关联关系，构建所述子存储任务集合对应的存储逻辑关联关系；
处理模块，用于根据所述存储逻辑关联关系确定所述子存储任务集合对应的多个存储节点，并获取每个存储节点对应的存储载荷；
分配模块，用于根据每个存储节点对应的存储载荷将所述多个子存储任务分发至所述多个存储节点，在每个存储节点中执行对应的子存储任务并对所述子存储任务进行存储空间分配，得到每个存储节点对应的存储结果；
融合模块，用于根据所述存储逻辑关联关系，对每个存储节点对应的存储结果进行结果融合，得到所述数据存储任务对应的目标存储结果。
8.一种基于OLAP的向量化数据混合存储设备，其特征在于，所述基于OLAP的向量化数据混合存储设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于OLAP的向量化数据混合存储设备执行如权利要求1-6中任一项所述的基于OLAP的向量化数据混合存储方法。
9.一种存储机可读存储介质，所述存储机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的基于OLAP的向量化数据混合存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559252.7A CN116303833B (zh) | 2023-05-18 | 2023-05-18 | 一种基于olap的向量化数据混合存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310559252.7A CN116303833B (zh) | 2023-05-18 | 2023-05-18 | 一种基于olap的向量化数据混合存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116303833A CN116303833A (zh) | 2023-06-23 |
| CN116303833B true CN116303833B (zh) | 2023-07-21 |
Family
ID=86818934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310559252.7A Active CN116303833B (zh) | 2023-05-18 | 2023-05-18 | 一种基于olap的向量化数据混合存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303833B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116663938B (zh) * | 2023-07-28 | 2023-12-12 | 珠海大横琴泛旅游发展有限公司 | 基于企业数据中台***的信息化管理方法及其相关装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5970490A (en) * | 1996-11-05 | 1999-10-19 | Xerox Corporation | Integration platform for heterogeneous databases |
| CN108647266A (zh) * | 2018-04-28 | 2018-10-12 | 重庆沐信润喆网络科技有限公司 | 一种异构数据快速分布存储、交互方法 |
| CN111971666A (zh) * | 2018-01-16 | 2020-11-20 | 甲骨文国际公司 | 优化sql查询计划的维度上下文传播技术 |
| CN111966496A (zh) * | 2020-08-21 | 2020-11-20 | 浪潮(北京)电子信息产业有限公司 | 数据处理方法、装置、***及计算机可读存储介质 |
| CN113609374A (zh) * | 2021-02-05 | 2021-11-05 | 腾讯科技（深圳）有限公司 | 基于内容推送的数据处理方法、装置、设备及存储介质 |
| CN114925101A (zh) * | 2022-06-16 | 2022-08-19 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN115048435A (zh) * | 2022-08-15 | 2022-09-13 | 联通沃音乐文化有限公司 | 一种智能型数据库存储方法及*** |
| CN115455050A (zh) * | 2022-09-13 | 2022-12-09 | 湖南大学 | 一种分布式数据库及查询方法 |
| CN115617834A (zh) * | 2022-10-10 | 2023-01-17 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327339A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Partition templates for multidimensional databases |
-
2023
- 2023-05-18 CN CN202310559252.7A patent/CN116303833B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5970490A (en) * | 1996-11-05 | 1999-10-19 | Xerox Corporation | Integration platform for heterogeneous databases |
| CN111971666A (zh) * | 2018-01-16 | 2020-11-20 | 甲骨文国际公司 | 优化sql查询计划的维度上下文传播技术 |
| CN108647266A (zh) * | 2018-04-28 | 2018-10-12 | 重庆沐信润喆网络科技有限公司 | 一种异构数据快速分布存储、交互方法 |
| CN111966496A (zh) * | 2020-08-21 | 2020-11-20 | 浪潮(北京)电子信息产业有限公司 | 数据处理方法、装置、***及计算机可读存储介质 |
| CN113609374A (zh) * | 2021-02-05 | 2021-11-05 | 腾讯科技（深圳）有限公司 | 基于内容推送的数据处理方法、装置、设备及存储介质 |
| CN114925101A (zh) * | 2022-06-16 | 2022-08-19 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN115048435A (zh) * | 2022-08-15 | 2022-09-13 | 联通沃音乐文化有限公司 | 一种智能型数据库存储方法及*** |
| CN115455050A (zh) * | 2022-09-13 | 2022-12-09 | 湖南大学 | 一种分布式数据库及查询方法 |
| CN115617834A (zh) * | 2022-10-10 | 2023-01-17 | 杭州网易云音乐科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于物联网的海洋平台监测数据管理研究;包乐尔;信息科技辑;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116303833A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nanduri et al. | Job aware scheduling algorithm for mapreduce framework | |
| CN116303833B (zh) | 一种基于olap的向量化数据混合存储方法 | |
| CN109359115B (zh) | 基于图数据库的分布式存储方法、装置及*** | |
| CN116663938B (zh) | 基于企业数据中台***的信息化管理方法及其相关装置 | |
| Hu et al. | Output-optimal massively parallel algorithms for similarity joins | |
| US11221890B2 (en) | Systems and methods for dynamic partitioning in distributed environments | |
| HajKacem et al. | Overview of scalable partitional methods for big data clustering | |
| Chen et al. | Clustering in big data | |
| Duan et al. | Minimizing training time of distributed machine learning by reducing data communication | |
| Ismaeel et al. | An efficient workload clustering framework for large-scale data centers | |
| Yang et al. | An effective detection of satellite image via K-means clustering on Hadoop system | |
| CN112860850B (zh) | 人机交互方法、装置、设备及存储介质 | |
| Epstein et al. | Robust algorithms for preemptive scheduling | |
| CN113761017A (zh) | 相似性搜索方法和装置 | |
| Liu et al. | A MapReduce based distributed LSI for scalable information retrieval | |
| US20140129594A1 (en) | Bounds for graph bisection | |
| Gu et al. | Characterizing job-task dependency in cloud workloads using graph learning | |
| Ianni et al. | Clustering goes big: Clubs-p, an algorithm for unsupervised clustering around centroids tailored for big data applications | |
| Shakil et al. | A latency-aware max-min algorithm for resource allocation in cloud | |
| Thangaselvi et al. | An efficient Mapreduce scheduling algorithm in hadoop | |
| Khan et al. | Computational performance analysis of cluster-based technologies for big data analytics | |
| HajKacem et al. | Parallel K-prototypes for clustering big data | |
| Zheng et al. | Parallel subgradient algorithm with block dual decomposition for large-scale optimization | |
| Ray et al. | Privacy-preserving job scheduler for GPU sharing | |
| KR102266324B1 (ko) | 머신 러닝 실행 관리 플랫폼에서의 워커 노드 관리 방법 및 그를 위한 플랫폼 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |