CN111444219A - 一种基于分布式的数据处理方法、装置和电子设备 - Google Patents
一种基于分布式的数据处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111444219A CN111444219A CN202010237373.6A CN202010237373A CN111444219A CN 111444219 A CN111444219 A CN 111444219A CN 202010237373 A CN202010237373 A CN 202010237373A CN 111444219 A CN111444219 A CN 111444219A
- Authority
- CN
- China
- Prior art keywords
- data
- parameters
- parameter
- data block
- address information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 13
- 238000012856 packing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24562—Pointer or reference processing operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及存储介质领域，公开了一种基于分布式的数据处理方法、装置和电子设备。方法包括：获取被查询数据的参数；根据被查询数据的参数在第一存储器中进行检索，获得被查询数据的参数对应的地址信息；根据地址信息从第二存储器中提取与被查询数据的参数对应的数据内容；输出数据内容，由此能够缩短数据操作周期，且时效性强。
Description
技术领域
本发明涉及存储介质领域，特别是涉及一种基于分布式的数据处理方法、装置和电子设备。
背景技术
在设备进行数据存储时，针对设备的实际应用需要保存大量的历史记录数据(包括消费账单、操作记录、告警记录、人员信息等)。从这些数据中找到某一天或者某一个用户的某一个操作等有效数据时，传统的做法是将存储器中的每一条数据读取出来和所需数据做比对，如果一样则找到需要的数据内容，如果不一样，则继续向后查询，直到找到符合要求的数据内容。
鉴于目前在存储器件选择时，大量使用nandflash作为低成本大容量存储器件，但nandflash在快速读取或者写入数据时存在坏块的可能，特别是数据写入时必须进行扇区擦除操作且数据操作周期较长，在进行超大型数据查询时则显得时效性差。更甚至严重影响设备运行效率，影响生产使用。
发明内容
基于此，有必要针对上述技术问题，提供一种基于分布式的数据处理方法、装置和电子设备，能够缩短数据操作周期，且时效性强。
第一方面，本发明实施例提供了一种基于分布式的数据处理方法，所述方法包括：
获取被查询数据的参数；
根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息；
根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容；
输出所述数据内容。
在一些实施例中，所述获取被查询数据的参数，包括：
获取数据块的类型参数和数据块的特征参数。
在一些实施例中，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数不缺省；
则输出所述数据块的特征参数对应的数据的地址信息。
在一些实施例中，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数缺省；
则输出所述数据块的类型参数所对应的批量数据的地址信息。
在一些实施例中，所述方法还包括：
将所需存储的数据打包成数据块，并将所述数据块存储至所述第二存储器中；
获取数据块的类型参数、数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息；
将所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息存储至数据链表区。
在一些实施例中，所述方法还包括：
获取所述数据链表区的数据结构；
根据所述数据链表区的数据结构，将所述数据链表区存储至第一存储器中对应的存储空间。
在一些实施例中，所述方法还包括：
预先建立数据链表区，其中，所述数据链表区用于存储所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
第二方面，本发明实施例还提供了一种基于分布式的数据处理装置，所述装置包括：
获取模块，用于获取被查询数据的参数；
检索模块，用于根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息；
提取模块，用于根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容；
输出模块，用于输出所述数据内容。
第三方面，本发明实施例还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于分布式的数据处理方法。
第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被处理器所执行时，使所述处理器执行上述基于分布式的数据处理方法。
与现有技术相比，本发明的有益效果是：区别于现有技术的情况，本发明实施例中的基于分布式数据处理方法、装置和电子设备，通过预先将数据进行分布式存储，从而使得在数据查询时，获取被查询数据的参数，并根据被查询数据的参数在第一存储器中进行检索，获得被查询数据的参数对应的地址信息，接着根据该地址信息从第二存储器中提取与被查询数据的参数对应的数据内容并输出，通过在第一存储器中检索数据参数并获取对应的地址信息，在第二存储器中按照地址信息提取所需数据内容，由此能够缩短数据操作周期，且时效性强。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明一个实施例中基于分布式的数据处理方法的流程示意图；
图2是本发明一个实施例中数据块的特征参数不缺省的流程示意图；
图3是本发明一个实施例中数据块的特征参数缺省的流程示意图；
图4是本发明一个实施例中数据存储的流程示意图；
图5是本发明一个实施例中数据按照顺序存储或者随机存储的结构示意图；
图6是本发明一个实施例中数据链表区存储在第一存储器中的结构示意图；
图7是本发明一个实施例中基于分布式的数据处理装置的结构示意图；
图8是本发明一个实施例中电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
如图1所示，本发明实施例提供了一种基于分布式的数据处理方法，所述方法包括：
步骤102，获取被查询数据的参数。
具体地，被查询数据的参数包括类型参数和特征参数，其中，同一数据的类型参数可以有多个不同的特征参数，当用户输入被查询数据的参数后，第一存储器则获取被查询数据的参数。
步骤104，根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息。
在本发明实施例中，第一存储器为带电可擦可编程只读存储器，是用户可更改的只读存储器，其可通过高于普通电压的作用来擦除和重编程(重写)，第一存储器例如可以为eeprom存储器，第一存储器可以对存储数据的各项特征进行针对性存储，能够有效的节省存储空间，并且可根据实际需求，建立数据特征表或者统计表等，有利于数据筛查以及数据统计。具体地，当获取到被查询数据的参数后，根据所述被查询数据的参数在第一存储器中进行检索匹配，从而得到被查询数据的参数对应的地址信息。
步骤106，根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容。
步骤108，输出所述数据内容。
在本发明实施例中，第二存储器为低成本大容量的存储器件，例如可以为nandflash存储器。具体地，获取到被查询数据的参数对应的地址信息后，则根据地址信息从第二存储器中提取与被查询数据的参数对应的数据内容，并输出数据内容。
在本发明实施例中，通过预先将数据进行分布式存储，从而使得在数据查询时，获取被查询数据的参数，并根据被查询数据的参数在第一存储器中进行检索，获得被查询数据的参数对应的地址信息，接着根据该地址信息从第二存储器中提取与被查询数据的参数对应的数据内容并输出，通过在第一存储器中检索数据参数并获取对应的地址信息，在第二存储器中按照地址信息提取所需数据内容，由此能够缩短数据操作周期，且时效性强。
在一些实施例中，所述获取被查询数据的参数，包括：获取数据块的类型参数和数据块的特征参数。
在本发明实施例中，第二存储器中数据进行存储是通过将数据打包成数据块的形式进行存储。其中，数据块的类型参数例如可以为操作记录、账单记录，互联网数据等参数，数据块的特征参数例如可以为用户姓名、账单编号或者存储日期等。
在一些实施例中，如图2所示，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
步骤202，根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索。
具体地，将数据块的类型参数和数据块的特征参数输入第一存储器后，第一存储器根据接收到输入的数据块的类型参数和数据块的特征参数进行信息检索。
步骤204，若所述数据块的特征参数不缺省。
步骤206，则输出所述数据块的特征参数对应的数据的地址信息。
在本发明实施例中，缺省是指***默认即空白，不缺省则说明数据块具有唯一的特征参数。具体地，当根据数据块的类型参数和数据块的特征参数在第一存储器中进行检索时，如果数据块的特征参数不缺省，即数据块的特征参数唯一，则根据数据块的特征参数输出与所述数据块的特征参数对应的数据的地址信息，由于数据块的特征参数是唯一的，因此输出的地址信息也是唯一的，接着从第二存储器中根据数据块的特征参数对应的数据的地址信息提取对应的数据内容，并输出数据内容。由此能够缩短数据操作周期，且时效性强。
在其他一些实施例中，如图3所示，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
步骤302，根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索。
具体地，将数据块的类型参数和数据块的特征参数输入第一存储器后，第一存储器根据接收到输入的数据块的类型参数和数据块的特征参数进行信息检索。
步骤304，若所述数据块的特征参数缺省。
步骤306，则输出所述数据块的类型参数所对应的批量数据的地址信息
具体地，当根据数据块的类型参数和数据块的特征参数在第一存储器中进行检索时，如果数据块的特征参数缺省，即数据块的特征参数空白，则根据数据块的类型参数输出与数据块的类型参数所对应的批量数据的地址信息，接着根据批量数据的地址信息，从第二存储器中提取所有与数据块的类型参数对应的数据内容，并输出批量的数据内容。由此能够缩短数据操作周期，且时效性强。
在一些实施例中，如图4所示，所述方法还包括：
步骤402，将所需存储的数据打包成数据块，并将所述数据块存储至所述第二存储器中。
在本发明实施例中，将对所需存储的数据按照实际需求进行结构性存储，即建立特定格式的数据结构，并根据不同的数据结构，将数据打包成数据块存储至第二存储器。具体地，如图5所示，在数据块中，根据实时需要的数据流，动态分配所需存储的数据，可按照顺序对所需存储的数据进行存储，也可在存储数据时不必进行连续地址空间写入，即可对所需存储的数据进行随机存储。
步骤404，获取数据块的类型参数、数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
具体地，所需存储的数据都是按照特定格式的数据结构以数据块的形式存储在第二存储器中，当数据块存储至第二存储器后，获取数据块的类型参数、数据块的特征参数、数据块的类型参数对应的数据的地址信息以及数据块的特征参数对应的数据的地址信息。
步骤406，将所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息存储至数据链表区。
在本发明实施例中，数据链表区是用于存储不同数据块的参数信息和对应的地址信息。具体地，将所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息存储至数据链表区。
在一些实施例中，所述方法还包括：获取所述数据链表区的数据结构；根据所述数据链表区的数据结构，将所述数据链表区存储至第一存储器中对应的存储空间。
在本发明实施例中，数据链表区的数据结构是指数据块的特征参数和数据块的特征参数对应的数据的地址信息。如图6所示，具体地，获取数据链表区中的数据结构，并根据数据结构将数据链表区存储至第一存储器中对应的存储空间，通过将数据参数及对应的数据的地址信息以数据链表区的形式存储至第一存储器中，有利于后续对数据筛查以及数据统计。
在一些实施例中，所述方法还包括：预先建立数据链表区，其中，所述数据链表区用于存储所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
相应的，本发明实施例还提供了一种基于分布式的数据处理装置，如图7所示，所述装置700包括：
获取模块702，用于获取被查询数据的参数；
检索模块704，用于根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息；
提取模块706，用于根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容；
输出模块708，用于输出所述数据内容。
本发明实施例提供的基于分布式的数据处理装置，通过预先将数据进行分布式存储，从而使得在数据查询时，通过或获取模块获取被查询数据的参数，并通过检索模块根据被查询数据的参数在第一存储器中进行检索，获得被查询数据的参数对应的地址信息，接着使用提取模块根据该地址信息从第二存储器中提取与被查询数据的参数对应的数据内容，最后通过输出模块输出所述数据内容，通过在第一存储器中检索数据参数并获取对应的地址信息，在第二存储器中按照地址信息提取所需数据内容，由此能够缩短数据操作周期，且时效性强。
可选的，在装置的其他实施例中，如图7所示，所述装置700还包括：
存储模块710，用于将所需存储的数据打包成数据块，并将所述数据块存储至所述第二存储器中。
将所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息存储至数据链表区。
根据所述数据链表区的数据结构，将所述数据链表区存储至第一存储器中对应的存储空间。
可选的，在装置的其他实施例中，如图7所示，所述装置700还包括：
建立模块712，用于预先建立数据链表区，其中，所述数据链表区用于存储所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
可选的，在装置的其他实施例中，获取模块702具体用于：
获取数据块的类型参数和数据块的特征参数。
获取数据块的类型参数、数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
获取所述数据链表区的数据结构。
可选的，在装置的其他实施例中，检索模块704具体用于：
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数不缺省；
则输出所述数据块的特征参数对应的数据的地址信息。
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数缺省；
则输出所述数据块的类型参数所对应的批量数据的地址信息。
需要说明的是，上述基于分布式的数据处理装置可执行本发明实施例所提供的基于分布式的数据处理方法，具备执行方法相应的功能模块和有益效果，未在基于分布式的数据处理装置实施例中详尽描述的技术细节，可参考本发明实施例提供的基于分布式的数据处理方法。
图8是本发明实施例提供的电子设备的硬件结构示意图，如图8所示，该电子设备800包括：
一个或多个处理器802以及存储器804，图8中以一个处理器802为例。
处理器802和存储器804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器804作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于分布式的数据处理方法对应的程序指令/模块(例如，附图7所示的获取模块702、检索模块704、提取模块706、输出模块708、存储模块710和建立模块712)。处理器802通过运行存储在存储器804中的非易失性软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的基于分布式的数据处理方法。
存储器804可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据基于分布式的数据处理装置使用所创建的数据等。此外，存储器804可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器804可选包括相对于处理器802远程设置的存储器，这些远程存储器可以通过网络连接至基于分布式的数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器804中，当被所述一个或者多个电子设备800执行时，执行上述任意方法实施例中的基于分布式的数据处理方法，例如，执行以上描述的图1中的方法步骤102至步骤108、图2中的方法步骤202至步骤206、图3中的方法步骤302至步骤306、图4中的方法步骤402至步骤406；实现图7中的模块702至712的功能。
本发明实施例中的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于分布式的数据处理方法，其特征在于，所述方法包括：
获取被查询数据的参数；
根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息；
根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容；
输出所述数据内容。
2.根据权利要求1所述的方法，其特征在于，所述获取被查询数据的参数，包括：
获取数据块的类型参数和数据块的特征参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数不缺省；
则输出所述数据块的特征参数对应的数据的地址信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息，包括：
根据所述数据块的类型参数和所述数据块的特征参数在第一存储器中进行检索；
若所述数据块的特征参数缺省；
则输出所述数据块的类型参数所对应的批量数据的地址信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
将所需存储的数据打包成数据块，并将所述数据块存储至所述第二存储器中；
获取数据块的类型参数、数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息；
将所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息存储至数据链表区。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述数据链表区的数据结构；
根据所述数据链表区的数据结构，将所述数据链表区存储至第一存储器中对应的存储空间。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
预先建立数据链表区，其中，所述数据链表区用于存储所述数据块的类型参数、所述数据块的特征参数以及分别与所述数据块的类型参数和所述数据块的特征参数对应的数据的地址信息。
8.一种基于分布式的数据处理装置，其特征在于，所述装置包括：
获取模块，用于获取被查询数据的参数；
检索模块，用于根据所述被查询数据的参数在第一存储器中进行检索，获得所述被查询数据的参数对应的地址信息；
提取模块，用于根据所述地址信息从第二存储器中提取与所述被查询数据的参数对应的数据内容；
输出模块，用于输出所述数据内容。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被处理器所执行时，使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237373.6A CN111444219A (zh) | 2020-03-30 | 2020-03-30 | 一种基于分布式的数据处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010237373.6A CN111444219A (zh) | 2020-03-30 | 2020-03-30 | 一种基于分布式的数据处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111444219A true CN111444219A (zh) | 2020-07-24 |
Family
ID=71649256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010237373.6A Pending CN111444219A (zh) | 2020-03-30 | 2020-03-30 | 一种基于分布式的数据处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111444219A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113031865A (zh) * | 2021-03-23 | 2021-06-25 | 北京和利时***工程有限公司 | 一种实现数据存储的方法、装置、计算机存储介质及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033308A1 (en) * | 2001-08-03 | 2003-02-13 | Patel Sujal M. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | ***通信集团公司 | 分布式数据库***、在其中建立索引的方法和查询方法 |
| CN105898207A (zh) * | 2015-01-26 | 2016-08-24 | 杭州海康威视数字技术股份有限公司 | 视频数据的智能处理方法及*** |
| CN107704599A (zh) * | 2017-10-16 | 2018-02-16 | 杭州安恒信息技术有限公司 | 一种实现edr数据快速检索的方法与装置 |
| CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视***技术有限公司 | 文件处理方法、装置、设备及存储介质 |
-
2020
- 2020-03-30 CN CN202010237373.6A patent/CN111444219A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033308A1 (en) * | 2001-08-03 | 2003-02-13 | Patel Sujal M. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
| CN101676899A (zh) * | 2008-09-18 | 2010-03-24 | 上海宝信软件股份有限公司 | 海量数据库记录的归档和查询方法 |
| CN102375853A (zh) * | 2010-08-24 | 2012-03-14 | ***通信集团公司 | 分布式数据库***、在其中建立索引的方法和查询方法 |
| CN105898207A (zh) * | 2015-01-26 | 2016-08-24 | 杭州海康威视数字技术股份有限公司 | 视频数据的智能处理方法及*** |
| CN107704599A (zh) * | 2017-10-16 | 2018-02-16 | 杭州安恒信息技术有限公司 | 一种实现edr数据快速检索的方法与装置 |
| CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视***技术有限公司 | 文件处理方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113031865A (zh) * | 2021-03-23 | 2021-06-25 | 北京和利时***工程有限公司 | 一种实现数据存储的方法、装置、计算机存储介质及终端 |
| CN113031865B (zh) * | 2021-03-23 | 2023-12-22 | 北京和利时***集成有限公司 | 一种实现数据存储的方法、装置、计算机存储介质及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101859425A (zh) | 一种提供应用列表的方法及装置 | |
| CN105487760A (zh) | 一种展示消息的方法、装置及电子设备 | |
| CN107391108B (zh) | 一种通知栏信息修正方法及其装置、电子设备 | |
| CN107391325B (zh) | 一种硬盘的测试方法、装置及终端 | |
| CN108388509A (zh) | 一种软件测试方法、计算机可读存储介质及终端设备 | |
| CN103139567A (zh) | 一种图像压缩和解压缩的方法和装置 | |
| CN111443873A (zh) | 一种Nand Flash存储器的管理方法和装置 | |
| CN106686545A (zh) | 一种无线保真国家码的应用方法及装置 | |
| CN103716237A (zh) | 一种利用二叉堆排序的寻路方法及装置 | |
| CN105740061B (zh) | 一种gpu资源重建的方法、用户设备及*** | |
| CN112784112A (zh) | 报文校验方法及装置 | |
| CN111444219A (zh) | 一种基于分布式的数据处理方法、装置和电子设备 | |
| CN105989114A (zh) | 一种收藏内容推荐方法及终端 | |
| CN103366013B (zh) | 一种数据处理的方法及服务器 | |
| CN103997557A (zh) | 一种通讯录管理方法及移动终端 | |
| KR102623957B1 (ko) | 아이템 제공 장치 및 아이템 제공 방법 | |
| CN106899558B (zh) | 访问请求的处理方法、装置和存储介质 | |
| CN106682014B (zh) | 游戏展示数据的生成方法和装置 | |
| CN107315658A (zh) | 一种数据备份方法及装置、计算机装置及可读存储介质 | |
| CN104660581A (zh) | 一种为业务策略确定目标用户的方法、装置及*** | |
| CN102325179A (zh) | 移动存储设备及其共享云端内容的方法 | |
| CN112818219A (zh) | 解释推荐效果的方法、***、电子设备及可读存储介质 | |
| CN108710514B (zh) | 对象跳转控制方法和装置、存储介质及电子装置 | |
| CN106980685B (zh) | 数据处理方法及数据处理装置 | |
| CN114169451A (zh) | 行为数据分类处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |