CN112527210A - 全量数据的存储方法、装置以及计算机可读存储介质 - Google Patents

全量数据的存储方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN112527210A
CN112527210A CN202011535141.5A CN202011535141A CN112527210A CN 112527210 A CN112527210 A CN 112527210A CN 202011535141 A CN202011535141 A CN 202011535141A CN 112527210 A CN112527210 A CN 112527210A
Authority
CN
China
Prior art keywords
data
full
storage
document
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011535141.5A
Other languages
English (en)
Inventor
王晓红
唐积益
黄旭辉
侯腾蛟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202011535141.5A priority Critical patent/CN112527210A/zh
Publication of CN112527210A publication Critical patent/CN112527210A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全量数据的存储方法、装置以及计算机可读存储介质，所述方法包括：获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；将所述数据文档存储在第一存储空间。本发明节省了全量数据的存储空间。

Description

全量数据的存储方法、装置以及计算机可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种全量数据的存储方法、装置以及计算机可读存储介质。
背景技术
在智慧城市/社区项目建设中，连接平台需要面对海量数据的接入问题，这些数据来自众多不同类型的感知设备，这里称之为全量数据，全量数据包括人脸抓拍机、车辆道闸、卡口抓拍机、门禁、烟感等数据。
分析这些全量数据可以发现，全量数据中即包含结构化的信息，比如设备编号、名称、上报时间等，也可能包含一些非结构化的信息，比如图片、视频等。由于全量数据的数据量巨大，并且来自不同设备的全量数据的信息内容多样，全量数据的存储会出现存储空间占据较大的问题。
发明内容
本发明的主要目的在于提供一种全量数据的存储方法、装置以及计算机可读存储介质，旨在解决全量数据的存储出现存储空间占据较大的问题。
为实现上述目的，本发明提供的一种全量数据的存储方法，所述全量数据的存储方法包括以下步骤：
获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；
根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；
将所述数据文档存储在第一存储空间。
在一实施例中，所述全量数据包括文字信息以及图片信息，所述根据所述关键词以及所述特征值生成所述全量数据对应的字段的步骤包括：
获取所述图片信息对应的存储路径；
根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段，其中，所述关键词以及所述特征值根据所述文字信息确定。
在一实施例中，所述获取所述图像信息对应的存储路径的步骤包括：
提取所述全量数据中的所述图片信息，将所述图片信息转换为数据文件；
将所述数据文件发送至服务器，所述服务器将所述数据文件进行存储，并生成所述数据文件对应的存储路径；
接收所述服务器反馈的所述图片信息对应的存储路径。
在一实施例中，所述将所述数据文档存储在预设的第一存储空间的步骤之后，还包括：
创建所述数据文档对应的索引，并建立所述索引与所述数据文档的映射关系，所述索引包括所述索引的创建时间。
在一实施例中，所述创建所述数据文档对应的索引的步骤包括：
确定所述数据文档的分片参数以及副本参数；
根据所述分片参数、所述副本参数以及当前时间创建所述索引，其中，所述当前时间为所述索引的创建时间。
在一实施例中，所述建立所述索引与所述数据文档的映射关系的步骤包括：
获取所述索引在预设时长内的检索频次；
若所述检索频次小于预设频次，删除所述检索频次对应的所述索引以及所述索引对应的数据文档。
在一实施例中，所述将所述数据文档存储在第一存储空间的步骤之后，还包括：
生成所述全量数据对应的标识；
将所述标识与所述数据文档关联，以排序于第一存储空间内的列表的末尾，其中，所述列表包括多组按照时间从早到晚排序的目标数据，所述目标数据包括所述数据文档以及所述数据文档关联的标识。
在一实施例中，所述将所述数据文档存储在第一存储空间的步骤之后，还包括：
获取所述数据文档在预设时长内的访问频次；
在所述访问频次小于预设频次，将所述数据文档存储于第二存储空间中，所述第二存储空间的硬件配置低于所述第一存储空间的硬件配置；
删除所述第一存储空间中的所述数据文档。
为实现上述目的，本发明还提供一种全量数据的存储装置，所述全量数据的存储装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的全量数据的存储程序，所述全量数据的存储程序被所述处理器执行时实现如上所述的全量数据的存储方法的各个步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有全量数据的存储程序，所述全量数据的存储程序被处理器执行时实现如上所述的全量数据的存储方法的各个步骤。
本发明提供的一种全量数据的存储方法、装置以及计算机可读存储介质，获取多个全量数据，提取每个全量数据中的关键词以及特征值；根据关键词以及特征值生成全量数据对应的字段，并根据各个字段生成数据文档并存储在第一存储空间。由于全量数据的数据量巨大，直接存储会占据较大的存储空间，因此在获取全量数据之后，提取每个全量数据的关键词以及关键词对应的特征值，根据关键词以及特征值生成全量数据对应的字段，根据各个字段生成数据文档，将数据文档存储在第一存储空间，也即本发明通过存储全量数据的关键数据，减少全量数据存储空间。
附图说明
图1为本发明实施例涉及的全量数据的存储装置的硬件结构示意图；
图2为本发明全量数据的存储方法的第一实施例的流程示意图；
图3为本发明全量数据的存储方法的第二实施例的步骤S20的细化流程示意图；
图4为本发明全量数据的存储方法的连接平台的结构示意图；
图5为本发明全量数据的存储方法的第三实施例的流程示意图；
图6为本发明全量数据的存储方法的第四实施例的流程示意图；
图7为本发明全量数据的存储方法的第五实施例的流程示意图；
图8为本发明全量数据的存储方法的雪花编码生成的二进制数据的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；将所述数据文档存储在第一存储空间。
由于全量数据的数据量巨大，直接存储会占据较大的存储空间，因此在获取全量数据之后，提取每个全量数据的关键词以及关键词对应的特征值，根据关键词以及特征值生成全量数据对应的字段，根据各个字段生成数据文档，将数据文档存储在第一存储空间，也即本发明通过存储全量数据的关键数据，减少全量数据存储空间。
作为一种实现方案，基于全量数据的存储装置可以如图1所示。
本发明实施例方案涉及的是全量数据的存储装置，全量数据的存储装置包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括全量数据的存储程序；而处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；
根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；
将所述数据文档存储在第一存储空间。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
获取所述图片信息对应的存储路径；
根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段，其中，所述关键词以及所述特征值根据所述文字信息确定。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
提取所述全量数据中的所述图片信息，将所述图片信息转换为数据文件；
将所述数据文件发送至服务器，所述服务器将所述数据文件进行存储，并生成所述数据文件对应的存储路径；
接收所述服务器反馈的所述图片信息对应的存储路径。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
创建所述数据文档对应的索引，并建立所述索引与所述数据文档的映射关系，所述索引包括所述索引的创建时间。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
确定所述数据文档的分片参数以及副本参数；
根据所述分片参数、所述副本参数以及当前时间创建所述索引，其中，所述当前时间为所述索引的创建时间。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
获取所述索引在预设时长内的检索频次；
若所述检索频次小于预设频次，删除所述检索频次对应的所述索引以及所述索引对应的数据文档。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
生成所述全量数据对应的标识；
将所述标识与所述数据文档关联，以排序于第一存储空间内的列表的末尾，其中，所述列表包括多组按照时间从早到晚排序的目标数据，所述目标数据包括所述数据文档以及所述数据文档关联的标识。
在一实施例中，处理器101可以用于调用存储器102中存储的全量数据的存储程序，并执行以下操作：
获取所述数据文档在预设时长内的访问频次；
在所述访问频次小于预设频次，将所述数据文档存储于第二存储空间中，所述第二存储空间的硬件配置低于所述第一存储空间的硬件配置；
删除所述第一存储空间中的所述数据文档。
基于上述全量数据的存储装置的硬件构架，提出本发明全量数据的存储方法的实施例。
参照图2，图2为本发明全量数据的存储方法的第一实施例，所述全量数据的存储方法包括以下步骤：
步骤S10，获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；
具体的，全量数据是不同类型的感知设备检测得到的数据，感知设备可以是人脸抓拍机、车辆道闸、卡口抓拍机以及门禁等设备。全量数据可以是1400协议数据，其中1400协议为公安视频图像信息数据库协议。全量数据也可以是kafka集群的人脸图片，其中kafka是一种分布式发布订阅消息***，可以处理用户在网站中的操作流数据。提取每个所述全量数据中的关键词以及关键词对应的特征值，示例性的，人脸信息的全量数据，关键词为性别代码，对应的特征值为男性；关键词为人脸出现时间，对应的特征值为上午十点；关键词为人脸消失时间，对应的特征值为上午十点十分；关键词为是否为涉案人员，关键词对应的特征值为否。
步骤S20，根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；
具体的，根据关键词以及特征值生成全量数据对应的字段，根据各个字段生成预设文档格式的数据文档，其中，预设文档格式可以是JSON(JavaScript Object Notation，JavaScript对象表示法)格式，数据文档为包含字段的JSON文档。将全量数据转换成JSON文档，用一种统一的方式来存储各种类型的全量数据，避免了需要针对不同的数据类型设计不同的表结构，以及全量数据的内容发生变化而带来的表结构变化。
步骤S30，将所述数据文档存储在第一存储空间。
具体的，将数据文档存储在第一存储空间，可以直接将数据文档存储在第一存储空间，也可以对数据文档进行缓存，定时将缓存后的数据文档存储在第一存储空间，并删除缓存的数据文档，或者在缓存的数据文档的数据量大于预设数据量时，将缓存的数据文档存储在第一存储空间，并删除缓存的数据文档。
将数据文档存储在第一存储空间之后，获取数据文档在预设时长内的访问频次；在访问频次小于预设频次，表示数据文档的使用较少，将数据文档存储于第二存储空间中，并删除所述第一存储空间中的所述数据文档，其中，第二存储空间的硬件配置低于第一存储空间的硬件配置；在访问频次大于或者等于预设频次的情况下，表示数据文档的使用正常，保持将数据文档存储在第一存储空间。
在本实施例的技术方案中，由于全量数据的数据量巨大，直接存储会占据较大的存储空间，因此在获取全量数据之后，提取每个全量数据的关键词以及关键词对应的特征值，根据关键词以及特征值生成全量数据对应的字段，根据各个字段生成数据文档，将数据文档存储在第一存储空间，也即本发明通过存储全量数据的关键数据，减少全量数据存储空间。
参照图3，图3为本发明全量数据的存储方法的第二实施例，基于第一实施例，所述步骤S20包括：
步骤S21，获取所述图片信息对应的存储路径；
步骤S22，根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段，其中，所述关键词以及所述特征值根据所述文字信息确定。
具体的，全量数据可以包括文字信息以及图片信息，其中，文字信息包括设备编号、名称以及上报时间等信息，图片信息可以是图片以及视频等信息。图片信息的关键词以及特征值难以确定的情况，因此可以获取图片信息对应的存储路径，将存储路径作为图片信息对应的字段。其中，获取图片信息对应的存储路径，首先提取全量数据中的图片信息，将图片信息转换为预设格式的数据文件，图片信息与数据文件可以是一一对应的；接着将数据文件发送至服务器，服务器将数据文件进行存储，并生成数据文件对应的存储路径；最后接收服务器反馈的图片信息对应的存储路径。
若全量数据中同时包含文字信息以及图片信息，则根据文字信息的关键词、特征值以及图片信息的存储路径生成全量数据对应的字段。可以根据每一个全量数据生成一个字段，示例性的，根据每个文字信息的关键词以及特征值生成字段，根据每个图片信息的存储路径生成字段。也可以根据多个全量数据生成一个字段，示例性的，根据一天内的多个全量数据的关键词、特征值以及存储路径一起生成字段。外部应用可以从数据文档中获取图片信息的存储路径，然后下载图片信息。
如图4所示，图4提出了实现全量数据存储方法的功能模块，获取模块获取全量数据，判断全量数据的数据类型，若全量数据为图片信息，在连接平台引入FDFS(FastDFS，开源分布式文件***)作为连接平台的文件服务器。当连接平台通过API(ApplicationProgram Interface，应用程序接口)将数据文件上传到FDFS，其中，API是FDFS留给连接平台的一个调用接口。将图片信息存储在FDFS，FDFS反馈数据文件对应的存储路径到处理模块，处理模块将存储路径作为字段生成数据文档。通过该存储路径连接平台可以通过API从FDFS下载对应的数据文件。若全量数据为文字信息，处理模块提取文字信息的关键词以及关键词对应的特征值，处理模块将关键词以及特征值作为字段生成数据文档。将全量数据转换成数据文档之后，写入到开源分布式搜索和分析引擎的索引中。
在本实施例中的技术方案中，全量数据中包括无法提取关键词以及特征值的图片信息，在图片信息存储后，将图片信息对应的存储路径作为字段，保留全量数据的主要数据的同时减小了全量数据的数据量，节省了全量数据的存储空间。
参照图5，图5为本发明全量数据的存储方法的第三实施例，基于第一或第二实施例，所述步骤S30之后，还包括：
步骤S40，创建所述数据文档对应的索引，并建立所述索引与所述数据文档的映射关系，所述索引包括所述索引的创建时间。
具体的，索引用于快速找到数据文档的存储位置。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。索引与数据文档的映射关系可以是一一对应的，通过索引可以检索到对应的数据文档。创建数据文档对应的索引，需要先确定索引数据文档的分片参数以及副本参数；由于开源分布式搜索和分析引擎是个分布式的搜索引擎,通常索引会分解成不同部分,分布在不同节点的数据就是分片。开源分布式搜索和分析引擎自动管理和组织分片,并且能够在预设情况下对分片数据进行再平衡分配。分片参数是用于确定索引的分片的数量等的参数。若开源分布式搜索和分析引擎为一个索引创建5个主分片,可以分别为每个主分片创建一个副本分片。副本参数是用于确定索引分片的副本的参数。根据分片参数、副本参数以及当前时间创建索引，其中，当前时间是索引的创建时间。
可以每天在开源分布式搜索和分析引擎中创建一个新的索引，索引的名称可以是event-[yyyy-mm-dd]，后缀为当天的日期，用来存储当天的数据文档，设置一个时间间隔，比如5分钟，定时去查询当天的数据文档，根据当天的数据文档生成新的索引。
在本实施例的技术方案中，创建了数据文档对应的索引，并建立索引与数据文档的映射关系，提高了检索效率，避免了存储空间中有大量数据文档时，若要对数据文档进行查询，需要将所有数据文档一一取出，和查询条件进行一一对比，然后返回满足条件的记录，消耗大量查询时间，并造成大量磁盘I/O操作的情况。
参照图6，图6为本发明全量数据的存储方法的第四实施例，基于第一或第三中任一实施例，所述步骤S40之后，还包括：
步骤S50，获取所述索引在预设时长内的检索频次；
步骤S60，若所述检索频次小于预设频次，删除所述检索频次对应的所述索引以及所述索引对应的数据文档。
具体的，获取索引在预设时长内的检索频次，在检索频次小于预设频次的情况下，表示该索引的使用较少，为了不占用存储空间，删除检索频次对应的索引以及索引对应的数据文档；在检索频次大于或等于预设频次时，表示该索引的使用较多，不删检索频次对应的索引。示例性的，设置一个时间周期15天，当全量数据写入索引后15天，将会把索引中的数据文档都写入到另外的第二存储空间中，并删除第一存储空间中的索引以及数据文档。第二存储空间的硬件配置低于第一存储空间。
在本实施例的技术方案中，在索引的检索频次小于预设频次时，删除检索频次对应的索引以及索引对应的数据文档，避免了检索频次小的索引占据大量存储空间，节省了存储空间。
参照图7，图7为本发明全量数据的存储方法的第五实施例，基于第一或第四中任一实施例，所述步骤S30之后，还包括：
步骤S70，生成所述全量数据对应的标识；
步骤S80，将所述标识与所述数据文档关联，以排序于第一存储空间内的列表的末尾，其中，所述列表包括多组按照时间从早到晚排序的目标数据，所述目标数据包括所述数据文档以及所述数据文档关联的标识。
具体的，可以采用雪花编码(Snow Flake)算法来生成数据文档的标识，标识可以是一个long型的event_id表示，其中event_id按照全量数据的获取时间自增排序，并且唯一标识数据文档。示例性的，雪花编码算法会生成一个64位的二进制数据，为一个Long型，如图8所示，第一位：为未使用；第二部分：41位为毫秒级时间；第三部分：5位datacenterId(中心数据标识)和5位workerId(设备标识)；第四部分：12位是毫秒内的计数，12位的计数顺序号支持每个节点每毫秒产生4096个ID序号。雪花编码算法生成的标识按照时间自增排序，由datacenter和workerId作区分，产生的标识不会重复，产生效率较高。标识与数据文档关联，以排序于第一存储空间内的列表的末尾，其中，列表包括多组按照时间从早到晚排序的目标数据，目标数据包括数据文档以及数据文档关联的标识。当外部应用检索数据文档时可以指定数据文档按照标识进行排序。
在本实施例的技术方案中，生成全量数据对应的标识，将标识与全量数据生成的数据文档关联。当外部应用检索数据文档时可以指定数据文档按照标识进行排序，便于更有效查询全量数据。
本发明还提供一种全量数据的存储装置，所述全量数据的存储装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的全量数据的存储程序，所述全量数据的存储程序被所述处理器执行时实现如上实施例所述的全量数据的存储方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有全量数据的存储程序，所述全量数据的存储程序被处理器执行时实现如上实施例所述的全量数据的存储方法的各个步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全量数据的存储方法，其特征在于，所述全量数据的存储方法包括：
获取多个全量数据，提取每个所述全量数据中的关键词以及所述关键词对应的特征值；
根据所述关键词以及所述特征值生成所述全量数据对应的字段，并根据各个所述字段生成数据文档；
将所述数据文档存储在第一存储空间。
2.如权利要求1所述的全量数据的存储方法，其特征在于，所述全量数据包括文字信息以及图片信息，所述根据所述关键词以及所述特征值生成所述全量数据对应的字段的步骤包括：
获取所述图片信息对应的存储路径；
根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段，其中，所述关键词以及所述特征值根据所述文字信息确定。
3.如权利要求2所述的全量数据的存储方法，其特征在于，所述获取所述图像信息对应的存储路径的步骤包括：
提取所述全量数据中的所述图片信息，将所述图片信息转换为数据文件；
将所述数据文件发送至服务器，所述服务器将所述数据文件进行存储，并生成所述数据文件对应的存储路径；
接收所述服务器反馈的所述图片信息对应的存储路径。
4.如权利要求1所述的全量数据的存储方法，其特征在于，所述将所述数据文档存储在预设的第一存储空间的步骤之后，还包括：
创建所述数据文档对应的索引，并建立所述索引与所述数据文档的映射关系，所述索引包括所述索引的创建时间。
5.如权利要求4所述的全量数据的存储方法，其特征在于，所述创建所述数据文档对应的索引的步骤包括：
确定所述数据文档的分片参数以及副本参数；
根据所述分片参数、所述副本参数以及当前时间创建所述索引，其中，所述当前时间为所述索引的创建时间。
6.如权利要求4所述的全量数据的存储方法，其特征在于，所述建立所述索引与所述数据文档的映射关系的步骤包括：
获取所述索引在预设时长内的检索频次；
若所述检索频次小于预设频次，删除所述检索频次对应的所述索引以及所述索引对应的数据文档。
7.如权利要求1所述的全量数据的存储方法，其特征在于，所述将所述数据文档存储在第一存储空间的步骤之后，还包括：
生成所述全量数据对应的标识；
将所述标识与所述数据文档关联，以排序于第一存储空间内的列表的末尾，其中，所述列表包括多组按照时间从早到晚排序的目标数据，所述目标数据包括所述数据文档以及所述数据文档关联的标识。
8.如权利要求1所述的全量数据的存储方法，其特征在于，所述将所述数据文档存储在第一存储空间的步骤之后，还包括：
获取所述数据文档在预设时长内的访问频次；
在所述访问频次小于预设频次，将所述数据文档存储于第二存储空间中，所述第二存储空间的硬件配置低于所述第一存储空间的硬件配置；
删除所述第一存储空间中的所述数据文档。
9.一种全量数据的存储装置，其特征在于，所述全量数据的存储装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的全量数据的存储程序，所述全量数据的存储程序被所述处理器执行时实现如权利要求1-8任一项所述的全量数据的存储方法的各个步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有全量数据的存储程序，所述全量数据的存储程序被处理器执行时实现如权利要求1-8任一项所述的全量数据的存储方法的各个步骤。
CN202011535141.5A 2020-12-22 2020-12-22 全量数据的存储方法、装置以及计算机可读存储介质 Pending CN112527210A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011535141.5A CN112527210A (zh) 2020-12-22 2020-12-22 全量数据的存储方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011535141.5A CN112527210A (zh) 2020-12-22 2020-12-22 全量数据的存储方法、装置以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112527210A true CN112527210A (zh) 2021-03-19

Family

ID=74975835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011535141.5A Pending CN112527210A (zh) 2020-12-22 2020-12-22 全量数据的存储方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112527210A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930461A (zh) * 2010-08-20 2010-12-29 郑茂 通信网络的数字图像可视化管理和检索
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN106528667A (zh) * 2016-10-24 2017-03-22 南京中新赛克科技有限责任公司 读写分离的低功耗海量数据全文检索***框架
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术（北京）有限公司 用于处理图片的方法和装置
CN110275983A (zh) * 2019-06-05 2019-09-24 青岛海信网络科技股份有限公司 交通监控数据的检索方法及装置
CN110399451A (zh) * 2019-06-29 2019-11-01 苏州浪潮智能科技有限公司 一种基于非易失性内存的全文检索引擎缓存方法，***，设备及可读存储介质
CN110597855A (zh) * 2019-08-14 2019-12-20 中山大学 一种数据存储方法、终端设备及计算机可读存储介质
CN111241313A (zh) * 2020-01-06 2020-06-05 郑红 支持图像录入的检索方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930461A (zh) * 2010-08-20 2010-12-29 郑茂 通信网络的数字图像可视化管理和检索
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN106528667A (zh) * 2016-10-24 2017-03-22 南京中新赛克科技有限责任公司 读写分离的低功耗海量数据全文检索***框架
CN106708940A (zh) * 2016-11-11 2017-05-24 百度在线网络技术（北京）有限公司 用于处理图片的方法和装置
CN110275983A (zh) * 2019-06-05 2019-09-24 青岛海信网络科技股份有限公司 交通监控数据的检索方法及装置
CN110399451A (zh) * 2019-06-29 2019-11-01 苏州浪潮智能科技有限公司 一种基于非易失性内存的全文检索引擎缓存方法，***，设备及可读存储介质
CN110597855A (zh) * 2019-08-14 2019-12-20 中山大学 一种数据存储方法、终端设备及计算机可读存储介质
CN111241313A (zh) * 2020-01-06 2020-06-05 郑红 支持图像录入的检索方法和装置

Similar Documents

Publication Publication Date Title
CN109936571B (zh) 一种海量数据共享方法、开放共享平台及电子设备
CN109800207B (zh) 日志解析方法、装置、设备及计算机可读存储介质
CN111311326B (zh) 用户行为实时多维度分析方法、装置及存储介质
US20140365523A1 (en) Push subscriptions
CN108093026B (zh) 多租户请求的处理方法及装置
CN111859132A (zh) 一种数据处理方法、装置及智能设备、存储介质
CN111399756A (zh) 一种数据存储方法、数据下载方法及装置
CN111797091A (zh) 数据库中数据查询的方法、装置、电子设备和存储介质
CN111767314A (zh) 数据缓存及查询方法、装置、懒缓存***及存储介质
CN111858588B (zh) 一种分布式应用索引服务平台及数据处理方法
CN113051460A (zh) 基于Elasticsearch的数据检索方法、***、电子设备及存储介质
CN108154024B (zh) 一种数据检索方法、装置及电子设备
CN115757545A (zh) 密文检索方法、存储方法、装置、电子设备及存储介质
CN111563199A (zh) 一种数据处理方法及装置
WO2012119339A1 (zh) 搜索方法及装置
CN113761565B (zh) 数据脱敏方法和装置
CN105843809B (zh) 数据处理方法和装置
CN111026972B (zh) 物联网中的订阅数据推送方法、装置、设备及存储介质
US20230144072A1 (en) Data storage server and client devices for securely storing data
CN112527210A (zh) 全量数据的存储方法、装置以及计算机可读存储介质
CN107070987B (zh) 用于分布式对象存储***的数据获取方法及***
CN116260702A (zh) 数据监控的方法、装置、计算机设备和存储介质
CN110704481A (zh) 展示数据的方法和装置
CN115757049B (zh) 多业务模块日志记录方法、***、电子设备及存储介质
CN111274350B (zh) 数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination