CN106033324A - 一种数据存储的方法和装置 - Google Patents
一种数据存储的方法和装置 Download PDFInfo
- Publication number
- CN106033324A CN106033324A CN201510125757.8A CN201510125757A CN106033324A CN 106033324 A CN106033324 A CN 106033324A CN 201510125757 A CN201510125757 A CN 201510125757A CN 106033324 A CN106033324 A CN 106033324A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- index
- slice
- day
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储的方法和装置。该方法，包括：缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；将所述数据单元写入存储区；确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，并使得后续检索快速高效。
Description
技术领域
本发明涉及视频监控技术领域，尤其涉及一种数据存储的方法和装置。
背景技术
基于时序的数据采集获得的经常是琐碎的数据，如果数据采集的时间很长，产生的琐碎的数据片的片数就越多。在现有技术中，对这种数据的存储过程是将每个琐碎的数据片一次写入存储区域。
以车站或商场的客流量的数据统计为例，如图1所示，客流量信息由IPC(IP Camra，网络摄像机)发送给NVR***(Network VideoRecorder，网络硬盘录像机)，NVR***进行存储后，用户可通过本地界面或者远程客户端获取统计结果，并可将统计结果转存或下载。
如图2所示，每个数据片携带的客流量信息最少包括统计对应时段的开始时间和结束时间，也就是T1start、T2start、…、Tnstart、Tn+1start和T1end、T2end、…、Tnend；具体的数据至少包括进入人数和离开人数。这些数据片携带的数据在数据库中的存储结构如图3所示，每个数据片根据产生的时序依次指向后方的数据。将每一包数据当作一个片段，每一个片段之间通过偏移量进行检索(即前一片段存储下一个片段的偏移位置)。
但是存储的数据并不仅仅是用于存储的，还需要对数据进行运算、统计、分析或以特定的方式搜索。这种存储方式下，将会产生以下问题：
1、因每收到一包数据即写入硬盘，在硬盘容量相同前提下，外部数据产生的周期直接影响存储周期，虽目前周期固定为15min，不排除这个周期的调整或未来需要兼容第三方厂家的IPC(有客流量统计功能)；
2、写硬盘的频率直接取决于外部数据产生的周期，过于频繁可能会影响硬盘使用寿命；
3、因收到源数据直接存储，其每一包数据形成一个片段信息，以15min产生一包数据，一天将产生96个片段，一年以365天计算，则产生约3.5万个片段，如果要统计年报表将先要搜索出属于该年的所有片段并进行计算(对离开人数和进入人数分别累加)，检索效率较低。
发明内容
本发明的目的是提供一种数据存储的方法和装置，其通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。
为实现上述目的，具体采用以下技术方案：
一方面采用一种数据存储的方法，包括：
缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
将所述数据单元写入存储区；
确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
其中，所述根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元，包括：
若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元；
若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元；
若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
其中，所述数据片中的数据为基于时序的统计数据；
所述根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元，具体为：
根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
其中，所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引。
其中，存储所述数据单元的存储文件包括数据区、索引区和文件头，所述时间索引包括日时间索引和月时间索引；
所述将所述数据单元写入存储区，具体为：
根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息；
所述确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息，包括：
确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息；
确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息；
其中，所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
其中，所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
另一方面采用一种数据存储的装置，包括：
数据缓存模块，用于缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
周期聚合模块，用于根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
数据写入模块，用于将所述数据单元写入存储区；
节点汇总模块，用于确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
其中，所述周期聚合模块，包括：
起始子模块，用于若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元；
聚合子模块，用于若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元；
完成子模块，用于若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
其中，所述数据片中的数据为基于时序的统计数据；
所述周期聚合模块，具体用于：
根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
其中，所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引。
其中，存储所述数据单元的存储文件包括数据区、索引区和文件头，所述时间索引包括日时间索引和月时间索引；
所述数据写入模块，具体用于：
根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；，将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息；
所述节点汇总模块，包括：
第一汇总子模块，用于确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息；
第二汇总子模块，用于确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息；
其中，所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
其中，所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
本发明的有益效果在于：通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。
附图说明
图1是现有技术中一种数据采集存储***的结构示意图；
图2是图1中数据采集存储***采集的源数据的示意图；
图3是图1中数据采集存储***采集的数据存储的示意图；
图4是本发明具体实施方式中提供的一种数据存储的方法的第一实施例的方法流程图；
图5是本发明具体实施方式中提供的一种数据存储的方法的第二实施例的方法流程图；
图6是本发明具体实施方式中提供的一种数据存储的方法的第二实施例中数据存储的过程示意图；
图7是本发明具体实施方式中提供的一种数据存储的方法的第二实施例中数据检索的过程示意图；
图8是本发明具体实施方式中提供的一种数据存储的装置的第一实施例的结构方框图；
图9是本发明具体实施方式中提供的一种数据存储的装置的第二实施例的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
请参考图4，其是本发明具体实施方式中提供的一种数据存储的方法的第一实施例的方法流程图。本实施例中的方法，主要用于各种数据存储，特别是基于时序获取的数据，例如视频、音频、人流量、车流量等数据的统计。如图所示，该方法，包括：
步骤S101：缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期。
在获取数据的过程中，外部数据可能会不定期产生，某一个时间段内可能长生很多，缓存中可能会存在多个数据片，如果将多个数据片直接按时序存储，会导致存储区存在很多零碎数据，在统计过程中对数据的索引和统计很不方便，效率很低。
为了实现有序存储，将数据按周期进行存储，每个周期中的数据可以由多个数据片组成，但是为了保证数据统计的正确性，每个数据片中的数据属于同一周期。假设以1小时为周期，以整点作为一个周期的开始时间，那么每个数据片中缓存的数据不能跨整点，例如00:55:08～01:03:12这个时间段的数据最后是会造成统计结果的误差的，因为在这种数据片的数据只能计入01:00:00～01:59:59周期；这意味着0:00:00～0:59:59周期的数据实质上不足该周期的真实数据，对应的，01:00:00～01:59:59周期的数据实质上超过一个该周期的真实数据。
步骤S102：根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元。
当在已缓存的数据片中根据开始时间和结束时间确认某个完整周期对应的数据已缓存完时，将该周期内的数据片聚合成一个整体得到数据单元，具体的聚合方式根据不同的数据类型进行聚合，例如视频、音频或数值。
步骤S103：将所述数据单元写入存储区。
存储区指存储设备中用于存储数据的一块物理区域，将数据单元写入存储区的过程现有技术中已有实现，在此不做进一步说明。
步骤S104：确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
本方案针对的是按时序进行存储的数据，其对应的索引方式也是时序索引。根据每个数据单元的最后一个数据片的结束时间就可以判断出是否是生成索引信息的节点，如果有，直接根据索引类型生成其对应的索引区域的相关内容即可。
综上所述，通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。
请参考图5，其是发明具体实施方式中提供的一种数据存储的方法的第二实施例的方法流程图，如图所示，该方法包括：
步骤S201：缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期。
一般而言，每个数据单元对应的周期的长度为1小时。对于大多数的数据统计而言，1小时是一个比较常见的基本统计周期，但是在不同的应用领域，对数据统计的精度不同，所以1小时只是优选的一个周期长度，可以设置更精确的周期，例如30分钟、10分钟、1分钟等。
步骤S202：若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元。
步骤S203：若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元。
步骤S204：若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
最新缓存的数据片根据开始时间和结束时间的判断，对应不同的处理方式，对于每一个数据片，开始时间和结束时间都要进行判断，最后需要响应的是上述三种情况。第一种情况数据片是一个周期的第一个数据片，将该数据片新建为临时数据单元；第二种情况数据片不是一个周期的第一个数据片，则将该数据片聚合到临时数据单元；第三种情况数据片是一个周期的最后一个数据片，则将该数据片聚合到临时数据单元后，临时数据单元就是一个完整周期对应的数据单元。对于单个数据片而言并不是只会发生其中之一的情况，如果单个数据片的长度刚好是一个周期的长度，那么第一种情况和第三种情况对于该数据片都会发生；如果单个数据片刚好是周期的最后一个数据片，那么第二种情况和第三种情况对于该数据片都会发生。数据片的开始时间和结束时间以及一个周期的开始时间和结束时间的判断是比较简单。例如以1小时作为周期，以整点作为一个周期的开始时间，那么一个周期的时段为aa:00:00～aa:59:59,对应的，开始时间为aa:00:00的数据片即为该周期的第一个数据片，结束时间为aa:59:59的数据片即为该周期的最后一个数据片。
对于一般的基于时序的数值类的数据，聚合的过程其实就是一个累加的过程，根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
步骤S205：根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息。
存储所述数据单元的存储文件包括数据区、索引区和文件头。所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引，例如设置为日时间索引和月时间索引两级。所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
步骤S206：确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息。
为了实现快速统计和检索，对于每一个常规的统计时段，在该统计时段结束时，即先生成该统计时段的基本汇总信息，下级的基本汇总信息也是上级时间片段中数据存储的基本元素。在本方案中，以1小时为一个周期，一般而言，再上一级的统计时段就是天，所以日数据片段中存储的数据除了24个周期的数据单元对应的数据，还包括对该24个数据单元进行初步统计得到的汇总信息。
步骤S207：确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息。
所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
将每个日数据片段中的汇总信息抽取出来作为月数据片段中的数据内容，对应的，每个月的最后一天也会产生月汇总信息，通过索引信息可以实现所有数据的快速定位，进行检索。
请参考图6，其是本实施例中数据存储的过程示意图，其基于人流量数据实现，统计的基本参数为进入人数和离开人数，数据单元的周期为1小时。如图所示，在具体的统计过程中，外部数据可能会不定期产生，某一个时间段内可能会产生多个，从而导致缓存中可能会有如图6的最上方所示的多个数据片，如果将这些数据片采用如图3所示的方式直接有序存储，会导致硬盘中有很多零碎数据，如果需要检索报表，需要对所有的数据片进行检索并进行统计，效率较低，直接影响用户体验。本发明中采用的方案是基于预设的周期先将每个周期内的数据片进行聚合，具体到图6中就是将一个小时内的数据片中记录的进入人数和离开人数分别相加聚合得到数据单元中的数据，数据片和数据单元中记录的实际是同一类数据，只是对应的时间范围不同。
通过上述的聚合，属于同一小时的数据只需要一个数据单元保存，从而达到了数据压缩的目的，减少了数据碎片，控制了片段索引的数量。如果按小时聚合信息，一天产生24个数据单元。如果根据数据单元进行存储，一天24个数据单元，一年如果按365天统计，则将记录8760个数据单元。以年报表进行检索，首先需要检索8760个数据单元，然后还需要对这些数据单元进行计算，最后得到该年每个月的汇总信息。
这种存储方式下检索效率较之图3中的方案有所提高，但仍达不到实时检索的要求，为进一步提高检索效率。将每一小时的数据单元进行二次聚合得到日片段；如图6所示，每个数据单元中的数据存入日数据片段中，一个完整的日数据片段包括24个数据单元和一个汇总信息，同一天的小时单元信息聚合在一起，形成日数据片段，而日数据片段作为当天数据单元的容器，负责存储该天所有数据单元，将数据单元按天进行归档。以上方式存储，一年如果按365天统计，则将记录365个日片段，较8760个片段而言，检索命中率已经有了20倍以上的提升。基于报表应用场景，在检测实时数据时，在每一天的结束时，对该天所有的数据单元进行汇总得到每天的汇总信息，并在每一个月的最后一天结束时对这个月每天的汇总信息进行统计并汇总成月数据片段。月数据片段并不是日数据片段的集合，而是逐一记录该月每天的日汇总信息，并基于所有的日汇总信息得到月汇总信息，在数据检测时实时动态地计算，这样避免了在检索时，对数据的计算，尤其在嵌入式平台上计算比较占用CPU资源。在图6中，其示意的是一月份的月数据片段，那么在一月份的月数据片段中包含该月31天每天的日汇总信息以及该月的月汇总信息。
数据的记录通常是以文件的方式进行体现，为了保证数据的私密性，在将日数据片段和月数据片段存入存储区时，本方案采用了特定的文件格式。
如图6所示，文件中包含数据区、索引区和文件头。数据区主要用于存储具体数据信息，数据片段分为日数据片段和月数据片段，每一天将产生一个日数据片段，每一个月末将产生一个月数据片段，此处数据片段是数据的集合，即将属于同一天的小时的数据单元聚合形成日数据片段，将属于同一月的日汇总信息聚合形成月数据片段，可以理解为是信息的一种归档形式。
索引区用于存储数据区每一个数据片段具体的位置等信息，即片段索引，其与具体数据片段一一对应，记录一个日数据片段则同时会记录一个日片段索引，用于定位对应的日数据片段；记录一个月数据片段则同时会记录一个月片段索引，用于定位对应的月数据片段，对于数据片段的检索，实质是对片段索引的检索，然后通过片段索引进行数据定位，可以理解为片段索引为目录，而片段信息则是数据片段具体内容。
文件头主要用于记录文件的版本号、文件的创建时间、片段索引数等。文件头存储在文件末端的固定位置，索引区由文件头结束位置反向存储，数据区由前往后正向存储。
单个日数据片段中的数据单元通过信息偏移量进行索引，即前一个数据单元记录下一个数据单元的信息偏移量，实现具体的数据单元之间的定位和信息扩展。月片段数据中记录的该月每天的汇总信息同样采用信息偏移量的方式进行前后关联。
通过上述存储方式，从提高检索的命中率和降低检索的计算两方面提高了数据检索的效率，从而满足了嵌入式平台下对数据检索的实时性。
基于上述数据缓存、聚合及存储技术，数据基于时序进行存储。以一年的信息为例，数据片段的数量通常情况下仅365日数据片段和12月数据片段，相比原方案的3.5万个片段，仅片段数量压缩约92倍。并且每个片段之间的逻辑关系清晰，对于信息的检索大大提高了命中率，对于数据的统计很少有额外的计算。
例如需要搜索2014年1月的数据，首先在文件头读取文件相关信息判断要搜索的数据是否在该文件，如果是则在索引区搜索到1月的索引信息，通过索引信息定位数据区中1月的月数据片段，将其顺序读取，即可获取1月每一天的汇总信息。如果需要具体到每一天的数据，则通过这一天的索引信息即可实现快速定位，定位过程如图7所示。
当月片段不存在(异常情况下)，快速搜索将切换到降级搜索，对属于该月的所有的日数据片段进行读取，如图7所示，如果1月的月片段数据不存在，则根据每一天的索引信息读取每一天的日数据片段，日片段数据中存有每一天的汇总信息，将每一天的汇总信息进行累加即可得到该月31天的汇总信息。
基于上述的日数据片段和月数据片段，可以进一步衍生出日报表、周报表、月报表和年报表，各种报表选择对应的日数据片段或月数据片段进行统计即可。
在本实施例中，为了说明方便，采用的是日时间索引和日时间索引的两级索引方式，在实际应用过程中，针对具体的应用场景需求，可以设置其他的时间索引方式，例如日、旬、季度的三级索引方式；对数据的处理过程也可针对科学实验中的数据记录等。
综上所述，通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。独立设计的文件格式保证了数据的快速存储，减少了存储空间的浪费，同时增强了数据的私密性。
以下是本发明具体实施方式中提供的一种数据存储的装置的实施例，数据存储的装置的实施例基于上述的数据存储的方法的实施例实现，在数据存储的装置的实施例中未尽的阐述，请参考上述的数据存储的方法的实施例。
请参考图8，其是本发明具体实施方式中提供的一种数据存储的装置的第一实施例的结构方框图，如图所示，该装置，包括：
数据缓存模块310，用于缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
周期聚合模块320，用于根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
数据写入模块330，用于将所述数据单元写入存储区；
节点汇总模块340，用于确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
为了确保本装置的设计有效实现，特别在嵌入式平台中，从硬件框架的角度而言，为了承载装置中的上述各模块，降低对***的负荷，保证数据处理及存储的实时性。硬件的***框架采用角色分工，主要包括监听者、派发者和执行者。监听者监听来自数据采集端(例如IPC)的数据片，并将数据片***缓存的源信息链表，自动压缩数据并定周期写入已处理数据链表，等待派发者派发。派发者观察已处理数据链表，如果有适合写入的数据，则启动执行者执行数据的写入。执行者负责向存储区写入数据。
一般而言，因为NVR***资源较为紧张，监听者和派发者都分别启动1个线程，而执行者可以启动多个线程进行快速执行派发者派发的命令。
通过以上技术方案，在嵌入式平台资源有限的情况下，使用数据缓存及聚合的方法，在合理的***框架中得以实现，并分别以日、周、月、年报表，进行实际检索测试，检索效率已达预期的秒级响应。
综上所述，上述各单元的协同工作，通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。
请参考图9，其是本发明具体实施方式中提供的一种数据存储的装置的第二实施例的结构方框图，如图所示，该装置，包括：
数据缓存模块310，用于缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
周期聚合模块320，用于根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
数据写入模块330，用于将所述数据单元写入存储区；
节点汇总模块340，用于确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
其中，所述周期聚合模块320，包括：
起始子模块321，用于若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元；
聚合子模块322，用于若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元；
完成子模块323，用于若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
其中，所述数据片中的数据为基于时序的统计数据；
所述周期聚合模块320，具体用于：
根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
其中，所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引。
其中，存储所述数据单元的存储文件包括数据区、索引区和文件头，所述时间索引包括日时间索引和月时间索引；
所述数据写入模块330，具体用于：
根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；，将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息；
所述节点汇总模块340，包括：
第一汇总子模块341，用于确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息；
第二汇总子模块342，用于确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息；
其中，所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
其中，所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
综上所述，上述功能模块的协同合作，通过在缓存中将琐碎的数据进行聚合后得到满足预设的索引规则的数据单元，将数据单元按时序存入存储区域，在存储区域中为每个数据单元生成对应的各级索引信息，减少琐碎数据单个存储对硬盘造成的频繁访问，依时序存入的数据单元和对应产生的索引信息使得后续检索快速高效。独立设计的文件格式保证了数据的快速存储，减少了存储空间的浪费，同时增强了数据的私密性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
尽管已经详细描述了本发明的实施方式，但是应该理解的是，在不偏离本发明的精神和范围的情况下，可以对本发明的实施方式做出各种改变、替换和变更。
Claims (12)
1.一种数据存储的方法，其特征在于，包括：
缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
将所述数据单元写入存储区；
确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
2.根据权利要求1所述的一种数据存储的方法，其特征在于，所述根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元，包括：
若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元；
若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元；
若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
3.根据权利要求1所述的一种数据存储的方法，其特征在于，所述数据片中的数据为基于时序的统计数据；
所述根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元，具体为：
根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
4.根据权利要求1所述的一种数据存储的方法，其特征在于，所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引。
5.根据权利要求4所述的一种数据存储的方法，其特征在于，存储所述数据单元的存储文件包括数据区、索引区和文件头，所述时间索引包括日时间索引和月时间索引；
所述将所述数据单元写入存储区，具体为：
根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息；
所述确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息，包括：
确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息；
确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息；
其中，所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
6.根据权利要求5所述的一种数据存储的方法，其特征在于，所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
7.一种数据存储的装置，其特征在于，包括：
数据缓存模块，用于缓存数据片，记录所述数据片的开始时间和结束时间，单个所述数据片的数据属于同一周期；
周期聚合模块，用于根据所述开始时间和结束时间聚合一个完整周期内的数据片得到数据单元；
数据写入模块，用于将所述数据单元写入存储区；
节点汇总模块，用于确认所述数据单元的最后一个数据片的结束时间是时间索引节点，添加该时间索引节点关联的各级时间索引的索引信息和对应的时间段的汇总信息。
8.根据权利要求7所述的一种数据存储的装置，其特征在于，所述周期聚合模块，包括：
起始子模块，用于若最新缓存的数据片的开始时间为周期的开始时间，将最新缓存的数据片新建为临时数据单元；
聚合子模块，用于若最新缓存的数据片的开始时间不为周期的开始时间，将最新缓存的数据片聚合到临时数据单元；
完成子模块，用于若最新缓存的数据片的结束时间为周期的结束时间，所述临时数据单元即为一个完整周期对应的数据单元。
9.根据权利要求7所述的一种数据存储的装置，其特征在于，所述数据片中的数据为基于时序的统计数据；
所述周期聚合模块，具体用于：
根据所述开始时间和结束时间，将一个完整周期内的数据片中对应的数据累加得到数据单元。
10.根据权利要求7所述的一种数据存储的装置，其特征在于，所述聚合包括至少两级聚合，所述时间索引对应所述聚合包括至少两级时间索引。
11.根据权利要求10所述的一种数据存储的装置，其特征在于，存储所述数据单元的存储文件包括数据区、索引区和文件头，所述时间索引包括日时间索引和月时间索引；
所述数据写入模块，具体用于：
根据所述数据单元对应的开始时间、结束时间和所述索引区记录的当前数据片段的存储位置；将所述数据单元写入数据区中已有的日数据片段，或添加日数据片段后写入添加的日数据片段，添加指向添加的日数据片段的索引信息；
所述节点汇总模块，包括：
第一汇总子模块，用于确认所述数据单元的最后一个数据片的结束时间是日时间索引节点，在所述日数据片段中添加该时间片段中所有数据单元的汇总信息；
第二汇总子模块，用于确认所述数据单元的最后一个数据片的结束时间是月时间索引节点；添加月数据片段，所述月数据片段中记录该月每天的汇总信息和该月的汇总信息；添加指向该月数据片段的索引信息；
其中，所述索引信息根据添加时序从后往前依次存储于所述索引区；所述日数据片段和月数据片段根据添加时序从前往后依次存储于所述数据区。
12.根据权利要求11所述的一种数据存储的装置，其特征在于，所述文件头记录有存储文件的片段数、起始片段的索引位置、文件的整体开始时间、文件的整体结束时间和文件的版本号。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2015101028390 | 2015-03-09 | ||
| CN201510102839 | 2015-03-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106033324A true CN106033324A (zh) | 2016-10-19 |
| CN106033324B CN106033324B (zh) | 2020-03-06 |
Family
ID=57149126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510125757.8A Active CN106033324B (zh) | 2015-03-09 | 2015-03-20 | 一种数据存储的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106033324B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106998436A (zh) * | 2017-03-24 | 2017-08-01 | 浙江宇视科技有限公司 | 录像备份方法及装置 |
| CN108183904A (zh) * | 2017-12-29 | 2018-06-19 | 金华芒果信息技术有限公司 | 移动数据实时监控方法、构架***及装置 |
| CN108228479A (zh) * | 2018-01-29 | 2018-06-29 | 深圳市泰比特科技有限公司 | 一种嵌入式flash数据存储方法及*** |
| CN108345427A (zh) * | 2017-01-25 | 2018-07-31 | 杭州海康威视数字技术股份有限公司 | 一种硬盘数据存储方法及装置 |
| CN108446399A (zh) * | 2018-03-29 | 2018-08-24 | 重庆大学 | 一种结构化海量实时数据的动态存储优化方法 |
| CN112214493A (zh) * | 2020-10-20 | 2021-01-12 | 北京九思易自动化软件有限公司 | 一种历史记录存储方法、装置、电子设备以及存储介质 |
| CN112650756A (zh) * | 2020-12-29 | 2021-04-13 | 成都科来网络技术有限公司 | 一种基于时序数据的时间投影的索引方法及*** |
| CN113448997A (zh) * | 2021-06-22 | 2021-09-28 | 深信服科技股份有限公司 | 缓存处理方法、装置、电子设备和存储介质 |
| CN113468187A (zh) * | 2021-09-02 | 2021-10-01 | 太平金融科技服务(上海)有限公司深圳分公司 | 多方数据整合方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030110352A1 (en) * | 2001-12-12 | 2003-06-12 | Fujitsu Limited | Data storage apparatus that combines a group of continuous data series stored in buffer separately before storing in a recording medium |
| CN101354636A (zh) * | 2008-09-08 | 2009-01-28 | 创新科存储技术（深圳）有限公司 | 一种向磁盘阵列中写入数据的方法及*** |
| CN103607463A (zh) * | 2013-11-25 | 2014-02-26 | 中国电信集团***集成有限责任公司 | 定位数据存储***和存储方法 |
-
2015
- 2015-03-20 CN CN201510125757.8A patent/CN106033324B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030110352A1 (en) * | 2001-12-12 | 2003-06-12 | Fujitsu Limited | Data storage apparatus that combines a group of continuous data series stored in buffer separately before storing in a recording medium |
| CN101354636A (zh) * | 2008-09-08 | 2009-01-28 | 创新科存储技术（深圳）有限公司 | 一种向磁盘阵列中写入数据的方法及*** |
| CN103607463A (zh) * | 2013-11-25 | 2014-02-26 | 中国电信集团***集成有限责任公司 | 定位数据存储***和存储方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345427B (zh) * | 2017-01-25 | 2020-09-04 | 杭州海康威视数字技术股份有限公司 | 一种硬盘数据存储方法及装置 |
| CN108345427A (zh) * | 2017-01-25 | 2018-07-31 | 杭州海康威视数字技术股份有限公司 | 一种硬盘数据存储方法及装置 |
| CN106998436A (zh) * | 2017-03-24 | 2017-08-01 | 浙江宇视科技有限公司 | 录像备份方法及装置 |
| CN106998436B (zh) * | 2017-03-24 | 2020-09-01 | 浙江宇视科技有限公司 | 录像备份方法及装置 |
| CN108183904B (zh) * | 2017-12-29 | 2020-12-01 | 北京网高科技股份有限公司 | 移动数据实时监控方法、构架***及装置 |
| CN108183904A (zh) * | 2017-12-29 | 2018-06-19 | 金华芒果信息技术有限公司 | 移动数据实时监控方法、构架***及装置 |
| CN108228479A (zh) * | 2018-01-29 | 2018-06-29 | 深圳市泰比特科技有限公司 | 一种嵌入式flash数据存储方法及*** |
| CN108446399A (zh) * | 2018-03-29 | 2018-08-24 | 重庆大学 | 一种结构化海量实时数据的动态存储优化方法 |
| CN108446399B (zh) * | 2018-03-29 | 2021-07-30 | 重庆大学 | 一种结构化海量实时数据的动态存储优化方法 |
| CN112214493A (zh) * | 2020-10-20 | 2021-01-12 | 北京九思易自动化软件有限公司 | 一种历史记录存储方法、装置、电子设备以及存储介质 |
| CN112650756A (zh) * | 2020-12-29 | 2021-04-13 | 成都科来网络技术有限公司 | 一种基于时序数据的时间投影的索引方法及*** |
| CN113448997A (zh) * | 2021-06-22 | 2021-09-28 | 深信服科技股份有限公司 | 缓存处理方法、装置、电子设备和存储介质 |
| CN113468187A (zh) * | 2021-09-02 | 2021-10-01 | 太平金融科技服务(上海)有限公司深圳分公司 | 多方数据整合方法、装置、计算机设备和存储介质 |
| CN113468187B (zh) * | 2021-09-02 | 2021-11-23 | 太平金融科技服务(上海)有限公司深圳分公司 | 多方数据整合方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106033324B (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106033324A (zh) | 一种数据存储的方法和装置 | |
| CN103593376B (zh) | 一种采集用户行为数据的方法及装置 | |
| US9934233B2 (en) | Searchable data archive | |
| CN101216821B (zh) | 数据采集***的存储管理方法 | |
| CN106327055B (zh) | 一种基于大数据技术的电力费控方法及*** | |
| CN102065283B (zh) | 一种视频监控数据存储管理方法及其装置 | |
| US20210333994A1 (en) | Method for aggregation optimization of time series data | |
| US20160174156A1 (en) | Method and device for pushing information | |
| CN104112010B (zh) | 一种数据存储方法及装置 | |
| CN111371672B (zh) | 消息推送方法及装置 | |
| US20220075791A1 (en) | Storing data items and identifying stored data items | |
| CN107491549A (zh) | 一种数据处理方法及*** | |
| CN103678314B (zh) | 基于关联规则提取的海量数据处理***、设备及方法 | |
| CN103297431A (zh) | 一种基于云服务器群的流媒体视频点播副本混合缓存策略 | |
| CN115408149A (zh) | 一种时序存储引擎内存设计及分配方法及装置 | |
| CN111125109A (zh) | 一种基于时间分组累计算法的实时统计报表*** | |
| CN110955639A (zh) | 一种数据处理方法及装置 | |
| CN103761194B (zh) | 一种内存管理方法及装置 | |
| CN104811349A (zh) | 一种访问统计的方法和装置 | |
| CN110765221A (zh) | 时空轨迹数据的管理方法和装置 | |
| CN111913913A (zh) | 访问请求的处理方法和装置 | |
| CN106156122B (zh) | 交易信息获取方法及装置 | |
| US10956369B1 (en) | Data aggregations in a distributed environment | |
| US20210318809A1 (en) | Data reconstruction method, apparatus, electronic device, and storage medium | |
| CN106998436B (zh) | 录像备份方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |