CN105574201B - 基于实时采集数据特征的数据格式化和文件存储方法 - Google Patents

基于实时采集数据特征的数据格式化和文件存储方法 Download PDF

Info

Publication number
CN105574201B
CN105574201B CN201610005184.XA CN201610005184A CN105574201B CN 105574201 B CN105574201 B CN 105574201B CN 201610005184 A CN201610005184 A CN 201610005184A CN 105574201 B CN105574201 B CN 105574201B
Authority
CN
China
Prior art keywords
data
acquisition
record
storage
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610005184.XA
Other languages
English (en)
Other versions
CN105574201A (zh
Inventor
刘晓峰
胡恩华
魏盛昕
周星宇
连爱娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shentong Metro Group Co., Ltd.
Casco Signal Ltd
Original Assignee
SHANGHAI SHENTONG METRO GROUP CO Ltd
Casco Signal Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI SHENTONG METRO GROUP CO Ltd, Casco Signal Ltd filed Critical SHANGHAI SHENTONG METRO GROUP CO Ltd
Priority to CN201610005184.XA priority Critical patent/CN105574201B/zh
Publication of CN105574201A publication Critical patent/CN105574201A/zh
Priority to HK16111073.9A priority patent/HK1222929A1/zh
Application granted granted Critical
Publication of CN105574201B publication Critical patent/CN105574201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G06F16/1794—Details of file format conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于实时采集数据特征的数据格式化和文件存储方法，包括以下步骤：(1)基于采集数据特征建立统一的数据存储规范；(2)基于时间分段方式建立采集数据格式化机制；(3)基于文件分块和多级索引建立采集数据读写管理机制；(4)建立采集数据读写的事务机制；(5)统一各种采集数据的数据访问接口。与现有技术相比，本发明具有统一各种采集数据的存取方式；并通过减少存储文件数量、降低存储空间开销、减少***IO消耗等措施提高数据存取的性能；同时增加了历史数据保存的时间长度，从而提升***的整体可用性。

Description

基于实时采集数据特征的数据格式化和文件存储方法
技术领域
本发明涉及铁路信号***，尤其是涉及一种基于实时采集数据特征的数据格式化和文件存储方法，通过该方法统一了各类采集数据的存储和访问方式，减少存储文件数量和存储空间消耗，增加采集数据存储的历史时间长度，提高数据存储和查询性能，从而提升***的整体可用性。
背景技术
采集数据存储是监测类***的基础功能，传统的采集数据存储方法对各种采集数据采用不同的处理方式，导致采集数据访问方式不统一，增加了***上层开发的难度和成本；另外传统数据存储方法针对高频度大量采集数据采用按时间或数据标识划分文件的方式，使数据文件数量过多、磁盘碎片不断增加最终导致***性能下降；同时传统数据存储方法采用无差别全记录方式，即使在采集数据没有变化的情况时也花费大量存储空间，导致无法长时间存储历史数据。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于铁路信号集中监测***、地铁维护支持***、铁路信号综合运维***的基于实时采集数据特征的数据格式化和文件存储方法。
本发明的目的可以通过以下技术方案来实现：
一种基于实时采集数据特征的数据格式化和文件存储方法，其特征在于，包括以下步骤：
(1)基于采集数据特征建立统一的数据存储规范；
(2)基于时间分段方式建立采集数据格式化机制；
(3)基于文件分块和多级索引建立采集数据读写管理机制；
(4)建立采集数据读写的事务机制；
(5)统一各种采集数据的数据访问接口。
所述的基于采集数据特征建立统一的数据存储规范具体为：
根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式。
所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义：
101)定义采集数据记录的时间格式：采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；
102)定义采集数据记录的内容格式：采集数据存储底层只需记录采集数据的二进制内容和数据长度；
103)定义连续采集数据记录间关联：当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。
所述的基于时间分段方式建立采集数据格式化机制具体为：
根据采集数据存储规范，将时间分段内的采集数据存储内容转换为统一的二进制存储记录，同时根据连续采集数据记录之间的关联关系进行数据压缩，有效减少数据存储空间。
所述的将时间分段内的采集数据存储内容转换为统一的二进制存储记录，其转换时具体场景为：
201)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
202)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
203)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。
所述的数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。
所述的基于文件分块和多级索引建立采集数据读写管理机制为：
对采集数据文件的存储区域实施分块管理，同时在同一文件内对本文件存储的采集数据按类型和采集时间建立索引，实现灵活的数据存储、数据查询、数据清除、空间扩展机制。
所述的实现灵活的数据存储、数据查询、数据清除、空间扩展机制，具体包括：
301)文件主体数据存储区域划分为相同大小的多个文件块并以“链式”结构组织，文件管理数据存储区域记录文件块的使用信息；
302)对数据存储单元按时间和存储类型建立索引，索引记录中包含数据存储单元的记录时间、记录大小、所使用的文件块标识、文件块内的偏移位置；
303)数据存储时基于文件块申请机制，在当前分配的数据文件块的指定位置存储数据存储单元内容并在当前分配的索引文件块的指定位置存储索引内容；数据查询时基于索引信息，根据查询时间定位数据存储单元所在数据文件块并快速查询数据内容；数据清除时基于文件块回收机制，根据索引信息将不再使用的数据文件块回收并可重新投入使用；
304)文件块数目不足时，基于文件块扩展机制对文件进行在线扩展，新扩展区域按既有文件块大小继续划分文件块并进行统一管理。
所述的建立采集数据读写的事务机制具体为：
数据读写过程中在内存里统一维护涉及的关键数据，并实现关键数据写入到磁盘的原子性，保证整个数据读写过程的一致性和持续性。
所述的统一各种采集数据的数据访问接口，包括数据存储接口、按时间段数据查询接口、按时间点数据查询接口、按时间点数据清除接口，形成规范化的外部访问方式。
所述的采集数据包括开关量采集数据、多状态量采集数据、模拟量采集数据、曲线类采集数据、道岔缺口图像数据。
与现有技术相比，本发明具有统一各种采集数据的存取方式；并通过减少存储文件数量、降低存储空间开销、减少***IO消耗等措施提高数据存取的性能；同时增加了历史数据保存的时间长度，从而提升***的整体可用性。
附图说明
图1是本发明中对于采集数据格式化的说明示意图；
图2是本发明中对于文件分块和多级索引的说明示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
1、基于采集数据特征建立统一的数据存储规范
建立统一的数据存储规范是采集数据统一存储方法的基础。数据存储规范中屏蔽各类采集数据的业务差别，从数据时间、数据内容、数据关联等角度对采集数据格式进行统一定义：
(1)定义采集数据记录的时间格式。采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求。
(2)定义采集数据记录的内容格式。采集数据存储底层无需关心具体数据的业务含义，只需记录采集数据的二进制内容和数据长度。
(3)定义连续采集数据记录间关联。当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。
2、基于时间分段方式实现采集数据格式化机制
根据前述的统一的数据存储和数据压缩规范，将实时采集数据按时间分段并转换为符合规范的数据存储单元。转换时具体场景如下：
(1)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储。
(2)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储。
(3)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。
数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。数据存储单元存储时其关键信息也做持久化处理，包括：
(1)数据存储单元内数据记录条数。
(2)数据存储单元内首数据记录时间。
(3)数据存储单元整体数据长度。
(4)数据存储单元内存在多条记录时，每条记录的时间和数据长度。
3、基于文件分块和多级索引实现采集数据读写管理机制
基于文件分块和多级索引实现灵活的数据存储、数据查询、数据清除、文件扩展。具体方法如下：
(1)文件主体数据存储区域划分为相同大小的多个文件块并以“链式”结构组织，文件管理数据存储区域记录文件块的使用信息，依此实现文件块申请、文件块扩展、文件块回收等机制。
(2)对数据存储单元按时间和存储类型建立索引，索引记录中包含数据存储单元的记录时间、记录大小、所使用的文件块标识、文件块内的偏移位置。索引记录使用独立的文件块存储，实现索引和数据的分离。
(3)数据存储时基于文件块申请机制，在当前分配的数据文件块的指定位置存储数据存储单元内容并在当前分配的索引文件块的指定位置存储索引内容；数据查询时基于索引信息，根据查询时间定位数据存储单元所在数据文件块并快速查询数据内容；数据清除时基于文件块回收机制，根据索引信息将不再使用的数据文件块回收并可重新投入使用。
(4)文件块数目不足时，基于文件块扩展机制对文件进行在线扩展，新扩展区域按既有文件块大小继续划分文件块并进行统一管理。
4、实现采集数据读写的事务机制
数据读写过程中在内存里统一维护涉及的关键数据，包括以下内容：
(1)读写过程涉及的数据类型对应的索引文件块关键信息：当前索引文件块标识。
(2)读写过程涉及的数据类型对应的数据文件块关键信息：当前数据文件块标识和当前数据文件块最后一条记录位置。
(3)当前索引文件块的关键使用信息：块内记录数、块内第一条索引记录对应的数据记录时间、块内最后一条索引记录对应的数据记录时间。
上述关键数据保证文件中数据存储和数据索引的逻辑一致性，通过实现关键数据写入磁盘过程的原子性从而保证整个写过程的事务性。关键步骤如下：
(1)对关键数据进行备份。
(2)写入主体数据(索引记录和数据存储单元记录)。主体数据写入正常完成后在内存中更新写过程中涉及的关键数据；如主体数据写入未能正常完成，则本次写入过程无效，内存中关键数据保持前次写过程正常完成后的状态。
(3)写入关键数据，通过标识置位和清除方法判断写入过程是否正常完成。如果关键数据写入正常完成，则本次写过程有效；如果关键数据写入没有正常完成，本次写过程无效。从备份数据中恢复之前的关键数据，回滚到前次写过程正常完成后状态。
5、实现统一的采集数据访问接口
统一的采集数据访问接口包括：
(1)数据存储：按数据类型提交统一格式的数据存储单元。
(2)按时间段查询数据：按数据类型和指定的开始时间和结束时间查询符合条件的所有数据存储单元，通过数据存储单元获取具体的采集数据内容。
(3)按时间点查询数据：按数据类型和指定查询点查询符合条件的数据存储单元，通过数据存储单元获取具体的采集数据内容。
(4)按时间点清除数据：按数据类型和指定时间点清除历史数据。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于实时采集数据特征的文件存储方法，其特征在于，包括以下步骤：
(1)基于采集数据特征建立统一的数据存储规范；
(2)基于时间分段方式建立采集数据格式化机制；
(3)基于文件分块和多级索引建立采集数据读写管理机制；
(4)建立采集数据读写的事务机制；
(5)统一各种采集数据的数据访问接口；
所述的基于采集数据特征建立统一的数据存储规范具体为：
根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式；
所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义：
101)定义采集数据记录的时间格式：采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；
102)定义采集数据记录的内容格式：采集数据存储底层只需记录采集数据的二进制内容和数据长度；
103)定义连续采集数据记录间关联：当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。
2.根据权利要求1所述的文件存储方法，其特征在于，所述的基于时间分段方式建立采集数据格式化机制具体为：
根据采集数据存储规范，将时间分段内的采集数据存储内容转换为统一的二进制存储记录，同时根据连续采集数据记录之间的关联关系进行数据压缩，有效减少数据存储空间。
3.根据权利要求2所述的文件存储方法，其特征在于，所述的将时间分段内的采集数据存储内容转换为统一的二进制存储记录，其转换时具体场景为：
201)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
202)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
203)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。
4.根据权利要求3所述的文件存储方法，其特征在于，所述的数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。
5.根据权利要求1所述的文件存储方法，其特征在于，所述的基于文件分块和多级索引建立采集数据读写管理机制为：
对采集数据文件的存储区域实施分块管理，同时在同一文件内对本文件存储的采集数据按类型和采集时间建立索引，实现灵活的数据存储、数据查询、数据清除、空间扩展机制。
6.根据权利要求5所述的文件存储方法，其特征在于，所述的实现灵活的数据存储、数据查询、数据清除、空间扩展机制，具体包括：
301)文件主体数据存储区域划分为相同大小的多个文件块并以“链式”结构组织，文件管理数据存储区域记录文件块的使用信息；
302)对数据存储单元按时间和存储类型建立索引，索引记录中包含数据存储单元的记录时间、记录大小、所使用的文件块标识、文件块内的偏移位置；
303)数据存储时基于文件块申请机制，在当前分配的数据文件块的指定位置存储数据存储单元内容并在当前分配的索引文件块的指定位置存储索引内容；数据查询时基于索引信息，根据查询时间定位数据存储单元所在数据文件块并快速查询数据内容；数据清除时基于文件块回收机制，根据索引信息将不再使用的数据文件块回收并可重新投入使用；
304)文件块数目不足时，基于文件块扩展机制对文件进行在线扩展，新扩展区域按既有文件块大小继续划分文件块并进行统一管理。
7.根据权利要求1所述的文件存储方法，其特征在于，所述的建立采集数据读写的事务机制具体为：
数据读写过程中在内存里统一维护涉及的关键数据，并实现关键数据写入到磁盘的原子性，保证整个数据读写过程的一致性和持续性。
8.根据权利要求1所述的文件存储方法，其特征在于，所述的统一各种采集数据的数据访问接口，包括数据存储接口、按时间段数据查询接口、按时间点数据查询接口、按时间点数据清除接口，形成规范化的外部访问方式。
CN201610005184.XA 2016-01-05 2016-01-05 基于实时采集数据特征的数据格式化和文件存储方法 Active CN105574201B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610005184.XA CN105574201B (zh) 2016-01-05 2016-01-05 基于实时采集数据特征的数据格式化和文件存储方法
HK16111073.9A HK1222929A1 (zh) 2016-01-05 2016-09-21 基於實時採集數據特徵的數據格式化和文件存儲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610005184.XA CN105574201B (zh) 2016-01-05 2016-01-05 基于实时采集数据特征的数据格式化和文件存储方法

Publications (2)

Publication Number Publication Date
CN105574201A CN105574201A (zh) 2016-05-11
CN105574201B true CN105574201B (zh) 2019-05-31

Family

ID=55884332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610005184.XA Active CN105574201B (zh) 2016-01-05 2016-01-05 基于实时采集数据特征的数据格式化和文件存储方法

Country Status (2)

Country Link
CN (1) CN105574201B (zh)
HK (1) HK1222929A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199970A (zh) * 2016-08-30 2016-12-07 北京乐动卓越科技有限公司 一种头戴设备的防疲劳方法和***
CN109542059B (zh) * 2018-11-19 2022-04-01 国核自仪***工程有限公司 历史数据压缩装置和方法
CN109783487A (zh) * 2018-12-07 2019-05-21 广州经传多赢投资咨询有限公司 证券数据的存储方法
CN114546268B (zh) * 2022-02-15 2024-04-19 淮北鹏顺信息科技有限公司 一种大数据场景下的数据信息存储***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127454A (zh) * 2006-08-18 2008-02-20 北京国智恒电力管理科技有限公司 电力监管信息安全接入设备
CN104166862A (zh) * 2013-05-16 2014-11-26 中国科学院信息工程研究所 一种基于有源和无源的rfid数据采集和监控的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087752A1 (en) * 2000-12-28 2002-07-04 Connor Patrick L. Method of real time statistical collection for I/O controllers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127454A (zh) * 2006-08-18 2008-02-20 北京国智恒电力管理科技有限公司 电力监管信息安全接入设备
CN104166862A (zh) * 2013-05-16 2014-11-26 中国科学院信息工程研究所 一种基于有源和无源的rfid数据采集和监控的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
传感网异构数据采集及数据融合技术的研究与实现;王金萍;《中国优秀硕士学位论文 信息科技辑》;20130615(第06期);摘要、正文第26-27，47页

Also Published As

Publication number Publication date
CN105574201A (zh) 2016-05-11
HK1222929A1 (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106548789B (zh) 用于操作叠瓦式磁记录设备的方法和装置
CN105574201B (zh) 基于实时采集数据特征的数据格式化和文件存储方法
CN105335098B (zh) 一种基于存储级内存的日志文件***性能提高方法
US8521986B2 (en) Allocating storage memory based on future file size or use estimates
US9355112B1 (en) Optimizing compression based on data activity
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN102968422B (zh) 流数据存储控制***及其方法
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN107798130A (zh) 一种分布式存储的快照方法
CN108763531B (zh) 一种mdvr文件存储***及其运行方法
CN106201355A (zh) 数据处理方法和装置以及存储***
CN101122924A (zh) 逻辑日志生成方法、数据库备份/恢复方法与***
CN107463447A (zh) 一种基于远程直接非易失内存访问的b+树管理方法
CN103927251A (zh) 一种嵌入式***的日志管理方法
CN106951375A (zh) 在存储***中删除快照卷的方法及装置
CN103164528B (zh) 一种音视频数据的索引建立方法
CN104268088A (zh) 车载dvr硬盘数据存储方法
CN103812934B (zh) 基于云存储***的遥感数据发布方法
CN101206595A (zh) 以快照指针进行磁盘快照的方法
CN104050057B (zh) 一种历史感知的数据去重碎片消除方法与***
CN107506466B (zh) 一种小文件存储方法及***
CN109213898A (zh) 视频监控***的录像检索方法及装置
CN105183949A (zh) 一种铁路主数据的清洗方法及***
CN100543748C (zh) 一种利用文件分配表进行文件寻道的方法及***
CN102855391A (zh) 一种ems多专业数据全息存储及全景事故反演方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1222929

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180515

Address after: 200070 C/D room 27, Triumphal Arch tower, 428 Tianmu Middle Road, Zhabei District, Shanghai.

Applicant after: Casco Signal Ltd.

Applicant after: Shanghai Shentong Metro Group Co., Ltd.

Address before: 200070 C/D room 27, Triumphal Arch tower, 428 Tianmu Middle Road, Zhabei District, Shanghai.

Applicant before: Casco Signal Ltd.

GR01 Patent grant
GR01 Patent grant