CN109492425A - 一种在分布式文件***上的worm技术应用方法 - Google Patents

一种在分布式文件***上的worm技术应用方法 Download PDF

Info

Publication number
CN109492425A
CN109492425A CN201811156218.0A CN201811156218A CN109492425A CN 109492425 A CN109492425 A CN 109492425A CN 201811156218 A CN201811156218 A CN 201811156218A CN 109492425 A CN109492425 A CN 109492425A
Authority
CN
China
Prior art keywords
worm
logical volume
file
distributed
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811156218.0A
Other languages
English (en)
Other versions
CN109492425B (zh
Inventor
王志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing China Railway Information Engineering Co Ltd
Original Assignee
Nanjing China Railway Information Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing China Railway Information Engineering Co Ltd filed Critical Nanjing China Railway Information Engineering Co Ltd
Priority to CN201811156218.0A priority Critical patent/CN109492425B/zh
Publication of CN109492425A publication Critical patent/CN109492425A/zh
Application granted granted Critical
Publication of CN109492425B publication Critical patent/CN109492425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供一种在分布式文件***上的worm技术应用方法,包括S1、通过分布式文件***的管理命令创建逻辑卷并通过创建数据结构类型,将该逻辑卷的信息维持在服务进程中;S2、通过分布式文件***的服务端对上述服务进程中信息主动生成该逻辑卷的配置文件并保存在分布式文件***的固定路径下;S3、通过执行分布式文件***的管理命令来实现对逻辑卷的worm配置;S4、通过分布式文件***的客户端,使用逻辑卷的挂载点来读写文件;S5、通过客户端收到该逻辑卷中的文件请求并将文件请求及所在逻辑卷转发给服务端等步骤,本发明架构合理、文件保护、使用方便、执行效率高和结合时间保护的在分布式文件***上的优点。

Description

一种在分布式文件***上的worm技术应用方法
技术领域
本发明属于计算机技术领域,具体涉及一种在分布式文件***上的worm技术应用方法。
背景技术
随着法制观念的逐渐普及,当前在大部分国家与地区,重要数据的归档准则都被严格定义,并且也是政府机关、医疗、金融、国防及其他相关部门所必须采取的措施。例如,医疗机构可能需要将病历记录保留半年甚至更久,并且能够随时查阅,以备意外之需;金融机构需要将财务与审计相关的档案保存甚至数年以上。新出台的政府法规以及不断增长的数据存储需求,使得企业与机构组织更加迫切的需要保证他们的业务信息被准备而有效的存档,这种需求导致了数据不仅要保留一定的期限,并且要保证数据在存储中的不可改变性,即一旦数据写入存储***,该数据就不能被覆盖,修改或删除。然而目前使用的存储***并不能更好的满足相关企业与组织的需求,或者是在其他的方面有所牺牲。概括的来讲,主要包括以下几种。
采用普通数据存储方式:这种方式使用最为常见,但并不能满足法律法规的要求,通常数据被存储在普通的存储介质上,无任何保护措施,数据可以被随意存取修改;或者会有指定的人员负责存取保护,但并不能防止意外造成的数据丢失,事实上,这样的事件时有发生,反应了数据安全级别仍然处于较低的水平。
采用存储厂家提供的符合法规遵从的存储产品:这种方式最为安全,但是现有的符合法规遵从的硬件存储产品价格过于昂贵,该种产品由特殊的读写设备及专有的存储介质构成,通过厂家指定的读写设备,对符合自身标准要求的存储介质进行读写,该存储介质具有一次写入的特点,通过介质的不可逆变化完成存储数据的保护,符合法律法规的要求。但由于这种解决方案需要投入资金配备额外的设备,因此不易被用户所接受。不仅设备成本高,并且使用繁琐、功能单一,存储空间可复用率低。
worm(Write Once Read Mamy)技术也称为一写多读技术,是指将数据一次性写入存储介质,数据能够多次读出,但不允许修改或删除,为重要数据提供了最安全的保证,是目前存储上最常用的数据安全访问和归档的方案,也是对上述需求的最好解决方案。
针对worm技术的应用,业界逐渐形成了一种实现方法:将文件被成功写入后,通过去掉文件的写权限,使其进入只读状态。在该状态下,文件只能被读取,无法被删除、修改或覆盖。通过配置worm功能对数据进行保护后,可以防止其被意外篡改或丢失,满足企业或组织对重要业务数据安全存储的需求。但这种方法存在一定的不足,如在视频监控领域,此时视频数据需要持久的写入,在数据写入的过程中,去掉文件的写权限操作无法执行;且大量视频文件要有时间保存期限,过期文件的处理也是一个尚需解决的问题,因此,现有的worm技术实现方案仍然存在的一些不足。
基于上述的各种不足,如果能采用某种worm的实现能对现有的普通存储设备进行有效利用,降低设备成本,并解决现有worm技术的不足和缺陷,使其符合法规遵从,是市场发展的必然需求,是非常有用的。
因此需要一种架构合理、文件保护、使用方便、执行效率高和结合时间保护的在分布式文件***上的worm技术应用方法。
发明内容
本发明的目的是提供一种在分布式文件***上的worm技术应用方法,以解决现有数据存储文件数据安全级别较低、设备投入使用繁琐、效率低和过期文件无法处理等问题。
本发明提供了如下的技术方案:
一种在分布式文件***上的worm技术应用方法,包括以下步骤:
S1、通过分布式文件***的管理命令创建逻辑卷并通过创建数据结构类型,将该逻辑卷的信息维持在服务进程中;
S2、通过分布式文件***的服务端对上述服务进程中信息主动生成该逻辑卷的配置文件并保存在分布式文件***的固定路径下;
S3、通过执行分布式文件***的管理命令来实现对逻辑卷的worm配置;
S4、通过分布式文件***的客户端,使用逻辑卷的挂载点来读写文件;
S5、通过客户端收到该逻辑卷中的文件请求并将文件请求及所在逻辑卷转发给服务端;
S6、通过服务端取服务进程中维持的该逻辑卷信息和文件请求,确定该文件的当前状态;
S7、通过该文件的当前状态判断逻辑卷的worm配置是否开启,
若是,则判断是否设置过期时间,
若是,则获取当前时间与文件最后一次修改时间并计算时间差,判断是否在过期时间范围内,
若是,则进入S8;
若否,则进入S9;
若否,则进入S8;
若否,则进入S10;
S8、文件处于worm保护状态,对文件请求进行分析并判断文件请求是否为写操作且并非以追加模式(O_APPEND)进行或为删除操作,
若是,则对于上述文件请求,服务端返回错误;
若否,则对于其他文件请求,进入S10;
S9、文件未处于worm保护状态,文件允许被执行任何操作;
S10、服务端将请求发送至对应存储设备进行操作,并返回执行结果。
优选的,所述S1中,逻辑卷的信息包括逻辑卷的状态和配置。
优选的,所述S3中,worm配置包括以下步骤:
S31、通过设置逻辑卷的features.worm字段来开启worm功能;
S32、通过设置逻辑卷的features.worm-period字段来配置过期时间并将更改信息写入至配置文件;
S33、features.worm字段配置项默认为off,当features.worm=on时,逻辑卷处于worm功能开启,逻辑卷中文件受到保护;
S34、features.worm-period当字段配置项默认为0,当features.worm-period=0时,过期时间未设置,该字段配置项单位为秒。
本发明的有益效果是:
本发明一种在分布式文件***上的worm技术应用方法基于分布式文件***下的客户端管理功能开发,通过对文件***中逻辑卷增加相关配置实现worm技术;与未应用worm技术相比,本技术方法为数据文件提供了较好的保护,即数据一旦写入成功,就无法再通过覆盖,删除等操作来对文件内容进行更改,满足了市场的相关需求;与其他worm技术实现方法相比,本技术方法是通过对文件所在逻辑卷进行worm功能的配置,预先对请求进行分类处理,实现对卷内文件内容的保护,由于减少了大量非必要的IO操作,在大量的文件操作请求下,具有执行效率高、使用方便的特点;在需要对受保护文件进行写入操作的应用场景下,例如监控视频文件的即时存储写入,其他worm技术实现方法不能较好的满足此类需求,本技术方法支持对文件进行追加写入,并且不会对已存在内容产生改变,能更好的满足业务的需求;相比于其他worm技术方案,本方法实现了过期时间配置,既在文件内容成功写入后,在一段时间内,文件均处于worm保护状态;而当文件超过过期时间后,可以被进行任意操作;满足了企业组织对重要文件数据的保存时间规定需求;由此可见,本发明方法与现有技术相比,具有突出的技术特点和显著的提升,对其实施的有益效果也是显而易见的
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明结构流程图;
图2是S3中worm配置流程图。
具体实施方式
如图1所示,一种在分布式文件***上的worm技术应用方法,包括以下步骤:
S1、通过分布式文件***的管理命令创建逻辑卷并通过创建数据结构类型,将该逻辑卷的信息维持在服务进程中;
S2、通过分布式文件***的服务端对上述服务进程中信息主动生成该逻辑卷的配置文件并保存在分布式文件***的固定路径下;
S3、通过执行分布式文件***的管理命令来实现对逻辑卷的worm配置;
S4、通过分布式文件***的客户端,使用逻辑卷的挂载点来读写文件;
S5、通过客户端收到该逻辑卷中的文件请求并将文件请求及所在逻辑卷转发给服务端;
S6、通过服务端取服务进程中维持的该逻辑卷信息和文件请求,确定该文件的当前状态;
S7、通过该文件的当前状态判断逻辑卷的worm配置是否开启,
若是,则判断是否设置过期时间,
若是,则获取当前时间与文件最后一次修改时间并计算时间差,判断是否在过期时间范围内,
若是,则进入S8;
若否,则进入S9;
若否,则进入S8;
若否,则进入S10;
S8、文件处于worm保护状态,对文件请求进行分析并判断文件请求是否为写操作且并非以追加模式(O_APPEND)进行或为删除操作,
若是,则对于上述文件请求,服务端返回错误;
若否,则对于其他文件请求,进入S10;
S9、文件未处于worm保护状态,文件允许被执行任何操作;
S10、服务端将请求发送至对应存储设备进行操作,并返回执行结果。
具体的,所述S1中,逻辑卷的信息包括逻辑卷的状态和配置。
具体的,如图2所示,所述S3中,worm配置包括以下步骤:
S31、通过设置逻辑卷的features.worm字段来开启worm功能;
S32、通过设置逻辑卷的features.worm-period字段来配置过期时间并将更改信息写入至配置文件;
S33、features.worm字段配置项默认为off,当features.worm=on时,逻辑卷处于worm功能开启,逻辑卷中文件受到保护;
S34、features.worm-period当字段配置项默认为0,当features.worm-period=0时,过期时间未设置,该字段配置项单位为秒。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种在分布式文件***上的worm技术应用方法,其特征在于,包括以下步骤:
S1、通过分布式文件***的管理命令创建逻辑卷并通过创建数据结构类型,将该逻辑卷的信息维持在服务进程中;
S2、通过分布式文件***的服务端对上述服务进程中信息主动生成该逻辑卷的配置文件并保存在分布式文件***的固定路径下;
S3、通过执行分布式文件***的管理命令来实现对逻辑卷的worm配置;
S4、通过分布式文件***的客户端,使用逻辑卷的挂载点来读写文件;
S5、通过客户端收到该逻辑卷中的文件请求并将文件请求及所在逻辑卷转发给服务端;
S6、通过服务端取服务进程中维持的该逻辑卷信息和文件请求,确定该文件的当前状态;
S7、通过该文件的当前状态判断逻辑卷的worm配置是否开启,
若是,则判断是否设置过期时间,
若是,则获取当前时间与文件最后一次修改时间并计算时间差,判断是否在过期时间范围内,
若是,则进入S8;
若否,则进入S9;
若否,则进入S8;
若否,则进入S10;
S8、文件处于worm保护状态,对文件请求进行分析并判断文件请求是否为写操作且并非以追加模式(O_APPEND)进行或为删除操作,
若是,则对于上述文件请求,服务端返回错误;
若否,则对于其他文件请求,进入S10;
S9、文件未处于worm保护状态,文件允许被执行任何操作;
S10、服务端将请求发送至对应存储设备进行操作,并返回执行结果。
2.根据权利要求1所述的一种在分布式文件***上的worm技术应用方法,其特征在于,所述S1中,逻辑卷的信息包括逻辑卷的状态和配置。
3.根据权利要求2所述的一种在分布式文件***上的worm技术应用方法,其特征在于,所述S3中,worm配置包括以下步骤:
S31、通过设置逻辑卷的features.worm字段来开启worm功能;
S32、通过设置逻辑卷的features.worm-period字段来配置过期时间并将更改信息写入至配置文件;
S33、features.worm字段配置项默认为off,当features.worm=on时,逻辑卷处于worm功能开启,逻辑卷中文件受到保护;
S34、features.worm-period当字段配置项默认为0,当features.worm-period=0时,过期时间未设置,该字段配置项单位为秒。
CN201811156218.0A 2018-09-30 2018-09-30 一种在分布式文件***上的worm一写多读技术应用方法 Active CN109492425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811156218.0A CN109492425B (zh) 2018-09-30 2018-09-30 一种在分布式文件***上的worm一写多读技术应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811156218.0A CN109492425B (zh) 2018-09-30 2018-09-30 一种在分布式文件***上的worm一写多读技术应用方法

Publications (2)

Publication Number Publication Date
CN109492425A true CN109492425A (zh) 2019-03-19
CN109492425B CN109492425B (zh) 2021-12-28

Family

ID=65689357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811156218.0A Active CN109492425B (zh) 2018-09-30 2018-09-30 一种在分布式文件***上的worm一写多读技术应用方法

Country Status (1)

Country Link
CN (1) CN109492425B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069457A (zh) * 2019-04-24 2019-07-30 苏州浪潮智能科技有限公司 一种基于分布式文件存储***中过期文件删除方法及***
CN113407995A (zh) * 2021-06-25 2021-09-17 济南浪潮数据技术有限公司 一种覆盖写和追加写正常报错的方法、***、设备及介质
CN115168908A (zh) * 2022-09-05 2022-10-11 深圳市科力锐科技有限公司 文件保护方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606010A (zh) * 2003-10-07 2005-04-13 国际商业机器公司 文件存档的方法和***
CN101443760A (zh) * 2003-11-03 2009-05-27 网络装置公司 在单写多读存储***中用于记录保留日期的***和方法
US20100212017A1 (en) * 2009-02-18 2010-08-19 International Business Machines Corporation System and method for efficient trust preservation in data stores
CN102317922A (zh) * 2007-08-15 2012-01-11 伊姆西公司 用于提供单写多读(worm)存储的***和方法
US20120185444A1 (en) * 2011-01-14 2012-07-19 Sparkes Andrew Clock Monitoring in a Data-Retention Storage System
CN102667772A (zh) * 2010-03-01 2012-09-12 株式会社日立制作所 文件级分级存储管理***、方法和设备
CN103500092A (zh) * 2013-09-23 2014-01-08 华为技术有限公司 一种worm追加写判断方法及存储设备
US20140157005A1 (en) * 2012-05-07 2014-06-05 David H. Leventhal Method and apparatus for a secure and deduplicated write once read many virtual disk
CN104919429A (zh) * 2013-06-14 2015-09-16 株式会社日立制作所 存储管理计算机及存储管理方法
CN105608193A (zh) * 2015-12-23 2016-05-25 深圳市深信服电子科技有限公司 分布式文件***的数据管理方法和装置
CN106325869A (zh) * 2016-08-24 2017-01-11 浪潮(北京)电子信息产业有限公司 一种配置文件操作处理方法及其装置
US20170149892A1 (en) * 2015-11-25 2017-05-25 Verizon Patent And Licensing Inc. Large data set updating for network usage records
CN107301018A (zh) * 2017-06-15 2017-10-27 郑州云海信息技术有限公司 一种在集群存储上的worm技术应用方法
CN107341267A (zh) * 2017-07-24 2017-11-10 郑州云海信息技术有限公司 一种分布式文件***访问方法及平台
CN107656939A (zh) * 2016-07-26 2018-02-02 南京中兴新软件有限责任公司 文件写入方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606010A (zh) * 2003-10-07 2005-04-13 国际商业机器公司 文件存档的方法和***
CN101443760A (zh) * 2003-11-03 2009-05-27 网络装置公司 在单写多读存储***中用于记录保留日期的***和方法
CN102317922A (zh) * 2007-08-15 2012-01-11 伊姆西公司 用于提供单写多读(worm)存储的***和方法
US20100212017A1 (en) * 2009-02-18 2010-08-19 International Business Machines Corporation System and method for efficient trust preservation in data stores
CN102667772A (zh) * 2010-03-01 2012-09-12 株式会社日立制作所 文件级分级存储管理***、方法和设备
US20120185444A1 (en) * 2011-01-14 2012-07-19 Sparkes Andrew Clock Monitoring in a Data-Retention Storage System
US20140157005A1 (en) * 2012-05-07 2014-06-05 David H. Leventhal Method and apparatus for a secure and deduplicated write once read many virtual disk
CN104919429A (zh) * 2013-06-14 2015-09-16 株式会社日立制作所 存储管理计算机及存储管理方法
CN103500092A (zh) * 2013-09-23 2014-01-08 华为技术有限公司 一种worm追加写判断方法及存储设备
US20170149892A1 (en) * 2015-11-25 2017-05-25 Verizon Patent And Licensing Inc. Large data set updating for network usage records
CN105608193A (zh) * 2015-12-23 2016-05-25 深圳市深信服电子科技有限公司 分布式文件***的数据管理方法和装置
CN107656939A (zh) * 2016-07-26 2018-02-02 南京中兴新软件有限责任公司 文件写入方法及装置
CN106325869A (zh) * 2016-08-24 2017-01-11 浪潮(北京)电子信息产业有限公司 一种配置文件操作处理方法及其装置
CN107301018A (zh) * 2017-06-15 2017-10-27 郑州云海信息技术有限公司 一种在集群存储上的worm技术应用方法
CN107341267A (zh) * 2017-07-24 2017-11-10 郑州云海信息技术有限公司 一种分布式文件***访问方法及平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡琛: "浅析基于Time-WORM 技术的视频监控数据保护解决方案", 《北京劳动保障职业学院学报》 *
袁亚欣: "基于Hadoop交通信息并行处理云平台的设计与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069457A (zh) * 2019-04-24 2019-07-30 苏州浪潮智能科技有限公司 一种基于分布式文件存储***中过期文件删除方法及***
CN113407995A (zh) * 2021-06-25 2021-09-17 济南浪潮数据技术有限公司 一种覆盖写和追加写正常报错的方法、***、设备及介质
CN115168908A (zh) * 2022-09-05 2022-10-11 深圳市科力锐科技有限公司 文件保护方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109492425B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN109492425A (zh) 一种在分布式文件***上的worm技术应用方法
CN105005528B (zh) 一种日志信息提取方法及装置
US20070088736A1 (en) Record authentication and approval transcript
US10474630B2 (en) Superseding objects in a retention system
EP1806679A2 (en) Storage apparatus for preventing falsification of data
US20190196930A1 (en) System and method for recording the beginning and ending of job level activity in a mainframe computing environment
CN106776795B (zh) 基于Hbase数据库的数据写入方法及装置
CN1881217B (zh) 用于实现公共描述符格式的***和方法
US9773005B2 (en) Polymorphic application of policy
US20230195339A1 (en) Control method, information processing device, non-transitory computer-readable recording medium storing control program, and information processing system
KR100725415B1 (ko) 데이터베이스의 로그병합 방법 및 장치
CN107665224A (zh) 扫描hdfs冷数据的方法、***和装置
KR101567715B1 (ko) 스토리지 관리장치 및 방법
Tysiac Driving faster decisions
US20020161683A1 (en) Methods and systems for accessing financial prospectus data
CN110658992A (zh) 一种可写快照的实现方法、装置、设备及可读存储介质
US10095220B1 (en) Modifying user tools to include control code for implementing a common control layer
Walraven Accrediting a Digital Evidence Laboratory
CN115660875A (zh) 账目数据处理方法、装置、计算机设备和存储介质
Hasanah et al. Assessing Record Management Practices: A Study of Compliance and Diversity in PTKIN
Shukla The Case for Electronic Records Management.
Qasim et al. TAP: A Tiered Preservation Model for Digital Resources
Lemieux Archiving: The overlooked spreadsheet risk
Yang et al. Exploration of Preservation Metadata Towards Medical Resources Long-term Archiving.
Diansyah et al. Identification of Information Asset in Academic Information System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant