CN102982182B - 一种数据存储规划方法及装置 - Google Patents

一种数据存储规划方法及装置 Download PDF

Info

Publication number
CN102982182B
CN102982182B CN201210563212.1A CN201210563212A CN102982182B CN 102982182 B CN102982182 B CN 102982182B CN 201210563212 A CN201210563212 A CN 201210563212A CN 102982182 B CN102982182 B CN 102982182B
Authority
CN
China
Prior art keywords
area
index
data
data block
subindex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210563212.1A
Other languages
English (en)
Other versions
CN102982182A (zh
Inventor
吕志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201210563212.1A priority Critical patent/CN102982182B/zh
Publication of CN102982182A publication Critical patent/CN102982182A/zh
Priority to PCT/CN2013/089235 priority patent/WO2014094568A1/zh
Priority to US14/402,103 priority patent/US9852168B2/en
Application granted granted Critical
Publication of CN102982182B publication Critical patent/CN102982182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据存储规划处理装置及对应方法，该装置包括格式化处理单元以及空间分配单元，其中：格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本发明通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。

Description

一种数据存储规划方法及装置
技术领域
本发明涉及网络存储技术领域，尤其涉及一种网络存储设备上数据存储规划方法及装置。
背景技术
在视频监控存储领域中，有很多业务都需要文件***来支撑。文件***可以简单的实现资源的共享存储，以提高存储空间的利用率。在文件***之上发展而来的NAS技术，可以很好地满足当前监控业务中多个设备之间的文件共享需求。但是NAS并非十全十美，在监控行业高清摄像机的发展，存储压力不断提高的背景下，NAS存储性能瓶颈和不稳定性暴露无遗。NAS技术的实现成本较低，但无法适用于海量的数据存储。
无论是使用SAN还是NAS，现有的解决方案大多基于文件***实现，由于文件***考虑的是满足通用的存储需求，所以结构复杂。对于监控业务中的大量长时间满覆盖写，容易造成***的不稳定，且存储性能也会随时间变化而下降。尤其是索引区发生问题时，将会引发业务中断，即便有备份机制，业务恢复也需要一定时间。在视频监控这种海量数据存储的应用中，如何提高整个存储结构的可靠性是目前迫切需要解决的问题。
发明内容
有鉴于此，本发明提供一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其中：
格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；
空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
本发明还提供一种数据存储规划处理方法，应用于网络存储设备上，该方法包括如下步骤：
步骤A、创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；
步骤B、在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
本发明通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。比如说用户可以很好地利用速度更快的物理存储资源（比如本地SSD硬盘）存放索引区，使得索引区的访问速度更快。
附图说明
图1是本发明一种数据存储规划装置的逻辑结构图。
图2是本发明一种实施方式中存储结构图。
具体实施方式
本发明提供更适合一种SAN技术的数据存储处理技术。以计算机实现为例，本发明提供一种数据存储规划装置，该规划装置应用于网络存储设备上。该网络存储设备包括本地物理存储资源（比如本地磁盘）以及下挂的一个或多个物理存储资源（比如各种级别的RAID阵列）。其中本地物理存储资源主要用于保存网络存储设备的操作***以及存储软件，而下挂的物理存储资源主要用于存储来自用户主机的海量业务数据。网络存储设备通常包括控制主机（也称为存储控制器），存储控制器通常包括CPU以及内存等基本硬件，本地物理存储资源通常是位于存储控制器内部的本地磁盘甚至是磁盘阵列。而所谓下挂物理存储资源主要是通过各种扩展连接技术（比如SAS等）与存储控制器的后端接口相连的。
请参考图1，该数据存储装置包括格式化处理单元以及空间分配单元。该装置在网络存储设备上运行过程中涉及如下的处理流程。
步骤101，在初始化时，格式化处理单元创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，在用户指定的物理存储资源上创建数据区，其中该索引区的大小与所述数据区具有对应关系，所述数据区包括若干大小相同的数据块；
步骤102，空间分配单元在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
在初始化的时候，格式化处理单元将提供用户管理交互界面，允许用户指定格式化过程的参数以及如何利用物理存储资源。格式化过程的参数将决定索引区的大小、数据区的大小以及可分配数据块的大小等重要运行参数。索引区的大小与数据区的大小相关，比如说索引区大小为数据区的3%。在本发明中，用户在格式化过程中可以指定索引区的存储位置，也就是索引区存储在哪个物理存储资源上，用户也可以指定数据区存储在哪个物理存储资源上，这与现有技术有本质的区别，现有技术中索引区与数据区天然地固定在一个物理存储资源上。
用户可以充分利用本发明提供的灵活性来合理为索引区分配物理存储资源实现各种性能上的提升。用户可以选择不同的物理存储资源来存放索引区和数据区。索引区与数据区在物理上分离可以允许用户选择更加可靠的物理存储资源（比如可靠性很高的RAID1阵列）来存储索引区，确保索引数据这种关键数据存储的可靠性。
其次，对于索引区来说，物理存储资源还可以选择网络存储设备本地的物理磁盘或者本地RAID阵列，选择本地的物理存储资源可以保证索引区的访问更加快速；现有技术中索引区与数据区通常都是在网络存储设备下挂的物理存储资源上，这些物理存储资源与网络存储设备的交互是经过一些通用/专用连接技术（比如SAS等）实现的，其数据访问的速率并不如本地物理存储资源高。
另外，由于索引区的访问具有很大的随机性，因此访问索引区时使用缓存的意义并不大，因此可以配置更少的缓存资源，比如使用本地磁盘时，可以减少使用网络存储设备上的缓存资源。现有技术中由于索引数据与业务数据均放在一起，无法做到只为业务数据访问提供更多缓存资源，为索引数据访问提供更少缓存。在本发明中，由于索引区与数据区可以分别设置在不同的物理存储资源上，这样网络存储设备就可以将有限的业务缓存更多地分配对访问数据区。
请参考图2，格式化信息区主要从整体上描述图2的存储结构，其内的信息主要包括索引区的大小、数据区的大小以及数据块的大小等等。在优选的实施方式中，索引区包括若干大小相同的子索引区，其中当前有一个子索引区投入使用，其他子索引区作为副本，这样的处理可以大大提高索引区数据的可靠性，避免索引区损坏而无法复原，更为具体的技术实现可以参考本申请人提出的相关专利申请。需要注意的是：在本发明中，子索引区的副本并不一定要存在，索引区也可以只包括一个子索引区。
每个子索引区包括卷索引区、索引日志、若干组索引区以及卷索引区备份区区。卷索引区描述的是整个子索引区，比如说组索引区的数量以及存储的地址空间等信息，相当于一级索引区。索引日志主要用来记录索引区的操作记录。所述组索引区描述一个预定大小的数据区，包括目录索引和文件索引，相当于一个二级索引区。假设一个子索引区描述30G的数据区，子索引区包括15个组索引区，那么一个组索引区描述2G的数据区。卷索引区备份区主要是为了防止作为一级索引区的数据因磁道故障而无法访问所作的备份。在优选的方式中，卷索引区位于子索引区的开始位置，而卷索引区备份区则位于子索引区的结束位置。卷索引区与卷索引区备份区之间存储位置相距较远可以避免磁盘一个磁道损坏导致同时引发卷索引区与卷索引区备份区同时损坏的问题。当卷索引区所在磁道发生故障时，由于卷索引备份区中的备份卷索引数据可以继续使用，确保业务访问不会因此而中断。
如前所述，本发明优选方式中采用两级索引的结构，这种两级索引结构可以提升访问效率。在优选的方式中，一个组索引区描述的数据区大小不小于2G，因为在当前文件***中，文件大小通常会被限制在2G以下，这样一个组索引区的索引数据基本都可以描述至少一个文件的存储位置。数据区是以数据块为单位进行空间分配调度的。上层应用的数据存储需求通常来自与用户主机，空间分配单元以该数据块为单位为该上层应用分配足量的数据区存储空间。这里所说的用户主机是一个广泛的概念，其可以是任何需要存储空间的设备，比如服务器或者监控终端等。
在优选的方式中，数据块的大小通常远大于***自身数据块的大小（比如4K），比如说32M或者64M。用户可以在初始化时，配置该参数。在本发明优选方式中，上述数据块大小这一参数具有最低可选值，表示用户配置时必须选择大于等于该值的数值。该最低可选值大于***自身数据块，比如说32M。由于本发明中的数据块远大于***数据块，这可以避免更多磁盘碎片的产生。此外，这样的设置其可以提高***对业务的处理效率，通常在监控环境下，包括视频信息的文件都会较大，选择较大的数据块，使得空间分配计算过程更加简单，处理速度自然也就更快。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其特征在于：
格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中格式化信息用于描述索引区以及数据区的概况，所述索引区和所述数据区分别存放在不同的物理存储资源上；所述索引区包括子索引区以及至少一个子索引区副本；其中，所述子索引区包括卷索引区、若干组索引区以及卷索引备份区；
空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
2.如权利要求1所述的装置，其特征在于：所述卷索引区位于子索引区开始位置，所述卷索引备份区位于子索引区结束位置。
3.如权利要求1所述的装置，其特征在于：所述格式化处理单元进一步用于保存用户指定的数据块大小，其中该数据块大小不小于预定的最小数据块大小，其中该最小数据块大小大于网络存储设备***数据块大小。
4.一种数据存储规划处理方法，应用于网络存储设备上，其特征在于，该方法包括如下步骤：
步骤A、创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中格式化信息用于描述索引区以及数据区的概况，所述索引区和所述数据区分别存放在不同的物理存储资源上；所述索引区包括子索引区以及至少一个子索引区副本；其中，所述子索引区包括卷索引区、若干组索引区以及卷索引备份区；
步骤B、在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
5.如权利要求4所述的方法，其特征在于：所述卷索引区位于子索引区开始位置，所述卷索引备份区位于子索引区结束位置。
6.如权利要求4所述的方法，其特征在于：所述步骤A进一步包括：
保存用户指定的数据块大小，其中该数据块大小不小于预定的最小数据块大小，其中该最小数据块大小大于网络存储设备***数据块大小。
CN201210563212.1A 2012-12-21 2012-12-21 一种数据存储规划方法及装置 Active CN102982182B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210563212.1A CN102982182B (zh) 2012-12-21 2012-12-21 一种数据存储规划方法及装置
PCT/CN2013/089235 WO2014094568A1 (zh) 2012-12-21 2013-12-12 一种数据存储规划方法及装置
US14/402,103 US9852168B2 (en) 2012-12-21 2013-12-12 Data storage planning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210563212.1A CN102982182B (zh) 2012-12-21 2012-12-21 一种数据存储规划方法及装置

Publications (2)

Publication Number Publication Date
CN102982182A CN102982182A (zh) 2013-03-20
CN102982182B true CN102982182B (zh) 2017-02-08

Family

ID=47856198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210563212.1A Active CN102982182B (zh) 2012-12-21 2012-12-21 一种数据存储规划方法及装置

Country Status (3)

Country Link
US (1) US9852168B2 (zh)
CN (1) CN102982182B (zh)
WO (1) WO2014094568A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982182B (zh) * 2012-12-21 2017-02-08 浙江宇视科技有限公司 一种数据存储规划方法及装置
CN103593477A (zh) * 2013-11-29 2014-02-19 华为技术有限公司 一种哈希数据库的配置方法和装置
CN104182354B (zh) * 2014-08-26 2017-12-15 浙江宇视科技有限公司 一种视频管理方法及装置
CN106980676A (zh) * 2017-03-29 2017-07-25 江西金格科技股份有限公司 基于智能密钥盘的文件管理方法
CN107229418B (zh) * 2017-05-02 2020-07-28 浙江宇视科技有限公司 一种录像文件存储方法及装置
CN107870973B (zh) * 2017-09-20 2021-11-26 广东东为信息技术有限公司 一种加快多路监控同时回放的文件存储***
CN109753224B (zh) * 2017-11-03 2022-05-13 浙江宇视科技有限公司 存储结构及存储结构配置方法
CN109656885B (zh) * 2018-12-18 2022-04-29 Oppo广东移动通信有限公司 存储空间监控方法及装置、电子终端、存储介质
CN110221782A (zh) * 2019-06-06 2019-09-10 重庆紫光华山智安科技有限公司 视频文件处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件***中资源的管理和分配方法
CN101763490A (zh) * 2009-12-18 2010-06-30 东信和平智能卡股份有限公司 闪存智能卡的数据移动方法
CN101976181A (zh) * 2010-10-15 2011-02-16 杭州宏杉科技有限公司 一种存储资源的管理方法及管理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058642B2 (en) * 2002-03-20 2006-06-06 Intel Corporation Method and data structure for a low memory overhead database
US20060265358A1 (en) * 2005-05-17 2006-11-23 Junichi Hara Method and apparatus for providing information to search engines
CN1963814A (zh) 2006-11-29 2007-05-16 珠海市泰德企业有限公司 存储器数据管理方法
NO326041B1 (no) * 2007-02-08 2008-09-01 Fast Search & Transfer As Fremgangsmate til administrasjon av datalagring i et system for soking og gjenfinning av informasjon
CN101231649B (zh) 2007-12-27 2010-12-15 腾讯科技（深圳）有限公司 获取网络资源访问的方法
CN101997918B (zh) 2010-11-11 2013-02-27 清华大学 异构san环境中的海量存储资源按需分配的实现方法
US8966191B2 (en) * 2011-03-18 2015-02-24 Fusion-Io, Inc. Logical interface for contextual storage
CN102982182B (zh) * 2012-12-21 2017-02-08 浙江宇视科技有限公司 一种数据存储规划方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件***中资源的管理和分配方法
CN101763490A (zh) * 2009-12-18 2010-06-30 东信和平智能卡股份有限公司 闪存智能卡的数据移动方法
CN101976181A (zh) * 2010-10-15 2011-02-16 杭州宏杉科技有限公司 一种存储资源的管理方法及管理装置

Also Published As

Publication number Publication date
CN102982182A (zh) 2013-03-20
WO2014094568A1 (zh) 2014-06-26
US9852168B2 (en) 2017-12-26
US20150149476A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
CN102982182B (zh) 一种数据存储规划方法及装置
US10484174B1 (en) Protecting an encryption key for data stored in a storage system that includes a plurality of storage devices
CN104461685B (zh) 虚拟机处理方法和虚拟计算机***
CN104317742B (zh) 一种优化空间管理的自动精简配置方法
US20220217049A1 (en) Path Management For Container Clusters That Access Persistent Storage
US8590050B2 (en) Security compliant data storage management
US8677063B2 (en) Parity declustered storage device array with partition groups
CN103999058B (zh) 带驱动器***服务器
US10356150B1 (en) Automated repartitioning of streaming data
US10521151B1 (en) Determining effective space utilization in a storage system
CN104603739A (zh) 对并行存储的块级访问
US8566636B2 (en) Application recovery in a file system
CN109725849A (zh) 存储***和存储***的控制方法
CN109582213A (zh) 数据重构方法及装置、数据存储***
CN107589916A (zh) 一种基于纠删码的纠删池的创建方法及相关装置
CN104536903A (zh) 一种按数据属性分类存放的混合存储方法及***
CN109725823A (zh) 用于管理混合存储盘阵列的方法和设备
CN103761059A (zh) 一种用于海量数据管理的多盘位存储方法及***
US8386741B2 (en) Method and apparatus for optimizing data allocation
US20080201525A1 (en) RAID capacity expansion handling method and system with concurrent data access capability
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
US9069471B2 (en) Passing hint of page allocation of thin provisioning with multiple virtual volumes fit to parallel data access
CN110502586A (zh) 一种数据库软硬件一体机
CN101997919B (zh) 一种存储资源的管理方法及管理装置
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储***的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant