CN101542480A - 组合日志/非日志文件*** - Google Patents

组合日志/非日志文件*** Download PDF

Info

Publication number
CN101542480A
CN101542480A CNA2007800395945A CN200780039594A CN101542480A CN 101542480 A CN101542480 A CN 101542480A CN A2007800395945 A CNA2007800395945 A CN A2007800395945A CN 200780039594 A CN200780039594 A CN 200780039594A CN 101542480 A CN101542480 A CN 101542480A
Authority
CN
China
Prior art keywords
file system
data
memory
journaling
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800395945A
Other languages
English (en)
Inventor
T·谢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marvell World Trade Ltd
Original Assignee
Marvell World Trade Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marvell World Trade Ltd filed Critical Marvell World Trade Ltd
Publication of CN101542480A publication Critical patent/CN101542480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种用于组合的日志和非日志文件***的方法和***。在本发明中，使用第一装置以与文件***相关联的格式将数据存储到第一存储介质上，其中所述文件***是一非日志文件***。与所述文件***相关联的日志信息被存储在第一装置中的第二存储介质上，其中所述日志信息不同于文件***，并且数据可以被具有与所述文件***兼容的文件***的其它装置读取。

Description

组合日志/非日志文件***
相关申请
本申请要求申请号为60/862,720的美国临时申请的优先权，申请日为2006年10月24日，名称为“组合日志/非日志文件***(Combo-Journaling/Non-Journaling File System)”，其通过引用全文结合到本文中。
技术领域
本申请一般涉及用于存储与多个装置兼容的数据的***和方法，尤其是涉及用于在非日志文件***的情况下使用日志信息的方法和***。
背景技术
文件***确定数据在存储装置上是如何存储和组织的，存储装置例如硬盘驱动器(HDD)、闪存或其它存储介质。对计算机操作(computer-operated)装置的操作的意外中断：比如断电、***崩溃或用户不合时宜的关机，都可以使用文件***来检测和解决数据的不一致性。在非日志文件***中，恢复过程可能需要花费很长的时间，而***基于文件***执行数据的逐块分析。FAT 16和FAT32是非日志文件***的例子。日志文件***则通过持续地在称为日志(journal)的单独文件中记录(log)文件***的改变而缩减恢复时间。如果发生意外中断，这种文件***可以通过在***重新启动时读取和重放(replay)日志而恢复到已知的良性状态。不同于传统的非日志文件***，日志文件***不需要在***经历意外中断后重启动期间，对整个文件***执行一致性检查。使用日志文件***的***可以在很短的时间段内从中断中恢复。日志式文件***的例子包括ReiserFs、JFS、XFS(Extended File System；扩展文件***)、Linux ext3和NTFS。日志文件***可以记录元数据或者元数据和数据二者，该元数据是关于诸如数据文件是什么时候创建的、文件大小和存储位置的数据的信息。
从历史来看，诸如个人录像机(PVR)、数字照相机、移动电话、媒体播放器和机顶盒之类的消费电子装置在很大范围上使用了非日志文件***，比如FAT16和FAT 32。因而，当装置的操作被意外中断时，这些消费装置(consumerdevice)很可能会经历数据损失和文件破坏。传统的日志技术可以被应用到这样的消费装置上，但并非没有弊端。当消费装置的数据完整性和***可利用性被改进时，装置往往难以接受地缓慢地从意外中断中恢复。此外，存储在装置上的数据也有可能与其它没有应用相同日志文件***的装置不兼容。
已有的一些文件***的体系结构已经通过将日志记录存储到单独的内存或磁盘中、而不是文件***中来尝试提高性能。然而，在这些***中，日志和文件***是并非不同的，也就是说，如果日志被移走或不可用时，文件***就不能工作。更进一步的，使用这些已有的文件***来存储的数据仅仅可以与使用相同类型日志文件***的其它装置进行交互。
发明内容
与本发明一致的，公开了用于存储与多个装置兼容的数据的设备和方法。该方法包括：以与文件***相关联的格式利用第一装置在第一存储介质上存储数据，其中文件***是非日志文件***；以及，在第一装置中的第二存储介质上存储与文件***相关联的日志信息，其中日志信息不同于文件***，并且数据可以被具有与文件***兼容的文件***的其它装置读取。
符合本发明的设备包括处理器、文件***和至少两个存储器。第一个存储器以与文件***相关的格式存储数据，其中文件***是非日志文件***；以及第二存储器存储与文件***相关联的日志信息，其中日志信息不同于文件***，并且所述数据可以被具有与所述文件***兼容的文件***的其它装置读取。
在至少一些实施例中，数据被存储在硬盘中而日志被存储在单独的硬盘中。在一些实施例中，日志信息被存储在非易失性存储器中，其中非易失性存储器在没有恒定功率(constant power)的情况下保持(hold)所存储的数据。
本发明的其它目的和优势将在后续的描述中进行部分说明，并且将从该描述中部分地显示出来，或者可以通过本发明的实践而得知。本发明的目的和优势将会通过在所附权利要求书中所特别指出的元件及其组合来实现和达到。
如所声称的，可以理解，先前的概要描述和后续的详细描述仅仅是示范性和解释性的，而不是对本发明的限制。
被纳入本说明书并构成该说明书的一部分的所附附图例示了本发明的一些实施例，并且与该说明书一起用来解释本发明的原理。
附图说明
图1说明与本发明实施例一致的、包含组合的日志和非日志文件***的示例性***。
图2说明与本发明实施例一致的，包含组合的日志和非日志文件***的示例性***。
图3说明与本发明实施例一致的、描述方法实施例的流程图，该方法实施例用于在包含于单个装置中的两个单独的计算机可读存储介质上实现组合的日志和非日志文件***。
具体实施方式
现在将详细参考根据本发明而实现的示例性实施例，其实例显示在所附附图中。在可能的情况下，在整个附图中，相同的附图标记被用来指代相同或相似的部件。
符合本发明的方法和***提供了日志文件***的许多优点，而没有损害(compromise)传统非日志文件***所享有的数据兼容性(compatibility)。概括来说，符合本发明的***和方法允许装置在使用传统文件***时可以存储日志数据。日志被存储在与文件***分开的且不同的单独存储器中。
图1例示了符合本发明的实施性***100。如图1所示，***100包括处理器101和至少两个计算机可读存储介质，诸如闪存(flash memory)102，SDRAM104和硬盘驱动器105。一个或多个计算机可读存储介质可以是便携式的，如便携式存储卡，其包括例如压缩闪存卡(CF卡)、安全数字卡(Secure Digitalcard；SD卡)、多媒体卡(MMC卡)、记忆棒卡(MS卡)或者记忆棒。便携式存储装置可以配备连接器插头，诸如例如通用串行数据总线(USB)连接器或火线(Firewire)连接器，用以在存储装置和计算机或其它装置之间上传或下载数据和/或媒体。
***100可以进一步包括外部接口端口，例如USB 110、以太网115和无线通信端口120。***100可以通过有线和/或无线通信链路，例如以太网115或者无线通信端口120操作地连接到网络。
符合本发明的其它实施例可以包括一个或多个协同处理器(co-processor)，诸如如图2所示的数字信号处理器。该一个或多个协同处理器可以代替处理器101或与处理器101相结合来操作。
本领域技术人员将意识到，***100可以为任何计算机***配置，包括手持装置、多处理器***、基于微处理器的或可编程的消费电子装置、网络PC、迷你计算机、主计算机等等。
如图1所示，处理器101执行存储在存储器中的程序，存储器诸如闪存102，SDRAM 104和硬盘驱动器105。协同处理器可以执行专门的功能，诸如图形处理、加密、浮点运算和信号处理，或者上述功能可以通过处理器101执行。在一些实施例中，***的整体性能可以通过使用一个或多个协同处理器来从主处理器分担(offload)这种功能、特别是计算密集型操作而得到提高。
***101包括图1中所示的驻留在硬盘驱动器105上的操作***105-1、文件***105-2和数据105-3。然而，应当理解，操作***105-1、文件***105-2和数据105-3中的任何都可以被存储在可操作地连接到***100的任何计算机可读介质上。
在图1的示例性***中，文件***日志103存储在闪存102中，与存储在硬盘驱动器105上的文件***105-2物理分离。通过例如分配将闪存102上的文件***日志103的物理存储器地址与文件***105-2的物理存储器地址相关联的虚拟存储器地址，处理器101将存储在硬盘驱动器105上的文件***与相关联的文件***日志103逻辑连接。对于***100而言，从处理器来看文件***和其相关联的日志103位于相同的物理的计算机可读存储介质上。在***100中，日志103和文件***的组合位于硬盘驱动器105上，当作日志文件***。存储在硬盘驱动器105上的内容的改变被日志103追踪(track)，但是，存储在硬盘驱动器105上的内容并不受日志103的影响。实际上，日志103的引入不会以任何方式改***盘驱动器105的结构。
图2例示了符合本发明的另一个示例***。在这个实施例中，图1中的处理器101被替换为数字信号处理器(DSP)201。DSP是专门的处理器，为处理数字信号而被优化，并且通常被用于实时的计算应用。DSP被频繁地应用在消费电子装置中，用以执行视频和音频的编码和解码。特别的，专门用于在高速数学计算、实时数据传输和多路存取存储器体系结构(multiple access memoryarchitecture)方面，DSP相对于通用处理器给出了性能提升以及节能。
本领域技术人员可知，图1和2所示的装置可以例如是消费装置，诸如个人摄象机(PVR)、数字照相机、移动电话、媒体播放器、机顶盒等等。在图1和2中，数据被示出为存储在硬盘驱动器105和205中，作为本领域的技术人员可知，在特定实施例中，数据也可以被存储在便携式存储器中，诸如存储卡、或其它合适的存储介质。在特定实施例中，数据也可以被存储在其它形式的计算机可读介质中，诸如CD-RW或DVD-RW。通过使用符合本发明的方法和***，包含数据的硬盘驱动器或其它存储介质对于更多种类的***而言将是便携式的。
图3例示了符合本发明的示例性方法。本领域技术人员可知，所例示的过程可被修改以便删除步骤、移动步骤、或者还包括额外的步骤。
在步骤310中，使用计算机操作装置将数据存储在第一存储器中。数据可以被存储在例如内部存储器(诸如硬盘驱动器)中。以与非日志文件***相关联的格式(例如FAT 16或者FAT 32)来存储数据。
在步骤315中，日志信息被存储在第一装置内的存储介质中，而不是存储数据和文件***的存储介质中。该日志信息可以以任何用户定义的文件格式存储。在计算机操作装置的操作过程中，处理器继续向第一存储器存储数据，与此同时，将文件***和/或数据的改变记录到存储在第二介质上的日志中。
正如传统的日志***，数据和元数据二者都被记录到日志中。是仅仅记录元数据还是记录元数据和数据的决定可以是基于应用的并且这个决定可能会影响***性能和***可用性二者。由于数据需要向存储介质写入两次，因此日志数据可能降低***性能。尽管如此，在数据完整性和快速的恢复时间是非常关键的应用中，可能推荐或要求记录元数据和数据二者。
如果在步骤320中将日志配置为仅记录元数据，则在步骤325中只存储文件***的改变；然而，如果在步骤320中将日志配置为记录数据和元数据二者，则在步骤325中文件***的改变和实际数据的改变都会被记录在日志中。
根据对在此公开的本发明的说明和实践的考虑，本发明的其它实施例对于本领域技术人员而言将是显而易见的。意在将说明和实例仅仅作为是示例性的，其中本发明的实际范围和精神由下面的权利要求书来表示。

Claims (14)

1、一种用于存储与多个装置兼容的数据的方法，所述方法包括：
利用第一装置以与文件***相关联的格式在第一存储介质上存储数据，其中，所述文件***是非日志文件***；以及
在第一装置中的第二存储介质上存储与文件***相关联的日志信息，其中
所述日志信息不同于文件***，并且数据可以被具有与所述文件***兼容的文件***的其它装置读取。
2、如权利要求1所述的方法，其中所述第二存储介质是非易失性存储器，其中所述非易失性存储器在非恒定功率的情况下保持所存储的数据。
3、如权利要求1所述的方法，其中所述第一存储介质是硬盘驱动器。
4、如权利要求1所述的方法，其中所述第二存储介质是硬盘驱动器。
5、如权利要求1所述的方法，其中所述第一存储介质是便携式的。
6、如权利要求1所述的方法，其中所述第二存储介质是便携式的。
7、如权利要求1所述的方法，其中所述日志信息包括数据的改变。
8、一种设备，包括：
处理器；
文件***；
第一存储器，以与文件***相关的格式存储数据，其中所述文件***是非日志文件***；以及
第二存储器，存储与文件***相关联的日志信息，其中所述日志信息不同于文件***，并且数据可以被具有与所述文件***兼容的文件***的其它装置读取。
9、如权利要求8所述的设备，其中所述第二存储器是非易失性存储器，其中所述非易失性存储器在没有恒定功率的情况下保持所存储的数据。
10、如权利要求8所述的设备，其中所述第一存储器是硬盘驱动器。
11、如权利要求8所述的设备，其中所述第二存储器是硬盘驱动器。
12、如权利要求8所述的设备，其中所述第一存储器是便携式的。
13、如权利要求8所述的设备，其中所述第二存储器是便携式的。
14、如权利要求8所述的设备，其中所述日志信息包括数据的改变。
CNA2007800395945A 2006-10-24 2007-10-24 组合日志/非日志文件*** Pending CN101542480A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US86272006P 2006-10-24 2006-10-24
US60/862,720 2006-10-24

Publications (1)

Publication Number Publication Date
CN101542480A true CN101542480A (zh) 2009-09-23

Family

ID=39185955

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800395945A Pending CN101542480A (zh) 2006-10-24 2007-10-24 组合日志/非日志文件***

Country Status (4)

Country Link
US (1) US9501492B2 (zh)
EP (1) EP2076854A1 (zh)
CN (1) CN101542480A (zh)
WO (1) WO2008051590A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900414B (zh) * 2013-11-29 2019-10-15 威智伦公司 支持划分成多个分区的可移动存储的摄像机

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225035B2 (en) * 2009-04-21 2012-07-17 Apple Inc. Systems and methods for operating a disk drive
US8886597B2 (en) * 2009-10-28 2014-11-11 Sandisk Il Ltd. Synchronizing changes in a file system which are initiated by a storage device and a host device
FR2983599A1 (fr) * 2011-12-01 2013-06-07 Thomson Licensing Procede de stockage de donnees de contenu d'un recepteur de contenus dans un equipement de stockage portable, et dispositif de controle associe
US9875054B2 (en) 2013-03-06 2018-01-23 Ab Initio Technology Llc Managing operations on stored data units
US10133500B2 (en) 2013-03-06 2018-11-20 Ab Initio Technology Llc Managing operations on stored data units
US9959070B2 (en) 2013-03-06 2018-05-01 Ab Initio Technology Llc Managing operations on stored data units
US20150153766A1 (en) 2013-11-29 2015-06-04 Avigilon Corporation Camera supporting removable storage divided into multiple partitions
US10241867B2 (en) * 2014-11-04 2019-03-26 International Business Machines Corporation Journal-less recovery for nested crash-consistent storage systems
CN104572105B (zh) * 2015-01-07 2017-10-20 广东欧珀移动通信有限公司 数据更新方法及装置
KR102637757B1 (ko) * 2016-06-01 2024-02-19 삼성전자 주식회사 전자 장치 및 전자 장치의 파일 데이터 저널링 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178519B1 (en) * 1998-12-10 2001-01-23 Mci Worldcom, Inc. Cluster-wide database system
US6604185B1 (en) * 2000-07-20 2003-08-05 Silicon Graphics, Inc. Distribution of address-translation-purge requests to multiple processors
US6742081B2 (en) * 2001-04-30 2004-05-25 Sun Microsystems, Inc. Data storage array employing block checksums and dynamic striping
US6877109B2 (en) * 2001-11-19 2005-04-05 Lsi Logic Corporation Method for the acceleration and simplification of file system logging techniques using storage device snapshots
US7036043B2 (en) * 2001-12-28 2006-04-25 Storage Technology Corporation Data management with virtual recovery mapping and backward moves
AU2003286967B2 (en) * 2002-12-24 2009-01-15 Lg Electronics, Inc. Dual journaling store method and storage medium thereof
US7268667B2 (en) * 2003-05-09 2007-09-11 American Express Travel Related Services Company, Inc. Systems and methods for providing a RF transaction device operable to store multiple distinct accounts
JP4124348B2 (ja) * 2003-06-27 2008-07-23 株式会社日立製作所 記憶システム
US7454443B2 (en) * 2003-08-26 2008-11-18 Tamir Ram Method, system, and program for personal data management using content-based replication
US20050160308A1 (en) * 2004-01-09 2005-07-21 General Instrument Corporation Failure recovery for digital video recorders
US20050207726A1 (en) * 2004-03-22 2005-09-22 Jui-Ming Chen Portable multimedia electronic device
JP2007141043A (ja) * 2005-11-21 2007-06-07 Hitachi Ltd ストレージシステムにおける障害管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900414B (zh) * 2013-11-29 2019-10-15 威智伦公司 支持划分成多个分区的可移动存储的摄像机

Also Published As

Publication number Publication date
US20080098040A1 (en) 2008-04-24
WO2008051590A1 (en) 2008-05-02
EP2076854A1 (en) 2009-07-08
US9501492B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
CN101542480A (zh) 组合日志/非日志文件***
CN101433085B (zh) 数据处理装置、数据处理方法、数据处理程序及记录有该数据处理程序的记录媒体以及集成电路
US20130254326A1 (en) Electronic device, cloud storage system for managing cloud storage spaces, method and tangible embodied computer readable medium thereof
CN101983376B (zh) 访问装置、信息记录装置、信息记录***、文件管理方法和程序
US8407562B2 (en) Systems and methods for compressing data in non-volatile semiconductor memory drives
EP2545453A1 (en) Combining user content with supplemental content at a data storage device
CN202009402U (zh) 支持云存储的便携式存储装置及***
US20120173955A1 (en) Data writing and reading method, and memory controller and memory storage apparatus using the same
CN104750431A (zh) 存储装置及存储装置***、以及信息终端
CN101815983A (zh) 用于防止硬盘驱动文件***的损坏的方法和***
KR102091961B1 (ko) Gpu 자원 재구성 방법, 사용자 디바이스, 시스템 및 저장 매체
US20100318810A1 (en) Instruction cards for storage devices
CN104007936A (zh) 访问数据的方法及装置
CN110297811B (zh) 数据处理方法及装置、计算机***和计算机可读存储介质
KR101260127B1 (ko) 영상 수록 재생 장치
CN105589665B (zh) 一种缺陷硬盘连接pc端时进行缺陷隔离的方法
CN210776642U (zh) 一种多个tf卡自动拼盘装置
CN107229535B (zh) 数据块的多副本存储方法、存储设备、数据读取方法
CN104504349B (zh) 一种录像数据安全存储装置及方法
US8775383B2 (en) File editing apparatus and file editing method
CN105159847A (zh) 基于可信芯片的磁盘变更记录方法
JP2006133923A (ja) データ記録再生装置、記録再生方法、プログラム並びにデータ記録媒体
CN111026720A (zh) 一种文件处理方法、***及相关设备
CN112579371B (zh) 存储装置的测试方法、测试装置、测试***
CN102117316B (zh) Fat文件***格式化方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090923