CN100395730C - 基于数据源的虚拟内存处理方法 - Google Patents

基于数据源的虚拟内存处理方法 Download PDF

Info

Publication number
CN100395730C
CN100395730C CNB200610030371XA CN200610030371A CN100395730C CN 100395730 C CN100395730 C CN 100395730C CN B200610030371X A CNB200610030371X A CN B200610030371XA CN 200610030371 A CN200610030371 A CN 200610030371A CN 100395730 C CN100395730 C CN 100395730C
Authority
CN
China
Prior art keywords
data source
page
virtual memory
data
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200610030371XA
Other languages
English (en)
Other versions
CN1908917A (zh
Inventor
苏翼鹏
梁宇洲
王晨辉
陈榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KETAI CENTURY SCIENCE AND TECHNOLOGY Co Ltd SHANGHAI
Original Assignee
KETAI CENTURY SCIENCE AND TECHNOLOGY Co Ltd SHANGHAI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KETAI CENTURY SCIENCE AND TECHNOLOGY Co Ltd SHANGHAI filed Critical KETAI CENTURY SCIENCE AND TECHNOLOGY Co Ltd SHANGHAI
Priority to CNB200610030371XA priority Critical patent/CN100395730C/zh
Publication of CN1908917A publication Critical patent/CN1908917A/zh
Priority to HK07107936A priority patent/HK1103590A1/xx
Application granted granted Critical
Publication of CN100395730C publication Critical patent/CN100395730C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

一种基于数据源的虚存处理方法，包括如下步骤：1、对数据源进行接口封装，生成具有统一接口方法的数据源对象；2、为数据源对象封装的数据源在虚拟内存中分配虚拟内存空间，并把虚拟内存空间的虚拟内存段与数据源对象进行对应；3、在进程读取所述虚拟内存空间的虚拟内存页面时发生缺页时，调用数据源的接口方法，读取数据源与该虚拟内存页面相对应的部分到页面缓存的物理内存页面中，并返回物理内存页面；4、将物理内存页面映射到所述虚拟内存页面。本发明通过数据源对象自身完成数据的加载和物理内存到虚拟内存的映射，可以实现从磁盘以外的地方向内存中加载数据，克服了传统的虚存管理所存在的管理不灵活、不便于扩充、缺乏通用性的缺陷。

Description

基于数据源的虚拟内存处理方法
技术领域
本发明涉及一种基于数据源的虚拟内存处理方法，尤其是一种将来自各方的数据源进行接口封装从而形成数据源对象并依此对数据进行灵活、清晰的虚拟内存处理的方法。
背景技术
虚存处理即虚拟内存的处置管理过程，它是计算机操作***中重要的组成部分，通常是由操作***提供的管理虚拟内存到物理内存的映射等操作，其担负着对来自各种输入/输出设备的程序、文件等(通称为数据)的存储、调用管理工作，以便使CPU能够高效处理运行。
传统的虚存处理方法主要是：先分配虚拟地址空间，通过专门的***调用从磁盘文件里读取内容到物理内存中，建立虚拟地址到物理内存的映射，或者说把物理内存附接到所分配的虚地址上。
由上述可知，传统的虚存管理没有考虑到数据与存贮器的关系。由于数据可能来自不同的地方，如：内存、磁盘、网络等等，因此，传统虚存管理必须依据每种数据的来源，对其添加相应的读写等操作数据的代码，而且，传统的虚存管理只能从磁盘文件中读写数据，从而导致了虚存管理非常不灵活，并且不便于扩充，缺乏通用性。
发明内容
本发明的目的在于针对上述传统的虚存管理所存在的管理不灵活、不便于扩充、缺乏通用性的缺陷，而提供一种基于数据源的虚存处理方法，通过对数据源进行接口封装形成数据源对象，可以通过数据源对象自身完成数据的加载和物理内存到虚拟内存的映射，克服了传统的虚存管理所存在的管理不灵活、不便于扩充、缺乏通用性的缺陷。
为实现上述发明目的，本发明提供了一种基于数据源的虚存处理方法，包括如下步骤：
步骤1、对数据源进行接口封装，生成具有统一接口方法的数据源对象，该数据源对象对应一页面缓存，所述页面缓存为一组物理内存页面，用于缓存所述数据源的数据；所述接口方法用于获取物理内存页面和将数据源中的数据读取到指定的物理内存页面中；
步骤2、为所述数据源对象对应的数据源在虚拟内存中分配虚拟内存空间，并把所述虚拟内存空间的虚拟内存段与所述数据源对象进行对应；
步骤3、在进程读取所述虚拟内存空间的虚拟内存页面时发生缺页时，调用所述数据源对象的接口方法，读取所述数据源与该虚拟内存页面相对应的部分到页面缓存的物理内存页面中，并返回所述物理内存页面；
步骤4、将所述物理内存页面映射到所述虚拟内存页面；
步骤5、结束。
在所述步骤3与步骤4之间还可以设有判断所述数据源对应的映射方式是否为共享映射，如果是，则执行步骤4，如果不是，则复制一份所述物理内存页面的副本，将该副本映射到所述虚拟内存的页面，然后执行步骤5。
由上述技术方案可知，本发明通过对数据源进行接口封装形成数据源对象，通过数据源对象自身完成数据的加载和物理内存到虚拟内存的映射，而且由于数据源对象所封装的数据源没有特定的要求，可以实现从磁盘以外的地方向内存中加载数据，从而克服了传统的虚存管理所存在的管理不灵活、不便于扩充、缺乏通用性的缺陷。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的共享映射的虚存管理结构示意图；
图2为本发明的私有映射的虚存管理结构示意图。
具体实施方式
本发明的基本原理是对于来自任何地方的数据首先进行接口封装，从而形成数据源对象，当任何进程在加载或调用数据源对象的数据时，虚存管理程序可以不用关心如何操作数据的读写等问题，而通过数据源对象提供的接口方法将数据装载到页面缓存中，该页面缓存实际上是一组物理内存页面，然后将页面缓存中的物理内存页面与虚拟内存页面进行映射。本发明中将来自任何地方的数据统称为数据源，数据源可以是来自磁盘和/或网络或外部输入设备的文件或程序或数据流或一段共享内存中的数据。参见图1，其为本发明的共享映射情况下的虚存管理结构示意图，虚存管理的过程如下：
首先，读取数据源1中的报头信息，得知数据源1所具有的段的数量；
然后，为每个段(Section)创建一个Section对象，该Section对象是对每个段中的数据进行接口封装后产生的，而Section对象即为数据源对象2。
数据源1可以是来自磁盘或网络或其他外部输入设备的文件或程序或数码流或任意数据来源。数据源1中的段包括了代码段或数据段等，由此而形成的数据源2就代表了代码段或数据段。
数据源对象2对应页面缓存3(PageContainer)，对数据源对象2中封装的数据源1起到缓存的作用。页面缓存3其实为一组物理页面，最终由AS(Address Space地址空间)把页面缓存3与进程的虚拟地址建立映射关系。当被映射到多个进程的地址空间中时，就实现了数据源1的共享。
每个数据源对象2可实现两个接口封装。一个用于获取指定偏移的物理页，另一个用于更新数据源。
第一个接口方法为GetPage是通过给定的偏移获取物理页。如果还没缓存该页，则从数据源中读取并缓存到物理内存4中。
第二个接口方法为Flush用于更新数据源。由于用物理内存4缓存数据源对象封装的数据源1，因此，当用户对缓存进行修改后，需要将数据源1的内容也做同样的修改时，可以调用该接口方法。
对于某些数据，如进程需要读写的数据，这些数据对于进程来说应该是私有的，所以对于此类数据采取私有映射的方式，参见图2，其为本发明的私有映射情况下的虚存管理结构示意图，与上述共享映射不同之处在于，将数据加载到页面缓存后，将该页面缓存进行复制，生成该页面缓存的副本，将该副本与进程的虚拟地址建立映射关系，当有多个进程需要读写同一数据时，内存中便存在多个页面缓存的副本，每个副本对应一个进程。
以下，通过一个模块装载器(Loader)装载动态链接库(DLL)文件到内存中的具体实施例描述基于数据源的虚存管理的操作步骤。
首先通过读取DLL文件中的PE(Portable Executable，即可移植的可执行体，它是Win32环境自身所带的执行体文件格式。)头信息，得知该DLL文件有多少个段(如代码段、数据段等)，然后为每个段创建一个Section对象，Section对象实现了数据源对象的接口。也就是说，Section对象就是数据源对象，分别代表了代码段、数据段等。
当数据源对象创建好后，由虚存管理程序为该DLL文件分配一段虚存空间，并把相应的虚拟内存段与所述数据源对象对应。
当程序跳到DLL的入口函数准备执行时，访问虚拟内存页面，尝试读取代码段的代码，由于未把文件装载到内存而导致缺页，缺页是指要访问的虚存页面没有对应物理内存页面。
虚存管理程序调用缺页内存段对应的数据源对象的接口GetPage，GetPage根据传入的偏移参数从磁盘读取DLL文件的相应部分到页面缓存(实际上是物理内存页面)中，虚存管理程序把发生缺页的虚拟内存页面映射到GetPage返回的页面缓存上，这样程序就可以读取所需的代码段，从而使程序正常执行下去了。当程序下次要读取同样的页面时，通过GetPage就可以直接返回页面缓存的页面，而不需要从磁盘中读取了。对于代码段来说一般采用共享映射的方式，即调入内存中的代码不需要被程序更改，所以在内存中包含同样的代码的页面缓存，只需要存在一个就可以，其他进程可以共享给页面缓存，共享的方式为将页面缓存与程序的虚拟内存页面映射到页面缓存。
如果程序需要读写数据段时，发生缺页，同样通过调用数据段Section对象的接口GetPage将数据段的数据读取到页面缓存中，但由于数据段采用的私有映射的方式，即每个进程都要有自己的数据段副本，所以虚存管理程序会在GetPage方法得到页面缓存后，复制一个页面缓存的副本，将这个副本映射到发生缺页的虚拟内存页面上。
基于数据源的虚存管理通过把数据源封装成统一接口的数据源对象，虚存管理可以不用关心如何操作数据的读写等，又可以把各种数据通过接口装载到虚存并映射到物理内存中。对于任意数据源，虚存管理都可通过数据源对象接口访问，而无须修改任何关于虚存管理的代码。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (4)

1.一种基于数据源的虚拟内存处理方法，其中，执行以下步骤：
步骤1、对数据源进行接口封装，生成具有统一接口方法的数据源对象，该数据源对象对应一页面缓存，所述页面缓存为一组物理内存页面，用于缓存所述数据源的数据；所述接口方法用于获取物理内存页面和将数据源中的数据读取到指定的物理内存页面中；
步骤2、为所述数据源对象中封装的数据源在虚拟内存中分配虚拟内存空间，并把所述虚拟内存空间的虚拟内存段与所述数据源对象进行对应；
步骤3、在进程读取所述虚拟内存空间的虚拟内存页面时发生缺页时，调用所述数据源对象的接口方法，读取所述数据源与该虚拟肉存页面相对应的部分到页面缓存的物理内存页面中，并返回所述物理内存页面；
步骤4、将所述物理内存页面映射到所述虚拟内存页面；
步骤5、结束。
2.根据权利要求1所述的基于数据源的虚拟内存处理方法，其特征在于在所述步骤3与步骤4之间还设有判断所述数据源对应的映射方式是否为共享映射，如果是，则执行步骤4，如果不是，则复制一份所述物理内存页面的副本，将该副本映射到所述虚拟内存的页面，然后执行步骤5。
3.根据权利要求1或2所述的基于数据源的虚拟内存处理方法，其特征在于所述数据源为来自磁盘和/或网络或外部输入设备的文件或程序或数据流或一段共享内存中的数据。
4.根据权利要求1所述的基于数据源的虚拟内存处理方法，其特征在于对数据源进行接口封装的具体操作为：读取数据源的报头信息，获取数据源所包含的段的数量；为每个段创建一个数据源对象，该数据源对象是对每个段中的数据进行接口封装后产生的。
CNB200610030371XA 2006-08-24 2006-08-24 基于数据源的虚拟内存处理方法 Expired - Fee Related CN100395730C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNB200610030371XA CN100395730C (zh) 2006-08-24 2006-08-24 基于数据源的虚拟内存处理方法
HK07107936A HK1103590A1 (en) 2006-08-24 2007-07-23 Processing method of virtue memory based on data source

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200610030371XA CN100395730C (zh) 2006-08-24 2006-08-24 基于数据源的虚拟内存处理方法

Publications (2)

Publication Number Publication Date
CN1908917A CN1908917A (zh) 2007-02-07
CN100395730C true CN100395730C (zh) 2008-06-18

Family

ID=37700030

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200610030371XA Expired - Fee Related CN100395730C (zh) 2006-08-24 2006-08-24 基于数据源的虚拟内存处理方法

Country Status (2)

Country Link
CN (1) CN100395730C (zh)
HK (1) HK1103590A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901191A (zh) * 2010-05-31 2010-12-01 深圳市茁壮网络股份有限公司 嵌入式***多类内存管理方法及装置
CN102184145B (zh) 2011-05-13 2013-04-17 杭州华三通信技术有限公司 重启数据不丢失方法及装置
CN102567226A (zh) * 2011-12-31 2012-07-11 曙光信息产业股份有限公司 数据访问的实现方法和装置

Also Published As

Publication number Publication date
HK1103590A1 (en) 2007-12-21
CN1908917A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
US8453121B2 (en) Managing the tracing of the execution of a computer program
JP5255348B2 (ja) クラッシュダンプ用のメモリアロケーション
US8805885B2 (en) Method, system and program product for interning invariant data objects in dynamic space constrained systems
US10324851B2 (en) Facilitating recording a trace file of code execution using way-locking in a set-associative processor cache
CN100517335C (zh) 一种分布式文件***的文件写入***和方法
US20170344430A1 (en) Method and apparatus for data checkpointing and restoration in a storage device
CN103677884B (zh) flash分区表文件生成及其数据升级方法、装置
JP2013037718A (ja) メモリページ管理
KR102123711B1 (ko) 공유 및 관리 메모리 통합 액세스
CN102722432A (zh) 追踪内存访问的方法和装置
US20080229333A1 (en) Method, System And Storage Medium For Implementing A Message Board Cache System
US9304946B2 (en) Hardware-base accelerator for managing copy-on-write of multi-level caches utilizing block copy-on-write differential update table
CN104679662A (zh) 用于管理共享存储器的方法和***
US20080195682A1 (en) Multiple computer system with enhanced memory clean up
CN101403966B (zh) 一种实现可移植软件的方法
CN100395730C (zh) 基于数据源的虚拟内存处理方法
US20130061007A1 (en) Generating code that calls functions based on types of memory
CN107577492A (zh) 加速文件***读写的nvm块设备驱动方法及***
CN101093450B (zh) 一种多cpu互斥的方法
Chen et al. A unified framework for designing high performance in-memory and hybrid memory file systems
CN103617135B (zh) 一种存储设备中数据读取的方法及装置
US20130138922A1 (en) Register management in an extended processor architecture
CN102685590A (zh) 机顶盒内存管理方法及装置
KR20190069134A (ko) 응용 프로그램간 파일 공유 장치 및 방법
Halpern et al. Value Proposition: Allocator-Aware (AA) Software

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1103590

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1103590

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080618

Termination date: 20180824

CF01 Termination of patent right due to non-payment of annual fee