WO2014067270A1 - 基于光盘的数据库存储***及利用该***的方法 - Google Patents

基于光盘的数据库存储***及利用该***的方法 Download PDF

Info

Publication number
WO2014067270A1
WO2014067270A1 PCT/CN2013/074600 CN2013074600W WO2014067270A1 WO 2014067270 A1 WO2014067270 A1 WO 2014067270A1 CN 2013074600 W CN2013074600 W CN 2013074600W WO 2014067270 A1 WO2014067270 A1 WO 2014067270A1
Authority
WO
WIPO (PCT)
Prior art keywords
database
record
disk
module
management system
Prior art date
Application number
PCT/CN2013/074600
Other languages
English (en)
French (fr)
Inventor
陶光毅
练亚纯
练子川
Original Assignee
Tao guangyi
Lian Yachun
Lian Zichuan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tao guangyi, Lian Yachun, Lian Zichuan filed Critical Tao guangyi
Priority to EP13850657.1A priority Critical patent/EP2916240A4/en
Priority to US14/417,492 priority patent/US9996557B2/en
Priority to JP2015538256A priority patent/JP6178859B2/ja
Publication of WO2014067270A1 publication Critical patent/WO2014067270A1/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80Database-specific techniques

Definitions

  • the invention relates to a database storage system based on optical disc and a method for using the same.
  • the invention is filed by the applicant.
  • the application date is November 01, 2012, and the application number is CN201210431169.3.
  • the invention name is "CD-based database storage system and The priority of the application of the method of the present application is hereby incorporated by reference in its entirety.
  • the present invention relates to a database storage system and method, and more particularly to a storage system and method for database backup. Background technique
  • a database system usually consists of software and hardware, including a database management system (abbreviated as DBMS) and applications installed in the operating system.
  • DBMS is the core software of the database system.
  • the main functions include data definition, data manipulation and database establishment, operation, management and maintenance.
  • the hardware includes the physical devices that make up the computer system, including the server and memory.
  • the server provides the operating environment for the operating system. Provide storage space for the storage database, and the peripheral devices needed to store the database; storage devices such as disks and disk arrays that the database mainly uses. So far, the database system has adopted the disk as the storage carrier of the database. It has the characteristics of fast data access and easy expansion, and is the best choice for real-time data processing.
  • the high-efficiency response performance requirements of the database system and the physical structure characteristics of the high-speed operation of the disk device make the system mean time between failures (MTBF) not guaranteed for a long time.
  • MTBF time between failures
  • the disk is used in a large amount.
  • the system reliability will drop rapidly.
  • a large amount of disk storage data will consume a lot of power first.
  • For a PB-level database system at least 700 hard disks are required.
  • the number of hard drives will double, so it is not suitable for big data sources. Even with power-saving technology, the power consumption of the disk array during operation is considerable.
  • the hard disk array cannot be used in some environments with high security requirements.
  • the data on the disk is easily lost due to physical damage to the disk, so you need to configure the backup system to back up data in real time or periodically.
  • the real-time backup system also increases equipment investment and power consumption.
  • Regular backup systems often use incremental backups and backups in storage devices such as tapes.
  • the backup data cannot be directly read by the DBMS.
  • the backup and restore cycle is long. It affects the normal working hours of the database system.
  • the object of the present invention is to provide a database storage system based on an optical disk, which solves the technical problem of high storage cost of the database disk and poor data security.
  • Another object of the present invention is to solve the technical problem of difficulty in balancing the security and use efficiency of a database system by utilizing the above-described optical disk-based database storage system for data processing.
  • the optical disk-based database storage system of the present invention comprises a database management system installed on a server, a disk storage device and an optical disk storage device connected to the server data, and a disk database built on the disk storage device, and the database management system is configured to respond Data request, complete database management and data management of the storage device, wherein: the database management system includes a field structure generation module, a record index generation module, a storage space allocation module, a storage space status module, a record link module, a record split module, and a CD-ROM construction. Library module,
  • the field structure generating module reads the field structure information of each record in the database, including the data type and length of each field in the record, and writes into the database file or the database management system;
  • the index generating module records the index information of each record in the database, including the modification time and modification content of each field in the record, and writes into the database file or the database management system;
  • a storage space allocation module which records location information of a standard storage unit allocated in a database file for each record, and writes it into a database file or a database management system;
  • the storage space status module records the unused space information in the standard storage unit in the database file and writes it into the database file or the database management system;
  • Record the split module perform record splitting in the database according to the database management system instructions, data splitting is performed in units of records, read database feature data, determine the data position and data amount of each field in the record, and mark the compliance with the instruction parameters. Record, and write the tag information in a database file or database management system;
  • the CD-ROM building module is configured to write a record matching the capacity of the disk database with the capacity of the optical disk into a sub-database file established on the optical disc by the database management system, and generate field structure information and index information of the corresponding record through the database management system, and record the standard storage.
  • the unit location information and the spatial information form database feature data of the sub-database.
  • the database management system further includes a library structure generating module, and the library structure of the database is formed into an independent data file, and the database management system establishes a sub-database of the same library structure on the optical disc according to the independent data file, or establishes the same library structure on other disk storage devices.
  • Disk database The database management system further includes a record merging module, and merging the records in the sub-database on the optical disc into a disk database on the disk storage device according to the database management system instruction, and generating field structure information and index information of the corresponding record through the database management system. And recording standard storage unit location information and spatial information to form database feature data of the disk database.
  • the method for performing data processing on the disk database using the optical disk-based database storage system is as follows:
  • Step 110 The database management system acquires a capacity parameter of the optical storage medium.
  • Step 115 reading the database characteristic data of the disk database in the disk storage device by the record splitting module, calculating the capacity of each record, determining the starting record number and the ending record number of each sub-database, and the number of records of each sub-database;
  • Step 120 Create a sub-database file of the same library structure on the optical disc by using the library structure generating module.
  • Step 130 Write the field structure information of the corresponding record to each sub-database file by using the field structure generating module.
  • Step 135 Write index information of the corresponding record to each sub-database file by using the record index generating module;
  • Step 140 by storing The space allocation module writes the corresponding recorded standard storage unit location information into each sub-database file;
  • Step 145 Record spatial information of the standard storage unit by using a storage space status module.
  • Step 150 Complete database backup by forming a database module characteristic data of the corresponding sub-database by recording the link module.
  • Step 210 The database management system establishes a disk database file in the disk storage device by using the library structure generating module.
  • Step 220 The database management system writes the record sequence in each sub-database to the disk database file in the disk storage device according to the record number size of each sub-database by recording the merge module;
  • Step 225 Write the record field structure information to the disk database file by using the field structure generation module.
  • Step 230 Write the record index information to the disk database file by using the record index generation module.
  • Step 235 Write the recorded standard storage unit location information into the disk database file by using the storage space allocation module;
  • Step 240 Record spatial information of the standard storage unit by using a storage space status module.
  • Step 245 the database feature data of the disk database is formed by the record linking module, and the database restoration is completed.
  • the optical disk database data is on the disk.
  • Step 310 The database management system establishes a disk database file in the disk storage device by using the library structure generating module.
  • Step 315 the database management system reads the database feature data in the sub-database on each optical disk by the record splitting module, and determines the recorded record number and The amount of data determines the recording capacity of each sub-database;
  • Step 320 the database management system records the merge module, reads the required records from the sub-databases, and writes the database files in the disk storage device;
  • Step 325 Generate field structure information of the record by using a field structure generating module.
  • Step 330 Generate index information of the record by using a record index generation module.
  • Step 335 Record standard storage unit location information by using a storage space allocation module.
  • Step 340 Record spatial information of the standard storage unit by using a storage space status module.
  • Step 345 forming the database in the disk storage device by completing the database characteristic data of the database in the disk storage device by recording the link module.
  • Step 410 The database management system creates a sub-database file on the optical disc by using a library structure generating module.
  • Step 415 the database management system reads the database feature data in the disk database on the disk by the record splitting module, and determines the storage capacity and storage location of each record;
  • Step 420 The database management system records the merged module, reads the required record from the disk database, and writes the database file in the optical disc;
  • Step 425 Generate field structure information of the record by using a field structure generating module.
  • Step 430 Generate index information of the record by using a record index generating module.
  • Step 435 Record standard storage unit location information by using a storage space allocation module.
  • Step 440 Record spatial information of the standard storage unit by using a storage space status module.
  • Step 445 Form the database feature data of the sub-database in the optical disc by recording the link module, and complete the establishment of the database on the optical disc by using the data in the disk database.
  • the optical disk-based database storage system of the invention improves the storage backup function of the database, and the database management system splits a huge disk database into several structural definitions with complete data, complete data sub-databases, and record related data in the disk database. Need to store or correlate across databases, so that the disk database can maintain data integrity during the backup process.
  • Each CD containing the sub-database can be managed by the database management system as a normal data source.
  • the database management system can directly perform data retrieval on the optical disk as a backup, and provides a technical means for finally realizing the use of the optical disk instead of the disk as the storage carrier of the database. Can significantly reduce the construction cost of the database storage system, reduce energy consumption, solve data security and data response The contradiction between performance.
  • the database backup, merge and restore method of the invention changes the data format of the data in the backup state, improves the data backup and restore speed, and does not affect the data response service of the database management system, so that the data in the database can be directly stored on the optical disc. It provides a good way to achieve hierarchical storage of database data using disk storage devices and optical disk storage devices.
  • FIG. 1 is a schematic structural diagram of an embodiment of a database storage system based on an optical disc according to the present invention
  • FIG. 2 is a schematic structural diagram of a database management system in an embodiment of a database storage system based on an optical disc according to the present invention
  • FIG. 3 is a schematic diagram showing the physical structure of a database file in an embodiment of a database storage system based on an optical disc;
  • FIG. 4 is a flow chart 1 of a method for performing data processing using the optical disk-based database storage system of the present invention
  • FIG. 5 is a flow chart 2 of a method for data processing using the optical disk-based database storage system of the present invention
  • FIG. 6 is a disc based on the present invention.
  • Flowchart 3 of the method for data processing by the database storage system
  • FIG. 7 is a flow chart 4 of the method for data processing using the optical disk-based database storage system of the present invention.
  • the server server disk storage device diskstorage is installed, the database management system dm is installed on the server server, and the disk database db is installed on the disk storage device diskstorage. It also includes the optical disc library jukebox as an optical disc storage device, which uses the disc change mechanism to complete the replacement of the optical disc on the drive, and uses the drive to complete the reading and writing of each optical disc.
  • the database management system dm adopts TRIP, and the disk storage device uses the RAID disk array.
  • the server server separately connects with the optical library jukebox and the disk storage device diskstorage.
  • the database management system dm responds to the data requirements, establishes the disk database db file on the disk, manages the records in the database, and establishes data backup and read restore on the CD cd.
  • Data, the optical library jukebox completes the CD cd replacement on the drive according to the corresponding data command of the database management system dm.
  • the database management system dm includes a field structure generation module ul, a record index generation module u2, a storage space allocation module u3, a storage space status module u4, a record link module u5, a record split module u6, a CD library building module u7, and a field structure generation module. Ul, read the field structure information of each record in the database, including the data type and length of each field in the record, and write it to the database file or the database management system dm;
  • the index generating module u2 records the index information of each record in the database, including the modification time and modification content of each field in the record, and writes the file to the database file or the database management system dm;
  • the storage space allocation module u3 records the location information of the standard storage unit allocated in the database file for each record, and writes it into the database file or the database management system dm;
  • the storage space status module u4 records the unused space information in the standard storage unit allocated in the database file, and writes it to the database file or the database management system dm;
  • Recording link module u5 combining field structure information, index information, location information of standard storage unit and spatial information of each record in the database to form database feature data, and writing into database file or database management system dm;
  • recording split module U6 according to the database management system dm instruction to perform record splitting in the database, the data split is performed in units of records, the database feature data is read, the data position and data amount of each field in the record are determined, and the record conforming to the command parameter is marked. , and write the tag information in the database db file or database management system dm;
  • the CD-ROM building module u7 is used to write the record matching the capacity of the disk database db with the capacity of the optical disk into the sub-database dbl file established on the optical disk by the database management system dm, and generate the field structure information and index of the corresponding record through the database management system dm.
  • the database management system dm further includes a library structure generation module u8, which forms a database structure of the database into a separate data file, and the database management system dm establishes a sub-database dbl of the same library structure on the optical disk according to the independent data file, or on other disk storage devices diskstorage Create a disk database db of the same library structure.
  • a library structure generation module u8 which forms a database structure of the database into a separate data file
  • the database management system dm establishes a sub-database dbl of the same library structure on the optical disk according to the independent data file, or on other disk storage devices diskstorage Create a disk database db of the same library structure.
  • the data usage rights of the database can be effectively managed, and when the database is directly established through the database management system, the database structure is accidentally leaked, and the encryption/decryption processing of the independent data files can avoid the database being established at a different location or in a different location.
  • the database structure is leaked. Only the database structure and database files can be used to establish an available database, which avoids the illegal use of database files.
  • the database management system dm further includes a record merge module u9, according to the database management system dm instruction, merges the records in the sub-database dbl on the optical disc into the disk database db on the disk storage device diskstor, and generates corresponding records through the database management system dm Field structure information, index information, standard storage unit location information, and spatial information are formed to form database feature data of the disk database db.
  • the database file shown in Figure 3 includes a control block, a record number index, a vacancy table, and a data block.
  • the control block stores the record number, the field corresponding to the record number, the highest record number that has been indexed, the record number that has not been modified or added since the last index, and the record number index and the address of the vacancy table.
  • the record number index consists of a number of standard memory locations, each of which contains pointers to the latest version of each record and the date and time the version was generated/modified.
  • the vacancy table holds how much space is available in each standard storage unit.
  • the data block is composed of standard storage units and is the place where the data of each record field itself is stored. Each block continuously stores the entire record, or a part of the record.
  • the database management system dm the field structure information, index information, and standard storage unit location information of each record constituting the database feature data are updated as the record changes or moves.
  • the database management system dm can split a huge disk database into a plurality of complete sub-databases, each sub-database has the same structure as the original disk database, and the associated data of each record in the sub-database is complete, and the database management The system dm can complete the data retrieval and query of the record range directly in the sub-database, and does not need to perform data retrieval between different sub-databases on different field data of the same record, and maintains the data integrity of each sub-database.
  • this embodiment can use a sub-database file equivalent to the backup medium capacity as a backup file in the database backup, so that the data backup format and the database format are made. Consistent. You can make full use of the capacity advantage of the optical disk library, directly split the large database into sub-databases, burn them on the corresponding CD-ROM, and realize data backup. At the same time, the database management system dm can directly retrieve the infrequently used data in the optical disk library, reducing the demand for disk storage devices, and achieving a significant reduction in system component cost and system power consumption. Furthermore, the security of the data is improved while ensuring that the disk storage device is highly efficient in responding to data.
  • optical disk-based database storage system of the present invention can be applied to other SQL database systems through adaptive modification, and provides a good solution for widely implementing high reliability data storage.
  • the optical disc used has two kinds of optical discs, a rewritable optical disc and a write-once optical disc. Rewritable discs can be burned repeatedly, and write-once discs are written once and cannot be overwritten.
  • Step 110 The database management system acquires a capacity parameter of the optical disk storage medium
  • Step 115 reading the database characteristic data of the disk database in the disk storage device by the record splitting module u6, calculating the capacity of each record, determining the starting record number and the ending record number of each sub-database, and the number of records of each sub-database;
  • Step 120 Create a sub-database file of the same library structure on the optical disc by using the library structure generating module u8;
  • Step 125 record the record between the initial record number and the end record number corresponding to each sub-database by the CD-ROM building module u7 Sequentially written to the sub-database file on the corresponding disc;
  • Step 130 the field structure generating module ul writes the field structure information of the corresponding record to each sub-database file; Step 135, the index information of the corresponding record is written into each sub-database file by the record index generating module u2; Step 140, the standard storage unit location information of the corresponding record is written into each sub-database file by the storage space allocation module u3;
  • Step 145 Record the spatial information of the standard storage unit by using the storage space status module u4.
  • Step 150 Form the database feature data of the corresponding sub-database by recording the link module u5, and complete the database backup.
  • the process of restoring the optical disk database to the disk storage device using the above-described optical disk-based database storage system is as follows:
  • Step 210 The database management system establishes a disk database file in the disk storage device by using the library structure generating module u8.
  • Step 215 The database management system reads the database feature data in the sub-database on each optical disc through the record splitting module u6, determines the minimum record number and the maximum record number of the record, and determines the record capacity and the record quantity of each sub-database;
  • Step 220 The database management system records the record sequence in each sub-database into the disk database file in the disk storage device according to the size of each sub-database record number by recording the merge module u9;
  • Step 225 the field structure information is written into the disk database file by the field structure generating module ul;
  • Step 230 the record index information is written into the disk database file by the record index generating module u2;
  • Step 235 through the storage space allocation Module u3 writes the recorded standard storage unit location information to the disk database file;
  • Step 240 recording spatial information of the standard storage unit by using the storage space status module u4;
  • Step 245 Form database characteristic data of the disk database by recording the link module u5, and complete database restoration.
  • the process of creating a database on the disk using the above-described optical disk-based database storage system is as follows:
  • Step 310 the database management system establishes a disk database file in the disk storage device by using the library structure generating module u8;
  • Step 315 the database management system reads the database feature data in the sub-database on each optical disc through the record splitting module u6, determines the recorded record number and the data amount, and determines the record capacity of each sub-database;
  • Step 320 the database management system records the merge module u9, reads the required records from the sub-databases, and writes the database files in the disk storage device;
  • Step 325 generating, by using the field structure generating module ul, field structure information of the record;
  • Step 330 Generate index information of the record by using the record index generating module u2.
  • Step 335 recording standard storage unit location information by using a storage space allocation module u3;
  • Step 340 recording spatial information of the standard storage unit by using the storage space status module u4;
  • Step 345 forming database characteristic data of the database in the disk storage device by the record linking module u5, completing the optical disk database data to establish a database in the disk storage device.
  • Step 410 The database management system creates a sub-database file on the optical disc by using the library structure generating module u8.
  • Step 415 the database management system reads the database characteristic data in the disk database on the disk through the record splitting module u6, and determines the storage capacity of each record. storage location;
  • Step 420 the database management system records the merge module u9, reads the required records from the disk database, and writes the database files in the optical disc;
  • Step 425 generating, by using the field structure generating module ul, field structure information of the record
  • Step 430 Generate index information of the record by using the record index generating module u2.
  • Step 435 recording standard storage unit location information by using the storage space allocation module u3;
  • Step 440 recording spatial information of the standard storage unit by using the storage space status module u4;
  • Step 445 forming database characteristic data of the sub-database in the optical disc by recording the link module u5, and completing establishing a database on the optical disc by using data in the disk database.
  • a method for establishing a database using a rewritable optical disk on a rewritable optical disk includes the following steps: Step 1. The server is directly connected to the optical disk drive;
  • Step 2 Install the database management system software on the server
  • Step 3 Set the virtual CD drive letter in the configuration file.
  • MYCD MYBD is the virtual CD drive letter
  • G, H is the CD drive letter.
  • One server can connect to multiple optical drives;
  • Step 4 Create a volume label on the optical disc, format the rewritable optical disc by erasing the rewritable optical disc, and complete the creation of the optical disc label;
  • Step 5 Create a database on the CD and execute the command " MYCD: databasel " ;
  • Step 6 Enter data into the database on the CD.
  • Step 1 The server is connected to the optical disc library
  • Step 2 Install the database management system software and the optical disc library management software on the server;
  • Step 3 Set the virtual CD library drive letter in the configuration file.
  • MYCD Z: ⁇
  • MYCD is the virtual CD library drive letter
  • Z is the CD library drive letter
  • Step 4 Using the optical disc library management software to create a volume label "DVD1" on the optical disc;
  • Step 5 Create a database on the CD in the CD library.
  • Step 6 Enter data into the database on the CD in the CD library.
  • the optical disc library is a system for storing and managing optical discs, and is composed of a disc changer (manipulator), a plurality of optical disc drives, and a plurality of optical discs.
  • the optical disc library is a massive database storage system that supports online access to the optical disc library of multiple discs. Using the optical disk library to store the database ensures physical security of the data and facilitates system expansion. CD, DVD or BD disc drives can be installed as required.
  • Example 3 A method of establishing a database on a write-once optical disc, comprising the following steps:
  • Step 1 The server is directly connected to the optical disc drive
  • Step 2 Install the database management system software on the server.
  • Step 3 Set the virtual CD drive letter in the configuration file.
  • MYCD MYBD is the virtual CD drive letter
  • G, H is the CD drive letter.
  • One server can connect to multiple optical drives;
  • Step 4 Create a database on the disk storage device and execute the command "D: ⁇ databasel";
  • Step 5 Enter data into a database on the disk storage device
  • Step 6 Modify the database path, change the database path D: ⁇ to MYCD, and execute the command " MYCD : database 1.BAF";
  • Step 7 Create a disc name on the write-once disc, and burn the database on which the data has been recorded on the disk storage device to the write-once disc.
  • Step 1 The server is connected to the optical disc library
  • Step 2 Install the database management system software and the optical disc library management software on the server;
  • Step 3 Set the virtual CD library drive letter in the configuration file.
  • MYCD is the virtual CD library drive letter
  • Z is the CD library drive letter
  • Step 4 Create a database on the disk storage device and execute the command "D: ⁇ databasel"; Step 5: Enter data into a database on the disk storage device;
  • Step 6 Create a volume label "DVD1" on the optical disc by using the optical disc library management software
  • Step 7 Modify the database path, change the database path D: ⁇ to MYCD:, execute the command " MYCD : DVDl ⁇ databasel ";
  • Step 8 Burn the database to the disc in the CD library.
  • the database stored in the disk storage device can be split, and the databases stored on the optical disk can be merged.
  • the capacity of the database in the disk storage device When the capacity of the database in the disk storage device is larger than the capacity of one optical disk, it can be split into several databases, so that the capacity of each library is smaller than the capacity of the optical disk.
  • Several small libraries generated after splitting can be stored on multiple discs, and the database structure on each disc is the same as the original database.
  • Step 1 The database management system reads the database characteristic data of the database in the disk storage device according to the capacity of the storage medium of the optical disk, calculates the capacity of each record, determines the starting record number and the ending record number of each sub-database, and the number of records in each sub-database. ;
  • Step 2 respectively establish corresponding sub-database files on the optical disc
  • Step 3 Write the record sequence between the start record number and the end record number corresponding to each sub-database into the sub-database file on the corresponding CD-ROM, write the corresponding database feature data, and complete the database backup;
  • the sub-database on each backup disc has the same structure as the original database library, and the specific data corresponding to the records in the sub-database is included in the database file.
  • Step 1 Determine the minimum record number and the maximum record number of the record according to the database feature data in the sub-database on each optical disc, and determine the record capacity of each sub-database;
  • Step 2 Establish a database file in the disk storage device
  • Step 3 According to the size of each sub-database record number, write the record sequence in the sub-database to the database file in the disk storage device, update the database feature data of each sub-database, and complete the database merge and restore.
  • the invention is based on the database storage system of the optical disc, so that the existing optical disc resources are fully utilized, and a good way is provided for realizing hierarchical storage of the database data using the disk storage device and the optical disc storage device, and thus has a large market.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于光盘的数据库存储***,包括安装在服务器上的数据库管理***,与服务器数据连接的磁盘存储装置和光盘存储装置,数据库管理***用于响应数据请求,完成数据库管理和数据管理,数据库建立在磁盘存储装置上,其中:数据库管理***包括字段结构生成模块,记录索引生成模块,存储空间分配模块,存储空间状态模块,记录链接模块,记录拆分模块,光盘建库模块,本发明使得数据库在备份过程中可以保持数据的完整性,每一个包含子数据库的光盘都可以接受数据库管理***的管理,作为正常的数据源,实现数据库利用磁盘存储装置和光盘存储装置进行分级存储。还包括利用本发明的数据库备份、还原方法。

Description

基于光盘的数据库存储***及利用该***的方法 本发明是要求由申请人提出的, 申请日为 2012 年 11 月 01 日, 申请号为 CN201210431169.3 , 发明名称为 "基于光盘的数据库存储***及利用该***的方法" 的申请 的优先权, 该申请的全部内容通过整体引用结合于此。 技术领域
本发明涉及一种数据库存储***及方法, 特别是涉及一种用于数据库备份的存储***及 方法。 背景技术
数据库***通常由软件和硬件组成, 软件包括安装在操作***中的数据库管理*** (简 称 DBMS) 和应用程序。 DBMS是数据库***的核心软件, 主要功能包括数据定义, 数据操 纵及数据库的建立、 运行、 管理与维护; 硬件包括构成计算机***的物理设备, 包括服务器、 存储器; 服务器为操作***提供运行环境, 存储器为存储数据库提供存储空间, 以及存储数 据库所需的***设备; 数据库主要利用的存储设备如磁盘、 磁盘阵列等。 迄今数据库***都 采用磁盘作为数据库的存储载体, 它具有数据访问速度快、 扩充容易等特点, 是实时数据处 理的最佳选择。
但是, 数据库***的高效响应性能要求, 与磁盘设备高速运转的物理结构特点, 使得其 ***平均无故障时间 (MTBF) 得不到长时间保证, 当数据库规模越来越大时, 磁盘的大量 使用, 会使***可靠性快速下降。 大量使用磁盘存储数据首先会大量消耗电力, 以磁盘阵列 RAID5模式为例, 采用 5块 2TB容量的高速硬盘, 可用容量大约为 8TB, 对于 PB级的数据 库***至少需要 700块以上的硬盘, 对于容量偏小的固态硬盘, 硬盘数量更会翻倍, 因此对 于大数据源并不合适。 即使利用电源节能技术, 磁盘阵列运行时的电力消耗也是相当可观的。
由于磁盘上内容可以改写, 硬盘阵列在一些安全性要求比较高的环境下, 不能使用。 磁 盘上的数据容易因磁盘物理损坏而丢失, 因此需要配置备份***实时或定期备份数据。 实时 备份***同样会增加设备投资、 电力消耗, 而定期备份***, 往往是采用增量备份, 备份在 磁带等存储设备中, 备份后的数据无法直接被 DBMS读取使用, 备份还原周期长, 还原时影 响数据库***的正常工作时间。
因此对于访问频度不太高又需长期保存的数据, 以及属于归档保存的数据, 均不适于采 用磁盘存储器保存。 各种格式的文件数据正在飞速增长, 它们的存储和使用问题给数据库系 统的软硬件结构设计提出了挑战。 发明内容
本发明的目的是提供一种基于光盘的数据库存储***, 解决数据库磁盘存储成本高, 数 据安全性差的技术问题。
本发明的另一个目的是利用上述基于光盘的数据库存储***进行数据处理的方法, 解决 数据库***安全性与使用效率之间难以平衡的技术问题。
本发明的基于光盘的数据库存储***, 包括安装在服务器上的数据库管理***, 与服务 器数据连接的磁盘存储装置和光盘存储装置, 以及建立在磁盘存储装置上的磁盘数据库, 数 据库管理***用于响应数据请求, 完成存储装置的数据库管理和数据管理, 其中: 数据库管 理***包括字段结构生成模块, 记录索引生成模块, 存储空间分配模块, 存储空间状态模块, 记录链接模块, 记录拆分模块, 光盘建库模块,
字段结构生成模块, 读取数据库中每一条记录的字段结构信息, 包括记录中各字段的数 据类型、 长度, 并写入数据库文件或数据库管理***中;
记录索引生成模块, 记录数据库中每一条记录的索引信息, 包括记录中各字段的修改时 间、 修改内容, 并写入数据库文件或数据库管理***中;
存储空间分配模块, 记录为每一条记录所分配的标准存储单元在数据库文件中的位置信 息, 并写入数据库文件或数据库管理***中;
存储空间状态模块, 记录数据库文件中已分配标准存储单元中未使用的空间信息, 并写 入数据库文件或数据库管理***中;
记录链接模块, 将数据库中各记录的字段结构信息、 索引信息、 标准存储单元的位置信 息和空间信息合并, 形成数据库特征数据, 并写入数据库文件或数据库管理***中;
记录拆分模块, 根据数据库管理***指令进行数据库中记录拆分, 数据拆分以记录为单 位进行, 读取数据库特征数据, 确定记录中每个字段的数据位置和数据量, 标记出符合指令 参数的记录, 并将标记信息写入在数据库文件或数据库管理***中;
光盘建库模块, 用于将磁盘数据库中与光盘容量匹配的记录写入数据库管理***在光盘 上建立的子数据库文件, 并通过数据库管理***生成对应记录的字段结构信息、 索引信息, 记录标准存储单元位置信息和空间信息, 形成子数据库的数据库特征数据。
数据库管理***还包括库结构生成模块, 将数据库的库结构形成独立数据文件, 数据库 管理***根据独立数据文件在光盘上建立相同库结构的子数据库, 或在其他磁盘存储装置上 建立相同库结构的磁盘数据库。 数据库管理***还包括记录合并模块, 根据数据库管理***指令, 将光盘上子数据库中 的记录合并到磁盘存储装置上的磁盘数据库中, 并通过数据库管理***生成对应记录的字段 结构信息、 索引信息, 以及记录标准存储单元位置信息和空间信息, 形成磁盘数据库的数据 库特征数据。
利用所述的基于光盘的数据库存储***进行数据处理的方法, 进行磁盘数据库光盘备份 的步骤如下:
步骤 110, 数据库管理***获取光盘存储介质的容量参数;
步骤 115, 通过记录拆分模块读取磁盘存储装置中磁盘数据库的数据库特征数据, 计算各 记录的容量, 确定各子数据库起始记录号和终止记录号, 各子数据库的记录数量;
步骤 120,、 通过库结构生成模块在光盘上分别建立相同库结构的子数据库文件; 步骤 125,通过光盘建库模块将各子数据库对应的起始记录号和终止记录号之间的记录顺 序写入对应光盘上的子数据库文件中;
步骤 130, 通过字段结构生成模块向各子数据库文件中写入相应记录的字段结构信息; 步骤 135, 通过记录索引生成模块向各子数据库文件中写入相应记录的索引信息; 步骤 140,通过存储空间分配模块向各子数据库文件中写入相应记录的标准存储单元位置 信息;
步骤 145, 通过存储空间状态模块记录标准存储单元的空间信息;
步骤 150, 通过记录链接模块形成相应子数据库的数据库特征数据, 完成数据库备份。 利用所述的基于光盘的数据库存储***进行数据处理的方法, 进行光盘数据库在磁盘存 储装置中还原的步骤如下:
步骤 210, 数据库管理***通过库结构生成模块在磁盘存储装置中建立磁盘数据库文件; 步骤 215, 数据库管理***通过记录拆分模块读取各光盘上子数据库中数据库特征数据, 确定记录的最小记录号和最大记录号, 确定各子数据库记录容量、 记录数量;
步骤 220, 数据库管理***通过记录合并模块, 根据各子数据库记录号大小, 将各子数据 库中的记录顺序写入磁盘存储装置中的磁盘数据库文件中;
步骤 225, 通过字段结构生成模块向磁盘数据库文件中写入记录的字段结构信息; 步骤 230, 通过记录索引生成模块向磁盘数据库文件中写入记录的索引信息;
步骤 235, 通过存储空间分配模块向磁盘数据库文件中写入记录的标准存储单元位置信 息;
步骤 240, 通过存储空间状态模块记录标准存储单元的空间信息;
步骤 245, 通过记录链接模块形成磁盘数据库的数据库特征数据, 完成数据库还原。 利用所述的基于光盘的数据库存储***进行数据处理的方法, 将光盘数据库数据在磁盘 上建立数据库的步骤如下:
步骤 310, 数据库管理***通过库结构生成模块在磁盘存储装置中建立磁盘数据库文件; 步骤 315, 数据库管理***通过记录拆分模块读取各光盘上子数据库中数据库特征数据, 确定记录的记录号和数据量确定各子数据库记录容量;
步骤 320, 数据库管理***通过记录合并模块, 将需要的记录从各子数据库中读取后, 写 入磁盘存储装置中的数据库文件;
步骤 325, 通过字段结构生成模块生成记录的字段结构信息;
步骤 330, 通过记录索引生成模块生成记录的索引信息;
步骤 335, 通过存储空间分配模块记录标准存储单元位置信息;
步骤 340, 通过存储空间状态模块记录标准存储单元的空间信息;
步骤 345, 通过记录链接模块形成磁盘存储装置中数据库的数据库特征数据, 完成光盘数 据库数据在磁盘存储装置中建立数据库。
利用所述的基于光盘的数据库存储***进行数据处理的方法, 将磁盘数据库数据在光盘 上建立数据库的步骤如下:
步骤 410, 数据库管理***通过库结构生成模块在光盘上建立子数据库文件;
步骤 415, 数据库管理***通过记录拆分模块读取磁盘上磁盘数据库中数据库特征数据, 确定各记录的存储容量和存储位置;
步骤 420, 数据库管理***通过记录合并模块, 将需要的记录从磁盘数据库中读取后, 写 入光盘中的数据库文件;
步骤 425, 通过字段结构生成模块生成记录的字段结构信息;
步骤 430, 通过记录索引生成模块生成记录的索引信息;
步骤 435, 通过存储空间分配模块记录标准存储单元位置信息;
步骤 440, 通过存储空间状态模块记录标准存储单元的空间信息;
步骤 445, 通过记录链接模块形成光盘中子数据库的数据库特征数据, 完成利用磁盘数据 库中的数据在光盘建立数据库。
本发明的基于光盘的数据库存储***完善了数据库的存储备份功能, 数据库管理***将 一个庞大的磁盘数据库拆分成若干个结构定义一致, 数据完整的子数据库, 磁盘数据库中的 各记录关联数据不需要跨数据库存储或关联, 使得磁盘数据库在备份过程中可以保持数据的 完整性, 每一个包含子数据库的光盘都可以接受数据库管理***的管理, 作为正常的数据源。 利用光盘存储装置容量巨大, 数据保存安全性高的特点, 数据库管理***可以直接在作为备 份的光盘上进行数据检索, 为最终实现用光盘代替磁盘作为数据库的存储载体提供了技术手 段。 可以显著降低数据库存储***的构建成本, 降低能源消耗, 解决数据安全性与数据响应 性能间的矛盾。
本发明的数据库备份、 合并与还原方法, 改变了数据处于备份状态的数据格式, 提高了 数据备份还原速度, 同时不影响数据库管理***的数据响应业务, 使得数据库中的数据可以 直接存储在光盘上, 为实现数据库数据利用磁盘存储装置和光盘存储装置进行分级存储提供 了良好途径。
下面结合附图对本发明的实施例作进一步说明。 附图说明
图 1为本发明基于光盘的数据库存储***实施例的结构示意图;
图 2为本发明基于光盘的数据库存储***实施例中数据库管理***的结构示意图;
图 3为本发明基于光盘的数据库存储***实施例中数据库文件的物理结构示意图;
图 4为利用本发明基于光盘的数据库存储***进行数据处理的方法流程图一; 图 5为利用本发明基于光盘的数据库存储***进行数据处理的方法流程图二; 图 6为利用本发明基于光盘的数据库存储***进行数据处理的方法流程图三; 图 7为利用本发明基于光盘的数据库存储***进行数据处理的方法流程图四。 具体实施方式
本发明基于光盘的数据库存储***实施例中, 如图 1和图 2所示, 包括服务器 server 磁盘存储装置 diskstorage, 服务器 server上安装有数据库管理*** dm, 磁盘数据库 db安装 在磁盘存储装置 diskstorage上。还包括作为光盘存储装置的光盘库 jukebox, 利用换盘机构完 成光盘在驱动器上的替换, 利用驱动器完成每张光盘的读写,数据库管理*** dm采用 TRIP, 磁盘存储装置 diskstorage采用 RAID磁盘阵列。
服务器 server分别与光盘库 jukebox、磁盘存储装置 diskstorage进行数据连接, 数据库管 理*** dm响应数据需求, 在磁盘上建立磁盘数据库 db文件, 管理数据库中的记录, 在光盘 cd上建立数据备份和读取还原数据, 光盘库 jukebox根据数据库管理*** dm的相应数据指 令完成驱动器上的光盘 cd替换。
数据库管理*** dm包括字段结构生成模块 ul, 记录索引生成模块 u2, 存储空间分配模 块 u3, 存储空间状态模块 u4, 记录链接模块 u5, 记录拆分模块 u6, 光盘建库模块 u7, 字段结构生成模块 ul, 读取数据库中每一条记录的字段结构信息, 包括记录中各字段的 数据类型、 长度, 并写入数据库文件或数据库管理*** dm中;
记录索引生成模块 u2, 记录数据库中每一条记录的索引信息, 包括记录中各字段的修改 时间、 修改内容, 并写入数据库文件或数据库管理*** dm中; 存储空间分配模块 u3, 记录为每一条记录所分配的标准存储单元在数据库文件中的位置 信息, 并写入数据库文件或数据库管理*** dm中;
存储空间状态模块 u4, 记录数据库文件中已分配标准存储单元中未使用的空间信息, 并 写入数据库文件或数据库管理*** dm中;
记录链接模块 u5, 将数据库中各记录的字段结构信息、 索引信息、 标准存储单元的位置 信息和空间信息合并, 形成数据库特征数据, 并写入数据库文件或数据库管理*** dm中; 记录拆分模块 u6, 根据数据库管理*** dm指令进行数据库中记录拆分, 数据拆分以记 录为单位进行, 读取数据库特征数据, 确定记录中每个字段的数据位置和数据量, 标记出符 合指令参数的记录, 并将标记信息写入在数据库 db文件或数据库管理*** dm中;
光盘建库模块 u7, 用于将磁盘数据库 db中与光盘容量匹配的记录写入数据库管理*** dm在光盘上建立的子数据库 dbl文件, 并通过数据库管理*** dm生成对应记录的字段结构 信息、 索引信息, 记录标准存储单元位置信息和空间信息, 形成子数据库 dbl的数据库特征 数据。
数据库管理*** dm还包括库结构生成模块 u8, 将数据库的库结构形成独立数据文件, 数据库管理*** dm根据独立数据文件在光盘上建立相同库结构的子数据库 dbl,或在其他磁 盘存储装置 diskstorage上建立相同库结构的磁盘数据库 db。
通过利用独立数据文件可以有效管理数据库的数据使用权限, 避免直接通过数据库管理 ***建立数据库时, 意外泄露数据库结构, 通过对独立数据文件进行加密\解密处理, 可以避 免数据库在异地或异位置建立时数据库结构泄密, 只有同时具有数据库结构和数据库文件才 能建立可用的数据库, 避免了数据库文件被非法直接利用。
数据库管理*** dm还包括记录合并模块 u9, 根据数据库管理*** dm指令, 将光盘上 子数据库 dbl中的记录合并到磁盘存储装置 diskstorage上的磁盘数据库 db中,并通过数据库 管理*** dm生成对应记录的字段结构信息、 索引信息, 记录标准存储单元位置信息和空间 信息, 形成磁盘数据库 db的数据库特征数据。
如图 3所示数据库文件包括控制块、 记录号索引、 空位表和数据块。
控制块中存放着记录号、 记录号对应的字段, 经过索引的最高记录号、 上次索引后至今 未做过修改或新增记录的记录号, 以及记录号索引和空位表的地址等。
记录号索引由许多标准存储单元组成, 每标准存储单元包含着指针, 指向每个记录的最 新版和该版生成 /修改的日期及时间。
空位表保存每个标准存储单元中还有多少空间可以使用。
数据块由标准存储单元组成, 是存放各记录字段数据本身的地方, 每块连续地存储着整 个记录, 或记录的一部分。 利用数据库管理*** dm, 组成数据库特征数据的各记录的字段结构信息、 索引信息、标 准存储单元位置信息会随记录的变化或移动而更新。
本实施例在通过数据库管理*** dm完成对用户的数据响应和数据库 db的常规数据管理 基础上, 完善了数据存储备份功能。 利用本实施例, 可以使数据库管理*** dm将一个庞大 的磁盘数据库拆分成若干个完整的子数据库, 每个子数据库与原磁盘数据库结构相同, 子数 据库中的各记录的关联数据完整, 数据库管理*** dm可以直接在子数据库中完成该记录范 围的数据检索和查询, 不需要对同一记录的不同字段数据在各子数据库间进行数据检索, 保 持了各子数据库的数据完整性。
由于子数据库数据完整, 同时库结构与数据库管理*** dm定义的库结构一致, 因此本 实施例可以在数据库备份时采用与备份介质容量相当的子数据库文件作为备份文件, 使得数 据备份格式与数据库格式一致。 可以充分利用光盘库的容量优势, 将大型数据库直接拆分为 子数据库, 刻录在相应的光盘上, 实现数据备份。 同时, 数据库管理*** dm可以直接在光 盘库中实现对不常用数据的检索查询, 减少了对磁盘存储装置的需求, 实现了***组成成本 与***耗电量的大幅降低。 进而, 在保证磁盘存储装置对数据响应高效率的前提下, 提高了 数据的安全性。
本发明的基于光盘的数据库存储***经过适应性修改,也可以应用在其他 SQL数据库系 统, 为广泛实现高可靠性的数据存储提供了良好地解决方案。
将数据库光盘放入与服务器直接相连的光盘驱动器或光盘库中, 通过服务器上的数据库 管理***即可对一个数据库光盘中的数据库或多个数据库光盘中的数据库进行连续的全文检 索, 包括二次检索、 布尔检索等高级检索, 不再需要将数据从数据库光盘中的数据库先还原 到磁盘存储装置中。
利用本发明基于光盘的数据库存储***创建数据库光盘中的数据库、 进行数据库备份、 合并数据库和进行数据检索时, 使用的光盘有两种光盘, 可重写光盘和一次性写入光盘。 可 重写光盘是可反复刻录, 一次性写入光盘是一次写入不能改写。
如图 4所示,利用上述基于光盘的数据库存储***进行磁盘数据库光盘备份的过程如下: 步骤 110, 数据库管理***获取光盘存储介质的容量参数;
步骤 115, 通过记录拆分模块 u6读取磁盘存储装置中磁盘数据库的数据库特征数据, 计 算各记录的容量, 确定各子数据库起始记录号和终止记录号, 各子数据库的记录数量;
步骤 120, 、 通过库结构生成模块 u8在光盘上分别建立相同库结构的子数据库文件; 步骤 125, 通过光盘建库模块 u7将各子数据库对应的起始记录号和终止记录号之间的记 录顺序写入对应光盘上的子数据库文件中;
步骤 130,通过字段结构生成模块 ul向各子数据库文件中写入相应记录的字段结构信息; 步骤 135, 通过记录索引生成模块 u2向各子数据库文件中写入相应记录的索引信息; 步骤 140, 通过存储空间分配模块 u3向各子数据库文件中写入相应记录的标准存储单元 位置信息;
步骤 145, 通过存储空间状态模块 u4记录标准存储单元的空间信息;
步骤 150,通过记录链接模块 u5形成相应子数据库的数据库特征数据,完成数据库备份。 如图 5所示, 利用上述基于光盘的数据库存储***进行光盘数据库在磁盘存储装置中还 原的过程如下:
步骤 210, 数据库管理***通过库结构生成模块 u8在磁盘存储装置中建立磁盘数据库文 件;
步骤 215, 数据库管理***通过记录拆分模块 u6读取各光盘上子数据库中数据库特征数 据, 确定记录的最小记录号和最大记录号, 确定各子数据库记录容量、 记录数量;
步骤 220, 数据库管理***通过记录合并模块 u9, 根据各子数据库记录号大小, 将各子 数据库中的记录顺序写入磁盘存储装置中的磁盘数据库文件中;
步骤 225, 通过字段结构生成模块 ul向磁盘数据库文件中写入记录的字段结构信息; 步骤 230, 通过记录索引生成模块 u2向磁盘数据库文件中写入记录的索引信息; 步骤 235, 通过存储空间分配模块 u3向磁盘数据库文件中写入记录的标准存储单元位置 信息;
步骤 240, 通过存储空间状态模块 u4记录标准存储单元的空间信息;
步骤 245, 通过记录链接模块 u5形成磁盘数据库的数据库特征数据, 完成数据库还原。 如图 6所示, 利用上述基于光盘的数据库存储***将光盘数据库数据在磁盘上建立数据 库的过程如下:
步骤 310, 数据库管理***通过库结构生成模块 u8在磁盘存储装置中建立磁盘数据库文 件;
步骤 315, 数据库管理***通过记录拆分模块 u6读取各光盘上子数据库中数据库特征数 据, 确定记录的记录号和数据量确定各子数据库记录容量;
步骤 320, 数据库管理***通过记录合并模块 u9, 将需要的记录从各子数据库中读取后, 写入磁盘存储装置中的数据库文件;
步骤 325, 通过字段结构生成模块 ul生成记录的字段结构信息;
步骤 330, 通过记录索引生成模块 u2生成记录的索引信息;
步骤 335, 通过存储空间分配模块 u3记录标准存储单元位置信息;
步骤 340, 通过存储空间状态模块 u4记录标准存储单元的空间信息; 步骤 345, 通过记录链接模块 u5形成磁盘存储装置中数据库的数据库特征数据, 完成光 盘数据库数据在磁盘存储装置中建立数据库。
如图 7所示, 利用上述基于光盘的数据库存储***将磁盘数据库数据在光盘上建立数据 库的过程如下:
步骤 410, 数据库管理***通过库结构生成模块 u8在光盘上建立子数据库文件; 步骤 415, 数据库管理***通过记录拆分模块 u6读取磁盘上磁盘数据库中数据库特征数 据, 确定各记录的存储容量和存储位置;
步骤 420, 数据库管理***通过记录合并模块 u9, 将需要的记录从磁盘数据库中读取后, 写入光盘中的数据库文件;
步骤 425, 通过字段结构生成模块 ul生成记录的字段结构信息;
步骤 430, 通过记录索引生成模块 u2生成记录的索引信息;
步骤 435, 通过存储空间分配模块 u3记录标准存储单元位置信息;
步骤 440, 通过存储空间状态模块 u4记录标准存储单元的空间信息;
步骤 445, 通过记录链接模块 u5形成光盘中子数据库的数据库特征数据, 完成利用磁盘 数据库中的数据在光盘建立数据库。
具体的实施例 1 : 在可重写光盘上利用可重写光盘建立数据库的方法, 包括以下步骤: 步骤 1、 服务器直接与光盘驱动器相连;
步骤 2、 在服务器上安装数据库管理***软件;
步骤 3、 在配置文件中设置虚拟光盘驱动器盘符,
MYCD=G:\
MYBD=H:\
其中 MYCD、 MYBD是虚拟光盘驱动器盘符, G、 H是光盘驱动器盘符。 一台服务器可 以连接多个光盘驱动器;
步骤 4、 在光盘上创建卷标, 通过擦除可重写光盘, 格式化可重写光盘, 完成创建光盘 卷标;
步骤 5、 在光盘上创建数据库, 执行指令 " MYCD: databasel " ;
步骤 6、 向光盘上的数据库录入数据。
具体的实施例 2: 在光盘库中的光盘上利用可重写光盘建立数据库的方法, 包括以下步 骤:
步骤 1、 服务器与光盘库相连;
步骤 2、 在服务器上安装数据库管理***软件和光盘库管理软件;
步骤 3、 在配置文件中设置虚拟光盘库盘符, MYCD=Z:\
其中 MYCD是虚拟光盘库盘符, Z是光盘库盘符;
步骤 4、 利用光盘库管理软件在光盘上创建卷标 "DVD1 " ;
步骤 5、 在光盘库中的光盘上创建数据库,
执行指令 "MYCD: DVDl\databasel " ,
步骤 6、 向光盘库中光盘上的数据库中录入数据。
光盘库是存放和管理光盘的***, 由一个换盘器 (机械手) 、 多个光盘驱动器和多个光 盘匣组成。 光盘库是一种海量数据库存储***, 支持对多张光盘的光盘库联机访问。 使用光 盘库存储数据库, 能够保证数据的物理安全, 并能方便的进行***扩充。 根据需求, 可安装 CD、 DVD或 BD光盘驱动器。
具体的实施例 3 : 在一次性写入光盘上建立数据库的方法, 包括以下步骤:
步骤 1、 服务器直接与光盘驱动器相连;
步骤 2、 在服务器上安装数据库管理***软件
步骤 3、 在配置文件中设置虚拟光盘盘符,
MYCD=G:\
MYBD=H:\
其中 MYCD、 MYBD是虚拟光盘驱动器盘符, G、 H是光盘驱动器盘符。 一台服务器可 以连接多个光盘驱动器;
步骤 4、 在磁盘存储装置上创建数据库, 执行指令 "D: \databasel " ;
步骤 5、 向磁盘存储装置上的数据库录入数据;
步骤 6、 修改数据库路径, 将数据库路径 D:\改为 MYCD , 执行指令 " MYCD : database 1.BAF" ;
步骤 7、 在一次性写入光盘上创建光盘名称, 将磁盘存储装置上已录入数据的数据库刻 录到一次性写入光盘上。
具体的实施例 4: 在光盘库中的光盘上利用一次性写入光盘建立数据库的方法, 包括以 下步骤:
步骤 1、 服务器与光盘库相连;
步骤 2、 在服务器上安装数据库管理***软件和光盘库管理软件;
步骤 3、 在配置文件中设置虚拟光盘库盘符,
MYCD=Z:\
其中 MYCD是虚拟光盘库盘符, Z是光盘库盘符;
步骤 4、 在磁盘存储装置上创建数据库, 执行指令 "D: \databasel " ; 步骤 5、 向磁盘存储装置上的数据库录入数据;
步骤 6、 利用光盘库管理软件在光盘上创建卷标 "DVD1 " ;
步骤 7、 修改数据库路径, 将数据库路径 D:\改为 MYCD:, 执行指令 " MYCD : DVDl\databasel " ;
步骤 8、 向光盘库中的光盘上刻录数据库。
利用本发明基于光盘的数据库存储***, 可以对存储在磁盘存储装置中的数据库进行拆 分, 可以对存储在光盘上的数据库进行合并。
当磁盘存储装置中的数据库容量大于一个光盘的容量时,可以将它拆分为若干个数据库, 使每个库的容量小于光盘的容量。 拆分后生成的若干个小库可以存储在多张光盘上, 每张光 盘上的数据库结构与原数据库相同。
具体的实施例 5: 拆分磁盘存储装置中数据库建立光盘备份的步骤如下:
步骤 1、 数据库管理***根据光盘存储介质的容量, 读取磁盘存储装置中数据库的数据 库特征数据, 计算各记录的容量, 确定各子数据库起始记录号和终止记录号, 各子数据库的 记录数量;
步骤 2、 在光盘上分别建立对应的子数据库文件;
步骤 3、 将各子数据库对应的起始记录号和终止记录号之间的记录顺序写入对应光盘上 的子数据库文件, 写入相应的数据库特征数据, 完成数据库备份;
各备份光盘上的子数据库与原数据库库结构相同, 子数据库中的记录所对应具体数据包 含在本数据库文件中。
具体的实施例 6: 进行数据库合并与还原的步骤如下:
步骤 1、 根据各光盘上子数据库中数据库特征数据, 确定记录的最小记录号和最大记录 号, 确定各子数据库记录容量;
步骤 2、 在磁盘存储装置中建立数据库文件;
步骤 3、 根据各子数据库记录号大小, 将子数据库中的记录顺序写入磁盘存储装置中的 数据库文件, 将各子数据库的数据库特征数据更新, 完成数据库合并与还原。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述, 并非对本发明的范围进行 限定, 在不脱离本发明设计精神的前提下, 本领域普通技术人员对本发明的技术方案作出的 各种变形和改进, 均应落入本发明权利要求书确定的保护范围内。 工业实用性
本发明基于光盘的数据库存储***, 使得现有的光盘资源得到充分利用, 为实现数据库 数据利用磁盘存储装置和光盘存储装置进行分级存储提供了良好途径, 因此具有很大的市场 前景和很强的工业实用性

Claims

权 利 要 求
1、一种基于光盘的数据库存储***,包括安装在服务器(server)上的数据库管理***(dm), 与服务器数据连接的磁盘存储装置和光盘存储装置, 以及建立在磁盘存储装置 (diskstorage) 上的磁盘数据库 (db), 数据库管理*** (dm) 用于响应数据请求, 完成存储装置的数据库 管理和数据管理, 其特征在于: 数据库管理*** (dm) 包括字段结构生成模块 (ul ), 记录 索引生成模块(u2),存储空间分配模块(u3 ), 存储空间状态模块(u4), 记录链接模块(u5 ), 记录拆分模块 (u6), 光盘建库模块 (u7),
字段结构生成模块(ul ), 读取数据库中每一条记录的字段结构信息, 包括记录中各字段的数 据类型、 长度, 并写入数据库文件或数据库管理*** (dm) 中;
记录索引生成模块(u2), 记录数据库中每一条记录的索引信息, 包括记录中各字段的修改时 间、 修改内容, 并写入数据库文件或数据库管理*** (dm) 中;
存储空间分配模块(u3 ), 记录为每一条记录所分配的标准存储单元在数据库文件中的位置信 息, 并写入数据库文件或数据库管理*** (dm) 中;
存储空间状态模块(u4), 记录数据库文件中已分配标准存储单元中未使用的空间信息, 并写 入数据库文件或数据库管理*** (dm) 中;
记录链接模块(u5 ), 将数据库中各记录的字段结构信息、 索引信息、 标准存储单元的位置信 息和空间信息合并, 形成数据库特征数据, 并写入数据库文件或数据库管理*** (dm) 中; 记录拆分模块 (u6), 根据数据库管理*** (dm) 指令进行数据库中记录拆分, 数据拆分以 记录为单位进行, 读取数据库特征数据, 确定记录中每个字段的数据位置和数据量, 标记出 符合指令参数的记录, 并将标记信息写入在数据库 (db) 文件或数据库管理*** (dm) 中; 光盘建库模块(u7), 用于将磁盘数据库(db) 中与光盘容量匹配的记录写入数据库管理*** ( dm) 在光盘上建立的子数据库 (dbl ) 文件, 并通过数据库管理*** (dm) 生成对应记录 的字段结构信息、 索引信息, 记录标准存储单元位置信息和空间信息, 形成子数据库 (dbl ) 的数据库特征数据。
2、 如权利要求 1 所述的基于光盘的数据库存储***, 其特征在于: 数据库管理*** (dm) 还包括库结构生成模块 (u8), 将数据库的库结构形成独立数据文件, 数据库管理*** (dm) 根据独立数据文件在光盘上建立相同库结构的子数据库 (dbl ), 或在其他磁盘存储装置
( diskstorage) 上建立相同库结构的磁盘数据库 (db)。
3、如权利要求 1或 2所述的基于光盘的数据库存储***,其特征在于:数据库管理***(dm) 还包括记录合并模块 (u9), 根据数据库管理*** (dm) 指令, 将光盘上子数据库 (dbl ) 中 的记录合并到磁盘存储装置(diskstorage)上的磁盘数据库(db) 中, 并通过数据库管理*** ( dm) 生成对应记录的字段结构信息、 索引信息, 以及记录标准存储单元位置信息和空间信 息, 形成磁盘数据库 (db) 的数据库特征数据。
4、利用权利要求 1至 3任一所述的基于光盘的数据库存储***进行数据处理的方法, 其特征 在于: 进行磁盘数据库光盘备份的步骤如下:
步骤 110, 数据库管理***获取光盘存储介质的容量参数;
步骤 115, 通过记录拆分模块 (u6) 读取磁盘存储装置中磁盘数据库的数据库特征数据, 计 算各记录的容量, 确定各子数据库起始记录号和终止记录号, 各子数据库的记录数量; 步骤 120,、 通过库结构生成模块 (u8 ) 在光盘上分别建立相同库结构的子数据库文件; 步骤 125, 通过光盘建库模块 (u7) 将各子数据库对应的起始记录号和终止记录号之间的记 录顺序写入对应光盘上的子数据库文件中;
步骤 130, 通过字段结构生成模块 (ul ) 向各子数据库文件中写入相应记录的字段结构信息; 步骤 135, 通过记录索引生成模块 (u2) 向各子数据库文件中写入相应记录的索引信息; 步骤 140, 通过存储空间分配模块 (u3 ) 向各子数据库文件中写入相应记录的标准存储单元 位置信息;
步骤 145, 通过存储空间状态模块 (u4) 记录标准存储单元的空间信息;
步骤 150, 通过记录链接模块 (u5 ) 形成相应子数据库的数据库特征数据, 完成数据库备份。
5、利用权利要求 3所述的基于光盘的数据库存储***进行数据处理的方法, 其特征在于: 进 行光盘数据库在磁盘存储装置中还原的步骤如下:
步骤 210, 数据库管理***通过库结构生成模块 (u8 ) 在磁盘存储装置中建立磁盘数据库文 件;
步骤 215, 数据库管理***通过记录拆分模块 (u6) 读取各光盘上子数据库中数据库特征数 据, 确定记录的最小记录号和最大记录号, 确定各子数据库记录容量、 记录数量; 步骤 220, 数据库管理***通过记录合并模块 (u9), 根据各子数据库记录号大小, 将各子数 据库中的记录顺序写入磁盘存储装置中的磁盘数据库文件中;
步骤 225, 通过字段结构生成模块 (ul ) 向磁盘数据库文件中写入记录的字段结构信息; 步骤 230, 通过记录索引生成模块 (u2) 向磁盘数据库文件中写入记录的索引信息; 步骤 235, 通过存储空间分配模块 (u3 ) 向磁盘数据库文件中写入记录的标准存储单元位置 信息;
步骤 240, 通过存储空间状态模块 (u4) 记录标准存储单元的空间信息;
步骤 245, 通过记录链接模块 (u5 ) 形成磁盘数据库的数据库特征数据, 完成数据库还原。
6、利用权利要求 3所述的基于光盘的数据库存储***进行数据处理的方法, 其特征在于: 利 用光盘数据库数据在磁盘上建立数据库的步骤如下:
步骤 310, 数据库管理***通过库结构生成模块 (u8 ) 在磁盘存储装置中建立磁盘数据库文 件;
步骤 315, 数据库管理***通过记录拆分模块 (u6) 读取各光盘上子数据库中数据库特征数 据, 确定记录的记录号和数据量确定各子数据库记录容量;
步骤 320, 数据库管理***通过记录合并模块 (u9), 将需要的记录从各子数据库中读取后, 写入磁盘存储装置中的数据库文件;
步骤 325, 通过字段结构生成模块 (ul ) 生成记录的字段结构信息;
步骤 330, 通过记录索引生成模块 (u2) 生成记录的索引信息;
步骤 335, 通过存储空间分配模块 (u3 ) 记录标准存储单元位置信息;
步骤 340, 通过存储空间状态模块 (u4) 记录标准存储单元的空间信息;
步骤 345, 通过记录链接模块 (u5 ) 形成磁盘存储装置中数据库的数据库特征数据, 完成光 盘数据库数据在磁盘存储装置中建立数据库。
7、利用权利要求 3所述的基于光盘的数据库存储***进行数据处理的方法, 其特征在于: 利 用磁盘数据库数据在光盘上建立数据库的步骤如下:
步骤 410, 数据库管理***通过库结构生成模块 (u8 ) 在光盘上建立子数据库文件; 步骤 415, 数据库管理***通过记录拆分模块 (u6) 读取磁盘上磁盘数据库中数据库特征数 据, 确定各记录的存储容量和存储位置;
步骤 420, 数据库管理***通过记录合并模块 (u9), 将需要的记录从磁盘数据库中读取后, 写入光盘中的数据库文件;
步骤 425, 通过字段结构生成模块 (ul ) 生成记录的字段结构信息;
步骤 430, 通过记录索引生成模块 (u2) 生成记录的索引信息;
步骤 435, 通过存储空间分配模块 (u3 ) 记录标准存储单元位置信息;
步骤 440, 通过存储空间状态模块 (u4) 记录标准存储单元的空间信息;
步骤 445, 通过记录链接模块 (u5 ) 形成光盘中子数据库的数据库特征数据, 完成利用磁盘 数据库中的数据在光盘建立数据库。
PCT/CN2013/074600 2012-11-01 2013-04-24 基于光盘的数据库存储***及利用该***的方法 WO2014067270A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13850657.1A EP2916240A4 (en) 2012-11-01 2013-04-24 COMPACT DISK DATA BASE STORAGE SYSTEM AND METHOD OF USING THE SYSTEM
US14/417,492 US9996557B2 (en) 2012-11-01 2013-04-24 Database storage system based on optical disk and method using the system
JP2015538256A JP6178859B2 (ja) 2012-11-01 2013-04-24 光ディスクに基づくデータベース記憶システム及びその利用方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210431169.3A CN102968460B (zh) 2012-11-01 2012-11-01 基于光盘的数据库存储***及利用该***的方法
CN201210431169.3 2012-11-01

Publications (1)

Publication Number Publication Date
WO2014067270A1 true WO2014067270A1 (zh) 2014-05-08

Family

ID=47798598

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/074600 WO2014067270A1 (zh) 2012-11-01 2013-04-24 基于光盘的数据库存储***及利用该***的方法

Country Status (6)

Country Link
US (1) US9996557B2 (zh)
EP (1) EP2916240A4 (zh)
JP (1) JP6178859B2 (zh)
CN (1) CN102968460B (zh)
HK (1) HK1177298A1 (zh)
WO (1) WO2014067270A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784120A (zh) * 2021-01-25 2021-05-11 浪潮云信息技术股份公司 一种基于范围分片方式的kv内存数据库存储管理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968460B (zh) * 2012-11-01 2015-09-02 陶光毅 基于光盘的数据库存储***及利用该***的方法
CN103177127B (zh) * 2013-04-18 2016-03-09 陶光毅 基于光盘库的数据库存储***及利用该***的方法
CN104008207B (zh) * 2014-06-18 2017-06-06 广东绿源巢信息科技有限公司 基于光盘的数据库的数据外部存储***及数据存储方法
CN105843879B (zh) * 2016-03-21 2019-07-09 刘春阳 基于光盘的异构类型数据库存储***及利用该***的方法
CN106202340B (zh) * 2016-07-04 2019-11-08 陶光毅 基于光盘的数据库双核存储***及利用该***的方法
US10445235B2 (en) * 2016-07-29 2019-10-15 Seagate Technology Llc Weighted data striping
CN106649467B (zh) * 2016-09-27 2020-07-31 上海爱数信息技术股份有限公司 一种蓝光光盘库归档管理方法及***
CN107943995B (zh) * 2017-09-22 2022-03-08 国网重庆市电力公司电力科学研究院 一种sql查询结果列名及编码自动转换方法
CN108446392A (zh) * 2018-03-23 2018-08-24 北京星震维度信息技术有限公司 光盘库的管理***及方法
CN111190908B (zh) * 2018-11-15 2023-09-22 华为技术有限公司 一种数据管理方法、装置及***
CN111240893B (zh) * 2019-12-26 2023-07-18 曙光信息产业(北京)有限公司 一种基于数据流分片技术的备份和还原管理方法及***
CN111352986A (zh) * 2020-02-28 2020-06-30 平安科技(深圳)有限公司 一种数据库表结构导出的方法、装置及终端设备
CN111428270A (zh) * 2020-04-16 2020-07-17 陶光毅 一种基于光盘的数据库分布式存储方法和存储***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675780A (en) * 1993-06-01 1997-10-07 Cd-Comm Systems, Inc. Method and apparatus for storing data in database form to a compact disc using a script file to describe the input format of data
CN102968460A (zh) * 2012-11-01 2013-03-13 陶光毅 基于光盘的数据库存储***及利用该***的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301286A (en) * 1991-01-02 1994-04-05 At&T Bell Laboratories Memory archiving indexing arrangement
US5943688A (en) * 1997-05-29 1999-08-24 International Business Machines Corporation Automated database back-up within a data storage system using removable media
KR20010113235A (ko) * 2000-06-17 2001-12-28 윤종용 기록가능한 광디스크를 이용한 데이터 베이스 갱신 방법및 이에 적합한 장치들
JP2003316635A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd データのバックアップ方法及びそのプログラム
US7634511B1 (en) * 2006-09-29 2009-12-15 Symantec Operating Corporation User interface for viewing logical representation of a database backed up by a database recovery manager

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675780A (en) * 1993-06-01 1997-10-07 Cd-Comm Systems, Inc. Method and apparatus for storing data in database form to a compact disc using a script file to describe the input format of data
CN102968460A (zh) * 2012-11-01 2013-03-13 陶光毅 基于光盘的数据库存储***及利用该***的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, DINGQUAN ET AL.: "Physical Storage Technology of CD-ROM Database.", NEW TECHNOLOGY OF INFORMATION SEARCH., no. 5, October 2001 (2001-10-01), pages 34 - 36, XP008176101 *
CHENG, RONGFANG ET AL.: "To Buliding Book-attached CD-ROM Management System by MARC Data.", JOURNAL OF MODERN INFORMATION., vol. 31, no. 4, April 2011 (2011-04-01), pages 124 - 127, XP008176105 *
LIU, TAIRAN. ET AL.: "Query Processing On Massive Data In Hierarchical Storage System.", CHINESE MASTER'S THESES FULL-TEXT DATABASE, CHINESE ACADEMIC JOURNAL (CD) ELECTRONIC JOURNAL., no. 12, December 2006 (2006-12-01), XP055184893 *
See also references of EP2916240A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784120A (zh) * 2021-01-25 2021-05-11 浪潮云信息技术股份公司 一种基于范围分片方式的kv内存数据库存储管理方法
CN112784120B (zh) * 2021-01-25 2023-02-21 浪潮云信息技术股份公司 一种基于范围分片方式的kv内存数据库存储管理方法

Also Published As

Publication number Publication date
JP2015532993A (ja) 2015-11-16
EP2916240A1 (en) 2015-09-09
US9996557B2 (en) 2018-06-12
HK1177298A1 (zh) 2013-08-16
JP6178859B2 (ja) 2017-08-09
CN102968460A (zh) 2013-03-13
EP2916240A4 (en) 2016-04-20
CN102968460B (zh) 2015-09-02
US20150193473A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
WO2014067270A1 (zh) 基于光盘的数据库存储***及利用该***的方法
JP6329247B2 (ja) ジュークボックスに基づくデータベース記憶システム及びそれを用いた方法
US8285762B2 (en) Migration of metadata and storage management of data in a first storage environment to a second storage environment
Shoshani et al. Scientific data management: challenges, technology, and deployment
EP1999554B1 (en) Hard disk storage system
CN107704211B (zh) 一种磁光电混合光盘库及其管理方法和管理***
US10678764B2 (en) Heterogeneous type database storage system based on optical disc, and method for using system
CN104346357A (zh) 一种嵌入式终端的文件存取方法及***
CN103916459A (zh) 一种大数据归档存储***
Rosenthal The medium-term prospects for long-term storage systems
JP2014071487A (ja) ファイル記録装置、フィルシステム管理方法およびチェンジャドライブ
JP2007323589A (ja) 仮想ボリュームのコピー制御方法、コピー制御装置、およびコピー制御プログラム
CN102262657A (zh) 多媒体数据存储方法及***
US20080184070A1 (en) RAID capacity expansion interruption recovery handling method and system
WO2018006577A1 (zh) 基于光盘的数据库双核存储***及利用该***的方法
US20220404987A1 (en) Storage system, storage control device, and storage control method
JP3725375B2 (ja) 記憶媒体ライブラリにおけるデータ再編成方法
CN104834664A (zh) 面向光盘库的全文检索***
CN103116533A (zh) 一种快照实现方法
JP4288929B2 (ja) データストレージ装置及びデータストレージ方法
JPWO2008126169A1 (ja) ストレージ管理プログラム、ストレージ管理方法およびストレージ管理装置
CN113611333A (zh) 一种光盘库集群***及读写方法
CN1304942C (zh) 硬性介质与随机存储器混合式驱动器以及存储器
Kun et al. A Novel Storage Architecture of In-Memory Databases Supporting Real-Time E-commerce Applications
Schwerdtfeger High-End Storage

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13850657

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015538256

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14417492

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013850657

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE