WO2018097522A1 - 데이터베이스의 이중화를 위한 기법 - Google Patents

데이터베이스의 이중화를 위한 기법 Download PDF

Info

Publication number
WO2018097522A1
WO2018097522A1 PCT/KR2017/012685 KR2017012685W WO2018097522A1 WO 2018097522 A1 WO2018097522 A1 WO 2018097522A1 KR 2017012685 W KR2017012685 W KR 2017012685W WO 2018097522 A1 WO2018097522 A1 WO 2018097522A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
data
source database
change
database server
Prior art date
Application number
PCT/KR2017/012685
Other languages
English (en)
French (fr)
Inventor
윤정일
조오욱
Original Assignee
주식회사 실크로드소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 실크로드소프트 filed Critical 주식회사 실크로드소프트
Priority to US16/344,129 priority Critical patent/US11106654B2/en
Publication of WO2018097522A1 publication Critical patent/WO2018097522A1/ko
Priority to US17/392,605 priority patent/US20210365430A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques

Definitions

  • the present invention relates to a database, and more particularly, to an efficient change data capture (CDC) technique.
  • CDC change data capture
  • Data managed within an enterprise often needs to be migrated or replicated from a source location to a target location.
  • a database system for implementing banking can be classified into a database that can be accessed by multiple external customers simultaneously and a database that internal employees can access, depending on the nature of the client accessing.
  • synchronization between the two databases is required to maintain data consistency.
  • implementing such synchronization can incur overhead for database resources.
  • Data warehouse a company's analytical database, typically updates data generated during business hours by batch at the end of the day. For this reason, the existing DW structure had no choice but to analyze data from yesterday. For example, when a bank reviews a customer's loan, they have looked at the data from yesterday and evaluated it. Because of this, the customer information that was changed today was missed during the loan review. Therefore, there is a demand for improving the speed of synchronization in the synchronization of the database.
  • Republic of Korea Patent Publication No. 10-2015-0137884 discloses an example of database synchronization.
  • the present disclosure has been made in response to the above-described background art, and is intended to improve the synchronization speed of a database.
  • a computer program is disclosed that performs the following steps for change data capture (CDC). The steps may include obtaining a resource data, which is resource data that is data for monitoring current resources of the source database server, and comparing the resource data with a predetermined source database server load threshold to generate comparison information.
  • a mode change step of changing an operation mode of the process to a mode.
  • the mode determining step includes determining an operation mode of the change data capture process to be the union mode when the resource data in the comparison information is less than the predetermined source database server load threshold and in the comparison information. And if the resource data is equal to or greater than the predetermined source database server load threshold, determining an operation mode of the change data capture process to the division mode.
  • a record of a redo log of the source database in the source database when the operation mode is changed to the union mode by the mode changing step of changing the operation mode of the process to the mode determined in the mode determining step, a record of a redo log of the source database in the source database.
  • a thread executing each step in each of the assembling and reflecting steps may be processed with reference to a work queue, wherein the work queue is at least part of a memory in which the change information and the change data are stored.
  • the source database is included in the record of the redo log of the source database.
  • the mode change in the mode change step can be executed if the work queue is empty.
  • the step of acquiring resource data may be acquiring resource data which is data for monitoring at least one resource among CPU usage, memory usage, and input / output load of the source database server.
  • a server for performing change data capture (CDC) between a source database and a target database may include a resource data acquisition module for acquiring resource data which is data of monitoring current resources of the source database server, a comparison information generation module configured to compare the resource data with a predetermined source database server load threshold and generate comparison information; A control module for determining an operation mode of the change data capture process operating in the source database server based on the comparison information, wherein the operation mode includes a union mode and a division mode, and changes the operation mode of the process to the determined mode. It may include.
  • a method for performing change data capture (CDC) between a source database and a target database may further include obtaining resource data, which is data for monitoring current resources of the source database server, generating comparison information by comparing the resource data with a predetermined source database server load threshold, and generating comparison information;
  • the process in the mode determined in the mode determination step and the mode determined in the mode determination step to determine an operation mode of the change data capture process operating in the source database server based on the comparison information, wherein the operation mode includes a union mode and a division mode. It may include a mode change step of changing the operation mode of.
  • FIG. 1 is a conceptual diagram illustrating a database system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a configuration of a source database server according to an exemplary embodiment of the present disclosure.
  • FIG. 3 is a conceptual diagram illustrating a configuration of a work queue referred to by threads of each operation in a union mode according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a synchronization method of a database in which an operation mode can be changed according to an embodiment of the present disclosure.
  • FIG. 5 is a conceptual diagram illustrating a method of synchronizing a database in a union mode according to an embodiment of the present disclosure.
  • FIG. 6 is a conceptual diagram illustrating a synchronization method of a database in a division mode according to an embodiment of the present disclosure.
  • FIG. 7 is a block diagram of an example computing device for implementing synchronization of a database in accordance with one embodiment of the present disclosure.
  • a component may be, but is not limited to being, a process running on a processor, a processor, an object, an thread of execution, a program, and / or a computer.
  • an application running on a computing device and the computing device can be a component.
  • One or more components can reside within a processor and / or thread of execution, and a component can be localized within one computer or distributed between two or more computers.
  • these components can execute from various computer readable media having various data structures stored thereon.
  • the components may for example be signals having one or more data packets (e.g., data from one component interacting with another component in a local system, distributed system, and / or data over a network such as another system and the internet via signals and / or signals May communicate via local and / or remote processes.
  • data packets e.g., data from one component interacting with another component in a local system, distributed system, and / or data over a network such as another system and the internet via signals and / or signals May communicate via local and / or remote processes.
  • Computer-readable media herein can include any kind of storage media on which programs and data are stored so that they can be read by a computer system.
  • a medium may include a read only memory (ROM), a random access memory (RAM), a compact disc (CD) -ROM, a digital video disc (DVD) -ROM, a magnetic tape, a floppy disk, and optical data.
  • ROM read only memory
  • RAM random access memory
  • CD compact disc
  • DVD digital video disc
  • Storage device and the like Additionally, such media may be distributed over networked systems, storing computer readable codes and / or instructions in a distributed fashion.
  • the database and database server herein can be used interchangeably.
  • the record of the redo log herein may be used interchangeably with the redo log.
  • FIG. 1 is a conceptual diagram illustrating a database system according to an embodiment of the present disclosure.
  • the source database server 100 may be located remotely from the target database server 200 or may be configured as one server.
  • the source database server 100 and the target database server 200 may refer to servers of the same type or different types of servers.
  • the source database server and the target database server may include, but are not limited to, any type of database server including a device including a processor and a memory. That is, the source database server may include software, firmware and hardware or a combination thereof.
  • the software may include application (s) for creating, deleting and modifying database tables, schemas, indexes and / or data.
  • Source database server 100 may receive transactions from a client or other computing device, and example transactions are retrieving, adding, modifying, and deleting data, tables and / or indexes, etc. at source database server 100. It may include at least one implementation.
  • the target database server 200 refers to a database server to which data changes generated in the source database server 100 are replicated or synchronized, and may include at least a part of the features of the source database server 100 described above.
  • the target database server 200 may store a copy of at least one of data, data types, tables, indexes, change information, change data, and redo log records of the source database server 100. have.
  • Records of redo logs herein may include data records capable of identifying the structure, organization, and / or changes related to tables, columns, data types, indexes, data, and the like within the database.
  • the CDC module 300 may mean a separate entity for implementing CDC between the source database server 100 and the target database server 200.
  • the CDC module 300 may perform any operations for implementing CDC features.
  • the CDC module 300 may include, but is not limited to, a device including a processor and a memory for executing and storing instructions as any type of server.
  • the CDC module 300 may include software, firmware and hardware or a combination thereof.
  • software implementing the operations of the CDC module 300 may be installed in at least one of the source database server 100 and the target database server 200.
  • the functions of the CDC module 300 shown in FIG. 1 may be integrated in at least one of the source database server 100 and the target database server 200.
  • the CDC functionality of the CDC module 300 may be replaced by the source database server 100.
  • FIG. 2 is a block diagram illustrating a configuration of a source database server 100 according to an exemplary embodiment of the present disclosure.
  • FIG. 2 illustrates the source database server 100 as an example, as described above, the source database server 100 may be replaced with at least one of the CDC module 300 and the target database server 200, or a combination thereof. Can be.
  • the source database server 100 includes a resource data acquisition module 110, a comparison information generation module 120, a control module 130, a transmission / reception module 140, and a storage module 150. can do.
  • the components of the source database server 100 described above are exemplary, and additional components may be present or some of them may be omitted.
  • the resource data acquisition module 110 may acquire resource data which is data of monitoring a current resource of the source database server 100.
  • the source database server 100 may obtain resource data quantitatively or calculate it as a percentage of all resources based on current resource usage. Alternatively, the resource data acquisition module 110 may obtain resource data for the available resource.
  • the resource data acquisition module 110 may monitor resources of the source database server 100 in real time, and may retrieve past resource data. The resource data acquisition module 110 may predict a future resource situation of the source database server 100 based on at least one of past resource data and current resource data.
  • the resource data acquisition module 110 may acquire resource data which is data for monitoring at least one resource among CPU usage, memory usage, and input / output load of the source database server 100. For example, when there are many users accessing the source database server 100 and the CPU usage increases rapidly, resource data may be generated based on the increased CPU usage. In addition, when the amount of data that the work queue can contain in the memory exceeds an acceptable amount, the resource data may include information with 0% of available memory.
  • the resource data is only an example and the present disclosure is not limited thereto.
  • the comparison information generation module 120 may generate the comparison information by comparing the resource data with a predetermined source database server load threshold.
  • the comparison information may be information obtained by comparing the magnitude of resource data and a predetermined source database server load threshold.
  • the threads of the comparison information generation module 120 may access at least one of a memory and a persistent storage device and generate comparison information with reference to the resource data.
  • the predetermined source database server load threshold may be a reference value that can visually show performance degradation of the system. For example, you can set the CPU usage value for accessing the source database to load specific data longer than 0.5ms.
  • the predetermined source database server load threshold may be determined as a quantitative ratio of total resources. For example, 70% of the total memory may be set as the source database server load threshold to compare with the current memory usage.
  • the predetermined source database server load threshold is illustrative only and the disclosure is not so limited.
  • the control module 130 may control overall operations of the source database server 100. That is, the control module 130 checks the redo log of the source database, extracts the change information included in the record of the redo log, analyzes the transaction on the extracted change information, and reassembles the data for each related transaction. An assembly operation of generating change data, a commit operation of completing the change data, and a reflection operation of reflecting the changed change data in the target database may be performed. The assembly operation may include a conversion operation into a format suitable for the target database. In addition, the assembling operation may include an operation of generating, transforming, or performing a query (DNL, DDL, etc.) that can be recognized by the target database server 200.
  • DNS DDL, etc.
  • the assembling operation may include generating and converting data into data which can be transmitted through a network.
  • the control module 130 may add or modify at least a portion of the target database based on the changed change data.
  • the reflection operation may be performed. At least one of the assembly operation and the reflection operation may be performed by the target database server 200.
  • control module 130 may determine an operation mode of the change data capture process operating in the source database server based on the comparison information.
  • the operation mode may include a union mode and a division mode.
  • the control module 130 may determine the union mode as an operation mode of the change data capture process when the resource data in the comparison information is less than a predetermined source database server load threshold.
  • the control module 130 may determine the operation mode of the change data capture process as the division mode when the resource data in the comparison information is greater than or equal to a predetermined source database server load threshold.
  • the condition for determining the operation mode may further include various conditions.
  • the control module may determine the operating mode to the union mode when the resource data is less than the predetermined source database server load threshold for three consecutive seconds or more.
  • the condition may include a condition in which it is impossible to change to another operation mode within a preset time, so as not to create a situation in which only the mode change is continued.
  • the condition for determining the operation mode may be determined in consideration of the delay time for processing data due to the mode change. Conditions for determining the operation mode are only examples, and the present disclosure is not limited thereto.
  • the union mode may allow the change data capture process to perform an extraction operation, an assembly operation and a reflection operation, or a combination of the above operations at the source database server 100. Union mode may further include operations other than the above operations.
  • the control module 130 may execute the extraction operation to extract the change information included in the record of the redo log of the source database from the source database.
  • the record of the redo log may include change information of one or more redo logs.
  • the record of the redo log may include one or more work instructions that constitute a transaction.
  • the change information may be information obtained by analyzing changes of records of one or more redo logs.
  • the change information may be stored in the first work queue.
  • control module 130 may execute an assembly operation of analyzing the transaction on the extracted change information and reassembling each associated transaction to generate change data.
  • the control module 130 may reassemble the transactions included in the change information of the redo log for each related transaction until the committed transaction is analyzed.
  • the reassembly operation for each transaction may mean the reproduction of a transaction.
  • the committed change data may be stored in the second work queue.
  • the control module 130 may complete the commit of the change data and execute a reflection operation to reflect the committed change data in the target database.
  • the commit of the change data can be completed and the committed change data can be generated.
  • the committed change data may be reflected in the target database through a preset session.
  • the reflecting operation may be executed to the target database remotely by the change data capture process of the source database server.
  • the transceiving module 140 may transmit the changed change data through a preset session between the change data capture process of the source data server and the target database.
  • the preset session may include any network, such as a public network, a private network, a private network, a virtual private network (VPN).
  • the preset session may include any wireless network communication.
  • the preset session is merely an example and the present disclosure is not limited thereto.
  • the extraction operation, the assembly operation, and the reflection operation may be executed by the extraction thread, the assembly thread, and the reflection thread, respectively.
  • the control module 130 may include an extraction thread, an assembly thread, and a reflection thread.
  • the extracting thread, the assembling thread, and the reflecting thread are determined for each execution operation, and thus may execute only the fixed operation of each thread without performing another operation.
  • the source database server 100 reproduces the transaction by communicating with the memory of the source database server instead of reassembling the transaction through the network communication with the target database server 200, the speed of the assembly operation to reproduce the transaction is increased. Can be faster.
  • the changed change data is directly reflected in the target database. Therefore, the total speed of database synchronization can be improved because fewer data is transmitted through network communication.
  • the division mode may allow the change data capture process to perform an extraction operation and a transmission operation or a combination of the operations at the source database server 100.
  • the source database server 100 generates the change data by reassembling the target database server 200 for each transaction for the change information, and reflects the changed change data to the target database so that the changed change data is reflected in the target database. Can be transmitted.
  • the division mode may further include operations other than the above operations.
  • the control module 130 may execute the extraction operation to extract the change information included in the record of the redo log of the source database from the source database.
  • the record of the redo log may include change information of one or more redo logs.
  • the record of the redo log may include one or more work instructions that constitute a transaction.
  • the change information may be information obtained by analyzing changes of records of one or more redo logs.
  • the change information may be stored in a work queue.
  • the transmission / reception module 140 In the division mode, the transmission / reception module 140 generates the change data by reassembling the CDC process of the target database server 200 for each transaction for the change information, and reflects the changed change data to the target database.
  • a transmission operation for transmitting the change information may be performed.
  • the transmission / reception module 140 of the source database server 100 transmits the change information to the target database server 200 so that the control module of the target database server 200 performs an assembly operation of generating change data based on the change information. Can be.
  • the transmission and reception module of the target database server 200 may receive the change information.
  • the target database server 200 analyzes a transaction on the change information based on the change information, performs an assembly operation of generating change data by reassembling the associated transaction, and targets the changed change data when the change data is completed. Through the reflecting operation reflected in the database, the changed data committed to the target database can be recorded.
  • the extraction operation and the transmission operation may be executed by the extraction thread and the transmission thread, respectively.
  • the control module 130 may include an extraction thread and a transmission thread.
  • the extraction thread and the transmission thread have their respective execution operations determined, so that only the fixed operations of each thread may be executed without performing other operations.
  • Division mode can reduce the load on the source database server by allowing the assembly operation of transactions to run on the target database server. Division mode can increase the amount of available resources on the source database server and allow more users access or allow multiple access or data changes to the database server.
  • the control module 130 may change an operation mode of the change data capture process to a mode determined based on the comparison information.
  • Operation modes of the change data capture process include a union mode and a division mode. Threads operating in the source database and the target database may be changed according to the operation mode. According to the operation mode, the source database server and the target database server may be selected as the same operation mode, or the operation mode of the target database server may be changed based on the operation mode of the source database server. The operation thread for performing each operation in the source database server 100 may be changed according to the operation mode.
  • the transmission / reception module 140 may provide a communication function with database servers and / or a client. For example, the transmission / reception module 140 may transmit and receive at least one of a record, change information, and change data of the extracted redo log to the target database. In addition, the transmit / receive module 140 may communicate with database servers and / or clients using any of the networks and / or database links described above.
  • the transceiving module 140 may receive data storage, modification, inquiry and index build, modification, inquiry request, etc. from the client.
  • the transmit / receive module 140 may transfer information from the source database server 100 to the target database server 200 in a manner that calls a procedure to the target database server 200.
  • the transmission / reception module 140 may provide a function of transmitting / receiving any data / information transmitted between servers in relation to database replication.
  • the storage module 150 may store any data stored in association with performing the CDC, such as storing at least one of the extracted change information and the change data.
  • the storage module 150 may allow any data stored in connection with performing a task of the database servers 100 and 200 to be stored.
  • the storage module 150 may process and manage requests related to the storage (including updates) of data at the server.
  • the storage module 150 may determine and store data and change information.
  • the storage module 150 may determine a storage location for data and / or change information. For example, the storage module 150 may determine a storage location for a work queue of a memory for storing data. As another example, storage module 150 may determine a storage location on the persistent storage medium for the data.
  • FIG. 3 is a conceptual diagram illustrating a configuration of a work queue referred to by threads of each operation in a union mode according to an embodiment of the present disclosure.
  • a thread executing an assembly operation and a reflection operation performed by the source database server 100 may be processed with reference to the first work queue and the second work queue, respectively. At least one of change information and change data may be stored in the work queue.
  • the work queue may be at least part of a memory cache.
  • the work queue may be at least part of persistent storage.
  • the assembling thread performing the assembling operation may repeatedly execute the assembling operation of analyzing a transaction on the extracted change information and reassembling for each related transaction.
  • the reflection thread that performs the reflection operation may complete the commit of the change data and may repeatedly execute the reflection operation that reflects the changed change data in the target database.
  • the extraction thread for executing the extraction operation may repeatedly execute the extraction operation for extracting the change information included in the record of the redo log of the source database in the source database.
  • work queues change information and a queue in which change data are stored may be separately configured.
  • change information may be stored in the first work queue and change data may be stored in the second work queue.
  • the extraction thread executing the extraction operation may extract change information by referring to the record of the redo log.
  • the extraction thread may store the change information in a first work queue.
  • the assembling thread executing the assembling operation may generate the change data by analyzing the transaction by referring to the change information stored in the first work queue and reassembling the associated transaction.
  • the assembly operation can be executed repeatedly until the committed transaction is analyzed.
  • the change data obtainable as a result of reassembling the transaction may be stored in the second work queue by the assembling thread.
  • the reflecting thread executing the reflecting operation may complete the commit of the change data by referring to the change data stored in the second work queue, and reflect the committed change data in the target database.
  • the change information and the change data may be stored in the work queue, and the assembling thread performing the assembly operation may update, add, delete, or change information stored in the second work queue.
  • the extraction thread executing the extraction operation may refer to at least one of the redo log and the record of the redo log, and may update, add, delete, or change information stored in the first work queue.
  • the change when an operation mode change occurs between the union mode and the division mode, the change may be executed in a state where all work queues are empty.
  • the assembly thread may change the first work queue to an empty state after completing the reference to the change information in the first work queue.
  • the reflection thread may change the second work queue to an empty state when completing the reference to the change data stored in the second work queue.
  • the extraction thread and the transmission thread of the division mode may be deactivated, and the extraction thread, the assembly thread, and the reflection thread of the union mode may be activated.
  • the extraction thread, assembly thread, and reflection thread of union mode may be deactivated, and the extraction thread and transmission thread of division mode may be activated.
  • FIG. 4 is a flowchart illustrating a synchronization method of a database in which an operation mode can be changed according to an embodiment of the present disclosure.
  • the target database server 200 or the CDC module ( 300) or a combination thereof For convenience of description of the method presented in FIG. 4, it will be described below as being performed by the source database server 100, but as described above, according to an implementation aspect, the target database server 200 or the CDC module ( 300) or a combination thereof.
  • the source database server 100 may acquire resource data which is data for monitoring current resources of the source database server (410).
  • the resource data may be stored in a portion of at least one of the memory and the persistent storage.
  • the source database server 100 may generate comparison information by comparing the resource data with a predetermined source database server load threshold (420).
  • the resource data and the source database server load threshold can be compared in magnitude.
  • the source database server 100 may determine an operation mode of the change data capture process operating in the source database server based on the comparison information (430).
  • the operation mode may include a union mode and a division mode.
  • the union mode may include an extraction operation, an assembly operation, and a reflection operation.
  • the division mode may include an extraction operation and a transmission operation.
  • the division mode in the target database server 200 may include an assembly dynamic and a reflection operation.
  • the source database server 100 may change an operation mode of the process to a mode determined based on the comparison information (440).
  • FIG. 5 is a conceptual diagram illustrating a method for synchronizing between databases in the union mode according to an embodiment of the present disclosure.
  • the control module 130 may change the change data process 530 of the source database server to the union mode based on the change information.
  • the control module 130 may extract change information of the redo log.
  • the change information may be stored in the first work queue 501.
  • the control module 130 of the source database server 100 may generate a change data by analyzing a transaction for change information and reassembling each associated transaction.
  • the change data may be stored in the second work queue 502.
  • the control module 130 may complete the commit of the change data and apply the changed change data to the target database.
  • the change data committed by the control module may be a value to be reflected in the target database as a determined value.
  • the transmission / reception module 140 of the source database server 100 may transmit the changed change data through a preset session between the change data capture process 530 of the source database server and the target database to reflect the committed change data in the target database. Can be.
  • the source database server 100 reproduces the transaction by communicating with the memory of the source database server instead of reassembling the transaction through the network communication with the target database server 200, the speed of the assembly operation to reproduce the transaction is increased. Can be faster.
  • the changed change data is directly reflected in the target database. Therefore, the total speed of database synchronization can be improved because fewer data is transmitted through network communication.
  • FIG. 6 is a conceptual diagram illustrating a method for synchronizing between databases in a division mode according to an embodiment of the present disclosure.
  • the control module 130 may change the change data process 630 of the source database server 100 and the change data process of the target database server 200 to the division mode based on the change information. .
  • the control module 130 may extract change information of the redo log from the source database.
  • the change information may be stored in a work queue.
  • the transmission / reception module 140 of the source database server may transmit the change information to the target database.
  • the change information may be transmitted through a preset session between the source database server 100 and the target database server 200.
  • the transmission and reception module of the target database server 200 may receive the change information.
  • the received change information may be stored in the third work queue 601.
  • the control module of the target database server 200 may generate a change data by analyzing a transaction for the change information and reassembling for each related transaction.
  • the change data may be stored in the fourth work queue 602.
  • the control module of the target database server 200 may complete the commit of the change data and reflect the committed change data in the target database.
  • the committed change data is data whose changes are confirmed and may be data to be reflected in the target database.
  • the division mode may reduce the load of the source database server by allowing the assembly operation to be executed in the source database server 100 to be executed in the target database server 200.
  • Division mode can increase the amount of available resources on the source database server and allow more users access or allow multiple access or data changes to the database.
  • FIG. 7 is a block diagram of an exemplary computing device for implementing a CDC solution in accordance with one embodiment of the present disclosure.
  • program modules include routines, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types.
  • methods of the present invention may be used in uniprocessor or multiprocessor computer systems, minicomputers, mainframe computers, as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, and the like (each of which And other computer system configurations, including one or more associated devices, which may operate in conjunction with one or more associated devices.
  • the described embodiments of the invention can also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network.
  • program modules may be located in both local and remote memory storage devices.
  • Computers typically include a variety of computer readable media. Any medium that can be accessed by a computer can be a computer readable medium, which can be volatile and nonvolatile media, transitory and non-transitory media, removable and non-transitory media. Removable media.
  • computer readable media may comprise computer storage media.
  • Computer storage media includes volatile and nonvolatile media, temporary and non-transitory media, removable and non-removable media implemented in any method or technology for storing information such as computer readable instructions, data structures, program modules or other data. Include.
  • Computer storage media may include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROMs, digital video disks or other optical disk storage devices, magnetic cassettes, magnetic tapes, magnetic disk storage devices or other magnetic storage devices, Or any other medium that can be accessed by a computer and used to store desired information.
  • a transmit / receive medium typically implements computer readable instructions, data structures, program modules or other data in a modulated data signal, such as a carrier wave or other transport mechanism. Includes all information delivery media.
  • modulated data signal means a signal that has one or more of its characteristics set or changed to encode information in the signal.
  • transmission and reception (communication) media include wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, and other wireless media.
  • FIG. 7 illustrates an exemplary environment for implementing various aspects of the present invention, including a computing device 702 for implementing the CDC features of the present invention, wherein the computing device 702 includes a processing device 704, a system memory. 706 and system bus 708.
  • System bus 708 connects system components, including but not limited to system memory 706, to processing unit 704.
  • Processing unit 704 may be any of a variety of commercial processors. Dual processor and other multiprocessor architectures may also be used as the processing unit 704.
  • the system bus 708 can be any of several types of bus structures that can be further interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures.
  • System memory 706 includes read only memory (ROM) 710 and random access memory (RAM) 712.
  • ROM read only memory
  • RAM random access memory
  • the basic input / output system (BIOS) is stored in nonvolatile memory 710, such as ROM, EPROM, EEPROM, etc., which assists in transferring information between components within computing device 702, such as during startup. Contains basic routines.
  • RAM 712 may also include high speed RAM, such as static RAM for caching data.
  • Computing device 702 may also include internal hard disk drive (HDD) 714 (eg, EIDE, SATA— internal hard disk drive 714 may also be configured for external use within a suitable chassis (not shown).
  • HDD hard disk drive
  • FDD Magnetic floppy disk drive
  • optical disc drive 720 eg, CD-ROM disk ( 722, or to read from or write to other high capacity optical media, such as a DVD.
  • the hard disk drive 714, the magnetic disk drive 716, and the optical disk drive 720 are each hard. It can be connected to the system bus 708 by a disk drive interface 724, a magnetic disk drive interface 726, and an optical drive interface 728. Interfaces for External Drive Implementations
  • the switch 724 includes at least one or both of the USB (Universal Serial Bus) and IEEE 1394 interface technologies.
  • drives and their associated computer readable media provide nonvolatile storage of data, data structures, computer executable instructions, and the like.
  • the drives and media correspond to storing any data in a suitable digital format.
  • computer readable media refers to HDDs, removable magnetic disks, and removable optical media such as CDs or DVDs, those skilled in the art will appreciate zip drives, magnetic cassettes, flash memory cards, cartridges, and the like.
  • Other types of computer readable media may also be used in the exemplary operating environment and it will be appreciated that any such media may include computer executable instructions for performing the methods of the present invention.
  • Program modules may be stored in the drive and RAM 712, including operating system 730, one or more application programs 732, other program modules 734, and program data 736. All or a portion of the operating system, applications, modules and / or data may also be cached in RAM 712. It will be appreciated that the present invention may be implemented in various commercially available operating systems or combinations of operating systems.
  • a user may enter commands and information into the computing device 702 through one or more wired / wireless input devices, such as a keyboard 738 and a mouse 740.
  • Other input devices may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like. While these and other input devices are often connected to the processing unit 704 via an input device interface 742 that is connected to the system bus 708, parallel ports, IEEE 1394 serial ports, game ports, USB ports, IR interfaces, Etc. can be connected by other interfaces.
  • a monitor 744 or other type of display device is also connected to the system bus 708 via an interface such as a video adapter 746.
  • the computer generally includes other peripheral output devices (not shown) such as speakers, printers, and the like.
  • Computing device 702 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer (s) 748, via wired and / or wireless communications.
  • Remote computer (s) 748 may be a workstation, server computer, router, personal computer, portable computer, microprocessor-based entertainment device, peer device, or other conventional network node, and generally is coupled to computing device 702.
  • the logical connections shown include wired / wireless connections to a local area network (LAN) 752 and / or a larger network, such as a telecommunications network (WAN) 754.
  • LAN and WAN networking environments are commonplace in offices and businesses, facilitating enterprise-wide computer networks such as intranets, all of which may be connected to worldwide computer networks, such as the Internet.
  • computing device 702 When used in a LAN networking environment, computing device 702 is connected to local network 752 through a wired and / or wireless communication network interface or adapter 756. Adapter 756 may facilitate wired or wireless communication to LAN 752, which also includes a wireless access point installed therein for communicating with wireless adapter 756.
  • computing device 702 When used in a WAN networking environment, computing device 702 may include a modem 758, connect to a communication server on WAN 754, or establish communications over WAN 754, such as over the Internet. Other means.
  • the modem 758 which may be an internal or external and wired or wireless device, is connected to the system bus 708 via the serial port interface 742.
  • program modules or portions thereof described with respect to computing device 702 may be stored in remote memory / storage device 750. It will be appreciated that the network connections shown are exemplary and other means of establishing a communications link between the computers can be used.
  • Computing device 702 may be any wireless device or entity disposed and operating in wireless communication, such as a printer, scanner, desktop and / or portable computer, portable data assistant, communications satellite, wireless detectable tag, and the like. Communicate with any associated equipment or location and telephone. This includes at least Wi-Fi and Bluetooth wireless technology. Thus, the communication can be a predefined structure as in a conventional network or simply an ad hoc communication between at least two devices.
  • Wi-Fi Wireless Fidelity
  • Wi-Fi is a wireless technology such as a cell phone that allows such a device, for example, a computer, to transmit and receive data indoors and outdoors, ie anywhere within the coverage area of a base station.
  • Wi-Fi networks use a wireless technology called IEEE 802.6 (a, b, g, etc.) to provide secure, reliable, high-speed wireless connectivity.
  • Wi-Fi may be used to connect computers to each other, to the Internet, and to a wired network (using IEEE 802.3 or Ethernet).
  • Wi-Fi networks can operate in unlicensed 2.4 and 5 GHz wireless bands, for example, at 6 Mbps (802.6a) or 54 Mbps (802.6b) data rates, or in products that include both bands (dual band). have.
  • the various embodiments presented herein may be embodied in a method, apparatus, or article of manufacture using standard programming and / or engineering techniques.
  • article of manufacture includes a computer program, carrier, or media accessible from any computer-readable device.
  • computer-readable media may include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical discs (eg, CDs, DVDs, etc.), smart cards, and flash memory. Devices, such as, but not limited to, EEPROM, cards, sticks, key drives, and the like.
  • various storage media presented herein include one or more devices and / or other machine-readable media for storing information.
  • machine-readable medium includes, but is not limited to, various other media capable of storing and retaining instruction (s) and / or data.
  • the present invention relates to a database, and more particularly, to provide an effective change data capture (CDC) technique.
  • CDC change data capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

인코딩된 명령들을 포함하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 소스 데이터베이스에서 타겟 데이터베이스로의 변경 데이터 캡쳐(CDC:Change Data Capture)를 위한 이하의 단계들을 수행하도록 하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 단계들은 상기 소스 데이터베이스 서버의 현재 자원(resource)을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 단계, 상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 단계, 상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드―상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함―를 결정하는 모드 결정 단계 및 상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계를 포함할 수 있다.

Description

데이터베이스의 이중화를 위한 기법
본 발명은 데이터베이스에 관한 것으로서, 보다 구체적으로 효율적인 변경 데이터 캡쳐(CDC:Change Data Capture) 기법에 관한 것이다.
기업의 비즈니스는 폭발적인 데이터의 증가와 다양한 환경 및 플랫폼의 등장으로 빠르게 확장되고 있다. 새로운 비즈니스 환경이 도래함에 따라서, 보다 더 효율적이고 유연한 데이터 서비스와 정보의 처리, 데이터 관리 기능이 필요하게 되었다. 이러한 변화에 맞춰서 기업 비즈니스 구현의 기반이 되는 고성능, 고가용성 및 확장성의 문제를 해결하기 위한 데이터베이스에 대한 연구가 계속되고 있다.
기업 내에서 관리되는 데이터는 종종 소스(source) 위치로부터 타겟(target) 위치로 마이그레이션 또는 복제되어 관리할 필요가 있다. 예를 들어, 은행 업무를 구현하기 위한 데이터베이스 시스템은, 액세스하는 클라이언트의 특성에 따라서 다수의 외부 고객들이 동시에 액세스할 수 있는 데이터베이스 및 내부 직원들이 액세스할 수 있는 데이터베이스로 분류될 수 있다. 하나의 데이터베이스 시스템에서 이러한 2개의 데이터베이스를 사용하는데 있어서 데이터의 정합성을 유지하기 위해서는 양 데이터베이스들 간에 동기화가 이루어져야 한다. 하지만, 이러한 동기화를 구현하기 위해서는 데이터베이스 리소스들에 대한 오버헤드를 초래할 수 있다.
최근들어, 실시간 데이터 분석에 대한 기업들의 요구가 거세지면서 특정 DB에서 데이터가 변경되면 이를 캡처해 다른 DB로 옮겨주는 역할을 하는 기술에 대한 필요성이 부각되고 있다. 기업의 분석용 DB인 데이터웨어하우스(DW)는 전날까지 업무 시간에 발생한 데이터를 업무가 끝난 야간 시간에 배치(Batch)를 통해 업데이트 하는 것이 일반적이었다. 이 때문에 기존의 DW 구조에서는 어제까지의 데이터를 분석 대상으로 할 수밖에 없었다. 예를 들어, 은행에서 고객의 대출을 심사할 때 어제까지의 데이터를 보고 평가를 해왔다. 이 때문에 오늘 변경된 고객 정보는 대출 심사에서 놓칠 수 밖에 없었다. 따라서 데이터베이스의 동기화에서 동기화의 속도를 개선하기위한 수요가 존재한다.
대한민국 특허공개공보 제10-2015-0137884는 데이터베이스 동기화의 일 예를 개시한다.
본 개시는 전술한 배경기술에 대응하여 안출된 것으로, 데이터베이스의 동기화 속도를 개선하기 위한 것이다.
본 개시의 일 실시예에 따라 인코딩된 명령들을 포함하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램으로서, 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 소스 데이터베이스에서 타겟 데이터베이스로의 변경 데이터 캡쳐(CDC:Change Data Capture)를 위한 이하의 단계들을 수행하도록 하는 컴퓨터 프로그램이 개시된다. 상기 단계들은, 상기 소스 데이터베이스 서버의 현재 자원(resource)을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 단계, 상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 단계, 상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드－상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함－를 결정하는 모드 결정 단계 및 상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계를 포함할 수 있다.
대안적으로, 상기 모드 결정 단계는 상기 비교 정보에서 상기 자원 데이터가 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값 미만인 경우 상기 변경 데이터 캡쳐 프로세스의 동작 모드가 상기 유니온 모드로 결정되는 단계 및 상기 비교 정보에서 상기 자원 데이터가 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값 이상인 경우 상기 변경 데이터 캡쳐 프로세스의 동작 모드가 상기 디비전 모드로 결정되는 단계를 포함할 수 있다.
대안적으로, 상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계에 의하여 상기 유니온 모드로 동작 모드가 변경된 경우, 상기 소스 데이터베이스에서 상기 소스 데이터베이스의 리두로그의 레코드(record)에 포함된 변경 정보를 추출 하는 추출 단계, 추출된 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성하는 조립 단계 및 타겟 상기 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영를 더 포함할 수 있다.
대안적으로, 상기 조립 단계 내지 반영 단계 각각에서 각 단계를 실행하는 스레드는 작업 큐―상기 작업 큐는 상기 변경 정보 및 상기 변경 데이터가 저장된 메모리의 적어도 일부임―를 참조하여 처리될 수 있다.
대안적으로, 상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계에 의하여 상기 디비전 모드로 동작 모드가 변경된 경우, 상기 소스 데이터베이스에서 상기 소스 데이터베이스의 리두로그의 레코드에 포함된 변경 정보를 추출 하는 추출 단계 및 타겟 데이터베이스 서버가 상기 변경 정보에 대한 트랜잭션별로 재조립하여 변경 데이터를 생성하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하도록 상기 타겟 데이터베이스로 상기 변경 정보를 전송하는 전송 단계를 더 포함할 수 있다.
대안적으로, 모드 변경 단계에서 모드 변경은 작업 큐가 비어 있는(empty) 경우 실행될 수 있다.
대안적으로, 상기 자원 데이터 획득 단계는 상기 소스 데이터베이스 서버의 CPU 사용량, 메모리 가용량 및 입출력 부하중 적어도 하나의 자원을 모니터링한 데이터인 자원 데이터를 획득하는 단계일 수 있다.
본 개시의 일 실시예에 따라, 소스 데이터베이스와 타겟 데이터베이스 간의 변경 데이터 캡쳐(CDC)를 수행하기 위한 서버가 개시된다. 상기 서버는 상기 소스 데이터베이스 서버의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 모듈, 상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 모듈 및 상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드－상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함－를 결정하고, 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 제어 모듈을 포함할 수 있다.
본 개시의 일 실시예에 따라, 소스 데이터베이스와 타겟 데이터베이스 간의 변경 데이터 캡쳐(CDC)를 수행하기 위한 방법이 개시된다. 상기 방법은 상기 소스 데이터베이스 서버의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 단계, 상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 단계, 상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드－상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함－를 결정하는 모드 결정 단계 및 상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계를 포함할 수 있다.
본 개시내용의 일 실시예에 따라, 데이터베이스의 동기화 속도를 개선할 수 있다.
상기 언급된 본 개시내용의 특징들이 상세하게, 보다 구체화된 설명으로, 이하의 실시예들을 참조하여 이해될 수 있도록, 실시예들 중 일부는 첨부되는 도면에서 도시된다. 또한, 도면과의 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하는 것으로 의도된다. 그러나, 첨부된 도면들은 단지 본 개시내용의 특정한 전형적인 실시예들만을 도시하는 것일 뿐, 본 개시의 범위를 한정하는 것으로 고려되지는 않으며, 동일한 효과를 갖는 다른 실시예들이 충분히 인식될 수 있다는 점을 유의하도록 한다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템을 도시한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 소스 데이터베이스 서버의 구성을 나타낸 블록 구성도이다.
도 3은 본 개시의 일 실시예에 따라 유니온 모드의 각 동작의 스레드들이 참조하는 작업 큐의 구성을 나타낸 개념도이다.
도 4는 본 개시의 일 실시예에 따라 동작 모드가 변경 가능한 데이터베이스의 동기화 방법을 도시하는 순서도이다.
도 5는 본 개시의 일 실시예에 따라 유니온 모드에서 데이터베이스의 동기화 방법을 도시한 개념도이다.
도 6는 본 개시의 일 실시예에 따라 디비전 모드에서 데이터베이스의 동기화 방법을 도시한 개념도이다.
도 7은 본 개시의 일 실시예에 따라 데이터베이스의 동기화를 구현하기 위한 예시적인 컴퓨팅 장치에 대한 블록 구성도이다.
다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 개시의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이어그램 형태로 제공된다.
본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정, 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터 내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통한 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.
본 명세서에서의 컴퓨터 판독가능 매체는 컴퓨터 시스템에 의해서 판독될 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장 매체를 포함할 수 있다. 본 발명의 일 양상에 따르면, 이러한 매체는 ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등을 포함할 수 있다. 추가적으로, 이러한 매체는 네트워크로 연결된 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독가능한 코드들 및/또는 명령들을 저장할 수도 있다.
더불어, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.
더불어, 본 명세서에서 사용되는 용어 "정보" 및 "데이터"는 종종 서로 상호교환 가능하도록 사용될 수 있다.
본 개시의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 개시을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서의 데이터베이스와 데이터베이스 서버는 서로 상호교환 가능하게 사용될 수 있다. 또한, 본 명세서에서의 리두로그의 레코드는 리두로그와 상호교환 가능하게 사용될 수 있다.
도 1은 본 개시의 일 실시예에 따른 데이터베이스 시스템을 도시한 개념도이다.
소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200) 원격에 위치할 수도 있고 하나의 서버로 구성될 수도 있다. 또한 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200)는 동일한 타입의 서버들이거나 또는 구성이 다른 종류의 서버를 의미할 수 있다.
추가적으로, 소스 데이터베이스 서버 및 타겟 데이터베이스 서버는 임의의 타입의 데이터베이스 서버로서 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. 즉, 소스 데이터베이스 서버는 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 소프트웨어는 데이터베이스 테이블, 스키마, 인덱스 및/또는 데이터를 생성, 삭제 및 수정하기 위한 애플리케이션(들)을 포함할 수 있다. 소스 데이터베이스 서버(100)는 클라이언트 또는 다른 컴퓨팅 디바이스로부터의 트랜잭션들을 수신할 수 있으며, 예시적인 트랜잭션들은 소스 데이터베이스 서버(100)에서의 데이터, 테이블 및/또는 인덱스 등을 검색, 추가, 수정 및 삭제 중 적어도 하나의 수행을 포함할 수 있다.
타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)에서 발생된 데이터 변경 내용이 복제 또는 동기화되는 데이터베이스 서버를 의미하며, 전술한 소스 데이터베이스 서버(100)의 특징의 적어도 일부분을 포함할 수 있다. 예를 들어, 타겟 데이터베이스 서버(200)는 소스 데이터베이스 서버(100)의 데이터, 데이터 타입들, 테이블들, 인덱스들, 변경 정보, 변경 데이터 및 리두로그의 레코드들 중 적어도 하나에 대한 복사본을 저장할 수 있다.
본 명세서에서의 리두로그의 레코드는 데이터베이스 내의 데이터의 구조, 조직에 대한 변경내용 및/또는 테이블, 컬럼, 데이터 타입, 인덱스, 데이터 등과 관련된 변경 내용을 식별할 수 있는 데이터 레코드를 포함할 수 있다.
본 발명의 일 실시예에서, CDC 모듈(300)은 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200)간의 CDC를 구현하기 위한 별도의 엔티티를 의미할 수 있다. 따라서, CDC 모듈(300)은 CDC 특징들을 구현하기 위한 임의의 동작들을 수행할 수 있다.
CDC 모듈(300)은 임의의 타입의 서버로서 명령들을 실행 및 저장하기 위한 프로세서 및 메모리를 포함하는 디바이스를 포함할 수 있으나 이로 한정되지는 않는다. CDC 모듈(300)은 소프트웨어, 펌웨어 및 하드웨어 또는 이들의 조합을 포함할 수도 있다. 예를 들어, CDC 모듈(300)의 동작들을 구현하는 소프트웨어는 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200) 중 적어도 하나에 설치될 수 있다.
도 1에서 도시되는 CDC 모듈(300)의 기능들은 소스 데이터베이스 서버(100) 및 타겟 데이터베이스 서버(200) 중 적어도 하나에 일부분으로 통합될 수도 있다. 예를 들어, CDC 모듈(300)의 CDC 기능은 소스 데이터베이스 서버(100)에 의해 대체될 수 있다.
도 2는 본 개시의 일 실시예에 따른 소스 데이터베이스 서버(100)의 구성을 나타낸 블록 구성도이다. 도 2에서는 소스 데이터베이스 서버(100)를 예로서 도시하였으나, 전술한 바와 같이, 소스 데이터베이스 서버(100)는 CDC 모듈(300) 및 타겟 데이터베이스 서버(200) 중 적어도 하나, 또는 이들의 조합으로 대체될 수 있다.
도 2에서 도시되는 바와 같이, 소스 데이터베이스 서버(100)는 자원 데이터 획득 모듈(110), 비교 정보 생성 모듈(120), 제어 모듈(130), 송수신 모듈(140), 저장 모듈(150)을 포함할 수 있다. 전술한 소스 데이터베이스 서버(100)의 컴포넌트들은 예시적인 것으로서, 추가적인 컴포넌트들이 존재하거나 이들 중 일부는 생략될 수도 있다.
자원 데이터 획득 모듈(110)은 소스 데이터베이스 서버(100)의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득 할 수 있다. 상기 소스 데이터베이스 서버(100)는 현재 자원 사용량에 기초해 정량적으로 자원 데이터를 획득하거나 전체 자원에 대한 백분율로 계산할 수 있다. 또는 자원 데이터 획득 모듈(110)은 가용량 자원에 대한 자원 데이터를 획득할 수도 있다. 자원 데이터 획득 모듈(110)은 소스 데이터베이스 서버(100)의 자원을 실시간 모니터링할 수 있고, 과거의 자원 데이터를 불러올 수도 있다. 자원 데이터 획득 모듈(110)은 과거 자원 데이터 및 현재 자원 데이터 중 적어도 하나에 기초하여 소스 데이터베이스 서버(100)의 미래의 자원 상황을 예측 할 수도 있다.
본 개시의 일 실시예에 따라 자원 데이터 획득 모듈(110)은 소스 데이터베이스 서버(100)의 CPU 사용량, 메모리 가용량 및 입출력 부하 중 적어도 하나의 자원을 모니터링한 데이터인 자원 데이터를 획득할 수 있다. 예를 들어, 소스 데이터베이스 서버(100)에 접근하는 사용자가 많아 CPU 사용량이 급증하는 경우 증가한 CPU 사용량에 기초하여 자원 데이터를 생성 할 수 있다. 또한 메모리에서 작업 큐가 포함할 수 있는 데이터의 양이 수용 가능한 양을 초과한 경우 자원 데이터는 메모리 가용량 0%인 정보를 포함할 수도 있다. 상기 자원 데이터는 예시일 뿐이며 본 개시는 이에 한정되지 않는다.
비교 정보 생성 모듈(120)은 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성할 수 있다. 상기 비교 정보는 자원 데이터 및 사전 결정된 소스 데이터베이스 서버 부하 임계값의 대소를 비교한 정보일 수 있다. 비교 정보 생성 모듈(120)의 스레드들은 메모리 및 영구 저장 장치 중 적어도 하나에 접근하고 상기 자원 데이터를 참조하여 비교 정보를 생성할 수 있다. 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값은 시스템의 성능 저하를 가시적으로 보여줄 수 있는 기준 값일 수 있다. 예를 들어 소스 데이터베이스에 접근하여 특정 데이터를 불러오는 시간이 0.5ms 보다 길어지는 CPU 사용량을 기준값으로 설정할 수도 있다. 또한 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값은 전체 자원에 대한 정량적인 비율로 결정될 수도 있다. 예를 들어, 전체 메모리의 70%를 상기 소스 데이터베이스 서버 부하 임계값으로 설정하여 현재 메모리 사용량과 비교 할 수도 있다. 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값은 예시일 뿐이며 본 개시는 이에 한정되지 않는다.
제어 모듈(130)은 소스 데이터베이스 서버(100)의 전반적인 동작들을 제어할 수 있다. 즉, 제어 모듈(130)은 소스 데이터베이스의 리두로그를 확인하고 리두로그의 레코드(record)에 포함된 변경 정보를 추출하는 추출 동작, 추출된 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성하는 조립 동작, 상기 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영 동작 등을 수행할 수 있다. 상기 조립 동작은 타겟 데이터베이스에 적합한 포멧으로의 변환 동작을 포함할 수도 있다. 또한 상기 조립 동작은 타겟 데이터베이스 서버(200)에서 인식할 수 있는 쿼리(DNL, DDL 등)의 생성, 변환 등의 동작을 포함할 수도 있다. 상기 조립 동작은 네트워크를 통해 전송 가능한 데이터로의 생성, 변환 동작을 포함할 수도 있다, 또한 일 양상에 따라 제어 모듈(130)은 커밋된 변경 데이터에 기초하여 타겟 데이터베이스의 적어도 일부에 대해 추가, 수정, 삭제를 하는 반영 동작을 수행할 수도 있다. 상기 조립 동작 및 반영 동작 중 적어도 하나는 타겟 데이터베이스 서버(200)에서 수행될 수도 있다.
본 개시의 일 실시예에 따라 제어 모듈(130)은 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드를 결정할 수 있다. 여기서 상기 동작 모드는 유니온 모드 및 디비전 모드를 포함할 수 있다.
본 개시의 일 실시예에 따라 제어 모듈(130)은 비교 정보에서 자원 데이터가 사전 결정된 소스 데이터베이스 서버 부하 임계값 미만인 경우 변경 데이터 캡쳐 프로세스의 동작 모드를 유니온 모드로 결정할 수 있다. 또한 제어 모듈(130)은 비교 정보에서 자원 데이터가 사전 결정된 소스 데이터베이스 서버 부하 임계값 이상인 경우 변경 데이터 캡쳐 프로세스의 동작 모드를 디비전 모드로 결정할 수 있다. 상기 동작 모드를 결정하는 조건은 다양한 조건을 더 포함할 수 있다. 예를 들어, 자원 데이터가 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값 미만인 시간이 연속적으로 3초 이상일 때 제어 모듈은 동작 모드를 유니온 모드로 결정할 수도 있다. 또한 상기 조건은 사전 설정된 시간 안에는 다른 동작 모드로 변경이 불가능한 조건을 포함하여 모드 변경만을 계속하는 하는 상황을 만들지 않도록 할 수도 있다. 상기 동작 모드를 결정하는 조건은 모드 변경으로 인한 데이터를 처리하는데 걸리는 딜레이 시간을 고려하여 결정될 수도 있다. 상기 동작 모드를 결정하는 조건은 예시일 뿐이며 본 개시는 이에 한정되지 않는다.
유니온 모드는 변경 데이터 캡쳐 프로세스가 소스 데이터베이스 서버(100)에서 추출 동작, 조립 동작 및 반영 동작 또는 상기 동작들의 조합을 수행하도록 할 수 있다. 또한 유니온 모드는 상기 동작들 이외의 다른 동작들을 추가로 포함할 수도 있다.
유니온 모드에서, 제어 모듈(130)은 소스 데이터베이스에서 소스 데이터베이스의 리두로그의 레코드에 포함된 변경 정보를 추출하는 상기 추출 동작을 실행 할 수 있다. 상기 리두로그의 레코드는 한 개 이상의 리두로그의 변경 정보를 포함할 수 있다. 상기 리두로그의 레코드는 트랜잭션을 구성하는 한 개 이상의 작업 명령을 포함할 수 있다. 상기 변경 정보는 한 개 이상의 리두로그의 레코드의 변경을 분석한 정보일 수 있다. 상기 변경 정보는 제 1 작업 큐에 저장 될 수도 있다.
유니온 모드에서, 제어 모듈(130)은 추출된 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성하는 조립 동작을 실행할 수 있다. 제어 모듈(130)은 리두로그의 변경정보에 포함된 트랜잭션들을 커밋된 트랜잭션이 분석될 때까지 연관된 트랜잭션별로 재조립 할 수 있다. 트랜잭션별로 재조립하는 동작은 트랜잭션의 재현을 의미할 수 있다. 커밋된 변경 데이터는 제 2 작업 큐에 저장 될 수도 있다.
유니온 모드에서, 제어 모듈(130)은 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영 동작을 실행할 수 있다. 조립 동작에서 커밋된 트랜잭션이 분석되면 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 생성할 수 있다. 상기 커밋된 변경 데이터는 사전 설정된 세션(session)을 통해 타겟 데이터베이스에 반영 될 수 있다. 상기 반영 동작은 소스 데이터베이스 서버의 변경 데이터 캡쳐 프로세스에 의해 원격으로 타겟 데이터베이스에 대해 실행 될 수 있다.
송수신 모듈(140)은 소스 데이터 서버의 변경 데이터 캡쳐 프로세스와 타겟 데이터베이스 간에 사전 설정된 세션을 통해 커밋된 변경 데이터를 전송할 수도 있다. 상기 사전 설정된 세션은 네트워크는 공용 네트워크, 사설 네트워크, 전용 네트워크(private network), 가상사설망(VPN) 등의 임의의 네트워크를 포함할 수 있다. 상기 사전 설정된 세션은 임의의 무선 네트워크 동신을 포함할 수 있다. 상기 사전 설정된 세션은 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에 따라 상기 추출 동작, 조립 동작 및 반영 동작은 각각 추출 스레드, 조립 스레드 및 반영 스레드에 의해 실행 될 수 있다. 제어 모듈(130)은 추출 스레드, 조립 스레드 및 반영 스레드를 포함할 수 있다. 추출 스레드, 조립 스레드 및 반영 스레드는 각각의 실행 동작이 확정되어 있어서 다른 동작을 수행하지 않고 각각의 스레드의 고정된 동작만 실행할 수도 있다.
유니온 모드는 소스 데이터베이스 서버(100)가 타겟 데이터베이스 서버(200)와 네트워크 통신을 통한 트랜잭션의 재조립이 아니라 소스 데이터베이스 서버의 메모리와의 통신으로 트랜잭션을 재현하기 때문에 트랜잭션을 재현하는 조립 동작의 속도가 더 빠를 수 있다. 또한 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로 네트워크 통신을 통해 트랜잭션들이 전달되는 것이 아니라 커밋된 변경 데이터가 직접 타겟 데이터베이스에 반영된다. 따라서 네트워크 통신을 통한 전송 데이터가 줄어들기 때문에 데이터베이스 동기화의 전체 속도가 개선될 수 있다.
디비전 모드는 변경 데이터 캡쳐 프로세스가 소스 데이터베이스 서버(100)에서 추출 동작 및 전송 동작 또는 상기 동작들의 조합을 수행하도록 할 수 있다. 디비전 모드에서 소스 데이터베이스 서버(100)는 타겟 데이터베이스 서버(200)가 상기 변경 정보에 대한 트랜잭션별로 재조립하여 변경 데이터를 생성하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하도록 상기 타겟 데이터베이스로 상기 변경 정보를 전송할 수 있다. 또한 디비전 모드는 상기 동작들 이외의 다른 동작들을 추가로 포함할 수도 있다.
디비전 모드에서, 제어 모듈(130)은 소스 데이터베이스에서 소스 데이터베이스의 리두로그의 레코드에 포함된 변경 정보를 추출하는 상기 추출 동작을 실행 할 수 있다. 상기 리두로그의 레코드는 한 개 이상의 리두로그의 변경 정보를 포함할 수 있다. 상기 리두로그의 레코드는 트랜잭션을 구성하는 한 개 이상의 작업 명령을 포함할 수 있다. 상기 변경 정보는 한 개 이상의 리두로그의 레코드의 변경을 분석한 정보일 수 있다. 상기 변경 정보는 작업 큐에 저장 될 수도 있다.
디비전 모드에서, 송수신 모듈(140)은 타겟 데이터베이스 서버(200)의 CDC 프로세스가 상기 변경 정보에 대한 트랜잭션별로 재조립하여 변경 데이터를 생성하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하도록 상기 타겟 데이터베이스로 상기 변경 정보를 전송하는 전송 동작을 수행할 수 있다. 타겟 데이터베이스 서버(200)의 제어 모듈이 상기 변경 정보에 기초하여 변경 데이터를 생성하는 조립 동작을 수행하도록 소스 데이터베이스 서버(100)의 송수신 모듈(140)은 변경 정보를 타겟 데이터베이스 서버(200)로 전송할 수 있다. 타겟 데이터베이스 서버(200)의 송수신 모듈은 상기 변경 정보를 수신할 수 있다. 타겟 데이터베이스 서버(200)는 변경 정보에 기초하여 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성하는 조립 동작을 수행하고, 변경 데이터의 커밋이 완료되면 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영 동작을 통해 타겟 데이터베이스에 커밋된 변경 데이터를 기록할 수 있다.
본 개시의 일 실시예에 따라 상기 추출 동작 및 전송 동작은 각각 추출 스레드 및 전송 스레드에 의해 실행 될 수 있다. 제어 모듈(130)은 추출 스레드 및 전송 스레드를 포함할 수 있다. 추출 스레드 및 전송 스레드는 각각의 실행 동작이 확정되어 있어서 다른 동작을 수행하지 않고 각각의 스레드의 고정된 동작만 실행할 수도 있다.
디비전 모드는 트랜잭션의 조립 동작이 타겟 데이터베이스 서버에서 실행되도록 하여 소스 데이터베이스 서버의 부하를 줄일 수 있다. 디비전 모드는 소스 데이터베이스 서버의 가용 자원의 양을 늘릴 수 있고 더 많은 사용자의 접근을 허락하거나 데이터베이스 서버로 다수의 접근 또는 데이터 변경을 허용할 수 있다.
본 개시의 일 실시예에 따라, 제어 모듈(130)은 비교 정보에 기초하여 결정된 모드로 변경 데이터 캡쳐 프로세스의 동작 모드를 변경할 수 있다. 상기 변경 데이터 캡쳐 프로세스의 동작 모드는 유니온 모드와 디비전 모드를 포함한다. 상기 동작 모드에 따라 소스 데이터베이스와 타겟 데이터베이스에서 동작하는 스레드들은 변경될 수 있다. 상기 동작 모드에 따라 소스 데이터베이스 서버 및 타겟 데이터베이스 서버는 같은 동작 모드로 선택되거나 타겟 데이터베이스 서버의 동작 모드는 소스 데이터베이스 서버의 동작 모드에 기초하여 변경될 수 있다. 상기 동작 모드에 따라 소스 데이터베이스 서버(100)에서 각 동작을 수행하는 동작 스레드는 변경될 수 있다.
송수신 모듈(140)은, 데이터베이스 서버들과 및/또는 클라이언트와의 통신 기능을 제공할 수 있다. 예를 들어, 송수신 모듈(140)은 추출된 리두로그의 레코드, 변경 정보 및 변경 데이터 중 적어도 하나를 타겟 데이터베이스로 전송할 수 있고 수신할 수도 있다. 또한, 송수신 모듈(140)은 앞서 설명된 임의의 네트워크 및/또는 데이터베이스 링크를 사용하여, 데이터베이스 서버들 및/또는 클라이언트와 통신할 수 있다.
송수신 모듈(140)은 클라이언트로부터의 데이터 저장, 변경, 조회 및 인덱스 빌드, 변경, 조회 요청 등을 수신할 수 있다. 대안적인 실시예로서, 송수신 모듈(140)은 타겟 데이터베이스 서버(200)로 프로시저를 호출하는 방식으로 소스 데이터베이스 서버(100)로부터의 정보를 타겟 데이터베이스 서버(200)로 전달할 수도 있다. 더불어, 송수신 모듈(140)은 데이터베이스 복제와 관련하여 서버들 간에 전달되는 임의의 데이터/정보를 송수신하는 기능을 제공할 수 있다.
저장 모듈(150)은 추출된 변경 정보 및 변경 데이터 중 적어도 하나를 저장하는 등 CDC를 수행하는 것과 관련되어 저장되는 임의의 데이터가 저장 되도록 할 수 있다. 저장 모듈(150)은 데이터베이스 서버들(100, 200)의 테스크 수행과 관련하여 저장되는 임의의 데이터가 저장되도록 할 수 있다. 또한, 저장 모듈(150)은 서버에서의 데이터의 저장(업데이트 포함)과 관련된 요청을 처리 및 관리할 수 있다. 이러한 저장 모듈(150)은 데이터 및 변경 정보 등을 저장할 것을 결정하고 저장되도록 할 수 있다. 또한, 저장 모듈(150)은 데이터 및/또는 변경 정보에 대한 저장 위치를 결정할 수 있다. 예를 들어, 저장 모듈(150)은 데이터를 저장할 메모리의 작업 큐에 대한 저장 위치를 결정할 수 있다. 다른 예시로, 저장 모듈(150)은 데이터에 대하여 영구 저장 매체 상의 저장 위치를 결정할 수도 있다.
도 3은 본 개시의 일 실시예에 따라 유니온 모드의 각 동작의 스레드들이 참조하는 작업 큐의 구성을 나타낸 개념도이다.
본 개시의 일 실시예에 따라 소스 데이터베이스 서버(100)에서 수행되는 조립 동작 및 반영 동작을 실행하는 스레드는 각각 제 1 작업 큐 및 제 2 작업 큐를 참조하여 처리될 수 있다. 상기 작업 큐에는 변경 정보 및 변경 데이터 중 적어도 하나가 저장될 수 있다. 상기 작업 큐는 메모리 캐시의 적어도 일부일 수 있다. 상기 작업 큐는 영구 저장 장치의 적어도 일부일 수도 있다. 상기 조립 동작을 하는 조립 스레드는 추출된 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하는 조립 동작을 반복하여 실행할 수 있다. 상기 반영 동작을 하는 반영 스레드는 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영 동작을 반복하여 실행할 수 있다. 추출 동작을 실행하는 추출 스레드는 소스 데이터베이스에서 상기 소스 데이터베이스의 리두로그의 레코드에 포함된 변경 정보를 추출하는 추출 동작을 반복하여 실행할 수 있다.
본 개시의 일 실시예에 따라 작업 큐들 변경 정보와 변경 데이터가 저장되는 큐가 분리되어 구성되어 있을 수 있다. 구체적으로 도 3에서 제 1 작업 큐에는 변경 정보가 저장되고 제 2 작업 큐에는 변경 데이터가 저장 될 수 있다. 추출 동작을 실행하는 추출 스레드는 리두로그의 레코드를 참조하여 변경 정보를 추출할 수 있다. 상기 추출 스레드는 상기 변경 정보를 제 1 작업 큐에 저장할 수 있다. 조립 동작을 실행하는 조립 스레드는 제 1 작업 큐에 저장된 변경 정보를 참조하여 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성할 수 있다. 조립 동작은 커밋된 트랜잭션이 분석될 때까지 반복하여 실행될 수 있다. 트랜잭션을 재조립한 결과 획득할 수 있는 변경 데이터는 조립 스레드에 의해 제 2 작업 큐에 저장될 수 있다. 반영 동작을 실행하는 반영 스레드는 제 2 작업 큐에 저장된 변경 데이터를 참조하여 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영할 수 있다.
변경 정보 및 변경 데이터는 작업 큐에 저장될 수 있고 조립 동작을 하는 조립 스레드는 제 2 작업 큐에 저장된 정보를 업데이트 하거나 추가, 삭제, 변경할 수 있다. 추출 동작을 실행하는 추출 스레드는 리두로그 및 리두로그의 레코드 중 적어도 하나를 참조할 수 있고, 제 1 작업 큐에 저장된 정보를 업데이트 하거나 추가, 삭제, 변경할 수 있다.
본 개시의 일 실시예에 따라 유니온 모드와 디비전 모드간의 동작 모드 변경이 발생하는 경우 모든 작업 큐가 비어진 상태에서 상기 변경이 실행될 수 있다. 예를 들어 유니온 모드에서 디비전 모드로 동작 모드가 변경되는 경우, 조립 스레드는 제 1 작업 큐에 변경 정보에 대한 참조를 완료하면 제 1 작업 큐를 비어있는(empty) 상태로 변경할 수 있다. 또한 반영 스레드는 제 2 작업 큐에 저장된 변경 데이터에 대한 참조를 완료하면 제 2 작업 큐를 비어있는 상태로 변경할 수 있다. 이렇게 일련의 작업이 완료되어 각각의 작업 큐가 비어있는 상태가 되면 프로세스의 동작 모드는 제어 모듈에 의해 결정된 모드로 변경 될 수 있다. 이와 같은 방식으로 동작하여 모드 변경간에 데이터 유실을 방지할 수 있다.
본 개시의 일 실시예에 따라 동작 모드가 디비전 모드에서 유니온 모드로 변경 되는 경우 디비전 모드의 추출 스레드 및 전송 스레드가 비활성화 되고, 유니온 모드의 추출 스레드, 조립 스레드 및 반영 스레드가 활성화 될 수 있다. 동작 모드가 유니온 모드에서 디비전 모드로 변경 되는 경우 유니온 모드의 추출 스레드, 조립 스레드 및 반영 스레드가 비활성화 되고, 디비전 모드의 추출 스레드 및 전송 스레드가 활성화 될 수 있다.
도 4는 본 개시의 일 실시예에 따라 동작 모드가 변경 가능한 데이터베이스의 동기화 방법을 도시하는 순서도이다.
도 4에서 제시되는 방법의 설명의 편의를 위해 이하에서는 소스 데이터베이스 서버(100)에 의해 수행되는 것으로 기재될 것이나, 앞서 설명된 바와 같이, 구현 양상에 따라서, 타겟 데이터베이스 서버(200) 또는 CDC 모듈(300) 또는 이들의 조합에 의해 구현될 수도 있다.
소스 데이터베이스 서버(100)는 소스 데이터베이스 서버의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득할 수 있다(410). 자원 데이터는 메모리 및 영구 저장 장치 중 적어도 하나의 일부에 저장될 수 있다.
소스 데이터베이스 서버(100)는 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성할 수 있다(420). 상기 자원 데이터와 상기 소스 데이터베이스 서버 부하 임계값은 대소 비교 될 수 있다.
소스 데이터베이스 서버(100)는 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드를 결정 할 수 있다(430). 상기 동작 모드는 유니온 모드와 디비전 모드를 포함할 수 있다. 소스 데이터베이스 서버(100)에서 상기 유니온 모드는 추출 동작, 조립 동작 및 반영 동작을 포함할 수 있다. 소스 데이터베이스 서버(100)에서 상기 디비전 모드는 추출 동작 및 전송 동작을 포함할 수 있다. 타겟 데이터베이스 서버(200)에서 디비전 모드는 조립 동장 및 반영 동작을 포함할 수 있다.
소스 데이터베이스 서버(100)는 비교 정보에 기초하여 결정된 모드로 상기 프로세스의 동작 모드를 변경 할 수 있다(440).
도 5는 본 개시의 일 실시예에 따라 유니온 모드에서 데이터베이스간 동기화 방법을 도시한 개념도이다.
본 개시의 일 실시예에 따라 제어 모듈(130)은 변경 정보에 기초하여 소스 데이터베이스 서버의 변경 데이터 프로세스(530)를 유니온 모드로 변경할 수 있다. 소스 데이터베이스(510)에서 제어 모듈(130)은 리두로그의 변경 정보를 추출 할 수 있다. 상기 변경 정보는 제 1 작업 큐(501)에 저장될 수 있다. 소스 데이터베이스 서버(100)의 제어 모듈(130)은 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성할 수 있다. 상기 변경 데이터는 제 2 작업 큐(502)에 저장 될 수 있다. 제어 모듈(130)은 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영할 수 있다. 제어 모듈에 의해 커밋된 변경 데이터는 확정된 값으로 타겟 데이터베이스에 반영될 값일 수 있다. 소스 데이터베이스 서버(100)의 송수신 모듈(140)은 커밋된 변경 데이터를 타겟 데이터베이스에 반영하도록 소스 데이터베이스 서버의 변경 데이터 캡쳐 프로세스(530)와 타겟 데이터베이스간에 사전 설정된 세션을 통해 커밋된 변경 데이터를 전송 할 수 있다.
유니온 모드는 소스 데이터베이스 서버(100)가 타겟 데이터베이스 서버(200)와 네트워크 통신을 통한 트랜잭션의 재조립이 아니라 소스 데이터베이스 서버의 메모리와의 통신으로 트랜잭션을 재현하기 때문에 트랜잭션을 재현하는 조립 동작의 속도가 더 빠를 수 있다. 또한 소스 데이터베이스 서버(100)로부터 타겟 데이터베이스 서버(200)로 네트워크 통신을 통해 트랜잭션들이 전달되는 것이 아니라 커밋된 변경 데이터가 직접 타겟 데이터베이스에 반영된다. 따라서 네트워크 통신을 통한 전송 데이터가 줄어들기 때문에 데이터베이스 동기화의 전체 속도가 개선될 수 있다.
도 6는 본 개시의 일 실시예에 따라 디비전 모드에서 데이터베이스간 동기화 방법을 도시한 개념도이다.
본 개시의 일 실시예에 따라 제어 모듈(130)은 변경 정보에 기초하여 소스 데이터베이스 서버(100)의 변경 데이터 프로세스(630) 및 타겟 데이터베이스 서버(200)의 변경 데이터 프로세스를 디비전 모드로 변경할 수 있다. 소스 데이터베이스에서 제어 모듈(130)은 리두로그의 변경 정보를 추출 할 수 있다. 상기 변경 정보는 작업 큐에 저장될 수 있다. 소스 데이터베이스 서버의 송수신 모듈(140)은 상기 변경 정보를 타겟 데이터베이스로 전송 할 수 있다. 이 경우 상기 변경 정보는 상기 소스 데이터베이스 서버(100)와 타겟 데이터베이스 서버(200)간의 사전 설정된 세션 통해 전송될 수 있다. 타겟 데이터베이스 서버(200)의 송수신 모듈은 상기 변경 정보를 수신할 수 있다. 상기 수신된 변경 정보는 제 3 작업 큐(601)에 저장 될 수 있다. 상기 타겟 데이터베이스 서버(200)의 제어 모듈은 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성할 수 있다. 상기 변경 데이터는 제 4 작업 큐(602)에 저장 될 수 있다. 타겟 데이터베이스 서버(200)의 제어 모듈은 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영할 수 있다. 커밋된 변경 데이터는 변경이 확정된 데이터이며 타겟 데이터베이스에 반영될 데이터일 수 있다.
디비전 모드는 소스 데이터베이스 서버(100)에서 실행되어야 할 조립 동작이 타겟 데이터베이스 서버(200)에서 실행되도록 하여 소스 데이터베이스 서버의 부하를 줄일 수 있다. 디비전 모드는 소스 데이터베이스 서버의 가용 자원의 양을 늘릴 수 있고 더 많은 사용자의 접근을 허락하거나 데이터베이스로 다수의 접근 또는 데이터 변경을 허용할 수 있다.
도 7은 본 개시의 일 실시예에 따라 CDC 솔루션을 구현하기 위한 예시적인 컴퓨팅 장치에 대한 블록 구성도이다.
본 발명이 일반적으로 하나 이상의 서버 내의 컴퓨터 또는 프로세서 상에서 실행될 수 있는 특징들과 관련하여 전술되었지만, 당업자라면 본 발명이 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 발명의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.
본 발명의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
송수신(통신) 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 송수신(통신) 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다.
도 7에서는 본 발명의 CDC 특징들을 구현하기 위한 컴퓨팅 장치(702)를 포함하는 본 발명의 여러가지 측면들을 구현하는 예시적인 환경이 나타내어져 있으며, 컴퓨팅 장치(702)는 처리 장치(704), 시스템 메모리(706) 및 시스템 버스(708)를 포함한다. 시스템 버스(708)는 시스템 메모리(706)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(704)에 연결시킨다. 처리 장치(704)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(704)로서 이용될 수 있다.
시스템 버스(708)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(706)는 판독 전용 메모리(ROM)(710) 및 랜덤 액세스 메모리(RAM)(712)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(710)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨팅 장치(702) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(712)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.
컴퓨팅 장치(702)는 또한 내장형 하드 디스크 드라이브(HDD)(714)(예를 들어, EIDE, SATA― 내장형 하드 디스크 드라이브(714)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음― 자기 플로피 디스크 드라이브(FDD)(716)(예를 들어, 이동식 디스켓(718)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(720)(예를 들어, CD-ROM 디스크(722)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(714), 자기 디스크 드라이브(716) 및 광 디스크 드라이브(720)는 각각 하드 디스크 드라이브 인터페이스(724), 자기 디스크 드라이브 인터페이스(726) 및 광 드라이브 인터페이스(728)에 의해 시스템 버스(708)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(724)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함한다.
이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨팅 장치(702)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 발명의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.
운영 체제(730), 하나 이상의 애플리케이션 프로그램(732), 기타 프로그램 모듈(734) 및 프로그램 데이터(736)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(712)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(712)에 캐싱될 수 있다. 본 발명이 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.
사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(738) 및 마우스(740) 등의 포인팅 장치를 통해 컴퓨팅 장치(702)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(708)에 연결되어 있는 입력 장치 인터페이스(742)를 통해 처리 장치(704)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.
모니터(744) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(746) 등의 인터페이스를 통해 시스템 버스(708)에 연결된다. 모니터(744)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.
컴퓨팅 장치(702)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(748) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(748)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨팅 장치(702)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(750)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(752) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(754)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨팅 장치(702)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(756)를 통해 로컬 네트워크(752)에 연결된다. 어댑터(756)는 LAN(752)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(752)은 또한 무선 어댑터(756)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨팅 장치(702)는 모뎀(758)을 포함할 수 있거나, WAN(754) 상의 통신 서버에 연결되거나, 또는 인터넷을 통하는 등, WAN(754)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(758)은 직렬 포트 인터페이스(742)를 통해 시스템 버스(708)에 연결된다. 네트워크화된 환경에서, 컴퓨팅 장치(702)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(750)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.
컴퓨팅 장치(702)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.
Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.6(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 6Mbps(802.6a) 또는 54 Mbps(802.6b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.
본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. 용어 "기계-판독가능 매체"는 명령(들) 및/또는 데이터를 저장, 보유할 수 있는 다양한 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다.
*제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
상기와 같이 발명의 실시를 위한 최선의 형태에서 관련 내용을 기술하였다.
본 발명은 데이터베이스에 관한 것으로서, 보다 구체적으로 효율적인 변경 데이터 캡쳐(CDC:Change Data Capture) 기법을 제공할 수 있다.

Claims (9)

  1. 인코딩된 명령들을 포함하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 소스 데이터베이스에서 타겟 데이터베이스로의 변경 데이터 캡쳐(CDC:Change Data Capture)를 위한 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    상기 소스 데이터베이스 서버의 현재 자원(resource)을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 단계;
    상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 단계;
    상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드―상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함―를 결정하는 모드 결정 단계; 및
    상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계;
    를 포함하는.
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  2. 제 1 항에 있어서,
    상기 모드 결정 단계는,
    상기 비교 정보에서 상기 자원 데이터가 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값 미만인 경우 상기 변경 데이터 캡쳐 프로세스의 동작 모드가 상기 유니온 모드로 결정되는 단계; 및
    상기 비교 정보에서 상기 자원 데이터가 상기 사전 결정된 소스 데이터베이스 서버 부하 임계값 이상인 경우 상기 변경 데이터 캡쳐 프로세스의 동작 모드가 상기 디비전 모드로 결정되는 단계;
    를 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  3. 제 1 항에 있어서,
    상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계에 의하여 상기 유니온 모드로 동작 모드가 변경된 경우,
    상기 소스 데이터베이스에서 상기 소스 데이터베이스의 리두로그의 레코드(record)에 포함된 변경 정보를 추출 하는 추출 단계;
    추출된 변경 정보에 대한 트랜잭션을 분석하고 연관된 트랜잭션별로 재조립하여 변경 데이터를 생성하는 조립 단계; 및
    상기 변경 데이터의 커밋을 완료하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하는 반영 단계;
    를 더 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  4. 제 3 항에 있어서,
    상기 조립 단계 내지 반영 단계 각각에서 각 단계를 실행하는 스레드는,
    작업 큐―상기 작업 큐는 상기 변경 정보 및 상기 변경 데이터가 저장된 메모리의 적어도 일부임―를 참조하여 처리되는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  5. 제 1 항에 있어서,
    상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계에 의하여 상기 디비전 모드로 동작 모드가 변경된 경우,
    상기 소스 데이터베이스에서 상기 소스 데이터베이스의 리두로그의 레코드에 포함된 변경 정보를 추출 하는 추출 단계; 및
    타겟 데이터베이스 서버가 상기 변경 정보에 대한 트랜잭션별로 재조립하여 변경 데이터를 생성하고, 커밋된 변경 데이터를 타겟 데이터베이스에 반영하도록 상기 타겟 데이터베이스로 상기 변경 정보를 전송하는 전송 단계;
    를 더 포함하는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  6. 제 1 항에 있어서,
    모드 변경 단계에서 모드 변경은 작업 큐가 비어 있는(empty) 경우 실행되는,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  7. 제 1 항에 있어서,
    상기 자원 데이터 획득 단계는,
    상기 소스 데이터베이스 서버의 CPU 사용량, 메모리 가용량 및 입출력 부하중 적어도 하나의 자원을 모니터링한 데이터인 자원 데이터를 획득하는 단계인,
    컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.
  8. 소스 데이터베이스와 타겟 데이터베이스 간의 변경 데이터 캡쳐(CDC)를 수행하기 위한 서버로서,
    상기 소스 데이터베이스 서버의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 모듈;
    상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 모듈; 및
    상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드―상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함―를 결정하고, 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 제어 모듈;
    을 포함하는,
    서버.
  9. 소스 데이터베이스와 타겟 데이터베이스 간의 변경 데이터 캡쳐(CDC)를 수행하기 위한 방법으로서,
    상기 소스 데이터베이스 서버의 현재 자원을 모니터링한 데이터인 자원 데이터를 획득하는 자원 데이터 획득 단계;
    상기 자원 데이터와 사전 결정된 소스 데이터베이스 서버 부하 임계값을 비교하여 비교 정보를 생성하는 비교 정보 생성 단계;
    상기 비교 정보에 기초하여 소스 데이터베이스 서버에서 동작하는 변경 데이터 캡쳐 프로세스의 동작 모드―상기 동작 모드는 유니온 모드 및 디비전 모드를 포함함―를 결정하는 모드 결정 단계; 및
    상기 모드 결정 단계에서 결정된 모드로 상기 프로세스의 동작 모드를 변경하는 모드 변경 단계;
    를 포함하는,
    방법.
PCT/KR2017/012685 2016-11-28 2017-11-09 데이터베이스의 이중화를 위한 기법 WO2018097522A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/344,129 US11106654B2 (en) 2016-11-28 2017-11-09 Technique for duplexing database
US17/392,605 US20210365430A1 (en) 2016-11-28 2021-08-03 Technique for replication of database

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0159562 2016-11-28
KR1020160159562A KR101823130B1 (ko) 2016-11-28 2016-11-28 데이터베이스의 이중화를 위한 기법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/344,129 A-371-Of-International US11106654B2 (en) 2016-11-28 2017-11-09 Technique for duplexing database
US17/392,605 Continuation US20210365430A1 (en) 2016-11-28 2021-08-03 Technique for replication of database

Publications (1)

Publication Number Publication Date
WO2018097522A1 true WO2018097522A1 (ko) 2018-05-31

Family

ID=61728019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012685 WO2018097522A1 (ko) 2016-11-28 2017-11-09 데이터베이스의 이중화를 위한 기법

Country Status (3)

Country Link
US (2) US11106654B2 (ko)
KR (1) KR101823130B1 (ko)
WO (1) WO2018097522A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225258B1 (ko) * 2019-04-18 2021-03-10 주식회사 실크로드소프트 데이터베이스 시스템에서 효율적인 변경 데이터 캡쳐를 제공하기 위한 컴퓨터 프로그램
CN111782671A (zh) * 2020-07-01 2020-10-16 浪潮云信息技术股份公司 一种基于分布式数据库实现cdc的优化方法
CN117909417B (zh) * 2024-01-25 2024-07-05 北京新兴科遥信息技术有限公司 一种用于自然资源确权的精度检测与纠正方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154697A1 (en) * 2004-01-14 2005-07-14 International Business Machines Corporation Adjusting a number of database replicas based on a defined threshold value
US20110145193A1 (en) * 2005-10-28 2011-06-16 Oracle International Corporation Apparatus and method for creating a real time database replica
KR20160004721A (ko) * 2014-07-04 2016-01-13 (주)선재소프트 데이터 손실 없는 데이터베이스 리두 로그 이중화 방법 및 그를 위한 시스템
KR101589213B1 (ko) * 2015-07-15 2016-01-27 주식회사 지오그레이트 백업 데이터베이스를 활용한 운영 데이터베이스 부하 분산 방법
WO2016168855A1 (en) * 2015-04-17 2016-10-20 Zuora, Inc. System and method for real-time cloud data synchronization using a database binary log

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177866B2 (en) * 2001-03-16 2007-02-13 Gravic, Inc. Asynchronous coordinated commit replication and dual write with replication transmission and locking of target database on updates only
US7949640B2 (en) * 2008-10-31 2011-05-24 Gravic, Inc. Referential integrity, consistency, and completeness loading of databases
KR101662212B1 (ko) 2014-05-30 2016-10-04 주식회사 알티베이스 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법
US10078556B2 (en) * 2015-08-31 2018-09-18 Paypal, Inc. Data replication between databases with heterogenious data platforms
KR101904786B1 (ko) * 2017-03-06 2018-10-08 주식회사 데이터스트림즈 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050154697A1 (en) * 2004-01-14 2005-07-14 International Business Machines Corporation Adjusting a number of database replicas based on a defined threshold value
US20110145193A1 (en) * 2005-10-28 2011-06-16 Oracle International Corporation Apparatus and method for creating a real time database replica
KR20160004721A (ko) * 2014-07-04 2016-01-13 (주)선재소프트 데이터 손실 없는 데이터베이스 리두 로그 이중화 방법 및 그를 위한 시스템
WO2016168855A1 (en) * 2015-04-17 2016-10-20 Zuora, Inc. System and method for real-time cloud data synchronization using a database binary log
KR101589213B1 (ko) * 2015-07-15 2016-01-27 주식회사 지오그레이트 백업 데이터베이스를 활용한 운영 데이터베이스 부하 분산 방법

Also Published As

Publication number Publication date
US20190332594A1 (en) 2019-10-31
US20210365430A1 (en) 2021-11-25
KR101823130B1 (ko) 2018-03-09
US11106654B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2018093094A1 (ko) 데이터베이스 관리 시스템에서의 데이터 복제 기법
US11314737B2 (en) Transforming event data using values obtained by querying a data source
US9491104B2 (en) System and method for storing/caching, searching for, and accessing data
WO2020101343A1 (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
JP3837291B2 (ja) アプリケーション独立形メッセージングシステム
WO2018097522A1 (ko) 데이터베이스의 이중화를 위한 기법
US20150301904A1 (en) Managing back up operations for data
WO2018101640A1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
AU2012255716A1 (en) Providing access to mainframe data objects in a heterogeneous computing environment
WO2021141294A1 (ko) 데이터의 하이브리드 저장을 이용한 데이터 아카이빙 방법 및 시스템
KR20200056357A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
US20080154986A1 (en) System and Method for Compression of Data Objects in a Data Storage System
CN109726037B (zh) 用于备份数据的方法、设备和计算机程序产品
WO2021141292A1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
US9619477B1 (en) Systems and methods for accelerating backup operations
KR102085608B1 (ko) 복구 서버 및 컴퓨터 프로그램
CN112199332A (zh) 分布式防爆巡检机器人集群智能化文件管理方法及***
KR20180126431A (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
US11307878B2 (en) Per user index for virtual desktop
KR20180061090A (ko) 데이터베이스의 이중화를 위한 기법
US12007969B2 (en) Automatic computer data deduplication process for application whitelisting system
US20080198844A1 (en) Cross-media communication coordination
KR102698018B1 (ko) 서버간 네트워크가 단절된 망분리 환경에서의 cdc 방식의 db 복제 시스템
WO2024085730A1 (en) Method and apparatus for logging events in communication networks
WO2022059941A1 (ko) 기업분할 시 조직 데이터를 선별하여 이관하는 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873888

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17873888

Country of ref document: EP

Kind code of ref document: A1