KR102047233B1 - Metadata search system by using dual load balancing and database management method by using dual load balancing - Google Patents
Metadata search system by using dual load balancing and database management method by using dual load balancing Download PDFInfo
- Publication number
- KR102047233B1 KR102047233B1 KR1020180126190A KR20180126190A KR102047233B1 KR 102047233 B1 KR102047233 B1 KR 102047233B1 KR 1020180126190 A KR1020180126190 A KR 1020180126190A KR 20180126190 A KR20180126190 A KR 20180126190A KR 102047233 B1 KR102047233 B1 KR 102047233B1
- Authority
- KR
- South Korea
- Prior art keywords
- database
- server
- storage
- metadata
- score
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Abstract
Description
본 발명은 메타데이터 검색 시스템에 관한 것으로서, 더욱 구체적으로는 저장용 데이터베이스와 검색용 데이터베이스의 연동을 통해 이중 부하 분산을 구현하여 성능을 향상시킨 것을 특징으로 하는 메타데이터 검색 시스템 및 상기 메타데이터 검색 시스템에서의 상기 이중 부하 분산을 통한 데이터베이스 관리 방법에 관한 것이다. The present invention relates to a metadata retrieval system. More specifically, the metadata retrieval system and the metadata retrieval system are characterized by improving performance by implementing dual load balancing through interworking of a storage database and a retrieval database. It relates to a database management method through the dual load balancing in the.
클라우딩 컴퓨팅 환경에 있어서 분산 데이터 파일들의 효율적인 관리를 위하여, 분산 데이터 파일들에 대한 메타데이터를 관리할 필요가 있다. 분산 데이터 파일들의 메타데이터는 일반적으로 다양한 형식들을 갖고 있다. In order to efficiently manage distributed data files in a cloud computing environment, it is necessary to manage metadata for distributed data files. The metadata of distributed data files generally has various formats.
이와 같이, 메타데이터들은 그 형식이 다양하기 때문에, 기존의 정형화된 Schema를 갖는 데이터베이스에 저장하기가 용이하지 않으며, 오히려 비정형 데이터 저장에 특화된 데이터베이스를 사용하는 것이 요구되고 있는 실정이다. 하지만, 일반적으로 비정형 데이터 저장에 특화된 데이터베이스들은 검색 성능이 우수하지 못하다는 문제점을 갖고 있다. As such, since metadata has various formats, it is not easy to store metadata in a database having an existing standardized schema, but rather, it is required to use a database specialized for storing unstructured data. However, in general, databases specialized for storing unstructured data have a problem in that search performance is not good.
하지만, 메타데이터 검색 시스템은 메타데이터들에 대한 우수한 데이터 저장 성능 뿐만 아니라 신속한 검색 속도도 요구되는 바, 이러한 요구를 모두 충족시킬 수 있는 검색 시스템의 개발이 필요한 실정이다. However, the metadata retrieval system requires fast retrieval speed as well as excellent data storage performance for metadata, and thus, a development of a retrieval system capable of satisfying all of these requirements is required.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 클라우드 컴퓨팅용 분산 데이터 파일들에 대한 메타데이터들을 안정적으로 저장시키면서 저장 속도 및 검색 성능을 향상시키기 위하여, 저장용 데이터베이스와 검색용 데이터베이스의 연동을 이용한 이중 부하 분산을 통하여 데이터베이스를 관리할 수 있는 메타데이터 검색 시스템을 제공하는 것이다. An object of the present invention for solving the above problems is to use the interworking of the storage database and the search database in order to improve the storage speed and search performance while stably storing metadata for distributed data files for cloud computing. It is to provide a metadata retrieval system that can manage a database through dual load balancing.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 메타데이터 검색 시스템은, 데이터베이스 관리 서버, 저장용 데이터베이스와 검색용 데이터베이스를 구비하는 메타데이터 검색 시스템에 관한 것으로서, 상기 저장용 데이터베이스는 클러스터링된 복수 개의 저장용 데이터베이스 서버들로 구성되고, 상기 검색용 데이터베이스는 클러스터링된 복수개의 검색용 데이터베이스 서버들로 구성되고, A metadata retrieval system according to a first aspect of the present invention for achieving the above technical problem relates to a metadata retrieval system having a database management server, a storage database and a search database, wherein the storage database is clustered. It is composed of a plurality of storage database servers, the search database is composed of a plurality of clustered search database servers,
상기 데이터베이스 관리 서버는, 메타데이터에 대한 일감이 입력되면 명령어 파싱(parsing)하여 검색 업무 또는 저장 업무로 1차 분리하는 1차 부하 밸런싱 모듈; 및 저장 업무로 1차 분리된 일감을 저장하기 위하여, 상기 저장용 데이터베이스 서버들에 대한 사용 상태를 수치화하고, 상기 수치화된 점수를 이용하여 저장용 데이터베이스 서버를 선택하고, 선택된 저장용 데이터베이스 서버에 상기 저장 업무로 1차 분리된 일감을 저장하는 2차 부하 밸런싱 모듈;을 구비하여, 메타데이터의 검색 및 저장 속도를 향상시킨다. The database management server may include: a first load balancing module configured to first divide a command into a search task or a storage task by parsing a command when a task for metadata is input; And quantifying a state of use of the storage database servers to store the first separated work as a storage task, selecting a storage database server using the digitized score, and storing the selected storage database server in the selected storage database server. Secondary load balancing module for storing the first separated work as a storage task; to improve the speed of searching and storing the metadata.
전술한 제1 특징에 따른 메타데이터 검색 시스템에 있어서, 상기 2차 부하 밸런싱 모듈은, 상기 저장용 데이터베이스 서버들에 대하여, 서버의 자원 사용량을 기반으로 한 서버 시스템 점수 및 서버의 네트워크 사용률을 기반으로 한 네트워크 사용 점수를 계산하고, 서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 가장 낮은 저장용 데이터베이스 서버를 선택하는 것이 바람직하다. In the metadata retrieval system according to the first aspect described above, the secondary load balancing module is configured for the storage database servers based on a server system score based on server resource usage and a server network utilization rate. It is desirable to calculate a network usage score and to select a storage database server with the lowest score of the server system score and the network usage score.
전술한 제1 특징에 따른 메타데이터 검색 시스템에 있어서, 상기 서버 시스템 점수는 서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률을 이용하여 계산하되, 서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률의 비중을 서로 달리하여 계산하는 것이 바람직하며, 상기 서버의 CPU 사용률은, CPU 사용량의 총합 및 CPU 코어 개수를 이용하여 계산하는 것이 바람직하다. In the metadata retrieval system according to the first aspect described above, the server system score is calculated using the CPU utilization rate, the memory utilization rate and the disk I / O utilization rate of the server, but the CPU utilization rate, the memory utilization rate and the disk I / O rate of the server are calculated. It is preferable to calculate the specific gravity of the utilization rate different from each other, and it is preferable to calculate the CPU utilization rate of the server using the total CPU usage and the number of CPU cores.
전술한 제1 특징에 따른 메타데이터 검색 시스템에 있어서, 상기 2차 부하 밸런싱 모듈은, 상기 서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 사전 설정된 범위를 초과하는 경우에는 서버 선택에서 제외시키는 것이 바람직하다. In the metadata retrieval system according to the first aspect, the secondary load balancing module preferably excludes the server selection when the sum of the server system score and the network usage score exceeds a preset range. .
전술한 제1 특징에 따른 상기 메타데이터 검색 시스템에 있어서, 상기 데이터베이스 관리 서버는 저장용 데이터베이스와 검색용 데이터베이스를 실시간으로 동기화시키는 동기화 모듈을 더 구비하여, 검색용 데이터베이스의 데이터 유실을 방지하는 것이 바람직하다. In the metadata retrieval system according to the first aspect described above, the database management server further includes a synchronization module for synchronizing a storage database and a retrieval database in real time, thereby preventing data loss of the retrieval database. Do.
본 발명의 제2 특징에 따른 데이터베이스 관리 방법은, 데이터베이스 관리 서버, 클러스터링된 복수 개의 저장용 데이터베이스 서버들로 구성된 저장용 데이터베이스, 및 클러스터링된 복수 개의 검색용 데이터베이스 서버들로 구성된 검색용 데이터베이스를 구비하는 메타데이터 검색 시스템에서의 데이터베이스 관리 서버에 의한 데이터베이스 관리 방법에 관한 것으로서, (a) 메타데이터에 대한 일감이 입력되면 명령어 파싱(parsing)하여 검색 업무 또는 저장 업무로 1차 분리하는 1차 부하 밸런싱 단계; (b) 저장 업무로 1차 분리된 일감을 저장하기 위하여, 상기 저장용 데이터베이스 서버들에 대한 사용 상태를 수치화하고, 상기 수치화된 점수를 이용하여 저장용 데이터베이스 서버를 선택하고, 선택된 저장용 데이터베이스 서버에 상기 저장 업무로 1차 분리된 일감을 저장하는 2차 부하 밸런싱 단계;를 구비하여, 메타데이터의 검색 및 저장 속도를 향상시킨다. A database management method according to a second aspect of the present invention includes a database management server, a storage database composed of a plurality of clustered storage database servers, and a search database composed of a plurality of clustered search database servers. A method for managing a database by a database management server in a metadata retrieval system, the method comprising: (a) a primary load balancing step of first parsing a command into a retrieval job or a storage job when a task for metadata is input; ; (b) in order to store the primary separated work as a storage task, the usage state for the storage database servers is quantified, the storage database server is selected using the digitized score, and the selected storage database server And a second load balancing step of storing the first separated work in the storage task. In this case, the speed of searching and storing the metadata is improved.
전술한 제2 특징에 따른 데이터베이스 관리 방법에 있어서, 상기 (b) 단계는, 상기 저장용 데이터베이스 서버들에 대하여, 서버의 자원 사용량을 기반으로 한 서버 시스템 점수 및 서버의 네트워크 사용률을 기반으로 한 네트워크 사용 점수를 계산하고, 서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 가장 낮은 저장용 데이터베이스 서버를 선택하는 것이 바람직하다. In the database management method according to the second aspect described above, the step (b) includes, for the storage database servers, a server system score based on server resource usage and a network based on server network utilization. It is desirable to calculate a usage score and to select a storage database server with the lowest score of the sum of the server system score and the network usage score.
전술한 제2 특징에 따른 데이터베이스 관리 방법에 있어서, 상기 서버 시스템 점수는 서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률을 이용하여 계산하되, 서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률의 비중을 서로 달리하여 계산하는 것이 바람직하다. In the method for managing a database according to the second aspect described above, the server system score is calculated using a CPU utilization rate, a memory utilization rate and a disk I / O utilization rate of the server, but the CPU utilization rate, the memory utilization rate and the disk I / O utilization rate of the server are calculated. It is desirable to calculate the specific gravity of different from each other.
본 발명에 따른 메타데이터 검색 시스템은 데이터 저장에 특화된 저장용 데이터베이스와 검색 엔진 기능을 갖는 검색용 데이터베이스를 구비하여 데이터 이중화를 구현함으로써, 데이터 저장 속도 및 검색 속도를 모두 향상시킬 수 있게 된다. 이러한 특징에 의해, 본 발명에 따른 시스템은 대규모 클라우드 시스템에서의 파일의 메타데이터에 대한 검색의 효율을 극대화시킬 수 있게 된다. 특히, 종래의 시스템에서는 데이터베이스가 기본 쿼리(Query)로 검색했던 것과는 달리, 본 발명에 따른 시스템은 전문 검색용 데이터베이스를 사용함으로써 빠르고 정확한 검색이 가능해진다. The metadata retrieval system according to the present invention has data storage specialized for data storage and a search database having a search engine function to implement data redundancy, thereby improving both data storage speed and retrieval speed. By this feature, the system according to the present invention can maximize the efficiency of the search for the metadata of the file in a large-scale cloud system. In particular, in the conventional system, unlike a database search using a basic query, the system according to the present invention enables a fast and accurate search by using a database for full-text search.
또한, 본 발명에 따른 시스템은 데이터 이중화가 구현됨으로써, 별도의 백업서버를 구성할 필요가 없게 된다. In addition, the system according to the present invention is implemented by data duplication, it is not necessary to configure a separate backup server.
또한, 본 발명에 따른 시스템은 2차 부하 밸런싱을 통해 메타데이터의 저장의 속도를 향상시킬 수 있을 뿐만 아니라, 저장용 데이터베이스와 검색용 데이터베이스의 실시간 동기화를 통해 저장 데이터들에 대한 안정성을 향상시킬 수 있게 된다. In addition, the system according to the present invention can not only improve the speed of storing the metadata through the secondary load balancing, but also improve the stability of the stored data through real-time synchronization of the storage database and the retrieval database. Will be.
도 1은 본 발명의 바람직한 실시예에 따른 메타데이터 검색 시스템을 개략적으로 도시한 블록도이다. 1 is a block diagram schematically illustrating a metadata retrieval system according to a preferred embodiment of the present invention.
본 발명에 따른 메타데이터 검색 시스템은 데이터베이스의 성능 및 안정성 향상을 위해 데이터 저장을 위한 저장용 데이터베이스의 클러스터링과 검색을 위한 검색용 데이터베이스의 클러스터링으로 구성되며, 1차 부하 밸런싱을 통해 검색과 저장 업무를 분리하고, 분리된 일감은 데이터베이스 서버들에 대하여 사전 수집된 정보에 따라 계산된 점수를 기반으로 한 2차 부하 밸런싱을 통해 최적의 데이터베이스 서버에 저장할 수 있도록 하는 것을 특징으로 한다. Metadata retrieval system according to the present invention is composed of the clustering of the storage database for the data storage and the clustering of the search database for the search to improve the performance and stability of the database, and performs the search and storage tasks through the first load balancing Separating and separating work can be stored in an optimal database server through secondary load balancing based on scores calculated based on pre-collected information about the database servers.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 메타데이터 검색 시스템의 구조 및 동작에 대하여 구체적으로 설명한다. Hereinafter, with reference to the accompanying drawings will be described in detail the structure and operation of the metadata retrieval system according to a preferred embodiment of the present invention.
도 1은 본 발명의 바람직한 실시예에 따른 메타데이터 검색 시스템을 개략적으로 도시한 블록도이다. 1 is a block diagram schematically illustrating a metadata retrieval system according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 메타데이터 검색 시스템(1)은 데이터베이스 관리 서버(10), 저장용 데이터베이스(20) 및 검색용 데이터베이스(30)를 구비한다. 전술한 구성을 갖는 메타데이터 검색 시스템(1)은 메타데이터의 검색 및 저장 속도를 향상시킬 수 있게 된다. Referring to FIG. 1, a
일반적으로 저장용 데이터베이스는 안정적인 저장 성능을 제공하나 별도의 검색 엔진 지원이 불가하여 신속한 메타데이터 검색에 어려움이 있다. 이에 따라, 본 발명에 따른 시스템은 메타데이터의 효율적인 검색 및 사용을 위하여 검색 엔진 기능을 갖는 검색용 데이터베이스를 구비하게 된다. 이러한 구조를 통해, 본 발명에 따른 시스템은, 메타데이터의 쓰기와 읽기 기능에 대한 부하 분산을 통해 서버의 가용성 및 응답 시간을 최적화시킬 수 있게 된다. In general, the storage database provides stable storage performance, but it is difficult to search metadata quickly because it cannot support a separate search engine. Accordingly, the system according to the present invention has a search database having a search engine function for efficient search and use of metadata. Through this structure, the system according to the present invention can optimize the availability and response time of the server through load balancing for the writing and reading functions of metadata.
상기 저장용 데이터베이스(20)는 클러스터링된 복수 개의 저장용 데이터베이스 서버들(200, 210, 220)로 구성되고, 상기 검색용 데이터베이스(30)는 검색 엔진(32) 및 클러스터링된 복수개의 검색용 데이터베이스 서버들(300, 310, 320)로 구성된다. The
특히, 클라우드 컴퓨팅용 분산 데이터 파일의 효율적인 관리를 위하여 분산 데이터 파일의 메타데이터를 관리할 필요가 있다. 분산 데이터 파일의 메타데이터는 특성상, 정형화된 구조(Schema)을 갖는 기존의 데이터베이스보다는, 다양한 형식과 그에 따른 다양한 메타데이터가 저장될 수 있는 비정형 데이터 저장에 특화된 데이터베이스를 사용하는 것이 바람직하다. 비정형 데이터 저장에 특화된 데이터베이스로는 NoSQL 데이터베이스 등이 있다. 따라서, 본 발명에 따른 시스템은 저장용 데이터베이스로는 NoSQL 데이터베이스 등과 같은 비정형 데이터 저장에 특화된 데이터베이스를 사용하고, 저장용 데이터베이스의 검색 성능을 보완하기 위하여 검색 엔진 기능을 갖는 검색용 데이터베이스를 연동함으로써, 데이터 이중화화 함께 검색 성능도 향상시킬 수 있게 된다. In particular, for efficient management of distributed data files for cloud computing, it is necessary to manage metadata of distributed data files. It is preferable that the metadata of the distributed data file use a database specialized for storing unstructured data in which various formats and various metadata can be stored, rather than an existing database having a structured structure (Schema). Databases specialized in storing unstructured data include NoSQL databases. Accordingly, the system according to the present invention uses a database specialized for storing unstructured data, such as a NoSQL database, as a storage database, and interlocks a search database having a search engine function to supplement the search performance of the storage database. Along with redundancy, search performance can also be improved.
상기 데이터베이스 관리 서버(10)는 1차 부하 밸런싱 모듈(100), 2차 부하 밸런싱 모듈(110) 및 동기화 모듈(120)을 구비한다.The database management server 10 includes a primary
상기 동기화 모듈(120)은 저장용 데이터베이스와 검색용 데이터베이스를 실시간으로 동기화시키는 모듈로서, 검색용 데이터베이스를 저장용 데이버베이스와 실시간으로 동기화시킴으로써 검색용 데이터베이스의 데이터 유실을 방지하게 된다. The
상기 1차 부하 밸런싱 모듈(100)은 메타데이터의 검색 또는 저장 등과 같은 일감(Work)이 입력되면 명령어 파싱(parsing)하여 해당 일감이 검색 업무 및 저장 업무 중 하나로 1차 분리한다. The primary
상기 2차 부하 밸런싱 모듈(11)은, 저장 업무로 1차 분리된 일감을 저장하기 위한 저장용 데이터베이스 서버를 선택하는 모듈로서, 상기 저장용 데이터베이스 서버들에 대한 사용 상태를 수치화하고, 상기 수치화된 점수를 이용하여 저장용 데이터베이스 서버를 선택하고, 선택된 저장용 데이터베이스 서버에 상기 저장 업무로 1차 분리된 일감을 저장하게 된다. 이와 같이, 본 발명에 따른 시스템은, 1차 분리된 일감을 미리 수집한 각각의 데이터베이스 서버들의 CPU 및 RAM 사용률 등을 바탕으로 2차 부하 밸런싱(Load Balancing)함으로써, 최적의 저장용 데이터베이스에 전달 및 저장시킬 수 있게 된다. The secondary load balancing module 11 is a module for selecting a storage database server for storing a primary separated work as a storage task, and quantifies the use state of the storage database servers, The storage database server is selected using the scores, and the first separated work is stored as the storage task in the selected storage database server. As described above, the system according to the present invention is transferred to an optimal storage database by performing secondary load balancing on the basis of CPU and RAM utilization rates of the respective database servers that have collected the first separated work in advance. You can save it.
상기 2차 부하 밸런싱 모듈은, 클러스터링된 상기 저장용 데이터베이스 서버들에 대하여, 서버의 현재 상태 정보에 따른 자원 사용량을 기반으로 한 서버 시스템 점수 및 서버의 네트워크 사용률을 기반으로 한 네트워크 사용 점수를 계산하고, 서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 가장 낮은 저장용 데이터베이스 서버를 선택하게 된다. The secondary load balancing module calculates, for the clustered storage database servers, a server system score based on resource usage according to the current state information of the server and a network usage score based on the network utilization of the server. In this case, the server database score and the network usage score are selected as the lowest storage database server.
상기 서버 시스템 점수는 서버의 CPU 사용률(A), 메모리 사용률(B) 및 디스크 I/O 사용률(C)을 이용하여 계산하되, 서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률의 비중을 서로 달리하여 계산하는 것이 바람직하다. The server system score is calculated using the CPU utilization rate (A), memory utilization rate (B) and disk I / O utilization rate (C) of the server, but the ratios of the CPU utilization rate, the memory utilization rate and the disk I / O utilization rate of the server are different from each other. It is desirable to calculate otherwise.
상기 서버의 CPU 사용량 점수는 CPU 사용률로서, 수학식 1과 같이 표현되며, 여기서, α는 CPU 사용량의 총합(단위 %)이며 β는 CPU 코어 개수이며, 전체적인 안정적인 운영을 위해 CPU의 사용량을 최대 70%로 설정하는 것이 바람직하다. The CPU usage score of the server is a CPU utilization rate, which is expressed as in
네트워크 사용량을 제외한 서버 시스템 점수는 CPU 사용률(A)의 40%, 메모리 사용률(B)의 40%, 디스크 I/O 사용률(C)의 20%를 반영하여 수학식 2와 같이 계산할 수 있다. The server system score excluding network usage may be calculated as shown in Equation 2 by reflecting 40% of CPU utilization (A), 40% of memory usage (B), and 20% of disk I / O utilization (C).
전술한 수학식들을 토대로 하여 계산된 서버 시스템 점수와 네트워크 사용률을 합한 총점수(K)를 기반으로 하여 데이터베이스 서버의 사용 가능 여부를 판단하게 되며, 상기 총점수(K)가 가장 낮은 점수를 갖는 데이터베이스 서버를 현재 가장 최적화된 데이터베이스 서버로 판단하게 된다. 만약, 0 < K < 50 인 경우 서버의 상태가 가장 우수하며, 50 < K < 150 인 경우 서버의 상태가 양호하며, 150 < K < 200 인 경우 서버의 상태가 나쁜 것을 의미한다. 서버의 상태가 나쁜 것으로 판단된 경우, 서버 선정에서 제외시키는 것이 바람직하다. The availability of the database server is determined based on the total score (K) obtained by adding the server system score and the network utilization calculated based on the above equations, and the database having the lowest score is the total score (K). The server will be determined to be the most optimized database server. If 0 <K <50, the state of the server is the best. If 50 <K <150, the state of the server is good. If 150 <K <200, the state of the server is bad. If it is determined that the state of the server is bad, it is desirable to exclude it from server selection.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. Although the present invention has been described above with reference to preferred embodiments thereof, this is merely an example and is not intended to limit the present invention, and those skilled in the art do not depart from the essential characteristics of the present invention. It will be appreciated that various modifications and applications which are not illustrated above in the scope are possible. And differences relating to such modifications and applications should be construed as being included in the scope of the invention as defined in the appended claims.
1 : 메타데이터 검색 시스템
10 : 데이터베이스 관리 서버
20 : 저장용 데이터베이스
30 : 검색용 데이터베이스
100 : 1차 부하 밸런싱 모듈
110 : 2차 부하 밸런싱 모듈
120 : 동기화 모듈1: metadata retrieval system
10: database management server
20: database for storage
30: database for search
100: primary load balancing module
110: secondary load balancing module
120: synchronization module
Claims (10)
상기 저장용 데이터베이스는 클러스터링된 복수 개의 저장용 데이터베이스 서버들로 구성되고,
상기 검색용 데이터베이스는 클러스터링된 복수개의 검색용 데이터베이스 서버들로 구성되고,
상기 데이터베이스 관리 서버는,
메타데이터에 대한 일감이 입력되면 명령어 파싱(parsing)하여 검색 업무 또는 저장 업무로 1차 분리하는 1차 부하 밸런싱 모듈; 및
저장 업무로 1차 분리된 일감을 저장하기 위하여, 상기 저장용 데이터베이스 서버들에 대한 사용 상태를 수치화하고, 상기 수치화된 점수를 이용하여 저장용 데이터베이스 서버를 선택하고, 선택된 저장용 데이터베이스 서버에 상기 저장 업무로 1차 분리된 일감을 저장하는 2차 부하 밸런싱 모듈;
을 구비하여, 메타데이터의 검색 및 저장 속도를 향상시키는 것을 특징으로 하는 메타데이터 검색 시스템. A metadata retrieval system having a database management server, a storage database and a retrieval database,
The storage database is composed of a plurality of clustered storage database servers,
The search database is composed of a plurality of search database servers clustered,
The database management server,
A first load balancing module for parsing an instruction into a search task or a storage task if a task for metadata is input; And
In order to store the first separated work as a storage task, the usage state of the storage database servers is quantified, the storage database server is selected using the digitized score, and the storage is stored in the selected storage database server. A secondary load balancing module for storing work separated from the first work;
Providing, to improve the speed of searching and storing the metadata metadata search system.
상기 저장용 데이터베이스 서버들에 대하여, 서버의 자원 사용량을 기반으로 한 서버 시스템 점수 및 서버의 네트워크 사용률을 기반으로 한 네트워크 사용 점수를 계산하고,
서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 가장 낮은 저장용 데이터베이스 서버를 선택하는 것을 특징으로 하는 메타데이터 검색 시스템. The method of claim 1, wherein the secondary load balancing module,
For the storage database servers, calculate the server system score based on the server resource usage and the network usage score based on the network utilization of the server,
A metadata retrieval system characterized by selecting a database server for storage having the lowest sum of server system score and network usage score.
상기 서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 사전 설정된 범위를 초과하는 경우에는 서버 선택에서 제외시키는 것을 특징으로 하는 메타데이터 검색 시스템. The method of claim 2, wherein the secondary load balancing module,
And when the sum of the server system score and the network usage score exceeds the preset range, exclude the server selection.
저장용 데이터베이스와 검색용 데이터베이스를 실시간으로 동기화시키는 동기화 모듈을 더 구비하여, 검색용 데이터베이스의 데이터 유실을 방지하는 것을 특징으로 하는 메타데이터 검색 시스템. The method of claim 1, wherein the database management server,
And a synchronization module for synchronizing the storage database and the search database in real time, thereby preventing data loss of the search database.
(a) 메타데이터에 대한 일감이 입력되면 명령어 파싱(parsing)하여 검색 업무 또는 저장 업무로 1차 분리하는 1차 부하 밸런싱 단계;
(b) 저장 업무로 1차 분리된 일감을 저장하기 위하여, 상기 저장용 데이터베이스 서버들에 대한 사용 상태를 수치화하고, 상기 수치화된 점수를 이용하여 저장용 데이터베이스 서버를 선택하고, 선택된 저장용 데이터베이스 서버에 상기 저장 업무로 1차 분리된 일감을 저장하는 2차 부하 밸런싱 단계;
를 구비하여, 메타데이터의 검색 및 저장 속도를 향상시키는 것을 특징으로 하는 메타데이터 검색 시스템에서의 데이터베이스 관리 방법. Database management by a database management server in a metadata retrieval system having a database management server, a storage database composed of a plurality of clustered storage database servers, and a search database composed of a plurality of clustered search database servers. In the method,
(a) a first load balancing step of first parsing an instruction into a search task or a storage task if a task for metadata is input;
(b) in order to store the primary separated work as a storage task, the usage state for the storage database servers is quantified, the storage database server is selected using the digitized score, and the selected storage database server A second load balancing step of storing a first separated work in the storage task in the second work;
The method for managing a database in a metadata retrieval system, comprising: improving a retrieval and storage speed of metadata.
상기 저장용 데이터베이스 서버들에 대하여, 서버의 자원 사용량을 기반으로 한 서버 시스템 점수 및 서버의 네트워크 사용률을 기반으로 한 네트워크 사용 점수를 계산하고,
서버 시스템 점수와 네트워크 사용 점수를 합한 점수가 가장 낮은 저장용 데이터베이스 서버를 선택하는 것을 특징으로 하는 메타데이터 검색 시스템의 데이터베이스 관리 방법. According to claim 8, wherein step (b),
For the storage database servers, calculate the server system score based on the server resource usage and the network usage score based on the network utilization of the server,
A method for managing a database of a metadata retrieval system, characterized by selecting a storage database server having the lowest sum of a server system score and a network usage score.
서버의 CPU 사용률, 메모리 사용률 및 디스크 I/O 사용률의 비중을 서로 달리하여 계산하는 것을 특징으로 하는 메타데이터 검색 시스템의 데이터베이스 관리방법.
10. The method of claim 9, wherein the server system score is calculated using CPU utilization, memory utilization and disk I / O utilization of the server,
A method for managing a database of a metadata retrieval system, characterized by calculating different ratios of CPU utilization, memory utilization, and disk I / O utilization of a server.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180126190A KR102047233B1 (en) | 2018-10-22 | 2018-10-22 | Metadata search system by using dual load balancing and database management method by using dual load balancing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180126190A KR102047233B1 (en) | 2018-10-22 | 2018-10-22 | Metadata search system by using dual load balancing and database management method by using dual load balancing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102047233B1 true KR102047233B1 (en) | 2019-11-21 |
Family
ID=68692133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180126190A KR102047233B1 (en) | 2018-10-22 | 2018-10-22 | Metadata search system by using dual load balancing and database management method by using dual load balancing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102047233B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021229292A1 (en) * | 2020-05-12 | 2021-11-18 | Coupang Corp. | Systems and methods for reducing database query latency |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100037401A (en) | 2008-10-01 | 2010-04-09 | 엔에이치엔(주) | Method and apparatus for managing search database |
| KR20100048130A (en) * | 2008-10-30 | 2010-05-11 | 주식회사 케이티 | Distributed storage system based on metadata cluster and method thereof |
| US20140222871A1 (en) * | 2011-12-29 | 2014-08-07 | Teradata Us, Inc. | Techniques for data assignment from an external distributed file system to a database management system |
| US20150127625A1 (en) * | 2011-04-26 | 2015-05-07 | Brian J. Bulkowski | Cluster-node load balancing in a distributed database system |
| KR101566884B1 (en) * | 2014-05-22 | 2015-11-06 | 주식회사 아이온커뮤니케이션즈 | Distribution store system for managing unstructured data |
| JP2017507424A (en) * | 2014-02-19 | 2017-03-16 | スノーフレーク コンピューティング インク．Ｓｎｏｗｆｌａｋｅ Ｃｏｍｐｕｔｉｎｇ Ｉｎｃ． | Data management system and method |
| KR20180046078A (en) * | 2016-10-27 | 2018-05-08 | 삼성에스디에스 주식회사 | Database rebalancing method |
-
2018
- 2018-10-22 KR KR1020180126190A patent/KR102047233B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100037401A (en) | 2008-10-01 | 2010-04-09 | 엔에이치엔(주) | Method and apparatus for managing search database |
| KR20100048130A (en) * | 2008-10-30 | 2010-05-11 | 주식회사 케이티 | Distributed storage system based on metadata cluster and method thereof |
| US20150127625A1 (en) * | 2011-04-26 | 2015-05-07 | Brian J. Bulkowski | Cluster-node load balancing in a distributed database system |
| US20140222871A1 (en) * | 2011-12-29 | 2014-08-07 | Teradata Us, Inc. | Techniques for data assignment from an external distributed file system to a database management system |
| JP2017507424A (en) * | 2014-02-19 | 2017-03-16 | スノーフレーク コンピューティング インク．Ｓｎｏｗｆｌａｋｅ Ｃｏｍｐｕｔｉｎｇ Ｉｎｃ． | Data management system and method |
| KR101566884B1 (en) * | 2014-05-22 | 2015-11-06 | 주식회사 아이온커뮤니케이션즈 | Distribution store system for managing unstructured data |
| KR20180046078A (en) * | 2016-10-27 | 2018-05-08 | 삼성에스디에스 주식회사 | Database rebalancing method |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021229292A1 (en) * | 2020-05-12 | 2021-11-18 | Coupang Corp. | Systems and methods for reducing database query latency |
| KR20210138455A (en) * | 2020-05-12 | 2021-11-19 | 쿠팡 주식회사 | Systems and methods for reducing database query latency |
| US11210288B2 (en) | 2020-05-12 | 2021-12-28 | Coupang Corp. | Systems and methods for reducing database query latency |
| US11681701B2 (en) | 2020-05-12 | 2023-06-20 | Coupang Corp. | Systems and methods for reducing database query latency |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9514188B2 (en) | Integrating map-reduce into a distributed relational database | |
| US9507875B2 (en) | Symbolic hyper-graph database | |
| US20170357653A1 (en) | Unsupervised method for enriching rdf data sources from denormalized data | |
| JP6281225B2 (en) | Information processing device | |
| EP3516539B1 (en) | Techniques for in-memory key range searches | |
| US9753960B1 (en) | System, method, and computer program for dynamically generating a visual representation of a subset of a graph for display, based on search criteria | |
| US7953727B2 (en) | Handling requests for data stored in database tables | |
| US8880463B2 (en) | Standardized framework for reporting archived legacy system data | |
| US20170344546A1 (en) | Code dispersion hash table-based map-reduce system and method | |
| CN102722553A (en) | Distributed type reverse index organization method based on user log analysis | |
| Chen et al. | SparkRDF: elastic discreted RDF graph processing engine with distributed memory | |
| US11080207B2 (en) | Caching framework for big-data engines in the cloud | |
| US10783127B2 (en) | Componentized data storage | |
| CN110232106A (en) | A kind of mass data storage and method for quickly retrieving based on MongoDB and Solr | |
| CN116992887A (en) | Metadata data catalog processing method, device and processing equipment | |
| KR102047233B1 (en) | Metadata search system by using dual load balancing and database management method by using dual load balancing | |
| US20170270149A1 (en) | Database systems with re-ordered replicas and methods of accessing and backing up databases | |
| CN109992575B (en) | Distributed storage system for big data | |
| CN108121807B (en) | Method for realizing multi-dimensional Index structure OBF-Index in Hadoop environment | |
| JP2011216029A (en) | Distributed memory database system, database server, data processing method, and program thereof | |
| GB2520993A (en) | Indexing presentation slides | |
| CN111309704B (en) | Database operation method and database operation system | |
| CN109657060B (en) | Safety production accident case pushing method and system | |
| CN105912877A (en) | Data processing method of medicine product | |
| US11841857B2 (en) | Query efficiency using merged columns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |