KR101365464B1

KR101365464B1 - 데이터베이스 미들웨어를 이용한 데이터 관리 시스템 및 방법

Info

Publication number: KR101365464B1
Application number: KR1020120022434A
Authority: KR
Inventors: 김성규; 전원희; 남창우; 박부식; 정기효
Original assignee: 네이버비즈니스플랫폼 주식회사
Priority date: 2012-03-05
Filing date: 2012-03-05
Publication date: 2014-02-20
Also published as: EP2637111A1; JP6338817B2; EP2637111B1; JP2013186890A; KR20130101349A

Abstract

데이터베이스 미들웨어를 이용한 데이터 관리 시스템 및 방법이 제공된다. 데이터베이스 미들웨어를 포함하는 데이터 관리 시스템에 있어서, 상기 데이터베이스 미들웨어는, 입력되는 쿼리에 기초하여 샤드 키 식별자(Shard Key ID)를 생성하고, 생성된 샤드 키 식별자와 데이터베이스 미들웨어에 설정된 샤드 메타데이터(Shard metadata)를 이용하여 결정된 샤드 식별자(shard ID)를 통해 복수의 데이터베이스들 중 하나의 데이터베이스를 선택하는 샤드 프로세싱 모듈을 포함한다.

Description

데이터베이스 미들웨어를 이용한 데이터 관리 시스템 및 방법{DATA MANAGEMENT SYSTEM AND METHOD USING DATABASE MIDDLEWARE}

본 발명의 실시예들은 데이터베이스 미들웨어를 이용한 데이터 관리 시스템 및 방법에 관한 것이다.

관계형데이터베이스(relational database)는 일련의 정형화된 테이블로 구성된 데이터 항목들의 집합체로서, 그 데이터들은 데이터베이스 테이블을 재구성하지 않더라도 다양한 방법으로 접근하거나 조합될 수 있다. 관계형 데이터베이스에서 사용자와 관계형 데이터베이스를 연결시켜 주는 표준검색언어를 SQL이라고 하는데, SQL 문장은 관계형 데이터베이스에 있는 데이터를 직접 조회하거나 또는 보고서를 추출하는 데 사용될 수 있다. 관계형 데이터베이스는 만들거나 이용하기가 비교적 쉽지만, 무엇보다도 확장이 용이하다는 장점을 가지고 있다. 처음 데이터베이스를 만든 후 관련되는 응용 프로그램들을 변경하지 않고도, 새로운 데이터 항목을 데이터베이스에 추가할 수 있다.

이때, 하나의 데이터베이스로 다룰 수 없을 만큼 많은 데이터를 저장하고 조회하려면 여러 데이터베이스에 데이터들을 분산하여 저장 및 유지하는 방식을 이용하게 된다. 이때, 종래기술에서는 테이블을 분리하여 분할된 테이블을 여러 데이터베이스에 분산 저장하고, 어플리케이션 단에서 원하는 데이터가 포함된 데이터베이스를 찾기 위한 룰(rule)을 계산하였다. 따라서, 이러한 종래기술에서는 어플리케이션 단의 복잡도가 증가하는 문제점이 있다. 또한, 테이블 추가 분할 또는 데이터베이스 증설 시 어플리케이션 단에도 변경이 필요한 문제점이 있다.

도 1은 종래기술에 따른 데이터 관리 방법을 설명하기 위한 도면이다. 도 1은 복수의 사용자들이 복수의 단말기들(어플리케이션 단)(110)을 통해 복수의 데이터베이스들(120)에 저장된 데이터를 조회함에 있어서, 데이터베이스 미들웨어(130)가 쿼리를 입력받아 데이터를 처리하는 모습을 나타내고 있다. 이때, 종래기술에 따른 데이터 관리 방법에서는 어플리케이션 단에서 키(Key)를 생성하고, 포함된 메타데이터를 이용하여 데이터를 저장/조회/생성하기 위한 데이터베이스를 복수의 데이터베이스들(120) 중에서 선택해야 한다. 이때, 복수의 데이터베이스들(120) 각각은 서로 다른 이름(name)을 가질 수 있고, 이름을 통해 식별될 수 있다. 예를 들어, 단말기 2가 데이터를 추가하고자 하고, 데이터가 추가되어야 할 데이터베이스가 'DB 3'인 경우, 단말기 2는 직접 기설정된 룰에 따라 데이터를 추가해야 할 데이터베이스가 'DB 3'임을 확인해야 하며, 'DB 3'에 데이터를 추가하라는 쿼리를 생성해야 한다. 즉, 어플리케이션 단에서 필요한 데이터베이스를 직접 찾아 쿼리를 생성해야 하기 때문에 어플리케이션 단의 복잡도가 증가하는 문제점이 있다. 또한, 테이블을 추가 분할하거나 데이터베이스를 증설하는 경우, 어플리케이션 단에서 원하는 데이터 또는 원하는 데이터베이스를 직접 찾아야 하기 때문에 어플리케이션 단에도 변경이 발생하게 되는 문제점이 있다.

본 명세서에서는 복수의 데이터베이스에 분산 저장된 데이터들을 보다 효과적으로 관리할 수 있는 시스템 및 방법이 제공된다.

데이터베이스 미들웨어에서 샤딩(sharding) 처리를 통해 어플리케이션 단의 요청에 적합한 단일 데이터베이스를 복수의 데이터베이스 중에서 찾아 데이터를 조회 및 제공함으로써, 어플리케이션 단의 복잡도를 감소시킬 수 있는 데이터 관리 시스템 및 방법을 제공한다.

샤드 프로세싱 모듈을 포함한 데이터베이스 미들웨어를 이용하여 어플리케이션 단의 변경 없이 테이블의 추가 분할 또는 데이터베이스 증설이 가능한 데이터 관리 시스템 및 방법을 제공한다.

내부 해싱 기법이나 사용자에 의해 등록된 해싱 기법 등과 같이 다양한 해싱 기법을 사용할 수 있는 데이터 관리 시스템 및 방법을 제공한다.

데이터베이스 미들웨어를 포함하는 데이터 관리 시스템에 있어서, 데이터베이스 미들웨어는, 입력되는 쿼리에 기초하여 샤드 키 식별자(Shard Key ID)를 생성하고, 생성된 샤드 키 식별자와 샤드 메타데이터(Shard metadata)를 이용하여 결정된 샤드 식별자(shard ID)를 통해 복수의 데이터베이스들 중 하나의 데이터베이스를 선택하는 샤드 프로세싱 모듈을 포함하는 것을 특징으로 하는 데이터 관리 시스템을 제공한다.

일측에 따르면, 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함할 수 있고, 데이터베이스 미들웨어는, 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 더 포함할 수 있다.

다른 측면에 따르면, 데이터베이스 미들웨어는, 어플리케이션 단의 연결 요청을 가용한 프로세스에 분배하기 위한 잡 큐 모듈(job queue module), 동시에 다수의 사용자 및 데이터베이스와의 연결을 유지하고, 필요 시 연결을 재 사용하기 위한 커넥션 풀링 모듈(connection pooling module), 실시간 모니터링을 통해 상태 및 통계 정보를 수집하는 모니터링 모듈, 사용자로부터의 데이터베이스 명령을 처리하기 위한 데이터베이스 인터페이스 모듈, 에러 또는 수행한 질의에 대한 이벤트 로그를 생성하는 로깅 모듈(logging module) 중 적어도 하나의 모듈을 더 포함할 수 있다.

또 다른 측면에 따르면, 샤드 프로세싱 모듈은, 입력되는 쿼리에 포함되는 기설정된 힌트를 더 이용하여 샤드 식별자를 선택할 수 있다.

또 다른 측면에 따르면, 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 입력되는 쿼리를 처리할 샤드 식별자를 선택하기 위해 바인드 변수 또는 리터럴 값 앞에 위치하는 힌트를 포함할 수 있다.

또 다른 측면에 따르면, 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블의 처리를 위한 힌트를 포함할 수 있다.

또 다른 측면에 따르면, 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하기 위한 힌트를 포함할 수 있다.

또 다른 측면에 따르면, 기설정된 힌트는, 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 특정 샤드 키를 선택하여 데이터를 선택하기 위한 힌트를 포함할 수 있다.

데이터베이스 미들웨어를 포함하는 데이터 관리 시스템에서 데이터를 관리하는 방법으로서, 데이터베이스 미들웨어가 포함하는 샤드 프로세싱 모듈에서, 샤드 키 값(shard key value)을 얻기 위한 함수와 샤드 키 식별자를 얻기 위한 함수를 실행하는 단계 및 함수들의 리턴값과, 데이터베이스 미들웨어에 설정된 샤드 메타데이터를 이용하여 복수의 데이터베이스들 각각을 식별하는 샤드 식별자들 중 하나의 샤드 식별자를 선택하는 단계를 포함하는 데이터 관리 방법을 제공한다.

컴퓨터 시스템이 웹페이지를 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 명령은, 샤드 키 값(shard key value)을 얻기 위한 함수와 샤드 키 식별자를 얻기 위한 함수를 실행하는 단계 및 함수들의 리턴값과, 데이터베이스 미들웨어에 설정된 샤드 메타데이터를 이용하여 복수의 데이터베이스들 각각을 식별하는 샤드 식별자들 중 하나의 샤드 식별자를 선택하는 단계를 포함하는 방법에 의하여 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 매체를 제공한다.

데이터베이스 미들웨어에서 샤딩(sharding) 처리를 통해 어플리케이션 단의 요청에 적합한 단일 데이터베이스를 복수의 데이터베이스 중에서 찾아 데이터를 조회 및 제공함으로써, 어플리케이션 단의 복잡도를 감소시킬 수 있다.

샤드 프로세싱 모듈을 포함한 데이터베이스 미들웨어를 이용하여 어플리케이션 단의 변경 없이 테이블을 추가 분할하거나 또는 데이터베이스 증설할 수 있다.

내부 해싱 기법이나 사용자에 의해 등록된 해싱 기법 등과 같이 다양한 해싱 기법을 사용할 수 있다.

도 1은 종래기술에 따른 데이터 관리 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 데이터 관리 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키(shard key)를 갖는 경우, 데이터를 선택하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블을 처리하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 데이터를 선택하는 방법을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 있어서, 샤드 키 식별자 생성 및 샤드를 선택하는 방법의 일례를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 있어서, 데이터 관리 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 9는 본 발명의 일실시예에 있어서, 데이터 관리 방법을 도시한 흐름도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 2는 본 발명의 일실시예에 있어서, 데이터 관리 방법을 설명하기 위한 도면이다. 도 1 및 도 2를 함께 참조하면, 도 2에서도 복수의 사용자들이 복수의 단말기들(어플리케이션 단)(210)을 통해 복수의 데이터베이스들(220)에 저장된 데이터를 조회함에 있어서, 데이터베이스 미들웨어(230)가 쿼리를 입력받아 데이터를 처리하는 모습을 나타내고 있다. 이때, 도 2에서 데이터베이스 미들웨어(230)는 샤드 프로세싱(shard processing) 모듈(231)을 포함하고 있다. 이때, 복수의 데이터베이스들(220)은 모두 단일 데이터베이스 이름(name)을 가질 수 있고, 복수의 샤드로 분류될 수 있다.

데이터베이스 미들웨어(230)는 샤드 프로세싱 모듈(231)을 이용하여 샤드 키 식별자(shard key ID)를 생성하고, 생성된 샤드 키 식별자와 샤드 메타데이터를 이용하여 샤드(데이터베이스)를 선택할 수 있다. 일례로, 데이터베이스 미들웨어(230)는 샤드 키를 해시 함수를 이용하여 해싱하여 해시 값을 샤드 키 식별자로서 생성할 수 있다. 이때, 해시 함수는 샤드 키 값을 입력으로 받아 해시 값을 출력할 수 있고, 출력된 해시 값이 샤드 키 식별자로 이용될 수 있다. 여기서, 샤드 메타데이터는 일실시예로, 데이터베이스 미들웨어(230)의 설정 파일에 포함될 수 있다.

또한, 다른 실시예로, 샤드 메타데이터는 각 데이터베이스들에 포함될 수도 있다. 이 경우, 데이터베이스 미들웨어(230)는 샤드 프로세싱 모듈(231)을 이용하여 적어도 하나의 데이터베이스에 포함된 샤드 메타데이터를 참고하여 샤드 식별자를 결정할 수 있다. 이때, 데이터베이스 미들웨어(230)는 결정된 샤드 식별자를 이용하여 샤드(데이터베이스)를 선택할 수 있다.

이러한, 데이터베이스 미들웨어(230)는 샤드 프로세싱 모듈(231)을 이용하여 적절한 데이터베이스를 선택하기 때문에 어플리케이션 단에서는 복수의 데이터베이스들(220) 중 적절한 데이터베이스를 직접 선택할 필요가 없어지고, 따라서 어플리케이션 단의 복잡도가 감소하게 된다. 또한, 이러한 데이터베이스 선택을 위해 종래기술에서 어플리케이션 단이 포함하던 메타데이터를 어플리케이션 단에서 포함할 필요가 없기 때문에 어플리케이션 단의 변경 없이 테이블을 추가 분할하거나 또는 데이터베이스 증설할 수 있다. 뿐만 아니라, 내부 해싱 기법이나 사용자에 의해 등록된 해싱 기법 등과 같이 다양한 해싱 기법을 사용할 수 있게 된다.

이때, 어플리케이션 단에서 데이터베이스 미들웨어(230)로 전달되는 쿼리는 다양한 종류의 힌트(hint)를 포함할 수 있다. 이후에서는, 다양한 종류의 힌트의 예들을 도 3 내지 도 5를 통해 자세히 설명한다.

도 3은 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키(shard key)를 갖는 경우, 데이터를 선택하는 방법을 설명하기 위한 도면이다. 도 3은 하나의 데이터베이스(300)를 나타내고 있다. 이때, 데이터베이스(300)에는 사용자 테이블(310)이 포함되어 있다. 여기서, 사용자 테이블(310)은 각각 'emp_no'라는 이름의 컬럼을 포함하는 세 개의 테이블 'emp', 'emp_평가' 및 'emp_경력'을 포함하고 있다. 이때, 도 2를 통해 설명한 데이터베이스 미들웨어(230)는 일례로, 설정 파일에 샤드 메타데이터를 포함할 수 있고, 샤드 메타데이터는 일례로, 'emp_no'와 같이 테이블을 식별하기 위한 정보를 포함할 수 있다. 이미 설명한 바와 같이 샤드 메타데이터는 다른 실시예로 각 데이터베이스에 포함될 수도 있다.

이때, 어플리케이션 단에서 전달되는 쿼리는 "/*+ SHARD_KEY */"와 같은 힌트를 포함할 수 있다. 힌트 "/*+ SHARD_KEY */"는 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우 사용될 수 있고, 샤드 키 컬럼(column)에 해당하는 리터럴 값 전에 위치하거나 바인드 변수를 위한 "?" 전에 위치할 수 있다. 아래 일례로서 제공된 쿼리에서 첫 번째와 세 번째 'SELECT'문에서는 바인드 변수를 가리키는 "?" 앞에 힌트 "/*+ SHARD_KEY */"가 위치한 모습을 나타내고 있고, 두 번째 'SELECT'문에서는 샤드 키 컬럼의 값인 '1' 앞에 힌트 "/*+ SHARD_KEY */"가 위치한 모습을 나타내고 있다.

SELECT * FROM emp

WHERE emp_no = /*+ SHARD_KEY */ ?

SELECT * FROM emp_평가

WHERE emp_no = /*+ SHARD_KEY */ 1

SELECT * FROM emp_경력

WHERE emp_no IN {/*+ SHARD_KEY */ ?, /*+ SHARD_KEY */ ?}

도 4는 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블을 처리하는 방법을 나타낸 도면이다. 도 4는 하나의 데이터베이스(400)를 나타내고 있다. 이때, 데이터베이스(400)에는 사용자 테이블(410)을 포함하고 있다. 여기서, 사용자 테이블(410)은 각각 'emp_no'라는 이름의 컬럼을 포함하는 두 개의 테이블 'emp' 및 'emp_평가'를 나타내고 있고, 샤드 키를 갖지 않는 테이블 'without_shard_table'을 나타내고 있다.

이때, 도 2를 통해 설명한 데이터베이스 미들웨어(230)에는 샤드 메타데이터가 포함될 수 있고, 샤드 메타데이터는 일례로, 'emp_no'와 같이 필요한 테이블을 식별하기 위한 정보를 포함할 수 있다. 이미 설명한 바와 같이 샤드 메타데이터는 다른 실시예로 각 데이터베이스에 포함될 수도 있다.

이 경우, 쿼리는 힌트로서 "/*+ SHARD_VAL(value) */"를 포함할 수 있다. 힌트 "/*+ SHARD_VAL(value) */"는 하나의 데이터베이스(400)가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블 'without_shard_table'의 처리를 위해 이용될 수 있다. 예를 들어, 아래의 쿼리와 같이 쿼리에 힌트가 포함될 수 있다.

SELECT * FROM emp

WHERE emp_no = /*+ SHARD_KEY*/ ?

…

SELECT * FROM without_shard_table

WHERE /*+ SHARD_VAL(1) */ no = 'a'

두 번째 'SELECT'문에서는 임시 샤드 키 값인 '1'을 이용하여 샤드 키가 없는 테이블 'without_shard_table' 에서 no 컬럼의 값이 'a'인 데이터를 조회하는 모습을 나타내고 있다.

도 5는 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하는 방법을 나타낸 도면이다. 도 5는 'shard 1'로 식별되는 데이터베이스(510)와 'shard 2'로 식별되는 데이터베이스(520)를 나타내고 있다. 이때, 데이터베이스(510) 및 데이터베이스(520)는 모두 동일한 데이터베이스 이름을 가질 수 있다. 각 데이터베이스(510 및 520)는 'emp_no'라는 이름의 컬럼을 포함하는 테이블 'emp' 를 포함한다, 이때, 힌트 "/*+ SHARD_ALL */"가 이용될 수 있다.

SELECT * FROM emp

WHERE emp_no = /*+ SHARD_KEY*/ ?

…

SELECT * FROM emp /*+ SHARD_ALL */

이때, 첫 번째 'SELECT'문에서 '?'의 값에 따라 'shard 1' 또는 'shard 2'가 다이나믹하게 바인딩되어 바인딩된 데이터베이스에서 데이터가 리턴될 수 있다.

또한, 힌트 "/*+ SHARD_ALL */"는 'shard 1'의 데이터와 'shard 2의 데이터가 모두 리턴됨을 의미할 수 있다. 이때, 어플리케이션 단은 'getMoreResult API'를 통해 'shard 1'의 데이터를 모두 받은 후, 'shard 2'의 데이터를 받을 수 있다.

도 6은 본 발명의 일실시예에 있어서, 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 데이터를 선택하는 방법을 나타낸 도면이다. 데이터베이스(600)는 사용자 테이블(610)을 포함하고 있다.

여기서, 사용자 테이블(610)은 각각 'emp_no'라는 이름의 컬럼을 포함하는 두 개의 테이블 'emp' 및 'emp_평가'를 나타내고 있고, 'level'이라는 이름의 컬럼을 포함하는 '역량레벨' 테이블을 더 나타내고 있다. 이때, 도 2를 통해 설명한 데이터베이스 미들웨어(230)에는 샤드 메타데이터가 포함될 수 있고, 샤드 메타데이터는 일례로, 'emp_no' 및 'level'과 같이 필요한 테이블 및 레벨을 식별하기 위한 정보를 포함할 수 있다. 이미 설명한 바와 같이 샤드 메타데이터는 다른 실시예로 각 데이터베이스에 포함될 수도 있다.

이 경우, 힌트 "/*+ SHARD_KEY(name) /"가 이용될 수 있다. 여기서, 'name'은 필요한 'level'에 대응될 수 있다. 즉, 아래 세 번째 'SELECT'문에서는 하나의 데이터베이스(600)가 포함하는 복수 개의 샤드 키 중에서 필요한 샤드 키를 'level'을 통해 선택하기 위해 힌트 "/+ SHARD_KEY(name) */"를 사용하는 모습을 나타내고 있다.

SELECT * FROM emp

WHERE emp_no = /*+ SHARD_KEY(emp_no) */ ?

SELECT * FROM emp_평가

WHERE emp_no = /*+ SHARD_KEY (emp_no) */ 1

…

SELECT * FROM 역량레벨

WHERE level = /*+ SHARD_KEY (level) */ ?

도 7은 본 발명의 일실시예에 있어서, 키 식별자 생성 및 샤드를 선택하는 방법의 일례를 나타낸 도면이다. 도 7은 데이터베이스 미들웨어(710)와 'shard 1'로 식별되는 데이터베이스(720) 및 'shard 2'로 식별되는 데이터베이스(730)를 도시하고 있다. 여기서, 데이터베이스(720)는 사용자 테이블(721)을 포함하고 있으며, 데이터베이스(730)는 사용자 테이블(731)을 포함하고 있다.

이때, 쿼리(740)가 데이터베이스 미들웨어(710)로 입력되면, 데이터베이스 미들웨어(710)는 데이터베이스 미들웨어(710)가 제공하는 계산 방식 또는 사용자 정의 함수를 사용하여 샤드 키에 대한 해시 값을 계산할 수 있고, 얻어진 해시 값을 이용하여 데이터베이스 미들웨어(710)가 포함하는 샤드 메타데이터의 내용에 따라 룰을 적용하여 샤드 식별자(Shard ID)를 선택하여 쿼리를 실행할 수 있다. 이때, 샤드 메타데이터는 다른 실시예로 각 데이터베이스에 포함될 수도 있다.

이미 여러 차례 설명한 바와 같이, 복수의 데이터베이스들은 복수의 샤드로 분류될 수 있다. 일례로, N개의 데이터베이스들이 M개의 샤드로 분류될 수 있다. 이 경우, N과 M은 모두 정수이고, N은 M보다 보다 크거나 같을 수 있다. 만약, 하나의 샤드로 분류되는 데이터베이스가 복수개인 경우, 하나의 샤드로 분류되는 데이터베이스들은 서로 동일 기종의 데이터베이스들일 수 있다.

도 7의 예에서는 '45'라는 샤드 키 식별자를 이용하여 데이터베이스 미들웨어(710)의 샤드 메타데이터를 조회하여 필요한 샤드 식별자(Shard ID)가 '1'임을 확인하여 'shard 1'로 식별되는 데이터베이스(720)를 선택하여 쿼리를 실행하는 모습을 나타내고 있다.

쿼리에는 하나의 샤드 키 값(Shard Key Value)당 하나의 샤드 키 힌트(SHARD_KEY Hint)가 명시될 수 있고, 하나 이상의 샤드 키 힌트가 사용되는 경우, 각 힌트들은 동일한 샤드 식별자(Shard ID)에 대해 적용될 수 있다. 또한, 샤드(Shard)를 넘어서는 조인(JOIN) 쿼리는 지원하지 않을 수 있다.

본 실시예에 따른 데이터 관리 시스템은 데이터베이스 미들웨어를 포함할 수 있고, 데이터베이스 미들웨어는 샤드 프로세싱 모듈을 포함할 수 있다. 여기서, 샤드 프로세싱 모듈은 입력되는 쿼리에 기초하여 샤드 키 식별자(Shard Key ID)를 생성하고, 생성된 샤드 키와 데이터베이스 미들웨어에 설정된 샤드 메타데이터(Shard metadata)를 이용하여 샤드 식별자를 선택할 수 있다. 이때, 데이터베이스 미들웨어는 선택된 샤드 식별자를 통해 복수의 데이터베이스들 중 하나의 데이터베이스를 선택할 수 있다. 일례로, 데이터베이스 미들웨어(230)는 샤드 키를 해시 함수를 이용하여 해싱하여 해시 값을 샤드 키 식별자로서 생성할 수 있다.

여기서, 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함할 수 있다. 다만, 하나의 샤드로 분류되는 데이터베이스들은 동일 기종의 데이터베이스들로 구성될 수 있다. 이때, 데이터베이스 미들웨어는, 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 필요에 따라 더 포함할 수 있다. 또한, 데이터베이스 미들웨어는, 필요에 따라 어플리케이션 단의 연결 요청을 가용한 프로세스에 분배하기 위한 잡 큐 모듈(job queue module), 동시에 다수의 사용자 및 데이터베이스와의 연결을 유지하고, 필요 시 연결을 재 사용하기 위한 커넥션 풀링 모듈(connection pooling module), 실시간 모니터링을 통해 상태 및 통계 정보를 수집하는 모니터링 모듈, 사용자로부터의 데이터베이스 명령을 처리하기 위한 데이터베이스 인터페이스 모듈, 에러 또는 수행한 쿼리에 대한 이벤트 로그를 생성하는 로깅 모듈(logging module) 중 적어도 하나의 모듈을 더 포함할 수 있다.

여기서, 샤드 프로세싱 모듈은 입력되는 쿼리에 포함되는 기설정된 힌트를 더 이용하여 샤드 식별자를 선택할 수 있다. 기설정된 힌트는 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우 입력되는 쿼리를 처리할 샤드 식별자를 선택하기 위해 샤드 키 값(바인드 변수 또는 리터럴 값) 앞에 위치하는 힌트, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우 샤드 키를 갖지 않는 테이블의 처리를 위한 힌트, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우 모든 샤드에 있는 데이터를 선택하기 위한 힌트 및 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우 특정 샤드 키를 선택하여 데이터를 선택하기 위한 힌트 중 적어도 하나의 힌트를 포함할 수 있다. 각각의 힌트들에 대해서는 도 3 내지 도 6을 통해 이미 자세히 설명하였다.

도 8은 본 발명의 일실시예에 있어서, 데이터 관리 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 도 8은 어플리케이션 단으로서 'DB Middleware Interface'(810)와 데이터베이스 미들웨어로서 'DB Middleware'(820)를, 그리고 이기종의 데이터베이스들로서 서로 다른 종류의 세 개의 데이터베이스들('CUBRID', 'Oracle' 및 'MySQL')(830)을 각각 나타내고 있다.

이때, 'DB Middleware'(820)는 상술한 모듈들을 모두 포함한 일례를 나타내고 있다. 또한, 'DB Middleware Interface'(810)는 자바 프로그램 안에서 SQL을 실행하기 위해 데이터베이스를 연결해주는 응용프로그램 인터페이스인 'JDBC(Java data base connectivity)'를 포함한 일례를 나타내고 있다.

도 9는 본 발명의 일실시예에 있어서, 데이터 관리 방법을 도시한 흐름도이다.

단계(910)에서 데이터 관리 시스템은 샤드 키 값(shard key value)을 얻기 위한 함수와 샤드 키 식별자를 얻기 위한 함수를 실행한다. 이때, 샤드 키 식별자는 샤드 키 값을 해싱한 해시 값으로서 생성될 수 있다. 즉, 샤드 키 식별자를 얻기 위한 함수는, 샤드 키 값을 해싱하기 위한 해시 함수일 수 있다.

단계(920)에서 데이터 관리 시스템은 함수들의 리턴값과, 데이터베이스 미들웨어에 설정된 샤드 메타데이터를 이용하여 복수의 데이터베이스들 각각을 식별하는 샤드 식별자들 중 하나의 샤드 식별자를 선택한다.

이러한 단계(910) 및 단계(920)은 데이터 관리 시스템이 포함하는 데이터베이스 미들웨어를 통해, 특히 데이터베이스 미들웨어가 포함하는 샤드 프로세싱 모듈에 의해 수행될 수 있다.

여기서, 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함할 수 있다. 다만, 하나의 샤드로 분류되는 데이터베이스들은 서로 동일한 기종의 데이터베이스들로 구성될 수 있다. 이때, 데이터베이스 미들웨어는 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 더 포함할 수 있다. 또한, 데이터베이스 미들웨어는, 어플리케이션 단의 연결 요청을 가용한 프로세스에 분배하기 위한 잡 큐 모듈(job queue module), 동시에 다수의 사용자 및 데이터베이스와의 연결을 유지하고, 필요 시 연결을 재 사용하기 위한 커넥션 풀링 모듈(connection pooling module), 실시간 모니터링을 통해 상태 및 통계 정보를 수집하는 모니터링 모듈, 사용자로부터의 데이터베이스 명령을 처리하기 위한 데이터베이스 인터페이스 모듈, 에러 또는 수행한 질의에 대한 이벤트 로그를 생성하는 로깅 모듈(logging module) 중 적어도 하나의 모듈을 더 포함할 수 있다.

또한, 단계(920)에서 데이터 관리 시스템은 입력되는 쿼리에 포함되는 기설정된 힌트를 더 이용하여 샤드 식별자를 선택할 수 있다. 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 입력되는 쿼리를 처리할 샤드 식별자를 선택하기 위해 샤드 키 값(바인드 변수 또는 리터럴 값) 앞에 위치하는 힌트, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블의 처리를 위한 힌트, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하기 위한 힌트 및 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 특정 샤드 키를 선택하여 데이터를 선택하기 위한 힌트 중 적어도 하나의 힌트를 포함할 수 있다. 각각의 힌트들에 대해서는 도 3 내지 도 6을 통해 이미 자세히 설명하였다.

이와 같이, 본 발명의 실시예들에 따르면, 데이터베이스 미들웨어에서 샤딩(sharding) 처리를 통해 어플리케이션 단의 요청에 적합한 단일 데이터베이스를 복수의 데이터베이스 중에서 찾아 데이터를 조회 및 제공함으로써, 어플리케이션 단의 복잡도를 감소시킬 수 있다. 또한, 샤드 프로세싱 모듈을 포함한 데이터베이스 미들웨어를 이용하여 어플리케이션 단의 변경 없이 테이블을 추가 분할하거나 또는 데이터베이스 증설할 수 있고, 내부 해싱 기법이나 사용자에 의해 등록된 해싱 기법 등과 같이 다양한 해싱 기법을 사용할 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

230: 데이터베이스 미들웨어
231: 샤드 프로세싱 모듈

Claims

데이터베이스 미들웨어를 포함하는 데이터 관리 시스템에 있어서,
상기 데이터베이스 미들웨어는,
입력되는 쿼리에 기초하여 샤드 키 식별자(Shard Key ID)를 생성하고, 상기 생성된 샤드 키 식별자와 샤드 메타데이터(Shard metadata)를 이용하여 결정된 샤드 식별자(shard ID)를 통해 복수의 데이터베이스들 중 하나의 데이터베이스를 선택하는 샤드 프로세싱 모듈
을 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제1항에 있어서,
상기 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함하고,
상기 데이터베이스 미들웨어는,
상기 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 더 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제1항에 있어서,
상기 데이터베이스 미들웨어는,
어플리케이션 단의 연결 요청을 가용한 프로세스에 분배하기 위한 잡 큐 모듈(job queue module), 동시에 다수의 사용자 및 데이터베이스와의 연결을 유지하고, 필요 시 연결을 재 사용하기 위한 커넥션 풀링 모듈(connection pooling module), 실시간 모니터링을 통해 상태 및 통계 정보를 수집하는 모니터링 모듈, 사용자로부터의 데이터베이스 명령을 처리하기 위한 데이터베이스 인터페이스 모듈, 에러 또는 수행한 질의에 대한 이벤트 로그를 생성하는 로깅 모듈(logging module) 중 적어도 하나의 모듈을 더 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제1항에 있어서,
상기 샤드 프로세싱 모듈은,
상기 입력되는 쿼리에 포함되는 기설정된 힌트를 더 이용하여 상기 샤드 식별자를 선택하는 것을 특징으로 하는 데이터 관리 시스템.
제4항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 상기 입력되는 쿼리를 처리할 샤드 식별자를 선택하기 위해 바인드 변수 또는 리터럴 값 앞에 위치하는 힌트를 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제4항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블의 처리를 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제4항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하기 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 시스템.
제4항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 특정 샤드 키를 선택하여 데이터를 선택하기 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 시스템.
데이터베이스 미들웨어를 포함하는 데이터 관리 시스템에서 데이터를 관리하는 방법으로서,
상기 데이터베이스 미들웨어가 포함하는 샤드 프로세싱 모듈에서,
샤드 키 값(shard key value)을 얻기 위한 함수와 샤드 키 식별자를 얻기 위한 함수를 실행하는 단계; 및
상기 함수들의 리턴값과, 상기 데이터베이스 미들웨어에 설정된 샤드 메타데이터를 이용하여 복수의 데이터베이스들 각각을 식별하는 샤드 식별자들 중 하나의 샤드 식별자를 선택하는 단계
를 포함하는 데이터 관리 방법.
제9항에 있어서,
상기 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함하고,
상기 데이터베이스 미들웨어는,
상기 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 더 포함하는 것을 특징으로 하는 데이터 관리 방법.
제9항에 있어서,
상기 데이터베이스 미들웨어는,
어플리케이션 단의 연결 요청을 가용한 프로세스에 분배하기 위한 잡 큐 모듈(job queue module), 동시에 다수의 사용자 및 데이터베이스와의 연결을 유지하고, 필요 시 연결을 재 사용하기 위한 커넥션 풀링 모듈(connection pooling module), 실시간 모니터링을 통해 상태 및 통계 정보를 수집하는 모니터링 모듈, 사용자로부터의 데이터베이스 명령을 처리하기 위한 데이터베이스 인터페이스 모듈, 에러 또는 수행한 질의에 대한 이벤트 로그를 생성하는 로깅 모듈(logging module) 중 적어도 하나의 모듈을 더 포함하는 것을 특징으로 하는 데이터 관리 방법.
제9항에 있어서,
상기 샤드 식별자를 선택하는 단계는,
입력되는 쿼리에 포함되는 기설정된 힌트를 더 이용하여 상기 샤드 식별자를 선택하는 것을 특징으로 하는 데이터 관리 방법.
제12항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 상기 입력되는 쿼리를 처리할 샤드 식별자를 선택하기 위해 바인드 변수 또는 리터럴 값 앞에 위치하는 힌트를 포함하는 것을 특징으로 하는 데이터 관리 방법.
제13항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 샤드 키를 갖지 않는 테이블의 처리를 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 방법.
제13항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 하나의 샤드 키를 갖는 경우, 모든 샤드에 있는 데이터를 선택하기 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 방법.
제13항에 있어서,
상기 기설정된 힌트는, 하나의 데이터베이스가 여러 개의 샤드 키를 갖는 경우, 특정 샤드 키를 선택하여 데이터를 선택하기 위한 힌트를 포함하는 것을 특징으로 하는 데이터 관리 방법.
컴퓨터 시스템이 웹페이지를 제공하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
상기 명령은,
샤드 키 값(shard key value)을 얻기 위한 함수와 샤드 키 식별자를 얻기 위한 함수를 실행하는 단계; 및
상기 함수들의 리턴값과, 데이터베이스 미들웨어에 설정된 샤드 메타데이터를 이용하여 복수의 데이터베이스들 각각을 식별하는 샤드 식별자들 중 하나의 샤드 식별자를 선택하는 단계
를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 매체.
제17항에 있어서,
상기 복수의 데이터베이스들은 이기종의 데이터베이스들을 포함하고,
상기 샤드 식별자를 선택하는 단계는,
상기 이기종의 데이터베이스들 각각을 위해, 쿼리를 수행하는 복수의 클라이언트 라이브러리 모듈(client library module)들을 이용하여 상기 샤드 식별자를 선택하는 것을 특징으로 하는 컴퓨터 판독가능 매체.