JP2020098479A - カラムストアデータベースシステム及びデータベース処理高速化方法 - Google Patents
カラムストアデータベースシステム及びデータベース処理高速化方法 Download PDFInfo
- Publication number
- JP2020098479A JP2020098479A JP2018236457A JP2018236457A JP2020098479A JP 2020098479 A JP2020098479 A JP 2020098479A JP 2018236457 A JP2018236457 A JP 2018236457A JP 2018236457 A JP2018236457 A JP 2018236457A JP 2020098479 A JP2020098479 A JP 2020098479A
- Authority
- JP
- Japan
- Prior art keywords
- column
- database
- data sets
- store
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
・カラムストア処理部250が、当該ノード801の処理に必要な一つ以上のカラムのデータをメモリ103に読み出し、当該読み出されたデータのアドレス1106が記述され当該ノード801に基づくFPGAコマンドを、FPGAボード111(一つ以上のアクセラレータ装置のいずれかの一例)に送信する。
・当該FPGAコマンドを受信したFPGAボード111におけるローストア処理部260が、当該FPGAコマンドに応答して、各カラムのデータについて処理が完了するまで、各カラムのカラムデータセットをメモリ114に読み出すことと、一つ以上の抽出カラムのカラムデータセットの各々から条件1104に適合する抽出カラム値を抽出することと、当該一つ以上のカラムデータセットからそれぞれ抽出された一つ以上の抽出カラム値でそれぞれが構成されている一つ以上の抽出カラム値群を送信することとを行う。
・カラムストアデータベース106によって当該ノード801に基づくFPGAコマンドが生成される。
・当該生成されたFPGAコマンドに、当該ノード801について読み出されたデータのアドレス1106がカラムストア処理部250によって記述される。
・当該アドレス1106が記述されたFPGAコマンドが、FPGAボード111にカラムストア処理部250により送信される。
111:FPGAボード
Claims (13)
- インターフェース装置、メモリ及びそれらに接続されたプロセッサを有しカラムストアデータベースを当該プロセッサにより実行する計算機システムに実現されるカラムストア処理部と、
前記インターフェース装置に接続されそれぞれメモリを有する一つ以上のアクセラレータ装置の各々において実現されるローストア処理部と
を有し、
少なくとも一つのアクセラレータ装置において、前記ローストア処理部が、
一つ以上の表の複数のカラムのカラムデータのうちの該当の一つ以上のカラムにそれぞれ対応した一つ以上のカラムデータセットを、当該アクセラレータ装置のメモリに読み出し、
前記一つ以上のカラムデータセットの各々から条件に適合する値を抽出し、
当該抽出された値で構成された一つ以上のローデータセットを含む処理結果を送信し、
前記カラムストア処理部が、
前記少なくとも一つのアクセラレータ装置から送信された一つ又は複数の処理結果から、一つ又は複数のカラムデータセットを生成し、
当該一つ又は複数のカラムデータセットを前記カラムストアデータベースに送信する、
カラムストアデータベースシステム。 - 前記一つ又は複数の処理結果の各々は、当該処理結果に含まれるローデータセットの数である結果行数を含み、
前記一つ又は複数の処理結果の各々について、
当該処理結果に含まれる結果行数が、前記カラムストア処理部により前記カラムストアデータベースに通知され、
カラム毎に、当該結果行数分の値が、当該処理結果から前記カラムストア処理部により取得される、
請求項1に記載のカラムストアデータベースシステム。 - 前記カラムストアデータベースは、クエリ発行元から受け付けたクエリに基づいて当該クエリを実行するために必要なクエリプランを生成し、当該生成されたクエリプランに基づいて前記クエリを実行し前記クエリの実行結果を前記クエリ発行元に返すようになっており、
前記クエリプランは、一つ以上のデータベース演算子と、データベース演算子の実行順序の関係とを含む情報であり、
前記一つ以上のデータベース演算子のうちの、前記一つ以上のアクセラレータ装置のいずれかで実行可能なデータベース演算子毎に、
前記カラムストア処理部が、当該データベース演算子の処理に必要な一つ以上のカラムのデータを前記計算機システムのメモリに読み出し、当該読み出されたデータのアドレスが記述され当該データベース演算子に基づくコマンドを、前記一つ以上のアクセラレータ装置のいずれかに送信し、
当該コマンドを受信したアクセラレータ装置における前記ローストア処理部が、当該コマンドに応答して、前記各カラムのデータについて処理が完了するまで、前記一つ以上のカラムについての一つ以上のカラムデータセットを当該アクセラレータ装置のメモリに読み出すことと、当該一つ以上のカラムデータセットの各々から条件に適合する値を抽出することと、当該一つ以上のカラムデータセットからそれぞれ抽出された一つ以上の値でそれぞれが構成されている一つ以上の値群を送信することとを行う、
請求項1に記載のカラムストアデータベースシステム。 - 前記実行可能なデータベース演算子は、当該データベース演算子について特定される演算子属性が前記一つ以上のアクセラレータ装置の仕様に基づき定められた所定の要件を満たしているデータベース演算子であり、
前記一つ以上のデータベース演算子の各々について、前記演算子属性は、当該データベース演算子の種別と、当該データベース演算子の処理において抽出される値に関する条件と、当該データベース演算子についてのカラム属性との少なくとも一つであり、
前記一つ以上のデータベース演算子の各々について、前記カラム属性は、当該データベース演算子の処理の対象となるカラムの数と、当該データベース演算子の処理の対象となる各カラムのデータ型とのうちの少なくとも一つである、
請求項3に記載のカラムストアデータベースシステム。 - 前記実行可能なデータベース演算子毎に、
前記カラムストアデータベースによって当該データベース演算子に基づくコマンドが生成され、
当該生成されたコマンドに、当該データベース演算子について読み出されたデータのアドレスが前記カラムストア処理部によって記述され、
当該アドレスが記述されたコマンドが、前記一つ以上のアクセラレータ装置のいずれかに前記カラムストア処理部により送信される、
請求項3に記載のカラムストアデータベースシステム。 - 前記カラムストアデータベースシステムに送信される前記一つ又は複数のカラムデータセットの各々について、当該カラムデータセットから取得可能な値の数は、いずれのアクセラレータ装置のメモリに読み出されるいずれのカラムデータセットから取得可能な値の数よりも多い、
請求項1に記載のカラムストアデータベースシステム。 - 前記カラムストア処理部は、
前記一つ又は複数の処理結果から一つ又は複数のカラムデータセットを抽出するカラム抽出部と、
当該抽出された一つ又は複数のカラムデータセットを前記カラムストアデータベース向けの一つ又は複数のカラムデータセットに変換するカラム変換部と
を含み、
前記生成された一つ又は複数のカラムデータセットは、前記カラムストアデータベース向けの一つ又は複数のカラムデータセットであり、
前記カラム抽出部は、第一の管理領域で動作し、
前記カラム変換部は、前記カラムストアデータベースが動作する管理領域と同じ管理領域であり前記第一の管理領域と異なる管理領域である第二の管理領域で動作する、
請求項1に記載のカラムストアデータベースシステム。 - 前記カラムストア処理部は、
前記一つ又は複数の処理結果から一つ又は複数のカラムデータセットを抽出するカラム抽出部と、
当該抽出された一つ又は複数のカラムデータセットを前記カラムストアデータベース向けの一つ又は複数のカラムデータセットに変換するカラム変換部と
を含み、
前記生成された一つ又は複数のカラムデータセットは、前記カラムストアデータベース向けの一つ又は複数のカラムデータセットであり、
前記カラム抽出部は、第一のプログラミング言語で記述された一つ以上のプログラムが前記プロセッサによって実行されることで実現され、
前記カラム変換部は、前記第一のプログラミング言語と異なるプログラミング言語である第二のプログラミング言語で記述された一つ以上のプログラムが前記プロセッサによって実行されることで実現される、
請求項1に記載のカラムストアデータベースシステム。 - 前記第二のプログラミング言語は、前記カラムストアデータベースについてのプログラミング言語と同じである、
請求項8に記載のカラムストアデータベースシステム。 - 前記第一のプログラミング言語は、C言語であり、
前記第二のプログラミング言語は、JAVA言語である、
請求項9に記載のカラムストアデータベースシステム。 - 前記一つ以上のアクセラレータ装置は、それぞれメモリ及びFPGA(Field Programmable Gate Array)チップを有する一つ以上のFPGAボードであり、
前記一つ以上のFPGAボードの各々において、前記ローストア処理部は、当該FPGAボードのFPGAチップに実現される、
請求項1に記載のカラムストアデータベースシステム。 - インターフェース装置、メモリ及びそれらに接続されたプロセッサを有しカラムストアデータベースを当該プロセッサにより実行する計算機システムの前記インターフェース装置に接続されそれぞれメモリを有する一つ以上のアクセラレータ装置の少なくとも一つにより、
一つ以上の表の複数のカラムのカラムデータのうちの該当の一つ以上のカラムにそれぞれ対応した一つ以上のカラムデータセットを、当該アクセラレータ装置のメモリに読み出し、
前記一つ以上のカラムデータセットの各々から条件に適合する値を抽出し、
当該抽出された値で構成された一つ以上のローデータセットを含む処理結果を送信し、
前記プロセッサにより、
少なくとも一つのアクセラレータ装置から送信された一つ又は複数の処理結果から、一つ又は複数のカラムデータセットを生成し、
当該一つ又は複数のカラムデータセットを前記カラムストアデータベースに送信する、
データベース処理高速化方法。 - インターフェース装置、メモリ及びそれらに接続されたプロセッサを有しカラムストアデータベースを当該プロセッサにより実行する計算機システムの前記プロセッサに、
一つ以上のアクセラレータ装置の少なくとも一つから送信された一つ又は複数の処理結果から、一つ又は複数のカラムデータセットを生成し、
前記一つ以上のアクセラレータ装置の各々は、メモリを有し、ローストア処理部を当該アクセラレータ装置に実現し、
少なくとも一つのアクセラレータ装置において、前記ローストア処理部が、一つ以上の表の複数のカラムのカラムデータのうちの該当の一つ以上のカラムにそれぞれ対応した一つ以上のカラムデータセットを、当該アクセラレータ装置のメモリに読み出し、前記一つ以上のカラムデータセットの各々から条件に適合する値を抽出し、当該抽出された値で構成された一つ以上のローデータセットを含む処理結果を送信するようになっており、
前記一つ又は複数のカラムデータセットを前記カラムストアデータベースに送信する、
ことを実行させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018236457A JP7146611B2 (ja) | 2018-12-18 | 2018-12-18 | カラムストアデータベースシステム及びデータベース処理高速化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018236457A JP7146611B2 (ja) | 2018-12-18 | 2018-12-18 | カラムストアデータベースシステム及びデータベース処理高速化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020098479A true JP2020098479A (ja) | 2020-06-25 |
JP7146611B2 JP7146611B2 (ja) | 2022-10-04 |
Family
ID=71106579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018236457A Active JP7146611B2 (ja) | 2018-12-18 | 2018-12-18 | カラムストアデータベースシステム及びデータベース処理高速化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7146611B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024098626A1 (zh) * | 2022-11-09 | 2024-05-16 | 浪潮电子信息产业股份有限公司 | 存储格式转换方法、***、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015535999A (ja) * | 2012-10-02 | 2015-12-17 | オラクル・インターナショナル・コーポレイション | テーブルスキャンを加速するためのハードウェア |
JP2018055648A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社日立製作所 | アクセラレーションシステム及びアクセラレーション方法 |
-
2018
- 2018-12-18 JP JP2018236457A patent/JP7146611B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015535999A (ja) * | 2012-10-02 | 2015-12-17 | オラクル・インターナショナル・コーポレイション | テーブルスキャンを加速するためのハードウェア |
JP2018055648A (ja) * | 2016-09-30 | 2018-04-05 | 株式会社日立製作所 | アクセラレーションシステム及びアクセラレーション方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024098626A1 (zh) * | 2022-11-09 | 2024-05-16 | 浪潮电子信息产业股份有限公司 | 存储格式转换方法、***、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7146611B2 (ja) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3602351B1 (en) | Apparatus and method for distributed query processing utilizing dynamically generated in-memory term maps | |
US10789231B2 (en) | Spatial indexing for distributed storage using local indexes | |
US10331641B2 (en) | Hash database configuration method and apparatus | |
JP4659888B2 (ja) | データベース処理システム、計算機及びデータベース処理方法 | |
US9489411B2 (en) | High performance index creation | |
US20200293532A1 (en) | Database engine | |
JP2017518584A (ja) | フラッシュ最適化データ・レイアウトのための方法、フラッシュ最適化記憶のための装置、およびコンピュータ・プログラム | |
US20190057133A1 (en) | Systems and methods of bounded scans on multi-column keys of a database | |
Mostak | An overview of MapD (massively parallel database) | |
JP6479186B2 (ja) | 計算機システム及びデータベース管理方法 | |
CN105117417A (zh) | 一种读优化的内存数据库Trie树索引方法 | |
CN103914483B (zh) | 文件存储方法、装置及文件读取方法、装置 | |
US10810174B2 (en) | Database management system, database server, and database management method | |
JP6434162B2 (ja) | データ管理システム、データ管理方法およびプログラム | |
US10482087B2 (en) | Storage system and method of operating the same | |
JP2022510184A (ja) | データベースインデックスおよびデータベースクエリ処理方法、装置、およびデバイス | |
KR101640733B1 (ko) | 인-메모리 데이터베이스 기반의 데이터 관리 시스템 및 그 방법 | |
JP2012168781A (ja) | 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法 | |
US20180075116A1 (en) | Information processing system, control device, and computer-readable recording medium having processing program recorded therein | |
US20180032544A1 (en) | Distributed processing management method and distributed processing management apparatus | |
JP7146611B2 (ja) | カラムストアデータベースシステム及びデータベース処理高速化方法 | |
US20230259490A1 (en) | Data query method and apparatus, device, and storage medium | |
KR102354343B1 (ko) | 블록체인 기반의 지리공간 데이터를 위한 공간 데이터 인덱싱 방법 및 장치 | |
CN111221814B (zh) | 二级索引的构建方法、装置及设备 | |
US20220365905A1 (en) | Metadata processing method and apparatus, and a computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7146611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |