JP6773708B2 - データ移行システム及びデータ移行サーバ - Google Patents
データ移行システム及びデータ移行サーバ Download PDFInfo
- Publication number
- JP6773708B2 JP6773708B2 JP2018057121A JP2018057121A JP6773708B2 JP 6773708 B2 JP6773708 B2 JP 6773708B2 JP 2018057121 A JP2018057121 A JP 2018057121A JP 2018057121 A JP2018057121 A JP 2018057121A JP 6773708 B2 JP6773708 B2 JP 6773708B2
- Authority
- JP
- Japan
- Prior art keywords
- execution log
- relationship
- sql statement
- unit
- database server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1を参照して、実施例のデータ移行システムの構成について説明する。
データベースサーバ(第1のデータベースサーバ)101は、SQL実行部102とストレージ103を有する。ストレージ103には、テーブル定義104、テーブル105及びSQLの実行ログ106が格納される。
図2を参照して、実施例のデータ移行システムのハードウェア構成について説明する。
データベースサーバ101、移行サーバ107及びデータレイク128は、ネットワーク201を介して接続され、ネットワーク201を経由してデータの送受信を相互に行う。
CPU202は、バス205及びNIC204を経由して、ネットワーク201に接続された移行サーバ107及びデータレイク128とデータの送受信を行うことができる。
図3を参照して、データの移行処理について説明する。
初期状態では、移行サーバ107に配置されたメモリ207上で、実行制御部108が動作している。実行制御部108は、定期的な時刻を契機として、システム時刻を文字列として取得する。移行対象となるテーブルに付加する接尾辞(例えば、年に一度の実行であれば「_2017」からなる文字列)302を生成し、テーブル定義取得部116に接尾辞302を含むテーブル定義取得要求301を送信し、テーブル取得部109に接尾辞302を含むテーブル取得要求309を送信し、ストレージ122に格納された接尾辞一覧127に接尾辞302を追記し、次の契機まで待機する。
¥dt; [1]
¥d table_name; [2]
実施例では、データベースサーバ101のストレージ103に格納された実行ログ106を取得し、テーブルの変更(例えば、テーブル・カラムの追加・削除、テーブル名・カラム名の変更)に関わる実行ログを関係実行ログとして抽出し、抽出した関係実行ログを解析することで、データベースサーバ101のストレージ103に格納されたテーブル105に対する操作パターン(例えば、テーブルの結合・分割)を特定し、テーブル名、実行ログ及び操作パターンを含む情報を関係情報として生成する。以下、その処理の詳細について説明する。
実行制御部108は、図3に示したデータ移行処理の終了を契機として、実行ログ取得要求401を生成し、実行ログ取得部119に対して生成した実行ログ取得要求401を送信する。
dv; [3]
dt; [4]
ステップ801では、テーブル定義取得部116から送信されたテーブル一覧409を受信し、受信したテーブル一覧409からデータ移行処理で付加した接尾辞に関して、最新の接尾辞が付加されたテーブルを抽出し、接尾辞を取り除きデータ移行処理によって移行された最新のテーブル一覧を生成する。
ビュー生成式生成部114は、関係情報生成部113から送信されたビュー生成命令411を受信し、図12に示したビュー生成式生成フローを実行する。以下、図12のビュー生成式生成フローについて説明する。
SELECT * FROM “強度試験_2016”; [5]
CREATE VIEW “v_強度試験_圧縮強度_2016_2016”AS
SELECT * FROM “強度試験_2016”; [6]
CREATE VIEW “v_強度試験_圧縮強度_2015_2016” AS
SELECT * FROM “強度試験_2015”; [7]
102 SQL実行部
103 ストレージ
104 テーブル定義
105 テーブル
106 実行ログ
107 移行サーバ
108 実行制御部
109 テーブル取得部
110 テーブル変換部
111 テーブル登録部
112 ビュー定義取得部
113 関係情報生成部
114 ビュー生成式生成部
115 ビュー登録部
116 テーブル定義取得部
117 テーブル定義変換部
118 テーブル定義登録部
119 実行ログ取得部
120 関係実行ログ抽出部
121 関係実行ログ管理部
122 ストレージ
123 関係実行ログ
124 操作パターン
125 操作リスト
126 関係情報
127 接尾辞一覧
128 データレイク
129 SQL実行部
130 ストレージ
131 ビュー
132 テーブル定義
133 テーブル
Claims (14)
- 第1のデータベースサーバと移行サーバと第2のデータベースサーバとがネットワークを介して接続され前記ネットワークを経由してデータの送受信を相互に行い、前記第1のデータベースサーバから前記第2のデータベースサーバに前記移行サーバを介して前記データを移行させるデータ移行システムであって、
前記第1のデータベースサーバは、
実行されたSQL文を指す実行ログと、所定のテーブルを格納し、
前記移行サーバは、
前記第1のデータベースサーバに格納されている前記実行ログを取得する実行ログ取得部と、
前記実行ログから、前記第1のデータベースサーバに格納されている前記テーブルの変更に関わる前記実行ログを関係実行ログとして抽出する関係実行ログ抽出部と、
前記関係実行ログを用いて、前記第2のデータベースサーバに格納されたデータ間の関係を関係情報として生成する関係情報生成部と、
を有することを特徴とするデータ移行システム。 - 前記関係情報生成部は、
前記関係実行ログを解析することにより、前記第1のデータベースサーバに格納された前記テーブルに対して、1文以上の前記SQL文の連なりから構成される操作パターンを特定できるか否かを判定し、
前記操作パターンを特定できた場合、
特定した前記操作パターン、前記テーブルのテーブル名及び前記関係実行ログを含む情報を前記関係情報として生成することを特徴とする請求項1に記載のデータ移行システム。 - 前記関係情報生成部は、
前記操作パターンを特定できない場合、
前記操作パターンの特定失敗として、前記テーブル名及び前記関係実行ログを表示することを特徴とする請求項2に記載のデータ移行システム。 - 前記関係情報生成部は、
前記操作パターンとして、前記テーブルの追加及び削除、前記テーブル名の変更、前記テーブルの結合及び分割に関するパターンをそれぞれ特定することを特徴とする請求項2に記載のデータ移行システム。 - 前記関係情報生成部は、
前記テーブルに対応した前記関係実行ログと前記操作パターンとを照合し、前記SQL文の構文の一致を判定することにより、前記テーブルに対する前記操作パターンを特定することを特徴とする請求項2に記載のデータ移行システム。 - 前記関係実行ログ抽出部は、
前記実行ログ取得部から送信された前記実行ログを受け取り、前記実行ログの前記SQL文を前記テーブルへの操作に関連した前記SQL文の構文が列挙された操作リストと照合し、前記SQL文の構文が一致する前記SQL文を前記関係実行ログとして抽出し、抽出した前記関係実行ログを前記関係情報生成部に送信することを特徴とする請求項1に記載のデータ移行システム。 - 前記関係実行ログ抽出部は、
前記実行ログに含まれる前記SQL文と前記操作リストに記載された前記SQL文の構文とが一致するかを判定し、前記SQL文が前記SQL文の構文のいずれかに一致した場合に、前記SQL文が前記関係実行ログであると判定することを特徴とする請求項6に記載のデータ移行システム。 - 前記SQL文の構文は、
前記第1のデータベースサーバに格納された前記テーブルの変更を伴う構文であることを特徴とする請求項6に記載のデータ移行システム。 - 前記移行サーバは、
前記関係実行ログを蓄積するストレージと、
前記関係実行ログを前記ストレージに蓄積する関係実行ログ管理部と、
を更に有すること特徴とする請求項1に記載のデータ移行システム。 - 前記移行サーバは、
前記関係情報を用いて、前記第2のデータベースサーバに格納されたテーブルに対し、所定のビューを生成するための前記SQL文を生成するビュー生成式生成部を更に有すること特徴とする請求項1に記載のデータ移行システム。 - 実行されたSQL文を指す実行ログと所定のテーブルを格納した第1のデータベースサーバから第2のデータベースサーバにデータを移行させるデータ移行サーバであって、
前記第1のデータベースサーバに格納されている前記実行ログを取得する実行ログ取得部と、
前記実行ログから、前記第1のデータベースサーバに格納されている前記テーブルの変更に関わる前記実行ログを関係実行ログとして抽出する関係実行ログ抽出部と、
前記関係実行ログを用いて、前記第2のデータベースサーバに格納されたデータ間の関係を関係情報として生成する関係情報生成部と、
を有することを特徴とするデータ移行サーバ。 - 前記関係情報生成部は、
前記関係実行ログを解析することにより、前記第1のデータベースサーバに格納された前記テーブルに対して、1文以上の前記SQL文の連なりから構成される操作パターンを特定できるか否かを判定し、
前記操作パターンを特定できた場合、
特定した前記操作パターン、前記テーブルのテーブル名及び前記関係実行ログを含む情報を前記関係情報として生成し、
前記操作パターンを特定できない場合、
前記操作パターンの特定失敗として、前記テーブル名及び前記関係実行ログを表示することを特徴とする請求項11に記載のデータ移行サーバ。 - 前記関係実行ログ抽出部は、
前記実行ログ取得部から送信された前記実行ログを受け取り、前記実行ログの前記SQL文を前記テーブルへの操作に関連した前記SQL文の構文が列挙された操作リストと照合し、前記SQL文の構文が一致する前記SQL文を前記関係実行ログとして抽出し、抽出した前記関係実行ログを前記関係情報生成部に送信することを特徴とする請求項11に記載のデータ移行サーバ。 - 前記関係実行ログを蓄積するストレージと、
前記関係実行ログを前記ストレージに蓄積する関係実行ログ管理部と、
前記関係情報を用いて、前記第2のデータベースサーバに格納されたテーブルに対し、所定のビューを生成するための前記SQL文を生成するビュー生成式生成部と、
を更に有すること特徴とする請求項11に記載のデータ移行サーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018057121A JP6773708B2 (ja) | 2018-03-23 | 2018-03-23 | データ移行システム及びデータ移行サーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018057121A JP6773708B2 (ja) | 2018-03-23 | 2018-03-23 | データ移行システム及びデータ移行サーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019169001A JP2019169001A (ja) | 2019-10-03 |
JP6773708B2 true JP6773708B2 (ja) | 2020-10-21 |
Family
ID=68107416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018057121A Active JP6773708B2 (ja) | 2018-03-23 | 2018-03-23 | データ移行システム及びデータ移行サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6773708B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6780181B2 (ja) * | 2018-11-16 | 2020-11-04 | 益滿 大 | データベースおよび情報処理システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091494A (ja) * | 1996-09-19 | 1998-04-10 | Hitachi Ltd | データベース操作プログラムの変換方法および変換装置 |
JP2008165447A (ja) * | 2006-12-27 | 2008-07-17 | Ntt Data Corp | データアクセス装置、データアクセス方法、及び、コンピュータプログラム |
JP4741689B2 (ja) * | 2009-03-11 | 2011-08-03 | 株式会社日立製作所 | データ処理方法、データ処理装置およびデータ処理プログラム |
JP5601066B2 (ja) * | 2010-07-23 | 2014-10-08 | 富士通株式会社 | 情報統合プログラム、装置及び方法 |
WO2015145536A1 (ja) * | 2014-03-24 | 2015-10-01 | 株式会社日立製作所 | データベース管理システム及びデータベース間の同期制御方法 |
-
2018
- 2018-03-23 JP JP2018057121A patent/JP6773708B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019169001A (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4352079B2 (ja) | 分散データベースから情報を検索するシステム、装置、および方法 | |
JP2022120014A (ja) | データ取り込みおよび該データへのユーザアクセス促進システムおよび方法 | |
WO2014010082A1 (ja) | 検索装置、検索装置の制御方法及び記録媒体 | |
JP6471262B2 (ja) | データ処理システム | |
JP6550448B2 (ja) | データ管理装置、データ管理方法、およびプログラム | |
WO2013038489A1 (ja) | 計算機システム、クライアント計算機の管理方法及び記憶媒体 | |
KR101083563B1 (ko) | 데이터베이스 관리 방법 및 시스템 | |
US9460142B2 (en) | Detecting renaming operations | |
US11461333B2 (en) | Vertical union of feature-based datasets | |
JP4237813B2 (ja) | 構造化文書管理システム | |
JP6773708B2 (ja) | データ移行システム及びデータ移行サーバ | |
JP4747213B2 (ja) | 文書を収集するためのシステムおよびプログラム | |
RU2634223C2 (ru) | Способ (варианты) и система (варианты) управления данными, связанными с иерархической структурой | |
JP5266992B2 (ja) | 電子ドキュメント管理システム、電子ドキュメント管理方法およびそのプログラム | |
JP7331384B2 (ja) | 情報処理装置及びプログラム | |
JP2018109898A (ja) | データマイグレーションシステム | |
KR20180006484A (ko) | Rdb 시스템 | |
US20130246479A1 (en) | Computer-readable recording medium, data model conversion method, and data model conversion apparatus | |
JP2015191389A (ja) | 移行処理結果探索装置 | |
WO2023276212A1 (ja) | ソフトウェア部品更新システム及びソフトウェア部品更新方法 | |
JP5359446B2 (ja) | 情報処理システム、アクセスパス決定方法及びアクセスパス決定プログラム | |
JP2015219672A (ja) | データ管理装置、データ管理方法、及び、そのプログラム | |
JP4304226B2 (ja) | 構造化文書管理システム、構造化文書管理方法及びプログラム | |
JP4160627B2 (ja) | 構造化文書管理システム及びプログラム | |
JP6143938B2 (ja) | データ更新方法、及び、計算機システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6773708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |