JP7036665B2 - データ管理方法およびデータ管理システム - Google Patents
データ管理方法およびデータ管理システム Download PDFInfo
- Publication number
- JP7036665B2 JP7036665B2 JP2018097972A JP2018097972A JP7036665B2 JP 7036665 B2 JP7036665 B2 JP 7036665B2 JP 2018097972 A JP2018097972 A JP 2018097972A JP 2018097972 A JP2018097972 A JP 2018097972A JP 7036665 B2 JP7036665 B2 JP 7036665B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- server
- data acquisition
- demand
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/12—Transmitting and receiving encryption devices synchronised or initially set up in a particular manner
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
- H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
220-1~220-n サーバ
290 ブロックチェーンデータ
300 ブロックチェーンプログラム
310 スマートコントラクト
320 トランザクション処理モジュール
340 オンデマンドデータ取得モジュール
700 ブロックデータ
1400 オンデマンドデータ取得進捗管理情報
Claims (10)
- データを格納する記憶部と、プロセッサ上で稼働して前記データを処理する処理部とを各々有する複数のサーバを用い、
前記複数のサーバの記憶部に分散して格納した処理対象情報を、前記複数のサーバがトランザクション要求を受けて処理するデータ管理方法において、
前記サーバの記憶部は、
前記処理対象情報を有する第1のデータと、
前記トランザクション要求に基づいて前記処理対象情報を処理したトランザクション処理履歴情報を含む第2のデータと、
を格納しており、
前記第1のデータ及び第2のデータには、関連するトランザクションが異なる複数のデータが含まれており、
前記サーバには、第1のサーバと、複数の第2のサーバとが含まれており、
前記複数の第2のサーバは、前記第1のデータ及び第2のデータを同期させて保持しており、
前記トランザクション要求を受信した第1のサーバは、前記トランザクション要求にかかる第1のデータを少なくとも1つの前記第2のサーバの前記記憶部から読み出し、前記トランザクション要求を処理して処理結果を前記トランザクション要求の要求元に返信し、トランザクション処理履歴情報を含む第2のデータと処理結果を反映した前記第1のデータとを自サーバに格納するとともに、当該処理を第2のサーバの前記第1のデータに反映させるための第2のデータを前記第2のサーバに送り、
前記第1のサーバは、
前記第1のデータを保持する第2のサーバをオンデマンドデータ取得元サーバとして設定し、
前記オンデマンドデータ取得元サーバは、前記第1のサーバをコミット同期サーバとして設定しており、前記第1のデータについての更新を反映させる第2のデータを前記第1のサーバに送信し、
前記第1のサーバは、前記第1のデータの読み出しでは、前記オンデマンドデータ取得元サーバにより同期されている第1のデータを自サーバの記憶部で検索し、前記自サーバの記憶部で取得できない場合にオンデマンドデータ取得元サーバの記憶部から前記第1のデータを取得する
データ管理方法。 - 請求項1において、
前記第1のサーバは、新規に追加されたサーバであることを特徴とするデータ管理方法。 - 請求項1において、
前記トランザクション要求にかかるクエリが、前記第1のデータを特定した第1のクエリを含む場合に、前記第1のデータを自サーバの記憶部で検索し、前記第1のクエリとは異なる第2のクエリを含む場合には、前記オンデマンドデータ取得元サーバの記憶部から前記第1のデータを取得する
データ管理方法。 - 請求項1において、
前記第1のサーバは、前記第2のデータを保持する第2のサーバをバックグラウンドデータ取得サーバとして設定し、前記バックグラウンドデータ取得サーバから前記第2のデータを取得し、
前記オンデマンドデータ取得元サーバから取得する前記第2のデータのトランザクションは、前記自サーバの有する第1のデータにかかるトランザクションより新しく、
前記バックグラウンドデータ取得サーバから取得する前記第2のデータのトランザクションは、前記自サーバの有する第1のデータにかかるトランザクションより古い、
データ管理方法。 - 請求項4において、
前記バックグラウンドデータ取得サーバから取得した第2のデータに基づいて、前記第1のデータを作成する
データ管理方法。 - 請求項5において、
前記第2のデータには、ブロック番号が付されており、
前記自サーバは、前記ブロック番号に基づいて、受信した前記第2のデータを前記第1のデータへの反映要否を判断する
データ管理方法。 - 請求項1において、
前記第2のデータには、前記第2のデータ同士の関係を示すハッシュ値が含まれており、
前記トランザクション要求の処理を開始する前に、前記第1のサーバは第2のサーバから前記第2のデータを取得しており、
前記第1のサーバは、前記処理の開始後に、前記処理のトランザクション処理履歴情報と、前記第2のデータから作成したハッシュ値を作成して前記第2のサーバに送る
データ管理方法。 - 請求項1において、
前記第2のデータには、ブロック番号が付されており、
前記第1のサーバは、保有する第2のデータのブロック番号を前記オンデマンドデータ取得元サーバに送信し、
前記オンデマンドデータ取得元サーバは、受信した前記ブロック番号に基づいて第2のデータを選択して前記第1のサーバに送信する
データ管理方法。 - 請求項1において、
前記第1のサーバは、
前記第1のデータを保持する少なくとも1つの第2のサーバをオンデマンドデータ取得元サーバとして設定し、
複数の前記第2のサーバは、前記第1のサーバをコミット同期サーバとして設定しており、前記第1のデータについての更新を反映させる第2のデータを前記第1のサーバに送信する
データ管理方法。 - データを格納する記憶部と、プロセッサ上で稼働して前記データを処理する処理部とを各々有する複数のサーバを用い、
前記複数のサーバの記憶部に分散して格納した処理対象情報を、前記複数のサーバがトランザクション要求を受けて処理するデータ管理システムにおいて、
前記サーバの記憶部は、
前記処理対象情報を有する第1のデータと、
前記トランザクション要求に基づいて前記処理対象情報を処理したトランザクション処理履歴情報を含む第2のデータと、
を格納しており、
前記第1のデータ及び第2のデータには、関連するトランザクションが異なる複数のデータが含まれており、
前記サーバには、第1のサーバと、複数の第2のサーバとが含まれており、
前記複数の第2のサーバは、前記第1のデータ及び第2のデータを同期させて保持しており、
前記トランザクション要求を受信した第1のサーバは、前記トランザクション要求にかかる第1のデータを少なくとも1つの前記第2のサーバの前記記憶部から読み出し、前記トランザクション要求を処理して処理結果を前記トランザクション要求の要求元に返信し、トランザクション処理履歴情報を含む第2のデータと処理結果を反映した前記第1のデータとを自サーバに格納するとともに、当該処理を第2のサーバの前記第1のデータに反映させるための第2のデータを前記第2のサーバに送り、
前記第1のサーバは、
前記第1のデータを保持する第2のサーバをオンデマンドデータ取得元サーバとして設定し、
前記オンデマンドデータ取得元サーバは、前記第1のサーバをコミット同期サーバとして設定しており、前記第1のデータについての更新を反映させる第2のデータを前記第1のサーバに送信し、
前記第1のサーバは、前記第1のデータの読み出しでは、前記オンデマンドデータ取得元サーバにより同期されている第1のデータを自サーバの記憶部で検索し、前記自サーバの記憶部で取得できない場合にオンデマンドデータ取得元サーバの記憶部から前記第1のデータを取得する
データ管理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097972A JP7036665B2 (ja) | 2018-05-22 | 2018-05-22 | データ管理方法およびデータ管理システム |
US16/395,480 US11093484B2 (en) | 2018-05-22 | 2019-04-26 | Data management method and data management system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097972A JP7036665B2 (ja) | 2018-05-22 | 2018-05-22 | データ管理方法およびデータ管理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019204216A JP2019204216A (ja) | 2019-11-28 |
JP2019204216A5 JP2019204216A5 (ja) | 2021-06-17 |
JP7036665B2 true JP7036665B2 (ja) | 2022-03-15 |
Family
ID=68614580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018097972A Active JP7036665B2 (ja) | 2018-05-22 | 2018-05-22 | データ管理方法およびデータ管理システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11093484B2 (ja) |
JP (1) | JP7036665B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861008B2 (en) | 2018-12-21 | 2020-12-08 | Capital One Services, Llc | System and method for optimizing cryptocurrency transactions |
US10637644B1 (en) * | 2018-12-21 | 2020-04-28 | Capital One Services, Llc | System and method for authorizing transactions in an authorized member network |
US20200233866A1 (en) * | 2019-08-30 | 2020-07-23 | Alibaba Group Holding Limited | Blockchain transaction query method and system |
JP7354781B2 (ja) | 2019-11-11 | 2023-10-03 | 株式会社デンソー | 回転電機の製造方法 |
CN112988804A (zh) * | 2019-12-12 | 2021-06-18 | 陕西西部资信股份有限公司 | 数据传输方法及*** |
US20230370279A1 (en) * | 2020-08-27 | 2023-11-16 | Nec Corporation | Terminal device, data management device, management system, processing method, and non-transitory computer-readable medium storing a program |
CN112306645B (zh) * | 2020-12-24 | 2021-05-04 | 北京百度网讯科技有限公司 | 以太坊虚拟机的事务处理方法、装置、设备和介质 |
CN112286643B (zh) * | 2020-12-24 | 2021-04-20 | 北京百度网讯科技有限公司 | 以太坊虚拟机的事务处理方法、装置、设备和介质 |
CN114124958A (zh) * | 2021-11-26 | 2022-03-01 | 智昌科技集团股份有限公司 | 一种分布式数据采集***运行方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063944A1 (ja) | 2005-11-30 | 2007-06-07 | International Business Machines Corporation | 無停止トランザクション処理システム |
JP2013065104A (ja) | 2011-09-15 | 2013-04-11 | Toshiba Corp | 負荷分散システム、データアクセス装置、及び負荷分散方法 |
JP2015014929A (ja) | 2013-07-05 | 2015-01-22 | 日本電信電話株式会社 | マスタサーバ、情報同期方法、および、情報同期プログラム |
JP2017091149A (ja) | 2015-11-09 | 2017-05-25 | 日本電信電話株式会社 | ブロックチェーン生成装置、ブロックチェーン生成方法、ブロックチェーン検証装置、ブロックチェーン検証方法およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9043637B2 (en) | 2010-12-14 | 2015-05-26 | Hitachi, Ltd. | Failure recovery method in information processing system and information processing system |
SG11201802541QA (en) * | 2015-09-29 | 2018-04-27 | Soracom Inc | Control apparatus for gateway in mobile communication system |
US10733602B2 (en) * | 2016-09-29 | 2020-08-04 | Microsoft Technology Licensing, Llc. | Heartbeats and consensus in verifiable outsourced ledgers |
US10262053B2 (en) * | 2016-12-22 | 2019-04-16 | Palantir Technologies Inc. | Systems and methods for data replication synchronization |
CN110537346B (zh) * | 2017-03-06 | 2023-03-24 | 诺基亚技术有限公司 | 安全去中心化域名*** |
US10579368B2 (en) * | 2017-03-10 | 2020-03-03 | Salesforce.Com, Inc. | Blockchain version control systems |
CN107196900B (zh) * | 2017-03-24 | 2020-04-24 | 创新先进技术有限公司 | 一种共识校验的方法及装置 |
US10554649B1 (en) * | 2017-05-22 | 2020-02-04 | State Farm Mutual Automobile Insurance Company | Systems and methods for blockchain validation of user identity and authority |
US10565192B2 (en) * | 2017-08-01 | 2020-02-18 | International Business Machines Corporation | Optimizing queries and other retrieve operations in a blockchain |
US10915641B2 (en) * | 2017-10-30 | 2021-02-09 | Pricewaterhousecoopers Llp | Implementation of continuous real-time validation of distributed data storage systems |
US11429967B2 (en) * | 2018-03-13 | 2022-08-30 | Nec Corporation | Mechanism for efficient validation of finality proof in lightweight distributed ledger clients |
WO2019202393A1 (en) * | 2018-04-16 | 2019-10-24 | Slock.It Gmbh | Trustless statelessincentivized remote node network using minimal verification clients |
US20190354518A1 (en) * | 2018-05-01 | 2019-11-21 | Michael Zochowski | Chain mesh network for decentralized transaction systems |
-
2018
- 2018-05-22 JP JP2018097972A patent/JP7036665B2/ja active Active
-
2019
- 2019-04-26 US US16/395,480 patent/US11093484B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063944A1 (ja) | 2005-11-30 | 2007-06-07 | International Business Machines Corporation | 無停止トランザクション処理システム |
JP2013065104A (ja) | 2011-09-15 | 2013-04-11 | Toshiba Corp | 負荷分散システム、データアクセス装置、及び負荷分散方法 |
JP2015014929A (ja) | 2013-07-05 | 2015-01-22 | 日本電信電話株式会社 | マスタサーバ、情報同期方法、および、情報同期プログラム |
JP2017091149A (ja) | 2015-11-09 | 2017-05-25 | 日本電信電話株式会社 | ブロックチェーン生成装置、ブロックチェーン生成方法、ブロックチェーン検証装置、ブロックチェーン検証方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190361874A1 (en) | 2019-11-28 |
US11093484B2 (en) | 2021-08-17 |
JP2019204216A (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7036665B2 (ja) | データ管理方法およびデータ管理システム | |
US10157108B2 (en) | Multi-way, zero-copy, passive transaction log collection in distributed transaction systems | |
US10296371B2 (en) | Passive two-phase commit system for high-performance distributed transaction execution | |
Almeida et al. | ChainReaction: a causal+ consistent datastore based on chain replication | |
US11061884B2 (en) | Method and system to accelerate transaction commit using non-volatile memory | |
Du et al. | Clock-si: Snapshot isolation for partitioned data stores using loosely synchronized clocks | |
US20160292249A1 (en) | Dynamic replica failure detection and healing | |
US20100169456A1 (en) | Information processing system and load sharing method | |
WO2019231690A1 (en) | Distributed transactions in cloud storage with hierarchical namespace | |
Zawirski et al. | SwiftCloud: Fault-tolerant geo-replication integrated all the way to the client machine | |
TW201229795A (en) | Web service patterns for globally distributed service fabric | |
US11032156B1 (en) | Crash-consistent multi-volume backup generation | |
CN110895484A (zh) | 任务调度方法及装置 | |
CN110895487B (zh) | 分布式任务调度*** | |
US11627122B2 (en) | Inter-system linking method and node | |
US9984139B1 (en) | Publish session framework for datastore operation records | |
US20210073198A1 (en) | Using persistent memory and remote direct memory access to reduce write latency for database logging | |
GB2537446A (en) | Database management system and method | |
US20140089260A1 (en) | Workload transitioning in an in-memory data grid | |
CN110895483A (zh) | 任务恢复方法及装置 | |
Liu et al. | Leader set selection for low-latency geo-replicated state machine | |
CN110895488A (zh) | 任务调度方法及装置 | |
US20230333945A1 (en) | Scalable Low-Loss Disaster Recovery for Data Stores | |
Shi et al. | Cheap and available state machine replication | |
JP2021529379A (ja) | 検索サーバの集中型ストレージ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7036665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |