CN113987062A - 一种数据上链存储方法、***、装置以及存储介质 - Google Patents

Abstract

本申请公开了一种数据上链存储方法、***、装置以及存储介质，用于对数据进行分流并上链存储，提高数据存储的安全性，为数据资产化、资产价值化提供支撑。本申请方法包括：获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储所述目标数据；若是，则生成与所述目标数据唯一对应的数据标识；根据所述数据标识以及所述目标数据生成上链请求消息，并将所述上链请求消息写入消息队列中；解析所述消息队列中的上链请求消息，并将所述数据标识以及所述目标数据上传区块链；从所述区块链获取与所述数据标识唯一对应的上链信息，并对所述上链信息进行存储。

Description

一种数据上链存储方法、***、装置以及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种数据上链存储方法、***、装置以及存储介质。

背景技术

互联网发展至今，先后经历了Web1.0、Web2.0和Web3.0的3个时代,在Web1.0时代，主要由中央服务器生产数据内容并通过HTTP协议建立链接关系，供用户访问使用，其典型代表包括yahoo.com,sohu.com等；在Web2.0时代,主要由用户生产数据并在用户之间进行互相分享，数据的生产者并不是数据的拥有者，即用户所生产的数据并没有成为用户的数据资产，其代表包括Facebook、Amazon、微信、快手、抖音、淘宝、京东等；在Web3.0时代,同样由用户生产数据，而以区块链的方式来存储这些数据，其典型代表是NFT(Non-FungibleTokens,非同质化代币),一般基于安全性高的区块链合约的方式生成数据并与用户绑定，从而成为用户的数据资产。

互联网如今是一个Web2.0为主流，Web3.0快速增长的时代，用户可以在如今的游戏、社交、电商等信息***中产生海量的用户数据资产(包括用户行为数据、虚拟资产数据、交易数据、物品数据等)，而这些数据大多是依托Web2.0信息***产生的，一般由某一个中央组织运行这些信息***，并存储在中央服务器上，存在数据易被篡改、数据变更无法追溯、数据生产者不具有数据所有权、数据单点故障等数据安全性问题。

Web3.0快速增长主要是由区块链的技术要素驱动的，区块链具有去中心化、不易篡改、可追溯、可用户数据资产化、分布式节点所带来的共识与高安全性等特性，可通过将用户数据资产上链存储来解决Web2.0信息***的数据安全性问题；现有技术中提供的上链方法一般是通过直接调用函数以及创建通道从而实现上链以及接收上链结果，但这种方法只是简单实现了上链，在上链的时效要求不是很高情况下可以完成任务，难以应对高TPS(每秒处理的事务数，Transactions Per Second，TPS)、高时效性要求的场景；同时，区块链本身是技术驱动的，由多种安全技术机制来确保数据的安全与共识，数据上链对于用户和大多数信息***而言，在缺少中间件技术的支撑的情况下，难以普及使用。

发明内容

为了解决上述技术问题，本申请提供了一种数据上链存储方法、***、装置以及存储介质。

本申请第一方面提供了一种数据上链存储方法，所述方法包括：

获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储所述目标数据；

若是，则生成与所述目标数据唯一对应的数据标识；

根据所述数据标识以及所述目标数据生成上链请求消息，并将所述上链请求消息写入消息队列中；

解析所述消息队列中的上链请求消息，并将所述数据标识以及所述目标数据上传区块链；

从所述区块链获取与所述数据标识唯一对应的上链信息，并对所述上链信息进行存储。

可选的，所述对所述上链信息进行存储包括：

根据所述上链信息生成上链响应消息，并将所述上链响应消息返回至所述消息队列；

解析所述消息队列中的上链响应消息，并对所述上链信息进行存储。

可选的，在所述判断是否通过区块链存储所述目标数据之后，若确定不通过所述区块链存储所述目标数据，则所述方法还包括：

将所述目标数据存储至数据库。

可选的，所述方法还包括：

对所述目标数据进行合法性验证，若验证通过，则对目标数据进行分析。

可选的，所述对目标数据进行合法性验证包括：

对所述目标数据的哈希值进行验证。

可选的，所述对目标数据进行合法性验证包括：

对所述目标数据对应的时间戳进行验证。

可选的，在所述对所述目标数据进行合法性验证之前，所述方法还包括：

对所述目标数据对应的调用用户的用户身份进行验证，若验证通过则对所述目标数据进行合法性验证。

可选的，在所述将所述数据标识以及所述目标数据上传区块链之前，所述方法还包括：

对所述上链请求消息进行数据摘要验证，若验证通过，则将所述数据标识以及所述目标数据上传区块链。

本申请第二方面提供了一种数据上链存储的分流中台***，所述***包括：

数链分流器，用于获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储所述目标数据；

若是，则所述数链分流器生成与所述目标数据唯一对应的数据标识；

根据所述数据标识以及所述目标数据生成上链请求消息，并将所述上链请求消息写入消息队列中；

数链操作中间件，用于解析所述消息队列中的上链请求消息，并将所述数据标识以及所述目标数据上传区块链；

所述数链操作中间件还用于从所述区块链获取与所述数据标识唯一对应的上链信息，所述数链分流器将所述上链信息进行存储至数据库。

本申请第三方面提供了一种数据上链存储装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的方法中，可以对目标数据进行分析从而判断是否需要通过区块链进行存储，可以将传统的集中式用户行为数据、虚拟资产数据、物品数据等数据(数据即资产)上链存储，实现数据的去中心化、可追溯、不易篡改、无法抵赖，为数据资产化、资产价值化提供支撑。并且本申请提供的方法中，通过消息队列将目标数据以及数据标识进行上链，能够为高TPS(每秒处理的事务数，Transactions Per Second，TPS)提供支撑。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的数据上链存储方法一个实施例流程示意图；

图2为本申请提供的数据上链存储方法另一个实施例流程示意图；

图3为本申请提供的数据上链存储的分流中台***的一个实施例结构示意图；

图4为本申请提供的数据上链存储的分流中台***的另一个实施例结构示意图；

图5为本申请提供的数据上链存储装置的一个实施例结构示意图。

具体实施方式

在进行数据存储时一般将数据统一存储于传统的数据库或者将数据存储于区块链中，传统数据库一般受某一个中央组织控制，存在数据易被篡改、数据变更无法追溯、数据生产者不具有数据所有权、数据单点故障等问题，因此越来越多的数据需要上链存储。

利用区块链的去中心化、数据不易篡改、可追溯、所有权可与数据绑定等特性，将数据上链进行存证以保证数据的多方位安全性。区块链可以理解为一种分布式数据库，现有技术中提供的上链方法一般是通过直接调用函数以及创建通道从而实现上链以及接收上链结果，但这种方法只是简单实现了上链，在上链的时效要求不是很高情况下可以完成任务，难以应对高TPS(每秒处理的事务数，Transactions Per Second，TPS)、高时效性要求的场景；同时，区块链本身是技术驱动的，由多种安全技术机制来确保数据的安全与共识，数据上链对于用户和大多数信息***而言，在缺少中间件技术的支撑的情况下，难以普及使用。

基于此，本申请提供了一种数据上链存储方法，解决传统数据上链方法TPS低的问题，同时，通过中间件技术和分流上链接口简化数据上链方式，突破多种安全技术机制带来的普及应用瓶颈，获得数据上链存储的多方位安全性，为数据资产化、资产价值化提供支撑。

为了更清楚地对本申请提供的内容进行理解，下面先对本申请中可能需要使用的词语进行解释：

上链：本申请中上链是指将数据上传至区块链；

分流：本申请中根据数据的特性通过不同的方式对数据进行存储；

分流中台***：数据链分流中台***(SFMOMS，Split Flow Middle OfficeManagement System，以下简称：“数链分流中台”或“分流中台”)为传统集中式***(例如游戏、社交、电商***、物联网***等)提供数据上链中台服务。

图1为本申请提供的数据上链存储方法一个实施例流程示意图，该数据上链存储方法包括：

101、获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储目标数据；若是，则执行步骤102，若否则执行步骤106；

在实际应用中，用户通过本申请提供的方法可以对目标数据实现分流存储，在需要存储数据时，通过发送接口调用请求发起接口的调用，响应于该接口调用请求，服务器通过分流器接口获取目标数据，并对目标数据进行分析，其中目标数据可以包括用户身份数据、数据data、数据data的哈希值、以及该哈希值的签名等，在对目标数据进行分析时，可以采用多种方式，例如通过预设的分流规则、分流算法或者训练好的数据分流模型来进行分析等，从而判断是否需要通过区块链对该目标数据进行存储，如果需要通过区块链进行存储，那么对该目标数据执行相关的上链处理。而如果不需要上链，则将该目标数据存储于传统的数据库中。

102、生成与目标数据唯一对应的数据标识；

如果需要对目标数据进行上链，服务器首先为目标数据赋予一个数据标识，该数据标识可以是全局唯一的数链ID(身份标识号，Identity number)，用于标识该目标数据，本申请中目标数据可以是一条数据也可以是一批数据，而对应的，数据标识可以是针对一条数据也可以是针对一批数据。

可选的，数据标识的生成可以采用中央服务器程序的方式，也可以采用区块链合约的方式生成，从而获得数据资产的NFT属性(NFT,Non-Fungible Token,非同质化代币)；前一种方式具有更高的生成速度以及不需要耗费Gas费等优点，后一种方式具有数据无法篡改以及高安全性等优点。

103、根据数据标识以及目标数据生成上链请求消息，并将上链请求消息写入消息队列中；

本申请中通过消息队列对目标数据进行上链，具体为根据数据标识以及目标数据生成上链请求消息，并将该上链请求消息缓存至先进先出的消息队列中。通过消息队列可以提供消息缓冲和秒级消息传递服务，实现长事务分解为多个短事务串接和同步异步化，同时支撑***扩展到TPS10万级的并发性能。

104、解析消息队列中的上链请求消息，并将数据标识以及目标数据上传区块链；

消费消息队列中的上链请求消息，具体为解析该上链请求消息，获得数据标识以及对应的目标数据，进而将该数据标识以及目标数据上传至区块链。

同时，在对目标数据进行上链时，可以根据用户的TPS和时效性指标要求，可以在多条链中选择合适的链，或者组合多种链同时上链(例如Solana公链的TPS超过5万，时延小于1s)，实现数据跨链以及数据多链同时存储。

105、从区块链获取与数据标识唯一对应的上链信息，并对上链信息进行存储。

服务器将数据标识以及目标数据上传至区块链之后，获得上链信息，上链信息中可以包括区块链返回的上链结果，上链结果表示该目标数据以及数据标识是否已经完成在区块链的上传，例如，上链结果可以包括上链失败和上链成功。上链信息中还可以包括上链结果的元数据，上链结果的元数据可以包括：数据标识、链身份、上链是否成功、成功/失败时间以及失败原因等，在上链前可以为该目标数据获取链身份，为数据上链操作提供合法身份，确保上链的正常操作。

在另一种可能的实现方式中，对上链信息进行存储可以包括：

根据上链信息生成上链响应消息，并将上链响应消息返回至消息队列，解析消息队列中的上链响应消息，并对上链信息进行存储。在上链之后，获取上链信息，根据该上链信息生成上链响应消息缓存至消息队列中，以回应数据标识对应的上链请求消息，进而对消息队列中的上链响应消息进行解析，以获得数据标识对应的上链信息，从而将该上链信息存储入库。

106、将目标数据存储至数据库。

在实际应用中，如果确定不通过区块链存储目标数据，也可以通过其它方式进行存储，本实施例以通过传统的数据库对目标数据进行存储进行举例说明。

本申请提供的方法中，可以对目标数据进行分析从而判断是否需要通过区块链进行存储，可以将传统的集中式用户行为数据、虚拟资产数据、物品数据等数据(数据即资产)上链存储，实现数据的去中心化、可追溯、不易篡改、无法抵赖，为数据资产化、资产价值化提供支撑。并且本申请提供的方法中，通过消息队列将目标数据以及数据标识进行上链，能够为高TPS(每秒处理的事务数，Transactions Per Second，TPS)提供支撑。

在实际应用中，为了确保接口调用的用户身份安全性和数据完整性，可以对对应的调用用户的用户身份、数据的哈希值等进行验证。具体下述实施例将结合附图进行详细阐述。

请参阅图2，图2为本申请中提供的数据上链存储方法的一个实施例流程示意图，该实施例包括：

201、获取目标数据；

目标数据可以从调用本申请中数据分流上链存储的分流中台***中的分流器接口的接口参数中获取。

202、对目标数据对应的调用用户的用户身份进行验证，若验证通过则对目标数据进行合法性验证，若验证通过，则执行步骤203，若验证不通过，则执行步骤212；

在实际应用中，调用用户可以通过发送接口调用请求以调用接口对目标数据进行分流上链存储，在调用时，服务器可以解析接口调用请求获得调用用户的用户身份，并对该用户身份进行验证，例如基于用户身份数据和公私钥+数字签名机制进行用户身份验证，如果验证通过，则可以继续对目标数据的完整性进行验证。

203、对目标数据进行合法性验证，若验证通过，则执行步骤204，若验证不通过，则执行步骤212；

为了确保目标数据的完整性，可以通过可采用SHA3-256(例如Keccak-256)算法对data字段进行验证，具体验证可以是获取目标数据中data字段的哈希值，将该哈希值与发送过来的哈希值进行比对，如果两个哈希值一致，则可以认为目标数据未被篡改，在这之后还可以继续使用该调用用户的公钥进行签名验证。进一步的，为确保数据不被重放攻击，可以增加基于时间戳的验证机制，例如需要确保消息在正负N秒(例如可以取N＝3～10s)内的接口调用请求才是合法调用请求。

204、对目标数据进行分析，以判断是否通过区块链存储目标数据，若是，则执行步骤205，若否，则执行步骤206；

205、生成与目标数据唯一对应的数据标识；

206、将目标数据存储至数据库；

207、根据数据标识以及目标数据生成上链请求消息，并将上链请求消息写入消息队列中；

208、解析消息队列中的上链请求消息；

本实施例中步骤205至步骤208内容与上述实施例中的相关内容类似，此处不再赘述。

209、对上链请求消息进行数据摘要验证，若验证通过，则执行步骤210，若验证不通过，则执行步骤212；

对该上链请求消息进行数据摘要验证，当验证通过后再对目标数据以及数据标识进行上链处理。

一种数据摘要验证的方法可以是：从上链请求消息中解析获得目标数据的原哈希值，重新针对目标数据获得对应的哈希值，将重新获得的哈希值与上链请求消息中的原哈希值进行比对，若两个哈希值一致，则对上链请求消息的数据摘要验证通过，若不一致，则验证不通过，确定验证不通过后可以生成回应信息，具体详见步骤212。

210、将数据标识以及目标数据上传区块链；

211、从区块链获取与数据标识唯一对应的上链信息，并对上链信息进行存储。

212、生成回应信息。

如果任一验证环节的验证不通过，都可以生成相应错误的回应信息，进而调用本***的客户端程序以处理回应信息。

本实施例中，可以通过例如高安全等级的SHA-3哈希算法和私钥签名算法确保接口调用的用户身份安全和数据完整性，通过时间戳验证确保接口不被消息重放攻击，还可以采用数据脱敏机制对用户隐私数据进行脱敏存储，对核心数据采用数据签名与加密存储，确保数据完整性与机密性；以上机制确保了高安全等级的接口安全与存储安全。

上述实施例对本申请中提供的数据上链存储方法进行了详细阐述，下面将对本申请中提供的数据上链存储的分流中台***、装置以及存储介质进行详细阐述。

请参阅图3，图3为本申请中提供的数据上链存储的分流中台***的一个实施例结构示意图，该实施例包括：

数链分流器301，用于获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储目标数据；

若是，则数链分流器301生成与目标数据唯一对应的数据标识；

数链分流器301根据数据标识以及目标数据生成上链请求消息，并将上链请求消息写入消息队列中；

数链操作中间件302，用于解析消息队列中的上链请求消息，并将数据标识以及目标数据上传区块链；

数链操作中间件302还用于从区块链获取与数据标识唯一对应的上链信息，数链分流器301将上链信息进行存储至数据库。

可选的，数链操作中间件302具体用于：

根据上链信息生成上链响应消息，并将上链响应消息返回至消息队列；

数链分流器301具体用于：

解析消息队列中的上链响应消息，并对上链信息进行存储。

数链分流器301还用于：

将目标数据存储至数据库

请参阅图4，图4为本申请中提供的数据上链存储的分流中台***的另一个实施例结构示意图；

图4中，数链分流器301包括：身份认证模块3011、数据验签模块3012、数链分流模块3013以及分流器接口3014，数链分流模块3013用于通过分流器接口3014获取目标数据，以及对目标数据进行分析，以判断是否通过区块链存储目标数据。数链操作中间件302包括、消费消息模块3021、数据摘要验证模块3022以及链身份获取模块3023，消费消息模块3021用于解析消息队列中的上链请求消息，链身份获取模块3023用于获取目标数据的链身份。

可选的，身份认证模块3011用于：

对目标数据对应的调用用户的用户身份进行验证。

可选的，数据验签模块3012用于：

对目标数据进行合法性验证。

可选的，数据验签模块3012具体用于：

对目标数据的哈希值进行验证。

可选的，数据验签模块3012具体用于：

对目标数据对应的时间戳进行验证。

可选的，数据摘要验证模块3022用于：

对上链请求消息的进行数据摘要验证，若验证通过，则将数据标识以及目标数据上传区块链。

可选的，一种数据摘要验证的方法可以是：数链分流模块3013生成目标数据的哈希值(该哈希值可以是采用SHA-3算法获得)，在发送时，将目标数据和该哈希值一起发送到消息队列，在消费消息模块3021解析并获取数据和哈希值后，数据摘要验证模块3022针对目标数据进行重新哈希，重新获得该目标数据的哈希值，并将重新获得的哈希值与发送过来的原哈希值进行比对，若两个哈希值一致，则数据摘要验证通过，若不一致，则数据摘要验证不通过。

本申请还提供了一种数据上链存储装置，包括：

处理器501、存储器502、输入输出单元503、总线504；

处理器501与存储器502、输入输出单元503以及总线504相连；

存储器502保存有程序，处理器501调用程序以执行如上任一数据上链存储方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一数据上链存储方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种数据上链存储方法，其特征在于，所述方法包括：

获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储所述目标数据；

若是，则生成与所述目标数据唯一对应的数据标识；

根据所述数据标识以及所述目标数据生成上链请求消息，并将所述上链请求消息写入消息队列中；

解析所述消息队列中的上链请求消息，并将所述数据标识以及所述目标数据上传区块链；

从所述区块链获取与所述数据标识唯一对应的上链信息，并对所述上链信息进行存储。

2.根据权利要求1中所述的数据上链存储方法，其特征在于，所述对所述上链信息进行存储包括：

根据所述上链信息生成上链响应消息，并将所述上链响应消息返回至所述消息队列；

解析所述消息队列中的上链响应消息，并对所述上链信息进行存储。

3.根据权利要求1中所述的数据上链存储方法，其特征在于，在所述判断是否通过区块链存储所述目标数据之后，若确定不通过所述区块链存储所述目标数据，则所述方法还包括：

将所述目标数据存储至数据库。

4.根据权利要求1中所述的数据上链存储方法，其特征在于，在所述对目标数据进行分析之前，所述方法还包括：

对所述目标数据进行合法性验证，若验证通过，则对目标数据进行分析。

5.根据权利要求4中所述的数据上链存储方法，其特征在于，所述对目标数据进行合法性验证包括：

对所述目标数据的哈希值进行验证。

6.根据权利要求4中所述的数据上链存储方法，其特征在于，所述对目标数据进行合法性验证包括：

对所述目标数据对应的时间戳进行验证。

7.根据权利要求4中所述的数据上链存储方法，其特征在于，在所述对所述目标数据进行合法性验证之前，所述方法还包括：

对所述目标数据对应的调用用户的用户身份进行验证，若验证通过则对所述目标数据进行合法性验证。

8.根据权利要求1至7中任一项所述的数据上链存储方法，其特征在于，在所述将所述数据标识以及所述目标数据上传区块链之前，所述方法还包括：

对所述上链请求消息进行数据摘要验证，若验证通过，则将所述数据标识以及所述目标数据上传区块链。

9.一种数据上链存储的分流中台***，其特征在于，所述***包括：

数链分流器，用于获取目标数据，并对目标数据进行分析，以判断是否通过区块链存储所述目标数据；

若是，则所述数链分流器生成与所述目标数据唯一对应的数据标识；

根据所述数据标识以及所述目标数据生成上链请求消息，并将所述上链请求消息写入消息队列中；

数链操作中间件，用于解析所述消息队列中的上链请求消息，并将所述数据标识以及所述目标数据上传区块链；

所述数链操作中间件还用于从所述区块链获取与所述数据标识唯一对应的上链信息，所述数链分流器将所述上链信息进行存储至数据库。

10.一种数据上链存储装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至8任一项所述方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至8中任一项所述方法。

Images