CN111414408B - 基于区块链的数据可信表示的方法及装置 - Google Patents
基于区块链的数据可信表示的方法及装置 Download PDFInfo
- Publication number
- CN111414408B CN111414408B CN202010169160.4A CN202010169160A CN111414408B CN 111414408 B CN111414408 B CN 111414408B CN 202010169160 A CN202010169160 A CN 202010169160A CN 111414408 B CN111414408 B CN 111414408B
- Authority
- CN
- China
- Prior art keywords
- data
- heterogeneous
- information network
- blockchain
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于区块链的数据可信表示的方法及装置,本申请的方法包括获取多源异构数据;对多源异构数据进行数据处理;根据处理后的数据的类型和关联关系生成异构信息网络图;基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。本申请是为了解决现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示的问题。
Description
技术领域
本申请涉及区块链应用技术领域,具体而言,涉及一种基于区块链的数据可信表示的方法及装置。
背景技术
政府各部门的市民数据碎片化严重,政府各部门以及其它公共服务机构在履职过程中形成了大量的各类结构的市民数据资源,这些数据资源分散在各个部门,由于政府各部门要求的不一样,市民数据一直处于“部门分割,结构不同”的状态,不同部门之间的市民数据结构多样化,有结构化数据、半结构化数据、非结构化数据,从而造成了市民数据表示的不统一,难以实现业务协同和规模效用。
目前市民数据主要通过统一的政府公共数据开放共享平台进行数据信息交换和共享,政府数据开放共享平台的主要功能包括信息资源目录管理、元数据管理和数据质量管理等内容,通过政府数据开放共享平台使得政府各部门的数据实现互联互通、数据共享。市民数据在共享共用、开放运营及行业应用过程中,由于数据来源于各个政府部门的业务***,市民数据具有多源性和异构化的特点,目前主要通过数据开放共享平台的数据治理的方法来实现数据的ETL处理和统一化处理。
对于现有的基于数据治理的市民数据表示方法来说,市民数据的可信表示是实现市民数据共享利用能否成功的关键。只有可持续运行的可信的表示方法,才能促进政府各部门多源异构市民数据的互联互通的实现,又能在安全可信的基础上持续推动多部门市民数据的安全可信的共享利用,但是已有的技术无论是采用数据治理功能来实现数据的统一化表示,还是通过对市民数据的标准化处理来实现市民数据的统一的可信表示,都存在着严重的缺陷:一是缺乏对多源异构化的市民数据的统一的可信表示,具体表现在目前的多部门市民数据由于在政府不同部门之间,因此造成了市民数据在结构上是多源异构的,没有统一的可信表示;现有的技术措施只能处理结构化市民数据,无法处理非结构化或者半结构化市民数据,但是越来越多的“非结构化数据”市民数据开始大规模应用,包括社交媒体、电子邮件、文本、音频、视频、照片、网络日志等,而现有的数据治理无法实现对这些非结构化市民数据或者半结构化市民数据的统一可信表示。二是缺乏对多源异构的市民数据的安全保障,主要表现为传统的数据治理仅仅包括了信息资源目录管理、元数据管理和数据质量管理,而缺乏对于市民数据的安全保障,比如不可篡改、全程留痕、事后追溯等安全要求。
综上,现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示。
发明内容
本申请的主要目的在于提供一种基于区块链的数据可信表示的方法及装置,以解决现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示的问题。
为了实现上述目的,根据本申请的第一方面,提供了一种基于区块链的数据可信表示的方法。
根据本申请的基于区块链的数据可信表示的方法包括:
获取多源异构数据;
对多源异构数据进行数据处理;
根据处理后的数据的类型和关联关系生成异构信息网络图;
基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。
可选的,多源异构数据包括结构化数据、半结构化数据、非结构化数据。
可选的,所述根据处理后的数据的类型和关联关系生成异构信息网络图包括:
每一个数据都用一个有向图表示。
可选的,所述基于异构信息网络图生成区块链包括:
从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;
若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;
在当前区块体写满后,结合区块头形成区块;
多个区块根据生成时间串接成区块链。
可选的,所述基于异构信息网络图生成区块链还包括:
基于异构信息网络图,生成每个数据对应的特征值。
可选的,基于异构信息网络图,生成每个数据对应的特征值包括:
按照下述公式计算每个数据的特征值
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量。
可选的,所述方法还包括:
所述关系程度和权重大小是综合专家对每个数据节点的意见形成,并通过统计学的计算得到的。
可选的,所述对多源异构数据进行数据处理包括:
将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据;
确定数据之间的关联关系。
为了实现上述目的,根据本申请的第二方面,提供了一种基于区块链的数据可信表示的装置。
根据本申请的基于区块链的数据可信表示的装置包括:
获取单元,用于获取多源异构数据;
处理单元,用于对多源异构数据进行数据处理;
第一生成单元,用于根据处理后的数据的类型和关联关系生成异构信息网络图;
第二生成单元,用于基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。
可选的,多源异构数据包括结构化数据、半结构化数据、非结构化数据。
可选的,所述第一生成单元用于:
每一个数据都用一个有向图表示。
可选的,所述第二生成单元包括:
请求发送模块,用于从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;
加入模块,用于若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;
区块生成模块,用于在当前区块体写满后,结合区块头形成区块;
链生成模块,用于多个区块根据生成时间串接成区块链。
可选的,所述第二生成单元还包括:
特征值生成模块,用于基于异构信息网络图,生成每个数据对应的特征值。
可选的,特征值生成模块,用于:
按照下述公式计算每个数据的特征值
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量。
可选的,所述装置还包括:
计算单元,用于所述关系程度和权重大小是综合专家对每个数据节点的意见形成,并通过统计学的计算得到的。
可选的,所述处理单元包括:
分类模块,用于将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据;
确定模块,用于确定数据之间的关联关系。
为了实现上述目的,根据本申请的第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述第一方面中任意一项所述的基于区块链的数据可信表示的方法。
为了实现上述目的,根据本申请的第四方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行上述第一方面中任意一项所述的基于区块链的数据可信表示的方法。
在本申请实施例中,基于区块链的数据可信表示的方法及装置中,首先,获取多源异构数据;对多源异构数据进行数据处理;根据处理后的数据的类型和关联关系生成异构信息网络图;基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。将本申请应用到多源异构的市民数据的可信表示中,可以将多源异构的市民数据统一到一个异构信息网络图,实现数据的统一表示,另外,还能够将生成异构信息网络图中的市民数据放入区块链,保证了数据的安全和可信,因此实现了对市民数据的可信表示,解决了现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的一种基于区块链的数据可信表示的方法流程图;
图2是根据本申请实施例提供的一种基于区块链的数据可信表示的方法中的一种异构信息网络图的示意图;
图3是根据本申请实施例提供的另一种基于区块链的数据可信表示模型训练生成的方法流程图;
图4是根据本申请实施例提供的一种基于区块链的数据可信表示的装置的组成框图;
图5是根据本申请实施例提供的另一种基于区块链的数据可信表示的装置的组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请实施例,提供了一种基于区块链的数据可信表示的方法,如图1所示,该方法包括如下的步骤:
S101.获取多源异构数据。
从各个数据采集点获取多源异构数据,多源异构数据包括来源不同的结构化数据、半结构化数据、非结构化数据。
S102.对多源异构数据进行数据处理。
“对多源异构数据进行数据处理”具体为将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据;确定数据之间的关联关系。另外,需要说明的是,在多源异构数据进行分类时可以通过统计学中的主成分分析和人工经验分析,得到多源异构数据与结构化、半结构化、非结构化类型之间的对应关系,如表1所示。
表1
多源异构数据类别 | 结构类型 |
基本信息 | 结构化数据 |
业务数据 | 结构化数据 |
日志数据 | 半结构化数据 |
图像数据 | 非结构化数据 |
S103.根据处理后的数据的类型和关联关系生成异构信息网络图。
给出具体的示例对生成的异构信息网络图进行说明,如图2所示,其中v0为一个数据,该数据由结构化数据v1、半结构化数据v2、非结构化数据v3关联组成,结构化数据v1又由v4、v5两个结构化数据组成,半结构化数据v2又由v6、v7两个半结构化数据组成,非结构化数据v3又由v8、v9两个非结构化数据组成。
异构信息网络图中每一个数据都可以用一个有向图G=(V,E)来表示,其中G代表任何数据节点,其中V代表异构类型数据的数据节点,E代表V之间不同的关系(单边或者双边关系),并且用映射函数φ:V→A来表示每一个v∈V属于节点类型集合A:φ(v)∈A,用映射函数ψ:E→R.表示每条边e∈E属于边的类型集合R:ψ(e)∈R在这个异构信息网络中,其中|A|>1或者|R|>1表示。
S104.基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。
区块链技术,被称为分布式记账技术,是一种由若干台计算设备共同参与“记账”,一起维护一份完整的分布式数据库的新兴技术。由于区块链技术具有去中心化、不可篡改、共识维护、公开透明、全程留痕、可以追溯等特征。每台计算设备都可以公开透明的参与“记账”和分布式数据库的共同维护,并且各计算设备之间可以快速的进行数据同步和共享,因此使得区块链技术在众多的数据共享领域具有广泛的应用。
本实施例中是利用区块链技术主要用于保证数据的安全和可信。具体的基于异构信息网络图生成区块链的过程为:从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;在当前区块体写满后,结合区块头形成区块;多个区块根据生成时间串接成区块链。
需要说明的是,区块链是用通过主节点维护的,由各个区块链接而成,每个区块的大小可根据应用需要设定。每个区块由区块头和区块体组成,区块头中记录区块序号、上一区块哈希值、本区块哈希值、时间戳,区块体中记录异构信息网络图中的数据及其对应的特征值和从节点登记信息。区块头的大小根据实际应用需要设定。时间戳为区块生成的时间。初始区块由主节点生成,序号为0,上一区块哈希值为空,区块体中没有记录任何数据的特征值信息。主节点将一段时间内上传的数据和特征值写入当前区块(实际上是写入区块体中),当区块体被写满后,主节点计算本区块的哈希值,并填充区块头中的区块序号、上一区块哈希值、本区块哈希值、时间戳字段进而形成区块。本区块哈希值又会出现在下一区块头的相应字段中,这样区块就能根据生成时间串接成链,即区块链。
从以上的描述中,可以看出,本申请实施例的基于区块链的数据可信表示的方法中,首先,获取多源异构数据;对多源异构数据进行数据处理;根据处理后的数据的类型和关联关系生成异构信息网络图;基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。将本申请应用到多源异构的市民数据的可信表示中,可以将多源异构的市民数据统一到一个异构信息网络图,实现数据的统一表示,另外,还能够将生成异构信息网络图中的市民数据放入区块链,保证了数据的安全和可信,因此实现了对市民数据的可信表示,解决了现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示的问题。
作为上述实施例的进一步的补充,进一步的,上述步骤S104中还包括基于异构信息网络图,生成每个数据对应的特征值,具体的生成特征值的公式如下:
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量。其中关系程度和权重大小是综合专家对每个数据节点的意见形成,并通过统计学的计算得到的。
结合图2中的异构信息网络图,具体说明特征值的计算过程。以计算v0和v1的特征值为例进行说明。
与v1有关联关系的数据节点有两个v4、v5,
因此v1的公式中v4、v5为数据节点v4、v5分别对应的特征值。
与v0有关联关系的数据节点有三个v1、v2,v3
因此v0的公式中v1、v2,v3为数据节点v1、v2,v3分别对应的特征值。
可以看到,每一个数据的特征值可以由其关联的下一级的所有的数据节点的特征值计算得到,对于最后一级,即末节点的特征值是综合各专家对每个数据节点的意见,并通过统计学中的计算得到的。
为了更清楚的说明上述实施例中基于区块链的数据可信表示的方法,本实施例以多源异构数据为市民数据为例进行说明,如图3所示,包括以下步骤。
S201、获取某个政府部门的市民数据。
市民数据包括市民的基本信息、该政府部门的业务数据、日志数据、以及图像数据,其中市民的基本信息和政府部门的业务数据属于结构化数据,日志数据属于半结构化数据,图像数据属于非结构化数据。
S202、对获取的市民数据按照数据结构类型进行分类,分为结构化数据、半结构化数据、非结构化数据,并得到数据之间的关联关系。
S203、根据数据分类的类型和关联关系,生成异构信息网络图
根据数据分类的类型和关联关系,生成了图2的异构信息网络图,在图2异构信息网络图中,其中v1代表结构化的市民数据节点,v2代表半结构化的市民数据节点,v3代表非结构化的市民数据节点,其中结构化市民数据v1的特征值是由v4、v5结构化市民数据的特征值计算而得,半结构化的市民数据的特征值v2是由v6、v7半结构化市民数据的特征值计算而得,非结构化的市民数据的特征值v3是由v8、v9非结构化市民数据的特征值计算而得。关系程度和权重大小是综合专家对每个市民数据节点的意见形成,并通过统计学的计算得到不同的分值,具体结果如表2所示。并且在实施例中,v4、v5、v6、v7、v8、v9的特征值已经综合各专家对每个市民数据节点的意见,并通过统计学中的计算,得到不同节点的特征值。
表2
S204、对已经生成异构信息网络图的市民数据进行可信表示。
在对已经生成异构信息网络图的市民数据进行可信表示时,首先由各个从节点向主节点发送可信身份验证请求,该身份验证请求携带有该从节点的市民数据信息和特征值,主节点收到该身份验证请求后对该从节点进行身份验证,若身份验证通过则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;在当前区块体写满后,结合区块头形成区块;多个区块根据生成时间串接成区块链。
本实施例中,我们通过异构信息网络图的特性将市民数据中常见的几种类型的市民数据进行了统一的可信表示,链接不同对象之间的不同元路径表示了不同数据结构的市民数据,这样实现了对不同数据结构和不同节点的特征表示。通过异构信息网络图的表示,实现了对各类多源异构市民数据的统一表示,然后将生成的异构信息网络图生成区块,加入市民数据的区块链中,从而实现了市民数据的可信表示,并且确保了市民数据的不可篡改、全程留痕、可以追溯,从而实现了市民数据的可信表示。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述图1至图3所述方法的基于区块链的数据可信表示的装置,如图4所示,该装置包括:
获取单元31,用于获取多源异构数据;
处理单元32,用于对多源异构数据进行数据处理;
第一生成单元33,用于根据处理后的数据的类型和关联关系生成异构信息网络图;
第二生成单元34,用于基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。
从以上的描述中,可以看出,本申请实施例的基于区块链的数据可信表示的装置中,首先,获取多源异构数据;对多源异构数据进行数据处理;根据处理后的数据的类型和关联关系生成异构信息网络图;基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示。将本申请应用到多源异构的市民数据的可信表示中,可以将多源异构的市民数据统一到一个异构信息网络图,实现数据的统一表示,另外,还能够将生成异构信息网络图中的市民数据放入区块链,保证了数据的安全和可信,因此实现了对市民数据的可信表示,解决了现有的基于数据治理的市民数据表示方法无法实现对市民数据的可信表示的问题。
进一步的,多源异构数据包括结构化数据、半结构化数据、非结构化数据。
进一步的,所述第一生成单元33用于:
每一个数据都用一个有向图表示。
进一步的,如图5所示,所述第二生成单元34包括:
请求发送模块341,用于从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;
加入模块342,用于若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;
区块生成模块343,用于在当前区块体写满后,结合区块头形成区块;
链生成模块344,用于多个区块根据生成时间串接成区块链。
进一步的,如图5所示,所述第二生成单元34还包括:
特征值生成模块345,用于基于异构信息网络图,生成每个数据对应的特征值。
进一步的,如图5所示,特征值生成模块345,用于:
按照下述公式计算每个数据的特征值
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量。
进一步的,如图5所示,所述装置还包括:
计算单元35,用于所述关系程度和权重大小是综合专家对每个数据节点的意见形成,并通过统计学的计算得到的。
进一步的,如图5所示,所述处理单元32包括:
分类模块321,用于将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据;
确定模块322,用于确定数据之间的关联关系。
具体的,本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
根据本申请实施例,还提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述方法实施例中的基于区块链的数据可信表示的方法。
根据本申请实施例,还提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行上述方法实施例中的基于区块链的数据可信表示的方法。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于区块链的数据可信表示的方法,其特征在于,所述方法包括:
获取多源异构数据;
对多源异构数据进行数据处理;
根据处理后的数据的类型和关联关系生成异构信息网络图;
基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示;
其中,所述对多源异构数据进行数据处理包括:
通过统计学中的主成分分析和人工经验分析,将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据,得到多源异构数据与结构化、半结构化、非结构化类型之间的对应关系;
其中,所述基于异构信息网络图生成区块链包括:
基于异构信息网络图,生成每个数据对应的特征值;
按照下述公式计算每个数据的特征值:
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量;
其中,所述基于异构信息网络图生成区块链包括:
从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;
若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;
在当前区块体写满后,结合区块头形成区块;
多个区块根据生成时间串接成区块链。
2.根据权利要求1所述的基于区块链的数据可信表示的方法,其特征在于,多源异构数据包括结构化数据、半结构化数据、非结构化数据。
3.根据权利要求2所述的基于区块链的数据可信表示的方法,其特征在于,所述根据处理后的数据的类型和关联关系生成异构信息网络图包括:
每一个数据都用一个有向图表示。
4.根据权利要求1所述的基于区块链的数据可信表示的方法,其特征在于,所述方法还包括:
所述关系程度和权重大小是综合专家对每个数据节点的意见形成,并通过统计学的计算得到的。
5.一种基于区块链的数据可信表示的装置,其特征在于,所述装置包括:
获取单元,用于获取多源异构数据;
处理单元,用于对多源异构数据进行数据处理;
第一生成单元,用于根据处理后的数据的类型和关联关系生成异构信息网络图;
第二生成单元,用于基于异构信息网络图生成区块链,实现将生成异构信息网络图的多源异构数据的可信表示;
其中,所述处理单元,还用于通过统计学中的主成分分析和人工经验分析,将多源异构数据按照类型分为结构化数据、半结构化数据、非结构化数据,得到多源异构数据与结构化、半结构化、非结构化类型之间的对应关系;
其中,所述第二生成单元,还用于基于异构信息网络图,生成每个数据对应的特征值;
按照下述公式计算每个数据的特征值:
其中G为当前数据的特征值,vi为与当前数据有关联关系的第i个数据节点的特征值,ri为当前数据与第i个数据节点之间的关系程度,wi为第i个数据节点与邻近数据节点的权重大小,i∈(1,n),n为与当前数据有关联关系的所有数据节点的数量;
其中,所述第二生成单元,具体用于从区块链的各个从节点向主节点发送可信身份验证请求,所述可信身份验证请求携带有从节点的数据信息和特征值,主节点收到身份验证请求后对从节点进行身份验证,所述数据信息和特征值为异构信息网络图中的数据及其对应的特征值;
若身份验证通过,则将验证通过的从节点的数据信息和特征值加入到当前区块的区块体中;
在当前区块体写满后,结合区块头形成区块;
多个区块根据生成时间串接成区块链。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-4任意一项所述的基于区块链的数据可信表示的方法。
7.一种电子设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器执行权利要求1-4任意一项所述的基于区块链的数据可信表示的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010169160.4A CN111414408B (zh) | 2020-03-11 | 2020-03-11 | 基于区块链的数据可信表示的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010169160.4A CN111414408B (zh) | 2020-03-11 | 2020-03-11 | 基于区块链的数据可信表示的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414408A CN111414408A (zh) | 2020-07-14 |
CN111414408B true CN111414408B (zh) | 2023-08-01 |
Family
ID=71491069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010169160.4A Active CN111414408B (zh) | 2020-03-11 | 2020-03-11 | 基于区块链的数据可信表示的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414408B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110838060A (zh) * | 2019-10-30 | 2020-02-25 | 成都数融科技有限公司 | 金融风险度量方法、装置及电子设备 |
CN111984843A (zh) * | 2020-08-18 | 2020-11-24 | 成都数融科技有限公司 | 一种基于区块链的市民信用评价方法和*** |
CN112187443A (zh) * | 2020-10-13 | 2021-01-05 | 成都数融科技有限公司 | 基于同态加密的市民数据跨域安全联合计算方法及*** |
CN112182110A (zh) * | 2020-10-13 | 2021-01-05 | 成都数融科技有限公司 | 一种基于区块链的市民数据可信共享方法及*** |
CN112699170B (zh) * | 2020-12-31 | 2022-10-21 | 上海竞动科技有限公司 | 基于多源数据结构区块链的查询方法与*** |
CN113672986A (zh) * | 2021-09-06 | 2021-11-19 | 成都数融科技有限公司 | 一种基于多方数据的安全联合计算方法及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109710680A (zh) * | 2018-12-29 | 2019-05-03 | 杭州趣链科技有限公司 | 一种区块链数据处理引擎及操作方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10460320B1 (en) * | 2016-08-10 | 2019-10-29 | Electronic Arts Inc. | Fraud detection in heterogeneous information networks |
US10938817B2 (en) * | 2018-04-05 | 2021-03-02 | Accenture Global Solutions Limited | Data security and protection system using distributed ledgers to store validated data in a knowledge graph |
CN108920503A (zh) * | 2018-05-28 | 2018-11-30 | 哈尔滨工程大学 | 一种基于社交网络信任度的微视频个性化推荐算法 |
CN109543893A (zh) * | 2018-11-14 | 2019-03-29 | 南京邮电大学 | 异构信息网络关系预测方法、可读存储介质和终端 |
CN109947902B (zh) * | 2019-03-06 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 一种数据查询方法、装置和可读介质 |
CN110245519A (zh) * | 2019-06-06 | 2019-09-17 | 浙江臻善科技股份有限公司 | 基于区块链技术的不动产登记簿管理方法和*** |
CN110516011B (zh) * | 2019-08-28 | 2022-06-21 | 北京思维造物信息科技股份有限公司 | 一种多源实体数据融合方法、装置及设备 |
CN110569437B (zh) * | 2019-09-05 | 2022-03-04 | 腾讯科技(深圳)有限公司 | 点击概率预测、页面内容推荐方法和装置 |
CN110601891B (zh) * | 2019-09-16 | 2021-12-28 | 腾讯科技(深圳)有限公司 | 一种报警处理的方法以及相关装置 |
CN110599311A (zh) * | 2019-09-27 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 资源处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-11 CN CN202010169160.4A patent/CN111414408B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109710680A (zh) * | 2018-12-29 | 2019-05-03 | 杭州趣链科技有限公司 | 一种区块链数据处理引擎及操作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111414408A (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414408B (zh) | 基于区块链的数据可信表示的方法及装置 | |
Maher et al. | Mapping public health responses with attitude networks: the emergence of opinion‐based groups in the UK’s early COVID‐19 response phase | |
US20200226618A1 (en) | Platform, method and device for tracing an object | |
Ito et al. | Spontaneous structure formation in a network of chaotic units with variable connection strengths | |
Kang et al. | Analyzing microblogs with affinity propagation | |
CN111984843A (zh) | 一种基于区块链的市民信用评价方法和*** | |
CN107070645A (zh) | 比较数据表的数据的方法和*** | |
CN107357858B (zh) | 一种基于地理位置的网络重构方法 | |
CN114169387A (zh) | 模型训练方法和装置、电子设备、存储介质 | |
Andriani et al. | Theoretical model of knowledge management in SMEs life cycle:(A literature study) | |
Li et al. | Study on GSP algorithm based on Hadoop | |
CN105991366B (zh) | 一种业务监控方法及*** | |
Zhao et al. | Robustness of directed higher-order networks | |
CN108846543B (zh) | 一种非重叠社区集合质量度量指标的计算方法及装置 | |
Malhotra et al. | Comparative analysis of two single unit systems with production depending on demand | |
US20230334068A1 (en) | Data processing method and apparatus thereof, electronic device, and computer-readable storage medium | |
Kao et al. | A discriminative multi-objective programming method for solving network DEA | |
Zhao | Ecological and economic marketing from the perspective of integrating the internet of things with natural protection and environment | |
CN109377159A (zh) | 一种软件建模过程实体演进***及方法、处理器、终端 | |
CN112364066B (zh) | 一种基于共享信息的通讯方法及*** | |
Li et al. | Modeling and empirical investigation on the microscopic social structure and global group pattern | |
Memon et al. | Communication management of large projects in big data environment | |
CN113342795B (zh) | 应用程序中数据核对方法、装置、电子设备及存储介质 | |
Aktas et al. | Effect of Deception in Influence Maximization and Polarization on Social Networks: A Sheaf Laplacian Approach | |
Harnessing Traditional Business Culture Resources: Scalable Parameter Server Architecture with Distributed Machine Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |