CN115168460A - 数据处理方法、数据交易***、设备及存储介质 - Google Patents

数据处理方法、数据交易***、设备及存储介质 Download PDF

Info

Publication number
CN115168460A
CN115168460A CN202110370059.XA CN202110370059A CN115168460A CN 115168460 A CN115168460 A CN 115168460A CN 202110370059 A CN202110370059 A CN 202110370059A CN 115168460 A CN115168460 A CN 115168460A
Authority
CN
China
Prior art keywords
data
service
transaction
module
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110370059.XA
Other languages
English (en)
Inventor
孙傲冰
滕一帆
史双
骆雄辉
王世清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN202110370059.XA priority Critical patent/CN115168460A/zh
Publication of CN115168460A publication Critical patent/CN115168460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提出一种数据处理方法、数据交易***、设备及存储介质,应用于数据交易***,数据交易***用于提供数据交易平台。该方法具体是:采集数据交易平台上的业务数据;获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理;按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元;以及,根据业务数据对应的数据元更新数据交易***的数据图谱。通过本方案,能够对数据交易平台上的业务数据及业务流程进行全局管理。

Description

数据处理方法、数据交易***、设备及存储介质
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据处理方法、数据交易***、设备及存储介质。
背景技术
数据交易***用于提供数据交易平台,旨在促进数据流通、规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益,并向全社会提供完善的数据交易、结算、交付和安全保障等服务,同时满足部分数据处理功能。
目前的数据交易***仅考虑数据交易的局部环节,例如仅考虑如何实现数据供应方与数据需求方之间的数据交易;并基于局部环节的考虑来设计数据交易***的架构,这使得数据交易***无法对数据交易平台上的数据以及数据交易进行全局管理,随着大数据的迅猛发展,数据交易需求日益增加,如何实现全局管理是数据交易***当前亟待解决的一个问题。
发明内容
本申请实施例提出了一种数据处理方法、数据交易***、设备及存储介质,能够对数据交易平台上的业务数据及业务流程进行全局管理。
第一方面,申请实施例提供一种数据处理方法,该方法应用于数据交易***,数据交易***用于提供数据交易平台;该数据处理方法包括:
采集数据交易平台上的业务数据;
获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理;
按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元;以及,
根据业务数据对应的数据元更新数据交易***的数据图谱。
第二方面,申请实施例提供一种数据交易***,该数据交易***包括:
数据交易商城模块,用于展示数据交易平台的服务界面,并在服务界面中采集数据交易平台上的业务数据;
运营管理模块,用于获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理;
数据图谱模块,用于按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元;以及,根据业务数据对应的数据元更新数据交易***的数据图谱。
在一种可能的实现方式中,数据图谱模块还用于获取数据交易***的数据库,数据库中存储有多个数据元,每个数据元对应一个业务数据,且每个数据元包含一个或多个标签;并按照每个数据元的标签对数据库进行梳理,构建数据交易***的数据图谱;
其中,标签包括以下任一种:用于表示数据元所属业务类型的标签、用于表示数据元对应的业务数据的来源目录标签、用于表示数据元的开放权限的标签。
在一种可能的实现方式中,数据交易***还包括:
数据处理模块,用于对采集到的业务数据进行预处理;
预处理包括以下至少一种:数据仓库技术处理、数据脱敏处理、数据清洗处理。
在一种可能的实现方式中,业务数据包含待处理的支付数据,数据交易***还包括:
清结算模块,用于根据支付数据确定目标支付***,数据交易***对接至少一个支付***,每个支付***向所述数据交易***提供支付接口;
调用目标支付***的支付接口将支付数据发送至目标支付***进行清结算处理;以及,接收目标支付***返回的处理结果。
在一种可能的实现方式中,数据交易商城模块还用于检测对数据图谱中的任一数据元的交易需求,并将交易需求发送至运营管理模块进行审核管理;若交易需求通过审核管理,则运营管理模块将交易需求发送至数据图谱模块,由数据图谱模块将所需数据元转换为对应的业务数据并返回给运营管理平台,运营管理平台返回的业务数据发送至数据交易商城模块,由数据交易商城模块进行输出;或者,
数据交易商城模块还用于检测对数据图谱中的任一数据元的调用请求,并将调用请求发送至所述运营管理模块进行审核管理;若交易需求通过审核管理,则运营管理模块将调用请求发送至数据图谱模块,由数据图谱模块对所请求的数据元进行统计分析,生成关于所请求的数据元的统计报表并返回给运营管理平台,运营管理平台统计报表发送至数据交易商城模块,由数据交易商城模块进行输出。
在一种可能的实现方式中,数据交易***采用级联式架构进行部署;级联式架构包括表现层、业务服务层以及数据服务层;其中,
数据交易商城模块设置于表现层;运营管理模块、数据处理模块及清结算模块集成于业务服务层;数据图谱模块设置于数据服务层。
在一种可能的实现方式中,数据交易***采用面向服务的分布式架构进行部署;面向服务的分布式架构包括应用层、流程层、服务层、构件层以及资源层;其中,
数据交易商城模块设置于应用层;运营管理模块、数据处理模块及清结算模块均分布式设置于流程层、服务层及构件层;数据图谱模块设置于资源层。
第三方面,本申请实施例提供一种数据处理设备,该数据处理设备中承载有数据交易***,该数据处理设备包括:
数据交易商城模块,用于展示数据交易平台的服务界面,并在服务界面中采集数据交易平台上的业务数据;
运营管理模块,用于获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理;
数据图谱模块,用于按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元;以及,根据业务数据对应的数据元更新数据交易***的数据图谱;
数据处理模块,用于对采集到的业务数据进行预处理;
清结算模块,用于根据支付数据确定目标支付***。
第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被计算机设备的处理器读取并执行时,使得计算机设备执行上述第一方面的数据处理方法。
第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面所述的数据处理方法。
本申请实施例中,数据交易***提供数据交易平台,并且可以按需为数据交易平台中的各项业务制定相适配的各种业务规则,当采集到业务数据时,可通过适配的业务规则对业务数据进行全局有效地审核管理,这样能够实现对数据交易平台中各业务全流程的有效管理,提升业务安全性及管理力度;另外,通过审核管理的业务数据可以按照数据交易***中的标准数据规范转换为标准的数据元,并加入至数据交易***的数据图谱,这样能够实现对业务数据的标准化、统一化的管理,从而实现了对业务数据从数据采集直至数据交易整个生命周期的监控管理。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种区块链网络的结构示意图;
图2是本申请实施例提供的一种区块结构的示意图;
图3是本申请实施例提供的一种数据交易***的架构示意图;
图4a是本申请实施例提供的一种会员认证的流程示意图;
图4b是本申请实施例提供的一种数据发布的流程示意图;
图4c是本申请实施例提供的一种数据定制的流程示意图;
图4d是本申请实施例提供的一种数据交易商城模块的用户界面示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图;
图6是本申请实施例提供的一种数据处理平台的架构示意图;
图7是本申请实施例提供的一种数据交易***的级联式架构示意图;
图8是本申请实施例提供的一种数据交易***的分布式架构示意图;
图9是本申请实施例提供的一种服务治理的架构示意图;
图10是本申请实施例提供的一种分布式服务组件的结构示意图;
图11是本申请实施例提供的一种数据交易***的网络部署图;
图12是本申请实施例提供的一种负载均衡***的架构示意图;
图13是本申请实施例提供的一种数据库读写分离的架构示意图;
图14是本申请实施例提供的一种数据处理设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面对本申请实施例涉及的技术术语进行介绍:
一、区块链:
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
由于区块链中涉及到大量的数据计算以及数据存储服务,大量的数据计算以及数据存储服务需要花费大量的计算机运营成本,因此本申请所涉及到交易数据均可以由云技术中的云存储技术进行实现。即,将区块链通过云存储技术存储在“云”上,当需要将交易数据存储至区块链时,可以通过云存储技术将这些数据上传到“云”上的区块链中,且当需要读取这些数据时,也可以随时从“云”上的区块链中读取数据,可以降低对终端设备的存储要求,扩大区块链的应用范围。
请参见图1,图1示出了本申请一个示例性实施例提供的一种区块链网络的结构示意图,区块链网络100(或者称为分布式***100)由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成,节点之间形成组成的点对点(Peer To Peer,P2P)网络,P2P协议是一个运行在传输控制协议(Transmission Control Protocol,TCP)协议之上的应用层协议。在分布式***中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作***层和应用层。
参见图1示出的区块链网络中各节点的功能,涉及的功能可以包括:
(1)路由,节点具有的基本功能,用于支持节点之间的通信。
(2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链网络中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括:
①钱包,用于提供进行电子货币的交易的功能,包括发起交易(即将当前交易的交易记录发送给区块链网络中的其他节点),其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币;
②共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链网络中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
③智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易;即智能合约是运行在区块链上的一段可执行程序,在区块链上进行交易时,触发其自动执行。例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
④区块链(Blockchain),包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链网络中节点提交的记录数据。
区块链本质上是一个去中心化的数据库,同时作为比特币的底层技术,是一串使用密码学相关联产生的数据块,各个数据块之间通过随机散列算法(也称哈希算法)实现链接,后一个区块包含前一个区块的哈希值。区块链技术在数字资产,智能合约,物流追踪,产品保护等场景有着广泛应用。
请参见图2,图2是本申请一个示例性实施例提供的一种区块结构的示意图,如图2所示的区块结构(Block Structure),每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
二、数据交易***:
数据交易***:用于提供数据交易平台的***,旨在促进数据流通、规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益,并向全社会提供完善的数据交易、结算、交付和安全保障等服务;同时满足部分数据处理功能。数据交易***组成架构可包括数据交易商城模块、运营管理模块、数据处理模块、数据图谱模块、清结算模块等等,还可包含支付接口,例如各银行渠道接口、第三方支付接口等等。其中:
数据图谱:按照国家、行业和地方标准,梳理数据资源目录,形成交易中心数据图谱,实现数据的规范编辑、智能管理、关联应用和共享开放。
数据交易过程:包括交易双方身份认证、供求信息发布、供求信息审核、供求信息挂牌、交易撮合、保证金支付、佣金计算、数据托管、交易审核、退货退款、交易评价等功能。
数据处理:可包括但不限于数据脱敏、清洗,去除/补全缺失数据、去除/修改数据格式/内容错误/逻辑错误的数据等处理,数据对数据进行重新审查和校验,删除重复信息、纠正错误数据。
数据的审核管理:包括不同渠道的数据加载、抽取、转换、存储等功能,实现从采集、加工、存储、安全、更新、销毁等整个数据生命周期的管理。
交易清结算:数据交易***运营单位与银行采用银企直联的合作方式,清算结算平台直接对接现有的银行渠道,或根据业务发展可开通第三方支付如微信等渠道,实现多渠道支付。支持实现数据交易资金的支付、对账、清分、结算等功能。
交易运营报表:包括可视化分析及BI报表输出功能。报表的服务对象包括数据交易***运营管理人员以及外部客户。一是通过可视化图表帮助运营管理人员了解交易中心整体运营情况,二是根据外部客户(企业或政府)需求及数据源情况,开发固化需求量大的报表,帮助企业做出明智的业务经营决策,提高政府的决策效率和决策科学性。
本申请实施例提供一种数据交易***,该数据交易***提供数据交易平台,并且可以按需为数据交易平台中的各项业务制定相适配的各种业务规则,当采集到业务数据时,可通过适配的业务规则对业务数据进行全局有效地审核管理,这样能够实现对数据交易平台中各业务全流程的有效管理,提升业务安全性及管理力度;另外,通过审核管理的业务数据可以按照数据交易***中的标准数据规范转换为标准的数据元,并加入至数据交易***的数据图谱,这样能够实现对业务数据的标准化、统一化的管理,从而实现了对业务数据从数据采集直至数据交易整个生命周期的监控管理。
在一种实现中,本申请实施例的数据交易***可以与区块链技术相结合,例如可以将业务数据、业务数据对应的数据元、以及数据交易***的数据图谱等上传至区块链中进行保存,可以保证区块链上的数据不易被篡改。再如:可以将数据交易***部署在区块链的节点,这样使得数据交易***包括的各个模块(包括但不限于:数据交易商城模块,运营管理模块,数据图谱模块,数据处理模块以及清结算模块)对数据交易平台上的业务数据的全管理流程均可以在区块链上执行,这样既可以保证管理流程的公平公正化,同时可以使得管理流程具备可追溯性,提升管理流程的安全性。
下面将结合附图,对本申请实施例提出的数据交易***以及基于该数据交易***实现的数据处理方法进行详细介绍。
本申请实施例提供一种数据交易***,数据交易***组成包括数据交易商城模块、运营管理模块、数据处理模块、数据图谱模块、清结算模块、银行渠道接口。数据交易***为数据供需双方提供数据交易平台,发布数据产品、数据专业人才等方面的供求信息,数据交易平台为各方提供身份认证、交易撮合、交易结算与交割、数据托管、安全保障、金融服务等综合服务,促进数据资产流通,建立健全数据资产交易机制和定价机制,规范交易行为。
进一步地,基于数据交易***建立数据交易平台,将整合数据生态圈的硬件厂商、软件厂商、各应用服务商、数据源采集服务商等,为数据创新创业提供平台、技术、数据(包括互联网数据、政府共享数据等)、人才等方面的信息资源,推动数据在各行各业的创新应用,促进数据产业快速、健康发展,实现数据产业协作共赢。基于数据存储、数据加工、数据挖掘和数据分析等功能搭建数据交易支撑平台,围绕面向政府和企业提供定制化的数据交易服务、API(Application Programming Interface,应用程序接口)服务等需求,为广大的数据交易服务开发商提供全方位的应用支撑服务。例如在数据采集、清洗、处理基础之上,为开发者提供具体应用场景的数据建模、挖掘、分析和展现等数据快速应用支撑服务。围绕数据交易为政府部门和企事业单位提供从数据采集、加工、存储、分析、共享、开放、安全、归档、销毁等整个数据生命周期的资产化管理,实现数据资产管理及增值。
请参见图3,图3是本申请实施例提供的一种数据交易***的***架构图。该数据交易***可以用于实现数据交易的基本功能包括数据供需方的身份认证、供求数据发布及审核、数据交易撮合、数据购买、退货退款、交易评价、在线咨询、佣金计算、在线支付等功能,同时提供资金清结算能力。如图3所示,该数据交易***可以包括数据交易子***、清结算模块以及银行渠道接口。接下来对数据交易***中的每一个子模块逐一进行介绍:
(1)数据交易子***
数据交易子***具体可以包括数据交易商城模块、运营管理模块、数据处理模块和数据图谱模块。
①数据交易商城模块为数据供需方提供数据发布、数据定制、数据导航、搜索引擎、数据营销、智能推荐等功能。进一步地,数据交易商城模块具体可以包括数据资讯、会员认证、用户中心、数据发布、数据定制、搜索引擎、数据大厅、数据营销、智能推荐等功能。接下来,对数据交易商城模块所提供的每个功能逐一进行介绍:
1.1数据资讯
数据交易商城中心首页建设数据资讯功能,包括XX省数据交易平台内部公告、XX省数据交易平台的新闻、数据行业资讯等。可以在后台对数据资讯进行管理,例如数据资讯的发布、修改、审核、删除等。
1.2会员认证
会员是指提前在数据交易平台中注册以及认证通过的用户。本申请中提供的数据交易***暂不对个人开放,仅对企业开放,数据供需双方在数据交易前需在平台注册,可通过邮箱、手机等方式注册(忘记密码后可通过邮箱或手机找回),注册成功后,登录平台后需要补充企业信息包括营业执照、法人、对公账户等信息,数据交易平台审核通过后方可使用数据交易平台。应使用电子证照***,建立会员电子证照数据库。请参见图4a,图4a是本申请实施例提供的一种会员认证的流程示意图。如图4a所示,针对某某企业,若想在数据交易商城模块中发布数据,则需要首先进行会员的注册以及认证,认证的流程如图4a所示,包括注册->登录->补充企业信息->平台审核->认证成功。
1.3用户中心
会员认证成功登录***后,可在用户中心模块查看、修改相关信息,包括企业信息、子用户信息(企业用户管理员可增加、查询、修改、注销子用户)、修改登录密码等功能。其中,对于一个企业来说,企业用户管理员可以在该企业的用户中心查看企业员工的***息以及设置员工权限等。
1.4数据发布
数据供应方可在数据交易平台上发布数据,数据可为API接口、也可以为文档、视频、音频、图片等其他格式数据。数据供应方按照平台模块写明发布数据的详情如数据类型、数据价格、数据详情、数据案例、代码示例等内容,同时需要勾选数据交易平台数据发布的相关协议,以上内容填写完毕后提交上架供平台审核,通过审核的数据可在“我的数据”输入发布时间、数据类型等查询条件查看。同时,数据供应方可在“我的数据”中查看数据的交易记录和交易量。
请参见图4b,图4b是本申请实施例提供的一种数据发布的流程示意图。如图4b所示,数据供应方在数据交易平台中发布数据的流程可以包括:设置发布数据->数据上架->平台审核->发布成功。
如本申请实施例提供的数据供应方在数据交易平台上发布的数据,可以保存在区块链上。在一种可能的实现方式中,数据供应方在数据交易平台上发布数据之后,可以对发布数据进行上链处理。上链处理的流程具体可以包括:数据供应方将发布数据发送给区块链网络中的各个区块链节点设备,各个区块链节点设备接收到数据供应方上传的发布数据之后,对发布数据进行区块链共识,若区块链共识通过,则将发布数据发布并存储至区块链网络中。通过本方案,可以保证数据供应方发布的数据不易被篡改,保证数据的可信度。
1.5数据定制
当用户在数据交易平台未找到需要的数据,可在“数据定制”中发布自己的数据需求,填写数据基本信息、数据表述、数据类型、联系方式等供数据交易平台审核,审核通过的数据会显示在“我的定制”列表中,当数据交易平台有相关数据时,平台会向用户推荐。同时,用户可在“我的定制”中查看、修改自己发布的所有数据需求。
请参见图4c,图4c是本申请实施例提供的一种数据定制的流程示意图。如图4c所示,在“数据定制”中发布自己的数据需求的流程可以包括:设置需求数据->提交需求->平台审核->发布成功。
如本申请实施例提供的用户在数据交易平台上定制的数据,可以保存在区块链上。在一种可能的实现方式中,用户在数据交易平台上定制数据之后,可以对定制数据进行上链处理。上链处理的流程具体可以包括:用户将定制数据发送给区块链网络中的各个区块链节点设备,各个区块链节点设备接收到用户上传的定制数据之后,对定制数据进行区块链共识,若区块链共识通过,则将定制数据发布并存储至区块链网络中。通过本方案,可以保证用户定制的数据不易被篡改,保证数据的可信度。
1.6搜索引擎
数据交易平台支持精确到数据内容的搜索服务,即提供精确到每一个字符的搜索服务,从而提升数据交易平台搜索体验。根据会员的交易记录进行挖掘分析,并自动推荐合适的数据给会员。搜索引擎通过搜索节点的水平扩展,节点的选举机制,搜索数据分片副本保证精准搜索的可靠性及稳定性。
1.7数据大厅
数据大厅是指数据交易商城模块中提供的数据分类模块。可以供用户阅览和选择,当数据需求方发现符合自己需求的数据可以点击查看数据详情,数据详情页面包括数据的详细信息、案例、代码示例(API数据)/数据样本(文档、视频、音频、图片等其他数据)、在线API测试、支付须知等。用户购买后,支持接入各类平台,可按照实时或者按次、按天、按月、按年等多方式计费(数据实时价格由数据交易平台撮合自动生成)。
另外,用户对数据交易平台数据的困惑,可在线咨询平台客服人员。用户购买数据后,可在数据购买页面的下方留言评价。
1.8数据营销
数据交易平台根据数据质量、数据销量等综合因素在数据交易商城模块的页面前端推荐优质、热门数据,同时页面滚动最近接入平台的数据,提高优质数据的曝光量,从而增加优质数据的购买量,实现数据快速流通和变现,体现数据交易平台的价值。
1.9智能推荐
数据交易平台可根据会员的交易记录、会员的数据标签及会员的收藏数据等多维度进行挖掘分析,智能推荐合适的数据给会员。
在一种可能的实现方式中,请参见图4d,图4d是本申请实施例提供的一种数据交易商城模块的用户界面示意图。如图4d所示,在该用户界面中展示的为XX省数据资讯中心的用户首页,在该用户界面中,可以包括“会员中心”选项(10)、“数据发布”选项(20)、“数据定制”选项(30)、“搜索引擎”选项(40)。其中,每个选项对应一个具体的功能,例如,用户可以点击数据发布选项,即可在该数据交易商城模块进行数据发布,其中,数据发布的具体流程详细可参见前述1.4中对数据发布的详细描述,本申请在此不再赘述。又如,用户还可以点击数据定制选项,即可在该数据交易商城模块根据自身需求进行数据定制,其中,数据定制的具体流程详细可参见前述1.5中对数据定制的详细描述,本申请在此同样不再赘述。在该用户界面中,还包括一些具体的热销项目以及项目内容,并呈现于该用户界面的热销区域中,以及显示的每个具体模块其它用户的浏览量或者点击量等等。另外,在该用户界面中,还可以包括“消息”选项(50)、“我的”选项(60)、“分类”选项(70)、“交易中心”选项(80),同理,每个选项均可对应一个具体功能。
②运营管理模块用于提供审核管理、评价管理、订单管理、风险控制及报表管理等功能。后台运营管理***提供给产权交易集团运营人员使用,主要提供交易规则、数据、审核、订单、报表等全方位运营支撑管理功能。接下来,对大运营管理模块所提供的每个功能逐一进行介绍:
2.1业务管理
业务管理作为数据交易子***的核心模块,负责制定交易模式、定价模式、成交规则、结算与交收规则等,同时交易中心模块需要明确数据交易规则如数据质量体系、数据交易标准体系、数据交易安全体系等,方可保障数据交易子***规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益。
2.2数据管理
数据管理模块一方面管理数据标签库,即支持从多个维度为交易数据创建标签,同时对标签进行分级、分类形成标签库,然后对标签库进行文档化形成XML格式的元数据规范。随着数据交易业务的发展,标签库和元数据规范将不断得到完善调整。基于元数据规范,数据交易子***将为供需双方的数据发布、需求发布、数据检索提供更多的便利。
另一方面管理数据供需方发布的数据模版,包括数据类型、数据详情、数据案例、接口详情、样本信息、数据价格等。
2.3营销管理
主要对数据交易平台进行页面配置如banner(横幅)、icon(图标)、tab(标签)等,同时对数据进行营销配置及推荐包括导入平台的最新数据、热门数据、推荐数据等,也可以考虑添加如普通电商平台一样的促销活动、满额减、优惠券等广告管理。
2.4风控管理
风控管理一方面严格监管数据交易,避免不正当数据交易风险带来的商业危机,如对成交的数据跟踪管理、交易会员资格的严格把关、数据质量及安全的监管等,将风险监管落实到数据交易平台的管理和业务流程中,保障数据交易市场环境的公开、公平、公正。
风控管理另一方面对交易异常风险、***风险、账户资金风险等进行管控,保障整个平台平稳运行。
2.5会员管理
主要管理数据交易平台会员相关信息如会员等级、会员权益、积分等。
2.6订单管理
管理订单类型、订单状态,记录订单实时数据如订单购买用户、支付信息、优惠信息等,同时管理数据交易成交量、数据调用次数、数据调用状态等信息。
2.7报表管理
提供交易、订单、资金、账户、用户等的统计分析报表,为数据交易子***的后期运营推广提供便利。
2.8审核管理
数据交易子***建立一套严格的数据、供需会员资格的审核机制,保障数据在合法、公平、公正的健全环境下交易。注:应考虑建立基于工作流的审核审批管理运行机制。
2.9评价管理
管理数据评价和用户反馈,涉及到一些敏感的词或者图片的筛选及回复内容的管理。
2.10权限管理
数据交易平台用户权限的控制及后端运营管理员操作权限的管理。
2.11日志管理
提供数据交易平台登录日志、操作日志、服务器日志、日志备份及统计分析功能等。
2.12***管理
提供人员组织管理、角色管理、菜单管理等功能。
③数据处理模块用于提供数据ETL处理、数据脱敏、数据清洗、可视化图表处理等功能。全国数据交易***尚处于初期,目前市场上仍存在黑市倒卖个人隐私底层数据,因此本申请提供的数据交易平台绝不允许交易触及个人隐私或国家安全的数据,可以应用于城市级数据交易平台中。数据作为一种资产,大部分需要经过脱敏、清洗等之后方可进行交易,保障政府、金融机构及其他各行业机构的数据在健康安全的交易环境中流通。
3.1ETL处理
将数据从来源端抽取(extract)、转换(transform)并加载(load)至目的端。
3.2数据清洗
为了保障数据的准确性、一致性和完整性,需要对底层数据进行清洗,即对数据进行重新审查和校验,如补齐残缺数据、删除重复数据、纠正错误数据。同时,如若数据有多个来源,还需进行关联性验证。
3.3数据脱敏
数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反数据交易平台交易规则的条件下,需要对真实数据进行改造并提供测试使用,如身份证号、手机号、***、客户号等个人信息,以及涉及资金额度等,都需要进行数据脱敏。
④数据图谱模块用于提供数据元标准化管理、信息资源目录管理以及信息资源关联分析功能。
数据图谱是指基于数据元和元数据的标准化编码基础上可实现数据自由编辑、抽取、复制和关联应用的核心技术体系。它是实现数据跨***共享交换、创新应用的底层逻辑和关键规则。
数据图谱是按照国家、行业和地方标准,通过数据元、元数据的标准化和数据模板化,实现数据的规范编辑、智能管理、关联应用和共享开放,以提升各行业领域的数据资源活化和管理能级;是实现数据跨***共享交换、创新应用的底层逻辑和关键规则体系,是解决数据混杂、提升数据质量、促进数据创新应用的前提,也是集成信息资源目录体系、交换体系和开放体系三合一的管理平台,为优化数据体系、探索数据关系、驱动数据服务奠定基础。
4.1数据元标准化管理
围绕信息资源采集需求,筛选出各行业领域共性、关键的主数据,建立涉及核心数据的字段池,对字段的命名、格式、长度等属性进行规范,依托数据元池进行信息资源信息项的编目,严格控制新增字段,实现共性数据元的统一标准规范。
4.2信息资源目录管理
提供元数据管理,实现信息资源、数据元目录的自定义配置;提供信息资源注册、发布、审核、注销等功能;提供目录浏览、检索服务,实现关键词、分类、信息资源代码等检索;提供资源服务,实现共享、需求申请;提供资源统计服务,按照不同维度实现信息资源、数据元的统计分析。
4.3信息资源关联分析
提供数据元的频率分析、子集分析、关联分析等功能,统计某个数据元的使用频率,分析数据元之间同类项之间的关系,同时对信息资源和数据元之间的关联进行分析。
(2)清结算模块
清结算模块可以包括清结算门户、管理平台以及支付平台。集团与银行采用银企直联的合作方式,清算结算平台直接对接现有的13家银行渠道(后期根据业务发展可开通第三方支付如微信、支付宝等渠道,实现多渠道支付)实现数据交易资金的支付、对账、清分、结算等功能。清结算模块具体可以包括资金清结算门户、管理平台和支付平台。
①清结算门户
清结算门户主要针对为数据交易会员即数据供需双方提供Internet访问渠道完成各类业务和支付需求,包括账户管理(绑卡、解绑、修改支付密码等)、结算管理(入金即充值、出金即提现、***确认等)、结算查询(订单查询、***查询、入金出金查询、明细查询等)、电子回单、资金管理及***管理(帐号管理、角色管理、权限管理等)等功能。
②管理平台
管理平台主要是为数据交易平台操作员以及业务主管提供一个统一的管理功能,包括业务查询、统计、计费、会员服务等服务。
③支付平台
支付平台主要是连接各外部支付渠道为数据交易***提供各类支付服务,主要包括账户出入金、资金记账、账户清算、结算、对账等服务。
(3)银行渠道接口
①交易***与第三方业务数据接口
数据交易***需要对接数据供应方的数据接口,并为数据需求方提供数据接口服务,保障数据能够顺畅的流通使用。
②交易***与清结算模块接口
交易***将订单信息、***信息等传递给清结算模块,清结算平台根据订单***等信息为数据供需方做资金划拨;清结算模块返回支付信息给交易***,交易***根据支付成功是否来确定是否给数据需方提供数据。
③清结算模块与银行渠道接口
根据银企直联的对接方式,由集团和银行双方协商建立一套银企接口以完成数据交易所需要的业务。清结算平台调用集团与13家银行谈好的接口,包括账户绑卡、解绑、付款、扣款、对账、调账、查询等接口。
本申请实施例中,数据交易***为供需双方提供数据交易平台,发布数据产品、数据专业人才等方面的供求信息,数据交易平台为各方提供身份认证、交易撮合、交易结算与交割、数据托管、安全保障、金融服务等综合服务,促进数据资产流通,建立健全数据资产交易机制和定价机制,规范交易行为。进一步地,基于数据交易***建立数据交易平台,将整合数据生态圈的硬件厂商、软件厂商、各应用服务商、数据源采集服务商等,为数据创新创业提供平台、技术、数据(包括互联网数据、政府共享数据等)、人才等方面的信息资源,推动数据在各行各业的创新应用,促进数据产业快速、健康发展,实现数据产业协作共赢。基于数据存储、数据加工、数据挖掘和数据分析等功能搭建数据交易支撑平台,围绕面向政府和企业提供定制化的数据交易服务、API服务等需求,为广大的数据交易服务开发商提供全方位的应用支撑服务。例如在数据采集、清洗、处理基础之上,为开发者提供具体应用场景的数据建模、挖掘、分析和展现等数据快速应用支撑服务。围绕数据交易为政府部门和企事业单位提供从数据采集、加工、存储、分析、共享、开放、安全、归档、销毁等整个数据生命周期的资产化管理,实现数据资产管理及增值。
基于图3实施例中提供的数据交易***,接下来对基于该数据交易***实现的数据处理方法进行详细介绍。
请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图。该数据处理方法可以应用于数据交易***,数据交易***用于提供数据交易平台。该数据处理方法可以包括以下步骤S510至步骤S540:
步骤S510:采集数据交易平台上的业务数据。
业务数据是指数据交易平台上执行的任一业务所包含的业务数据,此处,数据交易平台上执行的业务可包括但不限于:数据供求业务、对数据供求双方的身份认证业务、对供求数据的审核业务、在供求双方之间撮合数据交易的业务、数据托管业务、数据交易的评价业务、支付业务等等。在一种可能的实现方式中,采集数据交易平台上的业务数据之后,获取与业务数据相适配的业务规则之前,可以对采集到的业务数据进行预处理。其中,预处理包括以下至少一种:数据仓库技术处理、数据脱敏处理、数据清洗处理。
数据仓库技术处理可以包括ETL技术处理,ETL技术处理是指将数据从来源端抽取(extract)、转换(transform)并加载(load)至目的端。
数据脱敏处理是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护,在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反数据交易平台交易规则的条件下,需要对真实数据进行改造并提供测试使用,如身份证号、手机号、***、客户号等个人信息,以及涉及资金额度等,都需要进行数据脱敏。
数据清洗处理可以包括对数据进行重新审查和校验,如补齐残缺数据、删除重复数据、纠正错误数据。同时,如若数据有多个来源,还需进行关联性验证。
本申请中,数据交易***中的数据处理模块需要对数据交易平台上采集的业务数据进行清洗、脱敏、分析等处理。在一种可能的方式中,该数据处理模块可提供数据处理平台,业务数据的清洗、脱敏、分析等处理在数据处理平台执行。请参见图6,图6是本申请实施例提供的一种数据处理平台的架构示意图。如图6所示,该数据处理平台架构图可以包括应用层、查询层、存储层、计算层、同步层以及源数据层。
数据处理平台采用成熟的Hadoop架构,提供多种计算框架如离线计算、在线计算、流式计算、内存计算等,可处理海量数据,同时具备更快速的数据集成开发能力、海量任务的自动化调度/监控与管理能力,支持企业级海量数据应用。
下面分别对应用层、查询层、存储层、计算层、同步层以及源数据层进行相关介绍:
(1)应用层:包括数据产品、报表以及开放接口等应用产品,可以实现能直接与用户之间进行交互的产品体现。
(2)大数据处理平台
①查询层:用于提供数据缓存或者统一查询功能。
②存储层:包括关系数据库,例如Oracle主库或分布式MySQL或者SQLServer等,以及非关系型数据库,例如MongoDB、Redis、和KV数据库等。其中,关系数据库是一种类型的数据库,其存储并提供访问被彼此相关的数据点。关系数据库基于关系模型,这是一种在表中表示数据的直观,直接的方法。在关系数据库中,表中的每一行都是一条记录,该记录具有唯一的ID(称为key)。该表的列保存数据的属性,每个记录通常为每个属性都有一个值,这使得在数据点之间建立关系变得容易。非关系型数据库可以包括:文档数据库,键值数据库,宽列存储和图形数据库等。数据访问控制代理网关根据数据操作请求中的明文数据,获取数据操作请求对应的数据格式,并根据数据格式确定数据操作请求对的目标解析器,然后通过目标解析器对数据操作请求中的明文数据进行解析,以获取待操作数据的指示消息,指示消息可以为数据的类型和元数据结构。指示消息具体可以为:需要访问哪些表,以及表中的哪些字段等等。
③计算层:包括分布式资源管理框架或者计算框架,例如Hadoop2.x框架。
④同步层:包括结构化数据同步以及非结构化数据同步。
⑤源数据层:包括数据库、HTTP协议、Log文件以及消息等。
在本申请实施例中,通过对采集到的业务数据进行预处理,可以保障业务数据的准确性、一致性和完整性。
步骤S520:获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理。
不同的业务数据对应不同的业务规则,因此在获取到业务数据之后,数据交易***中的运营管理模块可以对业务数据进行分析,从而获取与业务数据相识适配的业务规则,然后采用相适配的业务规则对业务数据进行审核管理。
举例来说,业务数据是从某电商平台采集到的,因此与该业务数据相适配的业务规则可以为电商规范准则,然后数据交易***中的运营管理模块采用相关的电商规范准则对该业务数据进行审核管理。又如,业务数据是从某省教育局官网采集到的,因此与该业务数据相适配的业务规则可以为教育规范准则,然后数据交易***中的运营管理模块采用相关的教育规范准则对该业务数据进行审核管理。
进一步地,若业务数据携带有数据标签,则可以根据数据标签与之匹配相应的业务规则。若业务数据为携带有相应的数据标签,则可以根据业务数据的来源或者对业务数据进行特征工程等数据处理的方式,进一步分析该业务数据所属的数据标签,然后,根据分析得到的业务数据的数据标签获取与之相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理。
在一种可能的实现方式中,审核管理的方式至少可以包括以下一种或多种:业务管理,数据管理,营销管理,风控管理,会员管理,订单管理,报表管理,审核管理,评价管理,权限管理,日志管理,***管理等等。接下来对每种审核管理方式进行逐一介绍:
业务管理作为数据交易子***的核心模块,负责制定交易模式、定价模式、成交规则、结算与交收规则等,同时交易中心模块需要明确数据交易规则如数据质量体系、数据交易标准体系、数据交易安全体系等,方可保障数据交易子***规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益。
数据管理一方面管理数据标签库,即支持从多个维度为交易数据创建标签,同时对标签进行分级、分类形成标签库,然后对标签库进行文档化形成XML格式的元数据规范。随着数据交易业务的发展,标签库和元数据规范将不断得到完善调整。基于元数据规范,数据交易子***将为供需双方的数据发布、需求发布、数据检索提供更多的便利。另一方面管理数据供需方发布的数据模版,包括数据类型、数据详情、数据案例、接口详情、样本信息、数据价格等。
营销管理主要对数据交易平台进行页面配置如banner(横幅)、icon(图标)、tab(标签)等,同时对数据进行营销配置及推荐包括导入平台的最新数据、热门数据、推荐数据等,也可以考虑添加如普通电商平台一样的促销活动、满额减、优惠券等广告管理。
风控管理是指风险控制管理。它一方面严格监管数据交易,避免不正当数据交易风险带来的商业危机,如对成交的数据跟踪管理、交易会员资格的严格把关、数据质量及安全的监管等,将风险监管落实到数据交易平台的管理和业务流程中,保障数据交易市场环境的公开、公平、公正。风控管理另一方面对交易异常风险、***风险、账户资金风险等进行管控,保障整个平台平稳运行。
会员管理主要管理数据交易平台会员相关信息如会员等级、会员权益、积分等。
订单管理主要管理订单类型、订单状态,记录订单实时数据如订单购买用户、支付信息、优惠信息等,同时管理数据交易成交量、数据调用次数、数据调用状态等信息。
报表管理提供交易、订单、资金、账户、用户等的统计分析报表,为数据交易子***的后期运营推广提供便利。
审核管理建立基于工作流的审核审批管理运行机制。用于为数据交易子***建立一套严格的数据、供需会员资格的审核机制,保障数据在合法、公平、公正的健全环境下交易。
评价管理包括管理数据评价和用户反馈,涉及到一些敏感的词或者图片的筛选及回复内容的管理。
权限管理是指数据交易平台用户权限的控制及后端运营管理员操作权限的管理。
日志管理是指提供数据交易平台登录日志、操作日志、服务器日志、日志备份及统计分析功能等。
***管理用于提供人员组织管理、角色管理、菜单管理等功能。
通过本方案,采用相适配的业务规则对业务数据进行审核管理,可以为数据交易平台提供交易规则、数据、审核、订单、报表等全方位运营支撑管理功能,从而维护并管理数据交易平台。
步骤S530:按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元。
数据交易***的标准数据规范是指围绕信息资源采集需求,筛选出各行业领域共性、关键的主数据,建立涉及核心数据的字段池,对字段的命名、格式、长度等属性进行规范,依托数据元池进行信息资源信息项的编目,严格控制新增字段,实现共性数据元的统一标准规范。
在一种可能的实现方式中,按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,可以得到业务数据对应的数据元。其中,数据元是指用一组属性描述定义、标识、表示和允许值的数据单元。数据元又称数据类型,通过定义、标识、表示以及允许值等一系列属性描述的数据单元。在特定的语义环境中被认为是不可再分的最小数据单元。另外,数据元一般由三部分组成:对象、特性、表示。
另外,数据元的作用至少可以包括以下几点:
1、数据元本身也是数据单元,即也是数据。
2、数据元是一个用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。
3、用这一套方法对行业数据进行统一的名、型、值规范及分类。
4、规划好行业数据元之后,可以为行业构建出统一、集成的、稳定的数据模型奠定基础,同时它也为数据交换奠定基础。
步骤S540:根据业务数据对应的数据元更新数据交易***的数据图谱。
数据图谱是指基于数据元和元数据的标准化编码基础上可实现数据自由编辑、抽取、复制和关联应用的核心技术体系。它是按照国家、行业和地方标准,通过数据元、元数据的标准化和数据模板化,实现数据的规范编辑、智能管理、关联应用和共享开放,以提升各行业领域的数据资源活化和管理能级。标注数据规范是实现数据跨***共享交换、创新应用的底层逻辑和关键规则体系,是解决数据混杂、提升数据质量、促进数据创新应用的前提,也是集成信息资源目录体系、交换体系和开放体系三合一的管理平台,为优化数据体系、探索数据关系、驱动数据服务奠定基础。
在一种可能的实现方式中,在根据业务数据对应的数据元更新数据交易***的数据图谱之前,需要构建数据交易***的数据图谱,具体可以包括:首先,获取数据交易***的数据库,其中,数据库中存储有多个数据元,每个数据元对应一个业务数据,且每个数据元包含一个或多个标签;然后,按照每个数据元的标签对数据库进行梳理,构建数据交易***的数据图谱。其中,标签包括以下任一种:用于表示数据元所属业务类型的标签、用于表示数据元对应的业务数据的来源的标签、用于表示数据元的开放权限的标签。
举例来说,数据交易***的数据库可以包括关系数据库或者非关系数据库。其中,关系数据库是一种类型的数据库,其存储并提供访问被彼此相关的数据点。关系数据库基于关系模型,这是一种在表中表示数据的直观,直接的方法。在关系数据库中,表中的每一行都是一条记录,该记录具有唯一的ID(称为key)。该表的列保存数据的属性,每个记录通常为每个属性都有一个值,这使得在数据点之间建立关系变得容易。非关系型数据库可以包括:文档数据库,键值数据库,宽列存储和图形数据库等。数据访问控制代理网关根据数据操作请求中的明文数据,获取数据操作请求对应的数据格式,并根据数据格式确定数据操作请求对的目标解析器,然后通过目标解析器对数据操作请求中的明文数据进行解析,以获取待操作数据的指示消息,指示消息可以为数据的类型和元数据结构。指示消息具体可以为:需要访问哪些表,以及表中的哪些字段等等。例如,关系数据库可以包括Oracle主库或分布式MySQL或者SQLServer等,非关系数据库可以包括MongoDB、Redis、和KV数据库等。
数据库中存储有多个数据元,每个数据元包含一个或多个标签,每个数据元对应一个业务数据。标签可以是按照数据元所属业务类型进行标注的,例如数据元所属的业务类型为销售业务,则标签可以为销售,数据元所属的业务类型为培训业务,则标签可以为教育。当然,业务类型的划分可以根据实际业务场景的不同进行更细致的划分,例如针对销售业务,可以进一步划分为餐饮、服装、家电等等,进一步地,划分为更精细的业务类型,其对应的标签也可以相应更精细的与之对应,例如业务类型为销售业务下的服装销售业务,则标签可以为服装销售。
另外,标签也可以是按照数据元对应的业务数据的来源进行标注的。若数据元对应的业务数据的来源为电商数据交易平台,则标签可以为电商,数据元对应的业务数据的来源为政府机关,则标签可以为政府。同理,针对数据元对应的业务数据的来源,同样可以根据实际情况进行更精细的划分,例如来源为政府机关的情况下,还可以根据地方的不同,进一步划分省份、城市。例如,广东省广州市的政府机关,当然,还可以进一步区分是政府机关的哪个政府机构、部门等等。
另外,标签也可以是按照数据元的开放权限进行标注的。由于数据交易***的数据图谱中存储有大量的数据,并不是所有人都可以查看所有的数据,因此,可以针对某些特定的数据的开放权限设置相应的标签。例如,XXX税务机关的所有相关数据只对当地税务部门相关机关单位开放,因此设置的标签用于指示只能拥有查看权限的相关机关单位可以查看。
在一种可能的实现方式中,根据业务数据对应的数据元更新数据交易***的数据图谱具体可以包括:根据业务数据的数据元的标签,将该业务数据的数据元添加至数据交易***的数据图谱中;或者,根据业务数据的数据元的标签,将从数据交易***的数据图谱中获取与数据元的标签匹配的业务数据等等。
在一种可能的实现方式中,当存在对数据图谱中的任一数据元的交易需求时,将所需数据元转换为对应的业务数据进行输出;当存在对数据图谱中的任一数据元的调用请求时,基于数据图谱对所请求的数据元进行统计分析,生成关于所请求的数据元的统计报表并输出。
举例来说,若用户需要对数据图谱中某一数据元进行交易需求时,则可以根据所需求的数据元的标签,从数据图谱中获取到用户所需要的目标数据元,并且根据目标数据元对应的数据交易***的标准数据规范,将目标数据元转化为对应的目标业务数据,最后将目标业务数据输出给用户。
又如,用户需要查找或者获取数据图谱中的某一数据元时,则可以根据该数据图谱对该数据元的调用次数进行统计分析(其中,该数据图谱中记录有每个数据元被调用的次数),例如该数据元在目标时间段内被用户调用过多少次,或者该数据元在目标时间段内被用户更新过多少次等等。最后,根据对该数据元的统计分析,得到统计结果,并将统计结果以统计报表的形式输出。后续,用户可以直接基于统计报表查看与该数据元相关的调用请求服务。
在一种可能的实现方式中,业务数据包含待处理的支付数据。根据支付数据确定目标支付***,其中,数据交易***对接至少一个支付***,每个支付***向数据交易***提供支付接口;然后,调用目标支付***的支付接口将支付数据发送至目标支付***进行清结算处理,并接收目标支付***返回的处理结果。
举例来说,若业务数据是指用户A与平台B之间的支付数据,则根据支付数据可以确定用户A需要向平台B支付的具体金额,并且支付渠道可以为与平台B合作或者对接的银行,对接的银行包括一个或者多个,然后用户A可以从与平台B对接的一个或者多个银行中进行选择,假设为银行A,然后用户A通过银行A向平台A进行支付,若支付成功,银行A返回支付成功的信息提示给用户A和平台B。后续,还可以根据用户A和平台B之间的交易,提供相关的交易订单或者交易凭证等。当然,除了采用与平台对接的银行之外,数据交易***还可以自定义设置可供用户选择的支付渠道,例如支付宝等等。
本申请实施例中,数据交易***提供数据交易平台,并且可以按需为数据交易平台中的各项业务制定相适配的各种业务规则,当采集到业务数据时,可通过适配的业务规则对业务数据进行全局有效地审核管理,这样能够实现对数据交易平台中各业务全流程的有效管理,提升业务安全性及管理力度;另外,通过审核管理的业务数据可以按照数据交易***中的标准数据规范转换为标准的数据元,并加入至数据交易***的数据图谱,这样能够实现对业务数据的标准化、统一化的管理,从而实现了对业务数据从数据采集直至数据交易整个生命周期的监控管理。
为实现图3实施例中提供的数据交易***,数据交易***整体框架上采用图7所示的级联式架构,级联式架构具体可以是三层技术结构。外***也可以通过超文本传输协议(Hypertext Transfer Protocol,HTTP)协议JSON(JavaScript Object Notation,JS对象简谱)的数据方式对本申请提供的数据交易***的接口功能进行调用。请参见图7,图7是本申请实施例提供的一种数据交易***的级联式架构示意图。如图7所示,三层技术架构图中具体可以包括表现层、业务服务层和数据服务层。并且,数据交易商城模块设置于表现层;运营管理模块、数据处理模块及清结算模块集成于业务服务层;数据图谱模块设置于数据服务层。
在图7所示的三层技术架构图中,可以用于部署图3实施例中的数据交易***,数据交易***可以部署在城市级的数据交易平台中,将整合数据生态圈的硬件厂商、软件厂商、各应用服务商、数据源采集服务商等,为数据创新创业提供平台、技术、数据(包括互联网数据、政府共享数据等)、人才等方面的信息资源,推动数据在各行各业的创新应用,促进数据产业快速、健康发展,实现数据产业协作共赢。基于数据存储、数据加工、数据挖掘和数据分析等功能搭建数据交易支撑平台,围绕面向政府和企业提供定制化的数据交易服务、API服务等需求,为广大的数据交易服务开发商提供全方位的应用支撑服务。例如在数据采集、清洗、处理基础之上,为开发者提供具体应用场景的数据建模、挖掘、分析和展现等数据快速应用支撑服务。围绕数据交易为政府部门和企事业单位提供从数据采集、加工、存储、分析、共享、开放、安全、归档、销毁等整个数据生命周期的资产化管理,实现数据资产管理及增值。
下面分别对表现层、业务服务层和数据服务层的功能作用以及表现层、业务服务层和数据服务层之间进行数据交互的详细过程进行介绍:
(1)各层功能介绍
①表现层为第一层,包括前台商城(即数据交易商城模块)、后台管理***、移动客户端、搜索***、订单***、会员***、以及对外开放接口API服务。主要功能是实现用户交互和数据表示,为后续的处理收集数据,向第二层的业务逻辑服务层请求调用核心服务处理,并返回处理结果。
②业务服务层为第二层,包括商品服务、订单服务、支付服务、清结算服务和搜索***服务。业务服务组件通过调用多个业务逻辑构件形成,由中间件管理,实现核心业务逻辑服务并将这些服务按名字广播,管理并接受前端的服务请求,向数据服务层提交数据操作,并将处理结果返回给请求者——即公众前端或其它服务器。
其中,搜索***主要通过调用Solr服务实现搜索功能,Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。
③数据服务层为第三层,包括数据库和数据服务构件。数据库负责管理应用***的数据资源,完成数据操作,数据服务构件在完成服务的过程中通过数据库管理器存取它管理的数据。
(2)各层调用关系
①表现层实现***与外部的数据交换。对于***使用者,表现层接收使用者的数据输入,通过调用业务服务层的业务逻辑组件和业务逻辑构件实现具体的业务功能,并将处理结果返回接触接口层,利用交互接口进行表示。对于外部***,业务过程通过接触接口层的接口服务完成与外部***的数据交换。
②业务逻辑层的业务逻辑构件通过数据服务层的数据服务构件访问业务数据。业务逻辑组件通过调用业务逻辑构件完成基本业务功能,一组业务逻辑组件实现具体的业务功能。业务服务层通过向表现层提供统一的业务过程实现业务逻辑的共享。
③数据服务层的数据服务构件向业务平台提供统一、规范的数据库访问服务,屏蔽业务数据的存储、组织和访问的细节,实现业务数据的充分共享。业务服务层通过数据服务构件访问业务数据。
在本申请实施例中,采用三层技术架构部署的数据交易***可以为数据供应方和数据需求方提供数据交易平台,发布数据产品等方面的供求信息。可以促进数据要素流通、规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益为目标,打造数据业务“行业生态圈”,为数据交易各方提供信息发布、交易撮合、交易结算、交割、数据处理、数据托管、安全保障、金融服务等综合服务,为数据交易提供法律、技术、真实性认证等保障措施;以数据流通为基础,协助政府加快政务数据开放共享,实现政府数据价值释放的最大化,培育新型业态,助力经济转型,引领数据产业发展。
另外,图3实施例中提供的数据交易***,除了采用级联式架构图进行部署实现,还可以采用面向服务的(Service-Oriented Architecture,SOA)分布式架构。面向服务的架构(SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)进行拆分,并通过这些服务之间定义良好的接口和协议联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作***和编程语言。这使得构建在各种各样的***中的服务可以以一种统一和通用的方式进行交互。
请参见图8,图8是本申请实施例提供的一种数据交易***的分布式架构示意图。本申请实施例中,可以采用SOA分布式架构实现面向服务的思想,中间件使用阿里巴巴推出的Dubbo服务治理的核心框架来管理整个***的服务,并且选择zookeeper作为注册中心,架构支持虚拟化环境,可部署在云平台。***面向微服务的分布式架构设计,业务功能上可通过增加服务接口进行扩展。在图8所示的SOA分布式架构图中,具体可以包括资源层、构建层、服务层、流程层、应用层。数据交易商城模块设置于应用层;运营管理模块、数据处理模块及清结算模块均分布式设置于流程层、服务层及构件层;数据图谱模块设置于资源层。
图8所示的SOA分布式架构图可以用于部署图3实施例中的数据交易***,数据交易***可以部署在城市级的数据交易平台中,将整合数据生态圈的硬件厂商、软件厂商、各应用服务商、数据源采集服务商等,为数据创新创业提供平台、技术、数据(包括互联网数据、政府共享数据等)、人才等方面的信息资源,推动数据在各行各业的创新应用,促进数据产业快速、健康发展,实现数据产业协作共赢。基于数据存储、数据加工、数据挖掘和数据分析等功能搭建数据交易支撑平台,围绕面向政府和企业提供定制化的数据交易服务、API服务等需求,为广大的数据交易服务开发商提供全方位的应用支撑服务。例如在数据采集、清洗、处理基础之上,为开发者提供具体应用场景的数据建模、挖掘、分析和展现等数据快速应用支撑服务。围绕数据交易为政府部门和企事业单位提供从数据采集、加工、存储、分析、共享、开放、安全、归档、销毁等整个数据生命周期的资产化管理,实现数据资产管理及增值。
下面分别对资源层、构建层、服务层、流程层、应用层的功能作用以及资源层、构建层、服务层、流程层、应用层之间进行数据交互的详细过程进行介绍:
(1)资源层
对***外部的数据访问适配,并对数据进行转换及封装,实现统一的数据接口,内部也分了接入/推送及资源访问两部分。
(2)应用层
通过对***服务封装及服务共享,可以构建各种大小规模不同的应用***,如门户***、应用***、统一认证、单点登录等应用。相应于服务层实现的服务重用、服务集成,应用层采用了Portal技术实现应用的集成、界面的集成。其中,Portal技术可以方便地将员工所需要的、来源于各种渠道的信息资料集成在一个统一的桌面视窗内。
(3)服务治理
构件层、服务层以及流程层共同实现了服务治理的功能,提供完整的SOA服务治理能力,包括服务监控、资源监控、规则管理、动态调度、服务部署和日志分析等功能。从而实现对服务进行有效监控管理,提升IT部门运维效率。其中,构件层可以包括企业服务总线(Enterprise Service Bus,ESB)、业务流程管理(Business Process Management,BPM)、搜索组件以及基础构件库等等,从而为服务提供服务构件的基础设施。服务层包括基础服务组件、业务服务组件、服务装配以及协议绑定等等,从而实现统一协议和互联互通。流程层可以包括流程编排、业务规则、流程管理以及流程监控,从而实现服务编排功能。
在一种可能的实现方式中,请参见图9,图9是本申请实施例提供的一种服务治理的架构示意图。如图9所示,SOA服务治理可以包括服务定义、服务安全、服务测试、服务所有权、服务监视、消息模型、注册中心、服务迁移、服务版本以及服务部署等功能环节。接下来对每个服务治理的每个功能环节进行逐一介绍:
服务定义:用于定义服务的范围、接口和边界。
服务安全:用于对不同服务实现服务消费者授权,定义访问规则。
服务测试:服务消费者与服务提供者刻度更新后的服务从各自层面进行测试。
服务所有权:用于确定服务负责人,方便确认对该服务的维护责任。
服务监视:服务运行状态监控、告警,有助于服务调度管理。
消息模型:定义数据模型,服务提供者与服务消费者共享使用。
注册中心:存储服务状态、版本、提供者等信息,提供服务消费者查找,有利于部署分布式集群。
服务迁移:服务的版本兼容性轻易,新旧版本服务启动以及退役。
服务版本:服务的版本同时并存,多版本管理。
服务部署:管理服务计划、测试、发布、注销等整个生命周期的部署。
综上所述,各个环节之间相互配合、相互衔接,共同为数据交易***提供服务治理能力,从而实现采用SOA分布式架构部署的数据交易***的正常运转。
在本申请实施例中,采用面向服务的分布式架构部署的数据交易***可以为数据供应方和数据需求方提供数据交易平台,发布数据产品等方面的供求信息。可以促进数据要素流通、规范数据交易行为、维护数据交易市场秩序、保护数据交易各方合法权益为目标,打造数据业务“行业生态圈”,为数据交易各方提供信息发布、交易撮合、交易结算、交割、数据处理、数据托管、安全保障、金融服务等综合服务,为数据交易提供法律、技术、真实性认证等保障措施;以数据流通为基础,协助政府加快政务数据开放共享,实现政府数据价值释放的最大化,培育新型业态,助力经济转型,引领数据产业发展。
请参见图10,图10是本申请实施例提供的一种分布式服务组件的结构示意图。本申请提供的数据交易***主要使用分布式架构来满足***要求,利用dubbo来实现应用高性能的RPC服务的输出和输入功能,可以和spring框架无缝集成,松耦合,易集成、高可用。
使用注册中心,服务提供方将服务发布到注册中心,而服务消费方可以通过注册中心订阅服务,接收服务提供方服务变更通知,这种方式可以隐藏服务提供方的细节,包括服务器地址等敏感信息,而服务消费方只能通过注册中心来获取到已注册的提供方服务,而不能直接跨过注册中心与服务提供方直接连接。这种方式可以使用监控中心服务,能够对服务的调用情况进行监控分析,还能使用Dubbo服务管理中心,方便管理服务。使用注册中心的Dubbo分布式服务组件结构如下图10所示。本申请实施例所示的分布式服务组件的结构图具备以下四个特点:
(1)连通性
注册中心负责服务地址的注册与查找,相当于目录服务,服务提供者和服务消费者只在启动时与注册中心交互,注册中心不转发请求,压力较小。
监控中心负责统计各服务调用次数,调用时间等,统计先在内存汇总后每分钟一次发送到监控中心服务器,并以报表展示。服务提供者向注册中心注册其提供的服务,并汇报调用时间到监控中心,此时间不包含网络开销。服务消费者向注册中心获取服务提供者地址列表,并根据负载算法直接调用提供者,同时汇报调用时间到监控中心,此时间包含网络开销。
注册中心,服务提供者,服务消费者三者之间均为长连接,监控中心除外。注册中心通过长连接感知服务提供者的存在,服务提供者宕机,注册中心将立即推送事件通知消费者。注册中心和监控中心全部宕机,不影响已运行的提供者和消费者,消费者在本地缓存了提供者列表。注册中心和监控中心都是可选的,服务消费者可以直连服务提供者。
(2)健壮性
监控中心宕掉不影响使用,只是丢失部分采样数据。数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务,注册中心对等集群,任意一台宕掉后,将自动切换到另一台。注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯。服务提供者无状态,任意一台宕掉后,不影响使用。服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复。
(3)伸缩性
注册中心为对等集群,可动态增加机器部署实例,所有客户端将自动发现新的注册中心。
服务提供者无状态,可动态增加机器部署实例,注册中心将推送新的服务提供者信息给消费者。
(4)Zookeeper
注册中心采用Apache zookeeper,它是一个针对大型分布式***的可靠协调***,用于维护分布式***中各服务节点的服务状态。zookeeper支持集群,主注册中心宕机自动切换到备注册中心,消除单点故障。大部分大型互联网公司均采用zookeeper,稳定性、可靠性得到验证。
请参见图11,图11是本申请实施例提供的一种数据交易***的网络部署图。本申请实施例提供的网络部署图可以依托于集团时代广场的机房,在现有的网络环境基础上新增服务器、网络设备等,网络部署图如图11所示。其中,DMZ区域(demilitarized zone,隔离区域)可以对应图7的级联式架构图中的表现层(即前端),或者DMZ区域可以对应图8分布式架构图中的应用层;应用服务器集群可以对应的是图7的级联式架构图中的业务服务层,或者,应用服务器集群可以对应的是图8的分布式架构图中的流程层、服务层和构件层;数据库服务器可以对应图7的级联式架构图中的数据服务层,或者数据库服务器可以对应图8的分布式架构图中的资源层;大数据处理服务器集群可以对应图6的数据处理平台。
为达到不同应用的服务器共享、避免单点故障、集中管理、统一配置等目的,不以应用划分服务器,而是将所有服务器做统一使用,每台服务器都可以对多个应用提供服务,当某些应用访问量升高时,通过增加服务器节点达到整个服务器集群的性能提高。本申请提供的数据交易***采用面向服务的分布式架构设计,因此***在业务上支持通过增加服务接口扩充业务功能;技术上支持横向扩展,通过增加服务器来提高***的性能水平。
需要说明的是,SOA分布式服务框架的目标是使IT基础架构更加灵活并且可重用,以最终实现业务敏捷性。云计算包含IaaS、PaaS、SaaS,目标是提升IT资源的利用率、降低IT成本。SOA分布式服务框架只是云计算的一种框架技术,不是必须的,而分布式技术的发展是云计算的基础。SOA架构可以基于云,云的服务可以采用SOA技术架构进行封装和编排,通常云计算的PaaS层可以通过服务形式提供调用。两者不在一个层面,无太多可比性,但能相互融合。
本申请实施例提供的数据交易***的网络部署图在业务上支持通过增加服务接口扩充业务功能;技术上支持横向扩展,通过增加服务器来提高***的性能水平。
基于图11的数据交易***的网络部署图,接下来请参见图12,图12是本申请实施例提供的一种负载均衡***的架构示意图。负载均衡***是指构建在原有网络结构之上,提供了一种透明且廉价有效的方法扩展服务器和网络设备的带宽、加强网络数据处理能力、增加吞吐量、提高网络的可用性和灵活性。
如图12所示,负载均衡***分为硬件和软件两种。硬件负载均衡效率高,但是价格贵,比如F5等。软件负载均衡***价格较低,效率较硬件负载均衡***低。本申请实施例提供的数据交易***的网络部署图中主要是硬件、软件负载均衡***并用,因此可以提高数据交易***的运行效率,并且控制成本。
进一步地,基于图12提供的负载均衡***的架构图,请参见图13,图13是本申请实施例提供的一种数据库读写分离的架构示意图。由于本申请实施例提供的数据交易***的Web前端采用了负载均衡集群结构提高了服务的有效性和扩展性,因此数据库必须也是高可靠的,才能保证整个服务体系的高可靠性,考虑到Web应用的数据库读多写少的特点,本申请实施例主要对读数据库做了优化设计,提供专用的读数据库和写数据库,在应用程序中实现读操作和写操作分别访问不同的数据库,因此,本申请实施例中,通过数据库的读写分离可以进一步提交数据交易***的执行效率,并且保证了***的可靠性和稳定性。
综上所述,数据交易是新事物,数据的流通机制、定价机制、交易规则、数据确权、法律法规等都处在探索中前进。本申请实施例提供的数据交易***为供需双方提供数据交易平台,发布数据产品等方面的供求信息。数据交易平台为各方提供身份认证、交易撮合、交易结算与交割、数据托管、安全保障、金融服务等综合服务。数据交易平台建立健全数据资产交易撮合机制和定价机制,规范交易行为。进一步地,本申请实施例提供的数据交易***将为我国数据要素的交易和流通提供了有效的支撑,其至少可以具备以下效果:
(1)促进政府数据共享。据估计80%的数据为政府数据,如何合法、安全的开放政府组织数据为社会服务,将是数据开放至关重要的一个环节。
(2)数据交易***的建立,通过确立数据开放标准,明确分类标准、开放目录、数据格式标准和接口标准等相关规范,推动政府数据的整合和开放,释放政府数据和机构数据的价值,鼓励基于开放平台和整合数据的跨界应用。
(3)政府数据的本身并没有明显的商业价值,但经过一些公司加工之后,可以产生巨大的商业价值和社会价值。
(4)打造数据生态圈,促进招商引资。建立数据交易平台不仅为当地创造了可观的税收,为政府行使公共职能贡献了力量,也发挥了数据交易平台对会员单位的带动和集聚效应,充当地方政府招商引资的助手。
(5)数据交易***将引来资金的集聚,提升了当地的投资水平,为当地居民带来了就业岗位,另一方面也直接、间接拉动了当地消费,促进了当地经济发展。
请参见图14示出了本申请一个示例性实施例提供的一种数据处理设备的结构示意图,该数据处理设备140至少包括处理器1401、计算机可读存储介质1402以及通信接口1403。其中,处理器1201、计算机可读存储介质1402以及通信接口1403可通过总线或者其它方式连接。通信接口1403可以用于接收或者发送数据。计算机可读存储介质1402可以存储在存储器中,计算机可读存储介质1402用于存储跨链协同治理***的计算机程序,即跨链协同治理***以计算机程序的形式部署于计算机可读存储介质1402中,计算机程序包括计算机指令。处理器1401用于执行计算机指令。处理器1401(或称CPU(Central ProcessingUnit,中央处理器))是数据处理设备140的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是数据处理设备140中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质1402既可以包括数据处理设备140中的内置存储介质,当然也可以包括数据处理设备140所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了数据处理设备140的操作***。并且,在该存储空间中还存放了适于被处理器1401加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或多个的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质1402可以是高速RAM(Random AccessMemory,随机存取存储器),也可以是非不稳定的存储器(Non-Volatile Memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器1401的计算机可读存储介质。
计算机可读存储介质1402中存储有计算机程序,计算机程序包括一条或多条计算机指令;由处理器1401加载并执行一条或多条计算机指令,以实现图5方法实施例中的相应步骤;具体实现中,计算机可读存储介质1402中的计算机指令由处理器1401加载并执行如下步骤:
采集数据交易平台上的业务数据;
获取与业务数据相适配的业务规则,并采用相适配的业务规则对业务数据进行审核管理;
按照数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到业务数据对应的数据元;以及,
根据业务数据对应的数据元更新数据交易***的数据图谱。
在一种可能的实现方式中,计算机可读存储介质1202中的一条或多条计算机指令由处理器1201加载并执行采集数据交易平台上的业务数据之后,获取与业务数据相适配的业务规则之前,还执行如下步骤:
对采集到的业务数据进行预处理;
预处理包括以下至少一种:数据仓库技术处理、数据脱敏处理、数据清洗处理。
在一种可能的实现方式中,计算机可读存储介质1202中的一条或多条计算机指令由处理器1201用还于加载并执行如下步骤:
获取数据交易***的数据库,数据库中存储有多个数据元,每个数据元对应一个业务数据,且每个数据元包含一个或多个标签;
按照每个数据元的标签对数据库进行梳理,构建数据交易***的数据图谱;
其中,标签包括以下任一种:用于表示数据元所属业务类型的标签、用于表示数据元对应的业务数据的来源的标签、用于表示数据元的开放权限的标签。
在一种可能的实现方式中,业务数据包含待处理的支付数据,计算机可读存储介质1202中的一条或多条计算机指令由处理器1201还用于加载并执行如下步骤:
根据支付数据确定目标支付***,数据交易***对接至少一个支付***,每个支付***向数据交易***提供支付接口;
调用目标支付***的支付接口将支付数据发送至目标支付***进行清结算处理;以及,
接收目标支付***返回的处理结果。
在一种可能的实现方式中,计算机可读存储介质1202中的一条或多条计算机指令由处理器1201还用于加载并执行如下步骤:
当存在对数据图谱中的任一数据元的交易需求时,将所需数据元转换为对应的业务数据进行输出;
当存在对数据图谱中的任一数据元的调用请求时,基于数据图谱对所请求的数据元进行统计分析,生成关于所请求的数据元的统计报表并输出。
本申请实施例中,数据交易***提供数据交易平台,并且可以按需为数据交易平台中的各项业务制定相适配的各种业务规则,当采集到业务数据时,可通过适配的业务规则对业务数据进行全局有效地审核管理,这样能够实现对数据交易平台中各业务全流程的有效管理,提升业务安全性及管理力度;另外,通过审核管理的业务数据可以按照数据交易***中的标准数据规范转换为标准的数据元,并加入至数据交易***的数据图谱,这样能够实现对业务数据的标准化、统一化的管理,从而实现了对业务数据从数据采集直至数据交易整个生命周期的监控管理。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备(例如可以是上述的跨链协同治理设备)的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选方式中提供的跨链协同治理方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种数据处理方法,其特征在于,所述方法应用于数据交易***,所述数据交易***用于提供数据交易平台;所述方法包括:
采集数据交易平台上的业务数据;
获取与所述业务数据相适配的业务规则,并采用所述相适配的业务规则对所述业务数据进行审核管理;
按照所述数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到所述业务数据对应的数据元;以及,
根据所述业务数据对应的数据元更新所述数据交易***的数据图谱。
2.如权利要求1所述的方法,其特征在于,所述采集数据交易平台上的业务数据之后,获取与所述业务数据相适配的业务规则之前,还包括:
对采集到的所述业务数据进行预处理;
所述预处理包括以下至少一种:数据仓库技术处理、数据脱敏处理、数据清洗处理。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述数据交易***的数据库,所述数据库中存储有多个数据元,每个数据元对应一个业务数据,且每个数据元包含一个或多个标签;
按照每个数据元的标签对所述数据库进行梳理,构建所述数据交易***的数据图谱;
其中,所述标签包括以下任一种:用于表示数据元所属业务类型的标签、用于表示数据元对应的业务数据的来源的标签、用于表示数据元的开放权限的标签。
4.如权利要求1所述的方法,其特征在于,所述业务数据包含待处理的支付数据,所述方法还包括:
根据所述支付数据确定目标支付***,所述数据交易***对接至少一个支付***,每个支付***向所述数据交易***提供支付接口;
调用所述目标支付***的支付接口将所述支付数据发送至所述目标支付***进行清结算处理;以及,
接收所述目标支付***返回的处理结果。
5.如权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
当存在对数据图谱中的任一数据元的交易需求时,将所需数据元转换为对应的业务数据进行输出;
当存在对数据图谱中的任一数据元的调用请求时,基于所述数据图谱对所请求的数据元进行统计分析,生成关于所请求的数据元的统计报表并输出。
6.一种数据交易***,其特征在于,所述数据交易***包括:
数据交易商城模块,用于展示数据交易平台的服务界面,并在所述服务界面中采集所述数据交易平台上的业务数据;
运营管理模块,用于获取与所述业务数据相适配的业务规则,并采用所述相适配的业务规则对所述业务数据进行审核管理;
数据图谱模块,用于按照所述数据交易***的标准数据规范对通过审核管理的业务数据进行转换,得到所述业务数据对应的数据元;以及,根据所述业务数据对应的数据元更新所述数据交易***的数据图谱。
7.如权利要求6所述的***,其特征在于,所述数据交易***还包括:
数据处理模块,用于对采集到的所述业务数据进行预处理;
所述预处理包括以下至少一种:数据仓库技术处理、数据脱敏处理、数据清洗处理。
8.如权利要求6所述的***,其特征在于,所述数据图谱模块还用于获取所述数据交易***的数据库,所述数据库中存储有多个数据元,每个数据元对应一个业务数据,且每个数据元包含一个或多个标签;并按照每个数据元的标签对所述数据库进行梳理,构建所述数据交易***的数据图谱;
其中,所述标签包括以下任一种:用于表示数据元所属业务类型的标签、用于表示数据元对应的业务数据的来源目录标签、用于表示数据元的开放权限的标签。
9.如权利要求6所述的***,其特征在于,所述业务数据包含待处理的支付数据,所述数据交易***还包括:
清结算模块,用于根据所述支付数据确定目标支付***,所述数据交易***对接至少一个支付***,每个支付***向所述数据交易***提供支付接口;调用所述目标支付***的支付接口将所述支付数据发送至所述目标支付***进行清结算处理;以及,接收所述目标支付***返回的处理结果。
10.如权利要求6-9任一项所述的***,所述数据交易商城模块还用于检测对数据图谱中的任一数据元的交易需求,并将所述交易需求发送至所述运营管理模块进行审核管理;若所述交易需求通过审核管理,则所述运营管理模块将所述交易需求发送至数据图谱模块,由所述数据图谱模块将所需数据元转换为对应的业务数据并返回给所述运营管理平台,所述运营管理平台所述返回的业务数据发送至数据交易商城模块,由所述数据交易商城模块进行输出;或者,
所述数据交易商城模块还用于检测对数据图谱中的任一数据元的调用请求,并将所述调用请求发送至所述运营管理模块进行审核管理;若所述交易需求通过审核管理,则所述运营管理模块将所述调用请求发送至数据图谱模块,由所述数据图谱模块对所请求的数据元进行统计分析,生成关于所请求的数据元的统计报表并返回给所述运营管理平台,所述运营管理平台所述统计报表发送至数据交易商城模块,由所述数据交易商城模块进行输出。
11.如权利要求9所述的***,其特征在于,所述数据交易***采用级联式架构进行部署;所述级联式架构包括表现层、业务服务层以及数据服务层;其中,
所述数据交易商城模块设置于所述表现层;所述运营管理模块、所述数据处理模块及所述清结算模块集成于所述业务服务层;所述数据图谱模块设置于所述数据服务层。
12.如权利要求9所述的***,其特征在于,所述数据交易***采用面向服务的分布式架构进行部署;所述面向服务的分布式架构包括应用层、流程层、服务层、构件层以及资源层;其中,
所述数据交易商城模块设置于所述应用层;所述运营管理模块、所述数据处理模块及所述清结算模块均分布式设置于所述流程层、所述服务层及所述构件层;所述数据图谱模块设置于所述资源层。
13.一种数据处理设备,其特征在于,所述数据处理设备中承载有如权利要求6-12任一项所述的数据交易***,所述数据交易***用于执行如权利要求1-5任一项所述的数据处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-5任一项所述的数据处理方法。
CN202110370059.XA 2021-04-06 2021-04-06 数据处理方法、数据交易***、设备及存储介质 Pending CN115168460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370059.XA CN115168460A (zh) 2021-04-06 2021-04-06 数据处理方法、数据交易***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370059.XA CN115168460A (zh) 2021-04-06 2021-04-06 数据处理方法、数据交易***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115168460A true CN115168460A (zh) 2022-10-11

Family

ID=83476098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370059.XA Pending CN115168460A (zh) 2021-04-06 2021-04-06 数据处理方法、数据交易***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115168460A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827452A (zh) * 2022-11-29 2023-03-21 广发银行股份有限公司 一种数据加工类型测试***、方法、存储介质及设备
CN115952525A (zh) * 2023-02-23 2023-04-11 天津联想协同科技有限公司 在线文档区域权限设置方法、装置、服务器及存储介质
CN116562884A (zh) * 2023-06-30 2023-08-08 睿格钛氪(北京)技术有限公司 数据要素流通方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827452A (zh) * 2022-11-29 2023-03-21 广发银行股份有限公司 一种数据加工类型测试***、方法、存储介质及设备
CN115827452B (zh) * 2022-11-29 2023-11-10 广发银行股份有限公司 一种数据加工类型测试***、方法、存储介质及设备
CN115952525A (zh) * 2023-02-23 2023-04-11 天津联想协同科技有限公司 在线文档区域权限设置方法、装置、服务器及存储介质
CN115952525B (zh) * 2023-02-23 2023-08-11 天津联想协同科技有限公司 在线文档区域权限设置方法、装置、服务器及存储介质
CN116562884A (zh) * 2023-06-30 2023-08-08 睿格钛氪(北京)技术有限公司 数据要素流通方法、装置、电子设备及存储介质
CN116562884B (zh) * 2023-06-30 2023-09-26 睿格钛氪(北京)技术有限公司 数据要素流通方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Xu et al. A review of smart contracts applications in various industries: a procurement perspective
US10423675B2 (en) System and method for automated domain-extensible web scraping
CN115168460A (zh) 数据处理方法、数据交易***、设备及存储介质
Mukne et al. Land record management using hyperledger fabric and ipfs
US11570214B2 (en) Crowdsourced innovation laboratory and process implementation system
Perez et al. Revisiting transactional statistics of high-scalability blockchains
CN112418859B (zh) 区块链的共识方法及装置、电子设备和可读存储介质
Luo et al. Overview of intelligent online banking system based on HERCULES architecture
KR102160612B1 (ko) 폐쇄형 플랫폼 기반 조건 매칭형 부동산 중개 서비스 제공 시스템
Parida et al. Evolution of supply chain finance: A comprehensive review and proposed research directions with network clustering analysis
Martins et al. BigData oriented to business decision making: a real case study in constructel
Asaithambi et al. Enhancing enterprises trust mechanism through integrating blockchain technology into e-commerce platform for SMEs
Shahaab et al. A hybrid blockchain implementation to ensure data integrity and interoperability for public service organisations
Aldahwan et al. Factors affecting the organizational adoption of secure community cloud in KSA
Dzikrullah et al. A framework design to develop integrated data system for smart e-government based on big data technology
Lu et al. [Retracted] Design of Enterprise Financial Information Management System Based on Blockchain Technology
CN110300961A (zh) 统一智能连接器
Gasimov et al. Basic components of the digital business: crutocurrency, blockchain, cloud technologies and internet of things
Acikalin et al. Evaluating the integrative function of ERP systems used within the construction industry
Koroleva et al. Information technologies as an instrument to administrate added value tax
Roy Blockchain development for finance projects: building next-generation financial applications using Ethereum, Hyperledger Fabric, and Stellar
Yang et al. Analysis of platform economic supervision mode from the perspective of blockchain
Filin et al. Modern technologies in accounting and tax accounting
Wadud et al. A blockchain-based secured land record system using hyperledger fabric
Shi Constructing a secured, reactive and scalable data platform for a better exploitation of rich data assets in the tourism industry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination