CN116244374B - 一种数据处理方法、装置、设备及存储介质 - Google Patents
一种数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116244374B CN116244374B CN202310027013.7A CN202310027013A CN116244374B CN 116244374 B CN116244374 B CN 116244374B CN 202310027013 A CN202310027013 A CN 202310027013A CN 116244374 B CN116244374 B CN 116244374B
- Authority
- CN
- China
- Prior art keywords
- processing
- data
- data processing
- determined
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 1225
- 238000004088 simulation Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 68
- 239000003999 initiator Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 29
- 230000008520 organization Effects 0.000 claims description 23
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 12
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013478 data encryption standard Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000010832 independent-sample T-test Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010197 meta-analysis Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种数据处理方法、装置、设备及存储介质,涉及数据处理领域,尤其涉及大数据领域。具体实现方案为:确定数据处理的处理规则;确定联合进行数据处理的处理受邀方,并向处理受邀方的第二设备发送数据处理请求和处理规则;接收处理受邀方的第二设备发送的模拟处理反馈,其中,模拟处理反馈为:第二设备基于处理规则对本地存储的数据进行模拟数据处理后生成的反馈;根据所接收的模拟处理反馈,从处理受邀方中确定联合进行数据处理的处理参与方;基于本地存储的数据按照处理规则进行数据处理,并指示处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。应用本公开实施例提供的方案能够提高数据处理结果的准确度。
Description
技术领域
本公开涉及信息处理技术领域,尤其涉及大数据技术领域。
背景技术
随着大数据时代到来,各个领域中充斥着大量的相关数据。为了使得各个领域中的工作、生产能够顺利开展,需要对领域中的数据进行处理,然后基于处理结果开展工作,或者指导生产。
各个领域中存在各种个体,这些个体分别拥有自身所在领域内的相关数据,因此,当前进行数据处理时,一般基于单一个体中存在的数据进行数据处理。
例如,在医疗领域中,各个医疗中心拥有各自的医疗数据,在对医疗数据进行处理时,一般基于单一医疗中心的医疗数据进行数据处理。
发明内容
本公开提供了一种数据处理方法、装置、设备及存储介质。
根据本公开的一方面,提供了一种数据处理方法,应用于处理发起方的第一设备,包括:
确定数据处理的处理规则;
确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和所述处理规则;
接收所确定处理受邀方的第二设备发送的模拟处理反馈,其中,所述模拟处理反馈为:第二设备基于所述处理规则对本地存储的数据进行模拟数据处理后生成的反馈;
根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方;
基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理。
根据本公开的另一方面,提供了一种数据处理方法,应用于处理受邀方的第二设备,包括:
接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则;
基于所述处理规则对本地存储的数据进行模拟数据处理;
基于所述模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈;
响应于所述第一设备发送的联合处理指示,基于本地存储的数据按照所述处理规则联合进行数据处理。
根据本公开的另一方面,提供了一种数据处理装置,应用于处理发起方的第一设备,包括:
规则确定模块,用于确定数据处理的处理规则;
受邀方确定模块,用于确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和所述处理规则;
处理反馈接收模块,用于接收所确定处理受邀方的第二设备发送的模拟处理反馈,其中,所述模拟处理反馈为:第二设备基于所述处理规则对本地存储的数据进行模拟数据处理后生成的反馈;
参与方确定模块,用于根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方;
数据处理模块,用于基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理。
根据本公开的另一方面,提供了一种数据处理装置,应用于处理受邀方的第二设备,包括:
请求和规则接收模块,用于接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则;
模拟数据处理模块,用于基于所述处理规则对本地存储的数据进行模拟数据处理;
反馈发送模块,用于基于所述模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈;
数据处理模块,用于响应于所述第一设备发送的联合处理指示,基于本地存储的数据按照所述处理规则联合进行数据处理。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述应用于第一设备或第二设备的数据处理方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述应用于第一设备或第二设备的数据处理方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现前述应用于第一设备或第二设备的数据处理方法。
由以上可见,应用本公开实施例提供的方案进行数据处理时,第一设备可以确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和数据处理的处理规则,从而可以根据接收到的第二设备基于处理规则对本地存储的数据进行模拟数据处理后生成的反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方,这样第一设备可以基于本地存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例提供的第一种数据处理方法的流程示意图;
图2为本公开实施例提供的一种处理受邀方确定界面的示意图;
图3为本公开实施例提供的第二种数据处理方法的流程示意图;
图4为本公开实施例提供的第三种数据处理方法的流程示意图;
图5为本公开实施例提供的一种分布式数据库建立流程的示意图;
图6为本公开实施例提供的第四种数据处理方法的流程示意图;
图7为本公开实施例提供的一种数据处理流程的示意图;
图8为本公开实施例提供的一种多中心任务处理流程的示意图;
图9为本公开实施例提供的第一种数据处理装置的结构示意图;
图10为本公开实施例提供的第二种数据处理装置的结构示意图;
图11为用来实现本公开实施例提供的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
首先对本公开实施例所提供方案的应用场景进行说明。
本公开实施例所提供方案的应用场景为:数据处理方本地存储的数据量难以满足自身进行数据处理的数据量需求的场景。
例如,在医疗领域中,医疗机构中工作人员可以使用其电子设备对该医疗机构所拥有的医疗数据进行处理,从而基于处理结果进行数据研究;又如,在业务处理领域,经销商中工作人员可以使用其电子设备对该经销商所拥有的历史业务数据进行数据处理,从而基于处理结果指导自身的备货、经营等策略。
然而,单一医疗机构或单一经销商所拥有的数据的数据量往往是较为有限的,那么电子设备对较为有限的数据进行数据处理,容易导致数据处理所覆盖的数据量较小,从而导致数据处理的准确度较低。
鉴于以上情况,本公开实施例提供了一种数据处理方法。
下文以医疗领域为例,对本公开实施例提供的数据处理方法进行说明,可以理解的是,上述数据处理方法在其他任何领域的应用均可以类推得到,区别仅涉及不同领域数据的替换。
下面首先对本公开实施例提供的应用于处理发起方的第一设备的数据处理方法进行详细说明。
参见图1,为本公开实施例提供的第一种数据处理方法的流程示意图,应用于处理发起方的第一设备,上述方法包括以下步骤S101-步骤S105。
步骤S101:确定数据处理的处理规则。
上述处理规则可以是任意用于描述数据处理方式的规则,例如,处理规则中可以描述数据处理所关注的对象、针对上述对象的数据处理方式等。
具体的,上述处理规则可以包括多种子规则,针对处理规则的详细介绍参见图1之后的实施例。
本公开的一个实施例中,第一设备在确定处理规则之前,可以首先获得待确定的处理规则,基于待确定的处理规则对本地存储的数据进行多次模拟数据处理,检验模拟数据处理过程是否正常、模拟数据处理结果是否符合预期,若均满足,则将待确定的处理规则确定为最终的处理规则;否则,可以根据模拟数据处理结果,对待确定的处理规则进行不断更新,直至满足上述条件。
步骤S102:确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和处理规则。
上述处理受邀方可以是组织,也可以是人员。
具体的,可以采用以下多种方式确定处理受邀方。
第一种方式,可以从已联合进行过数据处理的团队中确定目标团队,将目标团队中包含的组织确定为联合进行数据处理的处理受邀方。
上述组织可以是任意类型的机构或单位,例如,在医疗领域,上述组织可以是医疗中心。
上述组织可以是历史联合进行数据处理时目标团队中包含的组织,也可以是后续加入目标团队的组织。
其中,可以根据第一设备发起的数据处理所涉及的主题确定目标团队。
例如,第一设备所发起的数据处理所涉及的主题为肿瘤数据处理,则可以将已联合进行过主题为肿瘤处理的数据处理的团队确定为目标团队。
第二种方式,可以将目标团队中的团队成员确定为联合进行数据处理的处理受邀方。
上述团队成员可以是目标团队历史联合进行数据处理时包含的成员。
第三种方式,可以将上述组织中包含的组织成员确定为联合进行数据处理的处理受邀方。
除了将上述团队成员确定为处理受邀方,还可以将上述组织中包含的任一组织成员确定为处理受邀方。
上述三种方式均基于目标团队选择处理受邀方,因此上述三种方式涉及的处理受邀方确定模式可以称为团队模式。
下面结合图2,对上述基于团队模式确定处理受邀方的方式进行直观的说明。
参见图2,为本公开实施例提供的一种处理受邀方确定界面的示意图。
由图2可见,在团队模式下,可以选取目标团队,并且将目标团队中包含的组织确定为处理受邀方,上述组织可以是图2中中心列表包含的中心A、中心B、中心C。
其中,上述中心列表表示医疗中心的列表,中心A-C表示医疗中心。为了便于描述,下文举例或其他描述中所涉及的医疗中心均简称为中心。
图2所示的处理受邀方确定界面中,添加团队按钮用于选取新的目标团队;添加成员按钮用于将团队中的团队成员确定为处理受邀方,或者将上述组织中的成员确定为处理受邀方,如中心A的小王;发起邀请按钮用于邀请新的组织和/或成员。
可见,这样可以为处理发起方提供可复用的团队,从而便于处理发起方采用上述多种方式从可复用的团队中选取目标团队,并基于目标团队便捷、快速的确定处理受邀方。
第四种方式,可以将用户指定的组织和/或人员确定为联合进行数据处理的处理受邀方。
这样可以将用户指定的任意组织和/或人员确定为联合进行数据处理的处理受邀方,提高了确定处理受邀方时的灵活性。
本方式均基于用户指定的组织和/或人员选择处理受邀方,因此,本方式涉及的处理受邀方确定模式可以称为成员模式。
下面结合表1,对确定处理受邀方的方式进行直观的说明。
表1
其中,表1中第一列表示处理受邀方确定模式,第二列表示处理受邀方层次,第三列表示处理受邀方的具体确定方式。
本公开的一个实施例中,上述步骤S102确定联合进行数据处理的处理受邀方之后,可以直接向处理受邀方发送针对数据处理的邀请码,从而处理受邀方可以基于上述邀请码获得数据处理的处理规则。
具体的,上述邀请码可以是一个网址口令,处理受邀方基于上述网络口令可以进入注册网页,在上述网页进行注册后即可查看到处理发起方设置的数据处理的处理规则。
步骤S103:接收所确定处理受邀方的第二设备发送的模拟处理反馈。
其中,模拟处理反馈为:第二设备基于处理规则对本地存储的数据进行模拟数据处理后生成的反馈。
上述反馈可以是表征第二设备是否有意联合进行数据处理的反馈。
第二设备接收到处理规则之后,可以基于处理规则对本地存储的数据进行模拟数据处理,并基于处理结果向第一设备发送上述反馈。
例如,第二设备可以根据处理结果判断本地所存储数据是否满足联合进行数据处理的要求等,根据判断结果向第一设备发送上述反馈。具体实施方式详见后续图6所示的应用于第二设备的实施例,这里暂不详述。
步骤S104:根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方。
具体的,可以采用以下方式确定联合进行数据处理的处理参与方。
一种实施方式中,可以从模拟处理反馈中确定表征有意向联合进行数据处理的目标模拟处理反馈,确定发送目标模拟反馈的第二设备对应的受邀方,然后直接将上述受邀方确定为处理参与方。
由前述步骤可知,上述模拟处理反馈可以表征第二设备对应的受邀方是否有意向联合进行数据处理,因此,可以直接将表征有意向联合进行数据处理的目标模拟反馈对应的受邀方确定为处理参与方。
另一种实施方式中,可以先根据模拟处理反馈从处理受邀方中确定有意向联合进行数据处理的处理意向方,然后再从处理意向方中确定联合进行数据处理的处理参与方。具体实施方式详见后续图3所示实施例中步骤S304-S306,这里暂不详述。
本公开的一个实施例中,在本步骤确定联合进行数据处理的处理参与方之后,还可以向所确定处理参与方的第三设备发送参与确认消息,并向所确定处理受邀方的第二设备中除第三设备外的设备发送参与失败消息。
这样可以使得所确定处理受邀方中被处理发起方选中联合进行数据处理的处理参与方和未被选中的其他受邀方均接收到相应的通知消息,使得所确定受邀方能够根据接收到的消息明确的得知自身是否被确定为联合进行数据处理的处理参与方,进而有利于所确定受邀方根据自身的选中情况进行后续处理。
步骤S105:基于本地存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
处理参与方确定之后,第一设备不仅可以自身基于本地存储的数据按照处理规则进行数据处理,还可以指示处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
一种实施方式中,第一设备可以基于分布式数据库中存储的数据进行数据处理,并指示所确定处理参与方的第三设备基于分布式数据库中存储的数据按照处理规则联合进行数据处理。具体实施方式详见后续图4所示实施例中步骤S405-步骤S406,这里不再赘述。
由以上可见,应用本公开实施例提供的方案进行数据处理时,第一设备可以确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和数据处理的处理规则,从而可以根据接收到的第二设备基于处理规则对本地存储的数据进行模拟数据处理后生成的反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方,这样第一设备可以基于本地存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
可以看出,采用上述方案进行数据处理时,不仅第一设备自身基于本地存储的数据按照处理规则进行数据处理,第一设备还指示了处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理,这样相较于仅由第一设备自身进行数据处理,提高了按照处理规则进行数据处理的设备数量,从而提高了数据处理所覆盖的数据量,进而有利于得到更加全面的数据处理结果,有利于提高数据处理结果的准确度。
另外,第一设备所接受到的反馈为第二设备根据接收到的处理规则对本地存储的数据进行模拟数据处理后生成的反馈,从而上述反馈可以是第二设备根据模拟数据处理的处理结果发送的反馈,具体的,上述反馈可以是表征第二设备是否有意向联合进行数据处理的反馈,这样有利于第一设备根据上述反馈更加合理的确定联合进行数据处理的处理参与方。
下面对前述提及的数据处理的处理规则进行详细介绍。
具体的,上述处理规则可以包括以下子规则中的至少一种:
1、数据处理所针对对象的确定子规则。
该子规则用于描述上述对象的确定方式,可以包括确定上述对象时的纳入规则和排除规则等。
上述对象可以理解为数据处理的关注对象,本次数据处理即为针对上述对象的数据处理。
例如,在医学领域,上述对象可以是特定的人群,如年龄大于40岁的患者等。
2、针对上述对象的对象属性的选取子规则。
该子规则用于描述数据处理针对的对象属性的选取方式。
对象属性可以是对象的任意属性,也可以称为针对上述对象的研究变量。
例如,上述对象为年龄大于40岁的患者,对象属性可以是患者的年龄、性别等基础信息,也可以是患者的历史记录信息、检验信息等各项信息。
3、针对对象属性的预处理子规则。
该子规则用于描述对象属性的预处理方式。
上述预处理可以包括缺失值填充、标准化处理、对象属性的编码方式等,这里不再一一举例。
4、针对对象属性的数据抽取子规则。
该子规则用于描述对象属性的数据抽取方法,可以包括数据抽取语句等。
5、针对抽取结果的统计子规则。
该子规则用于描述针对抽取结果的统计方法。
上述统计方法可以是假设检验法,上述假设检验法可以是卡方检验法、两独立样本t检验法等;也可以是机器学习法,上述机器学习模型可以是Logistic回归模型、决策树模型等。
6、针对统计结果的审核子规则。
该子规则用于描述重点审核的统计结果。
例如,审核子规则可以是重点审核某一指标小于预设值的统计结果。
由以上可见,处理规则可以包括上述多种维度的子规则,基于上述层级明确的多种子规则可以灵活的组成数据处理的处理规则。
下面通过表2所示的处理规则表,对上述各项子规则涉及的内容进行直观的说明。
表2
其中,表2中第一列表示各子规则名称,第二列表示子规则的规则详情,第三列表示子规则的具体案例,第四列表示配置子规则所采用的技术语言,第五列表示上述子规则基于技术语言的配置实现。
上表2中,数值变量可以理解为取值为数值的对象属性,如肿瘤大小等;分类变量可以理解为取值为具体类别的变量,如药物种类等。
本公开的一个实施例中,在上述步骤S105之后,还可以包括以下步骤A-步骤C:
步骤A:获得基于本地存储的数据按照处理规则进行数据处理得到的第一处理结果。
步骤B:接收所确定处理参与方的第三设备基于本地存储的数据按照处理规则进行数据处理得到的第二处理结果。
步骤C:基于第一处理结果和所接收第二处理结果,获得综合数据处理结果。
具体的,可以基于联合分析方法对第一处理结果和第二处理结果进行分析,得到综合数据处理结果。
其中,上述联合分析方法可以是Meta分析方法、联邦分析方法等。
上述综合数据处理结果可以采用下面表3所示的数据处理报告的形式表示:
表3
其中,表3中第一列表示数据处理报告包含的各个报告项目,第二列表示各报告项目的报告详情。
这样第一设备不仅能够得到自身基于本地存储的数据按照处理规则进行数据处理得到的第一处理结果,还能够得到处理参与方的第三设备基于本地存储的数据按照处理规则进行数据处理得到的第二处理结果,从而能够基于第一处理结果和第二处理结果得到更加全面、准确的综合数据处理结果。
本公开的一个实施例中,第一设备可以响应于接收到处理参与方的第三设备发送的综合数据处理结果获取请求,向第三设备发送上述综合数据处理结果。
这样使得各个处理参与方均可以获取到综合数据处理结果,实现了综合数据处理结果的共享。
在图1所示实施例的基础上,在确定处理参与方时,可以先根据第二设备发送的模拟处理反馈从处理受邀方中确定有意向联合进行数据处理的处理意向方,然后再从处理意向方中确定联合进行数据处理的处理参与方。鉴于上述情况,本公开实施例提供了第二种数据处理方法。
参见图3,为本公开实施例提供的第二种数据处理方法的流程示意图,应用于处理发起方的第一设备,上述方法包括以下步骤S301-步骤S307。
步骤S301:确定数据处理的处理规则。
步骤S302:确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和处理规则。
步骤S303:接收所确定处理受邀方的第二设备发送的模拟处理反馈。
上述步骤S301-步骤S303与前述图1所示实施例中步骤S101-步骤S103相同,这里不再赘述。
步骤S304:根据所接收的模拟处理反馈,从所确定处理受邀方中确定有意向联合进行数据处理的处理意向方。
具体的,可以从模拟处理反馈中确定表征有意向联合进行数据处理的目标模拟处理反馈,确定发送目标模拟反馈的第二设备对应的受邀方,然后将上述受邀方确定为处理意向方。
步骤S305:获得所确定处理意向方基于处理规则对本地存储的数据进行模拟数据处理的模拟处理结果。
步骤S306:基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方。
具体的,可以采用以下方式从处理意向方中确定处理参与方。
一种实施方式中,可以将满足第一预设条件的模拟处理结果对应的意向方确定为满足数据质量标准的目标意向方,将上述目标意向方确定为处理参与方。
上述第一预设条件可以由工作人员预先设置,例如,可以是模拟处理结果中包含的与数据处理所针对的对象相关的结果条数不少于第一预设数量等。
由于模拟处理结果为处理意向方基于处理规则对本地存储的数据进行模拟数据处理得到的结果,因此,模拟处理结果可以反映处理意向方所存储数据的相关信息。
例如,若处理意向方本地存储的数据中不包含针对某一对象的数据,则该处理意向方对应的模拟处理结果中不存在针对上述对象的处理结果。
基于上述理解,可以认为满足预设条件的模拟处理结果对应的处理意向方本地存储的数据满足数据质量标准,从而将上述处理意向方确定为意向方。
另一种实施方式中,可以基于数据处理的类型,确定用于评价数据质量的数据质量标准,基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准中各子标准的目标意向方确定为联合进行数据处理的处理参与方。
其中,可以预先设定各类数据处理的类型与数据质量标准间的对应关系,从而可以基于数据处理的类型和上述对应关系,从数据质量标准库中确定上述类型对应的数据质量标准。
上述数据质量标准中可以包括多项子标准,下面对子标准进行举例说明。
例如,上述子标准可以是本地存储的数据中包含的与数据处理所针对的对象相关的数据条数不少于第二预设数量、本地存储的数据中涉及的研究变量的种类不少于第三预设数量、本地存储的数据中与研究变量相关的数据的数据填充率均不低于预设填充率等。
可见,用于评价数据质量的数据质量标准是基于数据处理的类型确定的,这样使得数据质量标准与数据处理的类型相关,更加具有针对性;另外,处理意向方中本地所存储数据满足数据质量标准中各项子标准的处理意向方才会被确定为目标意向方,这样有利于确定出本地存储数据的数据质量较高的目标意向方。
下面通过表4对上述目标意向方的确定方式进行直观的说明。
表4
其中,表4中第一列表示数据质量标准涉及的维度,第二列表示数据质量标准包括的子标准,第三列表示各条子标准对应的具体举例。
步骤S307:基于本地存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
上述步骤S307与前述图1所示实施例中步骤S105相同,这里不再赘述。
由以上可见,应用本公开实施例提供的方案确定联合进行数据处理的处理参与方时,首先根据所接收的模拟处理反馈,从处理受邀方中确定有意向联合进行数据处理的处理意向方,然后根据处理意向方基于处理规则对本地存储的数据进行模拟数据处理的模拟处理结果,将处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方,这样有利于过滤掉数据质量不满足标准的处理意向方、将本次存储的数据质量较高的处理意向方确定为处理参与方,从而有利于提高参与数据处理的数据的质量,并且有利于避免所确定的处理参与方的第三设备的数据质量参差不齐,从而有利于提高数据处理结果的质量和准确度。
在图1所示实施例的基础上,联合进行数据处理时,第一设备可以基于分布式数据库中存储的数据进行数据处理,并指示所确定处理参与方的第三设备基于分布式数据库中存储的数据按照处理规则联合进行数据处理。鉴于上述情况,本公开实施例提供了第三种数据处理方法。
参见图4,为本公开实施例提供的第三种数据处理方法的流程示意图,应用于处理发起方的第一设备,上述方法包括以下步骤S401-步骤S406。
步骤S401:确定数据处理的处理规则。
步骤S402:确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和处理规则。
步骤S403:接收所确定处理受邀方的第二设备发送的模拟处理反馈。
步骤S404:根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方。
上述步骤S401-步骤S404与前述图1所示实施例中步骤S101-步骤S104相同,这里不再赘述。
步骤S405:基于本地存储的数据以及所确定处理参与方的第三设备存储的数据,建立分布式数据库。
下面结合图5,对上述分布式数据库的建立流程进行说明。
参见图5,为本公开实施例提供的一种分布式数据库建立流程的示意图。
由图5可见,首先第一设备获得数据处理规则,然后向第二设备发送数据处理邀请和处理规则;第二设备可以基于基于处理规则进行模拟数据处理,并向处理发起方发送反馈,如图中第二设备A、B、C;然后第一设备进行数据质量确认,以判断第二设备本地存储的数据质量知否满足标准;然后基于确认结果建立分布式数据库,如,基于本地存储的数据和数据质量满足标准的第二设备存储的数据建立分布式数据库。
其中,第一设备进行数据质量确认的方式详见前述图3所示实施例中步骤S304-步骤S306,这里不再赘述。
步骤S406:基于分布式数据库存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于分布式数据库存储的数据按照处理规则联合进行数据处理。
具体的,第一设备可以采用以下方式基于分布式数据库存储的数据进行数据处理。
一种实施方式中,第一设备可以基于分布式数据库存储的、对应于本地存储的数据,按照处理规则进行数据处理。
另一种实施方式中,第一设备可以从所确定处理参与方中确定第一访问请求方,向所确定第一访问请求方的第四设备发送针对分布式数据库中的第一目标数据的访问请求,然后响应于接收到所确定第一访问请求方的第四设备发送的访问请求确认消息,基于第一目标数据按照处理规则进行数据处理。
其中,第一目标数据为:所确定第一访问请求方的第四设备存储的数据。
上述第四设备发送的访问请求确认消息用于表征第四设备允许第一设备访问分布式数据中对应于第四设备本地存储的数据。
当然,本实施方式中,第一设备也可以结合本地存储的数据和上述第一目标数据按照处理规则进行数据处理。
例如,第一设备确定的第一访问请求方分别为医疗中心A、B、C,其中,接收到了医疗中心A和B的第四设备发送的访问请求确认消息,也就是,第一设备接收到了医疗中心A和B的访问许可通知,因此,第一设备有权访问分布式数据库中对应于上述医疗中心A和B的第四设备本地存储的第一目标数据,从而第一设备可以结合本地存储的数据和上述第一目标数据进行数据处理。
可见,第一设备可以向所确定第一访问请求方的第四设备发送数据访问请求,从而可以在获得第四设备的许可的情况下,访问分布式数据库中对应于第四设备本地存储的第一目标数据,并基于第一目标数据按照处理规则进行数据处理。这样可以使得第一设备在获得许可的情况下访问其他设备本地存储的数据,有利于扩展第一设备能够访问的数据量,提高了数据处理方案的灵活性。
由以上可见,第一设备可以基于分布式数据库存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于分布式数据库存储的数据按照处理规则联合进行数据处理,由于分布式数据库能够实现便捷的数据访问和共享,因此,这样联合进行数据处理的各设备可以基于分布式数据库存储的数据便捷、高效的进行联合数据处理。
下面再对应用于处理受邀方的第二设备的数据处理方法进行说明。
参见图6,为本公开实施例提供的第四种数据处理方法的流程示意图,应用于处理受邀方的第二设备,上述方法包括以下步骤S601-步骤S604。
步骤S601:接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则。
步骤S602:基于处理规则对本地存储的数据进行模拟数据处理。
一种实施方式中,第二设备可以基于本地存储的数据处理标准,判断第二设备对应的处理受邀方是否接受处理规则,若为是,基于处理规则对本地存储的数据进行模拟数据处理。
上述数据处理标准可以是关于数据处理所针对对象的处理标准,如仅接收针对第一预设对象集合的数据处理请求、不接受针对第二预设对象的数据处理请求等;也可以是上述对象的对象属性的处理标准,如仅接收针对第一预设对象属性集合的数据处理请求、不接受针对第二预设对象属性的数据处理请求等。
可见,第二设备可以先基于本地存储的数据处理标准,判断第二设备对应的处理受邀方是否接受处理规则,在接收处理规则的情况下再进行模拟数据处理,这样通过处理受邀方是否接受处理规则的判断,可以避免受邀方不接受处理规则时进行模拟数据处理所导致的计算资源浪费,有利于提高数据处理方案的实用性和用户体验。
步骤S603:基于模拟处理结果,向第一设备发送表征是否联合进行数据处理的反馈。
具体的,可以采用以下方式向第一设备发送表征是否联合进行数据处理的反馈。
一种实施方式中,可以判断模拟处理结果是否满足第二预设条件,若为是,向第一设备发送表征联合进行数据处理的反馈,若为否,向第一设备发送表征不联合进行数据处理的反馈。
上述第二预设条件可以由工作人员预先设置,例如,可以是模拟处理结果中包含的与数据处理所针对的对象相关的结果条数不少于第一预设数量等。
另一种实施方式中,可以基于模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,若为是,向第一设备发送表征联合进行数据处理的反馈,若为否,向第一设备发送表征不联合进行数据处理的反馈。
其中,联合进行数据处理的要求为:本地所存储数据中包含处理规则中指定的数据处理对象、以及本地所存储数据中对象的对象属性中包含所述数据处理对象的对象属性。
上述处理规则中指定的数据处理对象和数据处理对象的对象属性的含义参见前述应用于第一设备的数据处理方法实施例,这里不再赘述。
具体的,若上述模拟处理结果中存在针对上述数据处理对象的处理结果,则可以认为本地所存储数据中包含处理规则中指定的数据处理对象;若上述模拟处理结果中存在针对上述对象属性的处理结果,则可以认为本地所存储数据中对象的对象属性中包含所述数据处理对象的对象属性。
可见,第二设备可以基于模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,从而根据判断结果向第一设备发送表征是否联合进行数据处理的反馈。具体的,第二设备可以在判断自身满足联合进行数据处理的要求的情况下才向第一设备发送表征联合进行数据处理的反馈,这样通过第二设备自身的初步筛选,有利于提高第二设备对应的处理受邀方被确定为联合进行数据处理的处理参与方的概率。
本公开的一个实施例中,在本步骤向第一设备发送反馈之后,还可以包括:
向第一设备发送模拟处理结果,以使得第一设备基于模拟处理结果判断是否将第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
一种情况下,第二设备可以对上述模拟处理结果进行加密处理,然后向第一设备发送加密处理后的模拟处理结果。
其中,第二设备可以基于DES(Data Encryption Standard,数据加密标准)算法、MD5(Message-Digest 5,消息摘要5)等加密算法对模拟处理结果进行加密处理。
第一设备基于模拟处理结果判断是否将第二设备对应的处理受邀方确定为处理参与方的方式详见前述图3所示实施例中步骤S304-步骤S306,这里不再赘述。
这样向第一设备发送模拟处理结果,可以使得第一设备基于模拟处理结果评估第二设备本地存储的数据的相关信息,从而有利于使得第一设备基于模拟处理结果便捷、快速的确定是否向第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
步骤S604:响应于第一设备发送的联合处理指示,基于本地存储的数据按照处理规则联合进行数据处理。
一种实施方式中,可以响应于第一设备发送的联合处理指示,基于第一设备建立的分布式数据库中存储的数据,按照处理规则联合进行数据处理。
具体的,可以通过多种方式基于分布式数据库存储的数据进行数据处理,详见后续实施例。
这样第二设备可以基于分布式数据库存储的数据按照处理规则联合进行数据处理,由于分布式数据库能够实现便捷的数据访问和共享,因此,这样第二设备可以基于分布式数据库存储的数据便捷、高效的进行联合数据处理。
由以上可见,应用本公开实施例提供的方案进行数据处理时,第二设备在接收到第一设备发送的数据处理请求的情况下,可以基于处理规则对本地存储的数据进行模拟数据处理,然后基于模拟处理结果确定是否联合进行数据处理,向第一设备发送表征是否联合进行数据处理的反馈,并在接受到第一设备发送联合处理指示的情况下联合进行数据处理。
可见,第二设备可以响应于第一设备发送的联合处理指示,与第一设备各自进行数据处理,这样相较于仅由第二设备自身进行数据处理,提高了按照处理规则进行数据处理的设备数量,从而提高了数据处理所覆盖的数据量,进而有利于得到更加全面的数据处理结果,有利于提高数据处理结果的准确度。
另外,第二设备向第一设备发送的反馈为第二设备基于处理规则对本地存储的数据进行模拟数据处理后发送的、表征是否联合进行数据处理的反馈,由于模拟处理结果可在很大程度上指导第二设备对应的处理受邀方是否适合联合进行数据处理,因此,第二设备可以根据模拟数据处理结果判断自身是否满足数据处理的要求,进而有利于第二设备在满足要求的情况下发送联合进行数据处理的反馈,从而有利于避免参与数据处理后发生数据处理障碍,侧面保障了数据处理的处理质量,有利于提高数据处理的效率。
下面对前述提及的第二设备基于分布式数据库存储的数据进行数据处理的方式进行说明。
第一种方式,第二设备可以基于分布式数据库存储的、对应于本地存储的数据,按照处理规则进行数据处理。
第二种方式,第二设备可以从处理发起方和联合进行数据处理的其他处理参与方中确定第二访问请求方,向所确定第二访问请求方的第六设备发送针对分布式数据库中的第二目标数据的访问请求,响应于接收到所确定第二访问请求方的第六设备发送的访问请求确认消息,基于第二目标数据按照处理规则联合进行数据处理。
其中,第二目标数据为:所确定第二访问请求方的第六设备存储的数据。
本实施方式可以在前述图4所示实施例中介绍的第一设备基于分布式数据库存储的数据进行数据处理的实施例的基础上得到,区别仅为执行主体不同,这里不再赘述。
可见,第二设备可以向所确定第二访问请求方的第六设备发送数据访问请求,从而可以在获得第六设备的许可的情况下,访问分布式数据库中对应于第六设备本地存储的第二目标数据,并基于第二目标数据按照处理规则进行数据处理。这样可以使得第二设备在获得许可的情况下访问其他设备本地存储的数据,有利于扩展第二设备能够访问的数据量,提高了数据处理方案的灵活性。
本公开的一个实施例中,处理参与方的第三设备可以向处理发起方的第一设备发送综合数据处理结果获取请求,并获得第一设备发送的综合数据处理结果。
这样使得处理参与方可以获取到基于第一设备和各第三设备的数据处理结果得到的综合数据处理结果,实现了综合数据处理结果的共享。
下面结合图7,对本公开实施例提供的第一种数据处理流程进行说明。
参见图7,为本公开实施例提供的一种数据处理流程的示意图,上述流程包括以下步骤S701-步骤S713。
步骤S701:第一设备确定数据处理的处理规则。
步骤S702:第一设备确定联合进行数据处理的处理受邀方。
步骤S703:第一设备向所确定处理受邀方的第二设备发送数据处理请求和处理规则。
步骤S704:第二设备接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则。
步骤S705:第二设备基于处理规则对本地存储的数据进行模拟数据处理。
步骤S706:第二设备基于模拟处理结果,向第一设备发送表征是否联合进行数据处理的反馈。
步骤S707:第一设备接受所确定处理受邀方的第二设备发送的模拟处理反馈。
步骤S708:第一设备根据所接收的模拟处理反馈,从所确定处理受邀方中确定有意向联合进行数据处理的处理意向方。
步骤S709:第一设备获得所确定处理意向方基于处理规则对本地存储的数据进行模拟数据处理的模拟处理结果。
步骤S710:第一设备基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方。
步骤S711:第一设备基于本地存储的数据按照处理规则进行数据处理。
步骤S712:第一设备指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
由前述步骤可知,第三设备即为本地所存储数据满足数据质量标准的目标意向方对应的第二设备。
步骤S713:第二设备响应于第一设备发送的联合处理指示,基于本地存储的数据按照处理规则联合进行数据处理。
上述各步骤的实施方式均已在前述实施例中说明,这里不再赘述。
下面结合图8,对本公开实施例提供的方案在医疗领域的一种具体应用进行说明。
参见图8,为本公开实施例提供的一种多中心任务处理流程的示意图。
在图8中,发起中心和参与中心均表示医疗中心,其中,发起中心对应前文处理发起方,参与中心对应前文处理受邀方。
需要说明的是,图8中发起中心和参与中心所涉及的信息交互均表示发起中心的电子设备与参与中心的电子设备之间的信息交互。
由图8可见,多中心任务处理流程可以分为发起中心流程和参与中心流程,下面分别进行说明。
发起中心流程:
1、发起中心完成研究项目配置。
上述研究项目配置可以包括项目针对的研究人群、针对研究人群的研究变量的预处理方式、研究变量的抽取方式、针对抽取结果的统计方法和针对统计结果的审核方法。
2、发起中心选择团队、发起中心添加成员/邀请成员。
添加成员可以是添加所选择的团队包含的医疗中心中的任意成员,其中,团队包含的医疗中心可以是历史进行多中心任务处理时团队中的医疗中心,也可以是后续加入目标团队的医疗中心;邀请成员可以是邀请任意成员。
3、发起中心确认团队成员,确认项目配置,并向参与中心发送多中心任务参加邀请。
4、发起中心判断参与中心接受情况及数据返回情况,若部分参与中心或全部参与中心返回接受状态,则与返回状态及数据的参与中心进行协同分析,若全部参与中心均返回拒绝状态,则多中心任务失败。
具体的,发起中心可以接受参与中心返回的接受状态或拒绝状态,并且,还可以接受返回接受状态的参与中心返回的数据,上述数据可以是发起中心在本地基于项目配置模拟进行任务处理产生的处理结果。
若部分参与中心或全部参与中心返回接受状态,则发起中心可以与返回状态及数据的参与中心进行协同分析。上述协同分析也即发起中心和参与中心均基于项目配置进行任务处理,然后对各自得到的处理结果采用联合分析方法得到多中心任务的最终处理结果。
当然,发起中心还可以基于返回的数据确定发起中心本地存储的数据质量,然后与数据质量满足标准的参与中心进行协同分析。
若全部参与中心均返回拒绝状态,则多中心任务失败。
参与中心流程:
1、参与中心收到邀请提示。
2、参与中心根据同步的项目配置,在本中心预览所需队列、数据预处理、统计分析是否能够顺利进行,若能够顺利进行,则执行判断是否同意参与多中心任务的步骤,若无法顺利进行,则拒绝加入并向发起中心返回状态。
3、判断是否同意参与多中心任务,若为是,则确认加入,并向发起中心返回状态;若为否,则拒绝加入并向发起中心返回状态。
具体的,参与中心可以在拒绝加入时返回拒绝状态,在确认加入时返回接受状态。
可以看出,对于医疗领域来说,应用本公开实施例提供的方案可以有效快速的实现基于多中心开展和推进多中心研究任务,通过研究项目配置与多中心研究团队的关联,打破科研人员在临床数据应用中业务需求与多中心研究任务开展技术需求上的壁垒,从源头保障科研数据的获取。通过规范的技术手段,实现了科研项目从单中心到多中心的应用突破,对提高医疗数据应用效率、规范医疗数据提取流程、保证医疗数据资产深度利用具有重要意义,具备推广价值。
与上述应用于第一设备的数据处理方法相对应的,本公开实施例还提供了一种应用于第一设备的数据处理装置。
参见图9,为本公开实施例提供的第一种数据处理装置的结构示意图,应用于处理发起方的第一设备,上述装置包括以下模块901-905。
规则确定模块901,用于确定数据处理的处理规则;
受邀方确定模块902,用于确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和所述处理规则;
处理反馈接收模块903,用于接收所确定处理受邀方的第二设备发送的模拟处理反馈,其中,所述模拟处理反馈为:第二设备基于所述处理规则对本地存储的数据进行模拟数据处理后生成的反馈;
参与方确定模块904,用于根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方;
数据处理模块905,用于基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理。
由以上可见,应用本公开实施例提供的方案进行数据处理时,第一设备可以确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和数据处理的处理规则,从而可以根据接收到的第二设备基于处理规则对本地存储的数据进行模拟数据处理后生成的反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方,这样第一设备可以基于本地存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理。
可以看出,采用上述方案进行数据处理时,不仅第一设备自身基于本地存储的数据按照处理规则进行数据处理,第一设备还指示了处理参与方的第三设备基于本地存储的数据按照处理规则联合进行数据处理,这样相较于仅由第一设备自身进行数据处理,提高了按照处理规则进行数据处理的设备数量,从而提高了数据处理所覆盖的数据量,进而有利于得到更加全面的数据处理结果,有利于提高数据处理结果的准确度。
另外,第一设备所接受到的反馈为第二设备根据接收到的处理规则对本地存储的数据进行模拟数据处理后生成的反馈,从而上述反馈可以是第二设备根据模拟数据处理的处理结果发送的反馈,具体的,上述反馈可以是表征第二设备是否有意向联合进行数据处理的反馈,这样有利于第一设备根据上述反馈更加合理的确定联合进行数据处理的处理参与方。
本公开的一个实施例中,所述参与方确定模块904,包括:
意向方确定子模块,用于根据所接收的模拟处理反馈,从所确定处理受邀方中确定有意向联合进行数据处理的处理意向方;
模拟处理结果获得子模块,用于获得所确定处理意向方基于所述处理规则对本地存储的数据进行模拟数据处理的模拟处理结果;
参与方确定子模块,用于基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方。
由以上可见,应用本公开实施例提供的方案确定联合进行数据处理的处理参与方时,首先根据所接收的模拟处理反馈,从处理受邀方中确定有意向联合进行数据处理的处理意向方,然后根据处理意向方基于处理规则对本地存储的数据进行模拟数据处理的模拟处理结果,将处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方,这样有利于过滤掉数据质量不满足标准的处理意向方、将本次存储的数据质量较高的处理意向方确定为处理参与方,从而有利于提高参与数据处理的数据的质量,并且有利于避免所确定的处理参与方的第三设备的数据质量参差不齐,从而有利于提高数据处理结果的质量和准确度。
本公开的一个实施例中,所述参与方确定子模块,具体用于基于数据处理的类型,确定用于评价数据质量的数据质量标准;基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足所述数据质量标准中各子标准的目标意向方确定为联合进行数据处理的处理参与方。
可见,用于评价数据质量的数据质量标准是基于数据处理的类型确定的,这样使得数据质量标准与数据处理的类型相关,更加具有针对性;另外,处理意向方中本地所存储数据满足数据质量标准中各项子标准的处理意向方才会被确定为目标意向方,这样有利于确定出本地存储数据的数据质量较高的目标意向方。
本公开的一个实施例中,所述受邀方确定模块902,具体用于从已联合进行过数据处理的团队中确定目标团队,将所述目标团队中包含的组织确定为联合进行数据处理的处理参与方;和/或将所述目标团队中的团队成员确定为联合进行数据处理的处理参与方;和/或将所述组织中包含的组织成员确定为联合进行数据处理的处理参与方;和/或将用户指定的组织和/或人员确定为联合进行数据处理的处理参与方。
可见,这样可以为处理发起方提供可复用的团队,从而便于处理发起方采用上述多种方式从可复用的团队中选取目标团队,并基于目标团队便捷、快速的确定处理受邀方。
另外,这样可以将用户指定的任意组织和/或人员确定为联合进行数据处理的处理受邀方,提高了确定处理受邀方时的灵活性。
本公开的一个实施例中,上述装置还包括:
第一处理结果获得模块,用于在所述数据处理模块905指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理之后,获得基于本地存储的数据按照所述处理规则进行数据处理得到的第一处理结果;
第二处理结果接收模块,用于接收所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则进行数据处理得到的第二处理结果;
综合数据处理结果获得模块,用于基于所述第一处理结果和所接收第二处理结果,获得综合数据处理结果。
这样第一设备不仅能够得到自身基于本地存储的数据按照处理规则进行数据处理得到的第一处理结果,还能够得到处理参与方的第三设备基于本地存储的数据按照处理规则进行数据处理得到的第二处理结果,从而能够基于第一处理结果和第二处理结果得到更加全面、准确的综合数据处理结果。
本公开的一个实施例中,所述数据处理模块905,包括:
分布式数据库建立子模块,用于基于本地存储的数据以及所确定处理参与方的第三设备存储的数据,建立分布式数据库;
数据处理子模块,用于基于所述分布式数据库存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于所述分布式数据库存储的数据按照所述处理规则联合进行数据处理。
由以上可见,第一设备可以基于分布式数据库存储的数据按照处理规则进行数据处理,并指示所确定处理参与方的第三设备基于分布式数据库存储的数据按照处理规则联合进行数据处理,由于分布式数据库能够实现便捷的数据访问和共享,因此,这样联合进行数据处理的各设备可以基于分布式数据库存储的数据便捷、高效的进行联合数据处理。
本公开的一个实施例中,所述数据处理子模块,具体用于从所确定处理参与方中确定第一访问请求方;向所确定第一访问请求方的第四设备发送针对所述分布式数据库中的第一目标数据的访问请求,其中,所述第一目标数据为:所确定第一访问请求方的第四设备存储的数据;响应于接收到所确定第一访问请求方的第四设备发送的访问请求确认消息,基于所述第一目标数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于所述分布式数据库存储的数据按照所述处理规则联合进行数据处理。
可见,第一设备可以向所确定第一访问请求方的第四设备发送数据访问请求,从而可以在获得第四设备的许可的情况下,访问分布式数据库中对应于第四设备本地存储的第一目标数据,并基于第一目标数据按照处理规则进行数据处理。这样可以使得第一设备在获得许可的情况下访问其他设备本地存储的数据,有利于扩展第一设备能够访问的数据量,提高了数据处理方案的灵活性。
本公开的一个实施例中,上述装置还包括:
消息发送模块,用于在所述参与方确定模块904从所确定处理受邀方中确定联合进行数据处理的处理参与方之后,向所确定处理参与方的第三设备发送参与确认消息,并向所确定处理受邀方的第二设备中除第三设备外的设备发送参与失败消息。
这样可以使得所确定处理受邀方中被处理发起方选中联合进行数据处理的处理参与方和未被选中的其他受邀方均接收到相应的通知消息,使得所确定受邀方能够根据接收到的消息明确的得知自身是否被确定为联合进行数据处理的处理参与方,进而有利于所确定受邀方根据自身的选中情况进行后续处理。
本公开的一个实施例中,所述处理规则包括以下子规则中的至少一种:
数据处理所针对对象的确定子规则、针对所述对象的对象属性的选取子规则、针对所述对象属性的预处理子规则、针对所述对象属性的数据抽取子规则、针对抽取结果的统计子规则、针对统计结果的审核子规则。
由以上可见,处理规则可以包括上述多种维度的子规则,基于上述层级明确的多种子规则可以灵活的组成数据处理的处理规则。
与上述应用于第二设备的数据处理方法相对应的,本公开实施例还提供了一种应用于第二设备的数据处理装置。
参见图10,为本公开实施例提供的第二种数据处理装置的结构示意图,应用于处理受邀方的第二设备,上述装置包括以下模块1001-1004。
请求和规则接收模块1001,用于接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则;
模拟数据处理模块1002,用于基于所述处理规则对本地存储的数据进行模拟数据处理;
反馈发送模块1003,用于基于所述模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈;
数据处理模块1004,用于响应于所述第一设备发送的联合处理指示,基于本地存储的数据按照所述处理规则联合进行数据处理。
由以上可见,应用本公开实施例提供的方案进行数据处理时,第二设备在接收到第一设备发送的数据处理请求的情况下,可以基于处理规则对本地存储的数据进行模拟数据处理,然后基于模拟处理结果确定是否联合进行数据处理,向第一设备发送表征是否联合进行数据处理的反馈,并在接受到第一设备发送联合处理指示的情况下联合进行数据处理。
可见,第二设备可以响应于第一设备发送的联合处理指示,与第一设备各自进行数据处理,这样相较于仅由第二设备自身进行数据处理,提高了按照处理规则进行数据处理的设备数量,从而提高了数据处理所覆盖的数据量,进而有利于得到更加全面的数据处理结果,有利于提高数据处理结果的准确度。
另外,第二设备向第一设备发送的反馈为第二设备基于处理规则对本地存储的数据进行模拟数据处理后发送的、表征是否联合进行数据处理的反馈,由于模拟处理结果可在很大程度上指导第二设备对应的处理受邀方是否适合联合进行数据处理,因此,第二设备可以根据模拟数据处理结果判断自身是否满足数据处理的要求,进而有利于第二设备在满足要求的情况下发送联合进行数据处理的反馈,从而有利于避免参与数据处理后发生数据处理障碍,侧面保障了数据处理的处理质量,有利于提高数据处理的效率。
本公开的一个实施例中,所述反馈发送模块1003,具体用于基于所述模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,其中,所述联合进行数据处理的要求为:本地所存储数据中包含所述处理规则中指定的数据处理对象、以及本地所存储数据中对象的对象属性中包含所述数据处理对象的对象属性;若为是,向所述第一设备发送表征联合进行数据处理的反馈;若为否,向所述第一设备发送表征不联合进行数据处理的反馈。
可见,第二设备可以基于模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,从而根据判断结果向第一设备发送表征是否联合进行数据处理的反馈。具体的,第二设备可以在判断自身满足联合进行数据处理的要求的情况下才向第一设备发送表征联合进行数据处理的反馈,这样通过第二设备自身的初步筛选,有利于提高第二设备对应的处理受邀方被确定为联合进行数据处理的处理参与方的概率。
本公开的一个实施例中,在所述反馈发送模块1003之后,还包括:
结果发送模块,用于向所述第一设备发送所述模拟处理结果,以使得所述第一设备基于所述模拟处理结果判断是否将所述第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
这样向第一设备发送模拟处理结果,可以使得第一设备基于模拟处理结果评估第二设备本地存储的数据的相关信息,从而有利于使得第一设备基于模拟处理结果便捷、快速的确定是否向第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
本公开的一个实施例中,所述数据处理模块1004,具体用于响应于所述第一设备发送的联合处理指示,基于本地存储的数据处理标准,判断所述第二设备对应的处理受邀方是否接受所述处理规则;若为是,基于所述处理规则对本地存储的数据进行模拟数据处理。
可见,第二设备可以先基于本地存储的数据处理标准,判断第二设备对应的处理受邀方是否接受处理规则,在接收处理规则的情况下再进行模拟数据处理,这样通过处理受邀方是否接受处理规则的判断,可以避免受邀方不接受处理规则时进行模拟数据处理所导致的计算资源浪费,有利于提高数据处理方案的实用性和用户体验。
本公开的一个实施例中,所述数据处理模块1004,包括:
数据处理子模块,基于所述第一设备建立的分布式数据库中存储的数据,按照所述处理规则联合进行数据处理,其中,所述分布式数据库中包括:本地存储的数据、所述第一设备存储的数据以及联合进行数据处理的其他处理参与方的第五设备存储的数据。
这样第二设备可以基于分布式数据库存储的数据按照处理规则联合进行数据处理,由于分布式数据库能够实现便捷的数据访问和共享,因此,这样第二设备可以基于分布式数据库存储的数据便捷、高效的进行联合数据处理。
本公开的一个实施例中,所述数据处理子模块,具体用于从所述处理发起方和联合进行数据处理的其他处理参与方中确定第二访问请求方;向所确定第二访问请求方的第六设备发送针对所述分布式数据库中的第二目标数据的访问请求,其中,所述第二目标数据为:所确定第二访问请求方的第六设备存储的数据;响应于接收到所确定第二访问请求方的第六设备发送的访问请求确认消息,基于所述第二目标数据按照所述处理规则联合进行数据处理。
可见,第二设备可以向所确定第二访问请求方的第六设备发送数据访问请求,从而可以在获得第六设备的许可的情况下,访问分布式数据库中对应于第六设备本地存储的第二目标数据,并基于第二目标数据按照处理规则进行数据处理。这样可以使得第二设备在获得许可的情况下访问其他设备本地存储的数据,有利于扩展第二设备能够访问的数据量,提高了数据处理方案的灵活性。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本公开的一个实施例中,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述应用于第一设备或第二设备的数据处理方法。
本公开的一个实施例中,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述应用于第一设备或第二设备的数据处理方法。
本公开的一个实施例中,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现前述应用于第一设备或第二设备的数据处理方法。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示,设备1100包括计算单元1101,其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序,来执行各种适当的动作和处理。在RAM 1103中,还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105,包括:输入单元1106,例如键盘、鼠标等;输出单元1107,例如各种类型的显示器、扬声器等;存储单元1108,例如磁盘、光盘等;以及通信单元1109,例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理,例如应用于第一设备或第二设备的数据处理方法。例如,在一些实施例中,应用于第一设备或第二设备的数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1108。在一些实施例中,计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算单元1101执行时,可以执行上文描述的应用于第一设备或第二设备的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元1101可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行应用于第一设备或第二设备的数据处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (28)
1.一种数据处理方法,应用于处理发起方的第一设备,包括:
确定数据处理的处理规则;
确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和所述处理规则;
接收所确定处理受邀方的第二设备发送的模拟处理反馈,其中,所述模拟处理反馈为:第二设备基于所述处理规则对本地存储的数据进行模拟数据处理后生成的反馈;
根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方;
基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理;
所述根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方,包括:
根据所接收的模拟处理反馈,从所确定处理受邀方中确定有意向联合进行数据处理的处理意向方;获得所确定处理意向方基于所述处理规则对本地存储的数据进行模拟数据处理的模拟处理结果;基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方;
所述处理规则按照以下方式确定:
获得待确定的处理规则;基于所述待确定的处理规则对所述第一设备本地存储的数据进行多次模拟数据处理,若所述模拟数据处理的过程正常且所述模拟数据处理的结果符合预期,则将所述待确定的处理规则确定为处理规则。
2.根据权利要求1所述的方法,其中,所述基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方,包括:
基于数据处理的类型,确定用于评价数据质量的数据质量标准;
基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足所述数据质量标准中各子标准的目标意向方确定为联合进行数据处理的处理参与方。
3.根据权利要求1所述的方法,其中,所述确定联合进行数据处理的处理受邀方,包括:
从已联合进行过数据处理的团队中确定目标团队,将所述目标团队中包含的组织确定为联合进行数据处理的处理参与方;
和/或
将所述目标团队中的团队成员确定为联合进行数据处理的处理参与方;
和/或
将所述组织中包含的组织成员确定为联合进行数据处理的处理参与方;
和/或
将用户指定的组织和/或人员确定为联合进行数据处理的处理参与方。
4.根据权利要求1-3中任一项所述的方法,其中,在所述指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理之后,还包括:
获得基于本地存储的数据按照所述处理规则进行数据处理得到的第一处理结果;
接收所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则进行数据处理得到的第二处理结果;
基于所述第一处理结果和所接收第二处理结果,获得综合数据处理结果。
5.根据权利要求1-3中任一项所述的方法,其中,所述基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理,包括:
基于本地存储的数据以及所确定处理参与方的第三设备存储的数据,建立分布式数据库;
基于所述分布式数据库存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于所述分布式数据库存储的数据按照所述处理规则联合进行数据处理。
6.根据权利要求5所述的方法,其中,所述基于所述分布式数据库存储的数据按照所述处理规则进行数据处理,包括:
从所确定处理参与方中确定第一访问请求方;
向所确定第一访问请求方的第四设备发送针对所述分布式数据库中的第一目标数据的访问请求,其中,所述第一目标数据为:所确定第一访问请求方的第四设备存储的数据;
响应于接收到所确定第一访问请求方的第四设备发送的访问请求确认消息,基于所述第一目标数据按照所述处理规则进行数据处理。
7.根据权利要求1-3中任一项所述的方法,其中,在所述从所确定处理受邀方中确定联合进行数据处理的处理参与方之后,还包括:
向所确定处理参与方的第三设备发送参与确认消息,并向所确定处理受邀方的第二设备中除第三设备外的设备发送参与失败消息。
8.根据权利要求1-3中任一项所述的方法,其中,所述处理规则包括以下子规则中的至少一种:
数据处理所针对对象的确定子规则、针对所述对象的对象属性的选取子规则、针对所述对象属性的预处理子规则、针对所述对象属性的数据抽取子规则、针对抽取结果的统计子规则、针对统计结果的审核子规则。
9.一种数据处理方法,应用于处理受邀方的第二设备,包括:
接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则;
基于所述处理规则对本地存储的数据进行模拟数据处理;
基于模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈;
响应于所述第一设备发送的联合处理指示,基于本地存储的数据按照所述处理规则联合进行数据处理;
所述基于所述模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈,包括:
基于所述模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,其中,所述联合进行数据处理的要求为:本地所存储数据中包含所述处理规则中指定的数据处理对象、以及本地所存储数据中对象的对象属性中包含所述数据处理对象的对象属性;若为是,向所述第一设备发送表征联合进行数据处理的反馈;若为否,向所述第一设备发送表征不联合进行数据处理的反馈;
所述处理规则按照以下方式确定:
获得待确定的处理规则;基于所述待确定的处理规则对所述第一设备本地存储的数据进行多次模拟数据处理,若所述模拟数据处理的过程正常且所述模拟数据处理的结果符合预期,则将所述待确定的处理规则确定为处理规则。
10.根据权利要求9所述的方法,其中,在所述向所述第一设备发送表征是否联合进行数据处理的反馈之后,还包括:
向所述第一设备发送所述模拟处理结果,以使得所述第一设备基于所述模拟处理结果判断是否将所述第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
11.根据权利要求9所述的方法,其中,所述基于所述处理规则对本地存储的数据进行模拟数据处理,包括:
基于本地存储的数据处理标准,判断所述第二设备对应的处理受邀方是否接受所述处理规则;
若为是,基于所述处理规则对本地存储的数据进行模拟数据处理。
12.根据权利要求9-11中任一项所述的方法,其中,所述基于本地存储的数据按照所述处理规则联合进行数据处理,包括:
基于所述第一设备建立的分布式数据库中存储的数据,按照所述处理规则联合进行数据处理,其中,所述分布式数据库中包括:本地存储的数据、所述第一设备存储的数据以及联合进行数据处理的其他处理参与方的第五设备存储的数据。
13.根据权利要求12所述的方法,其中,所述基于所述第一设备建立的分布式数据库中存储的数据,按照所述处理规则联合进行数据处理,包括:
从所述处理发起方和联合进行数据处理的其他处理参与方中确定第二访问请求方;
向所确定第二访问请求方的第六设备发送针对所述分布式数据库中的第二目标数据的访问请求,其中,所述第二目标数据为:所确定第二访问请求方的第六设备存储的数据;
响应于接收到所确定第二访问请求方的第六设备发送的访问请求确认消息,基于所述第二目标数据按照所述处理规则联合进行数据处理。
14.一种数据处理装置,应用于处理发起方的第一设备,包括:
规则确定模块,用于确定数据处理的处理规则;所述处理规则按照以下方式确定:获得待确定的处理规则;基于所述待确定的处理规则对所述第一设备本地存储的数据进行多次模拟数据处理,若所述模拟数据处理的过程正常且所述模拟数据处理的结果符合预期,则将所述待确定的处理规则确定为处理规则;
受邀方确定模块,用于确定联合进行数据处理的处理受邀方,并向所确定处理受邀方的第二设备发送数据处理请求和所述处理规则;
处理反馈接收模块,用于接收所确定处理受邀方的第二设备发送的模拟处理反馈,其中,所述模拟处理反馈为:第二设备基于所述处理规则对本地存储的数据进行模拟数据处理后生成的反馈;
参与方确定模块,用于根据所接收的模拟处理反馈,从所确定处理受邀方中确定联合进行数据处理的处理参与方;
数据处理模块,用于基于本地存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理;
所述参与方确定模块,包括:
意向方确定子模块,用于根据所接收的模拟处理反馈,从所确定处理受邀方中确定有意向联合进行数据处理的处理意向方;
模拟处理结果获得子模块,用于获得所确定处理意向方基于所述处理规则对本地存储的数据进行模拟数据处理的模拟处理结果;
参与方确定子模块,用于基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足数据质量标准的目标意向方确定为联合进行数据处理的处理参与方。
15.根据权利要求14所述的装置,其中,
所述参与方确定子模块,具体用于基于数据处理的类型,确定用于评价数据质量的数据质量标准;基于所获得模拟处理结果,将所确定处理意向方中本地所存储数据满足所述数据质量标准中各子标准的目标意向方确定为联合进行数据处理的处理参与方。
16.根据权利要求14所述的装置,其中,
所述受邀方确定模块,具体用于从已联合进行过数据处理的团队中确定目标团队,将所述目标团队中包含的组织确定为联合进行数据处理的处理参与方;
和/或
将所述目标团队中的团队成员确定为联合进行数据处理的处理参与方;
和/或
将所述组织中包含的组织成员确定为联合进行数据处理的处理参与方;
和/或
将用户指定的组织和/或人员确定为联合进行数据处理的处理参与方。
17.根据权利要求14-16中任一项所述的装置,其中,所述装置还包括:
第一处理结果获得模块,用于在所述数据处理模块指示所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则联合进行数据处理之后,获得基于本地存储的数据按照所述处理规则进行数据处理得到的第一处理结果;
第二处理结果接收模块,用于接收所确定处理参与方的第三设备基于本地存储的数据按照所述处理规则进行数据处理得到的第二处理结果;
综合数据处理结果获得模块,用于基于所述第一处理结果和所接收第二处理结果,获得综合数据处理结果。
18.根据权利要求14-16中任一项所述的装置,其中,所述数据处理模块,包括:
分布式数据库建立子模块,用于基于本地存储的数据以及所确定处理参与方的第三设备存储的数据,建立分布式数据库;
数据处理子模块,用于基于所述分布式数据库存储的数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于所述分布式数据库存储的数据按照所述处理规则联合进行数据处理。
19.根据权利要求18所述的装置,其中,
所述数据处理子模块,具体用于从所确定处理参与方中确定第一访问请求方;向所确定第一访问请求方的第四设备发送针对所述分布式数据库中的第一目标数据的访问请求,其中,所述第一目标数据为:所确定第一访问请求方的第四设备存储的数据;响应于接收到所确定第一访问请求方的第四设备发送的访问请求确认消息,基于所述第一目标数据按照所述处理规则进行数据处理,并指示所确定处理参与方的第三设备基于所述分布式数据库存储的数据按照所述处理规则联合进行数据处理。
20.根据权利要求14-16中任一项所述的装置,其中,所述装置还包括:
消息发送模块,用于在所述参与方确定模块从所确定处理受邀方中确定联合进行数据处理的处理参与方之后,向所确定处理参与方的第三设备发送参与确认消息,并向所确定处理受邀方的第二设备中除第三设备外的设备发送参与失败消息。
21.根据权利要求14-16中任一项所述的装置,其中,所述处理规则包括以下子规则中的至少一种:
数据处理所针对对象的确定子规则、针对所述对象的对象属性的选取子规则、针对所述对象属性的预处理子规则、针对所述对象属性的数据抽取子规则、针对抽取结果的统计子规则、针对统计结果的审核子规则。
22.一种数据处理装置,应用于处理受邀方的第二设备,包括:
请求和规则接收模块,用于接收处理发起方的第一设备发送的数据处理请求和数据处理的处理规则;所述处理规则按照以下方式确定:获得待确定的处理规则;基于所述待确定的处理规则对所述第一设备本地存储的数据进行多次模拟数据处理,若所述模拟数据处理的过程正常且所述模拟数据处理的结果符合预期,则将所述待确定的处理规则确定为处理规则;
模拟数据处理模块,用于基于所述处理规则对本地存储的数据进行模拟数据处理;
反馈发送模块,用于基于所述模拟处理结果,向所述第一设备发送表征是否联合进行数据处理的反馈;
数据处理模块,用于响应于所述第一设备发送的联合处理指示,基于本地存储的数据按照所述处理规则联合进行数据处理;
所述反馈发送模块,具体用于基于模拟处理结果,判断本地所存储数据是否满足联合进行数据处理的要求,其中,所述联合进行数据处理的要求为:本地所存储数据中包含所述处理规则中指定的数据处理对象、以及本地所存储数据中对象的对象属性中包含所述数据处理对象的对象属性;若为是,向所述第一设备发送表征联合进行数据处理的反馈;若为否,向所述第一设备发送表征不联合进行数据处理的反馈。
23.根据权利要求22所述的装置,其中,在所述反馈发送模块之后,还包括:
结果发送模块,用于向所述第一设备发送所述模拟处理结果,以使得所述第一设备基于所述模拟处理结果判断是否将所述第二设备对应的处理受邀方确定为联合进行数据处理的处理参与方。
24.根据权利要求22所述的装置,其中,
所述数据处理模块,具体用于响应于所述第一设备发送的联合处理指示,基于本地存储的数据处理标准,判断所述第二设备对应的处理受邀方是否接受所述处理规则;若为是,基于所述处理规则对本地存储的数据进行模拟数据处理。
25.根据权利要求22-24中任一项所述的装置,其中,所述数据处理模块,包括:
数据处理子模块,基于所述第一设备建立的分布式数据库中存储的数据,按照所述处理规则联合进行数据处理,其中,所述分布式数据库中包括:本地存储的数据、所述第一设备存储的数据以及联合进行数据处理的其他处理参与方的第五设备存储的数据。
26.根据权利要求25所述的装置,其中,
所述数据处理子模块,具体用于从所述处理发起方和联合进行数据处理的其他处理参与方中确定第二访问请求方;向所确定第二访问请求方的第六设备发送针对所述分布式数据库中的第二目标数据的访问请求,其中,所述第二目标数据为:所确定第二访问请求方的第六设备存储的数据;响应于接收到所确定第二访问请求方的第六设备发送的访问请求确认消息,基于所述第二目标数据按照所述处理规则联合进行数据处理。
27.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8或9-13中任一项所述的方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8或9-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310027013.7A CN116244374B (zh) | 2023-01-09 | 2023-01-09 | 一种数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310027013.7A CN116244374B (zh) | 2023-01-09 | 2023-01-09 | 一种数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116244374A CN116244374A (zh) | 2023-06-09 |
CN116244374B true CN116244374B (zh) | 2024-04-19 |
Family
ID=86628929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310027013.7A Active CN116244374B (zh) | 2023-01-09 | 2023-01-09 | 一种数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116244374B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347662A (zh) * | 2019-07-12 | 2019-10-18 | 之江实验室 | 一种基于通用数据模型的多中心医疗数据结构标准化*** |
CN110362586A (zh) * | 2019-07-12 | 2019-10-22 | 之江实验室 | 一种无患者数据共享的多中心生物医学数据协同处理***及方法 |
CN112416991A (zh) * | 2020-11-30 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9692721B2 (en) * | 2013-03-22 | 2017-06-27 | Adobe Systems Incorporated | Invitations for establishing relationships |
-
2023
- 2023-01-09 CN CN202310027013.7A patent/CN116244374B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347662A (zh) * | 2019-07-12 | 2019-10-18 | 之江实验室 | 一种基于通用数据模型的多中心医疗数据结构标准化*** |
CN110362586A (zh) * | 2019-07-12 | 2019-10-22 | 之江实验室 | 一种无患者数据共享的多中心生物医学数据协同处理***及方法 |
CN112416991A (zh) * | 2020-11-30 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置以及存储介质 |
Non-Patent Citations (1)
Title |
---|
Value co-creation between firms and customers: The role of big data-based cooperative assets;Kang Xie等;《Information & Management》;20160617;第1034-1048页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116244374A (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12003393B2 (en) | Parallel computational framework and application server for determining path connectivity | |
US20220261409A1 (en) | Extrapolating trends in trust scores | |
US10311106B2 (en) | Social graph visualization and user interface | |
Cabrerizo et al. | A decision support system to develop a quality management in academic digital libraries | |
US9438619B1 (en) | Crowdsourcing of trustworthiness indicators | |
US9922134B2 (en) | Assessing and scoring people, businesses, places, things, and brands | |
US20120130940A1 (en) | Real-time analytics of streaming data | |
WO2014039898A2 (en) | Human workflow aware recommendation engine | |
MX2012003721A (es) | Sistemas y metodos para analitica de datos graficos sociales para determinar conectividad dentro de una comunidad. | |
Omar et al. | A TOPSIS‐based approach for prioritized aggregation in multi‐criteria decision‐making problems | |
US20160217427A1 (en) | Systems, methods, and devices for implementing a referral processing engine | |
WO2020151170A1 (zh) | 一种岗位画像设置方法、岗位画像设置装置及终端设备 | |
CN112417060A (zh) | 识别企业关系的方法、装置、设备和计算机可读介质 | |
Górecka et al. | MARS–a hybrid of ZAPROS and MACBETH for verbal evaluation of the negotiation template | |
EP3494529A1 (en) | Systems and methods for avoiding network congestion on web-based survey platforms | |
CN116244374B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN111177653B (zh) | 一种信用评估方法和装置 | |
Saghaeiannejad-Isfahani et al. | Assessment of success of financial information system in educational, health, and medical centers affiliated to Isfahan University of Medical Sciences | |
CN113918102B (zh) | 一种基于区块链的数据处理方法、装置、设备及存储介质 | |
US20200184424A1 (en) | Computer-generated team based metrics for candidate onboarding and retention | |
CN113032817B (zh) | 基于区块链的数据对齐方法、装置、设备和介质 | |
CN114723277A (zh) | 绩效评价的方法、装置、设备、介质和程序产品 | |
Hu et al. | An evidence theory based approach for group decision making under uncertainty | |
US9773066B2 (en) | Methods and devices for collection and heuristic analysis of large-scale biographical information | |
CN114693429A (zh) | 服务提供方和服务对象双向匹配选择方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |