CN112487495B - 基于大数据和云计算的数据处理方法及大数据服务器 - Google Patents

基于大数据和云计算的数据处理方法及大数据服务器 Download PDF

Info

Publication number
CN112487495B
CN112487495B CN202011388984.7A CN202011388984A CN112487495B CN 112487495 B CN112487495 B CN 112487495B CN 202011388984 A CN202011388984 A CN 202011388984A CN 112487495 B CN112487495 B CN 112487495B
Authority
CN
China
Prior art keywords
service
data
service data
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202011388984.7A
Other languages
English (en)
Other versions
CN112487495A (zh
Inventor
李孔雀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Limayao Network Technology Co ltd
Original Assignee
Xiamen Limayao Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Limayao Network Technology Co ltd filed Critical Xiamen Limayao Network Technology Co ltd
Priority to CN202110531197.1A priority Critical patent/CN113312673A/zh
Priority to CN202110531196.7A priority patent/CN113177235A/zh
Priority to CN202011388984.7A priority patent/CN112487495B/zh
Publication of CN112487495A publication Critical patent/CN112487495A/zh
Application granted granted Critical
Publication of CN112487495B publication Critical patent/CN112487495B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的基于大数据和云计算的数据处理方法及大数据服务器,会首先考虑存在业务认证签名的非共享型业务数据以及存在修改权限标识的共享型业务数据,这样能够确定出不同业务交互数据之间对应的目标业务数据集,进而实现对目标业务数据集的权限更新处理。在对当前共享型业务数据进行汇总时能够考虑数据修改权限的调整,从而实现对当前共享型业务数据的目标权限标识的实时更新。通过更新目标权限标识能够建立针对当前共享型业务数据的共享保护机制,能够在共享待使用业务数据时,确保待使用业务数据不会被随意地篡改,从而确保正常的共享业务处理进程,避免处于数据共享状态的用户终端的数据信息泄露,进而确保数据共享的安全性。

Description

基于大数据和云计算的数据处理方法及大数据服务器
技术领域
本申请涉及大数据和云计算技术领域,具体而言,涉及一种基于大数据和云计算的数据处理方法及大数据服务器。
背景技术
随着大数据的发展,现目前的业务处理几乎都可以在云端进行,极大地提高了各行各业的业务处理效率。智能终端功能的不断完善使得用户能够在云上进行业务数据的交互。在一些业务场景下,不可避免地需要进行业务数据共享,然而在业务数据共享时,如何确保数据共享的安全性是需要注意的一个技术问题。
发明内容
本申请的第一个方面公开了一种基于大数据和云计算的数据处理方法,包括:
获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据,其中,所述第一业务交互数据为存在业务认证签名的非共享型业务数据,所述第二业务交互数据为存在修改权限标识的共享型业务数据;
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集;
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据。
优选的实施方式中,确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息包括:
确定所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度;
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值,其中,所述业务相似度信息包括所述相似度融合权重值;
其中,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值包括以下至少之一:
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据时序相似度以确定所述相似度融合权重值;
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的相似度融合系数以确定所述相似度融合权重值;
确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务事件标签,基于确定出的业务事件标签以及所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的特征相似度确定所述相似度融合权重值。
优选的实施方式中,基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集包括:对所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集按照业务相似度信息的相似度评价值的由大到小的顺序进行排序;
通过如下方式之一从排序后的所述对应业务数据集中确定出所述目标业务数据集:
按顺序选取设定数量的所述对应业务数据集作为所述目标业务数据集;
按顺序选取设定比例的所述对应业务数据集作为所述目标业务数据集;
将业务相似度信息对应的相似度融合权重值小于第一预定权重值的所述对应业务数据集确定为所述目标业务数据集;
按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集;
基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集。
优选的实施方式中,按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集包括:
确定与业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集的业务相似度信息对应的迭代更新次数,其中,业务相似度信息对应的相似度融合权重值对应的相似度融合权重值越小,对应的迭代更新次数越大;
按照确定的迭代更新次数对业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集进行迭代更新;
对迭代更新后的所述对应业务数据集按照数据集时效性权重由小到大的顺序进行排序,以得到所述目标业务数据集;
其中,基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集包括:
按顺序选取设定数量的所述对应业务数据集,并计算所述设定数量的所述对应业务数据集的第一业务数据时序相似度,其中,所述设定数量为预先确定的最小匹配数;
按顺序选取设定数量加一的所述对应业务数据集,并计算所述设定数量加一的所述对应业务数据集的第二业务数据时序相似度;
在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值大于或等于预定相似度差值时,将所述设定数量的所述对应业务数据集确定为所述目标业务数据集;
在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值小于所述预定相似度差值时,重复执行选取比前一次选取数量多一个的所述对应业务数据集,直到后选取出的所述对应业务数据集的业务数据时序相似度与前一次选取出的所述对应业务数据集的业务数据时序相似度的差值大于或等于所述预定相似度差值,并将前一次选取出的所述对应业务数据集确定为所述目标业务数据集。
优选的实施方式中,基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理包括:
使用数据列表清单表示所述第一业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第一数据列表特征矩阵,对所述第一数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第一目标矩阵;
使用数据列表清单表示所述第二业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第二数据列表特征矩阵,对所述第二数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第二目标矩阵;
基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据;基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新。
优选的实施方式中,基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据包括:
判断所述第一业务交互数据中的各所述目标业务数据集对应的第一目标矩阵的矩阵特征描述值是否处于第一权限更新描述值阈值范围内;
将第一目标矩阵处于所述第一权限更新描述值阈值范围内的目标业务数据集的第一目标矩阵的矩阵特征描述值设为选定数值,维持其他目标业务数据集的第一目标矩阵的矩阵特征描述值不变,以得到所述第一已更新业务数据;
其中,基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新包括:
判断所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第一设定描述值的和是否处于第二权限更新描述值阈值范围内,其中,所述第一设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应的第一目标矩阵的矩阵特征描述指与设定权限安全指数的乘积;将第二目标矩阵与所述第一设定描述值的和处于所述第二权限更新描述值阈值范围内的目标业务数据集的第二目标矩阵设为选定数值,维持其他目标业务数据集的第二目标矩阵的矩阵特征描述值不变,以得到第二已更新业务数据;
或,
将所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第二设定描述值的乘积作为所述目标业务数据集的第二目标矩阵,以得到第二已更新业务数据,其中,所述第二设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度和历史时序相似度均值的差与所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度的比值。
优选的实施方式中,对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据包括以下之一:
采用确定业务数据时序相似度的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
采用确定相似度融合系数的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
将所述存在目标权限标识的当前共享型业务数据中包括的进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值进行比较,通过对选取进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值相似度差值最小的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值求平均来确定所述存在目标权限标识的当前共享型业务数据的矩阵特征描述值,以得到所述待使用业务数据。
优选的实施方式中,采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据,包括:
通过所述共享数据安全校验模型将当前共享型业务数据划分为若干个业务数据段集合;其中,每个业务数据段集合包含多个业务数据段;
基于所述当前共享型业务数据的第一共享校验指标,得到所述业务数据段的第二共享校验指标;其中,所述第一共享校验指标是利用历史异常共享记录得到的;
针对至少一个所述业务数据段集合:分别以至少一个业务数据段的第二共享校验指标为参考指标,利用预设指标提取算法获取所述至少一个业务数据段的最佳校验指标;并利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标;
基于所述业务数据段的所述第二共享校验指标和所述最佳校验指标,确定对应所述业务数据段的目标共享校验指标;
通过所述目标共享校验指标对应的校验指标聚类结果将所述业务数据段进行拼接,得到所述待使用业务数据;其中,所述待使用业务数据由多个用户终端共享;
其中,所述利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标,包括:基于所述至少一个业务数据段的业务数据段数量和在所述业务数据段集合中的相对序列位置,选择对应的校验指标确定方式;利用所述校验指标确定方式对所述至少一个业务数据段的最佳校验指标进行确定,得到所述业务数据段集合内其他所述业务数据段的最佳校验指标。
优选的实施方式中,在获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据之前,所述方法还包括:
获取对目标用户终端进行业务数据采集后所得到的第三业务交互数据,其中,所述第三业务交互数据为包括至少两种数据共享持续时长的共享型业务数据;
将所述第三业务交互数据转换成至少两个所述第二业务交互数据,其中,不同的所述第二业务交互数据中包括有不同的数据共享持续时长;
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集;
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;
对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据;
在得到所述待使用业务数据之后,所述方法还包括:将得到的至少两个待使用业务数据进行汇总,以得到与所述第三业务交互数据对应的待使用业务数据。
本申请的第二个方面公开了一种大数据服务器,包括处理引擎、网络模块和存储器;所述处理引擎和所述存储器通过所述网络模块通信,所述处理引擎从所述存储器中读取计算机程序并运行,以执行第一个方面所述的方法。
相较于现有技术,本发明实施例提供的基于大数据和云计算的数据处理方法及大数据服务器具有以下技术效果:在确定待使用业务数据之前,会首先考虑存在业务认证签名的非共享型业务数据以及存在修改权限标识的共享型业务数据,这样能够确定出第一业务交互数据和第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集,进而实现对第二业务交互数据中的目标业务数据集的权限更新处理。如此,在对当前共享型业务数据进行汇总时,能够考虑数据修改权限的调整,从而实现对当前共享型业务数据的目标权限标识的实时更新。这样一来,通过更新目标权限标识能够建立针对当前共享型业务数据的共享保护机制,能够在共享待使用业务数据时,确保待使用业务数据不会被随意地篡改,从而确保正常的共享业务处理进程,避免处于数据共享状态的用户终端的数据信息泄露,进而确保数据共享的安全性。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
附图中的方法、***和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例,其中参考数字在附图的各个视图中代表相似的机构。
图1是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理***的框图。
图2是根据本发明的一些实施例所示的一种示例性大数据服务器中硬件和软件组成的示意图。
图3是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理方法和/或过程的流程图。
图4是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理装置的框图。
具体实施方式
在前述背景技术的基础上,发明人对常见的业务数据共享技术进行研究和分析后发现,常见的业务数据共享技术在进行数据共享时不会考虑共享业务数据的修改权限,这会导致共享业务数据可能被恶意篡改,从而影响共享业务处理进程,还可能造成处于数据共享状态的用户终端的数据信息泄露。
为改善或解决上述问题,本发明实施例提供了基于大数据和云计算的数据处理方法及大数据服务器,通过采集到的不同业务交互数据进行分析和挖掘,从而整理出携带目标权限标识的待使用业务数据,这样能够在共享待使用业务数据时,确保待使用业务数据不会被随意地篡改,从而确保正常的共享业务处理进程,避免处于数据共享状态的用户终端的数据信息泄露,进而确保数据共享的安全性。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中,通过实例阐述了许多具体细节,以便提供对相关指导的全面了解。然而,对于本领域的技术人员来说,显然可以在没有这些细节的情况下实施本发明。在其他情况下,公知的方法、程序、***、组成和/或电路已经在一个相对较高水平上被描述,没有细节,以避免不必要的模糊本发明的方面。
这些和其他特性、当前申请披露的功能、执行的方法、结构中相关元素的功能和部件的组合和生产经济性,在参照附图进行以下描述的考虑中可能会变得更加明显,所有这些形成本申请的一部分。然而,需要理解清楚的是,附图仅仅是为了说明和描述的目的,并不旨在限制本申请的范围。应当了解的是,这些图纸不是按比例绘制的。然而,应当明确理解的是,附图仅用于说明和描述的目的,并不意图限制本发明的范围。应当知晓的是,这些附图并不依照比例。
本申请中使用流程图说明根据本申请的实施例的***所执行的执行过程。应当明确理解的是,流程图的执行过程可以不按顺序执行。相反,这些执行过程可以以相反的顺序或同时执行。另外,可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
图1是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理***300的框图,基于大数据和云计算的数据处理***300可以包括大数据服务器100和多个用户终端200。
在一些实施例中,如图2所示,大数据服务器100可以包括处理引擎110、网络模块120和存储器130,处理引擎110和存储器130通过网络模块120通信。
处理引擎110可以处理相关的信息和/或数据以执行本申请中描述的一个或多个功能。例如,在一些实施例中,处理引擎110可以包括至少一个处理引擎(例如,单核处理引擎或多核处理器)。仅作为示例,处理引擎110可以包括中央处理单元(Central ProcessingUnit,CPU)、专用集成电路(Application-Specific Integrated Circuit,ASIC)、专用指令集处理器(Application-Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field ProgrammableGate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、精简指令集计算机(Reduced Instruction-Set Computer,RISC)、微处理器等或其任意组合。
网络模块120可以促进信息和/或数据的交换。在一些实施例中,网络模块120可以是任何类型的有线或无线网络或其组合。仅作为示例,网络模块120可以包括缆线网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网络(Wireless Local Area Network,WLAN)、城域网(Metropolitan Area Network,MAN)、公用电话交换网(Public Telephone SwitchedNetwork,PSTN)、蓝牙网络、无线个域网络、近场通讯(Near Field Communication,NFC)网络等或上述举例的任意组合。在一些实施例中,网络模块120可以包括至少一个网络接入点。例如,网络模块120可以包括有线或无线网路接入点,如基站和/或网路接入点。
存储器130可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器130用于存储程序,所述处理引擎110在接收到执行指令后,执行所述程序。
可以理解,图2所示的结构仅为示意,大数据服务器100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理方法和/或过程的流程图,基于大数据和云计算的数据处理方法应用于图1和/或图2中的大数据服务器100,具体可以包括以下步骤S11-步骤S13所描述的内容。
步骤S11,获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据。
例如,所述第一业务交互数据为存在业务认证签名的非共享型业务数据,所述第二业务交互数据为存在修改权限标识的共享型业务数据。进一步地,目标用户终端可以是涉及到多个领域的业务终端,目标用户终端可以是手机、平板电脑、笔记本电脑以及可穿戴智能设备等,在此不作限定。业务认证签名可以是不同的用户终端在进行业务交互或者处理时添加的用于进行后期的数据溯源或身份信息溯源的签名,该签名可以是数字签名。第一业务交互数据不用于共享。第二交互业务数据可以用于共享,进一步地,修改权限标识用于表征共享型业务数据在共享时能够被允许修改哪些数据。例如,修改权限标识XX可以用于表征共享型业务数据Data在共享时,共享型业务数据Data中的业务数据Data1可以被修改。
步骤S12,确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集。
例如,第一业务交互数据和第二业务交互数据中的业务数据集可以是一一对应关系。业务相似度信息用于表征不同业务数据集在业务类型、业务需求、业务处理形式等层面的相似信息,业务相似度信息可以从多个维度实现不同业务数据集之间的综合比较。预设指标条件可以根据实际业务情况进行灵活选择,在后续进行说明,因此在此不作赘述。
步骤S13,基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据。
可以理解,第一业务交互数据和第二业务交互数据中的业务数据集可以是一一对应关系,那么第一业务交互数据和第二业务交互数据中的目标业务数据集也可以是一一对应关系。这里的权限更新处理可以是对所述第二业务交互数据中的所述目标业务数据集的数据修改权限进行调整。例如,共享型业务数据在数据修改权限调整之前对应修改权限标识,共享型业务数据在数据修改权限调整之后对应目标权限标识,目标权限标识和修改权限标识之间是存在差异的。当前共享性业务数据可以是用于进行后续共享的数据,待使用业务数据是当前共享型业务数据的汇总数据,待使用业务数据可以在大数据服务器对应的数据共享平台上发布,从而供多个用户终端共享使用或者修改。
可以理解,通过上述步骤S11-步骤S13,在确定待使用业务数据之前,会首先考虑存在业务认证签名的非共享型业务数据以及存在修改权限标识的共享型业务数据,这样能够确定出第一业务交互数据和第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集,进而实现对第二业务交互数据中的目标业务数据集的权限更新处理。如此,在对当前共享型业务数据进行汇总时,能够考虑数据修改权限的调整,从而实现对当前共享型业务数据的目标权限标识的实时更新。这样一来,通过更新目标权限标识能够建立针对当前共享型业务数据的共享保护机制,能够在共享待使用业务数据时,确保待使用业务数据不会被随意地篡改,从而确保正常的共享业务处理进程,避免处于数据共享状态的用户终端的数据信息泄露,进而确保数据共享的安全性。
接下来将对一些可选实施例进行说明,这些实施例应当理解为示例,不应理解为实现本方案所必不可少的技术特征。
在一个可能的实施例中,为了确保业务相似度信息能够准确反应不同业务交互数据之间在业务层面的相似情况,同时避免业务相似度信息占据大数据服务器较多的存储空间,步骤S12所描述的确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,可以步骤S121和步骤S122。
步骤S121,确定所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度。
例如,业务数据特征可以通过预设的特征提取模型进行提取得到,预设的特征提取模型可以是卷积神经网络(卷积神经网络对应的训练过程为现有技术)。业务数据特征可以通过向量形式进行表示。
步骤S122,基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值。
例如,相似度融合权重值可以是不同特征相似度对应的融合权重值,所述业务相似度信息包括所述相似度融合权重值。
如此设计,通过应用上述步骤S121和步骤S122,能够基于业务数据特征之间的特征相似度确定相似度融合权重值,从基于相似度融合权重值确保业务相似度信息能够准确反应不同业务交互数据之间在业务层面的相似情况,同时,由于相似度融合权重值是精简之后的,因而能够避免业务相似度信息占据大数据服务器较多的存储空间。
进一步地,步骤S122所描述的确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值可以包括以下至少之一的实施方式。
第一种实施方式,基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据时序相似度以确定所述相似度融合权重值。例如,业务数据时序相似度用于表征业务数据集在时序层面上的相似度。
第二种实施方式,基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的相似度融合系数以确定所述相似度融合权重值。例如,相似度融合系数可以根据预设的特征提取模型中的模型参数确定。
第三种实施方式,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务事件标签,基于确定出的业务事件标签以及所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的特征相似度确定所述相似度融合权重值。例如,业务事件标签用于表征不同业务数据集的不同业务事件信息。
在实际应用时,在应用上述三种确定相似度融合权重值的方式时,可以择一应用,也可以同时选择多个进行应用,在同时选择多个进行应用时,可以对确定出的相似度融合权重值进行均值计算以确定出最终的相似度融合权重值。这样能够灵活地确定相似度融合权重值,从而确保上述实施方式能够在不同的业务场景下使用。
在一些示例中,步骤S12所描述的基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集,可以包括步骤S120:对所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集按照业务相似度信息的相似度评价值的由大到小的顺序进行排序。例如,相似度评价值可以根据确定业务相似度信息所参考的相关数据和信息进行确定,相似度评价值可以用于表征业务相似度信息的可信度或者置信度。
进一步地,可以通过如下方式之一从排序后的所述对应业务数据集中确定出所述目标业务数据集。
(1)按顺序选取设定数量的所述对应业务数据集作为所述目标业务数据集。例如,设定数量可以预先设置,在此不作限定。
(2)按顺序选取设定比例的所述对应业务数据集作为所述目标业务数据集。例如,设定比例可以预先设置,在此不作限定。
(3)将业务相似度信息对应的相似度融合权重值小于第一预定权重值的所述对应业务数据集确定为所述目标业务数据集。
例如,第一预定权重值可以预先设置,在此不作限定。第一预定权重值可以是动态权重值。
(4)按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集。
例如,第二预定权重值可以预先设置,在此不作限定。第二预定权重值可以是静态权重值。迭代更新可以是对业务数据集进行数据扩充。预设迭代次数根据实际业务需求进行选择,在此不作限定。
(5)基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集。
例如,变化曲线可以将累计的业务数据时序相似度按照时序先后顺序进行拟合得到。
可以理解的是,基于上述五种确定目标业务数据集,能够确保目标业务数据集的灵活确定,从而保证在不同的业务场景下可以选择合适的方式来确定目标业务数据集,进而实现后续的业务数据共享。
以上五种方式可以根据实际应用情况进行进一步改进或者优化,下面仅针对上述的第四种方式、第五种方式进行进一步说明,对于其他方式,本领域技术人员可以基于上述内容进行毫无疑义的推导。
进一步地,在上述的第四种方式中,按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集,可以包括以下步骤(41)-步骤(43)。
(41)确定与业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集的业务相似度信息对应的迭代更新次数,其中,业务相似度信息对应的相似度融合权重值对应的相似度融合权重值越小,对应的迭代更新次数越大。
(42)按照确定的迭代更新次数对业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集进行迭代更新。
(43)对迭代更新后的所述对应业务数据集按照数据集时效性权重由小到大的顺序进行排序,以得到所述目标业务数据集。
例如,数据集时效性权重用于表征业务数据集在时序上的准确性,数据集时效性权重越大,表明业务数据集的数据准确性的持续时间越长,能够适用于更多业务场景。
进一步地,在上述的第五种方式中,基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集,可以包括步骤(51)-步骤(54)。
(51)按顺序选取设定数量的所述对应业务数据集,并计算所述设定数量的所述对应业务数据集的第一业务数据时序相似度,其中,所述设定数量为预先确定的最小匹配数。
(52)按顺序选取设定数量加一的所述对应业务数据集,并计算所述设定数量加一的所述对应业务数据集的第二业务数据时序相似度。
(53)在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值大于或等于预定相似度差值时,将所述设定数量的所述对应业务数据集确定为所述目标业务数据集。
(54)在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值小于所述预定相似度差值时,重复执行选取比前一次选取数量多一个的所述对应业务数据集,直到后选取出的所述对应业务数据集的业务数据时序相似度与前一次选取出的所述对应业务数据集的业务数据时序相似度的差值大于或等于所述预定相似度差值,并将前一次选取出的所述对应业务数据集确定为所述目标业务数据集。
在实际实施时,发明人发现,为了确保权限更新能够适配后续可能出现的多种业务需求和多种业务场景,需要对业务交互数据进行深度分析,为此,步骤S13所描述的基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理的步骤,可以包括步骤S131-步骤S133。
步骤S131,使用数据列表清单表示所述第一业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第一数据列表特征矩阵,对所述第一数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第一目标矩阵。
例如,数据列表清单可以是预先配置的一种用于进行业务数据集表示的列表清单,数据列表清单能够实现对业务数据集的精简化表示,从而在确保业务数据集的数据保真度的前提下尽可能减少对大数据服务器的存储空间的占用。数据列表特征矩阵可以通过对数据列表清单进行特征提取得到。矩阵元素修正处理可以是对数据列表特征矩阵中的矩阵元素进行冗余数据的剔除以确保数据列表特征矩阵的精简性。矩阵结构变换处理可以确保目标矩阵能够直接被大数据服务器使用。
步骤S132,使用数据列表清单表示所述第二业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第二数据列表特征矩阵,对所述第二数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第二目标矩阵。
步骤S133,基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据;基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新。
例如,数据使用权限更新可以根据目标业务数据集的使用记录进行。
可以理解,通过执行上述步骤S131-步骤S133,能够对业务交互数据进行深度分析,进而通过数据列表清单实现对业务数据集的精简化表示,并实现数据列表特征矩阵的处理,这样可以基于目标矩阵实现目标业务数据集的数据使用权限更新,如此,能够确保权限更新适配后续可能出现的多种业务需求和多种业务场景。
进一步地,步骤S133所描述的基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据,进一步包括:判断所述第一业务交互数据中的各所述目标业务数据集对应的第一目标矩阵的矩阵特征描述值是否处于第一权限更新描述值阈值范围内;将第一目标矩阵处于所述第一权限更新描述值阈值范围内的目标业务数据集的第一目标矩阵的矩阵特征描述值设为选定数值,维持其他目标业务数据集的第一目标矩阵的矩阵特征描述值不变,以得到所述第一已更新业务数据。例如,矩阵特征描述值用于对不同的目标矩阵以及不同的矩阵特征进行区分。第一权限更新描述值阈值范围、选定数值可以根据实际情况进行配置,在此不作更多说明。
更进一步地,基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新,可以通过以下实施方式a或实施方式b实现。
实施方式a,判断所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第一设定描述值的和是否处于第二权限更新描述值阈值范围内,其中,所述第一设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应的第一目标矩阵的矩阵特征描述指与设定权限安全指数的乘积;将第二目标矩阵与所述第一设定描述值的和处于所述第二权限更新描述值阈值范围内的目标业务数据集的第二目标矩阵设为选定数值,维持其他目标业务数据集的第二目标矩阵的矩阵特征描述值不变,以得到第二已更新业务数据。
实施方式b,将所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第二设定描述值的乘积作为所述目标业务数据集的第二目标矩阵,以得到第二已更新业务数据,其中,所述第二设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度和历史时序相似度均值的差与所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度的比值。
如此,可以通过不同的实施方式实现对目标业务数据集的数据使用权限更新,从而确保数据使用权限的更新能够与后续的共享业务高度匹配。
在实际实施过程中,步骤S13所描述的对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据,可以通过包括以下之一的汇总方式实现。当然,在具体实施时,并不限于以下的业务数据汇总方式。
第一种业务数据汇总方式,采用确定业务数据时序相似度的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据。
第二种业务数据汇总方式,采用确定相似度融合系数的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据。
第三种业务数据汇总方式,采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据。
例如,共享数据安全校验模型可以是分类器或者其他机器学习模型,在此不作限定。
第四种业务数据汇总方式,将所述存在目标权限标识的当前共享型业务数据中包括的进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值进行比较,通过对选取进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值相似度差值最小的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值求平均来确定所述存在目标权限标识的当前共享型业务数据的矩阵特征描述值,以得到所述待使用业务数据。
这样一来,在实际应用时,可以采用上述的任一一种业务数据汇总方式实现当前共享型业务数据的汇总,如此,增加了本方案的易用性,削弱了业务数据的汇总对某种业务处理场景或者某种业务处理方式的依赖性。
在上述基础上,在第三种业务数据汇总方式中,采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据,可以包括以下步骤S21-步骤S25。
步骤S21,通过所述共享数据安全校验模型将当前共享型业务数据划分为若干个业务数据段集合;其中,每个业务数据段集合包含多个业务数据段。
步骤S22,基于所述当前共享型业务数据的第一共享校验指标,得到所述业务数据段的第二共享校验指标;其中,所述第一共享校验指标是利用历史异常共享记录得到的。
步骤S23,针对至少一个所述业务数据段集合:分别以至少一个业务数据段的第二共享校验指标为参考指标,利用预设指标提取算法获取所述至少一个业务数据段的最佳校验指标;并利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标。
步骤S24,基于所述业务数据段的所述第二共享校验指标和所述最佳校验指标,确定对应所述业务数据段的目标共享校验指标。
步骤S25,通过所述目标共享校验指标对应的校验指标聚类结果将所述业务数据段进行拼接,得到所述待使用业务数据;其中,所述待使用业务数据由多个用户终端共享。
可以理解,通过上述步骤S21-步骤S25,能够在汇总当前共享型业务数据时对共享校验指标进行分析,从而确保在后续对待使用业务数据进行使用时不会出现数据安全性问题。
更进一步地,步骤S23所描述的利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标,可以包括:基于所述至少一个业务数据段的业务数据段数量和在所述业务数据段集合中的相对序列位置,选择对应的校验指标确定方式;利用所述校验指标确定方式对所述至少一个业务数据段的最佳校验指标进行确定,得到所述业务数据段集合内其他所述业务数据段的最佳校验指标。
在实际应用过程中,在实施步骤S11所描述的获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据的步骤之前,该方法还可以包括以下内容。
获取对目标用户终端进行业务数据采集后所得到的第三业务交互数据,其中,所述第三业务交互数据为包括至少两种数据共享持续时长的共享型业务数据。
将所述第三业务交互数据转换成至少两个所述第二业务交互数据,其中,不同的所述第二业务交互数据中包括有不同的数据共享持续时长。
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集。
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理。
对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据。
在得到所述待使用业务数据之后,所述方法还包括:将得到的至少两个待使用业务数据进行汇总,以得到与所述第三业务交互数据对应的待使用业务数据。
如此设计,基于上述步骤所描述的内容,能够将包括至少两种数据共享持续时长的共享型业务数据考虑在内,从而实现对待使用业务数据的多样化处理,以满足后续不同的业务需求。
在一个可替换的实施例中,在步骤S11-步骤S13的基础上,还可以包括以下步骤S14:对所述待使用业务数据进行备份。如此设计,在待使用业务数据处于共享状态时,若由于某些用户终端的操作失误导致待使用业务数据出现部分丢失或者被篡改,能够基于备份的待使用业务数据继续进行共享,避免后续的共享业务的停滞。
在一个可替换的实施例中,在步骤S25中,通过所述目标共享校验指标对应的校验指标聚类结果将所述业务数据段进行拼接,得到所述待使用业务数据,进一步可以包括以下步骤a-步骤d所描述的内容。
步骤a,基于所述目标共享校验指标对应的校验指标聚类结果确定所述业务数据段的数据段拼接列表以及各数据段拼接指示标签。
步骤b,在基于所述数据段拼接列表确定出所述业务数据段中包含有动态拼接标签目录的情况下,根据所述业务数据段的动态拼接标签目录下的数据段拼接指示标签以及所述业务数据段的动态拼接标签目录下的数据段拼接指示标签的标签关联系数,确定所述业务数据段的与所述动态拼接标签目录对应的静态拼接标签目录下的各数据段拼接指示标签与所述业务数据段的动态拼接标签目录下的各数据段拼接指示标签之间的数据段拼接权重。
步骤c,基于所述数据段拼接权重将所述业务数据段的与所述动态拼接标签目录对应的静态拼接标签目录下的与动态拼接标签目录下的数据段拼接指示标签之间满足拼接条件的数据段拼接指示标签调整到相应的动态拼接标签目录下;其中,在所述业务数据段的当前与所述动态拼接标签目录对应的静态拼接标签目录下包含有多个数据段拼接指示标签的情况下,根据所述业务数据段的动态拼接标签目录下的数据段拼接指示标签以及所述业务数据段的动态拼接标签目录下的数据段拼接指示标签的标签关联系数,确定所述业务数据段的当前与所述动态拼接标签目录对应的静态拼接标签目录下的各数据段拼接指示标签之间的数据段拼接权重,并根据所述各数据段拼接指示标签之间的数据段拼接权重对当前与所述动态拼接标签目录对应的静态拼接标签目录下的各数据段拼接指示标签进行聚类;根据所述业务数据段的动态拼接标签目录下的数据段拼接指示标签以及所述业务数据段的动态拼接标签目录下的数据段拼接指示标签的标签关联系数为上述聚类获得的每一类数据段拼接指示标签设置标签调整等级,并将所述每一类数据段拼接指示标签调整到所述标签调整等级所对应的动态拼接标签目录下。
步骤d,基于所述动态拼接标签目录下所对应的数据段拼接指示标签筛选出待拼接的业务数据段,将所述待拼接的业务数据段按照时序先后顺序进行拼接,得到所述待使用业务数据。
如此设计,通过上述步骤a-步骤d,能够将业务数据段的数据段拼接列表以及各数据段拼接指示标签考虑在内,从而实现对数据段拼接指示标签的二次分配和调整,从而确保动态拼接标签目录中的数据段拼接指示标签能够与实际的共享业务场景相匹配,这样一来,基于动态拼接标签目录下所对应的数据段拼接指示标签所筛选出的待拼接的业务数据段能够与后续的共享业务场景相匹配,从而确保拼接得到的待使用业务数据能够被共享业务场景下的所有用户终端所使用。
图4是根据本发明的一些实施例所示的一种示例性基于大数据和云计算的数据处理装置140的框图,所述基于大数据和云计算的数据处理装置140可以包括以下功能模块。
数据获取模块141,用于获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据,其中,所述第一业务交互数据为存在业务认证签名的非共享型业务数据,所述第二业务交互数据为存在修改权限标识的共享型业务数据。
数据确定模块142,用于确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集。
数据汇总模块143,用于基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据。
可以理解,上述装置实施例的描述可以参阅图3所示的方法实施例的描述。
基于上述同样的发明构思,还提供了一种***实施例,进一步描述如下。
A1.一种基于大数据和云计算的数据处理***,包括互相之间通信的大数据服务器和用户终端;其中,所述大数据服务器用于:
获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据,其中,所述第一业务交互数据为存在业务认证签名的非共享型业务数据,所述第二业务交互数据为存在修改权限标识的共享型业务数据;
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集;
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据。
可以理解,上述***实施例的描述可以参阅图3所示的方法实施例的描述。
需要理解的是,针对上述内容没有进行名词解释的技术术语,本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义,例如针对一些值、系数、权重等术语,本领域技术人员可以根据前后的逻辑关系进行推导和确定,这些数值的取值范围可以根据实际情况进行选取,例如0~1,又例如1~10,再例如50~100,在此均不作限定,本领域技术人员可以根据上述已公开的内容毫无意义对一些预设的、基准的、预定的、设定的以及目标的技术特征/技术术语进行确定。对于一些未作解释的技术特征术语和前后限定的术语(例如上一个、前一个、后一个、下一个),本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导,从而清楚、完整地实施上述技术方案。因此上述内容对于本领域技术人员而言是清楚完整的。应当理解,本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的,因此上述内容并不是对整体方案的创造性的评判。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。
另外,本领域普通技术人员可以理解的是,本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“***”。此外,本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品,所述产品包括计算机可读程序编码。
计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。
本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写,包括面向对象程序设计,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET,Python等,或类似的常规程序编程语言,如"C"编程语言,Visual Basic,Fortran2003,Perl,COBOL 2002,PHP,ABAP,动态编程语言如Python,Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网络(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非申请专利范围中明确说明,本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的申请专利范围并不仅限于披露的实施例,相反,申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件装置实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或行动装置上安装所描述的***。
同样应当理解的是,为了简化本申请揭示的表述,从而帮助对至少一个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法幷不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (7)

1.一种基于大数据和云计算的数据处理方法,其特征在于,包括:
获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据,其中,所述第一业务交互数据为存在业务认证签名的非共享型业务数据,所述第二业务交互数据为存在修改权限标识的共享型业务数据;
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集;
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据;
其中,确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息包括:
确定所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度;
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值,其中,所述业务相似度信息包括所述相似度融合权重值;
其中,确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的相似度融合权重值包括以下至少之一:
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据时序相似度以确定所述相似度融合权重值;
基于所述第一业务交互数据中各业务数据集的业务数据特征的特征相似度以及所述第二业务交互数据中各业务数据集的业务数据特征的特征相似度,计算所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的相似度融合系数以确定所述相似度融合权重值;
确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务事件标签,基于确定出的业务事件标签以及所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务数据特征的特征相似度确定所述相似度融合权重值;
其中,基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理包括:
使用数据列表清单表示所述第一业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第一数据列表特征矩阵,对所述第一数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第一目标矩阵;
使用数据列表清单表示所述第二业务交互数据中的所述目标业务数据集中包括的每一个业务数据集,将数据列表清单表示的各业务数据集组成第二数据列表特征矩阵,对所述第二数据列表特征矩阵进行矩阵元素修正处理及矩阵结构变换处理,以得到第二目标矩阵;
基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据;基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新;
其中,基于所述第一目标矩阵对所述第一业务交互数据中的所述目标业务数据集进行数据使用权限更新,以得到第一已更新业务数据包括:
判断所述第一业务交互数据中的各所述目标业务数据集对应的第一目标矩阵的矩阵特征描述值是否处于第一权限更新描述值阈值范围内;
将第一目标矩阵处于所述第一权限更新描述值阈值范围内的目标业务数据集的第一目标矩阵的矩阵特征描述值设为选定数值,维持其他目标业务数据集的第一目标矩阵的矩阵特征描述值不变,以得到所述第一已更新业务数据;
其中,基于所述第二目标矩阵以及所述第一已更新业务数据对所述第二业务交互数据中的所述目标业务数据集进行数据使用权限更新包括:
判断所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第一设定描述值的和是否处于第二权限更新描述值阈值范围内,其中,所述第一设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应的第一目标矩阵的矩阵特征描述指与设定权限安全指数的乘积;将第二目标矩阵与所述第一设定描述值的和处于所述第二权限更新描述值阈值范围内的目标业务数据集的第二目标矩阵设为选定数值,维持其他目标业务数据集的第二目标矩阵的矩阵特征描述值不变,以得到第二已更新业务数据;
或,
将所述第二业务交互数据中的各所述目标业务数据集对应的第二目标矩阵的矩阵特征描述值与第二设定描述值的乘积作为所述目标业务数据集的第二目标矩阵,以得到第二已更新业务数据,其中,所述第二设定描述值为所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度和历史时序相似度均值的差与所述第一业务交互数据中对应的目标业务数据集所对应业务数据时序相似度的比值。
2.根据权利要求1所述的方法,其特征在于,基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集包括:对所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集按照业务相似度信息的相似度评价值的由大到小的顺序进行排序;
通过如下方式之一从排序后的所述对应业务数据集中确定出所述目标业务数据集:
按顺序选取设定数量的所述对应业务数据集作为所述目标业务数据集;
按顺序选取设定比例的所述对应业务数据集作为所述目标业务数据集;
将业务相似度信息对应的相似度融合权重值小于第一预定权重值的所述对应业务数据集确定为所述目标业务数据集;
按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集;
基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集。
3.根据权利要求2所述的方法,其特征在于,按顺序将业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集按照预设迭代次数进行迭代更新,基于迭代更新结果确定所述目标业务数据集包括:
确定与业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集的业务相似度信息对应的迭代更新次数,其中,业务相似度信息对应的相似度融合权重值对应的相似度融合权重值越小,对应的迭代更新次数越大;
按照确定的迭代更新次数对业务相似度信息对应的相似度融合权重值小于第二预定权重值的所述对应业务数据集中包括的各对应业务数据集进行迭代更新;
对迭代更新后的所述对应业务数据集按照数据集时效性权重由小到大的顺序进行排序,以得到所述目标业务数据集;
其中,基于所述对应业务数据集的累计业务数据时序相似度的变化曲线选取所述目标业务数据集包括:
按顺序选取设定数量的所述对应业务数据集,并计算所述设定数量的所述对应业务数据集的第一业务数据时序相似度,其中,所述设定数量为预先确定的最小匹配数;
按顺序选取设定数量加一的所述对应业务数据集,并计算所述设定数量加一的所述对应业务数据集的第二业务数据时序相似度;
在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值大于或等于预定相似度差值时,将所述设定数量的所述对应业务数据集确定为所述目标业务数据集;
在确定所述第一业务数据时序相似度和所述第二业务数据时序相似度的相似度差值小于所述预定相似度差值时,重复执行选取比前一次选取数量多一个的所述对应业务数据集,直到后选取出的所述对应业务数据集的业务数据时序相似度与前一次选取出的所述对应业务数据集的业务数据时序相似度的差值大于或等于所述预定相似度差值,并将前一次选取出的所述对应业务数据集确定为所述目标业务数据集。
4.根据权利要求1-3任一项所述的方法,其特征在于,对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据包括以下之一:
采用确定业务数据时序相似度的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
采用确定相似度融合系数的方式对所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据;
将所述存在目标权限标识的当前共享型业务数据中包括的进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值进行比较,通过对选取进行了所述权限更新处理后的业务数据集的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值相似度差值最小的矩阵特征描述值与未进行所述权限更新处理前的业务数据集的矩阵特征描述值求平均来确定所述存在目标权限标识的当前共享型业务数据的矩阵特征描述值,以得到所述待使用业务数据。
5.根据权利要求4所述的方法,其特征在于,采用共享数据安全校验模型所述存在目标权限标识的当前共享型业务数据进行汇总以得到所述待使用业务数据,包括:
通过所述共享数据安全校验模型将当前共享型业务数据划分为若干个业务数据段集合;其中,每个业务数据段集合包含多个业务数据段;
基于所述当前共享型业务数据的第一共享校验指标,得到所述业务数据段的第二共享校验指标;其中,所述第一共享校验指标是利用历史异常共享记录得到的;
针对至少一个所述业务数据段集合:分别以至少一个业务数据段的第二共享校验指标为参考指标,利用预设指标提取算法获取所述至少一个业务数据段的最佳校验指标;并利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标;
基于所述业务数据段的所述第二共享校验指标和所述最佳校验指标,确定对应所述业务数据段的目标共享校验指标;
通过所述目标共享校验指标对应的校验指标聚类结果将所述业务数据段进行拼接,得到所述待使用业务数据;其中,所述待使用业务数据由多个用户终端共享;
其中,所述利用所述至少一个业务数据段的最佳校验指标,确定得到所述业务数据段集合内其他所述业务数据段的最佳校验指标,包括:基于所述至少一个业务数据段的业务数据段数量和在所述业务数据段集合中的相对序列位置,选择对应的校验指标确定方式;利用所述校验指标确定方式对所述至少一个业务数据段的最佳校验指标进行确定,得到所述业务数据段集合内其他所述业务数据段的最佳校验指标。
6.根据权利要求1所述的方法,其特征在于,在获取对目标用户终端进行业务数据采集后所得到的第一业务交互数据和第二业务交互数据之前,所述方法还包括:
获取对目标用户终端进行业务数据采集后所得到的第三业务交互数据,其中,所述第三业务交互数据为包括至少两种数据共享持续时长的共享型业务数据;
将所述第三业务交互数据转换成至少两个所述第二业务交互数据,其中,不同的所述第二业务交互数据中包括有不同的数据共享持续时长;
确定所述第一业务交互数据和所述第二业务交互数据中对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:确定所述第一业务交互数据和所述第二业务交互数据中所述对应业务数据集的业务相似度信息,并基于所述对应业务数据集的业务相似度信息确定出所述第一业务交互数据和所述第二业务交互数据之间对应的且满足预设指标条件的目标业务数据集;
基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:基于所述第一业务交互数据中的所述目标业务数据集对所述第二业务交互数据中的所述目标业务数据集进行权限更新处理;
对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据包括:对于所述第一业务交互数据和任一个所述第二业务交互数据均执行以下操作:对权限更新处理后的所述第二业务交互数据中的存在目标权限标识的当前共享型业务数据进行汇总以得到待使用业务数据;
在得到所述待使用业务数据之后,所述方法还包括:将得到的至少两个待使用业务数据进行汇总,以得到与所述第三业务交互数据对应的待使用业务数据。
7.一种大数据服务器,其特征在于,包括处理引擎、网络模块和存储器;所述处理引擎和所述存储器通过所述网络模块通信,所述处理引擎从所述存储器中读取计算机程序并运行,以执行权利要求1-6任一项所述的方法。
CN202011388984.7A 2020-12-01 2020-12-01 基于大数据和云计算的数据处理方法及大数据服务器 Expired - Fee Related CN112487495B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110531197.1A CN113312673A (zh) 2020-12-01 2020-12-01 应用于大数据的数据处理方法及大数据服务器
CN202110531196.7A CN113177235A (zh) 2020-12-01 2020-12-01 结合大数据和云计算的数据处理方法及大数据服务器
CN202011388984.7A CN112487495B (zh) 2020-12-01 2020-12-01 基于大数据和云计算的数据处理方法及大数据服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388984.7A CN112487495B (zh) 2020-12-01 2020-12-01 基于大数据和云计算的数据处理方法及大数据服务器

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110531197.1A Division CN113312673A (zh) 2020-12-01 2020-12-01 应用于大数据的数据处理方法及大数据服务器
CN202110531196.7A Division CN113177235A (zh) 2020-12-01 2020-12-01 结合大数据和云计算的数据处理方法及大数据服务器

Publications (2)

Publication Number Publication Date
CN112487495A CN112487495A (zh) 2021-03-12
CN112487495B true CN112487495B (zh) 2021-07-02

Family

ID=74938911

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110531197.1A Withdrawn CN113312673A (zh) 2020-12-01 2020-12-01 应用于大数据的数据处理方法及大数据服务器
CN202110531196.7A Withdrawn CN113177235A (zh) 2020-12-01 2020-12-01 结合大数据和云计算的数据处理方法及大数据服务器
CN202011388984.7A Expired - Fee Related CN112487495B (zh) 2020-12-01 2020-12-01 基于大数据和云计算的数据处理方法及大数据服务器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110531197.1A Withdrawn CN113312673A (zh) 2020-12-01 2020-12-01 应用于大数据的数据处理方法及大数据服务器
CN202110531196.7A Withdrawn CN113177235A (zh) 2020-12-01 2020-12-01 结合大数据和云计算的数据处理方法及大数据服务器

Country Status (1)

Country Link
CN (3) CN113312673A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014671B (zh) * 2021-04-01 2021-11-23 湖南机械之家信息科技有限公司 应用于大数据分析的云业务资源共享方法及资源共享平台
CN113344058B (zh) * 2021-05-31 2022-08-16 上海蓝色帛缔智能工程有限公司 基于云计算的信息融合的预警方法、装置及云服务器
CN113938874B (zh) * 2021-09-28 2023-08-08 中国联合网络通信集团有限公司 数据处理方法、装置、设备及***
CN113656395B (zh) * 2021-10-15 2022-03-15 深圳市信润富联数字科技有限公司 数据质量治理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509594A (zh) * 2018-03-30 2018-09-07 深圳汇通智能化科技有限公司 一种基于云计算框架的交通大数据清洗***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622211A (zh) * 2017-09-27 2018-01-23 浪潮软件股份有限公司 一种大数据集群权限访问控制方法及装置
CN107908973A (zh) * 2017-11-22 2018-04-13 中国南方电网有限责任公司超高压输电公司 一种基于aop技术的动态数据权限控制方法
CN109783631B (zh) * 2019-02-02 2022-05-17 北京百度网讯科技有限公司 社区问答数据的校验方法、装置、计算机设备和存储介质
CN110225095B (zh) * 2019-05-20 2022-02-11 中国银行股份有限公司 一种数据处理方法、装置及***
CN111177252B (zh) * 2019-11-26 2023-07-25 腾讯云计算(北京)有限责任公司 一种业务数据的处理方法及装置
CN112000727B (zh) * 2020-10-27 2021-06-04 绿城科技产业服务集团有限公司 一种动态配置业务数据脱敏显示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509594A (zh) * 2018-03-30 2018-09-07 深圳汇通智能化科技有限公司 一种基于云计算框架的交通大数据清洗***

Also Published As

Publication number Publication date
CN112487495A (zh) 2021-03-12
CN113177235A (zh) 2021-07-27
CN113312673A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN112487495B (zh) 基于大数据和云计算的数据处理方法及大数据服务器
CN113641994B (zh) 基于图数据的数据处理方法及***
CN112633976B (zh) 基于大数据和云业务的数据处理方法及云业务服务器
CN116680689B (zh) 应用于大数据的安全态势预测方法及***
CN111932226A (zh) 基于区块链和大数据的数据流监测方法及云计算服务平台
CN112486955B (zh) 基于大数据和人工智能的数据维护方法及大数据服务器
CN113761210A (zh) 基于报告文本信息识别的信息处理方法及***
CN112434201B (zh) 基于大数据的数据可视化方法及大数据云服务器
CN112528306A (zh) 基于大数据和人工智能的数据访问方法及云计算服务器
CN112686667A (zh) 基于大数据和区块链的数据处理方法及云服务平台
CN113781207B (zh) 基于实验设计的风控管理策略确定方法及***
CN114218565B (zh) 基于大数据的入侵防护数据处理方法及大数据服务器
CN112437132B (zh) 基于云计算和数字化升级的业务资源共享方法及云服务器
CN112330312B (zh) 基于区块链支付和面部识别的数据处理方法及大数据平台
CN112486969B (zh) 应用于大数据和深度学习的数据清洗方法及云服务器
CN112463778B (zh) 基于大数据和应用程序的信息处理方法及大数据服务器
CN112929385B (zh) 基于大数据和通信服务的通信信息处理方法及云计算平台
CN112465503B (zh) 基于互联网金融和生物识别的信息安全防护方法及云平台
CN112581759B (zh) 一种基于智慧交通的云计算方法及***
CN113792787B (zh) 遥感大数据处理方法及***
CN112286724B (zh) 基于区块链和云计算的数据恢复处理方法及云计算中心
CN112561527A (zh) 基于大数据和云计算的支付数据解析方法及云智能服务器
CN113095583A (zh) 应用于业务管理的数据分析方法及业务管理服务器
CN114221793A (zh) 在大数据环境下的数据信息入侵防护方法及服务器
CN115797950A (zh) 模型训练方法、图像分类方法及其装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210609

Address after: 361000 unit 0410, 366 Chengyi street, phase III, software park, Xiamen City, Fujian Province

Applicant after: Xiamen limayao Network Technology Co.,Ltd.

Address before: No. 604-2, building A6, phase II, Yunnan University Science Park, 139 Kefa Road, high tech Zone, Kunming, Yunnan 650000

Applicant before: Li Kongque

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210702

Termination date: 20211201

CF01 Termination of patent right due to non-payment of annual fee