CN117273765B - 基于自动核检的多级经销商流转数据处理方法及*** - Google Patents
基于自动核检的多级经销商流转数据处理方法及*** Download PDFInfo
- Publication number
- CN117273765B CN117273765B CN202311549858.9A CN202311549858A CN117273765B CN 117273765 B CN117273765 B CN 117273765B CN 202311549858 A CN202311549858 A CN 202311549858A CN 117273765 B CN117273765 B CN 117273765B
- Authority
- CN
- China
- Prior art keywords
- data
- compliance
- circulation
- saliency
- data cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000012512 characterization method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 230000000052 comparative effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于自动核检的多级经销商流转数据处理方法及***,能通过显著性识别算法对第一流转数据学习样例中的流转数据簇的显著性为第一流转数据学习样例的流转数据簇分配预估注释信息,为显著性更高的流转数据簇分配的预估注释信息表征的详实性分类的详实性更高,如此通过流转数据簇的真实注释信息与预估注释信息之间的差别调节显著性权重,然后显著性识别算法就可以通过调节后的显著性权重对流转数据中详实性更高的流转数据簇分配更高的显著性,对流转数据中详实性越低的流转数据簇分配更低的显著性,以更全面挖掘流转数据中详实性更高的流转数据簇的数据特征,获得流转数据更准确的合规描述特征,基于此,对流转数据的识别更精确可靠。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种基于自动核检的多级经销商流转数据处理方法及***。
背景技术
商品从生产者到消费者的过程会经过多级流转,产生经销商流转数据,其涉及到各个经销商之间的商品流转和交易信息的数据。经销商流转数据的合规检测是指对经销商之间的商品流转和交易信息进行监测和审核,以确保其符合相关的法律法规和合规要求。例如,确保对经销商流转数据进行全面和准确的采集和记录,包括商品信息、运输信息、经销商信息、销售信息、采购信息、库存信息、支付信息等;对采集到的数据进行验证和核实,确保数据的真实性和可信度;建立合规检测的规则和标准,明确各项数据指标的合规要求。例如,设定价格波动幅度的上限,要求特定产品的批次追溯等;利用人工智能技术和数据分析方法,对经销商流转数据进行异常检测和预警,如发现与历史数据相比销售额大幅增加或减少、商品中途丢失、超出常规范围的价格变动等情况时,及时生成预警并进行调查核实。对于流转记录良好的流转过程,为了节约人力资源,可以采用人工智能对记录的流转数据进行自动核检,识别流转数据反映的合规问题,但是,由于人员管理的难度,各个流转环节,以及每个环节涉及的流转记录,其详实程度可能具有较大的差异,对于披露信息不足的记录内容,在实际工作中,人工智能算法可能过度进行聚焦,导致从中挖掘的特征信息偏移严重,进而得到的全局合规识别结果的准确性降低。
发明内容
本发明的目的在于提供一种基于自动核检的多级经销商流转数据处理方法及***。
本申请实施例的技术方案是这样实现的:第一方面,本申请实施例提供了一种基于自动核检的多级经销商流转数据处理方法,所述方法包括:获取第一流转数据学习样例;所述第一流转数据学习样例具有多个流转数据簇,如果流转数据簇的详实性不同,则流转数据簇对应的详实性分类不同;通过显著性识别算法对所述多个流转数据簇进行检测,得到所述多个流转数据簇中的第一流转数据簇和第二流转数据簇;所述显著性识别算法具有显著性权重,所述显著性识别算法依据所述显著性权重确定对所述第一流转数据簇的显著性高于对所述第二流转数据簇的显著性;依据所述显著性识别算法对所述第一流转数据簇的显著性,为所述第一流转数据簇分配第一预估注释信息,并依据所述显著性识别算法对所述第二流转数据簇的显著性,为所述第二流转数据簇分配第二预估注释信息;所述第一预估注释信息表征所述第一流转数据簇属于第一预估详实性分类;所述第二预估注释信息表征所述第二流转数据簇属于第二预估详实性分类;所述第一预估详实性分类表征的详实性高于所述第二预估详实性分类表征的详实性;获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息;所述第一对比注释信息表征所述第一流转数据簇属于第一对比详实性分类;所述第二对比注释信息表征所述第二流转数据簇属于第二对比详实性分类;依据所述第一预估注释信息与所述第一对比注释信息之间的差别,以及所述第二预估注释信息与所述第二对比注释信息之间的差别,调节所述显著性权重;所述显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,所述合规描述特征用于对所述流转数据的合规性进行识别。
作为一种实施方式,所述通过显著性识别算法对所述多个流转数据簇进行检测,得到第一流转数据簇和第二流转数据簇,包括:通过所述显著性识别算法依据所述显著性权重,确定所述多个流转数据簇中每个流转数据簇的显著性评分;流转数据簇的显著性评分代表所述显著性识别算法对所述流转数据簇的显著性;将所述多个流转数据簇中显著性评分在第一评分范围内的流转数据簇确定为所述第一流转数据簇,并将所述多个流转数据簇中显著性评分在第二评分范围内的流转数据簇确定为所述第二流转数据簇;其中,所述第一评分范围中的评分大于所述第二评分范围中的评分;所述显著性识别算法嵌入在合规识别算法中,所述调节后的显著性权重在所述合规识别算法中固定,所述合规识别算法还具有识别分支算子;所述方法还包括:获取第二流转数据学习样例,所述第二流转数据学习样例包含流转注释信息,所述流转注释信息表征所述第二流转数据学习样例的合规结果;通过所述显著性识别算法依据所述调节后的显著性权重,对所述第二流转数据学习样例进行特征提取,得到所述第二流转数据学习样例的样例合规描述特征;通过所述识别分支算子依据所述样例合规描述特征,对所述第二流转数据学习样例进行合规识别,得到所述第二流转数据学习样例的合规性预估结果;依据所述合规结果与所述合规性预估结果之间的差别,调节所述合规识别算法中,除固定的所述调节后的显著性权重外的算法参数,得到调试后的合规识别算法。
作为一种实施方式,所述第二流转数据学习样例有多个,多个所述第二流转数据学习样例对应不同环节的流转记录;所述通过所述显著性识别算法依据所述调节后的显著性权重,对所述第二流转数据学习样例进行特征提取,得到所述第二流转数据学习样例的样例合规描述特征,包括:通过所述显著性识别算法依据所述调节后的显著性权重,分别对每个第二流转数据学习样例进行特征提取,得到所述每个第二流转数据学习样例的样例合规描述特征;对所述多个第二流转数据学习样例的样例合规描述特征进行特征交互,得到所述样例合规描述特征。
作为一种实施方式,所述对所述多个第二流转数据学习样例的样例合规描述特征进行特征交互,得到所述样例合规描述特征,包括:对所述多个第二流转数据学习样例的样例合规描述特征进行首尾连接,得到所述样例合规描述特征;或者;对所述多个第二流转数据学习样例的样例合规描述特征进行求和,得到所述样例合规描述特征。
作为一种实施方式,所述调试后的合规识别算法具有调试后的显著性识别算法和调试后的识别分支算子;所述方法还包括:获取待合规验证的流转数据;通过所述调试后的显著性识别算法,对所述流转数据进行特征提取,得到所述流转数据的目标合规描述特征;通过所述调试后的识别分支算子依据所述目标合规描述特征,对所述流转数据进行合规识别,得到所述流转数据的合规识别结果。
作为一种实施方式,所述流转数据包括多个,多个流转数据对应不同环节的流转记录;所述通过所述调试后的显著性识别算法,对所述流转数据进行特征提取,得到所述流转数据的目标合规描述特征,包括:通过所述调试后的显著性识别算法,分别对每个流转数据进行特征提取,得到所述每个流转数据的样例合规描述特征;对所述多个流转数据的样例合规描述特征进行特征交互,得到所述目标合规描述特征。
作为一种实施方式,所述获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息,包括:通过调试后的详实性识别算法对第一流转数据簇的详实性进行合规识别,得到所述第一流转数据簇的所述第一对比详实性分类;通过所述调试后的详实性识别算法对第二流转数据簇的详实性进行合规识别,得到所述第二流转数据簇的所述第二对比详实性分类;依据所述第一对比详实性分类为所述第一流转数据簇分配所述第一对比注释信息,并依据所述第二对比详实性分类为所述第二流转数据簇分配所述第二对比注释信息。
作为一种实施方式,所述方法还包括:获取第三流转数据学习样例及待调试的详实性识别算法;所述第三流转数据学习样例具有详实性注释信息,所述详实性注释信息表征所述第三流转数据学习样例的真实详实性分类;通过所述待调试的详实性识别算法对所述第三流转数据学习样例的详实性分类进行合规识别,得到所述第三流转数据学习样例的预估详实性分类;依据所述真实详实性分类与所述预估详实性分类之间的差别,调节所述待调试的详实性识别算法的算法参数,得到所述调试后的详实性识别算法。
作为一种实施方式,所述获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息,包括:通过调试后的数据划簇算法对所述第一流转数据学习样例进行划簇处理,得到所述第一流转数据学习样例的多个数据簇,一个数据簇对应一种详实性分类;将所述多个数据簇中与所述第一流转数据簇之间的交并比最大的数据簇确定为所述第一流转数据簇的第一详实性匹配数据簇,并依据所述第一详实性匹配数据簇对应的详实性分类,为所述第一流转数据簇分配所述第一对比注释信息;以及,将所述多个数据簇中与所述第二流转数据簇之间的交并比最大的数据簇确定为所述第二流转数据簇的第二详实性匹配数据簇,并依据所述第二详实性匹配数据簇对应的详实性分类,为所述第二流转数据簇分配所述第二对比注释信息;其中,所述第一对比详实性分类是所述第一详实性匹配数据簇对应的详实性分类,所述第二对比详实性分类是所述第二详实性匹配数据簇对应的详实性分类。
第二方面,本申请提供一种基于自动核检的多级经销商流转数据处理***,包括核检服务器和与所述核检服务器通信连接的流转终端,所述核检服务器包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以上所述的方法。
本申请至少具有的有益效果:本申请可以获取第一流转数据学习样例;第一流转数据学习样例具有多个流转数据簇,若流转数据簇的详实性不同,则流转数据簇所属的详实性分类不同;并可以通过显著性识别算法对多个流转数据簇进行检测,得到多个流转数据簇中的第一流转数据簇和第二流转数据簇;显著性识别算法具有显著性权重,显著性识别算法依据显著性权重确定对第一流转数据簇的显著性高于对第二流转数据簇的显著性;然后,可以依据显著性识别算法对第一流转数据簇的显著性,为第一流转数据簇分配第一预估注释信息,并依据显著性识别算法对第二流转数据簇的显著性,为第二流转数据簇分配第二预估注释信息;第一预估注释信息表征第一流转数据簇属于第一预估详实性分类;第二预估注释信息表征第二流转数据簇属于第二预估详实性分类;第一预估详实性分类表征的详实性高于第二预估详实性分类表征的详实性;还可以获取第一流转数据簇的第一对比注释信息和第二流转数据簇的第二对比注释信息;第一对比注释信息表征第一流转数据簇属于第一对比详实性分类;第二对比注释信息表征第二流转数据簇属于第二对比详实性分类;从而,可以依据第一预估注释信息与第一对比注释信息之间的差别,以及第二预估注释信息与第二对比注释信息之间的差别,调节显著性权重;显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,该合规描述特征用于对流转数据的合规性进行识别。基于此,本申请能通过显著性识别算法对第一流转数据学习样例中的流转数据簇的显著性为第一流转数据学习样例的流转数据簇分配预估注释信息,为显著性更高的流转数据簇分配的预估注释信息表征的详实性分类的详实性更高,如此即可通过流转数据簇的真实注释信息(如对比注释信息)与预估注释信息之间的差别调节显著性权重,然后显著性识别算法就可以通过调节后的显著性权重对流转数据中详实性更高的流转数据簇分配更高的显著性,对流转数据中详实性越低的流转数据簇分配更低的显著性,以更全面挖掘到流转数据中详实性更高的流转数据簇的数据特征,获得流转数据更准确的合规描述特征,基于此,对流转数据的识别更精确可靠。
在后面的描述中,将部分地陈述其他的特征。在检查后面内容和附图时,本领域的技术人员将部分地发现这些特征,或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面,当前申请中的特征可以被实现和获得。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本申请实施例提供的基于自动核检的多级经销商流转数据处理方法的应用场景示意图;
图2是本申请实施例提供的一种基于自动核检的多级经销商流转数据处理方法的流程图;
图3是本申请实施例提供的流转数据处理装置的功能模块架构示意图;
图4是本申请实施例提供的一种核检服务器的组成示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”、“作为一种实施方式/方案”、“在一种实施方式中”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”、“作为一种实施方式/方案”、“在一种实施方式中”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”等类似术语,仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
本申请实施例提供的基于自动核检的多级经销商流转数据处理方法可以由服务器执行。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图1是本申请实施例提供的基于自动核检的多级经销商流转数据处理***的示意图。本申请实施例提供的基于自动核检的多级经销商流转数据处理***10中包括多个流转终端100、网络200和核检服务器300,多个流转终端100和核检服务器300之间通过网络200实现通信连接。核检服务器300用于执行本申请实施例提供的方法。具体地,本申请实施例提供了一种基于自动核检的多级经销商流转数据处理方法,该方法应用于核检服务器300,如图2所示,该方法包括:步骤S110,获取第一流转数据学习样例。
本申请实施例中,第一流转数据学习样例具有多个流转数据簇,如果流转数据簇的详实性不同,那么流转数据簇对应的详实性分类不同。第一流转数据学习样例为用于对显著性识别算法进行训练的样本数据样例,显著性识别算法用于依据训练过程调节得到的显著性权重提取流转数据的合规描述特征,该合规描述特征用于对流转数据的合规性进行识别。流转数据簇的详实性代表披露的信息详实程度。第一流转数据学习样例可以具有多个流转数据簇,即第一流转数据学习样例可以被分解为多个流转数据簇,各个流转数据簇的划分方式可以是根据商品的流转节点产生的数据进行划分,或者依据数据的类型进行划分,例如,在基于数据类型进行划分时,数据类型可以包括商品信息、运输信息、经销商信息、销售信息、采购信息、库存信息、支付信息、经销商关系信息等不同环节的流转记录,更具体而言,对以上涉及的各个类型的数据的具体组成进行举例,商品信息:包括商品名称、规格、价格、生产日期等基本信息。运输信息可以包括运输方式、物流公司、送货地址、运费等信息。经销商信息可以包括经销商名称、联系人、地址、电话、邮箱等信息。销售信息可以包括销售时间、销售数量、销售额、销售渠道等信息。采购信息可以包括采购时间、采购数量、采购价格等信息。库存信息可以包括库存数量、库存位置、库存变化记录等信息。支付信息可以包括支付方式、支付时间、支付金额等信息。经销商关系信息可以包括经销商之间的合作关系、代理关系、供应关系等信息等。其中,对于连续性数据,直接对数值进行记录,对于离散型数据,可以根据任意可行的编码方式(如独热编码)对数据进行编码,得到数值型数据,例如将支付方式“现金交易”编码为“10”。
多个流转数据簇可能包含详实性不同的流转数据簇,如果流转数据簇的详实性不同,那么流转数据簇对应的详实性分类不同。以上提及的详实性分类可以是流转数据的详实性分类,各个详实性分类各自表征对应的详实性,例如依据等级划分,如一级、二级、三级。
比如,流转数据的详实性分类包括两类,分别为简单的详实性分类以及丰富的详实性分类,简单的详实性分类表征的详实性低于丰富的详实性分类表征的详实性。以上所说流转数据簇的详实性不同,表示流转数据簇的详实性级别不同。
步骤S120,通过显著性识别算法对多个流转数据簇进行检测,得到多个流转数据簇中的第一流转数据簇和第二流转数据簇;显著性识别算法具有显著性权重,显著性识别算法依据显著性权重确定对第一流转数据簇的显著性高于对第二流转数据簇的显著性。
作为一种实施方式,本申请实施例调取显著性识别算法对输入流转数据(第一流转数据学习样例)依据对输入流转数据划分的各个流转数据簇为单位进行检测,得到多个流转数据簇中的第一流转数据簇和第二流转数据簇。其中,显著性识别算法可以具有显著性权重(即算法参数中的权重),显著性识别算法可以通过显著性权重确定对第一流转数据簇的显著性(即第一流转数据簇投入的关注成都)高于对第二流转数据簇的显著性,显著性识别算法对各个流转数据簇的显著性可以通过显著性识别算法的显著性权重确定。
显著性识别算法可以通过以上所述显著性权重对第一流转数据学习样例依据第一流转数据学习样例的各个流转数据簇为单位进行特征学习,完成检测,得到显著性识别算法对各个流转数据簇的显著性评分(又称为显著性权重),显著性识别算法对一个流转数据簇可以对应一个显著性评分,显著性识别算法对一个流转数据簇的显著性评分,代表显著性识别算法对该流转数据簇的显著性,显著性评分越高,显著性越高,显著性评分为一个权重,则其数值限定在0~1之间。
基于此,显著性识别算法通过显著性权重,依据第一流转数据学习样例的各个流转数据簇为单位,获取对第一流转数据学习样例的各个流转数据簇的显著性评分。换言之,通过显著性识别算法的显著性权重可以明确显著性识别算法更聚焦输入流转数据(第一流转数据学习样例)的哪些流转数据簇,以及少聚焦输入流转数据的哪些流转数据簇。
作为一种实施方式,可以根据流转数据的详实性分类的数量,对显著性评分的数值区间进行划分,得到显著性评分的多个评分范围,一个详实性分类可以对应显著性评分的一个评分范围,详实性分类表征的详实性越高,详实性分类对应的评分范围中的评分越高,全部的额评分范围组合即显著性评分的全局数值区间。譬如,流转数据的详实性分类包括简单的详实性分类和丰富的详实性分类,那么,将显著性评分的数值区间划分为两个评分范围,如划分为评分范围1(0,0.48)和评分范围2(0.48,1),评分范围1是简单的详实性分类对应的评分范围,评分范围2是丰富的详实性分类对应的评分范围。第一流转数据簇的显著性评分和第二流转数据簇的显著性评分各自位于划分的两个评分范围中,且第一流转数据簇的显著性评分大于第二流转数据簇的显著性评分,换言之,第一流转数据簇的显著性评分所属评分范围中的评分大于第二流转数据簇的显著性评分所属评分范围中的评分。其中,将对显著性评分的数值区间划分的多个评分范围中,任两个评分范围视为第一评分范围和第二评分范围,且第一评分范围中的评分大于第二评分范围中的评分。
那么,本申请将第一流转数据学习样例的多个流转数据簇中显著性评分在第一评分范围内的流转数据簇确定为是第一流转数据簇,将多个流转数据簇中显著性评分在第二评分范围内的流转数据簇确定为是第二流转数据簇。第一流转数据簇和第二流转数据簇的数量都至少为一个。
步骤S130,依据显著性识别算法对第一流转数据簇的显著性,为第一流转数据簇分配第一预估注释信息,并依据显著性识别算法对第二流转数据簇的显著性,为第二流转数据簇分配第二预估注释信息;第一预估注释信息表征第一流转数据簇属于第一预估详实性分类;第二预估注释信息表征第二流转数据簇属于第二预估详实性分类;第一预估详实性分类表征的详实性高于第二预估详实性分类表征的详实性。
作为一种实施方式,通过显著性识别算法对各个流转数据簇的显著性评分所属的评分范围以及各个评分范围对应的详实性分类,以此为各个流转数据簇分配相应的预估注释信息,预估注释信息是预估得到的对应的流转数据簇的分类标签信息。
本申请实施例通过显著性识别算法对第一流转数据簇的显著性评分,为第一流转数据簇分配第一预估注释信息,例如通过第一流转数据簇的显著性评分所属评分范围对应的详实性分类,为第一流转数据簇分配第一预估注释信息,第一预估注释信息即表征第一流转数据簇的详实性分类属于第一预估详实性分类,第一预估详实性分类也即第一流转数据簇的显著性评分所属评分范围对应的详实性分类,第一预估详实性分类可以认为是显著性识别算法依据显著性权重确定的第一流转数据簇的详实性分类。此外,通过显著性识别算法对第二流转数据簇的显著性评分为第二流转数据簇分配第二预估注释信息,例如通过第二流转数据簇的显著性评分所属评分范围对应的详实性分类,为第二流转数据簇分配第二预估注释信息,第二预估注释信息即表征第二流转数据簇的详实性分类属于第二预估详实性分类,第二预估详实性分类也即第二流转数据簇的显著性评分所属评分范围对应的详实性分类,第二预估详实性分类可以认为是显著性识别算法依据显著性权重确定的第二流转数据簇的详实性分类。第一预估详实性分类表征的详实性高于第二预估详实性分类表征的详实性。
基于以上对第一流转数据簇和第二流转数据簇分配预估注释信息(包括第一预估注释信息和第二预估注释信息)的方式,本申请可以为显著性识别算法更聚焦的流转数据簇分配表征的详实性越高的详实性分类的预估注释信息,后面采用此方式调节显著性识别算法的显著性权重,可以令显著性识别算法能通过调节的显著性权重,更聚焦输入流转数据中更丰富的流转数据簇,降低输入流转数据中更简单的流转数据簇的关注程度。
步骤S140,获取第一流转数据簇的第一对比注释信息和第二流转数据簇的第二对比注释信息;第一对比注释信息表征第一流转数据簇属于第一对比详实性分类;第二对比注释信息表征第二流转数据簇属于第二对比详实性分类。
作为一种实施方式,获取第一流转数据簇的对比注释信息以及第二流转数据簇的对比注释信息,将第一流转数据簇的对比注释信息视作是第一对比注释信息,同时将第二流转数据簇的对比注释信息视作是第二对比注释信息。其中,第一对比注释信息可以是第一流转数据簇实际的详实性分类的注释信息,第二对比注释信息可以是第二流转数据簇实际的详实性分类的注释信息。第一对比注释信息可以表征第一流转数据簇的详实性分类属于第一对比详实性分类,即第一流转数据簇实际的详实性分类可以是第一对比详实性分类。此外,第二对比注释信息可以表征第二流转数据簇的详实性分类属于第二对比详实性分类,即第二流转数据簇实际的详实性分类例如是第二对比详实性分类。其中,第一对比详实性分类以及第二对比详实性分类都可以是为流转数据设置的多中详实性分类的一个。
作为一种实施方式,通过调试后的详实性识别算法获取第一流转数据簇的第一对比注释信息以及第二流转数据簇的第二对比注释信息,具体地,通过调试后的详实性识别算法对第一流转数据簇的详实性进行合规识别,得到第一流转数据簇的第一对比详实性分类,第一对比详实性分类即通过调试后的详实性识别算法所预估的第一流转数据簇实际的详实性分类。同理,通过调试后的详实性识别算法对第二流转数据簇的详实性进行合规识别,得到第二流转数据簇的第二对比详实性分类,第二对比详实性分类即通过调试后的详实性识别算法所预估的第二流转数据簇实际的详实性分类。那么,通过以上第一对比详实性分类为第一流转数据簇分配以上所述第一对比注释信息,第一对比注释信息就表征第一流转数据簇的详实性分类是第一对比详实性分类。另外,还可以基于以上第二对比详实性分类为第二流转数据簇分配以上所述第二对比注释信息,第二对比注释信息表征第二流转数据簇的详实性分类是第二对比详实性分类。
例如,对调试得到以上所述调试后的详实性识别算法的过程具体包括:流转数据识别算法获取第三流转数据学习样例以及待调试的详实性识别算法,该第三流转数据学习样例具有详实性注释信息,该详实性注释信息可以表征第三流转数据学习样例的真实详实性分类。作为一种实施方式,本申请可以包括多个第三流转数据学习样例,该多个第三流转数据学习样例可以包括各种详实性分类(包括对流转数据事先配置的全部详实性分类)的流转数据学习样例,用于对待调试的详实性识别算法进行调试。可以通过待调试的详实性识别算法对以上所述第三流转数据学习样例的详实性分类进行合规识别,得到第三流转数据学习样例的预估详实性分类,预估详实性分类即通过待调试的详实性识别算法对第三流转数据学习样例所预估得到的详实性分类。然后通过第三流转数据学习样例的真实详实性分类与预估详实性分类之间的差别(例如为真实详实性分类与预估详实性分类的交叉熵损失)调节待调试的详实性识别算法的算法参数,得到调试后的详实性识别算法。
此外,还可以通过调试后的数据划簇算法获取第一流转数据簇的第一对比注释信息和第二流转数据簇的第二对比注释信息,具体地:调试后的数据划簇算法是调试得到的用于切分输入流转数据中不同详实性分类的各部分流转数据的算法,作为一种实施方式,该调试后的数据划簇算法可以为任意切分算法,例如随机切分算法、分层切分算法、时序序列切分算法等。因此,通过调试后的数据划簇算法对第一流转数据学习样例进行划簇处理,得到第一流转数据学习样例的多个数据簇,各个数据簇均为第一流转数据学习样例中的流转数据,一个数据簇可以对应一种详实性分类,换言之,一个数据簇对应一详实性分类,各个数据簇对应的详实性分类可以由调试后的数据划簇算法在切分获得各数据簇时识别得到。
进一步地,将多个数据簇中与第一流转数据簇之间的交并比(IOU值)最大(即流转数据重合率最大)的数据簇确定为第一流转数据簇的第一详实性匹配数据簇,如此即可通过第一详实性匹配数据簇对应的详实性分类为第一流转数据簇分配第一对比注释信息,第一对比注释信息表征的第一对比详实性分类即第一详实性匹配数据簇对应的详实性分类。同理,将多个数据簇中与第二流转数据簇之间的交并比最大的数据簇确定为是第二流转数据簇的第二详实性匹配数据簇,如此即可通过第二详实性匹配数据簇对应的详实性分类为第二流转数据簇分配第二对比注释信息,第二对比注释信息表征的第二对比详实性分类即该第二详实性匹配数据簇对应的详实性分类。
作为一种实施方式,通过以上所述两种方式(依据调试后的详实性识别算法或依据调试后的数据划簇算法)中任意一种为第一流转数据学习样例中的各流转数据簇分别分配对应的对比注释信息,进而即可直接获取事先为第一流转数据簇和第二流转数据簇分配的对比注释信息(包括第一对比注释信息和第二对比注释信息)。
在调试数据划簇算法时,具体可以包括:
S1,如果流转数据的详实性分类包括丰富的详实性分类和简单的详实性分类,准备具有丰富注释信息和简单注释信息的流转数据学习样例,丰富注释信息可以为给流转数据学习样例中丰富的流转数据赋予的注释信息,丰富注释信息即丰富的详实性分类的注释信息;简单注释信息即为流转数据学习样例中简单的流转数据赋予的注释信息,简单注释信息为简单的详实性分类的注释信息;
S2,构建数据划簇算法,例如采用卷积神经网络,基于U-Net架构的神经网络算法初始化为数据划簇算法;
S3,构建数据划簇算法的误差函数(如交叉熵函数);
S4,获取当前代对数据划簇算法进行调试的调试样本(流转数据学习样例);
S5,将样本输入数据划簇算法进行正向传播,预估流转数据学习样例中的丰富数据簇和简单数据簇;
S6,通过预估识别的丰富数据簇与丰富数据簇注释信息对应的实际的丰富数据簇之间的差别,以及预估识别的简单数据簇与简单数据簇注释信息对应的实际的简单数据簇之间的差别,确定数据划簇算法的误差;
S7,基于误差对数据划簇算法进行梯度优化调节,更新数据划簇算法的算法参数;
S8,算法收敛时,得到调试得到的数据划簇算法,算法收敛的条件例如是调试的轮次达到预设的最大轮次,或者算法的误差小于误差阈值;
S9,将调试得到的数据划簇算法作为调试后的数据划簇算法。
步骤S150,依据第一预估注释信息与第一对比注释信息之间的差别,以及第二预估注释信息与第二对比注释信息之间的差别,调节显著性权重;显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,该合规描述特征用于对流转数据的合规性进行识别。
作为一种实施方式,可通过以上所述第一预估注释信息与第一对比注释信息之间的差别,以及第二预估注释信息与第二对比注释信息之间的差别,来调节以上所述显著性识别算法的显著性权重。其中,第一预估注释信息与第一对比注释信息之间的差别可以为第一预估注释信息与第一对比注释信息之间的交叉熵误差,第二预估注释信息与第二对比注释信息之间的差别可以为第二预估注释信息与第二对比注释信息之间的交叉熵误差。
本申请实施例中,调节显著性权重时,第一流转数据簇可以包括第一预估注释信息和第一对比注释信息,第二流转数据簇可以包括第二预估注释信息和第二对比注释信息。获取第一流转数据簇的第一预估注释信息和第一对比注释信息之间的差别,以及获取第二流转数据簇的第二预估注释信息和第二对比注释信息之间的差别。通过以上所述的第一预估注释信息和第一对比注释信息之间的交叉熵误差,以及第二预估注释信息和第二对比注释信息之间的交叉熵误差,调节显著性识别算法的显著性权重,得到调节后的显著性权重。基于以上所述过程,显著性识别算法通过调节后的显著性权重更聚焦输入流转数据中详实性更高的流转数据簇,减少输入流转数据中详实性更低的流转数据簇的聚焦度,那么通过显著性识别算法可以采用调节后的显著性权重提取流转数据的合规描述特征,合规描述特征更精确可靠,便于对流转数据的合规性进行更精确可靠地识别。
本申请可以获取第一流转数据学习样例;第一流转数据学习样例具有多个流转数据簇,若流转数据簇的详实性不同,则流转数据簇所属的详实性分类不同;并可以通过显著性识别算法对多个流转数据簇进行检测,得到多个流转数据簇中的第一流转数据簇和第二流转数据簇;显著性识别算法具有显著性权重,显著性识别算法依据显著性权重确定对第一流转数据簇的显著性高于对第二流转数据簇的显著性;然后,可以依据显著性识别算法对第一流转数据簇的显著性,为第一流转数据簇分配第一预估注释信息,并依据显著性识别算法对第二流转数据簇的显著性,为第二流转数据簇分配第二预估注释信息;第一预估注释信息表征第一流转数据簇属于第一预估详实性分类;第二预估注释信息表征第二流转数据簇属于第二预估详实性分类;第一预估详实性分类表征的详实性高于第二预估详实性分类表征的详实性;还可以获取第一流转数据簇的第一对比注释信息和第二流转数据簇的第二对比注释信息;第一对比注释信息表征第一流转数据簇属于第一对比详实性分类;第二对比注释信息表征第二流转数据簇属于第二对比详实性分类;从而,可以依据第一预估注释信息与第一对比注释信息之间的差别,以及第二预估注释信息与第二对比注释信息之间的差别,调节显著性权重;显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,该合规描述特征用于对流转数据的合规性进行识别。基于此,本申请能通过显著性识别算法对第一流转数据学习样例中的流转数据簇的显著性为第一流转数据学习样例的流转数据簇分配预估注释信息,为显著性更高的流转数据簇分配的预估注释信息表征的详实性分类的详实性更高,如此即可通过流转数据簇的真实注释信息(如对比注释信息)与预估注释信息之间的差别调节显著性权重,然后显著性识别算法就可以通过调节后的显著性权重对流转数据中详实性更高的流转数据簇分配更高的显著性,对流转数据中详实性越低的流转数据簇分配更低的显著性,以更全面挖掘到流转数据中详实性更高的流转数据簇的数据特征,获得流转数据更准确的合规描述特征,基于此,对流转数据的识别更精确可靠。
下面介绍一种调试合规识别算法的调试流程,具体可以包括以下步骤:步骤S210,获取第二流转数据学习样例。
该第二流转数据学习样例包含流转注释信息,流转注释信息表征第二流转数据学习样例的合规结果。合规结果例如是二分类的,即合规或不合规,也可以更加细化,如不合规的类型,例如支付方式不合规、运输方式不合规、库存记录不合规等等。
以上所述的显著性识别算法可以嵌入在合规识别算法中,通过以上所述的过程对显著性识别算法的显著性权重进行调节得到的显著性权重,在合规识别算法中,可以被固定,在后续的合规识别算法调校流程中,调节得到的显著性权重无需再调节。
也即,以上所述过程是对合规识别算法中显著性识别算法的显著性权重进行调节的一个预处理过程,在对合规识别算法中显著性识别算法的显著性权重进行调节之后,还可以对合规识别算法进行整体调试,此时不用额外调节优化好的显著性权重,仅更新合规识别算法中除调节的显著性权重之外的其他算法参数。
步骤S220,通过显著性识别算法依据调节后的显著性权重,对第二流转数据学习样例进行特征提取,得到第二流转数据学习样例的样例合规描述特征。
作为一种实施方式,以上所述显著性识别算法可以是合规识别算法中的一个用于对输入流转数据进行特征挖掘的分支算法(或称算子),显著性识别算法的算法参数除了调节后的显著性权重,还包括其他对输入流转数据进行特征提取的算法参数。那么,可以通过合规识别算法中的以上所述显著性识别算法,依据以上所述调节后的显著性权重和其余的用于对输入流转数据进行特征提取的算法参数,对第二流转数据学习样例(即显著性识别算法的输入流转数据)进行特征提取,得到第二流转数据学习样例的样例合规描述特征,作为一种实施方式,样例合规描述特征为一个特征向量,样例合规描述特征通过显著性识别算法对第二流转数据学习样例学习获得。
作为一种实施方式,以上所述第二流转数据学习样例可以有多个,多个第二流转数据学习样例对应不同环节的流转记录(即流转过程中涉及到的流转节点产生的记录信息),一个流转记录对应一个第二流转数据学习样例,本申请实施例获取以上所述样例合规描述特征具体包括:通过显著性识别算法,依据以上所述调节后的显著性权重和其余用于对输入流转数据进行特征提取的算法参数,分别对每个第二流转数据学习样例进行特征提取,得到每个第二流转数据学习样例的样例合规描述特征,一个第二流转数据学习样例包含一个样例合规描述特征,一个第二流转数据学习样例的样例合规描述特征即显著性识别算法对第二流转数据学习样例学习获得的特征。接着,对以上所述多个第二流转数据学习样例的样例合规描述特征进行特征交互(例如特征向量的融合,具体可以采用向量运算执行,如相加、首尾连接、相乘等运算),得到以上所述样例合规描述特征,该样例合规描述特征融合了第二流转数据学习样例的多流转节点记录的流转数据(即多个第二流转数据学习样例)的特征。
步骤S230,通过识别分支算子依据样例合规描述特征,对第二流转数据学习样例进行合规识别,得到第二流转数据学习样例的合规性预估结果。
作为一种实施方式,合规识别算法还可以包括识别分支算子,识别分支算子用于对流转数据中的合规类型进行识别,得到流转数据中的合规类别,具体的输出结果可以为一个概率值或者置信度,作为一种实施方式,识别分支算子可以为仿射网络层(全连接层)。
那么,合规识别算法可以通过识别分支算子通过以上所述样例合规描述特征,对第二流转数据学习样例进行合规识别,得到第二流转数据学习样例的合规性预估结果,合规性预估结果可以为预估的第二流转数据学习样例对应各合规类型的概率或置信度的分布情况,具体可以通过向量表示。
步骤S240,依据合规结果与合规性预估结果之间的差别,调节合规识别算法中除固定的调节后的显著性权重之外的算法参数,得到调试后的合规识别算法。
作为一种实施方式,可以通过以上所述第二流转数据学习样例的合规结果与合规性预估结果之间的差别(如前所述,可以是二者的交叉熵误差,具体是代表合规结果的向量间的差值),调节合规识别算法中除固定的调节后的显著性权重外的其余算法参数(如显著性识别算法的除调节后的显著性权重外的,用于对流转数据进行特征提取的算法参数和识别分支算子的算法参数),得到调试后的合规识别算法。
例如,基于以上所述过程持续对合规识别算法进行迭代,在合规识别算法的算法参数(除固定的调节后的显著性权重之外的其他算法参数)收敛时停止,当然,还可以是其他调试停止条件,例如合规识别算法的迭代次数达到调试次数的最大值,此时,将调试得到的合规识别算法确定为调试后的合规识别算法。其中,调试后的合规识别算法中的显著性识别算法即调试后的显著性识别算法,调试后的合规识别算法中的识别分支算子即为调试后的识别分支算子。
综上,总结而言,在合规识别算法的调试中,通过第一流转数据学习样例调节合规识别算法中显著性识别算法的显著性权重。然后,通过第二流转数据学习样例调节合规识别算法中除调节后的显著性权重之外的其他算法参数,得到调试后的合规识别算法。通过以上所述过程,调试得到合规识别算法,调试后的合规识别算法具有调试后的显著性识别算法和调试后的识别分支算子。然后就可通过调试后的合规识别算法对流转数据进行合规性的准确识别,具体地:获取待合规验证的流转数据,通过调试后的显著性识别算法对待合规验证的流转数据进行特征提取,得到该待合规验证的流转数据的目标合规描述特征,该目标合规描述特征的获取方式与以上所述样例合规描述特征的获取方式相同,可以包括:通过调试后的显著性识别算法分别对待合规验证的每个流转数据进行特征提取,得到每个流转数据的样例合规描述特征,然后,对待合规验证的多个流转数据的样例合规描述特征进行特征交互(如首尾连接或者求和),得到以上所述目标合规描述特征。其中,因为调试后的显著性识别算法包括以上所述调节后的显著性权重,则调试后的显著性识别算法可通过调节后的显著性权重更聚焦各个流转数据中的丰富数据簇的流转数据,那么可得到待合规验证的流转数据的更准确的目标合规描述特征,提高合规验证的准确可靠性。
基于上述实施例,本申请实施例提供一种流转数据处理装置,图3是本申请实施例提供的一种流转数据处理装置350,如图3所示,所述装置350包括:训练样本获取模块351,用于获取第一流转数据学习样例;所述第一流转数据学习样例具有多个流转数据簇,如果流转数据簇的详实性不同,则流转数据簇对应的详实性分类不同;显著性确定模块352,用于通过显著性识别算法对所述多个流转数据簇进行检测,得到所述多个流转数据簇中的第一流转数据簇和第二流转数据簇;所述显著性识别算法具有显著性权重,所述显著性识别算法依据所述显著性权重确定对所述第一流转数据簇的显著性高于对所述第二流转数据簇的显著性;注释信息分配模块353,用于依据所述显著性识别算法对所述第一流转数据簇的显著性,为所述第一流转数据簇分配第一预估注释信息,并依据所述显著性识别算法对所述第二流转数据簇的显著性,为所述第二流转数据簇分配第二预估注释信息;所述第一预估注释信息表征所述第一流转数据簇属于第一预估详实性分类;所述第二预估注释信息表征所述第二流转数据簇属于第二预估详实性分类;所述第一预估详实性分类表征的详实性高于所述第二预估详实性分类表征的详实性;对比注释获取模块354,用于获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息;所述第一对比注释信息表征所述第一流转数据簇属于第一对比详实性分类;所述第二对比注释信息表征所述第二流转数据簇属于第二对比详实性分类;算法参数调节模块355,用于依据所述第一预估注释信息与所述第一对比注释信息之间的差别,以及所述第二预估注释信息与所述第二对比注释信息之间的差别,调节所述显著性权重;所述显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,所述合规描述特征用于对所述流转数据的合规性进行识别。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
若本申请技术方案涉及个人或私密信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求,同时在法律法规的范围内收集。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
需要说明的是,图4是本申请实施例提供的一种核检服务器的硬件实体示意图,如图4所示,该核检服务器300的硬件实体包括:处理器310、通信接口320和存储器330,其中:处理器310通常控制核检服务器300的总体操作。通信接口320可以使电子设备通过网络与其他终端或服务器通信。存储器330配置为存储由处理器310可执行的指令和应用,还可以缓存待处理器310以及核检服务器300中各模块待处理或已经处理的数据(例如流转数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。处理器310、通信接口320和存储器330之间可以通过总线340进行数据传输。这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (7)
1.一种基于自动核检的多级经销商流转数据处理方法,其特征在于,所述方法包括:
获取第一流转数据学习样例;所述第一流转数据学习样例具有多个流转数据簇,如果流转数据簇的详实性不同,则流转数据簇对应的详实性分类不同;其中,各个流转数据簇的划分方式是根据商品的数据类型进行划分得到,数据类型包括商品信息、运输信息、经销商信息、销售信息、采购信息、库存信息、支付信息、经销商关系信息的流转记录,其中,商品信息包括商品名称、规格、价格、生产日期;运输信息包括运输方式、物流公司、送货地址、运费;经销商信息包括经销商名称、联系人、地址、电话、邮箱;销售信息包括销售时间、销售数量、销售额、销售渠道;采购信息包括采购时间、采购数量、采购价格;库存信息包括库存数量、库存位置、库存变化记录;支付信息包括支付方式、支付时间、支付金额;经销商关系信息包括经销商之间的合作关系、代理关系、供应关系;其中,对于连续性数据,直接对数值进行记录,对于离散型数据,根据对数据进行编码,得到数值型数据;
通过显著性识别算法对所述多个流转数据簇进行检测,得到所述多个流转数据簇中的第一流转数据簇和第二流转数据簇;所述显著性识别算法具有显著性权重,所述显著性识别算法依据所述显著性权重确定对所述第一流转数据簇的显著性高于对所述第二流转数据簇的显著性;
依据所述显著性识别算法对所述第一流转数据簇的显著性,为所述第一流转数据簇分配第一预估注释信息,并依据所述显著性识别算法对所述第二流转数据簇的显著性,为所述第二流转数据簇分配第二预估注释信息;所述第一预估注释信息表征所述第一流转数据簇属于第一预估详实性分类;所述第二预估注释信息表征所述第二流转数据簇属于第二预估详实性分类;所述第一预估详实性分类表征的详实性高于所述第二预估详实性分类表征的详实性;
获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息;所述第一对比注释信息表征所述第一流转数据簇属于第一对比详实性分类;所述第二对比注释信息表征所述第二流转数据簇属于第二对比详实性分类;其中,所述获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息,包括:通过调试后的详实性识别算法对第一流转数据簇的详实性进行合规识别,得到所述第一流转数据簇的所述第一对比详实性分类;通过所述调试后的详实性识别算法对第二流转数据簇的详实性进行合规识别,得到所述第二流转数据簇的所述第二对比详实性分类;依据所述第一对比详实性分类为所述第一流转数据簇分配所述第一对比注释信息,并依据所述第二对比详实性分类为所述第二流转数据簇分配所述第二对比注释信息;或者;所述获取所述第一流转数据簇的第一对比注释信息和所述第二流转数据簇的第二对比注释信息,包括:通过调试后的数据划簇算法对所述第一流转数据学习样例进行划簇处理,得到所述第一流转数据学习样例的多个数据簇,一个数据簇对应一种详实性分类;将所述多个数据簇中与所述第一流转数据簇之间的交并比最大的数据簇确定为所述第一流转数据簇的第一详实性匹配数据簇,并依据所述第一详实性匹配数据簇对应的详实性分类,为所述第一流转数据簇分配所述第一对比注释信息;以及,将所述多个数据簇中与所述第二流转数据簇之间的交并比最大的数据簇确定为所述第二流转数据簇的第二详实性匹配数据簇,并依据所述第二详实性匹配数据簇对应的详实性分类,为所述第二流转数据簇分配所述第二对比注释信息;其中,所述第一对比详实性分类是所述第一详实性匹配数据簇对应的详实性分类,所述第二对比详实性分类是所述第二详实性匹配数据簇对应的详实性分类;
依据所述第一预估注释信息与所述第一对比注释信息之间的差别,以及所述第二预估注释信息与所述第二对比注释信息之间的差别,调节所述显著性权重;所述显著性识别算法用于依据调节后的显著性权重提取流转数据的合规描述特征,所述合规描述特征用于对所述流转数据的合规性进行识别;
其中,所述通过显著性识别算法对所述多个流转数据簇进行检测,得到第一流转数据簇和第二流转数据簇,包括:
通过所述显著性识别算法依据所述显著性权重,确定所述多个流转数据簇中每个流转数据簇的显著性评分;流转数据簇的显著性评分代表所述显著性识别算法对所述流转数据簇的显著性;
将所述多个流转数据簇中显著性评分在第一评分范围内的流转数据簇确定为所述第一流转数据簇,并将所述多个流转数据簇中显著性评分在第二评分范围内的流转数据簇确定为所述第二流转数据簇;其中,所述第一评分范围中的评分大于所述第二评分范围中的评分;
所述显著性识别算法嵌入在合规识别算法中,所述调节后的显著性权重在所述合规识别算法中固定,所述合规识别算法还具有识别分支算子;所述方法还包括:
获取第二流转数据学习样例,所述第二流转数据学习样例包含流转注释信息,所述流转注释信息表征所述第二流转数据学习样例的合规结果;
通过所述显著性识别算法依据所述调节后的显著性权重,对所述第二流转数据学习样例进行特征提取,得到所述第二流转数据学习样例的样例合规描述特征;
通过所述识别分支算子依据所述样例合规描述特征,对所述第二流转数据学习样例进行合规识别,得到所述第二流转数据学习样例的合规性预估结果;
依据所述合规结果与所述合规性预估结果之间的差别,调节所述合规识别算法中,除固定的所述调节后的显著性权重外的算法参数,得到调试后的合规识别算法。
2.如权利要求1所述的方法,其特征在于,所述第二流转数据学习样例有多个,多个所述第二流转数据学习样例对应不同环节的流转记录;所述通过所述显著性识别算法依据所述调节后的显著性权重,对所述第二流转数据学习样例进行特征提取,得到所述第二流转数据学习样例的样例合规描述特征,包括:
通过所述显著性识别算法依据所述调节后的显著性权重,分别对每个第二流转数据学习样例进行特征提取,得到所述每个第二流转数据学习样例的样例合规描述特征;
对所述多个第二流转数据学习样例的样例合规描述特征进行特征交互,得到所述样例合规描述特征。
3.如权利要求2所述的方法,其特征在于,所述对所述多个第二流转数据学习样例的样例合规描述特征进行特征交互,得到所述样例合规描述特征,包括:
对所述多个第二流转数据学习样例的样例合规描述特征进行首尾连接,得到所述样例合规描述特征;
或者;
对所述多个第二流转数据学习样例的样例合规描述特征进行求和,得到所述样例合规描述特征。
4.如权利要求1所述的方法,其特征在于,所述调试后的合规识别算法具有调试后的显著性识别算法和调试后的识别分支算子;所述方法还包括:
获取待合规验证的流转数据;
通过所述调试后的显著性识别算法,对所述流转数据进行特征提取,得到所述流转数据的目标合规描述特征;
通过所述调试后的识别分支算子依据所述目标合规描述特征,对所述流转数据进行合规识别,得到所述流转数据的合规识别结果。
5.如权利要求4所述的方法,其特征在于,所述流转数据包括多个,多个流转数据对应不同环节的流转记录;所述通过所述调试后的显著性识别算法,对所述流转数据进行特征提取,得到所述流转数据的目标合规描述特征,包括:
通过所述调试后的显著性识别算法,分别对每个流转数据进行特征提取,得到所述每个流转数据的样例合规描述特征;
对所述多个流转数据的样例合规描述特征进行特征交互,得到所述目标合规描述特征。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取第三流转数据学习样例及待调试的详实性识别算法;所述第三流转数据学习样例具有详实性注释信息,所述详实性注释信息表征所述第三流转数据学习样例的真实详实性分类;
通过所述待调试的详实性识别算法对所述第三流转数据学习样例的详实性分类进行合规识别,得到所述第三流转数据学习样例的预估详实性分类;
依据所述真实详实性分类与所述预估详实性分类之间的差别,调节所述待调试的详实性识别算法的算法参数,得到所述调试后的详实性识别算法。
7.一种基于自动核检的多级经销商流转数据处理***,其特征在于,包括核检服务器和与所述核检服务器通信连接的流转终端,所述核检服务器包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1~6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311549858.9A CN117273765B (zh) | 2023-11-21 | 2023-11-21 | 基于自动核检的多级经销商流转数据处理方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311549858.9A CN117273765B (zh) | 2023-11-21 | 2023-11-21 | 基于自动核检的多级经销商流转数据处理方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117273765A CN117273765A (zh) | 2023-12-22 |
CN117273765B true CN117273765B (zh) | 2024-02-06 |
Family
ID=89210866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311549858.9A Active CN117273765B (zh) | 2023-11-21 | 2023-11-21 | 基于自动核检的多级经销商流转数据处理方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117273765B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598065A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯云计算(北京)有限责任公司 | 一种数据挖掘方法、装置和计算机可读存储介质 |
CN114331355A (zh) * | 2021-12-28 | 2022-04-12 | 大连广源合科技有限公司 | 一种灵活用工平台的远程多级审批方法及*** |
CN114820080A (zh) * | 2022-05-24 | 2022-07-29 | 上海钧正网络科技有限公司 | 基于人群流转的用户分群方法、***、装置及介质 |
CN114978357A (zh) * | 2022-05-23 | 2022-08-30 | 青岛海讯数字科技有限公司 | 水声数据的即时流转与交互处理方法及其计算设备 |
CN115130819A (zh) * | 2022-05-23 | 2022-09-30 | 大连理工大学 | 一种考虑工序敏感性的复杂装备制造项目阶段滚动缓冲监控方法及*** |
CN115599873A (zh) * | 2022-12-06 | 2023-01-13 | 滨州市玉炜网络科技有限公司(Cn) | 基于人工智能物联网的数据采集方法、***及云平台 |
CN115600741A (zh) * | 2022-10-18 | 2023-01-13 | 四川大学(Cn) | 基于深度学习的城市配电网多级动态重构方法及*** |
CN115660859A (zh) * | 2022-12-08 | 2023-01-31 | 杭银消费金融股份有限公司 | 基于互联网金融的全链路自动化测试方法及*** |
CN115687732A (zh) * | 2022-11-30 | 2023-02-03 | 杭银消费金融股份有限公司 | 基于ai和流式计算的用户分析方法及*** |
-
2023
- 2023-11-21 CN CN202311549858.9A patent/CN117273765B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598065A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯云计算(北京)有限责任公司 | 一种数据挖掘方法、装置和计算机可读存储介质 |
CN114331355A (zh) * | 2021-12-28 | 2022-04-12 | 大连广源合科技有限公司 | 一种灵活用工平台的远程多级审批方法及*** |
CN114978357A (zh) * | 2022-05-23 | 2022-08-30 | 青岛海讯数字科技有限公司 | 水声数据的即时流转与交互处理方法及其计算设备 |
CN115130819A (zh) * | 2022-05-23 | 2022-09-30 | 大连理工大学 | 一种考虑工序敏感性的复杂装备制造项目阶段滚动缓冲监控方法及*** |
CN114820080A (zh) * | 2022-05-24 | 2022-07-29 | 上海钧正网络科技有限公司 | 基于人群流转的用户分群方法、***、装置及介质 |
CN115600741A (zh) * | 2022-10-18 | 2023-01-13 | 四川大学(Cn) | 基于深度学习的城市配电网多级动态重构方法及*** |
CN115687732A (zh) * | 2022-11-30 | 2023-02-03 | 杭银消费金融股份有限公司 | 基于ai和流式计算的用户分析方法及*** |
CN115599873A (zh) * | 2022-12-06 | 2023-01-13 | 滨州市玉炜网络科技有限公司(Cn) | 基于人工智能物联网的数据采集方法、***及云平台 |
CN115660859A (zh) * | 2022-12-08 | 2023-01-31 | 杭银消费金融股份有限公司 | 基于互联网金融的全链路自动化测试方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN117273765A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991474A (zh) | 一种机器学***台 | |
CN113011973B (zh) | 基于智能合约数据湖的金融交易监管模型的方法及设备 | |
CN111639690A (zh) | 基于关系图谱学习的欺诈分析方法、***、介质及设备 | |
CN113486983A (zh) | 一种用于反欺诈处理的大数据办公信息分析方法及*** | |
CN110969526A (zh) | 重叠社群处理方法、装置以及电子设备 | |
CN111881164B (zh) | 基于边缘计算和路径分析的数据处理方法及大数据云平台 | |
CN115174231A (zh) | 一种基于AI Knowledge Base的网络欺诈分析方法及服务器 | |
CN110782158A (zh) | 对象评估方法及装置 | |
CN115879017A (zh) | 一种电力敏感数据自动化分类分级方法、装置及存储介质 | |
CN116823428A (zh) | 一种反欺诈检测方法、装置、设备及存储介质 | |
CN117523218A (zh) | 标签生成、图像分类模型的训练、图像分类方法及装置 | |
CN111309994A (zh) | 用户匹配方法、装置、电子设备及可读存储介质 | |
CN113282421A (zh) | 基于人工智能和云计算的业务分析方法及人工智能服务器 | |
CN117273765B (zh) | 基于自动核检的多级经销商流转数据处理方法及*** | |
CN115982646B (zh) | 一种基于云平台的多源测试数据的管理方法及*** | |
CN112990989A (zh) | 价值预测模型输入数据生成方法、装置、设备和介质 | |
CN117196630A (zh) | 交易风险预测方法、装置、终端设备以及存储介质 | |
CN116958622A (zh) | 数据的分类方法、装置、设备、介质及程序产品 | |
CN116383710A (zh) | 标签确定方法、装置、电子设备及存储介质 | |
CN114741592A (zh) | 一种基于多模型融合的产品推荐方法、设备及介质 | |
CN116502173A (zh) | 一种状态识别方法、装置、存储介质及设备 | |
CN112866295A (zh) | 一种区块链大数据防爬虫处理方法及云平台*** | |
CN111027296A (zh) | 基于知识库的报表生成方法及*** | |
CN116823069B (zh) | 基于文本分析的智能客服服务质检方法及相关设备 | |
CN113298448B (zh) | 基于互联网的租赁指数分析方法、***及云平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |