CN113342855A - 一种基于大数据的数据匹配方法及装置 - Google Patents

Abstract

本发明涉及计算机技术领域，更具体的说，涉及一种基于大数据的数据匹配方法及装置。本方法，包括以下步骤：S1数据源配置步骤，配置待匹配数据源信息；S2数据规则分析步骤，设定初始的规则分析配置参数，自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果；S3数据规则配置步骤，将生成的匹配规则选定为数据匹配规则或自定义配置数据匹配规则；S4数据匹配处理步骤，根据选定数据匹配规则，依次对待匹配数据进行匹配处理，直至数据匹配成功或者所有规则遍历完毕；S5匹配结果处置步骤，对匹配结果进行处置。本发明可以在具体数据业务零了解基础上分析数据匹配规则，通过配置树的使用快速对数据进行匹配比对处置。

Description

一种基于大数据的数据匹配方法及装置

技术领域

本发明涉及计算机技术领域，更具体的说，涉及一种基于大数据的数据匹配方法及装置。

背景技术

在第三方支付领域中，最常见的数据匹配比对场景就是对账业务，每个金融支付体系中，必然存在着大量的***内部、***间以及与外部***间的对账场景。

随着手机支付的普及，扫码交易量成倍提升，对于对账业务来说，大数据量的数据比对工作单纯依靠传统的数据库关联查询已无法满足数据的扩展性需求，对数据库性能本身也有很高的要求。

目前最流行的就是对数据进行实时流式计算，首先是数据收集，通过采集数据库日志文件或者ETL(数据仓库技术)类工具将数据发送至消息中间件中，运用现在最流行的数据实时处理框架Apache Flink，通过配置计算规则，将数据以流的方式进行实时的匹配比对工作，进行输出及后续处置。

Apache Flink是由Apache软件基金会开发的开源流处理框架。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时***可以执行批处理和流处理程序。

目前常见的数据匹配对比技术方案，存在以下问题：

在进行数据对账过程中，由于业务场景多样复杂，随时存在不同的数据比对需求，关联的***非常多，各***之间的数据关联关系匹配规则各不相同，需要花费大量的时间去对数据做人工调查与确认；

实时计算平台的匹配计算存在窗口的局限性，复杂的规则匹配计算无法百分百实现数据完全匹配；

各***功能上线更新频繁，导致数据匹配规则变化频繁；

日常异常场景下，需要对数据进行快速的异常确认处理，常规的对账***灵活性不足。

因此，亟需一种基于大数据的数据匹配方法及装置，应对不同业务场景多种关联***之间的不同数据比对匹配的需求。

发明内容

本发明的目的是提供一种基于大数据的数据匹配方法及装置，解决现有技术对不同业务场景多种关联***之间的不同数据难以进行比对匹配，灵活性不足的问题。

为了实现上述目的，本发明提供了一种基于大数据的数据匹配方法，包括以下步骤：

S1数据源配置步骤，配置待匹配数据源信息；

S2数据规则分析步骤，设定初始的规则分析配置参数，自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果；

S3数据规则配置步骤，将步骤S2生成的匹配规则，选定为数据匹配规则或自定义配置数据匹配规则；

S4数据匹配处理步骤，根据选定数据匹配规则，依次对待匹配数据进行匹配处理，直至数据匹配成功或者所有规则遍历完毕；

S5匹配结果处置步骤，对匹配结果进行处置。

在一实施例中，所述S1数据源配置步骤，进一步包括：

接收消息中间件所发送的原始的待匹配数据或经初次匹配的数据，作为待匹配数据。

在一实施例中，所述规则分析配置参数，进一步包括：

事务参照源、集合、项集、支持度、最小支持度、频繁项集、置信度、最小置信度、过滤项集和规则置信条件。

在一实施例中，所述步骤S2中自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果，进一步包括：

S21将获取的待匹配数据集合根据字段拆分为项集单位；

S22根据规则分析配置参数，筛选获得频繁项集；

S23根据项集数值的数据离散度，计算频繁项集对事务支持度的权重；

S24根据各频繁项集权重，依次递归遍历频繁项集数据进行匹配规则分析；

S25将匹配规则及其匹配度结果进行输出。

在一实施例中，所述步骤S24，进一步包括：

S241以各频繁项集权重，对待匹配数据集合的频繁项集由高到低依次排序；

S242以事务参考源的数据集合为匹配源，遍历待匹配集合的频繁项集；

S243根据KMP算法对数据字符串进行递归匹配，直到匹配成功，获得对应的匹配规则；

S244根据匹配规则，遍历待匹配数据，计算规则置信度和匹配成功度，过滤规则置信度低于最小置信度的规则。

在一实施例中，所述步骤S244，进一步包括：

计算当前规则的置信度；

如果规则置信度为100％，保存相应规则与置信度，退出所有遍历；

如果100％＞置信度≥最小置信度，则保存当前规则与置信度，剔除匹配成功且符合规则置信条件的数据，返回步骤S242继续进行遍历，查找其他匹配规则；

如果置信度＜最小置信度，则计算匹配成功度；

如果匹配成功度＜最小置信度，则认为当前规则为无效规则，返回步骤 S242继续进行遍历，查找其他匹配规则；

如果匹配成功度≥最小置信度，则以当前规则为条件重新抽取数据排除已遍历过的项集再次开始遍历，直至所有遍历完成。

在一实施例中，所述步骤S4，进一步包括：

S41读取最新规则信息；

S42读取消息数据匹配源信息；

S43查找数据源信息的相关匹配规则，并生成配置树；

S44遍历配置树中各匹配规则，进行数据匹配，直到匹配成功或者遍历完成。

在一实施例中，所述规则信息，进一步包含：

规则适用数据源；数据源中符合此规则的数据适用条件；匹配目标源；匹配规则；匹配是否结束标志；匹配成功匹配结果配置；匹配失败匹配结果配置。

为了实现上述目的，本发明提供了一种基于大数据的数据匹配装置，包括：

存储器，用于存储可有处理器执行的指令；

处理器，用于执行所述指令以实现如上述任一项所述的方法。

为了实现上述目的，本发明提供了一种基于大数据的数据匹配***，包括：

消息中间件，接收原始的待匹配数据或经初次匹配的数据作为待匹配数据并发送至处理器；

存储器，用于存储可有处理器执行的指令；

处理器，用于执行所述指令以实现如上述任一项所述的方法。

本发明提供的一种基于大数据的数据匹配方法、装置及***，可以对具体数据业务零了解的基础上自动分析数据匹配规则，而且能通过灵活的追加修改配置匹配规则，通过配置树的使用实现快速对数据进行匹配比对处置。

附图说明

本发明上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变的更加明显，在附图中相同的附图标记始终表示相同的特征，其中：

图1揭示了根据本发明一实施例的基于大数据的数据匹配方法流程图；

图2揭示了根据本发明一实施例的数据规则分析步骤的方法流程图；

图3揭示了根据本发明一实施例的频繁项集匹配规则分析的方法流程图；

图4揭示了根据本发明一实施例的数据匹配处理步骤的方法流程图；

图5揭示了根据本发明一实施例的航旅账务***的规则树的示意图；

图6揭示了根据本发明一实施例的基于大数据的数据匹配装置原理图；

图7揭示了根据本发明一实施例的基于大数据的数据匹配***原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释发明，并不用于限定发明。

本发明提出的一种基于大数据的数据匹配方法、装置及***，自动分析提取数据匹配规则，通过追加配置，快速进行数据比对匹配，可应用于有关联性的数据之间进行数据比对，尤其涉及大数据的数据匹配规则的分析与自动匹配。

本发明主要运用于公司内部不同业务场景多种关联***间数据状态的核对以及与外部银行***信息的数据核对，保证业务流程状态正常进行，发生异常时能及时发现并通知。

图1揭示了根据本发明一实施例的基于大数据的数据匹配方法流程图，如图1所示，本发明提出的基于大数据的数据匹配方法，包括以下步骤：

S1数据源配置步骤，配置待匹配数据源信息；

S2数据规则分析步骤，设定初始的规则分析配置参数，自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果；

S3数据规则配置步骤，将步骤S2生成的匹配规则，选定为数据匹配规则或自定义配置数据匹配规则；

S4数据匹配处理步骤，根据选定数据匹配规则，依次对待匹配数据进行匹配处理，直至数据匹配成功或者所有规则遍历完毕；

S5匹配结果处置步骤，对匹配结果进行处置。

下面详细说明本发明的每一步骤。

所述S1数据源配置步骤，进一步包括：

接收消息中间件所发送的原始的待匹配数据或经初次匹配的数据，作为待匹配数据。

异常情况时，只需将数据重新推送至消息中间件中，可重复随时处理任意需要匹配的数据；

对于追加新的数据规则，只需要将对应配置内容添加，应用无需发布上线，无需重启，规则及时生效，迅速得到匹配结果。

图2揭示了根据本发明一实施例的数据规则分析步骤的方法流程图，如图 2所示的S2数据规则分析步骤，通过规则分析配置参数自动获取采样数据对象，对数据进行分析计算，生成多种匹配规则及其匹配度结果。

设定初始的规则分析配置参数，其中，规则分析配置参数，包括：事务参照源、集合、项集、支持度、最小支持度、频繁项集、置信度、最小置信度、过滤项集和规则置信条件。

所述事务参照源，是指单条记录体现单次事务的参照数据源。

所述集合，是指待匹配的数据集，分为两个数据集进行数据匹配。

所述项集，是指待匹配的数据集的数据结构中每个字段的数值集。

所述支持度，是项集对事务的关联程度的体现。

例如，每次事务发生，该项集都有对应数值生成反映，则该项集对事务的支持度为100％。

所述最小支持度，为项集与事务存在关联的支持度的最低值，根据业务场景定义，范围0～100％。

所述频繁项集，是指对事务的支持度大于最小支持度的项集。

所述置信度，是指某个数据规则在所有事务中的适用度。

例如，比如100次交易中，数据规则“集合A.项集A1＝集合B.项集B3”在60次交易中都符合，则此数据规则的置信度为60％。

所述最小置信度，是指某个数据规则是否可以适用的最低值。

所述过滤项集，是指根据业务自定义配置，无业务关联含义项集，例如，自增id、备注、描述等。

所述规则置信条件，是指确认数据规则匹配结果正确的条件，可以根据业务进行自定义。

例如，集合A与集合B中，若为同一事务，则必须满足金额之和相等作为规则置信条件等。

所述步骤S2中自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果，进一步包括以下步骤：

S21将获取的待匹配数据集合根据字段拆分为项集单位。

根据待匹配数据源获取待匹配数据，将待匹配双方数据同步放入本地数据库临时表中。

从本地数据库临时表中取出数据放入内存中，依次生成项集List。

S22根据规则分析配置参数，筛选获得频繁项集。

规则分析配置参数为最小支持度，计算项集对事务的支持度，根据初始设定的最小支持度，筛选获得频繁项集。

更进一步的，首先排除初始设定的过滤项集以及在规则置信条件中的项集，然后计算各项集对事务的支持度，提高数据规则分析的速度和效率。

各项集对事务的支持度，对应的公式如下：

支持度＝count(非空值)*事务集合比例/事务次数。

事务参考源数据中数据条数，即为事务次数。

S23根据项集数值的数据离散度，计算频繁项集对事务支持度的权重。

在处理筛选出的频繁项集中，根据项集数值的权重值(value值)的离散度，计算出各频繁项集对事务支持度的权重，离散度越高，权重值越高。

频繁项集权重对应的公式如下：

离散度(权重)＝count(项集去重后value值)/事务次数。

S24根据各频繁项集权重，依次递归遍历频繁项集数据进行匹配规则分析。

各频繁项集权重，权重值范围在0～1项集(大于1的项集说明此项集于该事务无关)。

图3揭示了根据本发明一实施例的频繁项集匹配规则分析的方法流程图，如图3所示的步骤S24，进一步包括：

S241以各频繁项集权重，对待匹配数据集合的频繁项集由高到低依次排序。

根据各频繁项集权重，对各待匹配数据集合的频繁项集由高到低依次进行排序，生成待匹配项集List。

S242以事务参考源的数据集合为匹配源，遍历待匹配集合的频繁项集。

以事务参考源的数据集合为匹配源，从权重最高的频繁项集开始依次遍历待匹配数据集合的频繁项集数据。

S243根据KMP算法对数据字符串进行递归匹配。

根据KMP算法进行数据匹配，直到得到匹配成功，得到对应的匹配规则。

KMP算法是指，两个字符串中以长串为母串，相对短串为子串(若长度一致则默认事务参考源中项集为子串)，得到子串在母串中完全匹配的母串位置，无法匹配返回-1。

例如，母串为：ABCDABECDE；

若子串为：DABE，则返回子串在母串中位置为：4；

可得规则：子串＝substring(母串，4，子串长度)；

若子串为：BAEF，则返回：-1，说明此对字符串无法匹配；

示例中：frt_txn_id1＝trace_id。

S244根据匹配规则，遍历待匹配数据，计算规则置信度和匹配成功度，过滤规则置信度低于最小置信度的规则。

遍历规则内匹配源项集数据，根据所得规则作为查询条件对待匹配数据进行查询确认是否能匹配到待匹配数据，若匹配成功，累计计入匹配成功件数；

然后对匹配成功数据进行判断，是否满足规则置信条件，若满足，累计计入规则置信件数。

遍历完成后，计算规则置信度，对应的公式如下：

置信度＝规则置信件数/事务件数。

若置信度＝100％，则保存当前规则与置信度，退出所有遍历；

若100％＞置信度≥最小置信度，则保存当前规则与置信度，剔除匹配成功且符合规则置信条件的数据，返回步骤S242的项集遍历，继续查找是否存在其他规则。

若置信度＜最小置信度，计算匹配成功度，对应公式如下：

匹配成功度＝匹配成功件数/事务件数。

示例中：置信度＝60％，

内存中保存当前规则与对应置信度：frt_txn_id1＝trace_id，60％。

若匹配成功度<最小置信度，则认为当前规则为无效规则，返回步骤S242 的项集遍历，继续查找其他匹配规则，减少数据巧合导致数据匹配成功的伪规则。

若匹配成功度>＝最小置信度，则认为当前规则限定范围不足，存在其他规则，需进行规则内数据分析，以当前规则为条件重新抽取数据排除已遍历过的项集再次开始遍历，直至所有遍历完成。

例如，某些规则存在项集A1＝项集B1 AND项集A3＝项集B3多种规则条件结合匹配情况，由于单一规则可以成功匹配到较大范围数据，这时无法满足规则置信条件，需要进一步缩小数据匹配范围。

此时，对匹配成功数据再次进行步骤S2242的遍历，遍历待匹配源为与之对应的匹配成功的待匹配源，过滤掉已遍历的项集，再次进行步骤S243 过程的规则分析，直到发现新的匹配成功的匹配规则，形成递归计算。

根据既有规则的匹配结果，再次进行其他项集的规则遍历，若遍历完成，也未发现新的规则，则既有规则为无效规则。

S25将匹配规则及其匹配度结果进行输出。

匹配度结果包括置信度和/或匹配成功度；

在本实施例中，将最终保存的匹配规则与对应置信度进行输出。

下面以分析公司内部账务***账务数据与POS业务***数据的匹配规则为例，说明S2数据规则分析步骤。

设定初始的规则分析配置参数。

待匹配数据源：

数据1：(账务数据)；

数据类型：数据库驱动：mysql连接信息：用户/密码

url:[email protected]；

采样范围：acct_date＝20210501(200条数据)；

数据2：(POS业务数据)；

数据类型：数据库驱动：oracle连接信息：用户/密码

url：[email protected]；

采样范围：trans_date＝20210501(100条数据)；

事务参照源：数据2；

最小支持度：50％；

最小置信度：30％；

过滤项集：集合A{create_time，last_update_time}、集合B{upd_datatime}；

规则置信条件：ord_amt＝sum(trans_amt)。

S21、根据待匹配数据源获取待匹配数据，根据字段拆分依次生成项集List。

账务***数据项集如下表1所示；

POS业务数据项集如下表2所示。

表1

列名	是否为空	描述
			acct_seq_id	N	账务流水号(前端用)
acct_date	N	账务日期
			log_id	N	流水号ID
acct_no	N	客户号_子账户号
			trans_type	N	交易类型
dc_flag	N	借贷标志
			trans_amt	N	交易金额
acct_bal	N	事后余额
			cust_id	N	客户号
cust_id2	Y	第二客户号
			product_id	Y	产品代号
dept_id	Y	事业部代号
			trans_name	Y	交易名称
trans_obj	Y	交易对象
			mer_order_id	Y	商户订单号
pnr_id	Y	PNR号
			gate_id	Y	网关号
frt_txn_id1	Y	前台交易号1
			frt_txn_id2	Y	前台交易号2
frt_txn_id3	Y	前台交易号3
			frt_req_date	N	前端请求日期
frt_req_id	N	前端请求流水号
			sys_id	N	***代号
frt_req_dtl_id	N	前端请求明细流水号
			trace_id	Y	全局流水号
rsvl	Y	预留字段1
			create_time	N	创建时间
last_update_time	N	最后更新时间

表2

列名	是否为空	描述
			TRANS_DATE	N	产生订单时的日期：sysDate
SYS_TIME	N	交易时间hhmmss
			PROD_ID	N	产品号
CASH_ORD_ID	Y	提现订单号
			OUT_ORD_ID	Y	外部订单号
MEMBER_ID	N	业务***客户号
			MER_OPER_ID	Y	业务***操作员
FEE_AMT	Y	手续费
			FEE_FORMULA	Y	费率公式
PA_CUST_ID	N	PA客户号
			PA_ACCT_ID	N	PA账户号
PNR_DEV_ID	Y	POSP唯一识别pos机的逻辑编号
			POS_MER_ID	Y	汇付存清算行开设的商户号
POS_MER_NAME	Y	特约商户名
			TERM_ORD_ID	N	终端机具生成的订单号
TERM_BATCH_ID	Y	终端批次号
			ORD_ID	N	订单号
TRANS_TYPE	Y	交 易类型
			ORD_AMT	Y	订单金额
BANK_CODE	Y	银行返回码，可空
			BANK_MESSAGE	Y	银行返回信息，可空
PA_TRANS_ID	Y	PA流水号
			TRANS_ID	Y	PA扫码收银台生成的订单号
PAY_CARD_ID	Y	支付***
			TRANS_STAT	N	交易状态
CORRECT_STAT	N	冲正状态
			ACCT_STAT	N	账务状态
RESP_CD	Y	P0sP应答码
			BANK_RESP_CD	Y	BANK应答码
REF_NUM	Y	凭证号
			POSP_SEQ_ID	Y	银联查询流水号
CARD_BANK_ID	Y	银联标准的发卡银行号
			GATE_ID	Y	网关
TRACE_ID	Y	全局流水号
			MESSAGE	Y	信息
UPD_DATATIME	Y	更新时间戳

S22计算项集对事务的支持度，根据初始设定的最小支持度，筛选获得频繁项集。

初始设定的最小支持度为50％，则根据最小支持度50％，支持度大于等于50％的项集为频繁项集。

事务参考源为POS业务数据，数据条数为100，即本例事务发生次数 100，POS业务数据的事务集合比例为1∶1；账务条数为200，账务数据的事务集合比例为1∶2。

账务***数据集合筛选后频繁项集如下表3所示；

POS业务数据集合筛选后频繁项集如下表4所示。

表3

列名	是否为空	描述
			acct_seq_id	N	账务流水号(前端用)
acct_date	N	账务日期
			log_id	N	流水号ID
acct_no	N	客户号_子账户号
			trans_type	N	交易类型
dc_flag	N	借贷标志
			acct_bal	N	事后余额
cust_id	N	客户号
			product_id	Y	产品代号
frt_txn_id1	Y	前台交易号1
			frt_req_date	N	前端请求日期
frt_req_id	N	前端请求流水号
			sys_id	N	***代号
frt_req_dtl_id	N	前端请求明细流水号
			trace_id	Y	全局流水号

表4

列名	是否为空	描述
			TRANS_DATE	N	产生订单时的日期：sysDate
SYS_TIME	N	交易时间hhmmss
			PROD_ID	N	产品号
CASH_ORD_ID	Y	提现订单号
			MEMBER_ID	N	业务***客户号
FEE_AMT	Y	手续费
			FEE_FORRMULA	Y	费率公式
PA_CUST_ID	N	PA客户号
			PA_ACCT_ID	N	PA账户号
PNR_DEV_ID	Y	POSP唯一识别pos机的逻辑编号
			POS_MER_ID	Y	汇付存清算行开设的商户号
POS_MER_NAME	Y	特约商户名
			TERM_ORD_ID	N	终端机具生成的订单号
TERM_BATCH_ID	Y	终端批次号
			ORD_ID	N	订单号
TRANS_TYPE	Y	交易类型
			PA_TRANS_ID	Y	PA流水号
PAY_CARD_ID	Y	支付***
			TRANS_STAT	N	交易状态
CORRECT_STAT	N	冲正状态
			ACCT_STAT	N	账务状态
RESP_CD	Y	POSP应答码
			BANK_RESP_CD	Y	BANK应答码
REF_NUM	Y	凭证号
			POSP_SEQ_ID	Y	银联查询流水号
CARD_BANK_ID	Y	银联标准的发卡银行号
			GATE_ID	Y	网关
TRACE_ID	Y	全局流水号

完成步骤S23-S24，依次递归遍历频繁项集数据进行匹配规则分析。

账务数据权重如下表5所示；

POS业务数据权重如下表6所示。

表5

列名	描述
		acct_seq_id	账务流水号(前端用)
log_id	流水号ID
		frt_txn_id1	前台交易号1
frt_rec_id	前端请求流水号
		trace_id	全局流水号
trans_amt	交易金额
		acct_bal	事后余额
acct_no	客户号_子账户号
		cust_id	客户号
trams_type	交易类型
		frt_req_dtl_id	前端请求明细流水号
product_id	产品代号
		sys_id	***代号
dc_flag	借贷标志
		acct_date	账务日期
frt_req_date	前端请求日期

表6

列名	描述
		CASH_ORD_ID	提现订单号
ORD_ID	订单号
		PA_TRANS_ID	PA流水号
TRACE_ID	全局流水号
		REF_NUM	赁证号
POSP_SEQ_ID	银联查询流水号
		SYS_TIME	交易时间hhmmss
TERM_ORD_ID	终端机具生成的订单号
		PAY_CARD_ID	支付***
PA_CUST_ID	PA客户号
		PA_ACCT_ID	PA账户号
PNR_DEV_ID	POSP唯一识别pos机的逻辑编号
		MEMBER_ID	业务***客户号
POS_MER_ID	汇付在清算行开设的商户号
		POS_MER_NAME	特约商户名
FEE_AMT	手续费
		TERM_BATCH_ID	终端批次号
CARD_BANK_ID	银联标准的发卡银行号
		RESP_CD	POSP应答码
BANK_RESP_CD	BANK应答码
		GATE_ID	网关
TRANS_TYPE	交易类型
		TRANS_STAT	交易状态
ACCT_STAT	账务状态
		CORRECT_STAT	冲正状态
TRANS_DATE	产生订单时的日期：sysDate
		PROD_ID	产品号
FEE_FORMULA	费率公式

完成步骤S241-S244，匹配成功件数60件，规则置信件数60件。

置信度＝60％，

内存中保存当前规则与对应置信度：frt_txn_id1＝trace_id，60％ S25将匹配规则及其匹配度结果进行输出；

规则1：frt_txn_id1＝trace_id，60％；

规则2：frt_req_id＝pa_trans_id，40％。

S3数据规则配置步骤，将步骤S2生成的匹配规则，选定为数据匹配规则或自定义配置数据匹配规则，进一步包括：

数据规则配置包括以下内容的设置：

匹配数据源名：S2步骤中待匹配数据源(例如，账务表名)；

适用条件：默认为空，使用Aviator表达式求值引擎解析(可自定义适用条件限定匹配数据范围，例如，账务类型为入账TRANS_TYPE＝＝

‘1000’)；

关联表名：S2步骤中匹配目标数据源(例如，POS数据)；

匹配条件：S2所得的匹配规则，规则中匹配源字段以“？”代替(如： trace_id＝？)；

匹配条件参数：S2所得的匹配规则中匹配源字段(例如，frt_txn_id1)；

结束标志：默认为匹配结束(根据业务需求自定义)；

勾对结果表名：匹配结果进行存放的表名(例如，勾对成功结果表 TB_TAS_ACCT_CHNL_MATCHED_RES)；

勾对结果设定：分为源表字段和目标字段；

源表字段，[RESOURCE]标签打头代表此后所有字段取值从待匹配数据源中；(例如， [RESOURCE]ACCT_DATE＝ACCT_DATE；ACCT_SEQ_ID＝LOG_ID……)；

目标字段，[TARGET]标签打头代表此后所有字段取值从匹配目标数据源中(例如，[TARGET]CHNL_DATE＝TRANS_DATE；CHNL_ID＝’ POS’；CHNL_SEQ_ID＝ORD_ID……)；

分组ID：根据业务需求对匹配规则进行分组默认为1；

匹配规则顺位：根据S2中规则置信度，置信度高的顺位高(例如， frt_txn_id1＝trace_id规则顺位为0，frt_seq_id＝pa_trans_id规则顺位为1)。

S4数据匹配处理步骤，根据选定数据匹配规则，依次对数据进行匹配处理直至数据匹配成功或者所有规则遍历完毕。

对于指定数据源端通过内存中存放的规则列表，筛选出关联规则，根据规则权重，并生成了一颗有序的对应规则配置树，规则匹配过程中，通过遍历这颗规则配置树，进行数据匹配，直到匹配成功或者遍历完成。

图4揭示了根据本发明一实施例的数据匹配处理步骤的方法流程图，如图 4所示的数据匹配处理步骤，进一步包括：

S41定时读取最新规则信息并保存内存；

S42读取消息数据匹配源信息；

S43内存中查找数据源信息的相关匹配规则，并生成配置树；

S44遍历配置树中各匹配规则；

判断是否找到匹配数据；

如果找到匹配数据，则判断匹配当前结束标志是否结束，如果没有结束，则进入下一层匹配树的遍历，如果已经结束，则根据匹配成功结果配置信息处理匹配结果；

如果没有找到匹配数据，则判断是否遍历结束，如果没有结束，则遍历剩余规则配置树中的规则，如果所有规则遍历完成，仍未找到匹配数据，则根据匹配失败结果配置信息处理匹配结果。

更进一步的，所述规则信息，进一步包含：

规则适用数据源；数据源中符合此规则的数据适用条件；匹配目标源；匹配规则；匹配是否结束标志；匹配成功匹配结果配置；匹配失败匹配结果配置。

下面以航旅账务***的数据匹配为例，说明S4数据匹配处理步骤。

S41定时(自定义，比如每5分钟)从数据库拉取最新的规则信息放入内存。

规则信息内容如下表7所示。

表7

S42-S43从消息中间件中接收到一条消息，根据消息内勾对源表名去内存规则中获取相关勾对规则信息，建立规则匹配树。

接收消息体内容如下：

{"VAMS_TABLE_NAME":"TB_HLACCTDB_CUST_ACCT_LOG","AC CT_DATE":"20210501","ACCT_SEQ_ID":"39656312","MER_ID":"874068"," CUST_ID":"001000030174","ACCT_TYPE":"R","MER_USR_ID":"874068"," SYS_TIME":"000014","DC_FLAG":"C","TRANS_AMT":"1160.00","FEE_A MT":"2.09","ACCT_BAL":"407468.23","TRANS_TYPE":"1001","ORD_ID":" 2021050132837020","FRT_SEQ_ID":"2021050191079658","REMARK":”信息:|1160.00"}；

通过VAMS_TABLE_NAME信息得到待匹配数据为” TB_HLACCTDB_CUST_ACCT_LOG”，开始建立规则配置树。

S44遍历配置树中各匹配规则。

内存中找到所有规则匹配源为TB_HLACCTDB_CUST_ACCT_LOG的规则，此为配置树第一层规则。

遍历第一层规则源中，是否存在结束标志为“未结束”的规则，若存在，则将此规则的关联表名作为第二层规则树的匹配源，记录下来，以此类推，直到最后一层规则树的所有规则结束标志都为“已结束”。

航旅账务规则树的示意图如图5所示。

根据勾对顺位升序排序(规则顺位根据各规则置信度设定，比如90％符合规则1，则规则1的勾对顺位可以设定为第一优先顺位“0”)，依层依次遍历配置树。

读取规则，按照规则进行数据查询。

例如，规则1信息如下表8所示。

表8

判断当前信息是否符合适用条件：

适用条件为：TB_HLACCTDB_CUST_ACCT_LOG$TRANS_TYPE＝＝ '1001'

当前信息中TRANS_TYPE:1001，符合条件(通过aviator表达式引擎判断)

根据规则配置进行查询

查询对象：TB_PNRPAY_TRANS_LOG

查询条件：ORD_ID＝？AND TRANS_STAT＝'S'

查询参数：？＝TB_HLACCTDB_CUST_ACCT_LOG$FRT_SEQ_ID＝’ 2021050191079658’

拼接查询语句，进行查询

若根据当前遍历规则查询到结果数据，则根据当前规则的结束标志来判断，本次匹配是否结束。

若未结束，则进入下一层匹配树的遍历。

例如：在遍历规则6时，找到查询结果，当前结束标志为“未结束”，继续第三层规则7～9的遍历。

若已结束，则根据当前规则的勾对结果表名以及勾对结果映射信息来对勾对结果进行保存记录。

例如：在遍历规则1时，找到查询结果，当前结束标志为“已结束”，根据勾对结果配置，会在TB_TAS_ACCT_CHNL_MATCH_RES表中，记录勾对结果信息，勾对结果信息记录的字段以及对应值的映射关系参照勾对结果映射信息中的值设定。

若遍历完所有规则配置树中规则，仍然未找到匹配数据，则进入勾对失败数据处理中。

航旅勾对失败配置信息如下表9所示。

表9

根据勾对失败配置，航旅勾对失败的消息，将登记在 TB_TAS_ACCT_UNMATCH_INFO表中，表中字段映射关系根据结果KEY 映射和结果非KEY映射字段进行保存。

至此，一次数据匹配过程结束，后续可根据匹配结果记录进行后续业务处理。

S5匹配结果处置步骤，对匹配结果进行处置，进一步包括：

根据各业务具体需求与监控规则，配置异常通知告警规则，进行监控告警通知以及输出异常明细文件等。

如：勾对失败数据中，某类异常数据告警，监控配置信息如下表10：

表10

图6揭示了根据本发明一实施例的基于大数据的数据匹配装置原理图。基于大数据的数据匹配装置可包括内部通信总线601、处理器(processor)602、只读存储器(ROM)603、随机存取存储器(RAM)604、通信端口605、以及硬盘607。内部通信总线601可以实现基于大数据的数据匹配装置组件间的数据通信。处理器602可以进行判断和发出提示。在一些实施例中，处理器 602可以由一个或多个处理器组成。

通信端口605可以实现基于大数据的数据匹配装置与外部的输入/输出设备之间进行数据传输与通信。在一些实施例中，基于大数据的数据匹配装置可以通过通信端口605从网络发送和接收信息及数据。在一些实施例中，基于大数据的数据匹配装置可以通过输入/输出端606以有线的形式与外部的输入/输出设备之间进行数据传输与通信。

基于大数据的数据匹配装置还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘607，只读存储器(ROM)603和随机存取存储器 (RAM)604，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器602所执行的可能的程序指令。处理器602执行这些指令以实现方法的主要部分。处理器602处理的结果通过通信端口605传给外部的输出设备，在输出设备的用户界面上显示。

举例来说，上述的基于大数据的数据匹配方法的实施过程文件可以为计算机程序，保存在硬盘607中，并可记载到处理器602中执行，以实施本申请的方法。

基于大数据的数据匹配方法的实施过程文件为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。

需要进一步说明的是，数据匹配装置中，通过设定的规则配置信息，拼接查询语句，目前是根据数据库类型定制化的拼接逻辑，可以扩展为根据目标查询源的类型，作成通用化的接口，比如可以扩展到支持大部分常用的数据库(关系型/非关系型)、Flink数据流等。

图7揭示了根据本发明一实施例的基于大数据的数据匹配***原理图，如图7所示的基于大数据的数据匹配***，在进行数据匹配过程中，通过配置待匹配数据源，生成数据源同步配置文件，将数据从数据库704通过数据同步平台705同步至本地数据库706，并发送待匹配数据至消息中间件701 的集群中，通过基于Flink搭建的实时计算平台703，对数据进行初次匹配，匹配结束后(包含匹配完成及匹配失败数据)数据重新发送至消息中间件701中，

消息中间件701，接收原始的待匹配数据或经初次匹配的数据作为待匹配数据并发送至数据匹配装置702；

数据匹配装置702将对接收到的数据进一步进行匹配计算及处理。

异常情况时，只需将数据重新推送至消息中间件701中，可重复随时处理任意需要匹配的数据；

对于追加新的数据规则，只需要将对应配置内容添加，应用无需发布上线，无需重启，规则及时生效，迅速得到匹配结果。

其中，数据匹配装置702可以通过图6所示的实施例实现。

本发明提供的一种基于大数据的数据匹配方法、装置及***，具体具有以下有益效果：

1)提供了一种对于数据集合进行自动规则分析提取的功能算法，可以在对数据业务零了解的基础上提供对数据进行匹配的规则方案；

2)通过配置树的使用，将路径复杂的数据关联拆分为简单的点对点的两两关联方式，能解决绝大部分业务的数据匹配处理场景；

3)通过简单的追加修改配置数据，灵活快速的应对数据匹配类需求。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (10)

1.一种基于大数据的数据匹配方法，其特征在于，包括以下步骤：

S1数据源配置步骤，配置待匹配数据源信息；

S2数据规则分析步骤，设定初始的规则分析配置参数，自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果；

S3数据规则配置步骤，将步骤S2生成的匹配规则，选定为数据匹配规则或自定义配置数据匹配规则；

S4数据匹配处理步骤，根据选定数据匹配规则，依次对待匹配数据进行匹配处理，直至数据匹配成功或者所有规则遍历完毕；

S5匹配结果处置步骤，对匹配结果进行处置。

2.根据权利要求1所述的基于大数据的数据匹配方法，其特征在于，所述S1数据源配置步骤，进一步包括：

接收消息中间件所发送的原始的待匹配数据或经初次匹配的数据，作为待匹配数据。

3.根据权利要求1所述的基于大数据的数据匹配方法，其特征在于，所述规则分析配置参数，进一步包括：

事务参照源、集合、项集、支持度、最小支持度、频繁项集、置信度、最小置信度、过滤项集和规则置信条件。

4.根据权利要求1所述的基于大数据的数据匹配方法，其特征在于，所述步骤S2中自动获取待匹配数据进行规则分析计算，生成多种匹配规则及其匹配度结果，进一步包括：

S21将获取的待匹配数据集合根据字段拆分为项集单位；

S22根据规则分析配置参数，筛选获得频繁项集；

S23根据项集数值的数据离散度，计算频繁项集对事务支持度的权重；

S24根据各频繁项集权重，依次递归遍历频繁项集数据进行匹配规则分析；

S25将匹配规则及其匹配度结果进行输出。

5.根据权利要求4所述的基于大数据的数据匹配方法，其特征在于，所述步骤S24，进一步包括：

S241以各频繁项集权重，对待匹配数据集合的频繁项集由高到低依次排序；

S242以事务参考源的数据集合为匹配源，遍历待匹配集合的频繁项集；

S243根据KMP算法对数据字符串进行递归匹配，直到匹配成功，获得对应的匹配规则；

S244根据匹配规则，遍历待匹配数据，计算规则置信度和匹配成功度，过滤规则置信度低于最小置信度的规则。

6.根据权利要求5所述的基于大数据的数据匹配方法，其特征在于，所述步骤S244，进一步包括：

计算当前规则的置信度；

如果规则置信度为100％，保存相应规则与置信度，退出所有遍历；

如果100％＞置信度≥最小置信度，则保存当前规则与置信度，剔除匹配成功且符合规则置信条件的数据，返回步骤S242继续进行遍历，查找其他匹配规则；

如果置信度＜最小置信度，则计算匹配成功度；

如果匹配成功度＜最小置信度，则认为当前规则为无效规则，返回步骤S242继续进行遍历，查找其他匹配规则；

如果匹配成功度≥最小置信度，则以当前规则为条件重新抽取数据排除已遍历过的项集再次开始遍历，直至所有遍历完成。

7.根据权利要求1所述的基于大数据的数据匹配方法，其特征在于，所述步骤S4，进一步包括：

S41读取最新规则信息；

S42读取消息数据匹配源信息；

S43查找数据源信息的相关匹配规则，并生成配置树；

S44遍历配置树中各匹配规则，进行数据匹配，直到匹配成功或者遍历完成。

8.根据权利要求7所述的基于大数据的数据匹配方法，其特征在于，所述规则信息，进一步包含：

规则适用数据源；

数据源中符合此规则的数据适用条件；

匹配目标源；

匹配规则；

匹配是否结束标志；

匹配成功匹配结果配置；

匹配失败匹配结果配置。

9.一种基于大数据的数据匹配装置，其特征在于，包括：

存储器，用于存储可有处理器执行的指令；

处理器，用于执行所述指令以实现如权利要求1-8任一项所述的方法。

10.一种基于大数据的数据匹配***，其特征在于，包括：

消息中间件，接收原始的待匹配数据或经初次匹配的数据作为待匹配数据并发送至处理器；

存储器，用于存储可有处理器执行的指令；

处理器，用于执行所述指令以实现如权利要求1-8任一项所述的方法。

Images