CN111984716B - 交易数据采集方法及装置 - Google Patents

交易数据采集方法及装置 Download PDF

Info

Publication number
CN111984716B
CN111984716B CN202010841693.2A CN202010841693A CN111984716B CN 111984716 B CN111984716 B CN 111984716B CN 202010841693 A CN202010841693 A CN 202010841693A CN 111984716 B CN111984716 B CN 111984716B
Authority
CN
China
Prior art keywords
transaction data
field
target
transaction
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010841693.2A
Other languages
English (en)
Other versions
CN111984716A (zh
Inventor
黄显超
尹小敏
杜世琼
帅红波
彭建业
陈志鹏
李俊华
肖俊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202010841693.2A priority Critical patent/CN111984716B/zh
Publication of CN111984716A publication Critical patent/CN111984716A/zh
Application granted granted Critical
Publication of CN111984716B publication Critical patent/CN111984716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种交易数据采集方法及装置，该方法包括：获取至少一个交易***的交易数据；按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。本发明通过交易数据的字段分发规则及字段处理规则，集中控制不同交易***交易数据的采集，不仅能够提高交易数据采集的灵活性，还能够提高交易数据的采集效率。

Description

交易数据采集方法及装置
技术领域
本发明涉及交易数据处理技术领域，尤其涉及交易数据采集方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在金融领域，不同交易***之间通常需要进行交易数据采集。即一个交易***需要从其他交易***采集交易数据。通常，每个交易***的交易数据量非常大，不同交易***的交易数据也因交易场景的区别而各不相同。基于不同的交易数据采集需求，可能需要对不同交易***交易数据的不同字段内容进行采集。另外，有时可能需要对交易数据中的新增字段内容进行采集。
目前，一般是针对不同的交易***开发相应的交易数据采集程序，将采集到的交易数据的各个字段内容汇总后发送给采集数据的交易***。因此，在需要采集交易数据中的其它字段内容时，就需要分别修改每个交易***对应的交易数据采集程序，导致交易数据采集的灵活性较低。另外，针对不同的交易***分散开发和控制交易数据采集，也会严重影响交易数据采集的效率。
因此，现有的交易数据采集存在灵活性差及效率低的问题。
发明内容
本发明实施例提供一种交易数据采集方法，用以提高交易数据采集的灵活性，通过集中控制不同交易***交易数据的采集提高交易数据效率，该交易数据采集方法包括：
获取至少一个交易***的交易数据；
按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；
按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据；
其中，按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，包括：
从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则；
根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则；
按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则，包括：
在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则；
根据获取的字段处理表确定目标字段对应的字段处理规则。
本发明实施例还提供一种交易数据采集装置，用以提高交易数据采集的灵活性，通过集中控制不同交易***交易数据的采集提高交易数据效率，该交易数据采集装置包括：
交易数据获取模块，用于获取至少一个交易***的交易数据；
分发模块，用于按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
处理规则确定模块，用于在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；
字段处理模块，用于按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据；
其中，分发模块具体用于：
从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则；
根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则；
按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
处理规则确定模块具体用于：
在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则；
根据获取的字段处理表确定目标字段对应的字段处理规则。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述交易数据采集方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述交易数据采集方法的计算机程序。
本发明实施例中，获取至少一个交易***的交易数据；按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。因此，本发明实施例通过交易数据的字段分发规则及字段处理规则，集中控制不同交易***交易数据的采集，不仅能够提高交易数据采集的灵活性，还能够提高交易数据的采集效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的交易数据采集方法的实现流程图；
图2为本发明实施例提供的交易数据采集方法的另一实现流程图；
图3为本发明实施例提供的交易数据采集方法中步骤102的实现流程图；
图4为本发明实施例提供的交易数据采集方法中步骤103的实现流程图；
图5为本发明实施例提供的又一交易数据采集方法的部分实现流程图；
图6为本发明实施例提供的交易数据采集装置的功能模块图；
图7为本发明实施例提供的交易数据采集装置的另一功能模块图；
图8为本发明实施例提供的交易数据采集装置中分发模块602的功能模块图；
图9为本发明实施例提供的交易数据采集装置中处理规则确定模块603的功能模块图；
图10为本发明实施例提供的又一交易数据采集装置的部分功能模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1示出了本发明实施例提供的交易数据采集方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
如图1所示，交易数据采集方法，其包括：
步骤101，获取至少一个交易***的交易数据；
步骤102，按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
步骤103，在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；
步骤104，按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。
在对交易***的交易数据进行采集时，通常需要将采集到的多个交易***的交易数据进行汇总。故在本发明实施例中可以获取至少一个交易***的交易数据。即获取一个或多个交易***的交易数据。另外，在获取多个交易***的交易数据时，不同交易***的交易数据的格式或者字段可能会存在不同。即不同交易***的交易数据的格式后内容有可能是不统一的。例如，不同交易***的交易数据可以是贷款交易、存款交易或者除上述贷款交易、存款交易之外的其它交易数据，例如转账交易或者汇款交易等。
在获取至少一个交易***的交易数据时，例如具体可以是接收至少一个交易***发送的包含交易数据的交易报表，进而读取交易报表中的交易数据等。较优的，还可以通过SQL查询条件对交易数据进行筛选，以获取符合需求的交易数据。
进而，在获取到不同交易***的交易数据后，确定不同交易***交易数据中目标字段的字段分发规则。不同交易***的字段对应的字段分发规则一般是不同的。其中，字段对应的字段分发规则可以包括公共规则、固定取值规则、报文处理规则及特殊业务处理规则等。进而基于确定的至少一个交易***的交易数据中目标字段对应的字段分发规则，对至少一个交易***的交易数据中目标字段进行分发。其中，交易数据的目标字段可以是交易数据的全部字段，也可以是交易数据的部分字段，即符合数据采集需求的字段等。
进而，在接收到分发的至少一个交易***的交易数据中的目标字段时，进一步确定目标字段对应的字段处理规则。此处字段处理规则，是指对交易数据中的字段进行某种规则的处理，即按照字段处理规则对字段进行处理的一种方式。例如账号需要添加检验位规则，日期字段按照YYYY_MM_DD格式标准化规则，同一客户转账不采集规则，50F场汇款类报文需要合并swift报文规则等。
最后，在确定交易数据中目标字段对应的字段处理规则后，按照目标字段的字段处理规则对目标字段进行处理，即可得到采集后的交易数据。具体的，可以将采集的交易数据写入交易数据表中。
在本发明实施例中，在获取到至少一个交易***的交易数据后，确定至少一个交易***的交易数据中目标字段的字段分发规则；进而确定目标字段的字段分发规则对应的字段处理规则；最后按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。本发明实施例能够分别确定交易数据的分发处理规则及字段处理规则，继而按照字段处理规则对目标字段进行处理，获得采集后的交易数据。因此，本发明实施例通过交易数据的字段分发规则及字段处理规则，集中控制不同交易***交易数据的采集，不仅能够提高交易数据采集的灵活性，还能够提高交易数据的采集效率。
图2示出了本发明实施例提供的交易数据采集方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了实现目标交易***成功接收采集后的交易数据，如图2所示，在上述图1所示方法步骤的基础上，交易数据采集方法，还包括：
步骤201，按照目标交易***的数据格式对采集后的交易数据进行格式处理，将格式处理后的交易数据发送至目标交易***。
鉴于不同的交易***之间存在不同的交易数据的格式，为了目标交易***能够成功接收采集后的交易数据，在得到采集后的交易数据后确定目标交易***的交易数据的格式，即按照目标交易***的数据格式对采集后的交易数据进行格式处理，以使格式处理后的交易数据符合目标交易***的数据格式，并将格式处理后的交易数据发送至目标交易***。
在本发明实施例中，按照目标交易***的数据格式对采集后的交易数据进行格式处理，将格式处理后的交易数据发送至目标交易***，能够得到符合目标交易***数据格式的交易数据，实现目标交易***成功接收采集后的交易数据。
在本发明的一实施例中，为了提高配置字段分发规则或者字段处理规则的灵活性，如图2所示，在上述方法步骤的基础上，交易数据采集方法，还包括：
步骤202，根据接收到的配置指令配置数据库表中的字段分发表。和/或
步骤203，根据接收到的配置指令配置数据库表中的字段处理表。
具体在配置数据库表中的字段分发表或字段处理表时，可以基于接收到的配置指令进行配置。例如，通过终端的可视化界面填写数据库表中的字段分发表或字段处理表，在接收开发人员的配置指令(例如点击配置按钮等)后，对上述数据库表中的字段分发表或字段处理表进行配置。
另外，为提高配置字段分发表或者字段处理表的灵活性，还可以根据接收到的配置修改指令(例如点击配置修改按钮等)或配置重置指令(例如点击配置重置按钮等)，修改或重置字段分发表或者字段处理表。
在本发明实施例中，根据接收到的配置指令配置数据库表中的字段分发表，根据接收到的配置指令配置数据库表中的字段处理表，能够提高配置字段分发规则或者字段处理规则的灵活性。
在本发明的一实施例中，为了提高交易数据采集的效率，如图2所示，在上述方法步骤的基础上，交易数据采集方法，还包括：
步骤204，对至少一个交易***的交易数据进行预处理，确定预处理后的交易数据；
相应的，步骤102，按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，包括：
步骤205，按照预处理后的交易数据中目标字段的字段分发规则对预处理后的交易数据的目标字段进行分发。
其中，对至少一个交易***的交易数据进行预处理包括交易数据的去重及筛选等。例如，将交易成功的交易数据筛选出来，而将交易失败的交易数据剔除出去等。本领域技术人员可以理解的是，交易数据的预处理还可以包括除上述去重和筛选之外的其它预处理，例如交易数据的清洗等，本发明实施例对此不作特别的限制。
在本发明实施例中，对至少一个交易***的交易数据进行预处理，确定预处理后的交易数据，按照预处理后的交易数据中目标字段的字段分发规则对预处理后的交易数据的目标字段进行分发，能够提高交易数据采集的效率。
图3示出了本发明实施例提供的交易数据采集方法中步骤102的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高交易数据中字段分发的效率，如图3所示，步骤102，按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，包括：
步骤301，从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则；
步骤302，根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则；
步骤303，按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发。
在按照字段分发规则对交易数据的目标字段进行分发时，可以首先获取预先配置在数据库中的字段分发表。其中，该字段分发表包括了交易数据的字段、交易数据的字段对应的字段分发规则等。另外，该字段分发表还可以包括银行号、交易码以及交易方向等其它交易数据信息。具体以下述表一简要展示字段分发表：
表一
在从数据库中获取到该字段分发表后，基于该字段分发表中字段的字段分发规则，确定至少一个交易***的交易数据中目标字段的字段分发规则，进而按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，以提高交易数据采集的效率。
在本发明实施例中，从数据库中获取预先配置的字段分发表，根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则，按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，能够提高交易数据采集的效率。
图4示出了本发明实施例提供的交易数据采集方法中步骤103的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高确定字段处理规则的效率，如图2所示，步骤103，在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则，包括：
步骤401，在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则；
步骤402，根据获取的字段处理表确定目标字段对应的字段处理规则。
具体在确定目标字段对应的字段处理规则的过程中，首先在接收到分发的(至少一个交易***的)交易数据的目标字段时，获取预先配置在数据库中的字段处理表。其中，该字段处理表包括交易数据的字段、交易数据的字段对应的字段处理规则，以及交易数据的字段与字段处理规则的对应关系。
在从数据库表中获取到字段处理表后，基于字段处理表中交易数据的字段与字段处理规则的对应关系，确定交易数据中目标字段对应的字段处理规则。
在本发明实施例中，在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表，根据获取的字段处理表确定目标字段对应的字段处理规则，能够提高确定字段处理规则的效率。
图5示出了本发明实施例提供的又一交易数据采集方法的部分实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高对新增格式交易数据的采集效率及采集灵活性，如图5所示，在上述方法步骤的基础上，交易数据采集方法，还包括：
步骤501，获取当前交易***的新增格式交易数据；
步骤502，根据数据库中配置的字段分发表确定的新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发；
步骤503，在接收到分发的新增格式交易数据的字段时，根据数据库中配置的字段处理表确定新增格式交易数据的字段对应的字段处理规则；
步骤504，按照新增格式交易数据的字段处理规则对新增格式交易数据的字段进行处理，形成采集后的交易数据。
当需要对新增格式交易数据(在字段分发表及字段处理表中未配置该种格式的交易数据)进行采集时，首先从当前交易***中获取该新增格式交易数据，然后获取预先配置在数据库中的字段分发表，该字段分发表包括新增格式交易数据的字段及新增格式交易数据的字段对应的字段分发规则，以及新增格式交易数据的字段及字段分发规则的对应关系。
据此，基于字段分发表确定新增格式交易数据的字段对应的字段分发规则，然后按照新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发。
进而，在接收到分发的新增格式交易数据的字段时，获取预先配置在数据库中的字段处理表。该字段处理表包括新增格式交易数据的字段，及新增格式交易数据的字段对应的字段处理规则，还包括新增格式交易数据的字段与对应的字段处理规则的对应关系。
最后，按照字段处理表中新增格式交易数据的字段处理规则，对新增格式交易数据的字段进行处理，形成采集后的交易数据，以实现对新增格式的交易数据的采集。
在较优的一实施例中，可以采用插件的方式执行图1及图1实施例对应的步骤101至步骤104的交易数据采集方法，或者以插件的方式行图5及图5实施例对应的步骤501至步骤504的交易数据采集方法，据此提高交易数据采集的灵活性。
在本发明实施例中，获取当前交易***的新增格式交易数据，根据数据库中配置的字段分发表确定的新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发，在接收到分发的新增格式交易数据的字段时，根据数据库中配置的字段处理表确定新增格式交易数据的字段对应的字段处理规则，按照新增格式交易数据的字段处理规则对新增格式交易数据的字段进行处理，形成采集后的交易数据，能够提高对新增格式交易数据的采集效率及采集灵活性。
在较优的一实施例中，交易数据采集方法，在上述图5所示方法步骤的基础上，还可以包括：
根据接收到的新增格式交易配置指令，在字段分发表中配置新增格式交易数据的字段及字段对应的字段分发规则；
根据接收到的新增格式交易配置指令，在字段处理表中配置新增格式交易数据的字段对应的字段处理规则。
本发明实施例还提供一种交易数据采集装置，如下面的实施例所述。由于这些装置解决问题的原理与交易数据采集方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。
图6示出了本发明实施例提供的交易数据采集装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
参考图6，所述交易数据采集装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述交易数据采集装置包括交易数据获取模块601、分发模块602、处理规则确定模块603及字段处理模块604。
交易数据获取模块601，用于获取至少一个交易***的交易数据。
分发模块602，用于按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发。
处理规则确定模块603，用于在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则。
字段处理模块604，用于按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。
在本发明实施例中，交易数据获取模块601在获取到至少一个交易***的交易数据后，分发模块602按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；进而处理规则确定模块603在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；最后字段处理模块604按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。本发明实施例能够分别确定交易数据的字段分发规则及字段处理规则，继而按照字段处理规则对目标字段进行处理，获得采集后的交易数据。因此，本发明实施例通过交易数据的字段分发规则及字段处理规则，集中控制不同交易***交易数据的采集，不仅能够提高交易数据采集的灵活性，还能够提高交易数据的采集效率。
图7示出了本发明实施例提供的交易数据采集装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了实现目标交易***成功接收采集后的交易数据，参考图7，所述交易数据采集装置所包含的各个单元用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述图6所示模块结构的基础上，所述交易数据采集装置，还包括格式处理模块701。
格式处理模块701，用于按照目标交易***的数据格式对采集后的交易数据进行格式处理，将格式处理后的交易数据发送至目标交易***。
在本发明实施例中，格式处理模块701按照目标交易***的数据格式对采集后的交易数据进行格式处理，将格式处理后的交易数据发送至目标交易***，能够得到符合目标交易***数据格式的交易数据，实现目标交易***成功接收采集后的交易数据。
在本发明的一实施例中，为了提高配置字段分发规则或者字段处理规则的灵活性，如图7所示，在上述模块结构的基础上，所述交易数据采集装置，还包括第一配置模块702和/或第二配置模块703。
第一配置模块702，用于根据接收到的配置指令配置数据库表中的字段分发表。
第二配置模块703，用于根据接收到的配置指令配置数据库表中的字段处理表。
在本发明实施例中，第一配置模块702根据接收到的配置指令配置数据库表中的字段分发表，第二配置模块703根据接收到的配置指令配置数据库表中的字段处理表，能够提高配置字段分发规则或者字段处理规则的灵活性。
在本发明的一实施例中，为了提高交易数据采集的效率，如图7所示，在上述模块结构的基础上，所述交易数据采集装置，还包括预处理模块704。
预处理模块704，用于对至少一个交易***的交易数据进行预处理，确定预处理后的交易数据。
相应的，分发模块602包括预处理分发单元705。
预处理分发单元705，用于按照预处理后的交易数据中目标字段的字段分发规则对预处理后的交易数据的目标字段进行分发。
在本发明实施例中，预处理模块704对至少一个交易***的交易数据进行预处理，确定预处理后的交易数据，预处理分发单元705按照预处理后的交易数据中目标字段的字段分发规则对预处理后的交易数据的目标字段进行分发，能够提高交易数据采集的效率。
图8示出了本发明实施例提供的交易数据采集装置中分发模块602的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高交易数据中字段分发的效率，参考图8，所述分发模块602所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述分发模块602包括分发表获取单元801、分发规则确定单元802及分发单元803。
分发表获取单元801，用于从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则。
分发规则确定单元802，用于根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则。
分发单元803，用于按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发。
在本发明实施例中，分发表获取单元801从数据库中获取预先配置的字段分发表，分发规则确定单元802根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则，分发单元803按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，能够提高交易数据采集的效率。
图9示出了本发明实施例提供的交易数据采集装置中处理规则确定模块603的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高确定字段处理规则的效率，参考图9，所述处理规则确定模块603所包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述处理规则确定模块603包括分发处理表获取单元901及处理规则确定单元902。
分发处理表获取单元901，用于在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则。
处理规则确定单元902，用于根据获取的字段处理表确定目标字段对应的字段处理规则。
在本发明实施例中，分发处理表获取单元901在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表，处理规则确定单元902根据获取的字段处理表确定目标字段对应的字段处理规则，能够提高确定字段处理规则的效率。
图10示出了本发明实施例提供的又一交易数据采集装置的部分功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在本发明的一实施例中，为了提高对新增格式交易数据的采集效率及采集灵活性，参考图10，所述交易数据采集装置所包含的各个模块用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述模块结构的基础上，所述交易数据采集装置，还包括新增交易获取模块1001、新增分发模块1002、新增处理规则确定模块1003及新增交易处理模块1004。
新增交易获取模块1001，用于获取当前交易***的新增格式交易数据。
新增分发模块1002，用于根据数据库中配置的字段分发表确定的新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发。
新增处理规则确定模块1003，用于在接收到分发的新增格式交易数据的字段时，根据数据库中配置的字段处理表确定新增格式交易数据的字段对应的字段处理规则。
新增交易处理模块1004，用于按照新增格式交易数据的字段处理规则对新增格式交易数据的字段进行处理，形成采集后的交易数据。
在本发明实施例中，新增交易获取模块1001获取当前交易***的新增格式交易数据，新增分发模块1002根据数据库中配置的字段分发表确定的新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发，新增处理规则确定模块1003在接收到分发的新增格式交易数据的字段时，根据数据库中配置的字段处理表确定新增格式交易数据的字段对应的字段处理规则，新增交易处理模块1004按照新增格式交易数据的字段处理规则对新增格式交易数据的字段进行处理，形成采集后的交易数据，能够提高对新增格式交易数据的采集效率及采集灵活性。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述交易数据采集方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述交易数据采集方法的计算机程序。
综上所述，本发明实施例中，获取至少一个交易***的交易数据；按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据。因此，本发明实施例通过交易数据的字段分发规则及字段处理规则，集中控制不同交易***交易数据的采集，不仅能够提高交易数据采集的灵活性，还能够提高交易数据的采集效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种交易数据采集方法，其特征在于，包括：
获取至少一个交易***的交易数据；
按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；
按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据；
其中，按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，包括：
从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则；
根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则；
按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则，包括：
在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则；
根据获取的字段处理表确定目标字段对应的字段处理规则。
2.如权利要求1所述的交易数据采集方法，其特征在于，还包括：
按照目标交易***的数据格式对采集后的交易数据进行格式处理，将格式处理后的交易数据发送至目标交易***。
3.如权利要求1所述的交易数据采集方法，其特征在于，还包括：
根据接收到的配置指令配置数据库表中的字段分发表；和/或
根据接收到的配置指令配置数据库表中的字段处理表。
4.如权利要求1所述的交易数据采集方法，其特征在于，还包括：
获取当前交易***的新增格式交易数据；
根据数据库中配置的字段分发表确定的新增格式交易数据的字段对应的字段分发规则，对新增格式交易数据的字段进行分发；
在接收到分发的新增格式交易数据的字段时，根据数据库中配置的字段处理表确定新增格式交易数据的字段对应的字段处理规则；
按照新增格式交易数据的字段处理规则对新增格式交易数据的字段进行处理，形成采集后的交易数据。
5.如权利要求1所述的交易数据采集方法，其特征在于，还包括：
对至少一个交易***的交易数据进行预处理，确定预处理后的交易数据；
按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发，包括：
按照预处理后的交易数据中目标字段的字段分发规则对预处理后的交易数据的目标字段进行分发。
6.一种交易数据采集装置，其特征在于，包括：
交易数据获取模块，用于获取至少一个交易***的交易数据；
分发模块，用于按照至少一个交易***的交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
处理规则确定模块，用于在接收到分发的交易数据的目标字段时，确定目标字段对应的字段处理规则；
字段处理模块，用于按照目标字段的字段处理规则对目标字段进行处理，形成采集后的交易数据；
其中，分发模块具体用于：
从数据库中获取预先配置的字段分发表；字段分发表包括交易数据的字段及字段对应的字段分发规则；
根据获取的字段分发表确定至少一个交易***的交易数据中目标字段的字段分发规则；
按照交易数据中目标字段的字段分发规则对交易数据的目标字段进行分发；
处理规则确定模块具体用于：
在接收到分发的交易数据的目标字段时，从数据库中获取预先配置的字段处理表；字段处理表包括字段及字段对应的字段处理规则；
根据获取的字段处理表确定目标字段对应的字段处理规则。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述交易数据采集方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可被处理器执行以实现权利要求1至5任一所述交易数据采集方法的计算机程序。
CN202010841693.2A 2020-08-20 2020-08-20 交易数据采集方法及装置 Active CN111984716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010841693.2A CN111984716B (zh) 2020-08-20 2020-08-20 交易数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010841693.2A CN111984716B (zh) 2020-08-20 2020-08-20 交易数据采集方法及装置

Publications (2)

Publication Number Publication Date
CN111984716A CN111984716A (zh) 2020-11-24
CN111984716B true CN111984716B (zh) 2023-09-19

Family

ID=73442347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841693.2A Active CN111984716B (zh) 2020-08-20 2020-08-20 交易数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN111984716B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458705A (zh) * 2008-12-29 2009-06-17 阿里巴巴集团控股有限公司 一种不同应用***间的数据核对方法、装置及***
CN110175210A (zh) * 2019-04-26 2019-08-27 厦门市美亚柏科信息股份有限公司 一种数据分发方法、装置、***及存储介质
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363437A1 (en) * 2014-06-17 2015-12-17 Ims Health Incorporated Data collection and cleaning at source

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458705A (zh) * 2008-12-29 2009-06-17 阿里巴巴集团控股有限公司 一种不同应用***间的数据核对方法、装置及***
CN110175210A (zh) * 2019-04-26 2019-08-27 厦门市美亚柏科信息股份有限公司 一种数据分发方法、装置、***及存储介质
CN110413673A (zh) * 2019-07-08 2019-11-05 中国人民银行清算总中心 数据库数据统一采集与分发方法及***

Also Published As

Publication number Publication date
CN111984716A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN103209153B (zh) 消息处理方法、装置及***
CN102314460A (zh) 数据分析方法、***及服务器
CN103310460A (zh) 图像特征提取的方法及***
CN109636304B (zh) 业务***的发布方法及装置、存储介质、电子装置
CN106557470A (zh) 数据提取方法和装置
CN106096926B (zh) 事件处理方法、装置、电子装置和存储介质
CN110290166A (zh) 跨集群数据交互方法、***、装置及可读存储介质
CN114077518A (zh) 数据快照方法、装置、设备及存储介质
CN111680023A (zh) 迁移数据核对方法及装置
CN114579654A (zh) 一种银行多支付结算***的统一运营管理方法及平台
CN113886419A (zh) Sql语句处理方法、装置、计算机设备及存储介质
CN111984716B (zh) 交易数据采集方法及装置
CN111435329A (zh) 一种自动化测试方法和装置
CN111831682B (zh) 处理公积金业务的方法、装置、设备和计算机可读介质
CN107329832A (zh) 一种数据接收方法及装置
CN111752541A (zh) 一种基于Rete算法的支付路由方法
CN116204428A (zh) 一种测试用例生成方法和装置
CN112035458B (zh) 数据隔离方法、装置和设备
CN114418738A (zh) 一种跨境汇款数据处理方法及装置
CN110457323B (zh) 数据表的处理方法及装置
CN114648410A (zh) 股票盯盘方法、装置、***、设备和介质
CN115082179A (zh) 一种数据处理方法、装置、设备及存储介质
CN111506479A (zh) 一种日志数据处理方法及装置
CN104933616A (zh) 金融服务器的数据处理方法和装置及***
CN108614871B (zh) 数据查询与结果生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant