CN114049214A - 一种大数据信息采集处理***与操作方法 - Google Patents
一种大数据信息采集处理***与操作方法 Download PDFInfo
- Publication number
- CN114049214A CN114049214A CN202111414675.7A CN202111414675A CN114049214A CN 114049214 A CN114049214 A CN 114049214A CN 202111414675 A CN202111414675 A CN 202111414675A CN 114049214 A CN114049214 A CN 114049214A
- Authority
- CN
- China
- Prior art keywords
- transaction
- attribute information
- data packet
- information
- verification code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000010606 normalization Methods 0.000 claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims description 144
- 239000000284 extract Substances 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000006399 behavior Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000002265 prevention Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Marketing (AREA)
- Computer Security & Cryptography (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出了一种大数据信息采集处理***及相应方法，通过对处于金融交易一线的交易节点的交易行为执行数据监管和采集，实现基于大数据的信息采集及管理。其中，对信息数据的采集采用三部分的分立采集方式，将交易数据划分为相互协同又具备一定独立采集特性的第一交易属性信息、第二交易属性信息以及第三交易属性信息，分别采用相应的采集服务器进行大数据采集，同时，对特定的采集服务器执行基于风险规避和攻击防范的采集信息替换，在执行大数据传输和***存储的过程中考虑***大数据安全。经由采集服务器的数据采集和归一模块的数据归一化，有条件地执行大数据入库，从而实现大数据的安全采集和差异化入库管理。
Description
技术领域
本发明属于信息化技术领域，尤其涉及一种大数据信息采集处理***及其操作方法。
背景技术
信息化建设对信息采集的要求，随着信息化程度的高企愈发严格。在信息采集过程中，往往又杂糅了大数据的采集与应用。
领域内而言，网络信息采集是将非结构化信息从大量的网页中抽取出来保存到结构化的数据库中的过程。信息采集***以网络信息挖掘引擎为基础构建而成,它可以在最短的时间内,帮您把最新的信息从不同的Internet站点上采集下来,并在进行分类和统一格式后,第一时间之内把信息及时发布到自己的站点上去。从而提高信息及时性和节省或减少工作量。
作为网络大数据信息采集的一般规则，信息采集有以下7个方面的原则，这些原则是保证信息采集质量最基本的要求：(1)可靠性原则：信息采集可靠性原则是指采集的信息必须是真实对象或环境所产生的，必须保证信息来源是可靠的，必须保证采集的信息能反映真实的状况，可靠性原则是信息采集的基础。(2)完整性原则：信息采集完整性是指采集的信息在内容上必须完整无缺，信息采集必须按照一定的标准要求，采集反映事物全貌的信息，完整性原则是信息利用的基础。(3)实时性原则：信息采集的实时性是指能及时获取所需的信息，一般有三层含义：一是指信息自发生到被采集的时间间隔，间隔越短就越及时，最快的是信息采集与信息发生同步；二是指在企业或组织执行某一任务急需某一信息时能够很快采集到该信息，谓之及时；三是指采集某一任务所需的全部信息所花去的时间，花的时间越少谓之越快。实时性原则保证信息采集的时效。(4)准确性原则：准确性原则是指采集到的信息与应用目标和工作需求的关联程度比较高，采集到信息的表达是无误的，是属于采集目的范畴之内的，相对于企业或组织自身来说具有适用性，是有价值的。关联程度越高，适应性越强，就越准确。准确性原则保证信息采集的价值。(5)易用性原则：易用性原则是指采集到的信息按照一定的表示形式，便于使用。（6）计划性原则：采集的信息既要满足当前需要，又要照顾未来的发展；既要广辟信息来源，又要持之以恒，日积月累；不是随意的，而是根据单位的任务、经费等情况制定比较周密详细的采集计划和规章制度。（7）预见性原则：信息采集人员要掌握社会、经济和科学技术的发展动态，采集的信息既要着眼于现实需求，又要有一定的超前性，要善于抓苗头、抓动向。随时了解未来，采集那些对将来发展有指导作用的预测性信息。
而大数据概念，随着信息化建设的深入，也越来越多地出现在信息采集和信息存储实务中。大多数学者认为，“大数据”这一概念最早公开出现于1998年，随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“BigData(大数据)”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆.格雷(JimGray)指出大数据将成为人类触摸、理解和逼近现实复杂***的有效途径，并认为在实验观测、理论推导和计算仿真等三种科学研究范式后，将迎来第四范式——“数据探索”，后来同行学者将其总结为“数据密集型科学发现”，开启了从科研视角审视大数据的热潮。2012年，牛津大学教授维克托.迈尔-舍恩伯格(ViktorMayer-Schnberger)在其畅销著作《大数据时代(BigData:ARevolutionThatWillTransformHowWeLive,Work,andThink)》中指出，数据分析将从“随机采样”、“精确求解”和“强调因果”的传统模式演变为大数据时代的“全体数据”、“近似求解”和“只看关联不问因果”的新模式，从而引发商业应用领域对大数据方法的广泛思考与探讨。大数据于2012、2013年达到其宣传高潮，2014年后概念体系逐渐成形，对其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态***，并持续发展和不断完善，其发展热点呈现了从技术向应用、再向治理的逐渐迁移。经过多年来的发展和沉淀，人们对大数据已经形成基本共识：大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。大数据泛指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管理和处理的巨量数据集合，具有海量性、多样性、时效性及可变性等特征，需要可伸缩的计算体系结构以支持其存储、处理和分析。大数据的价值本质上体现为：提供了一种人类认识复杂***的新思维和新手段。就理论上而言，在足够小的时间和空间尺度上，对现实世界数字化，可以构造一个现实世界的数字虚拟映像，这个映像承载了现实世界的运行规律。在拥有充足的计算能力和高效的数据分析方法的前提下，对这个数字虚拟映像的深度分析，将有可能理解和发现现实复杂***的运行行为、状态和规律。应该说大数据为人类提供了全新的思维方式和探知客观规律、改造自然和社会的新手段，这也是大数据引发经济社会变革最根本性的原因。
本发明提出了一种大数据信息采集处理***及相应方法，通过对处于金融交易一线的交易节点的交易行为执行数据监管和采集，实现基于大数据的信息采集及管理。其中，对信息数据的采集采用三部分的分立采集方式，将交易数据划分为相互协同又具备一定独立采集特性的第一交易属性信息、第二交易属性信息以及第三交易属性信息，分别采用相应的采集服务器进行大数据采集，同时，对特定的采集服务器执行基于风险规避和攻击防范的采集信息替换，在执行大数据传输和***存储的过程中考虑***大数据安全。经由采集服务器的数据采集和归一模块的数据归一化，有条件地执行大数据入库，从而实现大数据的安全采集和差异化入库管理。
发明内容
本发明旨在提供一种优于现有技术的大数据信息采集处理***及方法。
为了实现上述目的，本发明的技术方案如下：
一种大数据信息采集处理***，所述***包括：
多个交易单元，所述多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
第一采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
第二采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
第三采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
所述大数据信息采集处理***还包括：
第一采集信息替换服务器，用于基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
信息化数据包归一模块，所述信息化数据包归一模块用于将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
较佳地，其中，还包括验证码生成单元。
较佳地，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
较佳地，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
较佳地，所述信息化数据包归一模块承载于专用服务器上。
同时，本发明公开了一种大数据信息采集处理***的操作方法，所述方法包括如下步骤：
步骤一：操作多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
步骤二：操作第一采集服务器从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
步骤三：操作第二采集服务器从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
步骤四：操作第三采集服务器从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
步骤五：操作第一采集信息替换服务器基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
步骤六：操作信息化数据包归一模块将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
步骤七：操作大数据仓库接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
较佳地，其中还包括验证码生成单元。
较佳地，其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
较佳地，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
较佳地，所述信息化数据包归一模块承载于专用服务器上。
本发明提出了一种大数据信息采集处理***及相应方法，通过对处于金融交易一线的交易节点的交易行为执行数据监管和采集，实现基于大数据的信息采集及管理。其中，对信息数据的采集采用三部分的分立采集方式，将交易数据划分为相互协同又具备一定独立采集特性的第一交易属性信息、第二交易属性信息以及第三交易属性信息，分别采用相应的采集服务器进行大数据采集，同时，对特定的采集服务器执行基于风险规避和攻击防范的采集信息替换，在执行大数据传输和***存储的过程中考虑***大数据安全。经由采集服务器的数据采集和归一模块的数据归一化，有条件地执行大数据入库，从而实现大数据的安全采集和差异化入库管理。
附图说明
图1是本发明示出的大数据信息采集处理***的一种基本***结构图；
图2是本发明示出的大数据信息采集处理***中大数据仓库与信息化数据包归一模块互联的一种基本***结构图；
图3是本发明示出的大数据信息采集处理***中各个采集服务器与交易单元互联的一种基本***结构图；
图4是本发明示出的大数据信息采集处理***中第一采集信息替换服务器与第一采集服务器互联的一种较佳实施例；
图5是本发明示出的大数据信息采集处理***操作方法的一种优选显示实施例示意图。
具体实施方式
以下具体描述本发明所请求保护的一种大数据信息采集处理***的若干实施例和有益效果，以有助于对本发明进行更细致的审查和分解。
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的 “一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示 其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表 示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述方法和相应装置，但这些关键词不应限于这些术语。这些术语仅用来将关键词彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一归一化数据包、第一采集信息替换服务器等也可以被称为第二归一化数据包、第二采集信息替换服务器，类似地，第二归一化数据包、第二采集信息替换服务器等也可以被称为第一归一化数据包、第一采集信息替换服务器。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时” 或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
如说明书附图1-4所示，说明书附图1-4为本发明所请求保护的一种大数据信息采集处理***及其具体内含模块互联关系的实施例之一，所述***包括：
多个交易单元，所述多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
作为一种可叠加的实施例，所述交易验证码用于对交易属性信息执行验证，具体为：每个交易单元执行金融信息化交易，并生成交易属性信息时，为所述交易属性信息绑定特定的交易验证码，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。所述大数据仓库在执行信息入库时，核对所述交易属性信息携带的交易验证码与所述交易属性信息在大数据仓库的验证码是否一致，在判别为是时，才执行交易属性信息入库。
第一采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
第二采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
第三采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
所述大数据信息采集处理***还包括：
第一采集信息替换服务器，用于基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
作为一种可叠加的实施例，所述第一采集信息替换服务器，用于基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息，具体可为：所述第一采集信息替换服务器获取所述所述第一归一化数据包，并从所述第一归一化数据包中获取第一交易属性信息，基于***预置第一采集信息替换表，替换其中的交易第一方或交易时间，或替换其中的交易第一方以及交易时间，并重新组成替换后的第一归一化数据包，发还至所述第一采集服务器。其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略。其中，所述交易时间替换策略用于指示如何对交易时间进行替换。例如，作为另一种可叠加的实施例，***可设置形如20210303-153011的交易时间格式，其中，20210303分别表示年月日，也即2021年3月3日，153011表示交易的时分秒，也即15点30分11秒，所述交易时间替换策略可以为：将交易时间格式按照从高到低反向排列，例如，排列为110351-30301202，从而替换原始的交易时间20210303-153011。此处，交易时间替换策略谨作为一种示例，而非解释为交易时间替换策略的限制或规范。
信息化数据包归一模块，所述信息化数据包归一模块用于将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
作为另一种可叠加的实施例，其中，还包括验证码生成单元。
作为另一种可叠加的实施例，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
作为另一种可叠加的实施例，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
作为另一种可叠加的实施例，所述信息化数据包归一模块承载于专用服务器上。
同时，如说明书附图5所示，说明书附图5为本发明示出的大数据信息采集处理***操作方法的一种优选显示实施例示意图，所述方法包括如下步骤：
S102：操作多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
作为一种可叠加的实施例，所述交易验证码用于对交易属性信息执行验证，具体为：每个交易单元执行金融信息化交易，并生成交易属性信息时，为所述交易属性信息绑定特定的交易验证码，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。所述大数据仓库在执行信息入库时，核对所述交易属性信息携带的交易验证码与所述交易属性信息在大数据仓库的验证码是否一致，在判别为是时，才执行交易属性信息入库。
S104：操作第一采集服务器从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
S106：操作第二采集服务器从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
S108：操作第三采集服务器从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
S110：操作第一采集信息替换服务器基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
作为一种可叠加的实施例，所述第一采集信息替换服务器，用于基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息，具体可为：所述第一采集信息替换服务器获取所述所述第一归一化数据包，并从所述第一归一化数据包中获取第一交易属性信息，基于***预置第一采集信息替换表，替换其中的交易第一方或交易时间，或替换其中的交易第一方以及交易时间，并重新组成替换后的第一归一化数据包，发还至所述第一采集服务器。其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略。其中，所述交易时间替换策略用于指示如何对交易时间进行替换。例如，作为另一种可叠加的实施例，***可设置形如20210303-153011的交易时间格式，其中，20210303分别表示年月日，也即2021年3月3日，153011表示交易的时分秒，也即15点30分11秒，所述交易时间替换策略可以为：将交易时间格式按照从高到低反向排列，例如，排列为110351-30301202，从而替换原始的交易时间20210303-153011。此处，交易时间替换策略谨作为一种示例，而非解释为交易时间替换策略的限制或规范。
S112：操作信息化数据包归一模块将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
S114：操作大数据仓库接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
作为另一种可叠加的实施例，其中还包括验证码生成单元。
作为另一种可叠加的实施例，其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
作为另一种可叠加的实施例，所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
作为另一种可叠加的实施例，所述信息化数据包归一模块承载于专用服务器上。
本发明提出了一种大数据信息采集处理***及相应方法，通过对处于金融交易一线的交易节点的交易行为执行数据监管和采集，实现基于大数据的信息采集及管理。其中，对信息数据的采集采用三部分的分立采集方式，将交易数据划分为相互协同又具备一定独立采集特性的第一交易属性信息、第二交易属性信息以及第三交易属性信息，分别采用相应的采集服务器进行大数据采集，同时，对特定的采集服务器执行基于风险规避和攻击防范的采集信息替换，在执行大数据传输和***存储的过程中考虑***大数据安全。经由采集服务器的数据采集和归一模块的数据归一化，有条件地执行大数据入库，从而实现大数据的安全采集和差异化入库管理。
在所有上述实施方式中，为实现一些特殊的数据传输、读/写功能的要求，上述方法操作过程中及其相应装置可以增加装置、模块、器件、硬件、引脚连接或存储器、处理器差异来扩展功能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述方法步骤的划分，仅仅为一种逻辑或功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为方法的各个步骤、装置分离部件说明的单元可以是或者也可以不是逻辑或物理上分开的，也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各方法步骤及其实现、功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件 功能单元的形式实现。
上述方法和装置可以以软件功能单元的形式实现的集成的单元，可以存储在一个计算机 可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指 令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等) 或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述 的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、 随机存取存储器(Random AccessMemory，RAM)、NVRAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。
应说明的是：以上实施例仅用以更清晰地解释、阐述本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种大数据信息采集处理***，所述***包括：
多个交易单元，所述多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
第一采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
第二采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
第三采集服务器，用于从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
所述大数据信息采集处理***还包括：
第一采集信息替换服务器，用于基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
信息化数据包归一模块，所述信息化数据包归一模块用于将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
2.如权利要求1所述一种大数据信息采集处理***，其中，还包括验证码生成单元。
3.如权利要求2所述一种大数据信息采集处理***，其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
4.如权利要求2所述一种大数据信息采集处理***，其特征在于：
所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
5.如权利要求4所述一种大数据信息采集处理***，其特征在于：
所述信息化数据包归一模块承载于专用服务器上。
6.一种大数据信息采集处理***的操作方法，所述方法包括如下步骤：
步骤一：操作多个交易单元中的每个交易单元，分布于金融信息化交易***的各个地点，执行金融信息化交易，并生成交易属性信息；
所述交易属性信息至少包括：
交易第一方、交易第二方、交易时间、交易单元ID、交易结算金额数据以及交易验证码；
所述交易验证码用于对交易属性信息执行验证；
步骤二：操作第一采集服务器从所述多个交易单元中的每个交易单元，仅采集第一交易属性信息，并基于第一交易属性信息生成第一归一化数据包；
所述第一交易属性信息至少包含：交易第一方、交易时间；
步骤三：操作第二采集服务器从所述多个交易单元中的每个交易单元，仅采集第二交易属性信息，并基于第二交易属性信息生成第二归一化数据包；
所述第二交易属性信息至少包含：交易第二方、交易单元ID；
步骤四：操作第三采集服务器从所述多个交易单元中的每个交易单元，仅采集第三交易属性信息，并基于第三交易属性信息生成第三归一化数据包；
其中，所述第三交易属性信息至少包含：交易结算金额数据以及交易验证码；
步骤五：操作第一采集信息替换服务器基于***预置第一采集信息替换表，替换所述第一归一化数据包中的第一交易属性信息的全部，或，替换所述第一归一化数据包中的第一交易属性信息的部分；并将替换后的第一归一化数据包发还至所述第一采集服务器，作为原始第一归一化数据包的更新后第一归一化数据包；
步骤六：操作信息化数据包归一模块将所述更新后第一归一化数据包、第二归一化数据包以及第三归一化数据包组合为归一化数据包；
所述归一化数据包包含单个交易单元单次交易的完整交易属性信息；
所述信息化数据包归一模块还用于将所述归一化数据包发送至大数据仓库；
步骤七：操作大数据仓库接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果；
其中，所述大数据仓库，所述大数据仓库用于接收归一化数据包，并基于交易验证码对所述归一化数据包所携带的交易属性信息执行验证，判断验证结果，至少包括：
将大数据仓库预先接收到的由验证码生成单元告知大数据仓库的交易验证码及对应的交易属性信息；与对应的所述交易属性信息携带的交易验证码进行比对，判断其是否相同，相同则验证通过；
当验证通过时，所述大数据仓库允许所述归一化数据包中的交易属性信息入库；
当验证未通过时，所述大数据仓库提取所述归一化数据包中的交易属性信息，并基于其中的交易单元ID，使能***在第一时长内，屏蔽所述交易单元ID对应的交易单元的交易属性信息采集。
7.如权利要求6所述操作方法，其中，还包括验证码生成单元。
8.如权利要求7所述操作方法，其中，所述***预置第一采集信息替换表包含了所有交易第一方的ID及其对应的替换ID，以及交易时间替换策略；
所述交易时间替换策略用于指示如何对交易时间进行替换。
9.如权利要求7所述操作方法，其特征在于：
所述交易验证码可为***的验证码生成单元为每个交易属性信息生成，并将所述生成的交易验证码加入所述交易属性信息，保存在所述交易属性信息的第三交易属性信息中，
同时，验证码生成单元将所述交易验证码及对应的交易属性信息告知大数据仓库。
10.如权利要求9所述操作方法，其特征在于：
所述信息化数据包归一模块承载于专用服务器上。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111347107X | 2021-11-15 | ||
| CN202111347107 | 2021-11-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049214A true CN114049214A (zh) | 2022-02-15 |
Family
ID=80211031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111414675.7A Pending CN114049214A (zh) | 2021-11-15 | 2021-11-25 | 一种大数据信息采集处理***与操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049214A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015007198A1 (zh) * | 2013-07-17 | 2015-01-22 | ***股份有限公司 | 一种基于互联网的安全支付***以及安全支付方法 |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移***及方法 |
| CN107085613A (zh) * | 2017-05-17 | 2017-08-22 | 广州四三九九信息科技有限公司 | 入库文件的过滤方法和装置 |
| WO2018121377A1 (zh) * | 2016-12-30 | 2018-07-05 | ***股份有限公司 | 用于虚拟现实环境的交易方法、装置及*** |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合*** |
| KR102147167B1 (ko) * | 2020-01-07 | 2020-08-24 | (주)에스투더블유랩 | 멀티 도메인에서 데이터를 수집하는 방법, 장치 및 컴퓨터 프로그램 |
-
2021
- 2021-11-25 CN CN202111414675.7A patent/CN114049214A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015007198A1 (zh) * | 2013-07-17 | 2015-01-22 | ***股份有限公司 | 一种基于互联网的安全支付***以及安全支付方法 |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移***及方法 |
| WO2018121377A1 (zh) * | 2016-12-30 | 2018-07-05 | ***股份有限公司 | 用于虚拟现实环境的交易方法、装置及*** |
| CN107085613A (zh) * | 2017-05-17 | 2017-08-22 | 广州四三九九信息科技有限公司 | 入库文件的过滤方法和装置 |
| CN110109998A (zh) * | 2019-05-17 | 2019-08-09 | 贵州数据宝网络科技有限公司 | 数据交易智能整合*** |
| KR102147167B1 (ko) * | 2020-01-07 | 2020-08-24 | (주)에스투더블유랩 | 멀티 도메인에서 데이터를 수집하는 방법, 장치 및 컴퓨터 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Paulovich et al. | Least square projection: A fast high-precision multidimensional projection technique and its application to document mapping | |
| Srivastava et al. | Fraud detection in the distributed graph database | |
| Sena et al. | Characterizing big data software architectures: a systematic mapping study | |
| Quick et al. | Big Digital Forensic Data: Volume 1: Data Reduction Framework and Selective Imaging | |
| Komisarek et al. | Real-time stream processing tool for detecting suspicious network patterns using machine learning | |
| Li et al. | A tale of two tasks: automated issue priority prediction with deep multi-task learning | |
| Zhu et al. | Data explosion, data nature and dataology | |
| CN117786088A (zh) | 一种威胁的语言模型分析方法、装置、介质及电子设备 | |
| CN109829006A (zh) | 一种甲骨文基础数据管理及智能知识服务平台及建设方法 | |
| Gupta et al. | Big data security challenges and preventive solutions | |
| Neto et al. | A systematic mapping study on fault management in cloud computing | |
| CN114049214A (zh) | 一种大数据信息采集处理***与操作方法 | |
| US11763014B2 (en) | Production protection correlation engine | |
| Agarwal et al. | Ai-assisted security controls mapping for clouds built for regulated workloads | |
| Hosseinkhani et al. | Discovering criminal networks by Web structure mining | |
| CN112115174A (zh) | 一种基于图计算技术的kyc方法及*** | |
| US20140164397A1 (en) | Apparatus and method for searching information | |
| Alves Neto et al. | Low-cost clusters on big data-A systematic study | |
| Chauhan et al. | A parallel computational approach for similarity search using Bloom filters | |
| Baum | Windows memory forensic data visualization | |
| Veloso | Automated support tool for forensics investigation on hard disk images | |
| Cuzzocrea et al. | SeDaSOMA: A Framework for Supporting Serendipitous, Data-As-A-Service-Oriented, Open Big Data Management and Analytics | |
| Al-Hajri et al. | Maximizing the Potential of Artificial Intelligence in Digital Forensics Investigations | |
| Srimathy | A Review on Big Data Analytics with Hadoop Technology | |
| Wei et al. | A Non-Intrusive and Real-Time Data Provenance Method for DDS Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |