CN110377619A - 风控报告的生成方法、装置、设备及存储介质 - Google Patents

风控报告的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110377619A
CN110377619A CN201910541818.7A CN201910541818A CN110377619A CN 110377619 A CN110377619 A CN 110377619A CN 201910541818 A CN201910541818 A CN 201910541818A CN 110377619 A CN110377619 A CN 110377619A
Authority
CN
China
Prior art keywords
air control
data
information
control data
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910541818.7A
Other languages
English (en)
Inventor
李国安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910541818.7A priority Critical patent/CN110377619A/zh
Publication of CN110377619A publication Critical patent/CN110377619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/10—Tax strategies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明公开了一种基于大数据的风控报告的生成方法、装置、设备及存储介质，所述方法包括：获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；将所述待处理风控数据同步至所述大数据平台，接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，将所述风控特征信息按照预设规则生成风控数据表格；在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，从而通过大数据平台进行风控数据处理，并对风控数据评估，生成有效的风控报告，提高风控报告的生成效率。

Description

风控报告的生成方法、装置、设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种风控报告的生成方法、装置、设备及存储介质。
背景技术
由于费用、规模和人力等多种原因，一些中小企业无法建立各公司独有的大数据平台，在无法实时调用大数据平台情况下，小企业分析***、税务、工商数据量达到数千万条以上时，统计小企业数据的风控报告用时可能到数分钟或更久，从而使完成业务效率不高，不利于用户体验。
发明内容
本发明的主要目的在于提出一种风控报告的生成方法、装置、设备及存储介质，旨在提高风控报告的生成效率。
为实现上述目的，本发明提供一种风控报告的生成方法，所述风控报告的生成方法包括以下步骤：
获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；
将所述待处理风控数据同步至所述大数据平台；
接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，将所述风控特征信息按照预设规则生成风控数据表格；
在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
优选地，所述获取待处理风控数据之前，所述方法还包括：
连接原始数据库，提取所述原始数据库中的原始风控数据；
将所述原始风控数据与预设关键字进行比较，根据比较结果得到所述原始风控数据中的参考风控数据；
提取所述参考风控数据的属性信息，将所述属性信息设为安全属性，将设置后的参考风控数据作为所述待处理风控数据。
优选地，所述将所述待处理风控数据同步至所述大数据平台之前，所述方法还包括：
判断所述待处理风控数据是否存有索引信息；
在所述待处理风控数据中存有索引信息时，提取所述待处理风控数据中的索引信息；
根据所述索引信息对所述待处理风控数据进行排序，根据排序结果的先后顺序执行将所述待处理风控数据同步至所述大数据平台步骤。
优选地，所述索引信息包括历史序列信息或者时间戳信息；
所述判断所述待处理风控数据是否存有索引信息之前，所述方法还包括：
提取所述待处理风控数据的类型信息，在所述类型信息中标上预设标识信息；
判断所述预设标识信息是否为历史序列信息或者时间戳信息；
根据所述历史序列信息或者时间戳信息建立所述索引信息。
优选地，所述将所述待处理风控数据同步至所述大数据平台，包括：
提取所述待处理风控数据的历史序列信息；
获取预设删除操作信息，提取所述预设删除操作信息中待删除序列信息，将所述待删除序列信息进行删除，并将删除后的历史序列信息进行重新排序；
将排序后的待处理风控数据同步至所述大数据平台。
优选地，所述预设规则为当前数据处理逻辑方式；
所述将所述风控特征信息按照预设规则生成风控数据表格，包括：
获取当前数据处理逻辑方式，根据所述当前数据处理逻辑方式配置所述大数据平台中的依赖信息以及目标插件信息，其中，所述目标插件信息包括第一插件信息和第二插件信息；
提取所述目标插件信息中的第一插件信息和第二插件信息，根据所述第一插件信息以及第二插件信息调用本地预设区域中预存的第一插件以及第二插件，以使所述第一插件以及第二插件对所述风控特征信息进行打包；
调用预设函数，通过所述预设函数将打包后的风控特征信息生成所述风控数据表格。
优选地，所述在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，包括：
在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的备份风控数据；
提取所述备份风控数据对应所述风控数据表格中的参考标签信息，将所述参考标签信息与目标标签信息进行比较，根据比较结果提取目标标签信息对应的备份风控数据中的目标风控数据；
对所述目标风控数据的指数信息进行评估，得到评估结论；
获取风控报告模板，将所述评估结论以及所述目标风控数据填入所述风控报告模板中，生成所述目标风控报告。
此外，为实现上述目的，本发明还提出一种风控报告的生成装置，所述风控报告的生成装置包括：
获取模块，用于获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；
同步模块，用于将所述待处理风控数据同步至所述大数据平台；
生成模块，用于接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格；
提取模块，用于在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
此外，为实现上述目的，本发明还提出一种风控报告的生成设备，所述风控报告的生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的风控报告的生成程序，所述风控报告的生成程序配置为实现如上所述的风控报告的生成方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有风控报告的生成程序，所述风控报告的生成程序被处理器执行时实现如上文所述的风控报告的生成方法的步骤。
本发明提出的风控报告的生成方法，通过获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；将所述待处理风控数据同步至所述大数据平台，接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格；在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，从而通过大数据平台进行风控数据处理，并对风控数据评估，生成有效的风控报告，提高风控报告的生成效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明风控报告的生成方法第一实施例的流程示意图；
图3为本发明风控报告的生成方法第二实施例的流程示意图；
图4为本发明风控报告的生成方法第三实施例的流程示意图；
图5为本发明风控报告的生成装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及风控报告的生成程序。
在图1所示的设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的风控报告的生成程序，并执行本发明实施例提供的风控报告的生成的实施方法。
基于上述硬件结构，提出本发明风控报告的生成方法实施例。
参照图2，图2为本发明风控报告的生成方法第一实施例的流程示意图。
在第一实施例中，所述风控报告的生成方法包括以下步骤：
步骤S10，获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具。
需要说明的是，本实施例的执行主体为风控数据处理装置，还可为数据处理的服务器等，本实施例对此不作限制，通过所述风控数据处理装置实现通过大数据平台进行风控报告的有效生成。
可以理解的是，所述预设处理工具可为strom以及spark streaming工具，其中，storm工具为一个分布式实时计算***，用户只需要提供插件，例如jar包，编写用户的逻辑代码，然后将它部署到storm服务器上，storm的master服务器可自动将jar包分配到slave服务器的进程中，然后在slave服务器中运行，master服务器只接受用户提供的插件，也称之为拓扑，如果是java语言编写的插件也可作为一个jar包就是一个拓扑，然后分配代码到slave服务器，在slave服务器上运行用户的代码，从而实现大数据平台对用户数据的处理，其中，Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法，Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，本实施例为基于Spark Streaming建立的大数据平台，还可为基于其他框架建立的大数据平台，本实施例对此不作限制，目前主流的工具有Sqoop、DataX、Oracle GoldenGate for Big Data等几种，其中Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到分布式文件***(Hadoop Distributed File System，HDFS)，其通过指定递增列或者根据时间戳达到增量导入的目的，从而实现对海量数据的有效处理，并可在业务上实现T+0日数据实时响应，T+1日增量准实时响应。
在本实施例中，所述待处理风控数据包括当前用户的***、税务以及工商数据，还可包括其他与业务相关的数据，本实施例对此不作限制。
步骤S20，将所述待处理风控数据同步至所述大数据平台。
需要说明的是，为了实现将数据库中的数据同步到大数据平台中，其中，所述大数据平台可为Hadoop平台，还可为其他形式的大数据平台，本实施例对比不作限制，在本实施例中，以Hadoop平台为例进行说明，从传统关系型数据库，如Oracle向Hadoop平台汇聚数据，可通过Sqoop、DataX以及Oracle GoldenGate for Big Data等几种，其中，Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到分布式文件***(Hadoop Distributed File System，HDFS)，其通过指定递增列或者根据时间戳达到增量导入的目的，从而实现数据库到大数据平台的数据接入。
在本实施例中，通过所述预设数据处理工具可将数据转换为中间数据进行处理，并可通过预设数据模型进行数据挖掘，实现对待处理风控数据中的风控特征信息的挖掘，其中，所述风控特征信息包括
步骤S30，接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格。
需要说明的是，所述风控数据表格可为HDFS文件，还可为其他用于大数据平台中的文件形式，本市实施例对此不作限制，在本实施例中，以HDFS为例进行说明，所述风控特征信息包括缴费比例、缴税时间以及各项事务的交易信息等，还可包括其他与风控相关联的特征信息，本实施例对此不作限制。
步骤S40，在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
需要说明的是，所述风控报告生成指令可为通过预设界面上生成控件的点击操作，还可为通过串口进行控制程序的输入，本实施例对此不作限制，在本实施例中，通过预设界面上生成控件的点击操作为例进行说明，通过界面点击确认生成报告指令，从而实现利用大数据平台进行风险报告评估。
在具体实现中，获取风控报告模板，将所述风控数据进行风险评估，得到评估结论，将所述评估结论以及所述风控数据填入所述风控报告模板中，从而生成所述风控报告，实现基于大数据平台的风控数据处理。
本实施例通过上述方案，通过获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；将所述待处理风控数据同步至所述大数据平台，接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格，在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，从而通过大数据平台进行风控数据处理，并对风控数据评估，生成有效的风控报告，提高风控报告的生成效率。
在一实施例中，如图3所示，基于第一实施例提出本发明风控报告的生成方法第二实施例，在本实施例中，所述步骤S10之前，所述方法还包括：
连接原始数据库，提取所述原始数据库中的原始风控数据，将所述原始风控数据与预设关键字进行比较，根据比较结果得到所述原始风控数据中的参考风控数据，提取所述参考风控数据的属性信息，将所述属性信息设为安全属性，将设置后的参考风控数据作为所述待处理风控数据。
需要说明的是，在中小企业预存设有本地的数据库，通过所述数据库保存本公司的运营数据，其中，所述当前数据平台中的数据库即为本地预先设定的数据库，在将本地预存的数据库输出入大数据平台时，需要与本地的数据库进行连接，在连接成功之后，可提取本地数据库中的原始风控数据，实现对本地数据的处理。
在具体实现中，为了保证数据的合法性，在本实施中，在将所述待处理风控数据分时分批同步至大数据平台之前，首先对所述待处理风控数据进行脱敏处理，将所述待处理风控数据与预设关键字进行比较，例如身份证信息，姓名等，根据比较结果，提取所述待处理风控数据中预设待处理信息，将所述待处理信息中的预设关键字的属性设为安全属性，例如不可见的形式，从而保证用户信息的安全性。
在一实施例中，所述步骤S20之前，所述方法还包括：
步骤S201，判断所述待处理风控数据是否存有索引信息。
需要说明的是，所述索引信息为对待处理风控数据设置的标签信息，通过所述标签信息可实现分批获取待处理数据并同步至所述大数据平台，实现对待处理风控数据的有序管理。
步骤S202，在所述待处理风控数据中存有索引信息时，提取所述待处理风控数据中的索引信息。
在本实施例中，首先判断待处理风控数据是否含有索引信息，从而可更有效提取待处理风控数据，在所述待处理风控数据中存有索引信息时，提取所述待处理风控数据中的索引信息，在所述待处理风控数据中未存有索引信息时，对未处理的待风控数据标上索引信息，在进行处理，从而避免数据库中的待处理风控数据的遗漏，提高数据处理的有效性。
步骤S203，根据所述索引信息对所述待处理风控数据进行排序，根据排序结果的先后顺序执行步骤S20。
在一实施例中，所述索引信息包括历史序列信息或者时间戳信息，所述步骤S201之前，所述方法还包括：
提取所述待处理风控数据的类型信息，在所述类型信息中标上预设标识信息，判断所述预设标识信息是否为历史序列信息或者时间戳信息，根据所述历史序列信息或者时间戳信息建立所述索引信息。
需要说明的是，为了实现对待处理风控数据的管理，可通过对待处理风控数据标上标识信息，通过所述标识信息确定分批同步的待处理风控数据，从而保证待处理风控数据进行有序同步，避免突发同步的状况，从而加大大数据平台的处理压力，其中，所述预设标识信息可为序列信息或者时间戳信息，通过所述历史序列信息或者时间戳信息建立所述索引信息，从而实现对待处理风控数据的管理，例如ID＝110以及ID＝111等。
在一实施例中，所述步骤S20，包括：
提取所述待处理风控数据的历史序列信息，获取预设删除操作信息，提取所述预设删除操作信息中待删除序列信息，将所述待删除序列信息进行删除，并将删除后的历史序列信息进行重新排序，将排序后的待处理风控数据同步至所述大数据平台。
在本实施例中，将所述待处理风控数据进行分时分批同步至大数据平台，从而保证大数据平台的数据处理压力，通过自增序列ID的方式进行分批获取风控数据，例如通过以下命令实现：
select*from datatable where id>＝start and id<start+batchCount
select*from datatable where id>＝start and id<start+batchCount
从而对数据库中的数据通过ID建索引，然后分批去取，在本实施例中，如果自增序列由于删除等操作变得不是连续，就会出现空执行和多执行的情况出现，还可通过结合使用索引和分页的优势来处理，例如通过以下命令实现：
select*from datatable where id>＝start limit batchCount
select*from datatable where id>＝start limit batchCount
从而在每次取回来性能低下的问题，再计算出起始ID值，再去取下一批数据，从而既避免了第一种不走索引，查询性能低下的问题，又解决了第二种ID不连续，导致取回来的数据量不稳定导致浪费的问题。
本实施例提供的方案，通过对待处理风控数据标上索引信息，对所述待处理风控数据进行有效管理，并根据待处理风控数据的索引信息将所述待处理风控数据同步至所述大数据平台，实现大数据平台与本地数据的同步更新以及实时响应。
在一实施例中，如图4所示，基于第一实施例或第二实施例提出本发明风控报告的生成方法第三实施例，在本实施例中，基于第一实施例进行说明，所述预设规则为当前数据处理逻辑方式，所述步骤S30，包括：
步骤S301，获取当前数据处理逻辑方式，根据所述当前数据处理逻辑方式配置所述大数据平台中的依赖信息以及目标插件信息，其中，所述目标插件信息包括第一插件信息和第二插件信息。
需要说明的是，所述第一插件信息为maven-shade-plugin插件信息，所述第二插件信息为maven Lifecycle信息，通过所述插件信息对所述风控特征信息进行打包处理，生成HDFS格式的文件表格形式，从而实现在大数据平台中对数据的有效管理。
步骤S302，提取所述目标插件信息中的第一插件信息和第二插件信息，根据所述第一插件信息以及第二插件信息调用本地预设区域中预存的第一插件以及第二插件，以使所述第一插件以及第二插件对所述风控特征信息进行打包。
在具体实现中，通过创建数据处理逻辑，根据所述数据处理逻辑将所述风控特征信息写入预设区域，从而生成所述风控数据表格，在基于storm写入HDFS时，首先通过maven配置依赖以及插件，如果要打包部署到集群上的话，打包的插件需要使用maven-shade-plugin这个插件，然后使用maven Lifecycle中的package打包，从而实现对所述风控特征信息进行处理。
步骤S303，调用预设函数，通过所述预设函数将打包后的风控特征信息生成所述风控数据表格。
需要说明的是，所述预设函数为HdfsBolt函数，通过使用HdfsBolt将风控特征信息写入HDFS，将风控特征信息转化为关系型数据，从而实现大数据平台对待处理风控数据的管理。
在一实施例中，所述步骤S40，包括：
在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的备份风控数据。
在本实施例中，为了实现风控报告的有效生成，首先通过生成指令进行生成风控报告的生成，还可在获取在风控数据时直接进行报告生成的处理，本实施例对此不作限制，其中，所述备份风控数据为处理后的保存在大数据平台中的数据，这些数据有些为可用的数据，有些为与当前需求无关的数据，则需要从所述备份风控数据中提取出有效的分析数据，从而实现对当前风控数据的评估。
提取所述备份风控数据对应所述风控数据表格中的参考标签信息，将所述参考标签信息与目标标签信息进行比较，根据比较结果提取目标标签信息对应的备份风控数据中的目标风控数据。
需要说明的是，所述参考标签信息可为数字编码，例如1或2等，还可为其他标签形式，本实施例对此不作限制，在本实施例中，以数据编码为例进行说明，通过所述标签信息可对备份风控数据中的数据进行识别，从而实现对风控数据的评估。
在本实施例中，对所述目标风控数据的指数信息进行评估，得到评估结论，获取风控报告模板，将所述评估结论以及所述目标风控数据填入所述风控报告模板中，生成所述目标风控报告。
在具体实现中，通过备份风控数据的标签信息在预设关系映射表中查询到相应的数据信息，从而获取所述备份风控数据中的目标风控数据信息，通过所述目标风控数据的指数信息的大小，实现对风控数据的评估，并将评估结果填入风控报告模板中，从而实现风控报告的生成。
本实施例提供的方案，通过使用预设函数将风控特征信息写入HDFS，将风控特征信息转化为关系型数据，从而实现大数据平台对待处理风控数据的管理，并通过风控数据的指数信息实现对风控数据的评估，将评估结果填入风控报告中，实现更有效地风控报告的生成。
本发明进一步提供一种风控报告的生成装置。
参照图5，图5为本发明风控报告的生成装置第一实施例的功能模块示意图。
本发明风控报告的生成装置第一实施例中，该风控报告的生成装置包括：
获取模块10，用于获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具。
需要说明的是，本实施例的执行主体为风控数据处理装置，还可为数据处理的服务器等，本实施例对此不作限制，通过所述风控数据处理装置实现通过大数据平台进行风控报告的有效生成。
可以理解的是，所述预设处理工具可为strom以及spark streaming工具，其中，storm工具为一个分布式实时计算***，用户只需要提供插件，例如jar包，编写用户的逻辑代码，然后将它部署到storm服务器上，storm的master服务器可自动将jar包分配到slave服务器的进程中，然后在slave服务器中运行，master服务器只接受用户提供的插件，也称之为拓扑，如果是java语言编写的插件也可作为一个jar包就是一个拓扑，然后分配代码到slave服务器，在slave服务器上运行用户的代码，从而实现大数据平台对用户数据的处理，其中，Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法，Spark Streaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力，本实施例为基于Spark Streaming建立的大数据平台，还可为基于其他框架建立的大数据平台，本实施例对此不作限制，目前主流的工具有Sqoop、DataX、Oracle GoldenGate for Big Data等几种，其中Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到分布式文件***(Hadoop Distributed File System，HDFS)，其通过指定递增列或者根据时间戳达到增量导入的目的，从而实现对海量数据的有效处理，并可在业务上实现T+0日数据实时响应，T+1日增量准实时响应。
在本实施例中，所述待处理风控数据包括当前用户的***、税务以及工商数据，还可包括其他与业务相关的数据，本实施例对此不作限制。
同步模块20，用于将所述待处理风控数据同步至所述大数据平台。
需要说明的是，为了实现将数据库中的数据同步到大数据平台中，其中，所述大数据平台可为Hadoop平台，还可为其他形式的大数据平台，本实施例对比不作限制，在本实施例中，以Hadoop平台为例进行说明，从传统关系型数据库，如Oracle向Hadoop平台汇聚数据，可通过Sqoop、DataX以及Oracle GoldenGate for Big Data等几种，其中，Sqoop使用sql语句获取关系型数据库中的数据后，通过hadoop的MapReduce把数据从关系型数据库中导入数据到分布式文件***(Hadoop Distributed File System，HDFS)，其通过指定递增列或者根据时间戳达到增量导入的目的，从而实现数据库到大数据平台的数据接入。
在本实施例中，通过所述预设数据处理工具可将数据转换为中间数据进行处理，并可通过预设数据模型进行数据挖掘，实现对待处理风控数据中的风控特征信息的挖掘，其中，所述风控特征信息包括
生成模块30，用于接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格。
需要说明的是，所述风控数据表格可为HDFS文件，还可为其他用于大数据平台中的文件形式，本市实施例对此不作限制，在本实施例中，以HDFS为例进行说明，所述风控特征信息包括缴费比例、缴税时间以及各项事务的交易信息等，还可包括其他与风控相关联的特征信息，本实施例对此不作限制。
提取模块40，用于在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
需要说明的是，所述风控报告生成指令可为通过预设界面上生成控件的点击操作，还可为通过串口进行控制程序的输入，本实施例对此不作限制，在本实施例中，通过预设界面上生成控件的点击操作为例进行说明，通过界面点击确认生成报告指令，从而实现利用大数据平台进行风险报告评估。
在具体实现中，获取风控报告模板，将所述风控数据进行风险评估，得到评估结论，将所述评估结论以及所述风控数据填入所述风控报告模板中，从而生成所述风控报告，实现基于大数据平台的风控数据处理。
本实施例通过上述方案，通过获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；将所述待处理风控数据同步至所述大数据平台，接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格，在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，从而通过大数据平台进行风控数据处理，并对风控数据评估，生成有效的风控报告，提高风控报告的生成效率。
此外，为实现上述目的，本发明还提出一种风控报告的生成设备，所述风控报告的生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的风控报告的生成程序，所述风控报告的生成程序配置为实现如上文所述的风控报告的生成方法的步骤。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有风控报告的生成程序，所述风控报告的生成程序被处理器执行如上文所述的风控报告的生成方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能终端设备(可以是手机，计算机，终端设备，空调器，或者网络终端设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种风控报告的生成方法，其特征在于，所述风控报告的生成方法包括：
获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；
将所述待处理风控数据同步至所述大数据平台；
接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，将所述风控特征信息按照预设规则生成风控数据表格；
在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
2.如权利要求1所述的风控报告的生成方法，其特征在于，所述获取待处理风控数据之前，所述方法还包括：
连接原始数据库，提取所述原始数据库中的原始风控数据；
将所述原始风控数据与预设关键字进行比较，根据比较结果得到所述原始风控数据中的参考风控数据；
提取所述参考风控数据的属性信息，将所述属性信息设为安全属性，将设置后的参考风控数据作为所述待处理风控数据。
3.如权利要求1所述的风控报告的生成方法，其特征在于，所述将所述待处理风控数据同步至所述大数据平台之前，所述方法还包括：
判断所述待处理风控数据是否存有索引信息；
在所述待处理风控数据中存有索引信息时，提取所述待处理风控数据中的索引信息；
根据所述索引信息对所述待处理风控数据进行排序，根据排序结果的先后顺序执行将所述待处理风控数据同步至所述大数据平台步骤。
4.如权利要求3所述的风控报告的生成方法，其特征在于，所述索引信息包括历史序列信息或者时间戳信息；
所述判断所述待处理风控数据是否存有索引信息之前，所述方法还包括：
提取所述待处理风控数据的类型信息，在所述类型信息中标上预设标识信息；
判断所述预设标识信息是否为历史序列信息或者时间戳信息；
根据所述历史序列信息或者时间戳信息建立所述索引信息。
5.如权利要求4所述的风控报告的生成方法，其特征在于，所述将所述待处理风控数据同步至所述大数据平台，包括：
提取所述待处理风控数据的历史序列信息；
获取预设删除操作信息，提取所述预设删除操作信息中待删除序列信息，将所述待删除序列信息进行删除，并将删除后的历史序列信息进行重新排序；
将排序后的待处理风控数据同步至所述大数据平台。
6.如权利要求1至5中任一项所述的风控报告的生成方法，其特征在于，所述预设规则为当前数据处理逻辑方式；
所述将所述风控特征信息按照预设规则生成风控数据表格，包括：
获取当前数据处理逻辑方式，根据所述当前数据处理逻辑方式配置所述大数据平台中的依赖信息以及目标插件信息，其中，所述目标插件信息包括第一插件信息和第二插件信息；
提取所述目标插件信息中的第一插件信息和第二插件信息，根据所述第一插件信息以及第二插件信息调用本地预设区域中预存的第一插件以及第二插件，对所述风控特征信息进行打包；
调用预设函数，通过所述预设函数将打包后的风控特征信息生成所述风控数据表格。
7.如权利要求1至5中任一项所述的风控报告的生成方法，其特征在于，所述在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告，包括：
在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的备份风控数据；
提取所述备份风控数据对应所述风控数据表格中的参考标签信息，将所述参考标签信息与目标标签信息进行比较，根据比较结果提取目标标签信息对应的备份风控数据中的目标风控数据；
对所述目标风控数据的指数信息进行评估，得到评估结论；
获取风控报告模板，将所述评估结论以及所述目标风控数据填入所述风控报告模板中，生成所述目标风控报告。
8.一种风控报告的生成装置，其特征在于，所述风控报告的生成装置包括：
获取模块，用于获取待处理风控数据以及预设的大数据平台标识，其中，所述大数据平台标识对应的大数据平台包括预设数据处理工具；
同步模块，用于将所述待处理风控数据同步至所述大数据平台；
生成模块，用于接收所述大数据平台通过所述预设数据处理工具从所述待处理风控数据中提取的风控特征信息，所述风控特征信息按照预设规则生成风控数据表格；
提取模块，用于在接收到风控报告生成指令时，根据所述风控报告生成指令提取所述风控数据表格中的目标风控数据，基于所述目标风控数据生成目标风控报告。
9.一种风控报告的生成设备，其特征在于，所述风控报告的生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的风控报告的生成程序，所述风控报告的生成程序配置为实现如权利要求1至7中任一项所述的风控报告的生成方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有风控报告的生成程序，所述风控报告的生成程序被处理器执行时实现如权利要求1至7中任一项所述的风控报告的生成方法的步骤。
CN201910541818.7A 2019-06-19 2019-06-19 风控报告的生成方法、装置、设备及存储介质 Pending CN110377619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541818.7A CN110377619A (zh) 2019-06-19 2019-06-19 风控报告的生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541818.7A CN110377619A (zh) 2019-06-19 2019-06-19 风控报告的生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110377619A true CN110377619A (zh) 2019-10-25

Family

ID=68250482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541818.7A Pending CN110377619A (zh) 2019-06-19 2019-06-19 风控报告的生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110377619A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845033A (zh) * 2017-11-08 2018-03-27 上海壹账通金融科技有限公司 风控报告生成方法、装置、设备及计算机可读存储介质
CN108428072A (zh) * 2018-05-18 2018-08-21 北京大账房网络科技股份有限公司 财务风控全面体检的方法
CN109544318A (zh) * 2018-10-12 2019-03-29 深圳壹账通智能科技有限公司 风控报告的生成方法、装置、计算机设备及存储介质
CN109545328A (zh) * 2018-11-28 2019-03-29 极力健生物科技（广州）有限公司 一种基于大数据和人工智能的个体亚健康干预方法和***
WO2019080407A1 (zh) * 2017-10-25 2019-05-02 深圳壹账通智能科技有限公司 信贷评估方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080407A1 (zh) * 2017-10-25 2019-05-02 深圳壹账通智能科技有限公司 信贷评估方法、装置、设备及计算机可读存储介质
CN107845033A (zh) * 2017-11-08 2018-03-27 上海壹账通金融科技有限公司 风控报告生成方法、装置、设备及计算机可读存储介质
CN108428072A (zh) * 2018-05-18 2018-08-21 北京大账房网络科技股份有限公司 财务风控全面体检的方法
CN109544318A (zh) * 2018-10-12 2019-03-29 深圳壹账通智能科技有限公司 风控报告的生成方法、装置、计算机设备及存储介质
CN109545328A (zh) * 2018-11-28 2019-03-29 极力健生物科技（广州）有限公司 一种基于大数据和人工智能的个体亚健康干预方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLUSAYO OBAJEMU; MAHDI MAHFOUF; JAMES W. F. CATTO: "A New Fuzzy Modeling Framework for Integrated Risk Prognosis and Therapy of Bladder Cancer Patients", IEEE TRANSACTIONS ON FUZZY SYSTEMS, pages 1565 *
刘刚;: "大数据时代智能风控体系建设实践", 中国金融电脑, no. 08, pages 17 - 20 *
孙巧: "GY证券公司融资融券业务风险控制研究", 中国优秀硕士学位论文全文数据库, pages 159 - 132 *

Similar Documents

Publication Publication Date Title
CN107678776A (zh) 多模块版本依赖关系构建方法、装置、服务器和存储介质
CN110069572A (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
CN110162509A (zh) 文件比对方法、装置、计算机设备及存储介质
CN110175027A (zh) 一种开发业务功能的方法和装置
CN108874924A (zh) 搜索服务的创建方法、装置及计算机可读存储介质
CN109814856A (zh) 数据录入方法、装置、终端及计算机可读存储介质
CN105468707A (zh) 一种基于缓存的数据处理方法及装置
CN101998354B (zh) 用户数据一致性的核查方法及装置
WO2008095384A1 (en) Matching method and system for marketing campaign recommendation
CN103036855A (zh) 一种权限管理的实现设备和方法
CN109816481A (zh) 账单处理方法、装置及计算机可读存储介质
CN111651296A (zh) 数据删除操作的拦截备份方法、装置、设备及存储介质
CN103488697A (zh) 能自动收集和交换碎片化商业信息的***及移动终端
CN113947468B (zh) 一种数据管理方法及平台
CN111680477A (zh) 导出电子表格文件的方法、装置、计算机设备及存储介质
CN110286883B (zh) 智能数据库编码监控方法、装置及电子设备
CN103561083A (zh) 一种物联网数据处理方法
CN105007310A (zh) 信息同步方法、装置和***
CN112948491B (zh) 数据同步的方法、装置、终端设备及计算机可读存储介质
CN110377619A (zh) 风控报告的生成方法、装置、设备及存储介质
CN112184483A (zh) 一种基于oms的调度工作显示***、计算机设备
CN110019260A (zh) 一种用户数据的更新方法及相关设备
CN102571381B (zh) 一种信息存储方法以及信息存储装置
CN109218142A (zh) 一种基于OneM2M协议物联网平台终端接入方法和装置
CN113626438B (zh) 一种数据表管理的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination