CN114116802A - Flink计算框架的数据处理方法、装置、设备和存储介质 - Google Patents

Flink计算框架的数据处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114116802A
CN114116802A CN202111420013.0A CN202111420013A CN114116802A CN 114116802 A CN114116802 A CN 114116802A CN 202111420013 A CN202111420013 A CN 202111420013A CN 114116802 A CN114116802 A CN 114116802A
Authority
CN
China
Prior art keywords
data stream
processed
verification
processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111420013.0A
Other languages
English (en)
Inventor
汪照阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xingyun Digital Technology Co Ltd
Original Assignee
Nanjing Xingyun Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xingyun Digital Technology Co Ltd filed Critical Nanjing Xingyun Digital Technology Co Ltd
Priority to CN202111420013.0A priority Critical patent/CN114116802A/zh
Publication of CN114116802A publication Critical patent/CN114116802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G06Q30/0185—Product, service or business identity fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种Flink计算框架的数据处理方法、装置、计算机设备和存储介质。所述方法包括：通过实时获取待处理数据流，所述待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。本申请基于Flink计算框对用户行为数据流和交易订单数据流进行实时分析，提高了数据校验的可靠性，通过Flink计算框中的多个处理窗口实现待处理数据的并行处理，提高了数据处理的效率。

Description

Flink计算框架的数据处理方法、装置、设备和存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种Flink计算框架的数据处理方法、装置、设备和存储介质。
背景技术
目前，随着线上购物行为逐渐增多，欺诈风险也随之上升。欺诈者不断优化他们的诈骗手段，想方设法躲避甄别。用户在很多网站上注册的账号密码一致，用户在一个网站丢失的信息可能会被黑客拿过来撞库，如果撞库成功之后，就会对交易有影响。例如，账号被盗导致的不法分子利用被盗账号套现、骗取客户信息进行套现、自己刷单赚取差价的套现等等行为频发。所以对用户的线上各种行为进行风险校验就是业务面对的一个很重要的问题。
传统技术中，一般采用通过获取用户的离线行为数据，对用户离线申请行为数据进行模型训练，根据训练的模型进行数据分析，以对用户行为的风险性进行校验。然而，这种方案存在检测的准确性不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种Flink计算框架的数据处理方法、装置、计算机设备和存储介质。
一种Flink计算框架的数据处理方法，方法包括：
实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
在其中一个实施例中，上述的实时获取待处理数据流，包括：
实时采集待处理数据流；
根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中；
从预设消息队列的不同分区中获取待处理数据流。
在其中一个实施例中，上述的根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口，包括：
根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
在其中一个实施例中，上述的风险校验策略包括校验条件，根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果，包括：
根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略；
提取处理窗口内的待处理数据流中的元数据；
当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
在其中一个实施例中，上述的校验条件包括多个，方法还包括：
当待处理数据流满足预设数目个校验条件时，生成风险提示信息；
将风险提示推送至预先设定的目标终端上展示。
在其中一个实施例中，上述的方法还包括：
将校验结果存入预设的数据库中；
实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
在其中一个实施例中，上述的方法还包括：
接收终端发送的风险校验策略的新增请求；
根据新增请求中的新增校验条件，生成新的风险校验策略；
将新的校验策略更新至Redis缓存中。
一种Flink计算框架的数据处理装置，其特征在于，方法包括：
获取模块，用于实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
分配模块，用于根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
校验模块，用于根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
上述Flink计算框架的数据处理方法、装置、计算机设备和存储介质，通过实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。本申请基于Flink计算框对用户行为数据流和交易订单数据流进行实时分析，提高了数据校验的可靠性，通过Flink计算框中的多个处理窗口实现待处理数据的并行处理，提高了数据处理的效率。
附图说明
图1为一个实施例中Flink计算框架的数据处理方法的应用环境图；
图2为一个实施例中Flink计算框架的数据处理方法的流程示意图；
图3为一个实施例中Flink计算框架的数据处理方法的应用环境示意图；
图4为另一个实施例中Flink计算框架的计算流程图；
图5为一个实施例中Flink计算框架的数据处理装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
请参考图1，图1为本申请一示例性实施例提供的一种Flink计算框架的数据处理方法的应用环境示意图。如图1所示，该应用环境中包括服务器100以及终端101，服务器100与终端101之间可以通过网络102实现可通信的连接，以实现本申请的Flink计算框架的数据处理方法。
服务器100用于实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。将校验结果存入预设的数据库中；实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端101展示。其中，服务器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
终端101用于接收服务器100推送的预设时间段内的校验结果，将预设时间段内的校验结果格式化展示于终端的用户界面。例如，以图表的形式展示于用户界面。终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
网络102用于实现终端101与服务器100之间的网络连接，具体的，网络102可以包括多种类型的有线或无线网络。
在一个实施例中，如图2所示，提供了一种Flink计算框架的数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S11、实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流。
本申请中，上述的待处理数据流可以包括用户行为数据流以及交易订单数据流。其中，该用户行为数据流可以包括用户点击数据流、用户访问数据流以及用户登录数据流等。上述的用户行为数据流中的元数据可以包括用户的账户信息、收货地址、收货手机号码、所使用的设备号以及IP地址等信息。上述的交易订单数据流中的元数据可以包括买家会员号、购买渠道编码，如，现金、app、银行卡、***等、付款方会员类型、支付时间、支付完成时间、订单编码、订单金额、子订单金额、产品编码、卖家商户号、交易发起方商户号、商品类型、付款方商户号、付款方会员号、支付方式、商户订单详情以及订单详情等信息。
在其中一个实施例中，上述的实时获取待处理数据流，可以包括：
实时采集待处理数据流；
根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中；
从预设消息队列的不同分区中获取待处理数据流。
本申请中，上述的消息队列可以为kafka消息队列。该kafka消息队列中设置多分区用于存放待处理数据流。上述的数据流类型可以包括用户点击数据流、用户访问数据流、用户登录数据流以及交易订单数据流等类型。本申请根据待处理数据流的数据流类型不同，将上述的待处理数据流分别存放在不同的分区中。本申请通过该实施方式便于后续Flink计算框架对消息队列中待处理数据流的消费，提升数据处理效率。
本申请中，可以基于埋点技术采集用户在APP页面、模块、坑位上的用户行为数据流(包括访问、点击、曝光、登录等)、用户的基本信息，如账户信息、收货地址、收货手机号码、交易订单信息以及支付信息等实时抛送kafka消息队列平台，以Flink流式计算框架为基础订阅消费相关待处理数据流，对待处理数据流进行清洗加工，按数据属性分类处理实时流数据。
S12、根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口。
本申请中，上述的Flink计算框架可以为分布式数据处理***，用于并行处理实时数据流。本申请中预先定义多个处理窗口，并设定各个处理窗口的窗口范围描述信息。其中，该窗口范围描述信息用于描述各处理窗口所处理的数据流类型。进一步的，本申请还可以具体定义各个处理窗口的时间触发器，该时间触发器用于描述各处理窗口的起始运行时间、结束运行时间以及计算频率。
在其中一个实施例中，上述的根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口，可以包括：
根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
本申请中，预先对上述的待处理数据流进行分类，具体的，可以根据待处理数据流的数据流类型进行分类，分为多个数据流。例如，可以分为用户点击数据流、用户访问数据流、用户登录数据流以及交易订单数据流等。
进一步的，各处理窗口的窗口范围描述信息中描述了各处理窗口所处理的数据流类型。因此，可以将各窗口范围描述信息与各数据流类型进行匹配，以获取与各处理窗口对应的待处理数据流。例如，可以预先设定处理窗口1，其窗口范围描述信息为用于处理交易订单数据流；处理窗口2，其窗口范围描述信息为用于处理用户访问数据流；处理窗口3，其窗口范围描述信息为用于处理用户点击数据流。根据窗口范围描述信息可以将待处理数据流中的处理交易订单数据流分配至处理窗口1处理，将上述的待处理数据中的用户访问数据流分配至处理窗口2处理，将待处理数据中的用户点击数据流分配至处理窗口3处理。
本申请通过将待处理数据流中的数据进行分类，并分配至不同的处理窗口进行处理，提高了数据处理的效率。
S13、根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
本申请中，上述的Flink计算框架用于消费消息队列中的待处理数据流，对待处理数据流进行加工和预处理；还用于连接数据库，实时读写数据指标或者中间结果，做计算和存储操作；还用于调用或内嵌风险校验策略，对数据进行过滤或计算。
本申请中，上述的风险校验策略可以包括校验项以及对应的校验条件。具体的，上述的校验项可以包括但不限于如下项目：
①、判断用户是否在常用IP下单；
②、判断用户是否在常用设备上下单；
③、判断用户收货地址是否是常用收货地址；
④、判断用户收货手机号是否是常用手机号；
⑤、判断用户近期是否修改过登陆密码；
⑥、判断用户近期是否修改过支付密码；
⑦、判断用户近期是否修改过手机号码；
⑧、判断订单是否是货到付款；
⑨、判断订单中指定价格的商品数量是否满足阈值；
⑩、判断订单中指定类目的商品价格是否满足阈值；
Figure BDA0003376935770000081
判断订单的总价值是否达到一定的阈值。
进一步的，上述的校验结果可以包括当前待处理数据流是否校验成功的信息以及当前待处理数据的详情信息。例如，若当前待处理数据流为交易订单数据流时，校验结果可以包括当前交易订单是否校验成功的信息以及当前交易订单的订单详情信息。其中，该订单详情信息可以包括订单编码、支付时间、支付完成时间、订单金额、产品编码、卖家商户号、交易发起方商户号、商品类型、付款方会员号、支付方式、商户订单详情以及订单详情等信息。若校验失败，则校验结果可以包括当前交易订单为异常订单的通知信息等。
在其中一个实施例中，上述的风险校验策略中还包括校验条件。上述的根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果，可以包括：
根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略；
提取处理窗口内的待处理数据流中的元数据；
当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
本申请中，上述的校验条件可以包括：
当用户不是在常用IP下单时，确定当前待处理数据流满足校验条件；
当用户不是在常用设备上下单时，确定当前待处理数据流满足校验条件；
当用户收货地址不是常用收货地址时，确定当前待处理数据流满足校验条件等。
例如，当设定“判断用户收货地址是否是常用收货地址”作为校验项时，那么当判断出用户收货地址不是常用收货地址时，确定满足校验条件，则当前订单就会被视为异常订单，***默认存储该当前订单号下的明细数据作为校验结果存入数据库，业务可以通过风控管理平台筛选查看想要的字段信息比如订单号、收货地址、用户名、用户下单时间、设备号、ip等等。进一步的，服务器在判断用户收货地址是否是常用收货地址需要用到用户的历史信息，如用户的常用收货地址。因此，服务器需要预先将用户的历史信息存入Redis缓存中供调用。例如，服务器对交易订单数据流进行处理时，需要依赖用户的历史数据，比如手机号、收货地址等信息，需要预先将历史数据保存到Redis中。
本申请中针对不同的校验项设定不同的校验条件。具体的，校验项以及对应的校验条件可以根据实际业务需求而设定，在此不做具体限定。上述的风险校验策略还可以包括预先训练好的校验模型。
本申请中的风险校验策略存储于预设的Redis缓存中供上述的Flink计算框架实时读写。本申请中各个处理窗口的数据处理并发进行，通过多个进程同时处理，提高数据处理效率。本申请通过Flink计算框架与数据库的运用相互结合，实现对实时数据流的处理，以实现对用户行为数据流以及交易订单数据流的实时检测，提高了数据检测的准确性以及科学性。
在其中一个实施例中，上述的校验条件包括多个，上述的方法还包括：
当待处理数据流满足预设数目个校验条件时，生成风险提示信息；
将风险提示推送至预先设定的目标终端上展示。
本申请中，上述的风险校验策略中可以包括多个校验项以及对应的校验条件。当待处理数据流同时满足预设数目个校验条件时，生成风险提示信息。例如，可以预设设定预设数目为M个，若当前交易订单数据流同时满足了M个校验条件时，则根据当前交易订单数据流生成风险提示信息。该风险提示信息的具体内容可以为，当前交易订单为异常订单的提示信息。该提示信息具体可以通过短信或者邮件的形式发送至目标终端，具体可以以文字或者语音的形式进行提示，具体的提示形式可以根据需求设定，在此不做具体限定。
本申请通过该实施例可以对异常订单进行预警，以及时通过相关人员，以便相关人员采取相应的措施。
在其中一个实施例中，上述的方法还可以包括：
将校验结果存入预设的数据库中；
实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
本申请中，校验结果可以存入数据库中，具体可以将校验结果以固定表结构存放到Mysql数据库中。具体的校验结果可以包括异常订单的订单详情数据、风险人员名单以及业务人员希望在风控管理平台上展示的维度指标数据等。具体存入数据库的校验结果可以按日期或者按照属性进行分类存储，便于后续查询。
本申请中可以在接收到终端发送的校验结果的查询请求时，获取对应的校验结果发送至终端展示。也可以实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。具体展示时可以进行格式化展示，例如，可以以图表的形式展示在web页面供业务人员做数据分析，直观形象。
在其中一个实施例中，上述的方法还可以包括：
接收终端发送的风险校验策略的新增请求；
根据新增请求中的新增校验条件，生成新的风险校验策略；
将新的校验策略更新至Redis缓存中。
本申请中的风险校验策略支持可修改、可删除以及可增加。具体的，支持用户选择导入CSV(Comma Separate Values，逗号分隔值)格式文件的自定义风险规则配置，支持用户选择实时添加数据库中已存在的风险规则模型，同时支持用户设定规则有效期和删除规则等操作。本申请中，一方面支持导入固定格式的由业务定义风险校验策略的语句。另一方面，可以通过风控管理平台将各种校验项以及校验条件做成组件的形式供运营人员选取，可同时选取多个条件进行组合使用。
一种可能的应用场景中，运营人员可以将需要新增的风险校验策略以文件的形式上传至服务器，由服务器根据该文件生成对应的风险校验策略。也可以通过在前端界面上展示多个校验项以及校验条件的配置项，由运营人员直接勾选，后提交至服务器，由服务器根据运营人员勾选的配置项生成对应的风险校验策略。本申请通过该实施方式可以实现灵活的修改上述的风险校验策略，提升方案的灵活性。
请参考图3，图3为本申请一示例性实施例提供的一种Flink计算框架的数据处理方法的应用环境示意图。如图3所示，该应用环境中包括kafka消息队列21、Flink计算框架22、Mysql数据库23、Redis缓存数据库24以及运营管理平台25。其中，Flink计算框架22中包括数据源的输入模块26、处理窗口27以及输出模块28。
具体的，上述的kafka消息队列21用于存放基于埋点技术采集来的交易订单数据流以及用户行为数据流(APP页面访问、坑位点击、页面模块坑位曝光等行为信息)等实时数据流，以作为Flink计算框架22的数据源。
上述的Flink计算框架22用于：
1，消费Kafka中的实时元数据，对交易订单数据流以及用户行为数据流进行加工和预处理。
2，连接数据库，实时读写数据指标或者中间结果，做计算和存储操。
3，调用或内嵌风险校验策略，对待处理数据流进行过滤或计算。
上述的Mysql数据库23用于存放经过Flink计算框架22计算出来的校验结果，该校验结果具体可以包括异常订单数据、风险人员名单以及业务人员希望在风控管理平台上展示的维度指标数据等。
上述的Redis缓存数据库24用于存放风险校验策略，一方面供Flink程序实时读取，另一方面，支持业务人员通过风控管理平台对风控规则进行实时修改。
上述的运营管理平台25，以可视化页面存在，以Mysql数据库和Redis数据库为后端存储库，提供给用户操作修改风险校验策略的入口，还可以以图表的形式展示校验结果，即存在风险或违规行为的消费者。风险管理平台25后台直接从mysql数据库读取校验结果，并以图表的形式展示于运营人员的终端。
具体的，Flink计算框架连接kafka消息队列平台，对待处理数据流存放的分区进行订阅消费；服务器获取到订单、流量以及支付等明细元数据后对数据进行预处理，清洗加工转换或存放到中间表中；流处理链路中写多个处理窗口，如订单信息处理窗口、流量信息处理窗口以及支付信息处理窗口等，每个处理窗口实现不同业务属性数据分类多并发计算处理，在计算窗口的窗口函数中调用Redis数据库接口对风险校验策略进行读写操作并实现个性化业务逻辑的加工处理；通过Flink计算框架计算后得出的校验结果信息以表格的形式写入Mysql数据库存储。
请参考图4，图4为本申请一示例性实施例提供的一种Flink计算框架的计算流程图。在图4中，Flink计算框架在对数据进行处理时包括：
S31、待处理数据流输入；
S32、数据预处理；
S33、处理窗口的数据并行处理；
S34、输出。
其中，上述的处理窗口的数据并行处理，具体包括：
处理窗口1用于处理交易订单数据流；
处理窗口2用于处理用户访问数据流；
处理窗口2用于处理用户点击数据流；
以此类推，一直到处理窗口n用于处理用户登录数据流。
其中，上述的数据预处理可以包括数据清洗、格式转换等处理。上述的输出的数据存储于预设的数据库中供运营人员查询。上述的各个处理窗口在对待处理数据流进行并行处理时，具体通过调用风险校验策略对待处理数据进行校验，以得到校验结果输出。
在一个实施例中，如图5所示，提供了一种Flink计算框架的数据处理装置，包括：获取模块11、分配模块12和校验模块13，其中：
获取模块11，用于实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；
分配模块12，用于根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；
校验模块13，用于根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
在其中一个实施例中，上述的获取模块11可以实时采集待处理数据流，根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中，从预设消息队列的不同分区中获取待处理数据流。
在其中一个实施例中，上述的分配模块12可以根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
在其中一个实施例中，上述的风险校验策略包括校验条件，上述的校验模块13可以根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略，提取处理窗口内的待处理数据流中的元数据，当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
在其中一个实施例中，上述的校验条件包括多个，上述的装置还包括提示模块(图未示)，该提示模块可以当待处理数据流满足预设数目个校验条件时，生成风险提示信息，将风险提示推送至预先设定的目标终端上展示。
在其中一个实施例中，上述的装置还包括存储模块(图未示)，该存储模块可以将校验结果存入预设的数据库中，实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
在其中一个实施例中，上述的装置还包括新增模块(图未示)，该新增模块可以接收终端发送的风险校验策略的新增请求，根据新增请求中的新增校验条件，生成新的风险校验策略，将新的校验策略更新至Redis缓存中。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储智能家居设备的运行数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现编译虚拟机的资源分配方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
在一个实施例中，处理器执行计算机程序实现上述的实时获取待处理数据流步骤时，具体实现以下步骤：
实时采集待处理数据流；
根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中；
从预设消息队列的不同分区中获取待处理数据流。
在一个实施例中，处理器执行计算机程序实现上述的根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口步骤时，具体实现以下步骤：
根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
在一个实施例中，上述的风险校验策略包括校验条件，处理器执行计算机程序实现上述的根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果步骤时，具体实现以下步骤：
根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略；
提取处理窗口内的待处理数据流中的元数据；
当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
在一个实施例中，上述的校验条件包括多个，处理器执行计算机程序时具体还实现以下步骤：
当待处理数据流满足预设数目个校验条件时，生成风险提示信息；
将风险提示推送至预先设定的目标终端上展示。
在一个实施例中，处理器执行计算机程序时具体还实现以下步骤：
将校验结果存入预设的数据库中；
实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
在一个实施例中，处理器执行计算机程序时具体还实现以下步骤：
接收终端发送的风险校验策略的新增请求；
根据新增请求中的新增校验条件，生成新的风险校验策略；
将新的校验策略更新至Redis缓存中。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：实时获取待处理数据流，待处理数据流包括用户行为数据流以及交易订单数据流；根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口；根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
在一个实施例中，计算机程序被处理器执行实现上述的实时获取待处理数据流步骤时，具体实现以下步骤：
实时采集待处理数据流；
根据待处理数据流的数据流类型将待处理数据流分类储于预设消息队列的不同分区中；
从预设消息队列的不同分区中获取待处理数据流。
在一个实施例中，计算机程序被处理器执行实现上述的根据Flink计算框架中预先设定的多个处理窗口将待处理数据流分配至对应的处理窗口步骤时，具体实现以下步骤：
根据各处理窗口的窗口范围描述信息以及待处理数据流的数据流类型对待处理数据流分配至对应的处理窗口，窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
在一个实施例中，上述的风险校验策略包括校验条件，计算机程序被处理器执行实现上述的根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果步骤时，具体实现以下步骤：
根据各处理窗口的窗口函数从预设的Redis缓存中并行调用与各处理窗口内的待处理数据流对应的风险校验策略；
提取处理窗口内的待处理数据流中的元数据；
当元数据满足风险校验策略中的校验条件时，生成待处理数据流为异常数据的校验结果，以并行校验各处理窗口内的待处理数据流。
在一个实施例中，上述的校验条件包括多个，计算机程序被处理器执行时具体还实现以下步骤：
当待处理数据流满足预设数目个校验条件时，生成风险提示信息；
将风险提示推送至预先设定的目标终端上展示。
在一个实施例中，计算机程序被处理器执行时具体还实现以下步骤：
将校验结果存入预设的数据库中；
实时读取数据库中预设时间段内的校验结果，将预设时间段内的校验结果发送至目标终端展示。
在一个实施例中，计算机程序被处理器执行时具体还实现以下步骤：
接收终端发送的风险校验策略的新增请求；
根据新增请求中的新增校验条件，生成新的风险校验策略；
将新的校验策略更新至Redis缓存中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种Flink计算框架的数据处理方法，所述方法包括：
实时获取待处理数据流，所述待处理数据流包括用户行为数据流以及交易订单数据流；
根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口；
根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
2.根据权利要求1所述的方法，其特征在于，所述实时获取待处理数据流，包括：
实时采集所述待处理数据流；
根据所述待处理数据流的数据流类型将所述待处理数据流分类储于预设消息队列的不同分区中；
从所述预设消息队列的不同分区中获取所述待处理数据流。
3.根据权利要求1所述的方法，其特征在于，所述根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口，包括：
根据各所述处理窗口的窗口范围描述信息以及所述待处理数据流的数据流类型对所述待处理数据流分配至对应的处理窗口，所述窗口范围描述信息用于描述各处理窗口所处理的数据流类型。
4.根据权利要求1所述的方法，其特征在于，所述风险校验策略包括校验条件，所述根据预先配置的风险校验策略对各处理窗口内的待处理数据流流以及交易订单数据流进行并行校验，得到校验结果，包括：
根据各所述处理窗口的窗口函数从预设的Redis缓存中并行调用与各所述处理窗口内的待处理数据流对应的风险校验策略；
提取所述处理窗口内的待处理数据流中的元数据；
当所述元数据满足所述风险校验策略中的校验条件时，生成所述待处理数据流为异常数据的校验结果，以并行校验各所述处理窗口内的待处理数据流。
5.根据权利要求4所述的方法，其特征在于，所述校验条件包括多个，所述方法还包括：
当所述待处理数据流满足预设数目个校验条件时，生成风险提示信息；
将所述风险提示推送至预先设定的目标终端上展示。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将所述校验结果存入预设的数据库中；
实时读取所述数据库中预设时间段内的校验结果，将所述预设时间段内的校验结果发送至所述目标终端展示。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收终端发送的所述风险校验策略的新增请求；
根据所述新增请求中的新增校验条件，生成新的风险校验策略；
将所述新的校验策略更新至所述Redis缓存中。
8.一种Flink计算框架的数据处理装置，其特征在于，所述方法包括：
获取模块，用于实时获取待处理数据流，所述待处理数据流包括用户行为数据流以及交易订单数据流；
分配模块，用于根据Flink计算框架中预先设定的多个处理窗口将所述待处理数据流分配至对应的处理窗口；
校验模块，用于根据预先配置的风险校验策略对各处理窗口内的用户行为数据流以及交易订单数据流进行并行校验，得到校验结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111420013.0A 2021-11-26 2021-11-26 Flink计算框架的数据处理方法、装置、设备和存储介质 Pending CN114116802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111420013.0A CN114116802A (zh) 2021-11-26 2021-11-26 Flink计算框架的数据处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111420013.0A CN114116802A (zh) 2021-11-26 2021-11-26 Flink计算框架的数据处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114116802A true CN114116802A (zh) 2022-03-01

Family

ID=80369838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111420013.0A Pending CN114116802A (zh) 2021-11-26 2021-11-26 Flink计算框架的数据处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114116802A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358911A (zh) * 2022-03-16 2022-04-15 深圳高灯计算机科技有限公司 开票数据风险控制方法、装置、计算机设备和存储介质
CN114723413A (zh) * 2022-04-19 2022-07-08 南京慧尔视软件科技有限公司 一种流数据的实时处理方法、装置、设备及介质
CN114860549A (zh) * 2022-05-30 2022-08-05 北京新唐思创教育科技有限公司 埋点数据校验方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358911A (zh) * 2022-03-16 2022-04-15 深圳高灯计算机科技有限公司 开票数据风险控制方法、装置、计算机设备和存储介质
CN114358911B (zh) * 2022-03-16 2022-08-02 深圳高灯计算机科技有限公司 开票数据风险控制方法、装置、计算机设备和存储介质
CN114723413A (zh) * 2022-04-19 2022-07-08 南京慧尔视软件科技有限公司 一种流数据的实时处理方法、装置、设备及介质
CN114723413B (zh) * 2022-04-19 2023-12-19 南京慧尔视软件科技有限公司 一种流数据的实时处理方法、装置、设备及介质
CN114860549A (zh) * 2022-05-30 2022-08-05 北京新唐思创教育科技有限公司 埋点数据校验方法、装置、设备和存储介质
CN114860549B (zh) * 2022-05-30 2024-02-20 北京新唐思创教育科技有限公司 埋点数据校验方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US10867304B2 (en) Account type detection for fraud risk
US11823153B1 (en) Cash advance payment deferrals
US10445721B2 (en) Method and system for data security utilizing user behavior and device identification
CN108932585B (zh) 一种商户运营管理方法及其设备、存储介质、电子设备
US20120191517A1 (en) Prepaid virtual card
CN114116802A (zh) Flink计算框架的数据处理方法、装置、设备和存储介质
US20140172697A1 (en) Systems and methods for detecting fraud in retail return transactions
KR101794221B1 (ko) 온라인 판매자의 정산 서비스를 위한 시스템 및 방법
WO2017034643A1 (en) Systems and methods for processing charges for disputed transactions
WO2012042382A1 (en) System, method, and computer readable medium for distributing targeted data using anonymous profiles
US20200327548A1 (en) Merchant classification based on content derived from web crawling merchant websites
US10275812B2 (en) Method and apparatus for denying a transaction detected to be initiated outside of a required application on an endpoint device
US10607204B2 (en) Support messages based on merchant account context
CN110766275A (zh) 数据验证方法、装置、计算机设备及存储介质
CN110019774B (zh) 标签分配方法、装置、存储介质及电子装置
US10740852B1 (en) Classifying merchants
US11538116B2 (en) Life event bank ledger
US20200233696A1 (en) Real Time User Matching Using Purchasing Behavior
CN117114901A (zh) 基于人工智能的投保数据处理方法、装置、设备及介质
US10152754B2 (en) System and method for small business owner identification
US20170249697A1 (en) System and method for machine learning based line assignment
CN110070383B (zh) 基于大数据分析的异常用户识别方法及装置
US20170178087A1 (en) System and method for test data provisioning
CN108074186B (zh) 健康卡开户处理方法和装置
CN113052673B (zh) 对账清算方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination