CN110674100A - 一种基于全渠道运营数据的用户需求预测方法及架构 - Google Patents

一种基于全渠道运营数据的用户需求预测方法及架构 Download PDF

Info

Publication number
CN110674100A
CN110674100A CN201910928706.7A CN201910928706A CN110674100A CN 110674100 A CN110674100 A CN 110674100A CN 201910928706 A CN201910928706 A CN 201910928706A CN 110674100 A CN110674100 A CN 110674100A
Authority
CN
China
Prior art keywords
data
user
machine learning
channel
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910928706.7A
Other languages
English (en)
Other versions
CN110674100B (zh
Inventor
李虎
曾毅峰
王之良
徐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd Credit Card Center
Original Assignee
Shanghai Pudong Development Bank Co Ltd Credit Card Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd Credit Card Center filed Critical Shanghai Pudong Development Bank Co Ltd Credit Card Center
Priority to CN201910928706.7A priority Critical patent/CN110674100B/zh
Publication of CN110674100A publication Critical patent/CN110674100A/zh
Application granted granted Critical
Publication of CN110674100B publication Critical patent/CN110674100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于全渠道运营数据的用户需求预测方法及架构，方法包括：步骤1：数据汇集，从全渠道各个***中获取用户原始运营数据，并存放于大数据框架文件***中；步骤2：数据加工，将全渠道各个***中的获取用户原始运营数据经过数据清洗加工后构建用户画像数据；步骤3：建立机器学习模型，将用户画像数据分为用于机器学习模型训练的数据集和用于机器学习模型验证的测试数据集后，利用测试数据集和训练数据集训练并验证该机器学习模型，得到最终训练并验证完毕的机器学习模型；步骤4：服务推荐，对最终机器学习模型进行模型评价后利用其预测用户原始运营数据对应需求并推荐服务。与现有技术相比，本发明更适应大容量数据且用户体验佳。

Description

一种基于全渠道运营数据的用户需求预测方法及架构
技术领域
本发明涉及计算机技术领域，尤其是涉及一种基于全渠道运营数据的用户需求预测方法及架构。
背景技术
随着新技术的成熟，未来新型的、先进的应用将来自5G、人工智能、物联网的融合，将创造出一个智能连接的世界，对所有个人、行业、社会、经济产生影响。其中，人工智能的诞生为移动应用的巨大潜力带来了全新的时代。几年来，移动应用程序开发人员在他们的创新中采用了人工智能。例如，苹果公司的Siri。机器学习正在快速发展，用户现在需要一种灵活的算法来增强体验。
进入2013年后，互联网金融的火爆发展将大数据推向了新的高潮。目前受互联网金融、消费金融的蓬勃发展，银行业传统客户经营模式受到严峻的考验，急需新的客户经营手段。传统客户经营模式存在如下不足之处：
(1)信息覆盖面不足：目前，央行的个人征信中心收录的自然人数达8.6亿人，但其中仅有3亿多人有信贷记录；
(2)信息有效性不足：信贷记录主要来源于商业银行和农村信用社等金融机构，在数据时效性、全面性和层次性上存在严重短板。
(3)服务种类繁多，客户找不到需要的服务；
(4)***不够智能；
(5)客户体验结果得不到及时反馈。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于全渠道运营数据的用户需求预测方法及架构。
本发明的目的可以通过以下技术方案来实现：
一种基于全渠道运营数据的用户需求预测方法，该方法包括以下步骤：
步骤1：从全渠道各个***中获取用户原始运营数据，并存放于大数据框架文件***中；
步骤2：将全渠道各个***中的获取用户原始运营数据经过数据清洗加工后构建用户画像数据；
步骤3：建立机器学习模型，将用户画像数据分为用于机器学习模型验证的测试数据集和用于机器学习模型训练的训练数据集后利用所述测试数据集和所述训练数据集训练并验证该机器学习模型，得到最终训练并验证完毕的机器学习模型；
步骤4：对最终训练并验证完毕的机器学习模型进行模型评价后利用其预测用户原始运营数据对应需求并推荐服务。
进一步地，所述步骤1中的全渠道包括动漫渠道、APP渠道、微信渠道、IVR(互动式语音应答Interactive Voice Response)渠道、支付宝服务窗渠道以及CSR(CustomerService Resepresentive)人工客服等渠道。
进一步地，所述步骤2中的用户画像数据包括客户基本信息、客户交易信息、客户活动信息和客户埋点信息。
进一步地，该方法还包括步骤5：用户接受对应需求服务后收集用户反馈并对机器学习模型进行训练和优化。
进一步地，所述的步骤1具体包括：使用ETL工具从全渠道各个***中获取用户原始运营数据，并存放于大数据框架文件***中。
进一步地，所述的步骤1中的大数据框架文件***采用HDFS文件***。
进一步地，所述的步骤4中的模型评价的指标包括分类、回归、排序、聚类、热门主题模型和推荐。
本发明还提供一种基于所述的基于全渠道运营数据的用户需求预测方法的架构，该架构包括：
运营数据采集模块，用于使用ETL工具获取原始数据并存储于HDFS文件***中；
特征工程模块，用于从原始数据中进行特征构建、特征提取和特征选择；
模型训练模块，用于对机器学习模型进行训练；
模型验证模块，用于对机器学习模型进行验证；
模型应用模块，用于线上运行经过训练并验证的机器学习模型。
与现有技术相比，本发明具有以下优点：
(1)本发明采用了Hadoop相关技术；Hadoop是一个大数据处理框架，它可用于从单台到数以千计的服务器集群的存储和计算服务。HadoopDistributed File System(HDFS)提供了能够跨越多台计算机的大数据存储服务，而MapReduce则提供了一个并行处理的框架。采用了HDFS文件***进行数据存储，这样设计理论上可以进行无限容量存储，解决了传统数据库数据存储受限的瓶颈。MapReduce为海量的数据提供了计算解决方案。
(2)本发明采用了机器学习(深度学习)相关技术；如图2所示，在传统的程序设计中，人们输入的是规则(即程序)和需要根据这些规则进行处理的数据，***输出的是答案；而机器学习建模过程中，人们输入的是数据和从这些数据中预期得到的答案，***输出的是规则或者叫模型。这些规则随后可应用于新的数据，并使计算机自主生成答案，机器学习***是训练出来的，而不是明确地用程序编写出来的。将与某个任务相关的许多示例输入机器学习***，它会在这些示例中找到统计结构，从而最终找到规则将任务自动化。
附图说明
图1为本发明实际采用的架构图；
图2为本发明的技术优势原理图；
图3为本发明的方法流程图；
图4为本发明实施例的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
银行在信息化快速发展的今天，积累了大量有价值的业务数据、用户数据，借助大数据，挖掘用户需求，为用户推荐合适的产品，在减少用户打扰和营销成本的情况下，增加运营收益，是各家银行***业务急需提升的关键所在。
本发明基于互联金融、大数据、机器学习的相关概念，建立了客户服务推荐体系，主要包括获取数据、特征工程、模型训练、模型验证、模型应用，总体结构见图1，
图中包括：
1、运营数据采集
使用ETL工具，从各个***中获取原始数据，并存放在HDFS文件***上。原始数据需要具备如下特点：
a、要有具有“代表性”。
b、对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。
c、对评估数据的量级，样本数量、特征数量，估算训练模型对内存的消耗。如果数据量太大可以考虑减少训练样本、降维或者使用分布式机器学习***。
2、特征工程
包括从原始数据中特征构建、特征提取、特征选择。特征工程做的好能发挥原始数据的最大效力，往往能够使得算法的效果和性能得到显著的提升，有时能使简单的模型的效果比复杂的模型效果好。数据挖掘的大部分时间就花在特征工程上面，是机器学习非常基础而又必备的步骤。
3、模型训练
在机器学习中，训练是一个十分重要的步骤，能够对机器学习的结果产生直接影响的，而机器学习中不管哪个内容都是需要模型的，选择合理算法进行相应的建模，我们才能够做得更好、更精确。
4、模型验证
通过测试数据，验证模型的有效性，观察误差样本，分析误差产生的原因，往往能使得我们找到提升算法性能的突破点。误差分析主要是分析出误差来源与数据、特征、算法。
5、模型应用
模型在线上运行的效果直接决定模型的成败。不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度(空间复杂度)、稳定性是否可接受。
如图3所示为本发明的方法流程图，图中“目标模型”是机器学习整个过程的产出物，也是整个渠道客户需求预测的核心。全渠道客户运营原始数据按天进行汇总，经过简单的数据清洗、加工、存储后得到①客户画像(或叫特征)数据，从①中选择合理的的样本数据构建数据机器学习的②训练数据集和③测试数据集，对训练数据集和测试数据集对模型效果准确性至关重要，图中相关具体信息如下：
Figure BDA0002219640600000051
全渠道客户服务需求预测主要侧重考虑的是用户在不同渠道的需求指向，通过收集用户在各渠道的用户行为信息(主要是通过埋点信息收集)，将零散的非结构化数据信息，整理形成用户的历史运营信息，并结合用户的历史交易行为等信息，从而针对每个用户形成独立的客户画像，再通过建立模型、训练模型，并将用户画像作为输入参数，通过模型算法，推算出每个客户在未来的时间段内可能需要的服务是什么，并且在客户通过各渠道接触之后，再收集用户的行为信息，反作用于模型的训练和优化，为模型的进化提供充分的数据样本，从而形成用户、渠道、模型的信息闭环，实现准实时的循环预测客户行为，达到精准预测客户最需要的服务。具体如图4所示。
本发明的方法及架构***投产前后收益显著；全渠道服务需求预测***在动漫客服渠道投入应用以来，分期交易额较2018年1～5月有明显增长。
本发明的方法及架构***投产前后命中率提升，用户体验佳；全渠道服务需求预测***在动漫客服渠道投入应用以来，每天动漫渠道接口调用次数达到1.2万次，命中率维持在74％，较2018年1～5月上线前动漫渠道接口调用次数明显增长，用户黏度提升，用户有服务需求时更愿意选择动漫渠道办理业务，用户体验性好。
本发明的方法及架构***针对不同客户，个性化推荐服务；全渠道服务需求预测***采用的个性化推荐服务，针对不同的客户，推荐不同的业务节点，能够因人而异满足不同的客户需求，而***上线前对不同的客户，推荐的业务节点都是相同的，这样无法满足目标客户的需求，从而导致目标客户的流失，客户的流失会对***中心造成不可挽回的损失。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于全渠道运营数据的用户需求预测方法，其特征在于，该方法包括以下步骤：
步骤1：从全渠道各个***中获取用户原始运营数据，并存放于大数据框架文件***中；
步骤2：将全渠道各个***中的获取用户原始运营数据经过数据清洗加工后构建用户画像数据；
步骤3：建立机器学习模型，将用户画像数据分为用于机器学习模型验证的测试数据集和用于机器学习模型训练的训练数据集后利用所述测试数据集和所述训练数据集训练并验证该机器学习模型，得到最终训练并验证完毕的机器学习模型；
步骤4：对最终训练并验证完毕的机器学习模型进行模型评价后利用其预测用户原始运营数据对应需求并推荐服务。
2.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，所述步骤1中的全渠道包括动漫渠道、APP渠道、微信渠道、IVR渠道、支付宝服务窗渠道以及CSR人工客服渠道。
3.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，所述步骤2中的用户画像数据包括客户基本信息、客户交易信息、客户活动信息和客户埋点信息。
4.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，该方法还包括步骤5：用户接受对应需求服务后收集用户反馈并对机器学习模型进行训练和优化。
5.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，所述的步骤1具体包括：使用ETL工具从全渠道各个***中获取用户原始运营数据，并存放于大数据框架文件***中。
6.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，所述的步骤1中的大数据框架文件***采用HDFS文件***。
7.根据权利要求1所述的一种基于全渠道运营数据的用户需求预测方法，其特征在于，所述的步骤4中的模型评价的指标包括分类、回归、排序、聚类、热门主题模型和推荐。
8.一种基于如权利要求1～7任意一项所述的基于全渠道运营数据的用户需求预测方法的架构，其特征在于，该架构包括：
运营数据采集模块，用于使用ETL工具获取原始数据并存储于HDFS文件***中；
特征工程模块，用于从原始数据中进行特征构建、特征提取和特征选择；
模型训练模块，用于对机器学习模型进行训练；
模型验证模块，用于对机器学习模型进行验证；
模型应用模块，用于线上运行经过训练并验证的机器学习模型。
CN201910928706.7A 2019-09-28 2019-09-28 一种基于全渠道运营数据的用户需求预测方法及架构 Active CN110674100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910928706.7A CN110674100B (zh) 2019-09-28 2019-09-28 一种基于全渠道运营数据的用户需求预测方法及架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910928706.7A CN110674100B (zh) 2019-09-28 2019-09-28 一种基于全渠道运营数据的用户需求预测方法及架构

Publications (2)

Publication Number Publication Date
CN110674100A true CN110674100A (zh) 2020-01-10
CN110674100B CN110674100B (zh) 2023-02-10

Family

ID=69079893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910928706.7A Active CN110674100B (zh) 2019-09-28 2019-09-28 一种基于全渠道运营数据的用户需求预测方法及架构

Country Status (1)

Country Link
CN (1) CN110674100B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612366A (zh) * 2020-05-27 2020-09-01 中国联合网络通信集团有限公司 渠道质量评估方法、装置、电子设备及存储介质
CN112561598A (zh) * 2020-12-23 2021-03-26 中国农业银行股份有限公司重庆市分行 基于客户画像的客户流失预测及挽回方法和***
CN112598443A (zh) * 2020-12-25 2021-04-02 山东鲁能软件技术有限公司 一种基于深度学习的线上渠道业务数据处理方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及***，储存介质及计算机设备
US20180240158A1 (en) * 2017-02-17 2018-08-23 Kasatria Analytics Sdn Bhd Computer implemented system and method for customer profiling using micro-conversions via machine learning
CN109509040A (zh) * 2019-01-03 2019-03-22 广发证券股份有限公司 预测基金潜在客户的建模方法、营销方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240158A1 (en) * 2017-02-17 2018-08-23 Kasatria Analytics Sdn Bhd Computer implemented system and method for customer profiling using micro-conversions via machine learning
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及***，储存介质及计算机设备
CN109509040A (zh) * 2019-01-03 2019-03-22 广发证券股份有限公司 预测基金潜在客户的建模方法、营销方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐璐瑶等: "基于大数据的用户画像***概述", 《电子世界》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612366A (zh) * 2020-05-27 2020-09-01 中国联合网络通信集团有限公司 渠道质量评估方法、装置、电子设备及存储介质
CN112561598A (zh) * 2020-12-23 2021-03-26 中国农业银行股份有限公司重庆市分行 基于客户画像的客户流失预测及挽回方法和***
CN112598443A (zh) * 2020-12-25 2021-04-02 山东鲁能软件技术有限公司 一种基于深度学习的线上渠道业务数据处理方法及***

Also Published As

Publication number Publication date
CN110674100B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
US10977293B2 (en) Technology incident management platform
WO2020249125A1 (zh) 用于自动训练机器学习模型的方法和***
CN110674100B (zh) 一种基于全渠道运营数据的用户需求预测方法及架构
CN114048436A (zh) 一种预测企业财务数据模型构建方法及构建装置
KR20200039852A (ko) 기업 경영 현황 분석 예측 모델링을 위한 기계학습 알고리즘 제공 방법
US11811708B2 (en) Systems and methods for generating dynamic conversational responses using cluster-level collaborative filtering matrices
US11790183B2 (en) Systems and methods for generating dynamic conversational responses based on historical and dynamically updated information
US20230267302A1 (en) Large-Scale Architecture Search in Graph Neural Networks via Synthetic Data
CN114693409A (zh) 产品匹配方法、装置、计算机设备、存储介质和程序产品
CN114371946A (zh) 基于云计算和大数据的信息推送方法及信息推送服务器
Tounsi et al. Credit scoring in the age of big data–A state-of-the-art
CN116703466A (zh) 基于改进灰狼算法的***访问量预测方法及其相关设备
CN116843395A (zh) 一种业务***的告警分级方法、装置、设备及存储介质
Li et al. An improved genetic-XGBoost classifier for customer consumption behavior prediction
Nagashima et al. Data Imputation Method based on Programming by Example: APREP-S
CN113138977A (zh) 交易转化分析方法、装置、设备及存储介质
CN112950392A (zh) 信息展示方法、后验信息确定方法及装置及相关设备
US20240185250A1 (en) Computerized-method and computerized-system for generating a classification machine learning model for implementation with no training requirement
Ines et al. Customer Success Analysis and Modeling in Digital Marketing
Bhandarkar et al. The Smart Analysis of Performing Scalable Inference for Big Data Analytics
Vishwakarma et al. House Price Forecasting Based on Hybrid Multi-regression Model
Admasu Web Traffic Analysis and Forecasting using Deep Learning Time-Series Approach In case of Commercial Bank of Ethiopia
Rudrappa Shivu Online News Popularity Prediction using LSTM and Bi-LSTM
CN117216364A (zh) 资源推荐方法、装置、电子设备及存储介质
Colladon et al. A new mapping of technological interdependence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Tie Jincheng

Inventor after: Li Hu

Inventor after: Zeng Yifeng

Inventor after: Wang Zhiliang

Inventor after: Xu Fei

Inventor before: Li Hu

Inventor before: Zeng Yifeng

Inventor before: Wang Zhiliang

Inventor before: Xu Fei