CN117371562A - 圈客模型训练方法、信息推荐方法、装置、设备及介质 - Google Patents
圈客模型训练方法、信息推荐方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117371562A CN117371562A CN202311322865.5A CN202311322865A CN117371562A CN 117371562 A CN117371562 A CN 117371562A CN 202311322865 A CN202311322865 A CN 202311322865A CN 117371562 A CN117371562 A CN 117371562A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- model
- target
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 8
- 238000004140 cleaning Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Accounting & Taxation (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Finance (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种圈客模型训练方法、信息推荐方法、装置、设备及介质,该圈客模型训练方法包括:获取训练客户数据,训练客户数据包括训练结构化数据和训练文本数据;对训练结构化数据进行特征提取,获取结构特征数据;采用BERT模型和TextCNN模型对训练文本数据进行特征提取,获取文本特征数据;基于结构特征数据和文本特征数据,获取模型训练样本;将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。该方法包括文本数据的分析,提高自动化程度,有效解决了目前客户的转化率较低的问题,也使得用户在应用金融服务平台时,使得用户的体验感得到提升,也增大了金融服务平台的客户问询率,降低金融服务平台被投诉的概率。
Description
技术领域
本发明涉及互联网信息推送领域,尤其涉及一种圈客模型训练方法、信息推荐方法、装置、设备及介质。
背景技术
随着互联网和移动设备的普及,越来越多的企业开始依赖数字渠道实现营销和销售目标,圈客模型是营销领域中的一项重要应用,同时,圈客模型也被广泛的应用于金融服务平台中,金融服务平台可以是保险***、银行***、交易***、订单***等,金融服务平台可以支持购物、社交、互动游戏、资源转移等功能,还可以具有申请贷款、***或者购买保险、理财产品等功能。传统的圈客模型一般使用规则和机器学习技术来评估和筛选目标客户,然而传统圈客模型只能处理结构化数据,对于文本数据不能很好的处理,而客户的文本标签对目标变量的重要性影响较大,缺乏这类文本数据的分析,会提高企业的营销成本,同时传统圈客模型采取预定义的营销策略,需要投入大量的人力资源,自动化程度较低,且当前的金融客服解答缺乏感情温度和专业性,不能给予客户较好的体验,因此客户的转化率不能有效提高。
发明内容
本发明实施例提供一种圈客模型训练方法、信息推荐方法、装置、设备及介质,以解决传统圈客模型的自动化程度较低的问题。
一种圈客模型训练方法,包括:
获取训练客户数据,所述训练客户数据包括训练结构化数据和训练文本数据;
对所述训练结构化数据进行特征提取,获取结构特征数据;
采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据;
基于所述结构特征数据和所述文本特征数据,获取模型训练样本;
将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
优选地,所述获取训练客户数据,包括:
统计原始结构化数据中每一特征的空值数量,删除所述空值数量大于第一预设数值的特征,获取第一结构化数据;
统计所述第一结构化数据中每一特征的方差,删除所述方差小于第二预设数值的的特征,获取第二结构化数据;
将所述第二结构化数据中每一特征出现的异常值进行删除,获取第三结构化数据;
统计所述第三结构化数据中每一特征的特征指标值,若所述特征指标值满足预设评估标准的第三结构化数据,确定为训练结构化数据。
优选地,所述对所述训练结构化数据进行特征提取,获取结构特征数据,包括:
对所述训练结构化数据进行归一化处理,获取第一结构特征;
对所述第一结构特征中的连续变量进行分箱处理,获取第二结构特征;
对所述第二结构特征进行特征筛选,获取第三结构特征;
对所述第三结构特征进行交叉分析,获取结构特征数据。
优选地,所述采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据,包括:
采用BERT模型对所述训练文本数据进行词向量提取,获取文本词向量;
对所述训练文本数据进行多维语义提取,获取多维语义特征;
对所述多维语义特征和所述文本词向量进行拼接,获取拼接文本特征;
采用TextCNN模型对所述拼接文本特征进行卷积处理,获取文本特征数据。
优选地,所述对所述训练文本数据进行多维语义提取,获取多维语义特征,包括:
对所述训练文本数据进行关键词提取,获取关键词特征;
对所述训练文本数据进行位置提取,获取位置特征;
对所述训练文本数据进行主题词提取,获取主题词特征;
将所述关键词特征、所述位置特征和所述主题词特征叠加,获取多维语义特征。
一种圈客模型训练装置,包括:
训练客户数据获取模块,用于获取训练客户数据,所述训练客户数据包括训练结构化数据和训练文本数据;
结构特征数据获取模块,用于对所述训练结构化数据进行特征提取,获取结构特征数据;
文本特征数据获取模块,用于采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据;
模型训练样本获取模块,用于基于所述结构特征数据和所述文本特征数据,获取模型训练样本;
目标圈客模型获取模块,用于将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述圈客模型训练方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述圈客模型训练方法的步骤。
一种产品信息推荐方法,包括:
获取目标客户数据,所述目标客户数据包括目标结构化数据和目标文本数据;
采用上述任一项所述目标圈客模型对目标客户数据进行处理,输出所述目标客户数据对应的目标标签;
将所述目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
将所述目标产品信息推送给目标客户数据对应的客户终端。
一种产品信息推荐装置,包括:
目标客户数据获取模块,用于获取目标客户数据,所述目标客户数据包括目标结构化数据和目标文本数据;
目标标签获取模块,用于采用上述实施例中的目标圈客模型对目标客户数据进行处理,输出所述目标客户数据对应的目标标签;
目标产品信息获取模块,用于将所述目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
信息推送获取模块,用于将所述目标产品信息推送给目标客户数据对应的客户终端。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述产品信息推荐方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述产品信息推荐方法的步骤。
上述圈客模型训练方法、装置、设备及介质,对所述训练结构化数据进行特征提取,获取结构特征数据,以保障结构特征数据可用于进行模型训练,确保方案的可靠性;采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据,采用BERT模型对客户的文本特征数据进行编码,同时使用TextCNN模型进行特征提取,丰富了模型的入模特征,可以充分利用训练客户数据中的文本信息,方便应用于各种行业的客户挖掘和营销场景中;基于所述结构特征数据和所述文本特征数据,获取模型训练样本,将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型,以达到利用BERT模型的强大语义表示能力结合LightGBM模型的优势,提高目标圈客模型的准确性和稳定性,具有较高的处理效率。
上述产品信息推荐方法、装置、设备及介质,对获取目标客户数据,所述目标客户数据包括目标结构化数据和目标文本数据;采用目标圈客模型对目标客户数据进行处理,输出所述目标客户数据对应的目标标签;将所述目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;将所述目标产品信息推送给目标客户数据对应的客户终端。通过目标圈客模型可以根据目标客户定制化形成对应的目标产品,可以充分利用目标客户数据中的信息,高效且低成本的实现产品经营,解决金融问询平台缺乏亲和力和太过死板枯燥的问题,进而使得用户的体验感得到提升,也增大了金融服务平台的客户问询率,降低金融服务平台被投诉的概率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中圈客模型训练方法的一应用环境示意图;
图2是本发明一实施例中圈客模型训练方法的一流程图;
图3是本发明一实施例中圈客模型训练方法的另一流程图;
图4是本发明一实施例中圈客模型训练方法的另一流程图;
图5是本发明一实施例中圈客模型训练方法的另一流程图;
图6是本发明一实施例中圈客模型训练方法的另一流程图;
图7是本发明一实施例中产品信息推荐方法的另一流程图;
图8是本发明一实施例中圈客模型训练装置的一原理框图;
图9是本发明一实施例中产品信息推荐装置的一原理框图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的圈客模型训练方法,该圈客模型训练方法可应用如图1所示的应用环境中。具体地,该圈客模型训练方法应用在圈客模型训练***中,该圈客模型训练***包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于实现可对训练结构化数据和训练文本数据进行处理的目标圈客模型。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
客户端和服务端可以部署于金融服务平台中,金融服务平台可以是保险***、银行***、交易***、订单***等,金融服务平台可以支持购物、社交、互动游戏、资源转移等功能,还可以具有申请贷款、***或者购买保险、理财产品等功能。提高合成语音情感表现力,可以使得智能语音与用户间的交谈更具有效性,使合成的语音更具有吸引力和感染力,可以增加用户的使用频率,增大平台的问询率,同时用户的体验感也可以得到提升。
本发明实施例提供一种圈客模型训练方法,如图2所示,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S201:获取训练客户数据,训练客户数据包括训练结构化数据和训练文本数据;
S202:对训练结构化数据进行特征提取,获取结构特征数据;
S203:采用BERT模型和TextCNN模型对训练文本数据进行特征提取,获取文本特征数据;
S204:基于结构特征数据和文本特征数据,获取模型训练样本;
S205:将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
其中,训练客户数据是指收集到的与客户信息相关的数据,该训练客户数据可以是经过预处理进行初步筛选后的数据。训练结构化数据是以结构化形式存在的与客户信息相关的数据,具体是指收集到的训练客户数据中,符合数据模型且易于被个人或计算机程序访问和使用的数据,具体地,可以为客户的购买行为,年龄,性别等相关数据。训练文本数据是以文本形式存在的与客户信息相关的数据,是不符合数据模型或者不易于被个人或计算机程序访问和使用的数据,可以为评论、社交媒体内容等相关数据。
作为一示例,步骤S201中,服务器可获取预先收集到的与客户信息相关的训练客户数据,该训练客户数据可以为经过各种预处理操作后获得的数据。本示例中,服务器所获取的训练客户数据按数据类型可分为训练结构化数据和训练文本数据,以便根据不同数据类型进行处理。
在一实施例中,步骤S201,即获取训练结构化数据和训练文本数据,包括:获取原始结构化数据和原始文本数据;采用结构化数据清洗规则,对原始结构化数据进行数据清洗,获取训练结构化数据;采用文本数据处理规则,对原始文本数据进行清洗和分词处理,获取训练文本数据。
其中,原始结构化数据是指收集到的与客户信息相关的数据中未进行任何处理的结构化数据。原始文本数据是指收集到的与客户信息相关的数据中未进行任何处理的文本数据。结构化数据清洗规则是预先设置的用于对结构化数据进行清洗的规则。文本数据处理规则是预先设置的用于对文本数据进行清洗的规则。
作为一示例,服务器可获取当前时刻之前与客户信息相关的数据,随后将这些数据分类成未进行任何处理原始结构化数据和未进行任何处理原始文本数据。由于不同的数据类型所进行的预处理和特征提取方法不同,因此进行数据分类,分别获取原始结构化数据和原始文本数据,能让后续操作更为便利且得出的结论更为清晰准确,也有利于训练出测试结果更为精准的目标圈客模型。
作为一示例,服务器采用预先设置的结构化数据清洗规则,对原始结构化数据中有问题的数据进行清洗,从原始结构化数据中去除这些有问题的数据,保证最终得到的训练结构化数据不包含有问题的数据。本示例中,对原始结构化数据进行清洗,能有效保障后续特征提取得出的结果更为准确和清晰。
作为一示例,服务器采用预先设置的文本数据处理规则,对原始文本数据中有问题的数据进行清洗,从原始文本数据中去除这些有问题的数据,随后根据不同的特征词对剩余的数据进行分类,保证最终得到的训练文本数据不包含有问题的数据,同时也是将各类特征分类好的训练文本数据。对原始文本数据进行清洗和分词,能够了解到客户的一些相关信息如行为偏好、个人特征等,方便在后续根据不同特征提取相关数据时更为快捷,且能有效保障后续特征提取得出的结果更为准确和清晰。
本实施例中,获取原始结构化数据和原始文本数据;采用结构化数据清洗规则,对原始结构化数据进行数据清洗,获取训练结构化数据;采用文本数据处理规则,对原始文本数据进行清洗和分词处理,获取训练文本数据。将原始客户数据分类后能够针对不同属性的数据进行不同的预处理,保证后续特征提取所得到的数据更为精准,也更具有代表性。
进一步地,对原始文本数据进行清洗和分词,获取训练文本数据,包括:删除原始文本数据中不合格的数据,获取第一文本数据;对第一文本数据进行分词处理,获取训练文本数据。
作为一示例,服务器对原始文本数据进行检查,将原始文本数据中含不合格的数据进行删除,其中,不合格的数据包括但不限于重复的文本数据、缺失的文本数据和文本异常的文本数据,将不合格的数据进行删除,则可以获得整齐清晰的第一文本数据,通过对原始文本数据进行清洗,可以保证后续得到的训练文本数据质量高且具有代表性,从而增大金融服务平台的客户问询率,降低金融服务平台被投诉的概率。
作为一示例,服务器对第一文本数据的文本进行分词处理,使连续的文本转换成一个一个的字词,通过转换成的字词来表示文本数据里的特征。将第一文本数据进行分词操作,有助于后续进行特征提取时更为方便快捷,采用模型训练时效率也会更高。
本实施例中,删除原始文本数据中不合格的数据,获取第一文本数据;对第一文本数据进行分词处理,获取训练文本数据。通过对原始文本数据进行清洗和分词,能极大减弱后续特征提取的难度同时也能让模型训练得到的结果更清晰和更具代表性。
其中,结构特征数据是指对收集到的训练结构化数据进行特征提取到的与客户信息相关的数据,是可以输入神经网络模型进行处理的特征数据。
作为一示例,步骤S202中,服务器可依据不同产品信息和/或不同业务需求等相关条件,将训练结构化数据进行提取,获取对应的结构特征数据,以使该结构特征数据能够更加准确捕捉目标客户,也能更好地将对应的产品推荐给目标受众群体,提高客户的转化率,运营成本也能得到有效地降低。
其中,文本特征数据是指对收集到的训练文本数据进行特征提取后的与客户信息相关的数据,是可以输入神经网络模型进行处理的特征数据。
作为一示例,步骤S203中,服务器先采用BERT模型对训练文本数据依据不同产品信息和/或不同业务需求等相关条件,获取该训练文本数据对应的特征编码,根据多维语义特征提取方法提取训练文本数据中的相关特征,再将提取到的特征和对应的特征编码进行叠加,采用TextCNN模型对叠加后的结果进行处理后,可以获取不同场景或不同产品应用条件下对应的文本特征数据,使得提取到的文本特征数据能够更加准确地反映客户需求,以便更精确地捕捉目标客户,也能更好的将对应的产品推荐给目标受众群体,提高客户的转化率,运营成本也能得到有效地降低。
其中,模型训练样本是指将结构特征数据和文本特征数据结合转化成符合圈客模型训练的样本形式。
作为一示例,步骤S204中,服务器对结构特征数据和文本特征数据进行合并,例如,可将结构特征数据和文本特征数据进行拼接,以获取符合圈客模型进行训练所需的模型训练样本,使得该模型训练样本既包含结构化数据的特征,又包含文本数据的特征,特征内容更丰富,以保障利用该模型训练模型训练得到的目标圈客模型的识别准确性。
其中,目标圈客模型是指将多个模型训练样本进行训练后,最终得到的模型性能较高的圈客模型。
作为一示例,步骤S205中,服务器将得到的模型训练样本输入LightGBM模型,采用LightGBM模型作为分类器对输入的模型训练样本进行分类,在训练过程中计算训练所得的圈客模型的准确率、召回率和F1分数等评价指标,若准确率较高、召回率较高和分数较高,则确定已经训练得到性能较佳的目标圈客模型。其中,准确率是指检索出相关特征数据与检索的数据总数的比率,它衡量的是模型的查准率;召回率是指检索出来的与所需信息相符的特征数据在所有需要检索的数据中所占的比例,它代表着能够找到用户所需信息的检索能力;F1分数是指精确率和召回率的调和平均数,单独以准确率或单独以召回率来考察模型性能都不够准确,因此采用F1分数来调和精确率和召回率,从而使模型达到较好的性能。本示例中,以多种指标评估模型性能,保证所得到的目标圈客模型有较好的稳定性和较高的准确度,从而在今后不同场景的实际运用中,效率更高,客户体验感更好。
本实施例中,对训练结构化数据进行特征提取,获取结构特征数据,以保障结构特征数据可用于进行模型训练,确保方案的可靠性;采用BERT模型和TextCNN模型对训练文本数据进行特征提取,获取文本特征数据,采用BERT模型对客户的文本特征数据进行编码,同时使用TextCNN模型进行特征提取,丰富了模型的入模特征,可以充分利用训练客户数据中的文本信息,方便应用于各种行业的客户挖掘和营销场景中;基于结构特征数据和文本特征数据,获取模型训练样本,将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型,以达到利用BERT模型的强大语义表示能力结合LightGBM模型的优势,提高目标圈客模型的准确性和稳定性,具有较高的处理效率。
在一实施例中,如图3所示,,即获取训练客户数据,包括:
S301:统计原始结构化数据中每一特征的空值数量,删除空值数量大于第一预设数值的特征,获取第一结构化数据;
S302:统计第一结构化数据中每一特征的方差,删除方差小于第二预设数值的的特征,获取第二结构化数据;
S303:将第二结构化数据中每一特征出现的异常值进行删除,获取第三结构化数据;
S304:统计第三结构化数据中每一特征的特征指标值,若特征指标值满足预设评估标准的第三结构化数据,确定为训练结构化数据。
其中,原始结构化数据是指收集到的与客户信息相关的数据中未进行任何处理的结构化数据,包含业务数据、交易数据、支付数据。空值是指原始结构化数据中的客户数据在该特征处没有数值或内容,特征内容显示为空的数据。其中,第一预设数值是指预先设置的数量值,具体地,是指每一特征合格空值数量的大小数值。
作为一示例,步骤S301中,服务器对原始结构化数据中每一特征里出现空值数量进行统计,明确原始结构化数据中每一特征的优劣情况,将原始结构化数据中每一特征里出现空值数量与第一预设数值进行比较,将原始结构化数据中特征的空值数量大于第一预设数值的特征进行删除,从而得到删除了空值率较高的特征的第一结构化数据,保证后续得到的数据的有效性和准确性,也有助于了解后续得到的训练结构化数据的特征好坏。
其中,第二预设数值是指预先设置的数量值,具体地,是指每一特征的合格方差的大小数值。
作为一示例,步骤S302中,服务器对第一结构化数据中每一特征的方差进行计算,得到每一特征对应的方差大小,明确第一结构化数据中每一特征的优劣情况,保证后续进行删除和特征提取操作更为清晰明了,也有助于了解后续得到的训练结构化数据的特征好坏;随后,将第一结构化数据中计算得到的每一特征的方差与第二预设数值进行比较,由于方差较小的特征其数据没有可比性和区别度,反映不出该特征的优劣程度,因此将第一结构化数据中特征的方差值小于第二预设数值的特征进行删除,从而得到删除了方差较小的特征的第二结构化数据,保证后续得到的数据的有效性和准确性。
其中,异常值是指原始结构化数据中的客户数据在该特征处数值或内容明显异常的值。
作为一示例,步骤S303中,服务器将第二结构化数据中的每一特征进行检查,本示例中,异常值可以为大于正常值100倍的数值,将每一特征出现的异常值进行删除,具体将出现异常值的一行数据进行删除,因此不会出现空值的情况,保证所得到的第三结构化数据均具有有效性而无需再次进行空值特征删除操作,删除了第二结构化数据中特征的异常值后,则得到了第三结构化数据,异常值的删除也保证后续得到的数据的有效性和准确性。
其中,特征指标值是指特征的饱和度、PSI和IV值,该指标值代表第三结构化数据的优劣。饱和度是评判新加入的特征数据能否正常修正辨识结果的指标;PSI值是群体稳定性指标,用来衡量特征数据分布的变化情况,保证训练出来的模型具有较好的稳定性;IV值是用来评估变量的预测能力,相对来说,IV值越高,预测能力越强,越有可能被选择为变量,信息的贡献程度也就越高。预设评估标准是指预先设置的评估标准,具体地,是指第三结构化数据中的特征的饱和度、PSI和IV值同时达到合格的评估标准。
作为一示例,步骤S304中,服务器对第三结构化数据中的每一特征的特征指标值进行计算,分别计算每一特征的饱和度、PSI和IV值,确定当前第三结构化数据的稳定性和预测能力,当第三结构化数据中的特征对应的饱和度、PSI和IV值满足预设评估标准,则可以确定这一特征符合标准;若当第三结构化数据中的特征对应的饱和度、PSI和IV值任意一项不满足预设评估标准,该特征都不符合标准,需要去除,因此,最终得到的训练结构化数据为,包含所有饱和度、PSI和IV值满足预设评估标准的特征数据。通过对饱和度、PSI和IV值的比较能够保障最终得到的训练结构化数据质量高且具有代表性。
本实施例中,对原始结构化数据中空值率较高、方差较低的特征进行去除,对于特征中的异常值也进行删除,并计算每一特征的饱和度、PSI和IV值可以有效保障最终获取的训练结构化数据是高质量和有效的,也为后续进行特征提取和模型训练提高了准确性和稳定性。
在一实施例中,如图4所示,步骤S202,对训练结构化数据进行特征提取,获取结构特征数据;
S401:对训练结构化数据进行归一化处理,获取第一结构特征;
S402:对第一结构特征中的连续变量进行分箱处理,获取第二结构特征;
S403:对第二结构特征进行特征筛选,获取第三结构特征;
S404:对第三结构特征进行交叉分析,获取结构特征数据。
其中,第一结构特征是指对训练结构化数据进行归一化处理后得到的数据。
作为一示例,步骤S401中,服务器对训练结构化数据进行归一化和标准化处理,使得训练结构化数据中的所有特征具有同样的标准和同样的形式,从而获得标准化处理过后的第一结构特征,标准化和归一化处理保证后续的操作具有一致性,也便于后续对训练结构化数据进行分析时更为方便省力。
其中,第二结构特征是指对第一结构特征经过分箱处理后得到的数据。
作为一示例,步骤S402中,服务器对第一结构特征中连续变量的特征进行分箱处理,即对第一结构特征中连续的变量数值进行分箱,使得连续的变量变得离散,从而获取到第二结构特征,进行分箱处理可以使得后续对特征变量的分析更为可靠,在分析特征的过程中也更为细致,保证了最终获得的结构特征数据的稳定性。
其中,第三结构特征是指对第二结构特征进行特征筛选后得到的数据。
作为一示例,步骤S402中,服务器根据不同产品信息和/或不同业务需求采用Wrapper方法对第二结构特征进行特征筛选,使得筛选出来的特征符合不同场景或不同业务需求,得到第三结构特征,保证第三结构特征的特征符合目标要求,同时采用Wrapper方法可以从海量的数据中获取到最佳的特征,保障了后续获取的结构特征数据的准确性,以及也便于模型在之后的调试和训练中可以得到更加精准的结果。
其中,结构特征数据是指对训练结构化数据进行特征提取后得到的数据,具体地,是指对第三结构特征中的特征进行交叉处理后得到的数据。
作为一示例,步骤S403中,服务器为了获取优质的结构特征数据以及针对不同产品信息和/或不同业务需求的结构特征数据,则需要依据不同产品信息和/或不同业务需求对第三结构特征中的特征进行交叉处理,即对多方特征同时分析,从而构建出新的结构特征数据,获取到符合不同产品信息和/或不同业务需求的结构特征数据。通过将筛选出来的部分特征进行综合评估和分析,保证数据的综合稳定性和优质性,数据的准确度也更高。
本实施例中,对训练结构化数据进行归一化处理,获取第一结构特征;对第一结构特征中的连续变量进行分箱处理,获取第二结构特征;对第二结构特征进行特征筛选,获取第三结构特征;对第三结构特征中的至少两个目标特征进行交叉分析,获取结构特征数据。通过对训练结构化数据进行特征提取,可以使后续进行训练的样本更具代表性,进而使最终生成的目标圈客模型的准确度更高,达到更加广泛的应用范围的目的。
在一实施例中,如图5所示,步骤S203,采用BERT模型和TextCNN模型对训练文本数据进行特征提取,获取文本特征数据;
S501:采用BERT模型对训练文本数据进行词向量提取,获取文本词向量;
S502:对训练文本数据进行多维语义提取,获取多维语义特征;
S503:对多维语义特征和文本词向量进行拼接,获取拼接文本特征;
S504:采用TextCNN模型对拼接文本特征进行卷积处理,获取文本特征数据。
作为一示例,步骤S501中,由于BERT模型具有强大的语义表示能力且BERT模型的预训练和微调过程可以批量进行,因此可以快速处理海量文本数据,具有较高的效率,因此,在进行文本特征提取时,会根据不同产品信息和/或不同业务需求,服务器可采用BERT模型对训练文本数据中的特定字词进行词向量的提取和编码,从而获取到不同应用场景和/或不同业务需求下的文本词向量。运用BERT模型时也可以通过使用一些加速技术如多GPU并行处理、混合精度训练等来加速训练和预测速度,提高模型效率。
作为一示例,步骤S502中,为了提升对文本中句子的上下文语义表述性能,因此考虑到采用多维语义特征对训练文本数据进行特征提取,获取训练文本数据的多维语义特征,从而加强了训练文本数据中文本句子细粒度的描述,也有助于最终获取的文本特征数据更为精准和细致。
其中,初始文本数据是指将提取到的多维语义特征和提取到的文本词向量进行拼接后得到的文本数据。
作为一示例,步骤S503中,服务器将提取到的多维语义特征和提取到的文本词向量进行简单的相加,可以得到拼接文本特征,将提取的不同类型的特征进行拼接,使得拼接文本特征包含多维语义特征和文本词向量的相关性,有助于后续进行分析和训练时得到的结果更为有效和准确。
其中,文本特征数据是指将初始文本数据进行卷积处理后得到的的文本数据。
作为一示例,步骤S504中,由于TextCNN模型可以丰富模型的入模特征,且可以充分利用客户数据中的文本信息,因此采用TextCNN模型对初始文本数据进行卷积处理,得到最终的文本特征数据。采用TextCNN模型可以更好地获取到精准的特征,以及提高模型的效率和准确度。
本实施例中,采用BERT模型对训练文本数据进行词向量提取,获取文本词向量;对训练文本数据进行多维语义提取,获取多维语义特征;对多维语义特征和文本词向量进行拼接,获取拼接文本特征;采用TextCNN模型对拼接文本特征进行卷积处理,获取文本特征数据。采用BERT模型对客户的文本特征数据进行编码,通过抽取多维语义特征对文本句子进行细粒度的描述,提升了对文本中句子的上下文语义表述性能,使用TextCNN模型进行特征提取,丰富了模型的入模特征,可以充分利用客户数据中的文本信息,同时使得最终得到的目标圈客模型准确度和效率都更高。
在一实施例中,步骤S502,如图6所示,对训练文本数据进行多维语义提取,获取多维语义特征,包括:
S601:对训练文本数据进行关键词提取,获取关键词特征;
S602:对训练文本数据进行位置提取,获取位置特征;
S603:对训练文本数据进行主题词提取,获取主题词特征;
S604:将关键词特征、位置特征和主题词特征叠加,获取多维语义特征。
其中,关键词特征是指所搜索的关键词在训练文本数据中出现频率较高的特征。
作为一示例,步骤S601中,服务器对训练文本数据进行关键词提取,如本示例中采用TF-IDF进行关键词的提取;根据不同产品信息和/或不同业务需求,采用TF-IDF对训练文本数据进行关键词提取,具体是将训练文本数据中对应于不同产品信息和/或不同业务需求的关键词进行搜索,将关键词出现频率较高的特征进行提取,从而获得关键词特征。本示例中,对训练文本数据进行关键词特征提取,是为了能够使训练出的圈客模型实现高效推送即实现产品与客户的高度匹配,从而提高客户的转化率。可理解地,通过提取与不同产品信息和/或不同业务需求关键词匹配度较高的特征,能提升对文本中句子的上下文语义表述性能,也能保证后续所采用的训练样本的准确度,提高模型的效率和准确度。
其中,位置特征是指所搜索的文本内容集中在训练文本数据中首句的特征。
作为一示例,步骤S602中,服务器对训练文本数据相应内容进行位置提取,如本示例中采用的位置特征提取公式为其中:Posi代表第i个句子的位置得分,Pi代表第i个句子在文本数据中的位置,n代表文本数据的句子总个数;根据不同产品信息和/或不同业务需求,采用位置特征公式对训练文本数据的相关内容进行位置提取,具体是将训练文本数据中对应于不同产品信息和/或不同业务需求的文本内容进行搜索,将相关文本内容集中在训练文本数据中的首句的特征进行提取,从而获得位置特征。本示例中,对训练文本数据进行位置特征提取,是为了提高文本语义表达的准确性,从而能够使训练出的圈客模型实现高效推送即实现产品与客户的高度匹配,从而提高客户的转化率。因此,通过提取集中在训练文本数据首句的特征,能提升对文本中句子的上下文语义表述性能,也能保证后续所采用的训练样本的准确度,提高模型的效率和准确度。
其中,主题词特征是指所搜索的主题词在训练文本数据中出现频率较高的特征。
作为一示例,步骤S603中,服务器对训练文本数据进行主题词提取,如本示例中采用的主题特征提取公式为其中:Simi代表第i个句子与文本片段的相似度,s和t分别代表文本片段标签和文本片段中句子的向量化表示;根据不同产品信息和/或不同业务需求采用主题特征公式对训练文本数据进行主题词提取,具体是将训练文本数据中对应于不同产品信息和/或不同业务需求的主题词进行搜索,将主题词出现频率较高的特征进行提取,从而获得主题词特征。对训练文本数据进行主题词特征提取,是为了能够使训练出的圈客模型实现高效推送即实现产品与客户的高度匹配,从而提高客户的转化率。可理解地,从训练文本数据中,提取与不同产品信息和/或不同业务需求的主题词特征,能提升对文本中句子的上下文语义表述性能,也能保证后续所采用的训练样本的准确度,提高模型的效率和准确度。
其中,多维语义特征是指将获取到的的关键词特征、位置特征和主题词特征进行叠加后得到的文本特征。
作为一示例,步骤S604中,服务器将从训练文本数据提取到的关键词特征、位置特征和主题词特征进行叠加,从而构成了训练文本数据的三个多维语义特征,即多维语义特征包括关键词特征、位置特征和主题词特征。
本实施例中,对训练文本数据进行关键词提取,获取关键词特征;对训练文本数据进行位置提取,获取位置特征;对训练文本数据进行主题词提取,获取主题词特征;再将三种特征叠加,则获取到多维语义特征。通过提取与不同产品信息和/或不同业务需求匹配度较高的三种特征,能增强文本句子细粒度的描述,提升对文本中句子的上下文语义表述性能,也能提高训练出的圈客模型的准确度。
本发明实施例提供的产品信息推荐方法,该产品信息推荐方法可应用如图1所示的应用环境中。具体地,该产品信息推荐方法应用在产品信息推荐***中,该产品信息推荐***包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于利用上述实施例训练所得的目标圈客模型进行产品信息推荐。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
一种产品信息推荐方法,如图7所示,包括:
S701:获取目标客户数据,目标客户数据包括目标结构化数据和目标文本数据;
S702:采用上述实施例中的目标圈客模型对目标客户数据进行处理,输出目标客户数据对应的目标标签;
S703:将目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
S704:将目标产品信息推送给目标客户数据对应的客户终端。
其中,目标客户数据是指收集到的包含新客户多种特征的新与客户信息相关的数据,具体地,目标客户数据是未经任何处理的新客户数据。目标结构化数据是指收集到的目标客户数据中,以结构化形式存在的与客户信息相关的数据,即符合数据模型且易于被个人或计算机程序访问和使用的与客户信息相关的数据,具体地,可以为客户的购买行为,年龄,性别等相关数据。目标文本数据是指收集到的目标客户数据中,以文本形式存在的与客户信息相关的数据,即不能够参与算术运算的与客户信息相关的数据,具体地,可以为客户注册信息、评论、社交媒体内容等相关数据。
作为一示例,步骤S701中,服务器收集新客户对应的各种特征数据,即收集与新客户信息相关的数据,即目标客户数据,该目标客户数据包括未进行任何处理目标结构化数据和未进行任何处理目标文本数据。后续相关操作都是基于目标客户数据中的目标结构化数据和目标文本数据进行的,根据目标结构化数据和目标文本数据经过目标圈客模型处理后得出的结论更为清晰准确,即目标圈客模型生成的对应于每一目标客户的定制化结果也更为精准。
其中,目标标签是指目标圈客模型对应于目标客户的特征数据生成的客户画像,具体地,是指目标客户的兴趣、行为偏好和其他相关信息的标签。
作为一示例,步骤S702中,服务器采用目标圈客模型对目标客户数据进行特征提取,随后将提取到的特征数据进行分析和识别,使得目标圈客模型能够对应于目标客户数据生成目标标签,从而更能针对于不同产品信息和/或不同业务需求,进行精准推送,帮助企业更好的了解客户需求和行为,进行精准营销和服务。
其中,目标产品是指根据目标客户标签匹配到的对应的产品。
作为一示例,步骤S703中,服务器将目标标签与对应的推送产品进行匹配,将匹配度最高的产品作为目标产品,在匹配到目标产品后识别目标产品对应的产品信息,随后将该信息确定为针对于新客户的需要推送的产品信息。
作为一示例,步骤S704中,服务器将确定需要输送的目标产品信息输送到目标客户数据来源对应的客户终端,与此同时保存该新客户的所有特征数据,将其作为优化目标圈客模型的训练数据样本,扩充目标圈客模型的入模特征数据。将目标客户数据运用于目标圈客模型,推送对应的目标产品信息,有助于提高客户转化率和运营效率。
本实施例中,获取包括目标结构化数据和目标文本数据的目标客户数据;
采用上述实施例中的目标圈客模型对目标客户数据进行处理,输出目标客户数据对应的目标标签;将目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;将目标产品信息推送给目标客户数据对应的客户终端。通过目标圈客模型可以根据目标客户定制化形成对应的目标产品,可以充分利用目标客户数据中的信息,高效且低成本的实现产品经营。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种圈客模型训练装置,该圈客模型训练装置与上述实施例中圈客模型训练方法一一对应。如图8所示,该圈客模型训练装置包括训练客户数据获取模块801、结构特征数据获取模块802、文本特征数据获取模块803、模型训练样本获取模块804和目标圈客模型获取模块805。各功能模块详细说明如下:
训练客户数据获取模块801,用于获取训练客户数据,训练客户数据包括训练结构化数据和训练文本数据;
结构特征数据获取模块802,用于对训练结构化数据进行特征提取,获取结构特征数据;
文本特征数据获取模块803,用于采用BERT模型和TextCNN模型对训练文本数据进行特征提取,获取文本特征数据;
模型训练样本获取模块804,用于基于结构特征数据和文本特征数据,获取模型训练样本;
目标圈客模型获取模块805,用于将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
在一实施例中,训练客户数据获取模块801,包括:
第一结构化数据获取单元,用于统计原始结构化数据中每一特征的空值数量,删除空值数量大于第一预设数值的特征,获取第一结构化数据;
第二结构化数据获取单元,用于统计第一结构化数据中每一特征的方差,删除方差小于第二预设数值的的特征,获取第二结构化数据;
第三结构化数据获取单元,用于将第二结构化数据中每一特征出现的异常值进行删除,获取第三结构化数据;
训练结构化数据确定单元,用于统计第三结构化数据中每一特征的特征指标值,若特征指标值满足预设评估标准的第三结构化数据,确定为训练结构化数据。
在一实施例中,结构特征数据获取模块802,包括:
第一结构特征获取单元,用于对训练结构化数据进行归一化处理,获取第一结构特征;
第二结构特征获取单元,用于对第一结构特征中的连续变量进行分箱处理,获取第二结构特征;
第三结构特征获取单元,用于对第二结构特征进行特征筛选,获取第三结构特征;
结构特征数据获取单元,用于对第三结构特征进行交叉分析,获取结构特征数据。
在一实施例中,文本特征数据获取模块803,包括:
文本词向量获取单元,用于采用BERT模型对训练文本数据进行词向量提取,获取文本词向量;
多维语义特征获取单元,用于对训练文本数据进行多维语义提取,获取多维语义特征;
拼接文本特征获取单元,用于对多维语义特征和文本词向量进行拼接,获取拼接文本特征;
文本特征数据获取单元,用于采用TextCNN模型对拼接文本特征进行卷积处理,获取文本特征数据。
在一实施例中,多维语义特征获取单元,包括:
关键词特征获取子单元,用于对训练文本数据进行关键词提取,获取关键词特征;
位置特征获取子单元,用于对训练文本数据进行位置提取,获取位置特征;
主题词特征获取子单元,用于对训练文本数据进行主题词提取,获取主题词特征;
多维语义特征获取子单元,用于将关键词特征、位置特征和主题词特征叠加,获取多维语义特征。
关于圈客模型训练装置的具体限定可以参见上文中对于圈客模型训练方法的限定,在此不再赘述。上述圈客模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行圈客模型训练方法过程中生成或获取的数据,如结构特征数据、文本特征数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种圈客模型训练方法。
在一实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中圈客模型训练方法,例如图1至图6中所示,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现圈客模型训练装置这一实施例中的各模块/单元的功能,例如图8所示的训练客户数据获取模块801、结构特征数据获取模块802、文本特征数据获取模块803、模型训练样本获取模块804和目标圈客模型获取模块805的功能,为避免重复,这里不再赘述。
在一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中圈客模型训练方法,例如图1至图6中所示,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述圈客模型训练装置这一实施例中的各模块/单元的功能,例如图8所示的训练客户数据获取模块801、结构特征数据获取模块802、文本特征数据获取模块803、模型训练样本获取模块804和目标圈客模型获取模块805的功能,为避免重复,这里不再赘述。
在一实施例中,提供一种产品信息推荐装置,该产品信息推荐装置与上述实施例产品信息推荐方法一一对应。如图9所示,该圈客模型训练装置包括目标客户数据获取模块901、目标标签获取模块902、目标产品信息获取模块903和信息推送获取模块904。各功能模块详细说明如下:
目标客户数据获取模块901,用于获取目标客户数据,目标客户数据包括目标结构化数据和目标文本数据;
目标标签获取模块902,用于采用上述实施例中的目标圈客模型对目标客户数据进行处理,输出目标客户数据对应的目标标签;
目标产品信息获取模块903,用于将目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
信息推送获取模块904,用于将目标产品信息推送给目标客户数据对应的客户终端。
关于产品信息推荐装置的具体限定可以参见上文中对于产品信息推荐方法的限定,在此不再赘述。上述产品信息推荐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中产品信息推荐方法,例如图7中S701至S704中所示的产品信息推荐方法,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现产品信息推荐装置这一实施例中的各模块/单元的功能,例如图9所示的目标客户数据获取模块901、目标标签获取模块902、目标产品信息获取模块903和信息推送获取模块904的功能,为避免重复,这里不再赘述。
在一实施例中,提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中图7中S701至S704中所示的产品信息推荐方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述产品信息推荐装置这一实施例中的各模块/单元的功能,例如图9所示的目标客户数据获取模块901、目标标签获取模块902、目标产品信息获取模块903和信息推送获取模块904的功能,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种圈客模型训练方法,其特征在于,包括:
获取训练客户数据,所述训练客户数据包括训练结构化数据和训练文本数据;
对所述训练结构化数据进行特征提取,获取结构特征数据;
采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据;
基于所述结构特征数据和所述文本特征数据,获取模型训练样本;
将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
2.如权利要求1所述的圈客模型训练方法,其特征在于,所述获取训练客户数据,包括:
统计原始结构化数据中每一特征的空值数量,删除所述空值数量大于第一预设数值的特征,获取第一结构化数据;
统计所述第一结构化数据中每一特征的方差,删除所述方差小于第二预设数值的的特征,获取第二结构化数据;
将所述第二结构化数据中每一特征出现的异常值进行删除,获取第三结构化数据;
统计所述第三结构化数据中每一特征的特征指标值,若所述特征指标值满足预设评估标准的第三结构化数据,确定为训练结构化数据。
3.如权利要求1所述的圈客模型训练方法,其特征在于,所述对所述训练结构化数据进行特征提取,获取结构特征数据,包括:
对所述训练结构化数据进行归一化处理,获取第一结构特征;
对所述第一结构特征中的连续变量进行分箱处理,获取第二结构特征;
对所述第二结构特征进行特征筛选,获取第三结构特征;
对所述第三结构特征进行交叉分析,获取结构特征数据。
4.如权利要求1所述的圈客模型训练方法,其特征在于,所述采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据,包括:
采用BERT模型对所述训练文本数据进行词向量提取,获取文本词向量;
对所述训练文本数据进行多维语义提取,获取多维语义特征;
对所述多维语义特征和所述文本词向量进行拼接,获取拼接文本特征;
采用TextCNN模型对所述拼接文本特征进行卷积处理,获取文本特征数据。
5.如权利要求4所述的圈客模型训练方法,其特征在于,所述对所述训练文本数据进行多维语义提取,获取多维语义特征,包括:
对所述训练文本数据进行关键词提取,获取关键词特征;
对所述训练文本数据进行位置提取,获取位置特征;
对所述训练文本数据进行主题词提取,获取主题词特征;
将所述关键词特征、所述位置特征和所述主题词特征叠加,获取多维语义特征。
6.一种产品信息推荐方法,其特征在于,包括:
获取目标客户数据,所述目标客户数据包括目标结构化数据和目标文本数据;
采用权利要求1-5任一项所述目标圈客模型对目标客户数据进行处理,输出所述目标客户数据对应的目标标签;
将所述目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
将所述目标产品信息推送给目标客户数据对应的客户终端。
7.一种圈客模型训练装置,其特征在于,
训练客户数据获取模块,用于获取训练客户数据,所述训练客户数据包括训练结构化数据和训练文本数据;
结构特征数据获取模块,用于对所述训练结构化数据进行特征提取,获取结构特征数据;
文本特征数据获取模块,用于采用BERT模型和TextCNN模型对所述训练文本数据进行特征提取,获取文本特征数据;
模型训练样本获取模块,用于基于所述结构特征数据和所述文本特征数据,获取模型训练样本;
目标圈客模型获取模块,用于将模型训练样本输入LightGBM模型进行模型训练,获取目标圈客模型。
8.一种产品信息推荐装置,其特征在于,包括:
目标客户数据获取模块,用于获取目标客户数据,所述目标客户数据包括目标结构化数据和目标文本数据;
目标标签获取模块,用于采用权利要求1-5任一项所述目标圈客模型对目标客户数据进行处理,输出所述目标客户数据对应的目标标签;
目标产品信息获取模块,用于将所述目标标签与目标产品进行匹配,确定目标标签对应的目标产品信息;
信息推送获取模块,用于将所述目标产品信息推送给目标客户数据对应的客户终端。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述圈客模型训练方法,或者所述处理器执行所述计算机程序时实现如权利要求6所述的产品信息推荐方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述圈客模型训练方法,或者所述计算机程序被处理器执行时实现如权利要求6所述的产品信息推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311322865.5A CN117371562A (zh) | 2023-10-11 | 2023-10-11 | 圈客模型训练方法、信息推荐方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311322865.5A CN117371562A (zh) | 2023-10-11 | 2023-10-11 | 圈客模型训练方法、信息推荐方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117371562A true CN117371562A (zh) | 2024-01-09 |
Family
ID=89397628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311322865.5A Pending CN117371562A (zh) | 2023-10-11 | 2023-10-11 | 圈客模型训练方法、信息推荐方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117371562A (zh) |
-
2023
- 2023-10-11 CN CN202311322865.5A patent/CN117371562A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165840B (zh) | 风险预测处理方法、装置、计算机设备和介质 | |
CN111859960B (zh) | 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质 | |
CN108874992B (zh) | 舆情分析方法、***、计算机设备和存储介质 | |
CN109829629B (zh) | 风险分析报告的生成方法、装置、计算机设备和存储介质 | |
CN110866398B (zh) | 评论文本处理方法、装置、存储介质和计算机设备 | |
CN111444428A (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
CN109543925B (zh) | 基于机器学习的风险预测方法、装置、计算机设备和存储介质 | |
WO2018040068A1 (zh) | 基于知识图谱的语意分析***及方法 | |
CN110019943B (zh) | 视频推荐方法、装置、电子设备和存储介质 | |
WO2018184518A1 (zh) | 微博数据处理方法、装置、计算机设备及存储介质 | |
CN112395500B (zh) | 内容数据推荐方法、装置、计算机设备及存储介质 | |
CN110751533B (zh) | 产品画像生成方法、装置、计算机设备和存储介质 | |
CN109063921B (zh) | 客户风险预警的优化处理方法、装置、计算机设备和介质 | |
CN112364204B (zh) | 视频搜索方法、装置、计算机设备及存储介质 | |
CN114399396A (zh) | 保险产品推荐方法、装置、计算机设备及存储介质 | |
CN114266443A (zh) | 数据评估方法和装置、电子设备、存储介质 | |
CN115203403A (zh) | 一种基于网络舆情的文本分拣模型 | |
CN116468460A (zh) | 基于人工智能的消费金融客户画像识别***及其方法 | |
CN115063035A (zh) | 基于神经网络的客户评估方法、***、设备及存储介质 | |
Komalavalli et al. | Challenges in big data analytics techniques: a survey | |
CN113032676B (zh) | 基于微反馈的推荐方法和*** | |
CN114371946A (zh) | 基于云计算和大数据的信息推送方法及信息推送服务器 | |
CN111259223B (zh) | 基于情感分析模型的新闻推荐和文本分类方法 | |
CN112330442A (zh) | 基于超长行为序列的建模方法及装置、终端、存储介质 | |
CN110610378A (zh) | 产品需求分析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |