CN116842263A - 一种智能问答式理财顾问模型的训练处理方法及装置 - Google Patents

一种智能问答式理财顾问模型的训练处理方法及装置 Download PDF

Info

Publication number
CN116842263A
CN116842263A CN202310839063.5A CN202310839063A CN116842263A CN 116842263 A CN116842263 A CN 116842263A CN 202310839063 A CN202310839063 A CN 202310839063A CN 116842263 A CN116842263 A CN 116842263A
Authority
CN
China
Prior art keywords
financial
model
question
training
answering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310839063.5A
Other languages
English (en)
Inventor
王岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310839063.5A priority Critical patent/CN116842263A/zh
Publication of CN116842263A publication Critical patent/CN116842263A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供一种智能问答式理财顾问模型的训练处理方法及装置,涉及人工智能技术领域,可用于金融领域或其他技术领域。所述方法包括:根据第一数据集和第二数据集构建用于模型训练的任务语料库;基于所述任务语料库对模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;优化所述模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述模型得到智能问答式理财顾问模型。所述装置执行上述方法。本发明实施例提供的方法及装置,能够提高智能问答式理财顾问模型的训练效率。

Description

一种智能问答式理财顾问模型的训练处理方法及装置
技术领域
本发明涉及人工智能技术领域,具体涉及一种智能问答式理财顾问模型的训练处理方法及装置。
背景技术
银行通过向用户提供手机银行来更好的服务用户,用户通过手机银行可以浏览其中的理财产品,当用户遇到理财方面的问题时可以通过语音电话咨询相关工作人员,相关工作人员可以在解答用户提出问题时,向该用户推荐适合的理财产品。
现有技术为了提高服务效率,通过理财产品推荐模型向用户推荐产品,以及通过咨询模型回答用户提出的问题,但是这两类模型在使用之前需要分别进行模型训练,耗时耗力,且效率低下,而且在模型训练完成后,需要分别调用两类模型分别向用户提供问题解答服务和理财产品推荐服务,造成了***资源浪费。
发明内容
针对现有技术中的问题,本发明实施例提供一种智能问答式理财顾问模型的训练处理方法及装置,能够至少部分地解决现有技术中存在的问题。
一方面,本发明提出一种智能问答式理财顾问模型的训练处理方法,包括:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
其中,获取与推荐任务相对应的第一数据集,包括:
从理财知识、用户个人特征信息、银行产品和环境特征四个方面进行数据收集,得到与推荐任务相对应的第一数据集。
其中,获取与问答任务相对应的第二数据集,包括:
对与理财产品推荐相关的问题对应的答案进行数据收集,得到与问答任务相对应的第二数据集。
其中,所述根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料,包括:
对所述推荐任务和所述问答任务分别进行数据标注;
根据适配于所述BERT模型的标记符号对完成数据标注的数据进行分隔;
根据问题主题类型和理财产品特征信息对完成分隔的数据进行分类存储;
根据实时获取的与问题主题类型对应的问题答案和理财产品特征信息,更新已存储的各类存储信息;
按照预设比例将更新的各类存储信息划分为训练集、测试集和验证集。
其中,所述基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,包括:
将所述BERT模型作为编码器,输入银行产品和理财知识至所述编码器,得到表示银行产品和理财知识之间语义关联的上下文语义表示;
根据所述BERT模型对用户问题进行预处理,得到问题语义表示,并根据所述问题语义表示和所述上下文语义表示确定问题和理财知识之间的整体相似度;
根据环境特征对用户个人特征信息进行修正,根据大于预设相似度阈值的整体相似度对应的目标理财知识,以及完成修正的用户个人特征信息学习到向用户推荐的理财产品。
其中,获取实时交互的市场经济数据;相应的,所述智能问答式理财顾问模型的训练处理方法还包括:
将学习到的所述理财产品、与问题对应的理财知识,以及实时交互的市场经济数据作为上下文或条件,学习生成回答问题的答案。
本发明提供一种基于上述智能问答式理财顾问模型的训练处理方法的问答处理方法,包括:
获取用户提出的问题;
基于所述智能问答式理财顾问模型对所述问题进行处理,得到问题答案和向所述用户推荐的理财产品;
其中,所述智能问答式理财顾问模型基于智能问答式理财顾问样本数据训练所述BERT模型得到。
一方面,本发明提出一种智能问答式理财顾问模型的训练处理装置,包括:
获取单元,用于获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
学习单元,用于基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
训练单元,用于优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
再一方面,本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如下方法:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如下方法:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法及装置,获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型,能够提高智能问答式理财顾问模型的训练效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明一实施例提供的智能问答式理财顾问模型的训练处理方法的流程示意图。
图2是本发明实施例提供的信息收集说明示意图。
图3是本发明另一实施例提供的智能问答式理财顾问模型的训练处理方法的流程示意图。
图4是本发明一实施例提供的智能问答式理财顾问模型的训练处理装置的结构示意图。
图5为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1是本发明一实施例提供的智能问答式理财顾问模型的训练处理方法的流程示意图,如图1所示,本发明实施例提供的智能问答式理财顾问模型的训练处理方法,包括:
步骤S1:获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库。
步骤S2:基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案。
步骤S3:优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
在上述步骤S1中,装置获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库。装置可以是执行该方法的计算机设备,例如可以包括服务器。需要说明是,本发明实施例涉及数据的获取及分析是经用户授权的。推荐任务具体是指,向银行的用户推荐手机银行APP中的理财产品的任务。
问答任务具体是指,根据用户提出的与理财相关的问题,进行回答的任务。
任务语料库主要作用是用于模型训练,还可以用于对模型训练结果进行测试,以及验证。
获取与推荐任务相对应的第一数据集,包括:
从理财知识、用户个人特征信息、银行产品和环境特征四个方面进行数据收集,得到与推荐任务相对应的第一数据集。如图2所示,对于推荐任务,理财知识可以从金融机构的官方网站、理财平台、专业金融媒体等渠道收集相关咨询、理财规划、投资知识等。
用户个人特征从用户年龄、性别等基础信息、手机银行浏览记录、手机银行支付信息、历史购买记录等方面收集用于判断用户偏好和理财习惯。
银行产品包括理财产品信息属性、既往购买记录、历史收益数据、风险指标、购买门槛、投资期限等。
由于用户的喜好会随着大环境和状态发生改变,将投资市场的环境特征(如存储利率、居民消费价格指数、社会融资等)一同作为训练数据。
获取与问答任务相对应的第二数据集,包括:
对与理财产品推荐相关的问题对应的答案进行数据收集,得到与问答任务相对应的第二数据集。对于问答任务,利用爬虫和网站提供的API接口等方式,从各种渠道(如已有语料库、银行官网、在线论坛、社交媒体、客户反馈等渠道)收集与理财产品推荐相关的问题和相应的答案,涵盖用户对理财产品的特定需求、风险偏好、投资期限等方面信息。
如图3所示,上述步骤对应信息收集阶段,在构建任务语料库之前,还可以进行数据预处理,需要将收集到的信息转化为可识别的文本数据,并去重、去冗余、去异常,梳理可以用于训练的数据信息。具体的处理过程如下:
1、利用正则表达式完成数据清洗、特征提取等任务,去除掉标点符号并匹配特定模式的文本。
2、利用自然语句处理工具包NLTK将上述文本信息切割成单词或词组,并使用NLTK的停用词列表去除掉对文本语义无影响的词汇。
3、为了减少词的形态变化对训练产生干扰,使用NLTK的词干化器将获得的单词或词组转换为其词根或原始形式。
4、去除异常值,填补缺失数据,去除离群点,保证训练的完整性和准确性。
所述根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料,包括:
对所述推荐任务和所述问答任务分别进行数据标注;通过自定义标签完成编码和标注,对于推荐任务,将文本转换为特征表示,设计的自定义标签包括:财务目标、风险偏好、投资金额、理财产品类型、市场环境,用于表示用户的需求和理财产品属性;对于问答任务,标注问题和答案数据,将每个问题与相应的推荐答案进行匹配,确保每个问题都有正确的答案标注。
根据适配于所述BERT模型的标记符号对完成数据标注的数据进行分隔;针对BERT模型,标注特殊标记"[CLS]"和"[SEP]"。在每个问答对的问题文本之前添加"[CLS]"标记,并在问题和答案之间添加"[SEP]"标记;对于银行理财产品的其他相关信息,也将其与问题或答案拼接在一起,并在各部分之间使用"[SEP]"标记进行分隔。通过这种方式进行标记和区分数据,可以确保BERT模型正确处理输入序列的不同部分,并学习到问题和答案之间的关联。
根据问题主题类型和理财产品特征信息对完成分隔的数据进行分类存储;按照问题的主题和理财产品的特性,将数据分类存储,将相似的问题归到一处,以便更好地组织和检索语料库。
根据实时获取的与问题主题类型对应的问题答案和理财产品特征信息,更新已存储的各类存储信息;通过生成更多的问题答案和特征工程扩充语料库。选择和提取最相关的特征,对特征进行缩放或转换,以及可能的特征组合等操作,以提高机器学习模型的效果和性能;同时对数据的均衡性和覆盖场景进行,通过人工或自动生成问答方式,扩充语料库。
按照预设比例将更新的各类存储信息划分为训练集、测试集和验证集。利用数据集处理工具Dask分布式计算框架,高效的完成数据合并、分片等处理任务,按照7:2:1的比列划分训练集、测试集和验证集。
在上述步骤S2中,装置基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案。利用来自变换器的双向编码器表征量模型(BidirectionalEncoder Representations from Transformers,BERT)同时对推荐任务和问答任务进行预训练。BERT模型采用了双向的Transformer模型结构,先在大规模无标签的语料库上进行预训练,采用序列到序列(seq2seq)的架构,将用户问题作为输入,捕捉上下文中的语义关系,预测出与问题相关的理财产品推荐答案,然后在具体任务上微调,生成更准确的问答结果。
所述基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,包括:
将所述BERT模型作为编码器,输入银行产品和理财知识至所述编码器,得到表示银行产品和理财知识之间语义关联的上下文语义表示;将BERT模型作为编码器Encoder,将银行产品信息和相关理财知识拼接成长序列作为输入,学习到它们之间的语义关联,得到输入序列的上下文语义表示。在该步骤之前包括预训练阶段,采用迁移学习的方式,使用BERT模型的预训练参数作为推荐模型的初始化参数,以此加速模型的收敛,提高模型的性能。
根据所述BERT模型对用户问题进行预处理,得到问题语义表示,并根据所述问题语义表示和所述上下文语义表示确定问题和理财知识之间的整体相似度;先使用BERT的Tokenization工具对用户的提问进行预处理,包括分词、编码、标注等,将用户提问输入BERT模型中,获取其语义表示;
根据基于注意力机制的匹配方法,使用Self-Attention机制来计算用户提问和理财知识之间的相关程度。将问题和理财知识的语义表示进行点积操作,再进行Softmax归一化,得到每个词语或句子的权重,从而计算问题和理财知识的整体相似度。
需要说明的是,为了更精准的推荐,要实时获取市场经济数据和理财相关讯息,需与指定的金融数据提供商、财经新闻等建立数据接口,实时交互数据。建立数据更新机制,将获取到的数据进行预处理,转换为模型可读的向量并归一化。
根据环境特征对用户个人特征信息进行修正,根据大于预设相似度阈值的整体相似度对应的目标理财知识,以及完成修正的用户个人特征信息学习到向用户推荐的理财产品。例如根据环境特征修正用户个人特征信息中的财务目标,具体包括:如果环境特征较好,例如就业率高,降息等,则可以调高财务目标。
如果环境特征较差,例如就业率低,加息等,则可以降低财务目标。
目标理财知识,即是与问题对应的理财知识。
可以根据目标理财知识,以及完成修正的用户个人特征信息,从预先定义好的理财产品列表中筛选出与用户需求相关的理财产品。可以通过设定一个阈值来推荐给用户相应的理财产品。
根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案,包括:将学习到的所述理财产品,以及与问题对应的理财知识作为上下文或条件,学习生成回答问题的答案。
所述方法还包括:
获取实时交互的市场经济数据;相应的,所述智能问答式理财顾问模型的训练处理方法还包括:
将学习到的所述理财产品、与问题对应的理财知识,以及实时交互的市场经济数据作为上下文或条件,学习生成回答问题的答案。模型可以根据已有的训练数据进行端到端的训练,学习问题和答案之间的关联和生成答案的能力。
在上述步骤S3中,装置优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。模型可以根据已有的训练数据进行端到端的训练,学习问题和答案之间的关联和生成答案的能力。
根据具体任务对模型微调,在BERT顶部添加一些额外的神经网络层来构建问答式银行理财产品推荐模型,实现过程为:在BERT模型之后添加一个最大池化层,将BERT的输出序列转换为固定长度的向量表示,并在池化之后添加全连接层和ReLU激活函数增加模型的非线性能力;为了防止过拟合在全连接层之间添加随机失活(dropout)层,减少模型参数间的依赖关系,并利用自动机器学习平台Auto-keras选择最佳的模型结构和超参数组合。
模型结构和超参数的设置会直接影响模型的性能,为了验证,利用贝叶斯优化方法将不同的网络结构和超参数进行组合,与上述通过Auto-keras获得的结果进行对比,获得最终的、最优的网络结构及超参数设置。
使用交叉熵损失或者序列损失函数,衡量生成答案序列与真实答案序列之间的差异,通过对模型参数进行反向传播和优化,训练损失函数达到最优解,并不断地通过反馈打分、误差分析优化模型。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,可以基于模块化来实现,具体包括:知识学习模块、用户需求学习模块、问题匹配模块、市场数据交互模块、理财产品推荐模块以及问答生成模块;其中:
知识学习模块,用于首先对银行产品信息和相关理财知识预训练。将BERT模型作为编码器Encoder,将银行产品信息和相关理财知识拼接成长序列作为输入,学习到它们之间的语义关联,得到输入序列的上下文语义表示。
用户需求学习模块,用于先使用BERT的Tokenization工具对用户的提问进行预处理,包括分词、编码、标注等,将用户提问输入BERT模型中,获取其语义表示。
问题匹配模块,用于根据基于注意力机制的匹配方法,使用Self-Attention机制来计算用户提问和理财知识之间的相关程度。将问题和理财知识的语义表示进行点积操作,再进行Softmax归一化,得到每个词语或句子的权重,从而计算问题和理财知识的整体相似度。
理财产品推荐模块,用于根据问题匹配模块的输出,结合用户个人数据从预先定义好的理财产品列表中筛选出与用户需求相关的理财产品。计算问题匹配模块的结果、用户的基础信息、购买记录等信息编码结果以及理财产品之间的相似度或相关性,设定一个阈值来推荐给用户相应的理财产品。
问答生成模块,用于根据问题匹配模块的输出和理财产品推荐模块的结果,生成与用户提问相关的问答答案。其中,用户的提问作为生成模型的输入,问题匹配模块和理财产品推荐模块的结果,以及实时交互的市场经济数据作为上下文或条件来引导生成更加准确的答案。模型可以根据已有的训练数据进行端到端的训练,学习问题和答案之间的关联和生成答案的能力。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型,能够提高智能问答式理财顾问模型的训练效率。
进一步地,获取与推荐任务相对应的第一数据集,包括:
从理财知识、用户个人特征信息、银行产品和环境特征四个方面进行数据收集,得到与推荐任务相对应的第一数据集。可参照上述实施例说明,不再赘述。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,能够全面获取第一数据集。
进一步地,获取与问答任务相对应的第二数据集,包括:
对与理财产品推荐相关的问题对应的答案进行数据收集,得到与问答任务相对应的第二数据集。可参照上述实施例说明,不再赘述。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,能够全面获取第二数据集。
进一步地,所述根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料,包括:
对所述推荐任务和所述问答任务分别进行数据标注;可参照上述实施例说明,不再赘述。
根据适配于所述BERT模型的标记符号对完成数据标注的数据进行分隔;可参照上述实施例说明,不再赘述。
根据问题主题类型和理财产品特征信息对完成分隔的数据进行分类存储;可参照上述实施例说明,不再赘述。
根据实时获取的与问题主题类型对应的问题答案和理财产品特征信息,更新已存储的各类存储信息;可参照上述实施例说明,不再赘述。
按照预设比例将更新的各类存储信息划分为训练集、测试集和验证集。可参照上述实施例说明,不再赘述。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,通过构建用于模型训练的任务语料,方便进行后续模型训练的步骤。
进一步地,所述基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,包括:
将所述BERT模型作为编码器,输入银行产品和理财知识至所述编码器,得到表示银行产品和理财知识之间语义关联的上下文语义表示;可参照上述实施例说明,不再赘述。
根据所述BERT模型对用户问题进行预处理,得到问题语义表示,并根据所述问题语义表示和所述上下文语义表示确定问题和理财知识之间的整体相似度;可参照上述实施例说明,不再赘述。
根据环境特征对用户个人特征信息进行修正,根据大于预设相似度阈值的整体相似度对应的目标理财知识,以及完成修正的用户个人特征信息学习到向用户推荐的理财产品。可参照上述实施例说明,不再赘述。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,能够准确向用户推荐理财产品。
进一步地,获取实时交互的市场经济数据;相应的,所述智能问答式理财顾问模型的训练处理方法还包括:
将学习到的所述理财产品、与问题对应的理财知识,以及实时交互的市场经济数据作为上下文或条件,学习生成回答问题的答案。可参照上述实施例说明,不再赘述。
本发明实施例提供的智能问答式理财顾问模型的训练处理方法,能够准确生成回答问题的答案。
进一步地,本发明实施例提供一种基于上述智能问答式理财顾问模型的训练处理方法的问答处理方法,包括:
获取用户提出的问题;可以通过语音和文字等方式获取用户提出的问题。
基于所述智能问答式理财顾问模型对所述问题进行处理,得到问题答案和向所述用户推荐的理财产品;将问题输入至智能问答式理财顾问模型,将智能问答式理财顾问模型的输出结果作为问题答案和向用户推荐的理财产品。
其中,所述智能问答式理财顾问模型基于智能问答式理财顾问样本数据训练所述BERT模型得到。智能问答式理财顾问样本数据具体可以是上述任务语料中训练集的数据。训练BERT模型的过程可以参照上述说明,不再赘述。
本发明实施例提供的问答处理方法,能够准确获取问题答案和向用户推荐的理财产品。
需要说明的是,本发明实施例提供的智能问答式理财顾问模型的训练处理方法可用于金融领域,也可用于除金融领域之外的任意技术领域,本发明实施例对智能问答式理财顾问模型的训练处理方法的应用领域不做限定。
图4是本发明一实施例提供的智能问答式理财顾问模型的训练处理装置的结构示意图,如图4所示,本发明实施例提供的智能问答式理财顾问模型的训练处理装置,包括获取单元401、学习单元402和训练单元403,其中:
获取单元401用于获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;学习单元402用于基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;训练单元403用于优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
具体的,装置中的获取单元401用于获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;学习单元402用于基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;训练单元403用于优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型,能够提高智能问答式理财顾问模型的训练效率。
进一步地,所述获取单元401具体用于:
从理财知识、用户个人特征信息、银行产品和环境特征四个方面进行数据收集,得到与推荐任务相对应的第一数据集。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,能够全面获取第一数据集。
进一步地,所述获取单元401具体用于:
对与理财产品推荐相关的问题对应的答案进行数据收集,得到与问答任务相对应的第二数据集。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,能够全面获取第二数据集。
进一步地,所述获取单元401具体用于:
对所述推荐任务和所述问答任务分别进行数据标注;
根据适配于所述BERT模型的标记符号对完成数据标注的数据进行分隔;
根据问题主题类型和理财产品特征信息对完成分隔的数据进行分类存储;
根据实时获取的与问题主题类型对应的问题答案和理财产品特征信息,更新已存储的各类存储信息;
按照预设比例将更新的各类存储信息划分为训练集、测试集和验证集。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,通过构建用于模型训练的任务语料,方便进行后续模型训练的步骤。
进一步地,所述学习单元402具体用于:
将所述BERT模型作为编码器,输入银行产品和理财知识至所述编码器,得到表示银行产品和理财知识之间语义关联的上下文语义表示;
根据所述BERT模型对用户问题进行预处理,得到问题语义表示,并根据所述问题语义表示和所述上下文语义表示确定问题和理财知识之间的整体相似度;
根据环境特征对用户个人特征信息进行修正,根据大于预设相似度阈值的整体相似度对应的目标理财知识,以及完成修正的用户个人特征信息学习到向用户推荐的理财产品。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,能够准确向用户推荐理财产品。
进一步地,获取实时交互的市场经济数据;相应的,所述智能问答式理财顾问模型的训练处理装置还用于:
将学习到的所述理财产品、与问题对应的理财知识,以及实时交互的市场经济数据作为上下文或条件,学习生成回答问题的答案。
本发明实施例提供的智能问答式理财顾问模型的训练处理装置,能够准确生成回答问题的答案。
进一步地,本发明实施例提供一种基于上述智能问答式理财顾问模型的训练处理装置的问答处理装置,所述问答处理装置用于:
获取用户提出的问题;可以通过语音和文字等方式获取用户提出的问题。
基于所述智能问答式理财顾问模型对所述问题进行处理,得到问题答案和向所述用户推荐的理财产品;将问题输入至智能问答式理财顾问模型,将智能问答式理财顾问模型的输出结果作为问题答案和向用户推荐的理财产品。
其中,所述智能问答式理财顾问模型基于智能问答式理财顾问样本数据训练所述BERT模型得到。智能问答式理财顾问样本数据具体可以是上述任务语料中训练集的数据。训练BERT模型的过程可以参照上述说明,不再赘述。
本发明实施例提供的问答处理装置,能够准确获取问题答案和向用户推荐的理财产品。
本发明实施例提供智能问答式理财顾问模型的训练处理装置的实施例具体可以用于执行上述各方法实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
图5为本发明实施例提供的电子设备实体结构示意图,如图5所示,所述电子设备包括:处理器(processor)501、存储器(memory)502和总线503;
其中,所述处理器501、存储器502通过总线503完成相互间的通信;
所述处理器501用于调用所述存储器502中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,所述计算机程序使所述计算机执行上述各方法实施例所提供的方法,例如包括:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中,参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能问答式理财顾问模型的训练处理方法,其特征在于,包括:
获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
2.根据权利要求1所述的智能问答式理财顾问模型的训练处理方法,其特征在于,获取与推荐任务相对应的第一数据集,包括:
从理财知识、用户个人特征信息、银行产品和环境特征四个方面进行数据收集,得到与推荐任务相对应的第一数据集。
3.根据权利要求1所述的智能问答式理财顾问模型的训练处理方法,其特征在于,获取与问答任务相对应的第二数据集,包括:
对与理财产品推荐相关的问题对应的答案进行数据收集,得到与问答任务相对应的第二数据集。
4.根据权利要求1所述的智能问答式理财顾问模型的训练处理方法,其特征在于,所述根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料,包括:
对所述推荐任务和所述问答任务分别进行数据标注;
根据适配于所述BERT模型的标记符号对完成数据标注的数据进行分隔;
根据问题主题类型和理财产品特征信息对完成分隔的数据进行分类存储;
根据实时获取的与问题主题类型对应的问题答案和理财产品特征信息,更新已存储的各类存储信息;
按照预设比例将更新的各类存储信息划分为训练集、测试集和验证集。
5.根据权利要求1所述的智能问答式理财顾问模型的训练处理方法,其特征在于,所述基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,包括:
将所述BERT模型作为编码器,输入银行产品和理财知识至所述编码器,得到表示银行产品和理财知识之间语义关联的上下文语义表示;
根据所述BERT模型对用户问题进行预处理,得到问题语义表示,并根据所述问题语义表示和所述上下文语义表示确定问题和理财知识之间的整体相似度;
根据环境特征对用户个人特征信息进行修正,根据大于预设相似度阈值的整体相似度对应的目标理财知识,以及完成修正的用户个人特征信息学习到向用户推荐的理财产品。
6.根据权利要求1所述的智能问答式理财顾问模型的训练处理方法,其特征在于,获取实时交互的市场经济数据;相应的,所述智能问答式理财顾问模型的训练处理方法还包括:
将学习到的所述理财产品、与问题对应的理财知识,以及实时交互的市场经济数据作为上下文或条件,学习生成回答问题的答案。
7.一种基于如权利要求1所述智能问答式理财顾问模型的训练处理方法的问答处理方法,其特征在于,包括:
获取用户提出的问题;
基于所述智能问答式理财顾问模型对所述问题进行处理,得到问题答案和向所述用户推荐的理财产品;
其中,所述智能问答式理财顾问模型基于智能问答式理财顾问样本数据训练所述BERT模型得到。
8.一种智能问答式理财顾问模型的训练处理装置,其特征在于,包括:
获取单元,用于获取与推荐任务相对应的第一数据集,以及与问答任务相对应的第二数据集,根据所述第一数据集和所述第二数据集构建用于模型训练的任务语料库;
学习单元,用于基于所述任务语料库对BERT模型进行预训练,学习到与问题相关的用于向用户推荐的理财产品,根据学习到的所述理财产品和与问题对应的理财知识,学习生成回答问题的答案;
训练单元,用于优化所述BERT模型的模型结构和超参数组合,根据学习生成回答问题的答案与问题的真实答案之间的差异不断使得预设损失函数得到最优解,基于训练所述BERT模型得到智能问答式理财顾问模型。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202310839063.5A 2023-07-10 2023-07-10 一种智能问答式理财顾问模型的训练处理方法及装置 Pending CN116842263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310839063.5A CN116842263A (zh) 2023-07-10 2023-07-10 一种智能问答式理财顾问模型的训练处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310839063.5A CN116842263A (zh) 2023-07-10 2023-07-10 一种智能问答式理财顾问模型的训练处理方法及装置

Publications (1)

Publication Number Publication Date
CN116842263A true CN116842263A (zh) 2023-10-03

Family

ID=88166842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310839063.5A Pending CN116842263A (zh) 2023-07-10 2023-07-10 一种智能问答式理财顾问模型的训练处理方法及装置

Country Status (1)

Country Link
CN (1) CN116842263A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235233A (zh) * 2023-10-24 2023-12-15 之江实验室 一种基于大模型的财报自动化问答方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117235233A (zh) * 2023-10-24 2023-12-15 之江实验室 一种基于大模型的财报自动化问答方法和装置
CN117235233B (zh) * 2023-10-24 2024-06-11 之江实验室 一种基于大模型的财报自动化问答方法和装置

Similar Documents

Publication Publication Date Title
KR20200139008A (ko) 딥러닝 기술을 활용한 법률서비스 이용자의 의도분석 기반 계약서 추천 및 자동완성 서비스
CN107291775A (zh) 错误样本的修复语料生成方法和装置
CN114722839A (zh) 人机协同对话交互***及方法
CN112925911B (zh) 基于多模态数据的投诉分类方法及其相关设备
CN116842263A (zh) 一种智能问答式理财顾问模型的训练处理方法及装置
CN116775879A (zh) 大语言模型的微调训练方法、合同风险评审方法及***
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN116522912B (zh) 一种包装设计语言模型的训练方法、装置、介质及设备
CN113705207A (zh) 语法错误识别方法及装置
CN117235264A (zh) 文本处理方法、装置、设备和计算机可读存储介质
CN112328812B (zh) 基于自调参数的领域知识抽取方法与***、电子设备
CN113849634A (zh) 用于提升深度模型推荐方案可解释性的方法
KR20220118703A (ko) 머신러닝 기반 온라인 쇼핑 리뷰 감정 예측 시스템 및 방법
CN112395855A (zh) 基于评论的评价方法及装置
CN113570455A (zh) 股票推荐方法及装置、计算机设备、存储介质
CN113064887B (zh) 数据管理方法、装置、设备及存储介质
CN111460107A (zh) 一种应答方法和应答***
Kumar et al. An Integrated Approach for Amazon Product Reviews Classification Using Sentiment Analysis
CN113837910B (zh) 试题推荐方法、装置、电子设备和存储介质
CN116991982B (zh) 基于人工智能的交互式对话方法、装置、设备及存储介质
CN118171637A (zh) 演说文本的生成方法、装置、***、电子设备及存储介质
Kumar et al. A Comprehensive Analysis of Sentiment Analysis: Approaches, Applications, and Classifier Comparisons
CN117972029A (zh) 一种基于文本的数据生成方法及装置
Gareta Casas Can large language models replace human in speech analysis?
CN118245588A (zh) 一种领域问答集自动构建方法及其构建***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination