CN117336410A - 一种基于大语言模型的智慧呼叫方法 - Google Patents
一种基于大语言模型的智慧呼叫方法 Download PDFInfo
- Publication number
- CN117336410A CN117336410A CN202311267816.6A CN202311267816A CN117336410A CN 117336410 A CN117336410 A CN 117336410A CN 202311267816 A CN202311267816 A CN 202311267816A CN 117336410 A CN117336410 A CN 117336410A
- Authority
- CN
- China
- Prior art keywords
- customer
- emotion
- customer service
- reply
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000036651 mood Effects 0.000 claims abstract description 58
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 20
- 230000036506 anxiety Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 230000008929 regeneration Effects 0.000 claims abstract description 4
- 238000011069 regeneration method Methods 0.000 claims abstract description 4
- 230000008451 emotion Effects 0.000 claims description 149
- 238000004458 analytical method Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 43
- 230000006854 communication Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 31
- 238000007781 pre-processing Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008909 emotion recognition Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 5
- 230000001172 regenerating effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 25
- 230000007935 neutral effect Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 13
- 238000007637 random forest analysis Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013145 classification model Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/527—Centralised call answering arrangements not requiring operator intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Child & Adolescent Psychology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种基于大语言模型的智慧呼叫方法，包括：分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色；根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质；智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况；结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求；使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种基于大语言模型的智慧呼叫方法。
背景技术
随着智能客服***的发展，客户的个性化需求和体验确实日益重要。然而，目前的人工智能生成呼出客服语音还存在个性化和多样性方面的不足。人工智能生成的呼出客服语音通常是基于训练数据中的平均语音样本生成的，这导致生成的语音缺乏个性化和多样性。每个人的语音特点和风格都不同，而且不同用户对语音的偏好也各不相同。然而，当前的***无法根据不同用户的特点和偏好生成独特的、个性化的呼出语音，这限制了智能客服***在语音交互中提供更加个性化的体验。另一个挑战是智能客服***对用户情感的识别和理解。虽然该领域的研究取得了一些进展，但情感识别仍然是一个复杂的任务。智能客服***需要能够准确识别用户的情感状态，以便能够更好地理解并及时响应用户的情感需求。然而，当前的***在情感识别方面仍面临许多挑战，可能无法准确判断用户的焦虑、不满或紧迫性等情况，并且无法及时调整智能客服的回复态度和语气，使之更贴近客户的感受。此外，当前智能客服***通常按照固定的预定义对话流程来回答用户问题，缺乏灵活性和个性化。这意味着***无法适应特定场景和复杂的对话需求，并且无法提供定制化的解决方案。这给用户带来了一定的不便，因为他们可能需要根据自己的具体需求和情况进行更深入的交流和问题解决，而当前的***往往无法满足这些灵活性和个性化需求。
发明内容
本发明提供了一种基于大语言模型的智慧呼叫方法，主要包括：
分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色；智能客服在后续对话中收集客户语音进行分析，分析客户的口语表达习惯，包括客户的语速、语气、态度特征，并获取语言内容，进行基于ChatGLM大模型的内容分析；根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质；智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况；结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求；随时智能客服与客户的进一步交流，实时识别客户的情感变化，根据情感变化动态调整智能客服的音色、语速和情感，贴近客户的感受，引起客户的共鸣；使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服。
在一种实施方式中，所述分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色，包括：
使用CMUSphinx将用户的语音信息转换为文本，使用OpenSMILE提取出基频、声谱特征，得到音调、语速、语调；使用WebRTC获取和用户通话的实时语音流，使用Praat对客户接通电话时的语音进行动态分析，包括音调的波动、情绪的表达、语速的变化；通过用户语音数据与服务过程中的反馈信息，建立一个音色偏好预测模型，使用支持向量机对收集到的语音特征和用户反馈进行学习和预测；根据客户的音色偏好预测结果，设计一个包含多种音色样式的音色库，包括男声、女声、亲切的声音、专业的声音；根据客户的音色偏好预测结果，从预设的音色库中选择最适合的智能客服音色，调整语音合成的参数，包括音调、语速，将选定的音色应用到智能客服***中；根据不同地区用户的偏好，设计方言音色库；通过分析用户的满意度和反馈意见，不断改进和优化预测模型以及音色库。
在一种实施方式中，所述智能客服在后续对话中收集客户语音进行分析，分析客户的口语表达习惯，包括客户的语速、语气、态度特征，并获取语言内容，进行基于ChatGLM大模型的内容分析，包括：
使用在线语音识别将客户后续的语音转换为文本数据，将收集的语音数据通过自动语音识别为文本表示；将预处理得到的文本数据输入到ChatGLM大模型中进行口语表达习惯分析；根据客户的语音输入，生成相应的回复，并对语速、语气和态度特征进行分析；通过模型的回复和生成结果，以及基于文本特征的分析，获取客户的口语表达习惯特征；将客户的语音转化为文本后，使用BERT模型对文本进行编码，得到其表示向量，比较不同回答的BERT表示向量，推断客户的语气和态度；根据客户提供的反馈和评价，验证口语表达习惯分析和语言内容提取的准确性和有效性；根据客户的反馈和意见，调整和改进口语表达习惯分析和语言内容提取的ChatGLM大模型；还包括：使用BERT建立一个客户语气态度分类模型，获取客户的语气和态度。
所述使用BERT建立一个客户语气态度分类模型，获取客户的语气和态度，具体包括：
获取包含客户对话文本的数据集，并将标注为相应的语气和态度类别，包括积极、中性、消极，或者更详细的细粒度类别。根据BERT模型的要求，对数据进行预处理，包括分词、添加句子起始标记、分隔标记、填充序列。将预处理后的对话文本输入到BERT模型中，获取对应的文本表示，输出每个位置的词向量表示以及整个句子的语境表示。从BERT模型的输出中提取对客户语气和态度判断有用的特征，包括词向量、句子语境表示或对应任务的子任务表示作为特征。使用提取的特征作为输入，使用随机森林训练一个适合客户语气和态度判断的分类器。使用评估数据集对训练好的模型进行性能评估，并根据评估结果进行模型的调优，包括参数调整、正则化。使用优化后的模型对新的客户对话进行预测和判断，将新的对话数据进行与训练数据相同的预处理，通过训练好的模型进行分类预测，得到客户的语气和态度。
在一种实施方式中，所述根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质，包括：
对客户的表达内容进行文本分类，并对客户表达内容的文本预处理，包括去除停用词、分词、词性标注；确定与轻重缓急相关的关键词，包括紧急、重要、优先；使用TF-IDF算法从客户表达内容中提取包含关键词的内容；根据关键词的出现频率、上下文以及其他语义特征，对关键词进行权重判断，确定轻重缓急程度；根据权重设定的标准，将客户回复内容分类为轻微、一般或紧急；使用朴素贝叶斯分类器对客户表达内容进行情感分类，将客户表达内容分类为正面、负面或中性；将情感分类和文本分类的结果整合起来，综合判断客户对询问内容的轻重缓急和正面及负面性质。
在一种实施方式中，所述智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况，包括：
使用语音转文本将用户的语音内容转换为文本形式；采用ChatGLM大模型对转换后的文本进行解析，包括句法解析和词义解析，获得对话的语义结构和每个单词的含义；从解析后的文本中提取与客户焦虑、不满、紧迫性有关的词汇或短语，形成关键词列表；对关键词列表中的每个词进行情感分析，将其映射到相应的情感分数上；对情感分数进行加权平均，得到一个总体的情感分数，表示用户的整体情感状态；根据总体情感分数和关键词列表的结果，判断客户的情感状态，如果总体情感分数在预定范围内显示客户有焦虑、不满或紧迫性需求，触发相应针对焦虑、不满或紧迫性的反应策略；使用ChatGLM大模型的输出数据对反应策略进行微调，并持续监控客户的语音和文本数据，适应发生的情感变化或新情境。
在一种实施方式中，所述结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求，包括：
调用BERT算法解析客户端传入的文本和声音，得到客户的负面情绪类型；分析客户的口语表达习惯，得到口语表达模式；根据客户的问题描述和其他相关数据，得到事件的性质；根据负面情绪类型、口语表达方式和客户的问题描述，得到一组情绪-口语的数据集；根据情绪-口语数据集构建一个智能客服模型算法，输入客户情绪，输出匹配预设的回复态度和语气；使用情绪-口语数据集和事件性质数据作为输入，调用智能客服模型算法，得到预设的回复态度和语气；通过比对心理预期和用户需求，微调得到的回复态度和语气；微调后的回复态度和语气数据输出为可用于客户端的格式；根据新的情绪和口语数据，反馈到智能客服模型进行数据更新和模型优化；还包括：建立智能客服模型，预设不同的回复态度和语气，提供符合客户情感状态的回复。
所述建立智能客服模型，预设不同的回复态度和语气，提供符合客户情感状态的回复，具体包括：
获取并整理已标记的对话数据集，其中包含客户的情绪信息。使用随机森林算法对数据进行分类，将客户的情绪分为正面、负面和中性。基于客户的情绪分类结果，预设不同的回复态度和语气。对于负面情绪，采用关心和耐心的态度，使用安抚性的语气；对于正面情绪，采用积极和友好的态度，使用欢快的语气。当客户发起对话时，运用随机森林算法，根据客户的对话数据中的情绪词对其表达的情绪进行实时识别并分类。将识别结果应用到预设的回复态度和语气模板上，生成与客户情绪相匹配的回复。使用chatglm生成回复，并根据情绪分类结果进行调整。通过与真实客户进行对话测试，及时收集反馈和纠正错误，通过持续监测和调整，优化模型的准确性和回复效果。
在一种实施方式中，所述随时智能客服与客户的进一步交流，实时识别客户的情感变化，根据情感变化动态调整智能客服的音色、语速和情感，贴近客户的感受，引起客户的共鸣，包括：
实时捕捉与客户的交流数据，包括语音和文字；应用BERT算法，实时识别交流数据中客户的情感状态；如果识别到情感状态发生变化，立即通过算法进行音色的初步动态调整；使用BERT算法，根据客户的情感状态微调语速；结合音色和语速的初步动态调整数据，调整情感表达；把所有微调后的参数应用到智能客服的实时交流中；在交流过程中，实时记录客户反应作为反馈；对反馈进行分析，对比先前的交流质量数据，判断新的交流参数是否更适合客户；如果分析结果表明新的交流参数并未引发客户共鸣，根据反馈调整BERT算法，重新进行情感识别和调整。
在一种实施方式中，所述使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服，包括：
使用二分类算法，建立一个异常检测***，使用逻辑回归自动识别无法引发共鸣的回复；当异常检测***识别到无法引发共鸣的回复时，重新生成回复；通过相关的用户历史数据和上下文信息，结合chatglm生成准确和个性化的回复；如果重新生成回复仍然无法满足用户需求，输出提示文本引导用户提供详细信息；通过用户提供的其他信息，明确用户问题，获取用户需求，为用户提供支持和解决方案；如果重新生成回复和请求用户提供更多信息后生成的回复都令客户反感，将用户请求转接给人工客服并提供必要的上下文信息和用户历史数据；还包括：建立根据客户反馈，判断智能客服的回答是否引起客户共鸣；使用孤立森林算法建立异常检测***，判断智能客服回复是否令客户反感或无法引起客户共鸣。
所述建立根据客户反馈，判断智能客服的回答是否引起客户共鸣，具体包括：
获取客户对智能客服回复的反馈和回复交互，如果客户表达出对回复内容的认同、理解和赞同，并进一步与回复进行积极的交互，判断回复引起客户的共鸣。通过获取对话中词语，将其输入情感词典，根据情感词典中词语的情感色彩，判断客户在回复中所表达的情感。如果智能客服的回复引起客户积极的情感反应，包括喜悦、满意、赞赏，判断回复引起了共鸣。通过回复是否满足客户的需求、解决问题、提供有价值的信息，判断是否引起了客户的共鸣。获取客户的反馈和投诉信息，如果客户对智能客服回复表达不满、不理解或不赞同的情绪，判断回复未能引起共鸣。
所述使用孤立森林算法建立异常检测***，判断智能客服回复是否令客户反感或无法引起客户共鸣，具体包括：
获取包含客户问题、智能客服回答和相关反馈的对话数据，将对话数据拆分为特征矩阵。使用TF-IDF对特征矩阵进行处理，包括文本预处理和提取有用特征。使用训练集对孤立森林算法进行训练，将训练集输入到孤立森林模型中，训练模型来识别与其他样本相比较孤立的样本，即无法与其他样本共享特征的样本。使用训练好的孤立森林模型对新的智能客服回答进行异常检测，将新的回答输入到模型中，获得异常得分。异常得分表示回答与其他回答之间的孤立程度，高于预设的异常得分意味着回答与其他回答差异大。根据所需的准确率，确定异常得分阈值。对于新的回答，根据模型输出的异常得分与阈值的比较结果，判断回答是否异常。如果回答的异常得分高于阈值，判断为引起客户反感或无法引起共鸣的回答。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明公开了一种智能客服***，通过分析客户的语音信息和语言内容，实现个性化的智能客服服务。具体技术如下：
在客户接通电话时，分析客户的语音信息，包括音色等特征，预测客户的音色喜好，从预设的音色库中匹配智能客服音色。
智能客服后续对话中收集客户的语音的语速、语气、态度，获取语言内容，基于大模型对语言内容进行分析。
根据客户的语气和语言内容，总结问答中的事件，判断客户对询问内容的轻重缓急和正面及负面性质。
通过语气和语言内容分析，判断客户是否含有焦虑、不满或紧迫情况。
结合客户的事件性质和表达习惯，确定智能客服模型的回复态度和语气，使之更符合客户的心理预期和需求。
实时识别客户的情感变化，动态调整智能客服的音色、语速和情感，更贴近客户的感受，引起客户的共鸣。
通过异常检测识别无法引发共鸣而导致客户反感的异常回复，采取重新生成回复、请求用户提供更多信息，或转接给人工客服的处理方式。
附图说明
图1为本发明的一种基于大语言模型的智慧呼叫方法的流程图。
图2为本发明的一种基于大语言模型的智慧呼叫方法的示意图。
图3为本发明的一种基于大语言模型的智慧呼叫方法的又一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本实施例一种基于大语言模型的智慧呼叫方法具体可以包括：
步骤S101，分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色。
使用CMUSphinx将用户的语音信息转换为文本，使用OpenSMILE提取出基频、声谱特征，得到音调、语速、语调。使用WebRTC获取和用户通话的实时语音流，使用Praat对客户接通电话时的语音进行动态分析，包括音调的波动、情绪的表达、语速的变化。通过用户语音数据与服务过程中的反馈信息，建立一个音色偏好预测模型，使用支持向量机对收集到的语音特征和用户反馈进行学习和预测。根据客户的音色偏好预测结果，设计一个包含多种音色样式的音色库，包括男声、女声、亲切的声音、专业的声音。根据客户的音色偏好预测结果，从预设的音色库中选择最适合的智能客服音色，调整语音合成的参数，包括音调、语速，将选定的音色应用到智能客服***中。根据不同地区用户的偏好，设计方言音色库。通过分析用户的满意度和反馈意见，不断改进和优化预测模型以及音色库。例如，有一个用户在接通电话时的语音样本，经过OpenSMILE对音频的基谱声谱的特征提取并分析，得到以下信息：在接通电话的过程中，用户的音调呈现出较大的波动，表明用户情绪可能较为激动或紧张。根据语音中的声调、语速和语气，推断用户表达出一定的焦虑和不耐烦情绪。用户的语速在接通电话的早期较快，但随着对话的进行逐渐减慢，表明用户在适应对话过程，或者对话内容变得更加复杂。接下来，将收集到的语音数据与用户在服务过程中的反馈信息结合起来，建立一个音色偏好预测模型。使用收集到的特征数据作为输入向量，用户的音色偏好反馈作为标签。在建模过程中，我们划分训练集和测试集，使用训练集对SVM模型进行训练，并通过测试集验证模型的性能。模型将学习如何根据语音特征来预测用户的音色偏好。模型训练完成后，我们使用该模型对新的用户语音进行预测。在一个电话交互中，得到用户的音调特征为0.8、语速特征为1.1、语调特征为-0.3。将这些特征输入已训练的SVM模型中，预测该用户对音色的偏好。模型预测结果显示该用户更倾向于亲切且温和的声音。因此，从预设的音色库中选择一个亲切的声音并调整语音合成技术的参数，如音调和语速，以匹配用户的音色偏好，并将选定的音色应用到智能客服***中。
步骤S102，智能客服在后续对话中收集客户语音进行分析，分析客户的口语表达习惯，包括客户的语速、语气、态度特征，并获取语言内容，进行基于ChatGLM大模型的内容分析。
使用在线语音识别将客户后续的语音转换为文本数据，将收集的语音数据通过自动语音识别为文本表示。将预处理得到的文本数据输入到ChatGLM大模型中进行口语表达习惯分析。根据客户的语音输入，生成相应的回复，并对语速、语气和态度特征进行分析。通过模型的回复和生成结果，以及基于文本特征的分析，获取客户的口语表达习惯特征。将客户的语音转化为文本后，使用BERT模型对文本进行编码，得到其表示向量，比较不同回答的BERT表示向量，推断客户的语气和态度。根据客户提供的反馈和评价，验证口语表达习惯分析和语言内容提取的准确性和有效性。根据客户的反馈和意见，调整和改进口语表达习惯分析和语言内容提取的ChatGLM大模型。例如，收集客户A的电话录音数据，并使用在线语音识别将其转化为文本。客户A的一段电话录音被转化为以下文本数据，你好，我可以升级宽带，但是我的宽带服务一直不稳定，速度很慢。在预处理步骤中，去除标点符号处理和停用词，得到预处理后的文本，宽带服务一直不稳定，速度很慢。将预处理后的文本数据输入到ChatGLM大模型中。ChatGLM模型分析结果为，客户A描述了宽带服务不稳定，速度缓慢的问题。根据模型的回答，推断客户A口语表达习惯为直接和具体。将回答输入BERT模型中，计算得到回答的BERT表示向量。经过BERT模型计算，回答的BERT表示向量为[0.4,0.6,0.2]。客户A对服务提供反馈，表示回答不够详细。根据他的反馈，调整ChatGLM模型，使其生成更详细的回答，提供更具体的解决方案。
使用BERT建立一个客户语气态度分类模型，获取客户的语气和态度。
获取包含客户对话文本的数据集，并将标注为相应的语气和态度类别，包括积极、中性、消极，或者更详细的细粒度类别。根据BERT模型的要求，对数据进行预处理，包括分词、添加句子起始标记、分隔标记、填充序列。将预处理后的对话文本输入到BERT模型中，获取对应的文本表示，输出每个位置的词向量表示以及整个句子的语境表示。从BERT模型的输出中提取对客户语气和态度判断有用的特征，包括词向量、句子语境表示或对应任务的子任务表示作为特征。使用提取的特征作为输入，使用随机森林训练一个适合客户语气和态度判断的分类器。使用评估数据集对训练好的模型进行性能评估，并根据评估结果进行模型的调优，包括参数调整、正则化。使用优化后的模型对新的客户对话进行预测和判断，将新的对话数据进行与训练数据相同的预处理，通过训练好的模型进行分类预测，得到客户的语气和态度。例如，收集了一个包含客户对话文本的数据集，并将其标注为三个语气和态度类别：积极、中性和消极。使用BERT的分词器将对话文本进行分词，并添加句子起始标记和分隔标记，以及对序列进行填充，使其长度一致。对于一个对话文本，我对你们的服务很满意。预处理后的结果可能如下所示，我对你们的服务很满意。接下来，将预处理后的对话文本输入到BERT模型中，以获取对应的文本表示。BERT模型输出每个位置的词向量表示，以及整个句子的语境表示。对于上述预处理后的对话文本，BERT模型的输出是一个包含词向量和句子语境表示的矩阵。然后，从BERT模型的输出中提取对客户语气和态度判断有用的特征，包括词向量、句子语境表示或对应任务的子任务表示。使用句子语境表示作为特征，或者使用特定词汇的词向量作为特征。接下来，使用提取的特征作为输入数据，并使用随机森林训练一个适合客户语气和态度判断的分类器。使用训练数据来训练模型，并使用评估数据集对其进行性能评估。如果有100个对话文本作为训练数据，每个对话文本都有对应的语气和态度标签。可以使用这些数据来训练随机森林模型，并使用交叉验证方法来评估其性能。将数据划分为5个折，每次使用4个折进行训练，然后使用剩余的1个折进行评估。最后，可以计算模型在所有折上的评估指标的平均值，如准确率、精确率、召回率和F1分数。根据评估结果，调整随机森林的树的数量、最大深度、特征子集的大小参数，以获得更好的性能，使用优化后的模型对新的客户对话进行预测和判断。将新的对话数据进行与训练数据相同的预处理，然后通过训练好的随机森林模型进行分类预测，以获得客户的语气和态度。经过训练和调优后的模型在评估数据集上的准确率为90％。当使用这个模型对一条新的客户对话进行预测时，预测结果为积极语气和态度。
步骤S103，根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质。
对客户的表达内容进行文本分类，对对客户表达内容的文本预处理，包括去除停用词、分词、词性标注。确定与轻重缓急相关的关键词，包括紧急、重要、优先。使用TF-IDF算法从客户表达内容中提取包含关键词的内容。根据关键词的出现频率、上下文以及其他语义特征，对关键词进行权重判断，确定轻重缓急程度。根据权重设定的标准，将客户回复内容分类为轻微、一般或紧急。使用朴素贝叶斯分类器对客户表达内容进行情感分类，将客户表达内容分类为正面、负面或中性。将情感分类和文本分类的结果整合起来，综合判断客户对询问内容的轻重缓急和正面及负面性质。例如，有一个客户回复的示例，这个问题非常紧急，需要尽快解决。对客户回复进行预处理，去除停用词并进行分词、词性标注。得到处理后的文本，这问题非常紧急，需要尽快解决。定义与轻重缓急相关的关键词为[紧急,重要,优先]。使用TF-IDF算法计算关键词的权重，得到关键词的权重为：{紧急0.5,重要0.0,优先0.0}。根据关键词的权重，结合上下文和其他语义特征进行判断，确定轻重缓急程度。这里只有关键词紧急出现，根据上下文可以判断回复是紧急的。根据设定的阈值，如权重大于0.7的为重要或紧急回复，权重在0.4-0.7之间为一般回复，权重低于0.4的为轻微回复。根据关键词权重0.5，判断这个回复为一般回复。使用朴素贝叶斯分类器对客户回复进行情感分类，将回复分类为正面、负面或中性。回复被分类为中性。综合关键词的分类和情感分类的结果，判断客户对询问内容的轻重缓急和正面及负面性质。根据关键词分类为一般和情感分类为中性，可综合判断客户对询问内容的轻微且中性。
步骤S104，智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况。
使用语音转文本将用户的语音内容转换为文本形式。采用ChatGLM大模型对转换后的文本进行解析，包括句法解析和词义解析，获得对话的语义结构和每个单词的含义。从解析后的文本中提取与客户焦虑、不满、紧迫性有关的词汇或短语，形成关键词列表。对关键词列表中的每个词进行情感分析，将其映射到相应的情感分数上。对情感分数进行加权平均，得到一个总体的情感分数，表示用户的整体情感状态。根据总体情感分数和关键词列表的结果，判断客户的情感状态，如果总体情感分数在预定范围内显示客户有焦虑、不满或紧迫性需求，触发相应针对焦虑、不满或紧迫性的反应策略。使用ChatGLM大模型的输出数据对反应策略进行微调，并持续监控客户的语音和文本数据，适应发生的情感变化或新情境。例如，用户的语音内容是，我订购的电子产品一直没有收到，已经过了一个星期了，这让我非常焦虑和不满意！通过语音转文本，将其转换为文本形式，我订购的电子产品一直没有收到，已经过了一个星期了，这让我非常焦虑和不满意！ChatGLM大模型对文本进行解析后，提取出关键词订购、电子产品、没有收到、一个星期、焦虑、不满意。对这些关键词进行情感分析，得到相应的情感分数。总体情感分数显示用户情感非常焦虑，并且关键词列表中包含订购、没有收到、焦虑、不满意等词汇，***触发针对焦虑和紧迫性的反应策略。***可以向用户提供订单跟踪信息，联系相关部门查询并加快处理进程，同时向用户表示歉意，并提供补偿措施或替代方案来缓解用户的焦虑和不满情绪。
步骤S105，结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求。
调用BERT算法解析客户端传入的文本和声音，得到客户的负面情绪类型。分析客户的口语表达习惯，得到口语表达模式。根据客户的问题描述和其他相关数据，得到事件的性质。根据负面情绪类型、口语表达方式和客户的问题描述，得到一组情绪-口语的数据集。根据情绪-口语数据集构建一个智能客服模型算法，输入客户情绪，输出匹配预设的回复态度和语气。使用情绪-口语数据集和事件性质数据作为输入，调用智能客服模型算法，得到预设的回复态度和语气。通过比对心理预期和用户需求，微调得到的回复态度和语气。微调后的回复态度和语气数据输出为可用于客户端的格式。根据新的情绪和口语数据，反馈到智能客服模型进行数据更新和模型优化。例如，BERT算法在解析客户传入的文本和声音后，得到以下情绪类型的概率分布，积极情绪为3，中性情绪为5，负面情绪为2。根据这个结果，可以确定客户的负面情绪类型为愤怒。接下来，通过分析客户的口语表达习惯，得到口语表达模式。根据客户的声音音调和语速，可以判断客户的口语表达模式为急躁。同时，根据客户的问题描述和其他相关数据，可以判断事件的性质。如果客户的问题描述中包含退款、投诉等关键词，可以确定事件的性质为投诉。根据负面情绪类型为愤怒，口语表达方式为急躁，以及客户的问题描述，得到的情绪-口语数据集可能是愤怒-急躁-我对你们的产品非常失望，无法接受这种质量！基于情绪-口语数据集构建一个智能客服模型算法，输入客户情绪，输出匹配预设的回复态度和语气。使用情绪-口语数据集和事件性质数据作为输入，调用智能客服模型算法，得到预设的回复态度和语气。根据之前得到的情绪-口语数据集和投诉事件性质数据，调用智能客服模型算法得到的预设回复态度和语气可能是耐心且专业。然后，通过比对心理预期和用户需求，微调得到的回复态度和语气。根据用户的情绪和口语表达模式，如果用户的需求更倾向于得到快速解决问题的回复，可能会微调回复的态度为积极，语气为急切。最后，将微调后的回复态度和语气数据输出为可用于客户端的格式。将回复态度和语气的标签与回复内容一起发送给客户端，让客户端能够根据这些信息展示适合的回复。根据新的情绪和口语数据，可以将其反馈到智能客服模型进行数据更新和模型优化。
建立智能客服模型，预设不同的回复态度和语气，提供符合客户情感状态的回复。
获取并整理已标记的对话数据集，其中包含客户的情绪信息。使用随机森林算法对数据进行分类，将客户的情绪分为正面、负面和中性。基于客户的情绪分类结果，预设不同的回复态度和语气。对于负面情绪，采用关心和耐心的态度，使用安抚性的语气；对于正面情绪，采用积极和友好的态度，使用欢快的语气。当客户发起对话时，运用随机森林算法，根据客户的对话数据中的情绪词对其表达的情绪进行实时识别并分类。将识别结果应用到预设的回复态度和语气模板上，生成与客户情绪相匹配的回复。使用chatglm生成回复，并根据情绪分类结果进行调整。通过与真实客户进行对话测试，及时收集反馈和纠正错误，通过持续监测和调整，优化模型的准确性和回复效果。例如，收集了1000条已标记的对话数据，其中包含客户的情绪信息。将这些数据分为训练集和测试集，其中训练集包含800条对话，测试集包含200条对话。使用随机森林算法对训练集中的对话数据进行分类，将客户的情绪分为正面、负面和中性。在训练过程中，使用了各种特征，包括对话的内容、语调、客户的回应时间。通过交叉验证和调参，得到了一个准确率为90％的情绪分类模型。根据情绪分类结果，预设了不同的回复态度和语气。对于负面情绪，采用更关心和耐心的态度，使用安抚性的语气。对于正面情绪，采用更积极和友好的态度，使用欢快的语气。当客户发起对话时，运用情感分析算法对其表达的情绪进行实时识别。如果随机森林算法判断客户情绪为负面，将根据预设的回复态度和语气模板生成与客户情绪相匹配的回复，使用关心和安抚的语气。同时，使用chatglm生成自然流畅的回复，并根据情绪分类结果进行调整。如果情绪分类结果为正面，会让chatglm生成更积极和友好的回复。通过与真实客户进行对话测试，及时收集反馈并纠正错误。如果发现模型对某种情绪分类的准确性较低或回复效果不佳，会进行持续监测和调整，优化模型的准确性和回复效果。在测试集的200条对话中，情感分类模型正确分类了180条对话，准确率为90％。同时，根据客户的情绪分类结果生成的回复在真实客户对话中的满意度达到80％。这些指标可以帮助评估算法的性能和回复效果，并进行进一步的改进。
步骤S106，随时智能客服与客户的进一步交流，实时识别客户的情感变化，根据情感变化动态调整智能客服的音色、语速和情感，贴近客户的感受，引起客户的共鸣。
实时捕捉与客户的交流数据，包括语音和文字。应用BERT算法，实时识别交流数据中客户的情感状态。如果识别到情感状态发生变化，立即通过算法进行音色的初步动态调整。使用BERT算法，根据客户的情感状态微调语速。结合音色和语速的初步动态调整数据，调整情感表达。把所有微调后的参数应用到智能客服的实时交流中。在交流过程中，实时记录客户反应作为反馈。对反馈进行分析，对比先前的交流质量数据，判断新的交流参数是否更适合客户。如果分析结果表明新的交流参数并未引发客户共鸣，根据反馈调整BERT算法，重新进行情感识别和调整。例如，将客户语音输入BERT，BERT能够将客户的情感状态分为三类，包括积极、中立和消极。BERT模型对一段客户交流文本进行分析后得出的情感分类结果如下，积极情感0.65、消极情感0.25、中性情感0.1。根据这些数值，可以判断客户的情感状态主要是积极的，但也存在一些消极情感。然而，随着交流的进行，算法发现客户的情感状态积极情感0.25、消极情感0.65、中性情感0.1，判断客户的情感状态主要是消极的。对音色进行初步动态调整，增加音调的低沉程度。同时，根据情感状态的变化，***也可以微调语速，稍微放慢语速，以更好地适应客户的变化情感。可以用数值来表示这些微调参数的变化。原先智能客服的音色参数为默认值1，根据情感状态的变化，智能客服将音色参数调整为2，使得音色更加低沉。同样地，原先***智能客服的语速参数为默认值1，根据情感状态的变化，智能客服将语速参数调整为0.8，稍微放慢语速。随着交流的进行，实时记录客户的反应，并进行反馈分析。在这次交流中，客户对智能客服的回应仍然不满意，智能客服根据反馈分析发现音色和语速的微调参数并没有引发客户的共鸣。因此，根据这一反馈微调BERT算法，并重新进行情感识别和调整。通过不断的实时交流和***反馈，可以逐渐优化交流参数，以提供更符合客户情感状态的智能客服体验。
步骤S107，使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服。
使用二分类算法，建立一个异常检测***，使用逻辑回归自动识别无法引发共鸣的回复。当异常检测***识别到无法引发共鸣的回复时，重新生成回复。通过相关的用户历史数据和上下文信息，结合chatglm生成准确和个性化的回复。如果重新生成回复仍然无法满足用户需求，输出提示文本引导用户提供详细信息。通过用户提供的其他信息，明确用户问题，获取用户需求，为用户提供支持和解决方案。如果重新生成回复和请求用户提供更多信息后生成的回复都令客户反感，将用户请求转接给人工客服并提供必要的上下文信息和用户历史数据。例如，使用一个二分类算法建立一个异常检测***，用于自动识别无法引发共鸣的回复。使用逻辑回归，判断回复是否能够引发共鸣。通过对大量已标注的训练数据进行学习，可以得到一个模型，用于预测回复是否能够引发共鸣。训练了一个逻辑回归模型，使用长度和词汇使用频率作为特征。将回复分为两类，引发共鸣，标记为1和无法引发共鸣，标记为0。通过交叉验证，得到了一个准确率达到85％的模型。当的异常检测***识别到一个无法引发共鸣的回复时，可以尝试使用chatglm重新生成回复。可以利用用户的历史数据和上下文信息，结合自然语言生成技术，生成更准确和个性化的回复。如果用户提出了一个关于产品的问题，可以根据用户的历史购买记录和产品评价信息，生成一个针对该问题的回复。如果重新生成的回复仍然无法满足用户需求，可以编写相应的提示文本，引导用户提供更详细的信息。可以提示用户提供更多关于他们遇到问题的具体描述、相关环境信息或者提供特定的问题示例。通过用户提供的其他信息，可以明确用户的问题，获取用户的需求，并为用户提供支持和解决方案。如果用户提供了更详细的问题描述，可以使用自然语言处理技术来理解用户的意图，并提供相关的解决方案。如果重新生成回复和请求用户提供更多信息后生成的回复都令客户反感，可以将用户的请求转接给人工客服。在转接之前，会提供必要的上下文信息和用户的历史数据，包括之前的对话记录、用户的个人信息和购买记录等，帮助人工客服更好地理解用户的问题和需求，为用户提供支持和解决方案。
建立根据客户反馈，判断智能客服的回答是否引起客户共鸣。
获取客户对智能客服回复的反馈和回复交互，如果客户表达出对回复内容的认同、理解和赞同，并进一步与回复进行积极的交互，判断回复引起客户的共鸣。通过获取对话中词语，将其输入情感词典，根据情感词典中词语的情感色彩，判断客户在回复中所表达的情感。如果智能客服的回复引起客户积极的情感反应，包括喜悦、满意、赞赏，判断回复引起了共鸣。通过回复是否满足客户的需求、解决问题、提供有价值的信息，判断是否引起了客户的共鸣。获取客户的反馈和投诉信息，如果客户对智能客服回复表达不满、不理解或不赞同的情绪，判断回复未能引起共鸣。例如，客户向智能客服咨询一个产品的功能问题，并收到以下回复，您可以通过点击产品界面右上角的设置按钮，找到相关功能设置并进行调整。客户的反馈和回复交互，客户，非常感谢您的回复，我已经按照您的指示找到了设置按钮，成功地调整了功能，非常满意！智能客服，感谢您的反馈，如果还有其他问题，请随时告诉我。使用一个情感词典，其中包含词语及其对应的情感色彩包括积极、中性、消极，将对话中的关键词输入情感词典进行情感分析。客户回复中包含的关键词是非常感谢和满意，将这些词语输入情感词典，发现非常感谢和满意的情感色彩是积极。根据上述反馈和回复交互，可以判断客户对回复内容表示理解与认同，并表达了对回复的感谢和满意。客户进一步与智能客服进行了积极的交互，并表达出对回复的满意度和肯定。回复引起了客户的积极情感反应，如满意和感激。根据客户的反馈和回复交互，没有任何不满、不理解或不赞同的情绪或投诉信息。判断智能客服回复成功引起了客户的共鸣。
使用孤立森林算法建立异常检测***，判断智能客服回复是否令客户反感或无法引起客户共鸣。
获取包含客户问题、智能客服回答和相关反馈的对话数据，将对话数据拆分为特征矩阵。使用TF-IDF对特征矩阵进行处理，包括文本预处理和提取有用特征。使用训练集对孤立森林算法进行训练，将训练集输入到孤立森林模型中，训练模型来识别与其他样本相比较孤立的样本，即无法与其他样本共享特征的样本。使用训练好的孤立森林模型对新的智能客服回答进行异常检测，将新的回答输入到模型中，获得异常得分。异常得分表示回答与其他回答之间的孤立程度，高于预设的异常得分意味着回答与其他回答差异大。根据所需的准确率，确定异常得分阈值。对于新的回答，根据模型输出的异常得分与阈值的比较结果，判断回答是否异常。如果回答的异常得分高于阈值，判断为引起客户反感或无法引起共鸣的回答。例如，收集了100个对话样本，包括用户问题和智能客服回答。将对话数据转换为特征矩阵，使用TF-IDF方法将文本转换为向量表示。使用80个样本作为训练集，将特征矩阵输入到孤立森林模型中进行训练。使用训练好的模型对剩下的20个样本进行异常检测。根据模型输出的异常得分，判断样本是否异常。确定了异常得分阈值为0.6。对于一个新的回答样本，模型给出的异常得分为0.8，高于阈值0.6，因此判断这个回答是异常的，并可能引起客户反感或无法引起共鸣。
需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (8)
1.一种基于大语言模型的智慧呼叫方法，其特征在于，所述方法包括：
分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色；智能客服在后续对话中收集客户语音进行分析，分析客户的口语表达习惯，包括客户的语速、语气、态度特征，并获取语言内容，进行基于ChatGLM大模型的内容分析；根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质；智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况；结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求；随时智能客服与客户的进一步交流，实时识别客户的情感变化，根据情感变化动态调整智能客服的音色、语速和情感，贴近客户的感受，引起客户的共鸣；使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服。
2.根据权利要求1所述的方法，其中，所述分析客户最开始接通电话时的语音信息，预测出客户的音色偏好，并从预设的音色库中匹配最适合的智能客服音色，包括：
使用CMUSphinx将用户的语音信息转换为文本；通过OpenSMILE提取基频和声谱特征；使用WebRTC获取与用户通话的实时语音流，并通过Praat进行动态分析；通过支持向量机建立音色偏好预测模型，并进行学习和预测；设计多样化音色库，并根据预测结果从中选出最适合的智能客服音色；调整语音合成的参数并应用到智能客服***中；设计方言音色库并根据用户的满意度和反馈意见进行改进和优化。
3.根据权利要求1所述的方法，其中，所述智能客服在后续对话中收集客户语音进行分析，分析客户的口语表达习惯，包括客户的语速、语气、态度特征，并获取语言内容，进行基于ChatGLM大模型的内容分析，包括：
使用在线语音识别将客户语音转换为文本；将文本数据输入到ChatGLM大模型进行分析；生成相应的回复并进行特征分析；获取客户的口语表达习惯特征，并使用BERT模型进一步编码和比较；验证分析和提取的准确性和有效性；调整和改进ChatGLM大模型。
4.根据权利要求1所述的方法，其中，所述根据客户表达的内容，对问答中的事件进行总结，判断呼叫后客户对询问内容的轻重缓急和正面及负面性质，包括：
对客户的表达内容进行文本分类，并对客户表达内容进行文本预处理；确定与轻重缓急相关的关键词；使用TF-IDF算法提取包含关键词的内容；对关键词进行权重判断并分类轻重缓急程度；使用朴素贝叶斯分类器进行情感分类；综合文本分类和情感分类结果，进行综合判断。
5.根据权利要求1所述的方法，其中，所述智能客服通过语气和语音内容，捕捉分析客户可能含有的焦虑、不满或紧迫性这三种情况，包括：
通过语音转文本将用户语音转换为文本；ChatGLM大模型解析文本，获取语义结构及单词含义；提取与焦虑、不满和紧迫性相关的词汇或短语；进行情感分析，并映射到情感分数；计算总体情感分数，触发相应反应策略；ChatGLM大模型微调反应策略，持续监控客户数据。
6.根据权利要求1所述的方法，其中，所述结合客户的事件性质和口语表达习惯，根据用户所产生的三种不同的负面情绪，分别确定智能客服的回复态度和语气，符合客户的心理预期和需求，包括：
调用BERT算法解析客户文本和声音，识别负面情绪类型；分析口语表达模式，获取事件性质；整合负面情绪、口语表达和事件性质到情绪-口语数据集；构建智能客服模型算法，输出预设回复态度和语气；微调回复态度和语气；数据输出为客户端格式，模型接受新数据进行更新。
7.根据权利要求1所述的方法，其中，所述随时智能客服与客户的进一步交流，实时识别客户的情感变化，根据情感变化动态调整智能客服的音色、语速和情感，贴近客户的感受，引起客户的共鸣，包括：
实时捕捉与客户的交流数据，应用BERT算法识别交流数据中客户的情感状态；对音色进行初步动态调整；使用BERT算法微调语速，与此同时调整情感表达；所有微调后的参数立即应用到智能客服的实时交流中；实时记录客户反应作为反馈，对反馈进行分析，并判断新的交流参数是否更适合客户；若分析结果表明新的交流参数不适合，调整BERT算法重新进行情感识别和参数调整。
8.根据权利要求1所述的方法，其中，所述使用异常检测获取无法引发共鸣而导致客户反感的异常回复，采取不同的处理方式，包括重新生成回复、请求用户提供更多信息、或转接给人工客服，包括：
建立一个异常检测***，使用逻辑回归自动识别异常回复；一旦识别到异常回复，重新生成回复并结合chatglm和相关的用户历史数据生成准确和个性化的回复；若重新生成的回复仍不满足需求，输出提示文本获取用户其他信息；获取用户需求后提供支持和解决方案；在所有方案均不适合的情况下，将用户请求转接给人工客服；使用孤立森林算法判断智能客服回复是否令客户反感。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267816.6A CN117336410A (zh) | 2023-09-28 | 2023-09-28 | 一种基于大语言模型的智慧呼叫方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311267816.6A CN117336410A (zh) | 2023-09-28 | 2023-09-28 | 一种基于大语言模型的智慧呼叫方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117336410A true CN117336410A (zh) | 2024-01-02 |
Family
ID=89278449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311267816.6A Pending CN117336410A (zh) | 2023-09-28 | 2023-09-28 | 一种基于大语言模型的智慧呼叫方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117336410A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117857599A (zh) * | 2024-01-09 | 2024-04-09 | 北京安真医疗科技有限公司 | 一种基于物联网的数字人对话智能管理*** |
-
2023
- 2023-09-28 CN CN202311267816.6A patent/CN117336410A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117857599A (zh) * | 2024-01-09 | 2024-04-09 | 北京安真医疗科技有限公司 | 一种基于物联网的数字人对话智能管理*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10319381B2 (en) | Iteratively updating parameters for dialog states | |
| CN109151218B (zh) | 通话语音质检方法、装置、计算机设备及存储介质 | |
| US11676067B2 (en) | System and method for creating data to train a conversational bot | |
| US11450311B2 (en) | System and methods for accent and dialect modification | |
| CN114503115A (zh) | 生成丰富的动作项目 | |
| CN111028827A (zh) | 基于情绪识别的交互处理方法、装置、设备和存储介质 | |
| US10839788B2 (en) | Systems and methods for selecting accent and dialect based on context | |
| CN110853649A (zh) | 基于智能语音技术的标签提取方法、***、设备及介质 | |
| Ezzat et al. | Sentiment analysis of call centre audio conversations using text classification | |
| KR102342055B1 (ko) | 정형 데이터와 비정형 데이터를 이용한 자연어 처리 장치 및 방법 | |
| CN117336410A (zh) | 一种基于大语言模型的智慧呼叫方法 | |
| CN112233680A (zh) | 说话人角色识别方法、装置、电子设备及存储介质 | |
| TWI734085B (zh) | 使用意圖偵測集成學習之對話系統及其方法 | |
| CN116431806A (zh) | 自然语言理解方法及冰箱 | |
| CN117235213A (zh) | 一种交互式客服方法及*** | |
| CN116361442B (zh) | 基于人工智能的营业厅数据分析方法及*** | |
| US11989514B2 (en) | Identifying high effort statements for call center summaries | |
| CN112988992B (zh) | 一种信息交互方法、装置及电子设备 | |
| CN114328867A (zh) | 一种人机对话中智能打断的方法及装置 | |
| CN112908296A (zh) | 一种方言识别方法 | |
| Ultes | User-centred adaptive spoken dialogue modelling | |
| KR102507810B1 (ko) | 인공지능을 이용한 음성 기반 세일즈 정보 추출 및 리드 추천방법과 이를 수행하는 데이터 분석장치 | |
| CN116991982B (zh) | 基于人工智能的交互式对话方法、装置、设备及存储介质 | |
| Ribeiro et al. | Mapping the dialog act annotations of the LEGO corpus into ISO 24617-2 communicative functions | |
| US20240073321A1 (en) | System and method for providing personalized customer experience in interactive communications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |