CN117591659A - 基于ChatGLM运维场景的信息处理方法、装置、设备及介质 - Google Patents
基于ChatGLM运维场景的信息处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117591659A CN117591659A CN202410070827.3A CN202410070827A CN117591659A CN 117591659 A CN117591659 A CN 117591659A CN 202410070827 A CN202410070827 A CN 202410070827A CN 117591659 A CN117591659 A CN 117591659A
- Authority
- CN
- China
- Prior art keywords
- maintenance
- information
- processed
- text
- chatglm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 184
- 230000010365 information processing Effects 0.000 title claims abstract description 34
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 91
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011835 investigation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于ChatGLM运维场景的信息处理方法、装置、计算机设备及存储介质，其方法，包括：获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；获取历史运维信息；基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；通过预先训练的自然语言模型对所述目标提示语进行处理，得到所述待处理问题对应的解决方案；将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。通过上述方法无需登录服务器或第三方排查工具，以聊天对话形式快速排查及解决问题，解决人工排查效率低及排查解决时间不可控问题，提高准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于ChatGLM运维场景的信息处理方法、装置、设备及介质。
背景技术
目前，当现网生产环境出现故障后，故障排查分析过程大概如下：首先需要逐一登录服务器或者第三方排查工具，查看各项指标数据，例如CPU、内存等，需要排查人员根据指标数据与过往比对确认是否存在异常（CPU飙升、内存爆满等），然后登录服务器或者第三方排查工具诸如skywalking等确认日志异常所在（error报错、内存溢出等），查看异常所处源代码，梳理业务逻辑关系，定位到问题并给予解决，最终更新部署包上线，进行功能验证，确认问题是否已解决，最终完成故障恢复。
但是，由于需要人工登录所有可能涉及的服务器，查看各种可能存在问题的场景，导致效率不高。并且即使使用第三方工具排查，但是排查结果与每个人的排查经验息息相关，因此无法保证排查结果的准确性。可能存在无法快速找到产生故障的日志或指标，导致排查时间过长，故障恢复较慢，进而造成不可挽回的损失或直接引发投诉。常规问题以及各类问题解决方案无法有效留存及传承。***功能较多，使用场景较多，无法做到一个人熟悉整套***及业务，无法全面分析问题，或可能需组织大量人力一起进行相应排查，导致人工成本较大等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种基于ChatGLM运维场景的信息处理方法、装置、计算机设备及存储介质，以解决上述存在的至少一个问题。
第一方面，本申请是这样实现的，提供了一种基于ChatGLM运维场景的信息处理方法，包括如下步骤：
获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
获取历史运维信息；
基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
通过预先训练的自然语言模型对所述目标提示语进行处理，得到所述待处理问题对应的解决方案；
将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
在一实施例中，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语之前，包括：
将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量。
在一实施例中，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语，包括：
将所述预处理后的待处理问题进行向量化处理，以得到待处理问题向量；
基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息；
获取提示词模板，将所述上下文文本信息以及所述预处理后的待处理问题添加至所述提示词模板中，以得到所述目标提示词。
在一实施例中，所述历史运维信息包括运维文本信息，所述将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量，包括：
将所述运维文本信息按照预设切分规则，切分为多个文本片段；
分别对多个所述文本片段进行向量化处理，得到多个所述运维文本向量，并基于多个所述运维文本向量生成运维向量知识库，以供所述预先训练的自然语言模型调用。
在一实施例中，所述基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息，包括：
分别计算所述待处理问题向量与各个所述运维文本向量之间的相似度；
基于相似度计算结果，获取预设个与所述待处理问题向量之间相似度大于预设相似度阈值的运维文本向量；
基于所述相似度大于预设相似度阈值的运维文本向量，得到与所述待处理问题关联的上下文文本信息。
在一实施例中，所述获取历史运维信息，包括：
分别采集各项服务器对应的指标信息，以及各项业务日志信息；
获取各类运维故障信息以及对应的解决方案信息；
将所述指标信息、所述各项业务日志信息、所述各类运维故障信息以及对应的所述解决方案信息，作为所述历史运维信息。
在一实施例中，所述获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理，包括：
获取所述目标用户在预设聊天界面中通过文本方式或者语音方式录入所述待处理问题；
将所述待处理问题转化为机器识别语言。
第二方面，提供了一种基于ChatGLM运维场景的信息处理装置，包括：
输入模块，用于获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
历史运维信息获取模块，用于获取历史运维信息；
chatGLM-GP模块，用于：
基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
将所述目标提示语输入至预训练自然语言模型中进行处理，得到所述待处理问题对应的解决方案；
输出模块，用于将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述所述的基于ChatGLM运维场景的信息处理方法。
第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述所述的基于ChatGLM运维场景的信息处理方法。
上述基于ChatGLM运维场景的信息处理方法、装置、计算机设备及存储介质，其方法实现，包括：获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；获取历史运维信息，并基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；通过预先训练的自然语言模型对所述目标提示语进行处理，得到所述待处理问题对应的解决方案；将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。本申请实施例中，可以实现无需登录服务器或第三方排查工具，以聊天对话形式快速排查及解决问题，解决人工排查效率低及排查解决时间不可控问题。可以实现所有涉及业务知识及方便留存，解决各类问题解决方案无法有效留存及传承问题。且涵盖了各类运维故障处理场景及解决方案，能准确识别运维故障及相应处理方案，无需人工处理，提高了工作效率，故障识别率高且准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于ChatGLM运维场景的信息处理方法的一应用环境示意图；
图2是本发明一实施例中基于ChatGLM运维场景的信息处理方法的一流程示意图；
图3是本发明一实施例中向量知识库构建方法的一流程示意图；
图4是本发明一实施例中基于ChatGLM运维场景的信息处理装置的一结构示意图；
图5是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的基于ChatGLM运维场景的信息处理方法，可应用在如图1的应用环境中，其具体可包括：输入模块、chatGLM-GP模块，运维向量知识库、chatOps模块，日志采集模块以及输出模块。
可以理解的，该运维向量知识库、该日志采集模块以及该chatOps模块可以选用其他类似功能的模块，或者可以不使用，即，通过输入模块、chatGLM-GP模块以及输出模块实现该运维问答场景。
其中，该输入模块，可用于接收用户输入的信息查询请求，该信息查询请求可包括待处理问题，例如故障报错信息或者，其他咨询信息等。
其中，该chatGLM-GP模块含GLM模块以及ChatGLM2-6B模型，通过该GLM模块可以将用户录入的待处理问题由自然语言转换为机器可识别语言，例如程序代码等。该ChatGLM2-6B模型则可对历史运维信息与待处理问题共同生成目标提示词进行分析处理，从而得到待处理问题的解答方案。
其中，该输出模块则可对该解答方案进行呈现，以供用户查看，此外用户还可自行选择最优的解决方案进行待处理问题的处理。
其中，chatOps模块是输入模块与chatGLM-GP模块，chatGLM-GP模块与输出模块间的桥梁，其具体可包括人机交互界面，以及指令配置功能，并且可与chatGLM-GP对接：通过调用chatGLM-GP实现语义分析识别获取用户的真实意图。
其中，日志采集模块则可包括IMS监控组件以及IMS日志监控组件，用于分别监控指标日志采集和业务日志采集，同时提供API接口，可供该chatOps模块进行采集信息的查询。
其中，该运维向量知识库可通过Langchain构建，用于将日志采集模块采集的各类数据，进行分割，并对分割后文本分别进行向量转换，从而生成该运维向量知识库，该运维向量知识库可存储于本地，也可存储于云端，可供该chatGLM-GP模块调用。
在一实施例中，如图2所示，提供一种基于ChatGLM运维场景的信息处理方法，包括如下步骤：
在步骤S110中，获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
在本申请实施例中，可配置chatOps模块，该chatOps模块可包括人机交互界面，以方便用户以聊天形式进行交互；以及指令配置功能，可以配置各种执行作业，便于执行各类业务操作，例如，查询服务器各项指标，查询相关业务日志等。目标用户可以通过用户终端设备，例如手机、平板电脑、计算机等向该chatOps模块的聊天界面输入该信息查询请求。
在本申请一实施例中，所述获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理，包括：
获取所述目标用户在预设聊天界面中通过文本方式或者语音方式录入所述待处理问题；
将所述待处理问题转化为机器识别语言。
具体地，该待处理问题可包括故障报错信息或其他咨询信息，目标用户可以通过文本输入或语音输入的方式输入查询指令，在文本输入场景中，例如，可以在chatOps聊天界面上输入故障报错文字或咨询文字，或者将故障报错信息文字直接复制粘贴到chatOps聊天对话框中。在语音输入场景中，例如，目标用户可以使用chatOps提供的语音输入功能，通过话筒向chatOps对话框中输入语音，然后通过对该语音进行解析，以得到该待处理问题的文本数据。
其中，对该语音进行解析的语言解析技术可使用Open-whisper语音识别模型，从而得到对应的文本数据。
进一步，在获取到待处理问题后，该待处理问题可为自然语言数据，此时，可将该自然语言转换为机器可识别语言，以便进行后续的语义分析与问题解答处理。
在步骤S120中，获取历史运维信息；
在本申请实施例中，该历史运维信息可包括一些重点业务及error等关键字日志信息、相应错误日志处理过程中所形成的解决方案、运维用户上传的平时积累的各类运维故障及解决方案数据等运维相关信息。
在步骤S130中，基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
在本申请一实施例中，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语之前，包括：
将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量。
具体地，可先采集历史运维信息，并通过预设算法，例如，embedding算法将采集的历史运维信息转换为运维文本向量，从而得到多个运维文本向量。
参见图3，进一步，在本申请一实施例中，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语，包括：
将所述预处理后的待处理问题进行向量化处理，以得到待处理问题向量；
基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息；
获取提示词模板，将所述上下文文本信息以及所述预处理后的待处理问题添加至所述提示词模板中，以得到所述目标提示词。
具体地，可采用同样的算法，例如embedding算法，将预处理后的待处理问题进行向量化处理，以得到待处理问题向量，然后在基于待处理问题向量从运维向量知识库中选取目标运维文本向量，以作为与所述待处理问题关联的上下文文本信息，并获取预先生成的提示词模板，将该待处理问题以及该上下文文本信息添加至该提示词模板中，得到目标提示词，例如，“问题：XXX，通过以下信息XXX汇总得到解决方案”，并将该目标提示词发送至预训练的自然语言模型中进行处理。
在本申请一实施例中，所述历史运维信息包括运维文本信息，所述所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量，包括：
将所述运维文本信息按照预设切分规则，切分为多个文本片段；
分别对多个所述文本片段进行向量化处理，得到多个所述运维文本向量，并基于多个所述运维文本向量生成运维向量知识库，以供所述预先训练的自然语言模型调用。
具体地，可先采集历史运维信息，并存储至知识库文档中，然后可使用Unstructured Loader类加载文件数据，获取文本信息，然后通过文本分割器对该文本信息进行分割，形成多个文本片段，然后可对各个文本片段进行向量化，例如可采用embedding算法，对个文本片段进行向量化，以得到多个运维文本向量，从而形成该运维向量知识库，以供后续模型调用。
其中，文件数据可为txt、docx、md、pdf等格式文件。
进一步，可通过Langchain构建运维向量知识库，该langchain是一个开发基于语言模型应用程序开发框架，链接面向用户程序和LLM之间的中间层。利用LangChain可以轻松管理和语言模型的交互，将多个组件链接在一起，比如各种LLM模型，提示词模板，索引，代理等。
可以理解的，该运维向量知识库中的运维文本向量可不断进行更新，可实时获取新的运维日志以及运维数据等，生成新的运维文本向量，并存储至该运维向量知识库中。
在本申请实施例中，所述基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息，包括：
分别计算所述待处理问题向量与各个所述运维文本向量之间的相似度；
基于相似度计算结果，获取预设个与所述待处理问题向量之间相似度大于预设相似度阈值的运维文本向量；
基于所述相似度大于预设相似度阈值的运维文本向量，得到与所述待处理问题关联的上下文文本信息。
具体地，可通过余弦相似度算法和/或欧式几何相似度算法分别计算该待处理问题向量与运维向量知识库中各个运维文本向量之间的相似度值，并选取相似度最高的N个运维文本向量，例如10个，得到与待处理问题关联的上下文文本信息。
在本申请实施例中，所述获取历史运维信息，包括：
分别采集各项服务器对应的指标信息，以及各项业务日志信息；
获取各类运维故障信息以及对应的解决方案信息；
将所述指标信息、所述各项业务日志信息、所述各类运维故障信息以及对应的所述解决方案信息，作为所述历史运维信息。
具体地，可通过IMS监控组件及IMS日志组件构建日志采集***，对一些重点业务及error等关键字日志信息采集，相应错误日志处理过程所形成的方案进行采集。其中，该IMS监控组件可用于采集各项服务器指标数据，同时IMS监控组件提供API接口，供chatOps调用查询各类指标数据（比如某时间段内CPU、内存数据）。该IMS日志监控组件，可用于采集各项业务日志，同时IMS日志监控组件提供API接口，供chatOps调用查询各业务模块或某时间段内的日志信息（包含error、各类异常日志信息）。
同时，运维用户可以上传平时积累的各类运维故障及解决方案数据。将所述指标信息、所述各项业务日志信息、所述各类运维故障信息以及对应的所述解决方案信息，共同作为所述历史运维信息，运维用户可通过chatOps客户端查询当前各服务器运行情况，比如CPU、内存数据等，同时可查询当前某业务日志输出信息，比如某类error异常日志等运维信息。
在步骤S130中，通过预先训练的自然语言模型对所述目标提示语进行处理，得到所述待处理问题对应的解决方案；
在本申请实施例中，该预训练自然语言模型可为chatGLM-GP，其包括GLM模块，用于将待处理问题从自然语言转换为机器可读的语言，且该模块使用了ChatGLM2-6B基础模型，ChatGLM2-6B是一种基于Transformer架构的自然语言处理模型，具有很强的语言理解能力。其可通过样本数据集提前进行迭代训练得到。
具体地，并且该模型可通过LORA技术进行模型微调，以提高模型的准确度和场景应用能力。LoRA是一种大模型高效微调技术，用于优化ChatGLM2-6B的性能。LoRA允许通过优化适应过程中密集层变化的秩分解矩阵，来间接训练神经网络中的一些密集层，同时保持预先训练的权重不变。通过LORA微调得到的运维故障处理大模型，提高模型在运维故障处理领域方案的效率，可有效生产运维故障相应处理方案，通过langchain使模型与应用chatOps实现对接，实现运维人员对运维故障的快速应答。
可以理解，也可使用其他类似P-tuning v2等其他高效微调技术，对该模型进行微调。
此外，该模型可通过LLaMa-Factory可视化webUI利用LoRA技术进行微调，其中，LLaMa-Factory 可视化webUI界面可包括模型的名称、微调方法、模型设置以及数据集的选取等功能，且LLaMa-Factory整合了LORA、QLoRA等微调技术，同时选择不同模型进行微调，可选择自己定义的多种运维场景数据集，比如self_cognition.json等，根据运维场景及数据集情况，调整自定义数据集self_cognition.json，与chatOps前端配置指令相匹配，数据集数据结构如下所示：
通过将询问的问题与解决的方案进行相匹配，更改数据集结果，可以使得通过该模型所得到的解决方案与用户所发送的待处理问题更好的对应，提高解答的准确性。例如，当目标用户想查询CPU、内存、ERROR等相应指标数据时，输入CPU、内存、ERROR等预设定的关键字时，根据自定义数据集训练后的模型会匹配返回相应执行指令，比如输入”CPU”，返回相应的配置执行指令”CPU”。
在本申请实施例中，该解决方案可以是运维平时排查故障总结的常见问题，也可以是研发人员提供的运维常见问题，其具体格式可包括：问题、原因、解决方案、配置要求。例如，当问题为打开流程表单详情时，只有审批记录，没有审批流程表单；原因为无法打开流程界面，查看查询节点信息，报错原因多为流程修改，但是旧的流程工单未走完，导致节点查询不到引起报错；此时解决方案可为，直接关闭工单，后续优化发起新版本流程时，可查询未走完的旧流程并提示；配置要求可谓流程配置，选择配置启动时的版本。
在步骤S140中，将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
在本申请实施例中，可将模型处理得到解决方案进行解析，并以文本形式、指令链接形式、弹出框形式等方式进行展示。目标用于可根据该解决方式识别出最佳处理方案，然后可以选择是否自动处理，例如，选择自动处理指令（如：服务重启等），chatOps将立即执行相应指令，执行相应作业任务，完成故障处理。如果目标用户选择手动处理，则将根据修复建议进行相应操作，如：更改流程定义中的某项人员权限配置等。从而实现故障恢复。
上述基于ChatGLM运维场景的信息处理方法，包括：获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；获取历史运维信息，并基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；将所述目标提示语输入至预训练自然语言模型中进行处理，得到所述待处理问题对应的解决方案；将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。本申请实施例中，可以实现无需登录服务器或第三方排查工具，以聊天对话形式快速排查及解决问题，解决人工排查效率低及排查解决时间不可控问题。可以实现所有涉及业务知识及方便留存，解决各类问题解决方案无法有效留存及传承问题。且涵盖了各类运维故障处理场景及解决方案，能准确识别运维故障及相应处理方案，无需人工处理，提高了工作效率，故障识别率高且准确。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于ChatGLM运维场景的信息处理装置，该基于ChatGLM运维场景的信息处理装置与上述实施例中基于ChatGLM运维场景的信息处理方法一一对应。如图4所示，该基于ChatGLM运维场景的信息处理装置包括输入模块10、历史运维信息获取模块20、chatGLM-GP模块30和输出模块40。各功能模块详细说明如下：
输入模块10，用于获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
历史运维信息获取模块20，用于获取历史运维信息；
chatGLM-GP模块30，用于：
基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
将所述目标提示语输入至预训练自然语言模型中进行处理，得到所述待处理问题对应的解决方案；
输出模块40，用于将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
在本申请一实施例中，该装置，还包括运维向量知识库生成单元，用于：
将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量。
在本申请一实施例中，chatGLM-GP模块30，还用于：
将所述预处理后的待处理问题进行向量化处理，以得到待处理问题向量；
基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息；
获取提示词模板，将所述上下文文本信息以及所述预处理后的待处理问题添加至所述提示词模板中，以得到所述目标提示词。
在本申请一实施例中，所述历史运维信息包括运维文本信息，所述运维向量知识库生成单元，还用于：
将所述运维文本信息按照预设切分规则，切分为多个文本片段；
分别对多个所述文本片段进行向量化处理，得到多个所述运维文本向量，并基于多个所述运维文本向量生成运维向量知识库，以供所述预先训练的自然语言模型调用。
在本申请一实施例中，chatGLM-GP模块40，还用于：
分别计算所述待处理问题向量与各个所述运维文本向量之间的相似度；
基于相似度计算结果，获取预设个与所述待处理问题向量之间相似度大于预设相似度阈值的运维文本向量；
基于所述相似度大于预设相似度阈值的运维文本向量，得到与所述待处理问题关联的上下文文本信息。
在本申请一实施例中，历史运维信息获取模块20，还用于：
分别采集各项服务器对应的指标信息，以及各项业务日志信息；
获取各类运维故障信息以及对应的解决方案信息；
将所述指标信息、所述各项业务日志信息、所述各类运维故障信息以及对应的所述解决方案信息，作为所述历史运维信息。
在本申请一实施例中，输出模块10，还用于：所述获取目标用户发送的待处理问题，并进行预处理，包括：
获取所述目标用户在预设聊天界面中通过文本方式或者语音方式录入所述待处理问题；
将所述待处理问题转化为机器识别语言。
本申请实施例中，可以实现无需登录服务器或第三方排查工具，以聊天对话形式快速排查及解决问题，解决人工排查效率低及排查解决时间不可控问题。可以实现所有涉及业务知识及方便留存，解决各类问题解决方案无法有效留存及传承问题。且涵盖了各类运维故障处理场景及解决方案，能准确识别运维故障及相应处理方案，无需人工处理，提高了工作效率，故障识别率高且准确。
关于基于ChatGLM运维场景的信息处理装置的具体限定可以参见上文中对于基于ChatGLM运维场景的信息处理方法的限定，在此不再赘述。上述基于ChatGLM运维场景的信息处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质。该可读存储介质存储有计算机可读指令。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于ChatGLM运维场景的信息处理方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在本申请实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述所述基于ChatGLM运维场景的信息处理方法的步骤。
在申请实施例中，提供了一种可读存储介质，所述可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述基于ChatGLM运维场景的信息处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、知识库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于ChatGLM运维场景的信息处理方法，其特征在于，所述方法，包括：
获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
获取历史运维信息；
基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
通过预先训练的自然语言模型对所述目标提示语进行处理，得到所述待处理问题对应的解决方案；
将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
2.如权利要求1所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语之前，包括：
将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量。
3.如权利要求2所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语，包括：
将所述预处理后的待处理问题进行向量化处理，以得到待处理问题向量；
基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息；
获取提示词模板，将所述上下文文本信息以及所述预处理后的待处理问题添加至所述提示词模板中，以得到所述目标提示词。
4.如权利要求2所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述历史运维信息包括运维文本信息，所述将所述历史运维信息按照预设算法进行向量转换，以得到多个运维文本向量，包括：
将所述运维文本信息按照预设切分规则，切分为多个文本片段；
分别对多个所述文本片段进行向量化处理，得到多个所述运维文本向量，并基于多个所述运维文本向量生成运维向量知识库，以供所述预先训练的自然语言模型调用。
5.如权利要求3所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述基于所述待处理问题向量以及所述运维文本向量，得到与所述待处理问题关联的上下文文本信息，包括：
分别计算所述待处理问题向量与各个所述运维文本向量之间的相似度；
基于相似度计算结果，获取预设个与所述待处理问题向量之间相似度大于预设相似度阈值的运维文本向量；
基于所述相似度大于预设相似度阈值的运维文本向量，得到与所述待处理问题关联的上下文文本信息。
6.如权利要求1所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述获取历史运维信息，包括：
分别采集各项服务器对应的指标信息，以及各项业务日志信息；
获取各类运维故障信息以及对应的解决方案信息；
将所述指标信息、所述各项业务日志信息、所述各类运维故障信息以及对应的所述解决方案信息，作为所述历史运维信息。
7.如权利要求1所述的基于ChatGLM运维场景的信息处理方法，其特征在于，所述获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理，包括：
获取所述目标用户在预设聊天界面中通过文本方式或者语音方式录入所述待处理问题；
将所述待处理问题转化为机器识别语言。
8.一种基于ChatGLM运维场景的信息处理装置，其特征在于，所述装置，包括：
输入模块，用于获取目标用户发送的信息查询请求，所述信息查询请求包括待处理问题，对所述待处理问题进行预处理；
历史运维信息获取模块，用于获取历史运维信息；
chatGLM-GP模块，用于：
基于所述预处理后的待处理问题以及所述历史运维信息，生成目标提示语；
将所述目标提示语输入至预训练自然语言模型中进行处理，得到所述待处理问题对应的解决方案；
输出模块，用于将所述待处理问题对应的解决方案发送给所述目标用户，并基于所述目标用户发送的故障处理指令，对所述待处理问题进行对应处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的基于ChatGLM运维场景的信息处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的基于ChatGLM运维场景的信息处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410070827.3A CN117591659A (zh) | 2024-01-18 | 2024-01-18 | 基于ChatGLM运维场景的信息处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410070827.3A CN117591659A (zh) | 2024-01-18 | 2024-01-18 | 基于ChatGLM运维场景的信息处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117591659A true CN117591659A (zh) | 2024-02-23 |
Family
ID=89916956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410070827.3A Pending CN117591659A (zh) | 2024-01-18 | 2024-01-18 | 基于ChatGLM运维场景的信息处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117591659A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785542A (zh) * | 2024-02-28 | 2024-03-29 | 深圳耀德数据服务有限公司 | 用于数据中心的智能运维方法、***、设备及存储介质 |
| CN118394605A (zh) * | 2024-06-24 | 2024-07-26 | 新华三人工智能科技有限公司 | 基于人工智能模型辅助服务器bmc运维方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114971530A (zh) * | 2022-04-28 | 2022-08-30 | 北京宝兰德软件股份有限公司 | 基于自然语言处理的协同运维方法及装置 |
| CN117234774A (zh) * | 2023-09-14 | 2023-12-15 | 中国建设银行股份有限公司湖南省分行 | 基于信息***的智能化故障处理方法、装置、设备及介质 |
| CN117331730A (zh) * | 2023-09-14 | 2024-01-02 | 南京领行科技股份有限公司 | 故障诊断方法、装置、电子设备及存储介质 |
-
2024
- 2024-01-18 CN CN202410070827.3A patent/CN117591659A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114971530A (zh) * | 2022-04-28 | 2022-08-30 | 北京宝兰德软件股份有限公司 | 基于自然语言处理的协同运维方法及装置 |
| CN117234774A (zh) * | 2023-09-14 | 2023-12-15 | 中国建设银行股份有限公司湖南省分行 | 基于信息***的智能化故障处理方法、装置、设备及介质 |
| CN117331730A (zh) * | 2023-09-14 | 2024-01-02 | 南京领行科技股份有限公司 | 故障诊断方法、装置、电子设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785542A (zh) * | 2024-02-28 | 2024-03-29 | 深圳耀德数据服务有限公司 | 用于数据中心的智能运维方法、***、设备及存储介质 |
| CN117785542B (zh) * | 2024-02-28 | 2024-05-31 | 深圳耀德数据服务有限公司 | 用于数据中心的智能运维方法、***、设备及存储介质 |
| CN118394605A (zh) * | 2024-06-24 | 2024-07-26 | 新华三人工智能科技有限公司 | 基于人工智能模型辅助服务器bmc运维方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765265B (zh) | 信息分类抽取方法、装置、计算机设备和存储介质 | |
| US11005786B2 (en) | Knowledge-driven dialog support conversation system | |
| US20200005117A1 (en) | Artificial intelligence assisted content authoring for automated agents | |
| CN109829629B (zh) | 风险分析报告的生成方法、装置、计算机设备和存储介质 | |
| CN110704588A (zh) | 基于长短期记忆网络的多轮对话语义分析方法和*** | |
| CN117591659A (zh) | 基于ChatGLM运维场景的信息处理方法、装置、设备及介质 | |
| CN109063217B (zh) | 电力营销***中的工单分类方法、装置及其相关设备 | |
| US10678682B2 (en) | Intelligent batch job testing | |
| CN109635838A (zh) | 人脸样本图片标注方法、装置、计算机设备及存储介质 | |
| CN111859916B (zh) | 古诗关键词提取、诗句生成方法、装置、设备及介质 | |
| US11429890B2 (en) | Dynamic pattern recognition and data reconciliation | |
| CN112766319B (zh) | 对话意图识别模型训练方法、装置、计算机设备及介质 | |
| Zhong et al. | E3: Entailment-driven extracting and editing for conversational machine reading | |
| CN110362798B (zh) | 裁决信息检索分析方法、装置、计算机设备和存储介质 | |
| CN112231224A (zh) | 基于人工智能的业务***测试方法、装置、设备和介质 | |
| CN111858890A (zh) | 基于机器人的咨询方法、咨询机器人、计算机设备及介质 | |
| CN112836061A (zh) | 智能推荐的方法、装置以及计算机设备 | |
| CN115495553A (zh) | 查询文本排序方法、装置、计算机设备及存储介质 | |
| WO2024073087A1 (en) | Revision of and attribution for output of text generation models | |
| CN116894046A (zh) | 一种数据分析方法、装置、电子设备及存储介质 | |
| US20240242108A1 (en) | Training of machine learning models for predicting document metadata | |
| CN115374278A (zh) | 文本处理模型蒸馏方法、装置、计算机设备及介质 | |
| CN110780850B (zh) | 需求用例辅助生成方法、装置、计算机设备及存储介质 | |
| CN113657496A (zh) | 基于相似度匹配模型的信息匹配方法、装置、设备及介质 | |
| CN113434676A (zh) | 文本关系提取模型训练、文本关系提取方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |