CN117151088A - 文本的处理方法、装置、电子设备及存储介质 - Google Patents

文本的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117151088A
CN117151088A CN202311243188.8A CN202311243188A CN117151088A CN 117151088 A CN117151088 A CN 117151088A CN 202311243188 A CN202311243188 A CN 202311243188A CN 117151088 A CN117151088 A CN 117151088A
Authority
CN
China
Prior art keywords
processing
text
result
record text
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311243188.8A
Other languages
English (en)
Inventor
孙继超
吴贤
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311243188.8A priority Critical patent/CN117151088A/zh
Publication of CN117151088A publication Critical patent/CN117151088A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请实施例提供了一种文本的处理方法、装置、电子设备及计算机可读存储介质，涉及自然语言处理领域。本申请实施例确定目标就诊记录文本；基于生成式语言模型对目标就诊记录文本进行上下文学习处理，确定目标就诊记录文本的结构化结果；根据目标就诊记录文本的结构化结果，生成思维链路径；基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。本申请实施例不需要对生成式语言模型进行微调，大幅节约了处理时间，并且由于思维链逻辑参考了临床推理逻辑，最终得到的目标处理结果的准确率相较现有技术也存在明显的提升。

Description

文本的处理方法、装置、电子设备及存储介质
技术领域
本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种文本的处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着人工智能在医疗领域的广泛应用，人工智能(Artificial Intelligence，AI)技术作为一种辅助诊断技术在医疗上进行应用的热度越来越高。
相关技术基于文本的辅助诊断***，主要有两种方式：
方式1：有监督分类模型；
方式2：生成式大型语言模型(Large Language Model，LLM)；
两种方式均有各自的缺陷，方式1需要手机高质量的就诊记录和诊断结果，在数据收集、清洗、过滤、标签标准化需要一定的人工工作量，并且由于模型参数的限制，学习到的知识有限，对于长文本就诊记录的推理能力较差；方式2在面对长文本就诊记录时，表现不稳定，常给出相似但错误的答案，并且由于参数量巨大，使得微调成本特别昂贵。
发明内容
本申请实施例提供了一种文本的处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，可以解决现有技术的上述问题。所述技术方案如下：
根据本申请实施例的第一个方面，提供了一种就诊记录文本的处理方法，该方法包括：
确定目标就诊记录文本；
基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息；
根据所述目标就诊记录文本的结构化结果，生成思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；
基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，包括：
基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，获得所述生成式语言模型输出的所述目标就诊记录文本的结构化结果；
其中，所述第一提示指令用于指示获得所述目标就诊记录文本的结构化结果。
作为一种可选的实施方式，所述思维链路径的数量为至少两个；
所述基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果，包括：
对于每一个思维链路径，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果；
通过自恰性投票方案，从多个参考处理结果中确定所述目标处理结果。
作为一种可选的实施方式，所述基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
对所述生成式语言模型的温度参数进行调整，获得至少一个新的生成式语言模型，其中，任意两个生成式语言模型的温度参数存在差异，所述温度参数用于控制生成式语言模型的输出的随机性；
对于每个新的生成式语言模型，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述新的生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果。
作为一种可选的实施方式，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果；
其中，所述第二提示指令用于指示根据已输入的段落获得阶段性处理结果，所述参考处理结果为最后一个阶段性处理结果。
作为一种可选的实施方式，所述基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果，包括：
根据首次处理段落和所述思维链路径，确定首次处理顺序的段落对应的第二提示指令，并基于首次处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述首次处理顺序的段落确定为已输入的段落；
从第二个处理的段落开始重复执行以下步骤，直至所述结构化结果中的各个段落处理完毕，得到所述生成式语言模型输出的至少一个参考处理结果：
根据已输入的段落和所述思维链路径，确定当前处理顺序的段落以及对应的第二提示指令；
基于当前处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述当前处理顺序的段落确定为已输入的段落。
作为一种可选的实施方式，所述通过自恰性投票方案，从多个参考处理结果中确定目标处理结果，包括：
统计每个参考处理结果出现的频次，作为相应参考处理结果的投票数；
将具有最高投票数的参考处理结果作为目标处理结果。
作为一种可选的实施方式，所述基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，之前还包括：
确定所述目标就诊记录文本的目标文本特征；
从预先确定的样本特征集中确定与所述目标文本特征相似度最高的预设个数的文本特征，作为参考文本特征，将所述参考文本特征对应的历史就诊记录文本作为所述样本就诊记录文本；
其中，所述样本特征集中包括至少一个历史就诊记录的文本特征。
根据本申请实施例的第二个方面，提供了一种就诊记录文本的处理方法，该方法包括：
展示至少一个编辑框，每个编辑框用于输入对应的至少一种诊疗项目的信息，所述信息为自然语言的文本信息；
响应于在所有编辑框输入的信息，展示辅助诊断结果；
其中，所述辅助诊断结果是以所述输入框输入的信息作为目标就诊文本，基于第一方面所述的处理方法获得的。
根据本申请实施例的第三个方面，提供了一种就诊记录文本的处理装置，该装置包括：
就诊记录确定模块，用于确定目标就诊记录文本；
结构化模块，用于基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息；
路径生成模块，用于根据所述目标就诊记录文本的结构化结果，生成思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；
递进询问模块，用于基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
根据本申请实施例的第四个方面，提供了一种就诊记录文本的处理装置，该装置包括：
编辑框展示模块，用于展示至少一个编辑框，每个编辑框用于属于对应的至少一种诊疗项目的信息，所述信息为自然语言的文本信息；
结果展示模块，用于响应于在所有编辑框输入的信息，展示辅助诊断结果；
其中，所述辅助诊断结果是以所述输入框输入的信息作为目标就诊文本，基于第三方面所述的就诊记录文本的处理装置获得的。
根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行所述计算机程序以实现上述就诊记录文本的处理方法的步骤。
根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述就诊记录文本的处理方法的步骤。
根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述就诊记录文本的处理方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
通过确定目标就诊记录文本，基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，通过上下文学习处理可以在不需要对模型进行微调的情况下，确定所述目标就诊记录文本的结构化结果，并且，本申请的结构化结果包括的是就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息，本申请以诊疗项目作为结构化结果，与医生对患者进行疾病诊断所参考的信息一致，进一步地，根据结构化结果生成思维链路径，思维链路径表示目标就诊记录文本的各个段落的处理顺序，本申请参考临床上医生的推理逻辑，基于思维链路径表示的处理顺序，将段落依次输入生成式语言模型，相当于将原始问题转换为多个子问题或者中间步骤，递进式地和生成式语言模型进行交互，引导生成式语言模型地进行疾病的辅助诊断，不断得到中间答案，最终引导生成式语言模型得到最终的目标处理结果，也即辅助诊断结果，递进式询问处理过程同样不需要对模型参数进行微调，大幅节约了处理时间，并且由于思维链逻辑参考了临床推理逻辑，最终得到的目标处理结果的准确率相较现有技术也存在明显的提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1a为本申请实施例提供的实施环境的示意图；
图1b为本申请实施例提供的服务器的结构示意图；
图1c为本申请实施例提供的网页端的示意图；
图2为本申请实施例提供的一种就诊记录文本的处理方法的流程示意图；
图3a为本申请实施例提供的确定目标就诊记录文本的结构化结果的流程示意图；
图3b为本申请实施例提供的针对一个就诊记录文本实例获得结构化结果的流程示意图；
图4为本申请实施例提供的一种获得目标就诊记录文本在思维链路径下的至少一个参考处理结果的流程示意图；
图5为本申请实施例提供的一种递进式询问处理的示意图；
图6为本申请实施例提供的一种就诊记录文本的处理方法的流程示意图；
图7为本申请实施例提供的一种就诊记录文本的处理装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍和解释：
疾病辅助诊断：疾病辅助诊断是临床辅助决策***的重要组成部分，指根据医生书写的电子就诊记录文本信息通过人工智能的方法预测可能的疾病诊断，减少误诊和漏诊的可能性。
大型语言模型：语言模型是自然语言处理领域的核心问题，本质是就是用来计算一个句子的概率的模型。大型语言模型是指拥有大量参数(十亿级以上)的神经网络模型，通过无监督的方式在海量文本进行大规模的预训练，从而自主学习到自然语言的语法和语义规则，然后在下游的任务中使用。常见的大型语言预训练模型包括自然语言理解类和自然语言生成类模型等，本发明所指的大型语言模型为自然语言生成类模型。
ChatGPT：ChatGPT是OpenAI于2022年12月发布的一个人工智能聊天工具，本质是基于Transformer神经网络架构的GPT-3.5开发的一个超大型生成式预训练语言模型，它通过人类反馈的强化学习进行微调后，能够在人类的引导下给出流畅、合理、正确、无害的回答。
上下文学习：上下文学习(In-Context learning)又称情境学习，是指在特定任务中，给大型语言模型提供一组少量人工标注好的样本示例，LLM不需进行模型参数微调，就能够对新的样本按照示例样式进行准确地预测。
思维链推理：思维链(Chain-of-Thought)推理能力是指模型能够根据文本中的逻辑关系和语义关系进行推理，从而生成连贯的文本，是大语言模型参数越来越大时涌现出的一种能力。这种能力使得模型能够理解文本中的含义和逻辑结构，并根据前面的内容来预测接下来的内容。思维链推理能力对于解决复杂多步推理类的问题至关重要。
疾病辅助诊断是临床辅助决策***的核心部分，具体指，人工智能***基于医生书写的电子就诊记录(包括门急诊就诊记录和住院就诊记录)来判断患者可能的诊断，来帮助医生减少误诊与漏诊。经典的疾病辅助诊断模型一般采用有监督的分类模型：基于从医院收集的电子就诊记录与疾病诊断标签构建训练样本，然后构建机器学习或深度学习的多分类模型。这类模型在文本长度相对较短的门急诊就诊记录(一般100字以下)上取得了不错的效果，但在长度较长(一般200字以上)，组成较复杂的住院就诊记录中表现较差，住院就诊记录除了包含患者主诉与现病史，往往还包含详尽的既往史、治疗过程、体格检查以及实验室检验和影像学检查等，医生需要结合全部的信息做出准确的疾病判断。
ChatGPT这类超大型自回归生成式语言模型，通过引入人类反馈的强化学***，但在复杂的住院就诊记录上表现不佳，往往无法从就诊记录中提取临床上关键的信息做出准确而综合的判断。
需要说明的是，本申请各实施例中相关数据收集处理在实例应用时，应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。
基于此，本发明提出一种基于临床思维链推理的大型生成式语言模型(LLM)疾病辅助诊断方法。首先，借助LLM上文下学习(In-Context learning)能力，引入单样本学习(one-shot learning)方法，将住院电子就诊记录长文本拆分成结构化的几个部分(主诉与现病史，体格检查，辅助检查)，然后引入临床思维链推理的技术，模拟临床医生的临床诊断思路，化繁为简，将疾病的诊断拆分成序贯式推理步骤，分别将上述结构化后的信息一步步提供给LLM并进行递进式询问，最终给出预测结果。
为了解决大语言模型生成答案存在一定随机性的问题，最后本发明引入自洽性方案(self-consistency)，设置适中的温度参数并采样不同的思维链路径，在LLM多个预测结果中投票选出频次最高的疾病作为最终的诊断结果。
当前疾病辅助诊断模型的方式基本分为两种范式：
经典的有监督分类模型：疾病辅助诊断本质上是一个自然语言理解的文本分类任务，经典的范式是基于BERT类的掩码语言模型加下游微调的方式，首先在大规模无标注的文本语料上预训练一个语言模型，然后在下游有标注的文本上进行模型参数微调构建一个分类器用于疾病辅助诊断。
生成式大型语言模型：以GPT(Generative Pre-trained Transformer)为代表的自回归语言模型同样是基于大规模无标注的文本语料上预训练，不同的是，GPT语言模型预训练的任务是预测下一个单词是什么，所以更适合进行文本生成类的任务。通过合适的引导语与上下文学习技术，文本生成类的任务在形式上天然可以兼容文本分类任务。现有的实践表明，LLM具有零样本或少样本下的逻辑推理能力，在基于就诊记录的疾病预测任务上也有不错的表现。给模型提供一段门/急诊的就诊记录文本，通过合适的引导语如“请基于上述就诊记录给出最可能的诊断是”，LLM也可以辅助进行疾病判断并给出判断依据。
有监督的分类模型与新的LLM用于疾病辅助诊断均存在缺陷：
1)BERT类预训练模型进行特定任务微调的方法：首先，此类模型的应用范式需要针对下游任务进行模型参数的微调，因此对疾病辅助诊断类的任务，需要收集高质量的电子就诊记录及对应的疾病诊断，数据收集、清洗、过滤、标签标准化需要一定的人工工作量。其次，由于模型参数量的限制，使其能够学习到的世界知识与逻辑知识有限，对于复杂类型长文本推理能力较差。电子就诊记录除了包含类自然语言的主诉病史外，还包含医学专用术语如“神清、腹软、律齐”等，另外还包含大量医学符号及数值内容(实验室检验的数值结果等)。BERT类模型在复杂型长文本分类的任务上，即便进行大量的数据标注与微调，表现能力仍然欠佳，且提升潜力有限。最后，自然语言理解类模型无法给出疾病预测结果相应的医学解释，在临床应用上有一定的局限性。
2)ChatGPT类的LLM：ChatGPT等LLM通过合适的提示，能够给出疾病预测结果和相关解释，但ChatGPT是在通用领域进行的文本预训练，而医疗是一个专业性强、逻辑严谨的领域，在缺乏医疗针对性下游任务微调的情况下，ChatGPT有时候会犯知识事实性的错误，这对于疾病诊断是致命的。现有试验表明，当就诊记录文本长度较短(<100字)，且包含的信息较为简单时(仅有主诉或病史等文本类)，此类就诊记录以门急诊就诊记录为主，ChatGPT仍然表现出不错的疾病推理能力。但在以住院就诊记录为代表的复杂型长就诊记录(>200字)中，由于就诊记录包含信息内容较多，进行疾病诊断的需要的推理逻辑路径过长，ChatGPT有时表现不太稳定，通常会给出相似但错误的答案。同时由于此类模型参数量特别巨大(达到千亿级别)，使得针对下游特定任务的微调成本特别昂贵，一般LLM不推荐进行特定任务微调的应用方案。
本申请提供的就诊记录文本的处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，旨在解决现有技术的如上技术问题。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1a为本申请实施例提供的实施环境的示意图，该实施环境可以包括服务器110和终端120。该服务器110与终端120之间建立有线或无线通信连接。可选地，该服务器110可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云计算服务的云服务器。该终端120可以是个人计算机(Personal Computer，PC)、车载终端、平板电脑、智能手机、可穿戴设备、智能机器人等具备数据计算、处理和存储能力的终端。
在本申请实施例中，该***中的终端120可以用于获取目标就诊记录文本，并将该目标就诊记录文本发送至服务器110。服务器110可以基于生成式语言模型以及本地存储的样本就诊记录文本对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，根据所述目标就诊记录文本的结构化结果，生成多种思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；对于每种思维链路径，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果；通过自恰性投票方案，从多个参考处理结果中确定目标处理结果。
可选地，该样本就诊记录文本也可以是终端120中预先存储的。
可选地，该终端120中也可以存储有已完成预训练和微调的生成式语言模型，终端120获取到目标就诊记录文本后，可以直接将该目标就诊记录文本输入至生成式语言模型，该生成式语言模型进而能够对该目标就诊记录文本进行处理，并输出目标处理结果。相应的，该***也可以不包括服务器110。
结合上述名词简介和应用场景，对本申请实施例提供的语言模型的预训练方法进行说明。该方法可以应用于计算机设备，该计算机设备可以是图1a所示场景中的服务器110。
请参考图1b，其示出了本申请一个实施例提供的服务器110的结构示意图，该服务器可以包括：用于记录的运算设备1110、用于存储的运算设备1120和用于处理的运算设备1130。
用于记录的运算设备1110是指用于记录患者就诊情况的运算设备，例如，医生在对某一患者做出诊断后，可以在用于记录的运算设备1110上记录该患者的诊断结果，以形成诊断记录；或者，某一患者在就诊时使用与用于记录的运算设备1110连接的检查仪器上进行了某项检查，检查结束后，用于记录的运算设备1110会记录患者的检查结果，以形成诊断记录。可选地，一个患者的一次就诊情况可以对应一条就诊记录，也可以对应多条就诊记录，本申请实施例对此不作限定。
用于存储的运算设备1120是指用于存储患者就诊记录的运算设备，可选地，考虑到运算设备的存储能力和处理开销，可以采用单独的运算设备来存储患者的就诊记录，即用于记录的运算设备1110与用于存储的运算设备1120可以实现为不同的运算设备。本申请实施例中，用于记录的运算设备1110在形成患者的就诊记录后，可以将就诊记录发送给用于存储的运算设备1120，由用于存储的运算设备1120对就诊记录进行存储。
用于处理的运算设备1130是指用于处理患者目标电子就诊记录的运算设备，可选地，某一患者的目标电子就诊记录可以由该患者的至少一条就诊记录组成。可选地，考虑到运算设备的存储能力和处理开销，也可以采用单独的运算设备来处理患者的目标电子就诊记录，即用于处理的运算设备1130，与用于记录的运算设备1110和用于存储的运算设备1120，可以实现为不同的运算设备。可选地，用于处理的运算设备1130可以根据非结构化电子就诊记录获得辅助诊断结果，例如，某一患者的主治医师可以通过用于处理的运算设备1130查看该患者的辅助诊断结果，具体实现过程如下：用于处理的运算设备1130接收到该主治医师的查看指令后，根据该查看指令从用于存储的运算设备1120中，调取该患者的历史就诊记录，即该患者的目标电子就诊记录，然后对该目标电子就诊记录进行本申请实施例的处理，形成该患者的辅助诊断结果，并且将该辅助诊断结果推送至界面中显示，以提供给该患者的主治医生查看。
本申请实施例中，用于记录的运算设备1110与用于存储的运算设备1120之间、以及用于存储的运算设备1120与用于处理的运算设备1130之间，可以通过网络进行互相通信。该网络可以是有线网络，也可以是无线网络。示例性地，用于记录的运算设备1110记录下患者的就诊情况后，将就诊记录通过网络发送给用于存储的运算设备1120，由用于存储的运算设备1120对患者的就诊记录进行存储和管理等，然后用于处理的运算设备1130可以根据查看指令，通过网络从用于存储的运算设备1120中获取某一患者的目标电子就诊记录，即该患者的至少一条就诊记录，并对该目标电子就诊记录进行处理，以形成该患者的辅助诊断结果。
请参见图1c，其示例性地示出了本申请实施例的就诊记录文本的处理方法的程序产品(简称信息处理产品)的网页端示意图，该网页端可以由用于处理的运算设备1130进行展示，如图所示，信息处理产品部署在医生工作台，以客户端或者网页端插件的形式嵌入医院信息管理***中，图1c中的就诊记录为***性红斑狼疮，医生完成就诊记录文本的输入后，就诊记录文本会经过本申请实施例的流程——先获得就诊记录文本的结构化文本，结构化文本包括3个段落，分别为主诉与病史、体格检查和辅助检查，之后根据结构化结果通过思维链的形式对生成式语言模型进行递进式询问处理，最终通过自恰性投票方案，从多个参考处理结果中确定目标处理结果，也即辅助诊断结果，辅助临床医生进行诊断与治疗的决策。图1c所示就诊记录中，生成式语言模型通过现病史中“面部蝶形红斑、关节肿痛”等，结合体格检查“口腔溃疡”，最后结合辅助检查“血细胞减少”等关键信息，最终得出的目标处理结果为“***性红斑狼疮”，符合该就诊记录的临床诊断。
需要说明的一点是，上述实施例提供的实施环境仅是一种可能的示例，本领域技术人员在了解了本申请实施例的技术方案后，将很容易想到其它的表现形式，例如，将用于记录的计算机设备、用于存储的计算机设备和用于处理的计算机设备实现为同一台计算机设备，但均应属于本申请的保护范围之内。
下文以该就诊记录文本的处理方法应用于服务器为例进行说明，如图2所示，该方法包括如下步骤。
S2101、确定目标就诊记录文本。
本申请实施例的目标就诊记录文本，是指患者就诊时形成的电子就诊记录所包含的文本，该电子就诊记录可以包括直接输入至计算机设备的就诊记录，也可以包括纸质就诊记录的扫描件等，本申请实施例对电子就诊记录的具体表现形式不作限定。
电子就诊记录的文本包括患者就诊时的就诊记录，本申请实施例中，患者在就诊时可以形成相应的就诊记录，该就诊记录可以包括患者就诊时医生的诊断结果，也可以包括患者就诊时进行的一系列检查的检查报告，本申请实施例对就诊记录的具体表现形式不作限定，患者历史就诊时的就诊记录可以形成目标就诊记录文本。
本申请实施例对目标就诊记录文本的具体生成方式不作限定，可选地，该目标就诊记录文本可以是医生进行诊断时由医生在计算机设备中手动填写的；该内容信息也可以是患者进行检查时由检查仪器在计算机设备中自动生成的。
本申请实施例对目标就诊记录文本中包括的就诊记录的具体数量不作限定，可选地，该目标就诊记录文本中可以包括患者历史就诊过程中所生成的全部就诊记录；该目标就诊记录文本中也可以包括患者历史就诊过程中所生成的符合预设条件的就诊记录，即计算机设备在获取目标就诊记录文本时，可以设置一定的条件，以对就诊记录进行筛选，得到满足条件的就诊记录，可选地，该条件可以包括以下至少一种类型：时间条件、年龄条件、地域条件、疾病条件、症状条件、体征条件、性别条件等，本申请实施例对条件类型的种类不作限定，应用中可以结合实际的需求决定具体的条件类型。例如，计算机设备在获取内容信息时，可以设置时间条件：2020年1月至2023年12月，则获取到的就诊记录包括患者在2020年1月至2023年12月期间就诊时所生成的全部就诊记录。又例如，计算机设备在获取就诊记录时，可以设置疾病条件：直肠癌，则获取到的内容信息包括患者由于直肠癌这一原因进行就诊时所生成的全部就诊记录。通过在获取就诊记录时设置一定的条件，可以结合实际需求有针对性地获取就诊记录，同时，避免计算机设备获取到不需要的冗余信息，降低计算机设备的处理开销。
S2102、基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息。
为了提供递进式思维链推理所需要的提示语内容，本申请实施例需要将原始的目标就诊记录文本进行结构化处理。在一些实施例中，本申请实施例结构化结果包括三个段落：主诉与病史、体格检查以及辅助检查。
主诉与病史记载了患者本次发病的主要症状、伴随症状、发病过程、治疗过程与疾病史等，也是临床医生对患者问诊内容的总结。
体格检查指临床医生运用自己的感官和借助于简便的检查工具如听诊器、血压计等对患者全面体征状况的总结(如率齐、神清、肺湿杂音等)。
辅助检查指借助医疗器械对患者生理指标或内脏器官形态进行的客观检查，一般包括体液、心电、影像学、内镜检查等。
需要注意的是，规范的住院就诊记录摘要一般都包含上述三个部分，但由于就诊记录书写的差异，简单的字符模式匹配不能准确地拆分出上述段落。例如，辅助检查结果可能以不同的关键词开头：血常规、免疫、胃镜、***镜、B超等。
本申请实施例具体通过生成式语言模型的上下文学习能力，来实现就诊记录文本的结构化。上下文学习能力又称为语境学习、少样本学习，是生成式语言模型的参数越来越多所涌现出的一种能力，是指想要生成式语言模型完成指定的任务时，仅仅只需要给出一个或几个人工标注的样本示例<xi,yi>，然后再给一个新样本xi+1，模型就能成功预测yi+1，这个过程中并没有反向传播进行模型参数的微调。也就是说，本申请获得结构化结果的方式，克服了现有技术中需要对模型参数进行微调所导致的人工和时间成本高的弊端。
S2103、根据所述目标就诊记录文本的结构化结果，生成思维链路径。
逻辑链推挤参考了人类解决问题方式方法，将复杂多步的问题转化成了有序连贯的、简单的问题，通过一步步获得中间结果，最终输出结论。
在疾病诊断的临床实践中，医生首先通过与患者对话获得了基本的症状病史信息，形成了初步的疾病诊断结果集诊集合，然后为了进一步进行鉴别诊断，医生会对患者进行体格检查排除相关疾病，最后结合辅助仪器检查结果，形成最终的疾病诊断。这就是临床思维链的基本推理逻辑。
本申请实施例模拟人类医生思维链推理过程，将目标就诊记录文本通过步骤S2102拆分为多个段落，然后将这些段落进行排序，也即，思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序。
S2104、基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
本申请实施例对目标就诊记录文本的各个段落，按照思维链路径表示的处理顺序，依次将每一段落的信息输入生成式语言模型，并添加合适的提示语，引导生成式语言模型递进式地进行疾病的辅助诊断，获得目标处理结果，也即辅助诊断结果。
本申请实施例的就诊记录文本的处理方法，通过确定目标就诊记录文本，基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，通过上下文学习处理可以在不需要对模型进行微调的情况下，确定所述目标就诊记录文本的结构化结果，并且，本申请的结构化结果包括的是就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息，本申请以诊疗项目作为结构化结果，与医生对患者进行疾病诊断所参考的信息一致，进一步地，根据结构化结果生成思维链路径，思维链路径表示目标就诊记录文本的各个段落的处理顺序，本申请参考临床上医生的推理逻辑，基于思维链路径表示的处理顺序，将段落依次输入生成式语言模型，相当于将原始问题转换为多个子问题或者中间步骤，递进式地和生成式语言模型进行交互，引导生成式语言模型地进行疾病的辅助诊断，不断得到中间答案，最终引导生成式语言模型得到最终的目标处理结果，也即辅助诊断结果，递进式询问处理过程同样不需要对模型参数进行微调，大幅节约了处理时间，并且由于思维链逻辑参考了临床推理逻辑，最终得到的目标处理结果的准确率相较现有技术也存在明显的提升。
在上述各实施例的基础上，作为一种可选实施例，基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，包括：
基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，获得所述生成式语言模型输出的所述目标就诊记录文本的结构化结果；
其中，所述第一提示指令用于指示获得所述目标就诊记录文本的结构化结果。
本申请实施例借助LLM上文下学习能力，引入单样本学习(one-shot learning)方法，通过预先标注少量几个样本就诊记录文本的结构化结果，将样本就诊记录文本、样本就诊记录文本的结构化结果、所述目标就诊记录文本进行拼接，获得拼接文本，将第一提示指令和拼接文本一同输入到生成式语言模型，则生成式语言模型可以准确地给出结构化结果。
需要说明的是，上下文学习样本一般采用随机选择的方法，本申请实施例发现，选择样本空间中距离接近的样本作为示例可以充分激发LLM上下文学习的能力，提升预测的准确率，基于此，本申请实施例提供了一种获得目标就诊记录文本的相似就诊记录文本的方案，包括：
确定所述目标就诊记录文本的目标文本特征；
从预先确定的样本特征集中确定与所述目标文本特征相似度最高的预设个数的文本特征，作为参考文本特征，将所述参考文本特征对应的历史就诊记录文本作为所述样本就诊记录文本。
具体地，本申请实施例首先可以通过人工标注的方式，标注一批少量的就诊记录文本集DL；
然后，采用中文预训练的语言模型，如BERT，RoBERTa等，作为编码器，将就诊记录文本集DL中的每个历史就诊记录文本xi进行编码，得到文本特征vi；在一个实施例中，将语言模型的输出层输出的CLS位置的向量作为就诊记录文本的文本向量。CLS即classification，可以理解为用于下游的分类任务的标签，它是一个能够代表整个文本语义的特征向量，即代表整个文本的标签。
对于一个目标就诊记录文本x_test，同样用编码器得到目标文本特征，之后计算目标就诊记录文本与就诊记录文本集DL中所有历史就诊记录文本的文本特征间的余弦相似度si；
选择相似度最大的k(例如为2)个样本作为上下文学习的示例，也即样本就这记录文本。
请参见图3a，其示例性地示出了本申请实施例确定目标就诊记录文本的结构化结果的流程示意图，如图所示，对样本就诊记录文本，也即文本1进行标注，获得样本就诊记录文件的结构化结果，图中示出的结构化结果的格式为“就诊记录一：***。就诊记录一结构化结果：#主诉与病史：***；#体格检查：***；#辅助检查：***”，然后将待结构化的就诊记录文本，也即文本2置于标注的文本1之后，获得拼接文本，将第一指示指令“就诊记录二的结构化结果”以及拼接后的文本一同输入到生成式语言模型，获得生成式语言模型输出的文本2的结构化结果：#主诉与病史：***；#体格检查：***；#辅助检查：***”。
请参见图3b，其示例型地示出了本申请实施例针对一个就诊记录文本实例获得结构化结果的流程示意图，如图所示，首先由医生在文本编辑页面3101中编辑待结构化的就诊记录文本一3102，在编辑完成后，医生点击确定控件3103，后台将预先标注的就诊记录文本二3104和就诊记录文本一3102拼接得到拼接文本3105，拼接文本3105中的内容从前到后依次包括就诊记录文本二3104、就诊记录文本二的结构化结果3106、待结构化的就诊记录文本一3102以及第一提示指令3107，输出的结果可以明显看出就诊记录文本一3102同样被结构化为主诉与病史、体格检查以及辅助检查3个段落。
在上述各实施例的基础上，作为一种可选实施例，临床思维链推理的标准顺序为“主诉与病史->体格检查->辅助检查”，也即医生会先确定患者的主诉与病史，然后进行体格检查，再进行辅助检查，但实际情况中也存在临床思维顺序倒置的问题，例如，患者得到了一些异常的影像学结果，然后向医生问诊，此时思维链顺序变成了“辅助检查->主诉与病史->体格检查”。由此可知，本申请实施例的思维链路径的数量为至少两个。
需要注意的是，在临床实践中确定体格检查一定是位于主诉与病史之后。所以，本申请实施例的思维链路径可以包括以下至少一者：
1)主诉与病史->体格检查->辅助检查；
2)辅助检查->主诉与病史->体格检查；
3)主诉与病史->辅助检查->体格检查。
基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果，包括：
对于每一个思维链路径，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果；
通过自恰性投票方案，从多个参考处理结果中确定所述目标处理结果。
可以理解的是，由于生成式语言模型的输出具有随机性，所以针对每一个思维链路径，通过多次基于该思维链路径输入目标就诊记录文本的结构化结果，可以获得目标就诊记录文本在思维链路径下的至少一个参考处理结果，进一步，引入自恰性投票方案进行归纳汇总，从参考处理结果中确定所述目标处理结果。
自恰性投票方案可提升生成式语言模型的推理准确性，一般来说，复杂的推理任务通常可以得到多个能够获得正确答案的推理逻辑，自恰性头皮方案通过采样多个参考处理结果，返回其中最自恰的答案，也即目标处理结果。
在上述各实施例的基础上，作为一种可选实施例，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
对所述生成式语言模型的温度参数进行调整，获得至少两个新的生成式语言模型，其中，任意两个生成式语言模型的温度参数存在差异，所述温度参数用于控制生成式语言模型的输出的随机性；
对于每个新的生成式语言模型，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述新的生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果。
需要说明的是，对于相同的思维链路径，生成式语言模型的输出也存在一定的随机性，而这种随机性由温度参数控制——温度参数的数值越大，则输出结果越随机，温度参数的数值越小，则输出结果越聚焦，确定性也越强。
请参见图4，其示例性地示出了本申请实施例获得目标就诊记录文本在思维链路径下的至少一个参考处理结果的流程示意图，如图所示，通过对生成式语言模型1的温度参数进行调整，获得了多个新的生成式语言模型，例如，若生成式语言模型1的温度参数为t，则新的生成式语言模型2的温度参数可以为t+Δt1，新的生成式语言模型3的温度参数可以为t+Δt2，…新的生成式语言模型n的温度参数可以为t+Δtn-1，Δt即为温度参数的调整量。
本申请实施例在通过调整温度参数获得多个生成式语言模型后，针对每个生成式语言模型(包括调整前的生成式语言模型和新的生成式语言模型)，基于思维链路径和所述目标就诊记录文本的结构化结果，通过每个生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的、每个生成式语言模型输出的参考处理结果。
在上述各实施例的基础上，作为一种可选实施例，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果。
本申请实施例的第二提示指令用于指示根据已输入的段落获得阶段性处理结果，也就是说，不同处理顺序输入的第二提示指令可以相同，也可以不同，以段落数为3举例说明，每一次输入的第二提示指令均可以是“根据不清的信息，患者可能的诊断为？”，也可以是：第一次输入的第二提示指令为“初步判断该患者可能的诊断为？”，第二次输入的第二提示指令为“进一步判断该患者可能的诊断为？”，第三次输入的第二提示指令为“最后判断该患者可能的诊断为？”。
本申请实施例参考处理结果为最后一个阶段性处理结果，也即在思维链路径的最后一个段落输入生成式语音模型后，生成式语言模型输出的参考处理结果。
请参见图5，其示例性地示出了本申请实施例基于思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理的示意图，如图所示，该示例的思维链路径为：主诉与病史->体格检查->辅助检查，因此第一次输入的第二提示指令为“初步判断该患者可能患有哪些疾病”，生成式语言模型根据输入的主诉与病史5101以及第二提示指令5102，输出第一个阶段性处理结果5103，再次输入体格检查的结果5104以及第二个的第二提示指令5105，获得第二个阶段性处理结果5106，最后输入辅助检查的结果5107以及第三个第二提示指令5108，获得第三个阶段性处理结果5109。
在上述各实施例的基础上，作为一种可选实施例，基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果，包括：
根据首次处理段落和所述思维链路径，确定首次处理顺序的段落对应的第二提示指令，并基于首次处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述当前处理顺序的段落确定为已输入的段落；
从第二个处理的段落开始重复执行以下步骤，直至所述结构化结果中的各个段落处理完毕，得到所述生成式语言模型输出的至少一个参考处理结果：
根据已输入的段落和所述思维链路径，确定当前处理顺序的段落以及对应的第二提示指令；
基于当前处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述当前处理顺序的段落确定为已输入的段落。
上述各实施例的基础上，作为一种可选实施例，通过自恰性投票方案，从多个参考处理结果中确定目标处理结果，包括：
统计每个参考处理结果出现的频次，作为相应参考处理结果的投票数；
将具有最高投票数的参考处理结果作为目标处理结果。
本申请实施例通过对生成式语言模型的温度参数进行调整，获得不同随机性的生成式语言模型，同时，通过对段落的顺序进行调整，获得多条思维链路径，针对每条思维链路径，利用该思维链路径和所述目标就诊记录文本的结构化结果，通过一个生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，之后统计每个参考处理结果出现的频次，作为相应参考处理结果的投票数，将具有最高投票数的参考处理结果作为目标处理结果，例如，如果一共获得3个参考处理结果，分别为参考处理结果1～3，其中参考处理结果1出现了4次，参考处理结果2出现了3次，参考处理结果3出现了5次，那么将参考处理结果3作为目标处理结果。
请参见图6，其示例性地示出了本申请一个实施例的就诊记录文本的处理方法的流程示意图，如图所示，首先确定目标就诊记录文本，然后基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，获得所述生成式语言模型输出的所述目标就诊记录文本的结构化结果，再根据所述目标就诊记录文本的结构化结果，生成多条思维链路径，思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序，并且，根据生成式语言模型的温度参数进行调整，获得至少一个新的生成式语言模型，基于思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得生成式语言模型输出的至少一个参考处理结果，最后统计每个参考处理结果出现的频次，作为相应参考处理结果的投票数；将具有最高投票数的参考处理结果作为目标处理结果。
本申请实施例提供了一种就诊记录文本的处理装置，如图7所示，该就诊记录文本的处理装置可以包括：就诊记录确定模块701、结构化模块702、路径生成模块703以及递进询问模块704，其中，
就诊记录确定模块701，用于确定目标就诊记录文本；
结构化模块702，用于基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息；
路径生成模块703，用于根据所述目标就诊记录文本的结构化结果，生成思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；
递进询问模块704，用于基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
本申请实施例还提供了一种就诊记录文本的处理装置，该装置包括：
编辑框展示模块，用于展示至少一个编辑框，每个编辑框用于属于对应的至少一种诊疗项目的信息，所述信息为自然语言的文本信息；
结果展示模块，用于响应于在所有编辑框输入的信息，展示辅助诊断结果；
其中，所述辅助诊断结果是以所述输入框输入的信息作为目标就诊文本，基于第三方面所述的就诊记录文本的处理装置获得的。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现就诊记录文本的处理方法的步骤，与相关技术相比可实现：通过确定目标就诊记录文本，基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，通过上下文学习处理可以在不需要对模型进行微调的情况下，确定所述目标就诊记录文本的结构化结果，并且，本申请的结构化结果包括的是就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息，本申请以诊疗项目作为结构化结果，与医生对患者进行疾病诊断所参考的信息一致，进一步地，根据结构化结果生成思维链路径，思维链路径表示目标就诊记录文本的各个段落的处理顺序，本申请参考临床上医生的推理逻辑，基于思维链路径表示的处理顺序，将段落依次输入生成式语言模型，相当于将原始问题转换为多个子问题或者中间步骤，递进式地和生成式语言模型进行交互，引导生成式语言模型地进行疾病的辅助诊断，不断得到中间答案，最终引导生成式语言模型得到最终的目标处理结果，也即辅助诊断结果，递进式询问处理过程同样不需要对模型参数进行微调，大幅节约了处理时间，并且由于思维链逻辑参考了临床推理逻辑，最终得到的目标处理结果的准确率相较现有技术也存在明显的提升。
在一个可选实施例中提供了一种电子设备，如图8所示，图8所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (13)

1.一种就诊记录文本的处理方法，其特征在于，包括：
确定目标就诊记录文本；
基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息；
根据所述目标就诊记录文本的结构化结果，生成思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；
基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
2.根据权利要求1所述的方法，其特征在于，所述基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，包括：
基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，获得所述生成式语言模型输出的所述目标就诊记录文本的结构化结果；
其中，所述第一提示指令用于指示获得所述目标就诊记录文本的结构化结果。
3.根据权利要求1所述的方法，其特征在于，所述思维链路径的数量为至少两个；
所述基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果，包括：
对于每一个思维链路径，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果；
通过自恰性投票方案，从多个参考处理结果中确定所述目标处理结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
对所述生成式语言模型的温度参数进行调整，获得至少一个新的生成式语言模型，其中，任意两个生成式语言模型的温度参数存在差异，所述温度参数用于控制生成式语言模型的输出的随机性；
对于每个新的生成式语言模型，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述新的生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果。
5.根据权利要求3或4所述的方法，其特征在于，基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，获得所述目标就诊记录文本在所述思维链路径下的至少一个参考处理结果，包括：
基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果；
其中，所述第二提示指令用于指示根据已输入的段落获得阶段性处理结果，所述参考处理结果为最后一个阶段性处理结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述思维链路径、所述目标就诊记录文本的结构化结果以及处理顺序对应的第二提示指令，通过生成式语言模型进行递进式询问处理，获得所述生成式语言模型输出的至少一个参考处理结果，包括：
根据首次处理段落和所述思维链路径，确定首次处理顺序的段落对应的第二提示指令，并基于首次处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述首次处理顺序的段落确定为已输入的段落；
从第二个处理的段落开始重复执行以下步骤，直至所述结构化结果中的各个段落处理完毕，得到所述生成式语言模型输出的至少一个参考处理结果：
根据已输入的段落和所述思维链路径，确定当前处理顺序的段落以及对应的第二提示指令；
基于当前处理顺序的段落以及对应的第二提示指令，通过所述生成式语言模型进行询问处理，获得所述目标就诊记录文本在所述思维链路径的阶段性处理结果，并将所述当前处理顺序的段落确定为已输入的段落。
7.根据权利要求1所述的方法，其特征在于，所述通过自恰性投票方案，从多个参考处理结果中确定目标处理结果，包括：
统计每个参考处理结果出现的频次，作为相应参考处理结果的投票数；
将具有最高投票数的参考处理结果作为目标处理结果。
8.根据权利要求2所述的方法，其特征在于，所述基于样本就诊记录文本、所述样本就诊记录文本的结构化结果、所述目标就诊记录文本以及第一提示指令，通过所述生成式语言模型进行上下文学习处理，之前还包括：
确定所述目标就诊记录文本的目标文本特征；
从预先确定的样本特征集中确定与所述目标文本特征相似度最高的预设个数的文本特征，作为参考文本特征，将所述参考文本特征对应的历史就诊记录文本作为所述样本就诊记录文本；
其中，所述样本特征集中包括至少一个历史就诊记录的文本特征。
9.一种就诊记录文本的处理方法，其特征在于，包括：
展示至少一个编辑框，每个编辑框用于输入对应的至少一种诊疗项目的信息，所述信息为自然语言的文本信息；
响应于在所有编辑框输入的信息，展示辅助诊断结果；
其中，所述辅助诊断结果是以所述输入框输入的信息作为目标就诊文本，基于权利要求1-8任意一项所述的处理方法获得的。
10.一种就诊记录文本的处理装置，其特征在于，包括：
就诊记录确定模块，用于确定目标就诊记录文本；
结构化模块，用于基于生成式语言模型对所述目标就诊记录文本进行上下文学习处理，确定所述目标就诊记录文本的结构化结果，所述结构化结果包括就诊记录文本的多个段落，每个段落为相应一个诊疗项目的信息；
路径生成模块，用于根据所述目标就诊记录文本的结构化结果，生成思维链路径，所述思维链路径用于表示所述目标就诊记录文本的各个段落的处理顺序；
递进询问模块，用于基于所述思维链路径和所述目标就诊记录文本的结构化结果，通过所述生成式语言模型进行递进式询问处理，以获得目标处理结果。
11.一种就诊记录文本的处理装置，其特征在于，包括：
编辑框展示模块，用于展示至少一个编辑框，每个编辑框用于属于对应的至少一种诊疗项目的信息，所述信息为自然语言的文本信息；
结果展示模块，用于响应于在所有编辑框输入的信息，展示辅助诊断结果；
其中，所述辅助诊断结果是以所述输入框输入的信息作为目标就诊文本，基于权利要求10所述的就诊记录文本的处理装置获得的。
12.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。
CN202311243188.8A 2023-09-21 2023-09-21 文本的处理方法、装置、电子设备及存储介质 Pending CN117151088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311243188.8A CN117151088A (zh) 2023-09-21 2023-09-21 文本的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311243188.8A CN117151088A (zh) 2023-09-21 2023-09-21 文本的处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117151088A true CN117151088A (zh) 2023-12-01

Family

ID=88884222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311243188.8A Pending CN117151088A (zh) 2023-09-21 2023-09-21 文本的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117151088A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608764A (zh) * 2024-01-18 2024-02-27 成都索贝数码科技股份有限公司 一种容器平台运维方法及***
CN117828087A (zh) * 2024-01-08 2024-04-05 北京三维天地科技股份有限公司 基于llm的医疗器械数据分类方法及***
CN117892818A (zh) * 2024-03-18 2024-04-16 浙江大学 一种基于隐式思维链的大语言模型推理性内容生成方法
CN117828087B (zh) * 2024-01-08 2024-07-09 北京三维天地科技股份有限公司 基于llm的医疗器械数据分类方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117828087A (zh) * 2024-01-08 2024-04-05 北京三维天地科技股份有限公司 基于llm的医疗器械数据分类方法及***
CN117828087B (zh) * 2024-01-08 2024-07-09 北京三维天地科技股份有限公司 基于llm的医疗器械数据分类方法及***
CN117608764A (zh) * 2024-01-18 2024-02-27 成都索贝数码科技股份有限公司 一种容器平台运维方法及***
CN117608764B (zh) * 2024-01-18 2024-04-26 成都索贝数码科技股份有限公司 一种容器平台运维方法及***
CN117892818A (zh) * 2024-03-18 2024-04-16 浙江大学 一种基于隐式思维链的大语言模型推理性内容生成方法
CN117892818B (zh) * 2024-03-18 2024-05-28 浙江大学 一种基于隐式思维链的大语言模型推理性内容生成方法

Similar Documents

Publication Publication Date Title
Aafjes-van Doorn et al. A scoping review of machine learning in psychotherapy research
US11282196B2 (en) Automated patient complexity classification for artificial intelligence tools
Cheng et al. The now and future of ChatGPT and GPT in psychiatry
CN104011711B (zh) 文本分析***
US11031103B2 (en) Personalized questionnaire for health risk assessment
CN117151088A (zh) 文本的处理方法、装置、电子设备及存储介质
US10892056B2 (en) Artificial intelligence based alert system
CN117253576B (zh) 基于中文医疗大模型的门诊电子病历生成方法
US20190370383A1 (en) Automatic Processing of Ambiguously Labeled Data
Mozayan et al. Practical guide to natural language processing for radiology
US11990216B2 (en) Detecting discrepancies between clinical notes and administrative records
Jefford et al. Post-structural feminist interpretive interactionism
Winter et al. (De) troubling transparency: artificial intelligence (AI) for clinical applications
CN117076668A (zh) 文本信息处理方法、装置、设备、存储介质及程序产品
CN115458113A (zh) 一种病历生成方法、***、存储介质和电子设备
Kang et al. A neuro-symbolic method for understanding free-text medical evidence
Sovrano et al. Generating user-centred explanations via illocutionary question answering: From philosophy to interfaces
Zaghir et al. Real-world patient trajectory prediction from clinical notes using artificial neural networks and UMLS-based extraction of concepts
Biswas et al. Can ChatGPT be Your Personal Medical Assistant?
Abid et al. Artificial Intelligence in Urology: current status and future perspectives
Yu et al. Large Language Models in Biomedical and Health Informatics: A Bibliometric Review
CN117995368B (zh) 基于随访数据的个性化医疗影像诊断质量保障方法及***
US11568997B2 (en) Dynamic context-based collaborative medical concept interpreter
Welch et al. Grounded theory-a lens to understanding clinical reasoning
Montenegro et al. AI-Based Medical Scribe to Support Clinical Consultations: A Proposed System Architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication