CN117370933B - 多模态统一特征提取方法、装置、设备及介质 - Google Patents

多模态统一特征提取方法、装置、设备及介质 Download PDF

Info

Publication number
CN117370933B
CN117370933B CN202311434500.1A CN202311434500A CN117370933B CN 117370933 B CN117370933 B CN 117370933B CN 202311434500 A CN202311434500 A CN 202311434500A CN 117370933 B CN117370933 B CN 117370933B
Authority
CN
China
Prior art keywords
feature extraction
modality
feature
mode
extraction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311434500.1A
Other languages
English (en)
Other versions
CN117370933A (zh
Inventor
何昆仑
赵亚威
柳青河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN202311434500.1A priority Critical patent/CN117370933B/zh
Publication of CN117370933A publication Critical patent/CN117370933A/zh
Application granted granted Critical
Publication of CN117370933B publication Critical patent/CN117370933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供一种多模态统一特征提取方法、装置、设备及介质，该多模态统一特征提取方法包括：获取多模态目标医疗数据；根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果；通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果；对第二特征结果进行融合，得到融合特征；对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。本发明的有益效果为：将多模态数据，通过专家知识的大模型提示工程，诱导大模型产生相应的特征，并进行循环聚合，使不同模态的数据融合成统一的表示，实现了医疗多模态数据间融合和补全，提高了医疗数据特征提取及识别的稳定性和准确性。

Description

多模态统一特征提取方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种多模态统一特征提取方法、装置、设备及介质。
背景技术
大部分多模态智能学习算法是通过特殊的神经网络，将多模态数据抽取成统一的特征表示，再经由此统一的特征表示执行下游任务。但是，在医疗数据中，其通常以多模态数据存在，数据模态的缺失会影响医疗数据识别的准确性。
发明内容
本发明实施例的主要目的在于提出一种多模态统一特征提取方法、装置、设备及介质，实现了医疗多模态数据间融合和补全，提高了医疗数据特征提取及识别的稳定性和准确性。
本发明的一方面提供了一种多模态统一特征提取方法，包括：
根据医疗特征提取请求，获取目标医疗数据，所述目标医疗数据为多模态数据，所述目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；
根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果；
根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，通过所述第一特征提取结果对所述缺失特征进行补全，得到第二特征提取结果；
对所述第二特征结果进行融合，得到融合特征，所述融合特征表示所述目标医疗数据的统一表征；
对所述融合特征进行识别，得到所述目标医疗数据的医疗特征识别结果。
根据所述的多模态统一特征提取方法，其中根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果，包括：
对所述目标医疗数据的模态进行识别和分类，基于每种分类，选取对应类型的特征提取模型进行特征提取，得到每种模态的第一特征提取结果。
根据所述的多模态统一特征提取方法，其中根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，得到第二特征提取结果，包括：
将第一模态的第一特征提取结果与除第一模态对应的第一特征提取结果进行诱导，得到特征提取模型诱导特征，第一模态为多模态数据中的任一种；
若第一模态的第一特征提取结果无法表征诱导特征时，以除第一模态以外的第一特征提取结果对第一模态诱导特征进行补全，确定所述第二特征提取结果；以及，根据第一模态的第一特征提取结果、除第一模态意外的第一特征提取结果及诱导特征的对比结果确定所述第二特征提取结果。
根据所述的多模态统一特征提取方法，其中根据第一模态的第一特征提取结果、除第一模态意外的第一特征提取结果及诱导特征的对比结果确定所述第二特征提取结果，包括：
若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果不一致，以第一模态的第一特征提取结果作为第二特征提取结果；
若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果之间一致，以除第一模态以外的第一特征提取结果作为第二特征提取结果。
根据所述的多模态统一特征提取方法，其中方法还包括：
根据疾病指南、治疗原则和专家讨论中的至少一种确定模态缺失提示库和问答库，所述模态缺失提示库用于检测模态是否存在确实，所述问答库用于确定医疗数据的所属模态；
通过对医疗数据采用问答库进行检测，确定第一模态，获取第一模态的特征向量及除第一模态以外的特征向量，通过模态缺失提示库和除第一模态以外的特征向量对存在模态缺失第一模态的特征向量进行补全。
根据所述的多模态统一特征提取方法，其中对所述第二特征结果进行融合，得到融合特征包括：
对所有第一模态的第一特征提取结果进行循环聚合，得到不再发生变化的第二特征提取结果，其中循环聚合用于表征特征的补全和关联；
将所有第一模态不再发生变化的第二特征结果进行融合，得到融合特征。
本发明实施例的另一方面提供了一种多模态统一特征提取装置，包括：
第一模块，用于根据医疗特征提取请求，获取目标医疗数据，所述目标医疗数据为多模态数据，所述目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；
第二模块，用于根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果；
第三模块，用于根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，通过所述第一特征提取结果对所述缺失特征进行补全，得到第二特征提取结果；
第四模块，用于对所述第二特征结果进行融合，得到融合特征，所述融合特征表示所述目标医疗数据的统一表征；
第五模块，用于对所述融合特征进行识别，得到所述目标医疗数据的医疗特征识别结果。
本发明实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前文所描述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前文所描述的方法。
本发明的有益效果为：将临床数据包括影像、文本和结构化等多个模态的数据，通过专家知识的大模型提示工程，诱导大模型产生相应的特征，并进行循环聚合，使不同模态的数据融合成统一的表示，实现了医疗多模态数据间融合和补全，提高了医疗数据特征提取及识别的稳定性和准确性。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明实施例的多模态统一特征提取***示意图。
图2是本发明实施例的多模态统一特征提取的方法流程示意图。
图3是本发明实施例的缺失特征补全及关联流程示意图。
图4是本发明实施例的基于模态缺失库和问答库的多模态特征统一特征提取流程示意图。
图5是本发明实施例的多模态特征融合流程示意图。
图6是本发明实施例的一种多模态统一特征提取示意图。
图7是本发明实施例的一种模态缺失时多模态统一特征提取示意图。
图8是本发明实施例的多模态统一特征提取的装置示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。在本后续的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照图1，其中图1是本发明实施例的多模态统一特征提取***示意图，其包括终端100及服务器200，其中终端100包括医护终端、医疗设备等，用于生成不同模态的医疗数据如影像数据、文本数据和结构化数据，其中服务器200用户获取终端100的多模态数据及特征提取或者识别请求，根据医疗特征提取请求，获取目标医疗数据，目标医疗数据为多模态数据，目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果；根据第一特征提取结果确定目标医疗数据中的缺失特征，通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果；对第二特征结果进行融合，得到融合特征，融合特征表示目标医疗数据的统一表征；对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。
参考图2，其中图2是本发明实施例的多模态统一特征提取的方法流程示意图，其能报考但不限于步骤S100～S500：
S100，根据医疗特征提取请求，获取目标医疗数据，目标医疗数据为多模态数据，目标医疗数据的模态包括多媒体数据、文本数据及结构化数据。
S200，根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果。
在一些实施例中，对目标医疗数据的模态进行识别和分类，基于每种分类，选取对应类型的特征提取模型进行特征提取，得到每种模态的第一特征提取结果。
在一些实施例中，其中特征提取模型为大模型，其中大模型为能够处理复杂及大量的数据、完成各种复杂的任务。
S300，根据第一特征提取结果确定目标医疗数据中的缺失特征，通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果。
在一些实施例中，参考图3所示的缺失特征补全及关联流程示意图，其包括但不限于步骤：
S310，将第一模态的第一特征提取结果与除第一模态对应的第一特征提取结果进行诱导，得到特征提取模型诱导特征，第一模态为多模态数据中的任一种。
S320若第一模态的第一特征提取结果无法表征诱导特征时，以除第一模态以外的第一特征提取结果对第一模态诱导特征进行补全，确定第二特征提取结果；以及，根据第一模态的第一特征提取结果、除第一模态意外的第一特征提取结果及诱导特征的对比结果确定第二特征提取结果。
在一些实施例中，以大叶性肺炎的多模态数据为例，模态数据中的文本数据文本模态特征提取，通过输入病例数据，和已提取的CT图像特征、血常规数据特征诱导大模型输出下列特征：“性别、年龄、症状、体征”。
进行以下判断：若病例数据不足以体现上述特征，则通过已提取的CT图像特征、血常规数据特征将上述特征补充完整。
在一些实施例中，若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果不一致，以第一模态的第一特征提取结果作为第二特征提取结果；
若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果之间一致，以除第一模态以外的第一特征提取结果作为第二特征提取结果。
示例性地，以大叶性肺炎的多模态数据为例：
若病例数据提取的特征结果与CT图像特征、血常规数据特征诱导出的特征结果有一项不符，以病例数据提取的特征结果为准。
若病例数据提取的特征结果与CT图像特征、血常规数据特征诱导出的特征结果有两项不符，且CT图像特征与血常规数据特征诱导出的特征之间结果也不相符，以病例数据提取的特征结果为准。
若病例数据提取的特征结果与CT图像特征、血常规数据特征诱导出的特征结果有两项不符，但CT图像特征与血常规数据特征诱导出的特征之间结果相符，以CT图像特征与血常规数据特征诱导出的特征结果为准。
在一些实施例中，参考图4所示的基于模态缺失库和问答库的多模态特征统一特征提取流程示意图，其包括但不限于步骤S330～S340：
S330，根据疾病指南、治疗原则和专家讨论中的至少一种确定模态缺失提示库和问答库，模态缺失提示库用于检测模态是否存在确实，问答库用于确定医疗数据的所属模态；
S340，通过对医疗数据采用问答库进行检测，确定第一模态，获取第一模态的特征向量及除第一模态以外的特征向量，通过模态缺失提示库和除第一模态以外的特征向量对存在模态缺失第一模态的特征向量进行补全。
示例性地，基于疾病指南、治疗原则和专家讨论等先验知识，构建问答库Qi以及模态缺失提示库Li，随机初始化不同模态下的特征向量第t轮循环时，根据Qi所属模态，选择对应的大模型Ni，将提示工程的数据Qi，以及其他模态下的特征向量/>提取为该模态下的特征向量/>如果发生模态缺失，大模型调用缺失提示库Li，以及其他模态特征向量/>提取为该模态下的特征向量/>返回循环步骤，直至特征收敛。将收敛的特征融合为特征矩阵W，用于下游任务，其中Qi表示基于疾病指南、治疗原则和专家讨论等先验知识构建的问答库，Li表示模态缺失提示库，i表示某一模态；/>表示t轮聚合后，i模态数据提取的特征；W表示所有模态特征/>连接之后的特征矩阵。
S400，对第二特征结果进行融合，得到融合特征，融合特征表示目标医疗数据的统一表征。
在一些实施例中，参考图5所示的特征融合流程示意图，其包括但不限于步骤S410～S420：
S410，对所有第一模态的第一特征提取结果进行循环聚合，得到不再发生变化的第二特征提取结果，其中循环聚合用于表征特征的补全和关联；
S420，将所有第一模态不再发生变化的第二特征结果进行融合，得到融合特征。
在一些实施例中，图3所示的缺失特征补全及关联流程示意图，以大叶性肺炎的多模态数据为例，其处理流程包括：图像模态特征提取，通过输入CT图像，和已提取的病例数据、血常规数据特征诱导大模型输出以下特征：“肺叶状态、纵膈状态、主支气管状态、骨骼状态、神经状态”，执行大叶性肺炎特征的关联和补全；执行结构数据特征提取，通过输入血常规数据，和已提取的病例数据、CT图像特征诱导大模型输出以下特征：“炎症状态、凝血状态、免疫状态”，执行大叶性肺炎特征的关联和补全；将三个模态的数据上述步骤循环判断，直至输出特征不再改变；将不再改变的特征融合，得到统一特征用于下游任务。
S500，对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。
在一些实施例中，其中的融合特征表征的执行某一病例的大叶性肺炎融合特征，如性别、年龄、症状、体征、肺叶状态、纵膈状态、主支气管状态、骨骼状态、神经状态、炎症状态、凝血状态、免疫状态等。
在一些实施例中，参考图6所示的一种多模态统一特征提取示意图，本实施例临床数据包含影像、文本和结构化等多个模态的数据，通过专家知识的大模型提示工程，诱导大模型产生相应的特征。并且通过将产生的特征向量和另一模态的数据输入大模型，产生该模态下与上一模态向关联的特征，以此循环直至特征收敛。
在一些实施例中，参考图7所示的一种模态缺失时多模态统一特征提取示意图，本实施例针对遇到模态缺失的问题，通过其他模态特征的关联，诱导大模型补全该状态下的模态特征。
图8是本发明实施例的多模态统一特征提取分析装置图。该装置包括了第一模块110、第二模块820、第三模块830、第四模块840及第五模块850。
其中，第一模块，用于根据医疗特征提取请求，获取目标医疗数据，目标医疗数据为多模态数据，目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；第二模块，用于根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果；第三模块，用于根据第一特征提取结果确定目标医疗数据中的缺失特征，通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果；第四模块，用于对第二特征结果进行融合，得到融合特征，融合特征表示目标医疗数据的统一表征；第五模块，用于对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。
示例性地，在装置中的第一模块、第二模块、第三模块、第四模块及第五模块的合作下，实施例装置可以实现前述的任意一种多模态统一特征提取方法，即根据医疗特征提取请求，获取目标医疗数据，目标医疗数据为多模态数据，目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；根据目标医疗数据的模态，采用特征提取模型对目标医疗数据执行提取，得到第一特征提取结果；根据第一特征提取结果确定目标医疗数据中的缺失特征，通过第一特征提取结果对缺失特征进行补全，得到第二特征提取结果；对第二特征结果进行融合，得到融合特征，融合特征表示目标医疗数据的统一表征；对融合特征进行识别，得到目标医疗数据的医疗特征识别结果。本发明的有益效果为：将临床数据包括影像、文本和结构化等多个模态的数据，通过专家知识的大模型提示工程，诱导大模型产生相应的特征，并进行循环聚合，使不同模态的数据融合成统一的表示，实现了医疗多模态数据间融合和补全，提高了医疗数据特征提取及识别的稳定性和准确性。
本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器；
存储器存储有程序；
处理器执行程序以执行前述的多模态统一特征提取方法；该电子设备具有搭载并运行本发明实施例提供的多模态统一特征提取的软件***的功能，例如，个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的多模态统一特征提取方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的多模态统一特征提取分析方法。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种多模态统一特征提取方法，其特征在于，包括：
根据医疗特征提取请求，获取目标医疗数据，所述目标医疗数据为多模态数据，所述目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；
根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果；
根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，通过所述第一特征提取结果对所述缺失特征进行补全，得到第二特征提取结果；
对所述第二特征提取结果进行融合，得到融合特征，所述融合特征表示所述目标医疗数据的统一表征；
对所述融合特征进行识别，得到所述目标医疗数据的医疗特征识别结果；
所述根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果，包括：对所述目标医疗数据的模态进行识别和分类，基于每种分类，选取对应类型的特征提取模型进行特征提取，得到每种模态的第一特征提取结果；
所述根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，得到第二特征提取结果，包括：将第一模态的第一特征提取结果与除第一模态对应的第一特征提取结果进行诱导，得到特征提取模型诱导特征，第一模态为多模态数据中的任一种；若第一模态的第一特征提取结果无法表征特征提取模型诱导特征时，以除第一模态以外的第一特征提取结果对特征提取模型诱导特征进行补全，确定所述第二特征提取结果；以及，根据第一模态的第一特征提取结果、除第一模态以外的第一特征提取结果及特征提取模型诱导特征的对比结果确定所述第二特征提取结果；
所述根据第一模态的第一特征提取结果、除第一模态以外的第一特征提取结果及特征提取模型诱导特征的对比结果确定所述第二特征提取结果，包括：若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果不一致，以第一模态的第一特征提取结果作为第二特征提取结果；若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果之间一致，以除第一模态以外的第一特征提取结果作为第二特征提取结果。
2.根据权利要求1所述的多模态统一特征提取方法，其特征在于，所述方法还包括：
根据疾病指南、治疗原则和专家讨论中的至少一种确定模态缺失提示库和问答库，所述模态缺失提示库用于检测模态是否存在确实，所述问答库用于确定医疗数据的所属模态；
通过对医疗数据采用问答库进行检测，确定第一模态，获取第一模态的特征向量及除第一模态以外的特征向量，通过模态缺失提示库和除第一模态以外的特征向量对存在模态缺失第一模态的特征向量进行补全。
3.根据权利要求1所述的多模态统一特征提取方法，其特征在于，所述对所述第二特征提取结果进行融合，得到融合特征包括：
对所有第一模态的第一特征提取结果进行循环聚合，得到不再发生变化的第二特征提取结果，其中循环聚合用于表征特征的补全和关联；
将所有第一模态不再发生变化的第二特征提取结果进行融合，得到融合特征。
4.根据权利要求1所述的多模态统一特征提取方法，其特征在于，所述特征提取模型为大模型。
5.一种多模态统一特征提取装置，其特征在于，包括：
第一模块，用于根据医疗特征提取请求，获取目标医疗数据，所述目标医疗数据为多模态数据，所述目标医疗数据的模态包括多媒体数据、文本数据及结构化数据；
第二模块，用于根据所述目标医疗数据的模态，采用特征提取模型对所述目标医疗数据执行提取，得到第一特征提取结果；
第三模块，用于根据所述第一特征提取结果确定所述目标医疗数据中的缺失特征，通过所述第一特征提取结果对所述缺失特征进行补全，得到第二特征提取结果；
第四模块，用于对所述第二特征提取结果进行融合，得到融合特征，所述融合特征表示所述目标医疗数据的统一表征；
第五模块，用于对所述融合特征进行识别，得到所述目标医疗数据的医疗特征识别结果；
所述第二模块还用于：对所述目标医疗数据的模态进行识别和分类，基于每种分类，选取对应类型的特征提取模型进行特征提取，得到每种模态的第一特征提取结果；
所述第三模块还用于：将第一模态的第一特征提取结果与除第一模态对应的第一特征提取结果进行诱导，得到特征提取模型诱导特征，第一模态为多模态数据中的任一种；若第一模态的第一特征提取结果无法表征特征提取模型诱导特征时，以除第一模态以外的第一特征提取结果对特征提取模型诱导特征进行补全，确定所述第二特征提取结果；以及，根据第一模态的第一特征提取结果、除第一模态以外的第一特征提取结果及特征提取模型诱导特征的对比结果确定所述第二特征提取结果；
所述第三模块还用于：若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果不一致，以第一模态的第一特征提取结果作为第二特征提取结果；若第一模态的第一特征提取结果与除第一模态以外的第一特征提取结果至少一项不一致时，且除第一模态以外的第一特征提取结果之间一致，以除第一模态以外的第一特征提取结果作为第二特征提取结果。
6.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-4中任一项所述的多模态统一特征提取方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-4中任一项所述的多模态统一特征提取方法。
CN202311434500.1A 2023-10-31 2023-10-31 多模态统一特征提取方法、装置、设备及介质 Active CN117370933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311434500.1A CN117370933B (zh) 2023-10-31 2023-10-31 多模态统一特征提取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311434500.1A CN117370933B (zh) 2023-10-31 2023-10-31 多模态统一特征提取方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117370933A CN117370933A (zh) 2024-01-09
CN117370933B true CN117370933B (zh) 2024-05-07

Family

ID=89402148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311434500.1A Active CN117370933B (zh) 2023-10-31 2023-10-31 多模态统一特征提取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117370933B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819052A (zh) * 2021-01-25 2021-05-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多模态细粒度混合方法、***、设备和存储介质
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114519898A (zh) * 2020-11-02 2022-05-20 北京眼神智能科技有限公司 生物特征多模态融合识别方法、装置、存储介质及设备
CN114564593A (zh) * 2022-02-21 2022-05-31 北京百度网讯科技有限公司 多模态知识图谱的补全方法、装置和电子设备
CN115545093A (zh) * 2022-09-13 2022-12-30 珠海高凌信息科技股份有限公司 一种多模态数据的融合方法、***及存储介质
CN115952466A (zh) * 2022-06-28 2023-04-11 电子科技大学 一种基于多模态信息融合的通信辐射源跨模式识别方法
CN116344028A (zh) * 2023-02-14 2023-06-27 北京深睿博联科技有限责任公司 一种基于多模态异构数据的肺部疾病自动识别方法及装置
CN116383766A (zh) * 2023-04-12 2023-07-04 平安科技（深圳）有限公司 基于多模态数据的辅诊方法、装置、设备及存储介质
CN116487031A (zh) * 2023-04-17 2023-07-25 莆田市数字集团有限公司 一种多模态融合的肺炎辅助诊断方法及其***
CN116628263A (zh) * 2023-06-07 2023-08-22 平安科技（深圳）有限公司 基于多模态的视频检索方法、装置、电子设备及存储介质
CN116758397A (zh) * 2023-06-27 2023-09-15 华东师范大学 基于深度学习的单模态诱导的多模态预训练方法及***
CN116861363A (zh) * 2023-07-12 2023-10-10 中国电信股份有限公司技术创新中心 多模态的特征处理方法、装置、存储介质与电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837390A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 一种模态信息补全方法、装置及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519898A (zh) * 2020-11-02 2022-05-20 北京眼神智能科技有限公司 生物特征多模态融合识别方法、装置、存储介质及设备
CN112819052A (zh) * 2021-01-25 2021-05-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多模态细粒度混合方法、***、设备和存储介质
WO2023098524A1 (zh) * 2021-12-02 2023-06-08 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114564593A (zh) * 2022-02-21 2022-05-31 北京百度网讯科技有限公司 多模态知识图谱的补全方法、装置和电子设备
CN115952466A (zh) * 2022-06-28 2023-04-11 电子科技大学 一种基于多模态信息融合的通信辐射源跨模式识别方法
CN115545093A (zh) * 2022-09-13 2022-12-30 珠海高凌信息科技股份有限公司 一种多模态数据的融合方法、***及存储介质
CN116344028A (zh) * 2023-02-14 2023-06-27 北京深睿博联科技有限责任公司 一种基于多模态异构数据的肺部疾病自动识别方法及装置
CN116383766A (zh) * 2023-04-12 2023-07-04 平安科技（深圳）有限公司 基于多模态数据的辅诊方法、装置、设备及存储介质
CN116487031A (zh) * 2023-04-17 2023-07-25 莆田市数字集团有限公司 一种多模态融合的肺炎辅助诊断方法及其***
CN116628263A (zh) * 2023-06-07 2023-08-22 平安科技（深圳）有限公司 基于多模态的视频检索方法、装置、电子设备及存储介质
CN116758397A (zh) * 2023-06-27 2023-09-15 华东师范大学 基于深度学习的单模态诱导的多模态预训练方法及***
CN116861363A (zh) * 2023-07-12 2023-10-10 中国电信股份有限公司技术创新中心 多模态的特征处理方法、装置、存储介质与电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据驱动的医疗与健康决策支持研究综述;徐曼;沈江;余海燕;;工业工程与管理;20170210(01);全文 *

Also Published As

Publication number Publication date
CN117370933A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
Lotan et al. State of the art: machine learning applications in glioma imaging
Gabr et al. Brain and lesion segmentation in multiple sclerosis using fully convolutional neural networks: a large-scale study
Zheng et al. Deep convolutional neural networks for multiplanar lung nodule detection: Improvement in small nodule identification
US11107215B2 (en) Medical image diagnosis assistant apparatus and method for generating evaluation scores for plurality of medical image diagnosis algorithms
JP2009207709A (ja) 画像処理システム、画像保管装置、および、画像処理装置、並びに、画像処理方法、プログラム
CN107273883B (zh) 决策树模型训练方法、确定ocr结果中数据属性方法及装置
JP2009528117A (ja) 画像の類似度を評価するための画像特性セットの特定
CN110490927A (zh) 用于为图像中的对象生成中心线的方法、装置和***
CN111971752A (zh) 医学图像数据的显示
CN114913942A (zh) 患者招募项目智能匹配方法及装置
Taqi et al. Skin lesion detection by android camera based on SSD-Mo-bilenet and tensorflow object detection API
EP4173000A2 (en) Machine learning based medical data checker
CN113469981A (zh) 图像处理方法、装置及存储介质
Ibanez et al. Deep learning for pulmonary nodule ct image retrieval—an online assistance system for novice radiologists
KR20230029004A (ko) 흉부 자동 분할 영상을 이용한 폐암 최종 병기 예측 시스템 및 방법
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
Xu et al. NeuroSeg-II: A deep learning approach for generalized neuron segmentation in two-photon Ca2+ imaging
CN117370933B (zh) 多模态统一特征提取方法、装置、设备及介质
CN112241470B (zh) 一种视频分类方法及***
Han et al. Multimodal 3D convolutional neural networks for classification of brain disease using structural MR and FDG-PET images
Kalyani et al. Deep learning-based detection and classification of adenocarcinoma cell nuclei
CN113903433B (zh) 一种图像处理方法、装置和电子设备
CN108875814B (zh) 图片检索方法、装置及电子设备
Agarwal et al. Image retrieval for alzheimer’s disease detection
CN113361584B (zh) 模型训练的方法及装置、肺动脉高压的测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant