CN111832581B - 肺部特征识别方法、装置、计算机设备及存储介质 - Google Patents

肺部特征识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111832581B
CN111832581B CN202010991495.4A CN202010991495A CN111832581B CN 111832581 B CN111832581 B CN 111832581B CN 202010991495 A CN202010991495 A CN 202010991495A CN 111832581 B CN111832581 B CN 111832581B
Authority
CN
China
Prior art keywords
lung
text
image
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010991495.4A
Other languages
English (en)
Other versions
CN111832581A (zh
Inventor
朱昭苇
孙行智
胡岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010991495.4A priority Critical patent/CN111832581B/zh
Publication of CN111832581A publication Critical patent/CN111832581A/zh
Application granted granted Critical
Publication of CN111832581B publication Critical patent/CN111832581B/zh
Priority to PCT/CN2021/096366 priority patent/WO2022057309A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及人工智能领域，本发明公开了一种肺部特征识别方法、装置、计算机设备及存储介质，所述方法包括：通过获取包括待识别肺部图像和待识别肺部文本描述的待识别数据；通过肺部图像识别模型进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过肺部文本识别模型进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过肺部融合识别模型使用注意力机制融合肺部图像特征向量和肺部文本特征向量，并提取图像文本融合特征进行识别，得到融合识别结果；通过投票表决得到肺部特征识别结果。本发明实现了准确地识别出肺部特征，提高了识别准确率和可靠性。本发明适用于智慧医疗等领域，可进一步推动智慧城市的建设。

Description

肺部特征识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能的图像分类领域，尤其涉及一种肺部特征识别方法、装置、计算机设备及存储介质。
背景技术
在目前医疗体系下，肺部特征的识别主要依靠医务人员根据自己的经验对肺部影像信息进行人工判别，因为肺部组织运动是不均匀、复杂的，所以在判别过程中不仅需耗费医务人员的时间、精力，而且存在判断错误的风险，同时在判别过程中往往仅对肺部影像信息进行识别，未结合该肺部影像信息的主诉信息（针对肺部影像信息的文本描述）进行识别，容易丢失肺部组织运动的信息，导致准确率不高，效率低下。
发明内容
本发明提供一种肺部特征识别方法、装置、计算机设备及存储介质，实现了通过包括肺部图像识别模型、肺部文本识别模型、肺部融合识别模型的肺部特征识别模型，并运用注意力机制，以及结合待识别肺部图像和待识别肺部文本描述进行识别，实现了自动地、快速地、准确地识别出肺部特征，提高了识别准确率和可靠性，提升了识别效率。本发明适用于智慧医疗等领域，可进一步推动智慧城市的建设。
一种肺部特征识别方法，包括：
获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；在采集完所述待识别肺部图像，而且针对所述待识别肺部图像输入完所述待识别肺部文本描述之后，将所述待识别肺部图像和所述待识别肺部文本描述确定为待识别数据；所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的主诉信息描述；所述肺部特征为肺部组织运动体现的特征，所述肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征；
将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；
通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别；
所述通过所述肺部融合识别模型使用注意力机制，融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果，包括：
运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；
通过所述肺部融合识别模型对所述融合特征向量进行图像文本融合特征的提取；所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征；所述隐含特征是指肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征；所述图像文本融合特征的提取过程为将第一层的卷积层的融合特征向量进行卷积，再与该卷积层的下一层的卷积层的融合特征向量进行叠加得到中转特征向量，再对该中转特征向量进行卷积，不断与下一层的卷积层的融合特征向量进行叠加得到中转特征向量，对叠加后的中转特征向量进行卷积直至得到一维的特征向量的提取过程；
通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果；
所述通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，包括：
获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数；
根据获取的所述权重参数，确定出投票表决参数，将图像权重作为所述图像识别结果的投票表决参数，将文本权重作为所述文本识别结果的投票表决参数，将数值一作为所述融合识别结果的投票表决参数；
按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果。
一种肺部特征识别装置，包括：
接收模块，用于获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；在采集完所述待识别肺部图像，而且针对所述待识别肺部图像输入完所述待识别肺部文本描述之后，将所述待识别肺部图像和所述待识别肺部文本描述确定为待识别数据；所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的主诉信息描述；所述肺部特征为肺部组织运动体现的特征，所述肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征；
输入模块，用于将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
第一识别模块，用于通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
第二识别模块，用于通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；
表决模块，用于通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别；
所述第二识别模块还用于：
运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；
通过所述肺部融合识别模型对所述融合特征向量进行图像文本融合特征的提取；所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征；所述隐含特征是指肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征；所述图像文本融合特征的提取过程为将第一层的卷积层的融合特征向量进行卷积，再与该卷积层的下一层的卷积层的融合特征向量进行叠加得到中转特征向量，再对该中转特征向量进行卷积，不断与下一层的卷积层的融合特征向量进行叠加得到中转特征向量，对叠加后的中转特征向量进行卷积直至得到一维的特征向量的提取过程；
通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果；
所述表决模块还用于：
获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数；
根据获取的所述权重参数，确定出投票表决参数，将图像权重作为所述图像识别结果的投票表决参数，将文本权重作为所述文本识别结果的投票表决参数，将数值一作为所述融合识别结果的投票表决参数；
按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述肺部特征识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述肺部特征识别方法的步骤。
本发明提供的肺部特征识别方法、装置、计算机设备及存储介质，通过获取待识别数据；所述待识别数据包括待识别肺部图像和待识别肺部文本描述；将所述待识别数据输入至包含有肺部图像识别模型、肺部文本识别模型和肺部融合识别模型的肺部特征识别模型；通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，如此，实现了通过肺部图像识别模型识别待识别肺部图像，得到图像识别结果，通过肺部文本识别模型识别待识别肺部文本描述，得到文本识别结果，再结合待识别肺部图像和待识别文本描述，运用注意力机制，通过肺部融合识别模型提取图像文本融合特征进行识别，得到融合识别结果，最后根据所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，得出肺部特征识别结果，实现了结合待识别肺部图像和待识别肺部文本描述，通过基于多模态模型的肺部特征识别模型自动地、快速地、准确地识别出肺部特征，提高了识别准确率和可靠性，提升了识别效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中肺部特征识别方法的应用环境示意图；
图2是本发明一实施例中肺部特征识别方法的流程图；
图3是本发明一实施例中肺部特征识别方法的步骤S30的流程图；
图4是本发明另一实施例中肺部特征识别方法的步骤S30的流程图；
图5是本发明一实施例中肺部特征识别方法的步骤S40的流程图；
图6是本发明一实施例中肺部特征识别方法的步骤S50的流程图；
图7是本发明一实施例中肺部特征识别装置的原理框图；
图8是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的肺部特征识别方法，可应用在如图1的应用环境中，其中，客户端（计算机设备）通过网络与服务器进行通信。其中，客户端（计算机设备）包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种肺部特征识别方法，其技术方案主要包括以下步骤S10-S50：
S10，获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述。
可理解地，所述待识别肺部图像为通过肺部拍摄设备采集到的图像，所述肺部拍摄设备可以根据需求选择，比如肺部拍摄设备为CT设备、X光机或三维投影设备等等，所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的描述，即所述待识别肺部文本描述为针对所述待识别肺部图像的主诉信息，所述肺部特征为肺部组织运动体现的特征，比如肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征等等，在采集完所述待识别肺部图像，而且针对所述待识别肺部图像输入完所述待识别肺部文本描述之后，将所述待识别肺部图像和所述待识别肺部文本描述确定为待识别数据，触发识别请求，所述识别请求为对所述待识别数据进行肺部特征识别的请求，接收到所述识别请求，获取所述识别请求中的待识别数据。
S20，将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型。
可理解地，所述肺部特征识别模型为训练完成的多模态模型，所述肺部特征识别模型能够实现识别出所述待识别数据的肺部特征，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型，所述肺部图像识别模型为通过提取所述待识别肺部图像中的肺部图像特征，并进行图像识别出图像识别结果，并生成用于肺部融合识别模型的肺部图像特征向量，所述肺部图像特征为肺部组织运动体现的图像空间的特征，所述肺部图像识别模型的网络结构可以根据图像识别的需求设定，比如肺部图像识别模型的网络结构为VGG16、VGG19、GoogleNet或ResNet等等，作为优选，所述肺部图像识别模型的网络结构选择VGG19的网络结构；所述肺部文本识别模型为通过提取所述待识别肺部文本描述中的肺部文本特征，并进行文本识别出文本识别结果，并生成用于肺部融合识别模型的肺部文本特征向量，所述肺部文本特征为肺部组织运动体现的文本空间的特征，所述肺部文本识别模型的网络结构可以根据语言识别的需求设定，比如肺部文本识别模型的网络结构为TextCNN、LSTM或BERT等等，作为优选，所述肺部文本识别模型的网络结构选择TextCNN的网络结构；所述肺部融合识别模型为运用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并提取融合后的所述肺部图像特征向量和所述肺部文本特征向量中的图像文本融合特征，并识别出融合识别结果，所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征，也即所述肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征，所述肺部融合识别模型的网络结构可以根据需求设定，比如肺部融合识别模型的网络结构为DenseNet、Deep LearningNet或者LeNet等等，作为优选，所述肺部融合识别模型的网络结构为DenseNet的网络结构。
在一实施例中，所述步骤S20之前，即所述将所述待识别数据输入至肺部特征识别模型之前，包括：
S201，获取肺部样本集，所述肺部样本集包括多个肺部样本，所述肺部样本包括肺部影像和与所述肺部影像关联的肺部文本描述，所述肺部样本与一个肺部特征类别标签关联。
可理解地，所述肺部样本集为所述肺部样本的集合，所述肺部样本历史收集的包含肺部影像和与所述肺部影像关联的肺部文本描述的样本，一个所述肺部样本与一个肺部特征类别标签关联，所述肺部特征类别标签为对所述肺部样本标注的与肺部特征类别相关的标签，所述肺部影像为历史收集到的通过肺部拍摄设备采集的肺部的影像图片，所述肺部文本描述为针对与其关联的所述肺部影像中的肺部特征的描述，所述肺部特征类别为对所述肺部特征的分类，比如，所述肺部特征类别包括与胸膜凹陷特征对应的胸膜凹陷特征类、与气支气管特征对应的气支气管特征类、与肺空泡特征对应的肺空泡特征类、与肺毛刺特征对应的肺毛刺特征类和与肺部毛玻璃样特征对应的肺部毛玻璃样特征。
S202，将所述肺部样本输入含有初始参数的多模态模型；所述多模态模型包括肺部样本图像识别模型、肺部样本文本识别模型和肺部样本融合识别模型。
可理解地，所述多模态模型为通过图像文本匹配相似性，即度量一幅图像和一段文本的相似性（图像和文本之间的全局相似性），识别出图像和文本之间隐含关系的特征，确定出一幅图像和一段文本融合的分类结果，所述多模态模型包含所述初始参数，所述初始参数包含所述肺部样本图像识别模型、所述肺部样本文本识别模型和所述肺部样本融合识别模型的参数，可以通过迁移学习的方式，将其他领域的多模态识别模型中的参数直接迁移至所述多模态模型中的所述初始参数中，简化训练过程，缩短了训练的时间，提高了训练的效率，所述多模态模型包括肺部样本图像识别模型、肺部样本文本识别模型和肺部样本融合识别模型，所述肺部图像识别模型为训练完成的所述肺部样本图像识别模型，所述肺部文本识别模型为训练完成的所述肺部样本文本识别模型，所述肺部融合识别模型为训练完成的所述肺部样本融合识别模型。
S203，通过所述肺部样本图像识别模型对所述肺部影像进行所述肺部图像特征提取，生成肺部样本图像特征向量和图像样本识别结果，同时通过所述肺部样本文本识别模型对所述肺部文本描述进行所述肺部文本特征提取，生成肺部样本文本特征向量和文本样本识别结果。
可理解地，所述肺部图像特征为肺部组织运动体现的图像空间的特征，所述肺部样本图像特征向量为具有所述肺部图像特征的向量矩阵，所述图像样本识别结果为所述肺部样本图像识别模型根据提取的所述肺部图像特征进行图像空间的相似性识别出所述肺部影像中肺部特征的结果，所述肺部样本文本特征向量为具有所述肺部图像特征的向量矩阵，所述文本样本识别结果为所述肺部样本文本识别模型根据提取的所述肺部文本特征进行文本空间的相似性识别出所述肺部文本描述中的肺部特征的结果。
S204，通过所述肺部样本融合识别模型使用注意力机制融合所述肺部样本图像特征向量和所述肺部样本文本特征向量，并学习提取所述图像文本融合特征以及识别，得到融合样本识别结果。
可理解地，通过所述注意力机制融合所述肺部样本图像特征向量和所述肺部样本文本特征向量，所述学习提取所述图像文本融合特征为通过捕捉图像和文本之间隐含相似特征的提取、以及局部相似性度量并提取。
S205，对所述图像样本识别结果、所述文本样本识别结果和所述融合样本识别结果进行投票表决，得到样本识别结果。
S206，根据所述样本识别结果和所述肺部特征类别标签，确定出损失值。
可理解地，将所述样本识别结果和所述肺部特征类别标签输入所述多模态模型的损失函数中，通过所述损失函数计算出所述损失值。
S207，在所述损失值未达到预设的收敛条件时，迭代更新所述多模态模型的初始参数，直至所述损失值达到所述预设的收敛条件时，将收敛之后的所述多模态模型记录为肺部特征识别模型。
可理解地，所述收敛条件可以为所述损失值经过了6000次计算后值为很小且不会再下降的条件，即在所述损失值经过6000次计算后值为很小且不会再下降时，停止训练，并将收敛之后的所述多模态模型记录为肺部特征识别模型；所述收敛条件也可以为所述损失值小于设定阈值的条件，即在所述损失值小于设定阈值时，停止训练，并收敛之后的所述多模态模型记录为肺部特征识别模型，如此，在所述损失值未达到预设的收敛条件时，不断调整所述多模态模型中的初始参数，并触发通过所述肺部样本图像识别模型对所述肺部影像进行所述肺部图像特征提取，生成肺部样本图像特征向量和图像样本识别结果，同时通过所述肺部样本文本识别模型对所述肺部文本描述进行所述肺部文本特征提取，生成肺部样本文本特征向量和文本样本识别结果的步骤，可以不断向准确的结果靠拢，让识别的准确率越来越高。如此，能够优化多模态模型的肺部特征识别，提高了肺部特征识别的准确性和可靠性。
S30，通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果。
可理解地，所述肺部图像识别模型对所述待识别肺部图像进行通道拆分及卷积，从而提取所述肺部图像特征，所述肺部图像特征为肺部组织运动体现的图像空间的特征，所述肺部图像识别模型包含有多个卷积层，可以将所述肺部图像识别模型的卷积层标记为图像卷积层，通过所述肺部图像识别模型中的各图像卷积层对所述待识别肺部图像按照不同卷积核进行卷积，生成与各个图像卷积层对应的所述肺部图像特征向量，所述肺部图像特征向量为具有所述肺部图像特征的向量矩阵，各所述肺部图像特征向量的维度根据各图像卷积层的不同而不同，所述图像识别结果为所述肺部图像识别模型根据提取的所述肺部图像特征进行图像空间的相似性识别出肺部特征的结果，所述肺部文本识别模型对所述待识别肺部文本描述进行词向量转换，再进行卷积，从而提取所述肺部文本特征，所述肺部文本特征为肺部组织运动体现的文本空间的特征，所述肺部文本识别模型包含有多个卷积层，可以将所述肺部文本识别模型的卷积层标记为文本卷积层，通过所述肺部图像识别模型中的各文本卷积层对所述待识别肺部文本描述按照不同卷积核进行卷积，生成与各个文本卷积层对应的所述肺部文本特征向量，所述肺部文本特征向量为具有所述肺部文本特征的向量矩阵，各所述肺部文本特征向量的维度根据各文本卷积层的不同而不同，所述文本识别结果为所述肺部文本识别模型根据提取的所述肺部文本特征进行文本空间的相似性识别出肺部特征的结果。
在一实施例中，如图3所示，所述步骤S30中，即所述通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，包括：
S301，通过所述肺部图像识别模型将所述待识别肺部图像拆分成红色通道图像、绿色通道图像和蓝色通道图像；所述肺部图像识别模型为基于VGG19构建的网络模型。
可理解地，所述待识别肺部图像为红色通道、绿色通道和蓝色通道等三个通道的图像，即所述待识别肺部图像包括与红色通道对应的所述红色通道图像、与绿色通道对应的所述绿色通道图像和与蓝色通道对应的所述蓝色通道图像，通过通道拆分，将所述待识别肺部图像拆分成所述红色通道图像、所述绿色通道图像和所述蓝色通道图像，所述红色通道图像为通过0至255范围的像素值体现各个像素点的红色程度的图像，所述绿色通道图像为通过0至255范围的像素值体现各个像素点的绿色程度的图像，所述蓝色通道图像为通过0至255范围的像素值体现各个像素点的蓝色程度的图像。
其中，所述肺部图像识别模型为基于VGG19构建的网络模型，并可将所述肺部图像的卷积深度设置为19，即具有19层级的卷积层的网络模型。
S302，通过所述肺部图像识别模型分别对所述红色通道图像、所述绿色通道图像和所述蓝色通道图像进行卷积提取，得到与所述红色通道图像对应的红色特征向量、与所述绿色通道图像对应的绿色特征向量和与所述蓝色通道图像对应的蓝色特征向量。
可理解地，通过所述肺部图像识别模型对所述红色通道图像进行卷积，得到所述红色特征向量，所述红色特征向量为提取所述肺部图像特征中红色空间体现的向量，通过所述肺部图像识别模型对所述绿色通道图像进行卷积，得到所述绿色特征向量，所述绿色特征向量为提取所述肺部图像特征中绿色空间体现的向量，通过所述肺部图像识别模型对所述蓝色通道图像进行卷积，得到所述蓝色特征向量，所述蓝色特征向量为提取所述肺部图像特征中蓝色空间体现的向量，将所述红色特征向量、所述绿色特征向量和所述蓝色特征向量确定为所述肺部图像特征向量。
S303，通过所述肺部图像识别模型对所述肺部图像特征向量进行图像识别，得到所述图像识别结果。
可理解地，通过所述肺部图像识别模型对所述肺部图像特征向量进行图像识别，所述图像识别为根据提取的所述肺部图像特征向量进行全连接分类，获得各肺部特征类别的概率分布，从而输出识别到的所述图像识别结果。
本发明实现了通过所述肺部图像识别模型将所述待识别肺部图像拆分成红色通道图像、绿色通道图像和蓝色通道图像；所述肺部图像识别模型为基于VGG19构建的网络模型；通过所述肺部图像识别模型分别对所述红色通道图像、所述绿色通道图像和所述蓝色通道图像进行卷积提取，得到肺部图像特征向量；通过所述肺部图像识别模型对所述肺部图像特征向量进行图像识别，得到所述图像识别结果，如此，实现了通过将所述待识别肺部图像拆分成红色通道图像、绿色通道图像和蓝色通道图像，并基于VGG19构建的网络模型对各通道图像进行卷积提取肺部图像特征，得到肺部图像特征向量，并根据肺部图像特征向量输出图像识别结果，能够提取所述待识别肺部图像中的肺部图像特征，通过提取到的肺部图像特征识别出肺部特征类别，为后续识别提供了数据基础，提高了识别的准确率和可靠性。
在一实施例中，如图4所示，所述步骤S30中，即所述通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果，包括：
S304，通过所述肺部文本识别模型对所述待识别肺部文本描述进行分词，并构建与所述待识别肺部文本描述对应的文本词向量，所述肺部文本识别模型为基于TextCNN构建的网络模型。
可理解地，所述分词为运用词语字典，将所述待识别肺部文本描述拆分成单个的词语，所述词语字典为包含有与所有医学术语及与肺部相关的词语对应的词向量，然后将拆分成的单个的词语转换成与其对应的词向量，可通过word2vec或Glove的转换方式进行转换，再将转换后的词向量进行拼接，拼接成所述文本词向量。
其中，所述肺部文本识别模型为基于TextCNN构建的网络模型，即所述肺部文本识别模型具有TextCNN的网络结构，将所述肺部文本识别模型的卷积深度设置为19，即具有19层级的卷积层的网络模型，所述肺部文本识别模型的卷积深度与所述肺部图像识别模型的卷积深度相同，以便后续肺部融合识别模型的识别。
S305，将所述文本词向量进行通道扩充，生成第一文本词向量、第二文本词向量和第三文本词向量。
可理解地，所述通道扩充为根据单个通道的所述文本词向量扩充至预设维度的向量矩阵并复制向量矩阵直至预设通道个数的过程，即将所述文本词向量扩充至与所述肺部图像特征向量相同维度的向量矩阵，扩充的方式可以根据需求设定，将该向量矩阵复制成与所述肺部图像特征向量相同通道数的向量矩阵，从而得到与该向量矩阵相同的所述第一文本词向量、所述第二文本词向量和所述第三文本词向量。
S306，通过所述肺部文本识别模型分别对所述第一文本词向量、所述第二文本词向量和所述第三文本词向量进行卷积提取，得到与所述第一文本词向量对应的第一文本特征向量、与所述第二文本词向量对应的第二文本特征向量和与所述第三文本词向量对应的第三文本特征向量。
可理解地，通过所述肺部文本识别模型对所述第一文本词向量进行卷积，得到所述第一文本特征向量，通过所述肺部文本识别模型对所述第二文本词向量进行卷积，得到所述第二文本特征向量，通过所述肺部文本识别模型对所述第三文本词向量进行卷积，得到所述第三文本特征向量，其中，对所述第一文本词向量进行卷积的卷积核、对所述第二文本词向量进行卷积的卷积核和对所述第三文本词向量进行卷积的卷积核可以不相同，即从不同的文本空间的维度提取肺部文本特征向量，将所述第一文本词向量、所述第二文本词向量和所述第三文本词向量确定为所述肺部文本特征向量。
S307，通过所述肺部文本识别模型对所述肺部文本特征向量进行文本识别，得到所述文本识别结果。
可理解地，通过所述肺部文本识别模型对所述肺部文本特征向量进行文本识别，所述文本识别为根据提取的所述肺部文本特征向量进行全连接分类，获得各肺部特征类别的概率分布，从而输出识别到的所述文本识别结果。本发明实现了通过所述肺部文本识别模型对所述待识别肺部文本描述进行分词，并构建与所述待识别肺部文本描述对应的文本词向量；所述肺部文本识别模型为基于TextCNN构建的网络模型；将所述文本词向量进行通道扩充，生成第一文本词向量、第二文本词向量和第三文本词向量；通过所述肺部文本识别模型分别对所述第一文本词向量、所述第二文本词向量和所述第三文本词向量进行卷积提取，得到肺部文本特征向量，通过所述肺部文本识别模型对所述肺部文本特征向量进行文本识别，得到所述文本识别结果，如此，实现了通过将所述待识别肺部文本描述进行分词及构建文本词向量，并通道扩充生成第一文本词向量、第二文本词向量和第三文本词向量，通过基于TextCNN构建的网络模型提取肺部文本特征，得到肺部文本特征向量，并根据肺部文本特征向量输出文本识别结果，能够提取所述待识别肺部文本描述中的肺部文本特征，通过提取到的肺部文本特征识别出肺部特征类别，为后续识别提供了数据基础，提高了识别的准确率和可靠性。
S40，通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果。
可理解地，所述注意力机制为通过注意力权重在神经网络学习及识别中一个额外的前馈神经网络来学习的机制，通过所述注意力机制能够挖掘出所述肺部图像特征向量和所述肺部文本特征向量之间的隐含关系，即将所述肺部图像特征向量和所述肺部文本特征向量按照通过所述注意力机制学习到的与各卷积层对应的权重参数进行加权融合，从而得到与各卷积层对应的所述融合特征向量，对所有所述融合特征向量进行卷积，提取出所述图像文本融合特征，即对融合后的特征进行提取，所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征，也即所述肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征，根据提取到的所述图像文本融合特征进行识别，即进行全连接分类出各肺部特征类别的概率分布，从而输出所述融合识别结果。
在一实施例中，如图5所示，所述步骤S40中，即所述通过所述肺部融合识别模型使用注意力机制，融合所述肺部图像特征向量和所述肺部文本特征向量，并提取图像文本融合特征进行识别，得到融合识别结果，包括：
S401，运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量。
可理解地，所述注意力机制技术为增强特征向量中有用的信息，即对所述肺部图像特征向量和所述肺部文本特征向量中有用的向量按照的各卷积层对应的权重参数进行加权平均，并融合生成与各卷积层对应的融合特征向量。
其中，所述肺部融合识别模型中的卷积深度与所述肺部图像识别模型或所述肺部文本识别模型的卷积深度相同，所述肺部融合识别模型中的卷积深度优选为19层级。
在一实施例中，所述步骤S401中，所述肺部图像特征向量包括红色特征向量、绿色特征向量和蓝色特征向量；所述肺部文本特征向量包括第一文本特征向量、第二文本特征向量和第三文本特征向量；
所述肺部图像识别模型、所述肺部文本识别模型和所述肺部融合识别模型均具有相同的卷积层级，并且三个模型中均设有与每一个卷积层级对应的卷积层；
所述通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量，包括：
S4011，将与相同卷积层级对应的所述红色特征向量和所述第一文本特征向量按照与该卷积层级对应的第一权重参数进行融合，得到第一融合特征向量。
可理解地，将相同卷积层级对应的所述红色特征向量和所述第一文本特征向量按照与该卷积层级第一权重参数进行加权，即将所述红色特征向量和所述第一文本特征向量中的各向量值按照所述第一权重参数进行加权平均，得到所述第一融合特征向量，所述红色特征向量、所述第一文本特征向量和所述第一融合特征向量的维度相同。
S4012，将与相同卷积层级对应的所述绿色特征向量和所述第二文本特征向量按照与该卷积层级对应的第二权重参数进行融合，得到第二融合特征向量。
可理解地，将相同卷积层级对应的所述绿色特征向量和所述第二文本特征向量按照与该卷积层级第二权重参数进行加权，即将所述绿色特征向量和所述第二文本特征向量中的各向量值按照所述第二权重参数进行加权平均，得到所述第二融合特征向量，所述绿色特征向量、所述第二文本特征向量和所述第二融合特征向量的维度相同。
S4013，将与相同卷积层级对应的所述蓝色特征向量和所述第三文本特征向量按照与该卷积层级对应的第三权重参数进行融合，得到第三融合特征向量。
可理解地，将相同卷积层级对应的所述蓝色特征向量和所述第三文本特征向量按照与该卷积层级第三权重参数进行加权，即将所述蓝色特征向量和所述第三文本特征向量中的各向量值按照所述第三权重参数进行加权平均，得到所述第三融合特征向量，所述蓝色特征向量、所述第三文本特征向量和所述第三融合特征向量的维度相同。
其中，所述步骤S4011、S4012和S4013的执行顺序不做限制，可以串行执行也可以并行执行，所述第一权重参数、所述第二权重参数和所述第三权重参数可以相同，也可以均不相同。
S4014，将与相同卷积层级对应的所述第一融合特征向量、所述第二融合特征向量和所述第三融合特征向量进行加权平均，得到所述融合特征向量。
可理解地，所述加权平均为将所述第一融合特征向量、所述第二融合特征向量和所述第三融合特征向量进行加权之后取平均值，将与相同卷积层级对应的所述第一融合特征向量、所述第二融合特征向量和所述第三融合特征向量进行加权平均从而得到与各卷积层对应的所述融合特征向量。
S402，通过所述肺部融合识别模型对所述融合特征向量进行所述图像文本融合特征的提取。
可理解地，所述图像文本融合特征的提取过程可以为将第一层的卷积层的融合特征向量进行卷积，再与该卷积层的下一层的卷积层的融合特征向量进行叠加得到中转特征向量，再对该中转特征向量进行卷积，不断与下一层的卷积层的融合特征向量进行叠加得到中转特征向量，对叠加后的中转特征向量进行卷积直至得到一维的特征向量的提取过程。
S403，通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果。
可理解地，通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，所述识别为根据提取的所述图像文本融合特征，获得各肺部特征类别的概率分布，从而输出识别到的所述融合识别结果。
本发明实现了通过运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；通过所述肺部融合识别模型对所述融合特征向量进行所述图像文本融合特征的提取；通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果，如此，实现了运用注意力机制能够增强图像和文本中有用的信息，并且能够更好捕捉到图像和文本之间的全局相似性，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，并提取图像文本融合特征进行识别，能够提高肺部特征识别的准确率，以及可靠性。
S50，通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。
可理解地，所述投票表决为对所述图像识别结果、所述文本识别结果和所述融合识别结果中的与相同的肺部特征类别对应的概率值进行加权平均，最终确定出概率值最高的肺部特征类别，将该概率值最高的肺部特征类别作为所述肺部特征识别结果，所述肺部特征识别结果包括识别出的肺部特征类别和与该类别对应的概率值，所述肺部特征识别结果表明了所述待识别数据的肺部特征类别，所述肺部特征为肺部组织运动体现的特征，比如，肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征等等，所述肺部特征类别为对所述肺部特征的分类，比如，所述肺部特征类别包括与胸膜凹陷特征对应的胸膜凹陷特征类、与气支气管特征对应的气支气管特征类、与肺空泡特征对应的肺空泡特征类、与肺毛刺特征对应的肺毛刺特征类和与肺部毛玻璃样特征对应的肺部毛玻璃样特征。
本发明实现了通过获取所述识别请求中的待识别数据；所述待识别数据包括待识别肺部图像和待识别肺部文本描述；将所述待识别数据输入至包含有肺部图像识别模型、肺部文本识别模型和肺部融合识别模型的肺部特征识别模型；通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并提取图像文本融合特征进行识别，得到融合识别结果；通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，如此，实现了通过肺部图像识别模型识别待识别肺部图像，得到图像识别结果，通过肺部文本识别模型识别待识别肺部文本描述，得到文本识别结果，再结合待识别肺部图像和待识别文本描述，运用注意力机制，通过肺部融合识别模型提取图像文本融合特征进行识别，得到融合识别结果，最后根据所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，得出肺部特征识别结果，实现了结合待识别肺部图像和待识别肺部文本描述，通过基于多模态模型的肺部特征识别模型自动地、快速地、准确地识别出肺部特征，提高了识别准确率和可靠性，提升了识别效率。
在一实施例中，如图6所示，所述步骤S50中，即所述通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，包括：
S501，获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数。
可理解地，与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数包括提供给与最后一层卷积层对应的所述肺部图像特征向量的图像权重和所述肺部文本特征向量的文本权重。
S502，根据获取的所述权重参数，确定出投票表决参数。
可理解地，将获取的所述图像权重和所述文本权重保持不变，将所述图像权重作为所述图像识别结果的投票表决参数，将所述文本权重作为所述文本识别结果的投票表决参数，将数值一作为所述融合识别结果的投票表决参数。
S503，按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果。
可理解地，根据所述图像识别结果的投票表决参数、所述图像识别结果、所述文本识别结果的投票表决参数、所述文本识别结果、所述融合识别结果的投票表决参数和所述融合识别，通过加权平均，得到各肺部特征类别的最终概率分布，将概率值最高的肺部特征类别确定为所述肺部特征识别结果。
本发明实现了通过获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数；根据获取的所述权重参数，确定出投票表决参数；按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果，如此，通过对所述图像识别结果、所述文本识别结果和所述融合识别结果进行客观地投票表决，最终识别出肺部特征类别，提高了肺部特征识别的准确率和可靠性。
在一实施例中，提供一种肺部特征识别装置，该肺部特征识别装置与上述实施例中肺部特征识别方法一一对应。如图7所示，该肺部特征识别装置包括接收模块11、输入模块12、第一识别模块13、第二识别模块14和表决模块15。各功能模块详细说明如下：
接收模块11，用于接收到识别请求，获取所述识别请求中的待识别数据；所述待识别数据包括待识别肺部图像和待识别肺部文本描述；所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的描述；
输入模块12，用于将所述待识别数据输入至肺部特征识别模型；所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
第一识别模块13，用于通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
第二识别模块14，用于通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并提取图像文本融合特征进行识别，得到融合识别结果；
表决模块15，用于通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别。
关于肺部特征识别装置的具体限定可以参见上文中对于肺部特征识别方法的限定，在此不再赘述。上述肺部特征识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种肺部特征识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中肺部特征识别方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中肺部特征识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种肺部特征识别方法，其特征在于，包括：
获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；在采集完所述待识别肺部图像，而且针对所述待识别肺部图像输入完所述待识别肺部文本描述之后，将所述待识别肺部图像和所述待识别肺部文本描述确定为待识别数据；所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的主诉信息描述；所述肺部特征为肺部组织运动体现的特征，所述肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征；
将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；
通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别；
所述通过所述肺部融合识别模型使用注意力机制，融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果，包括：
运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；
通过所述肺部融合识别模型对所述融合特征向量进行图像文本融合特征的提取；所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征；所述隐含特征是指肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征；所述图像文本融合特征的提取过程为将第一层的卷积层的融合特征向量进行卷积，再与该卷积层的下一层的卷积层的融合特征向量进行叠加得到中转特征向量，再对该中转特征向量进行卷积，不断与下一层的卷积层的融合特征向量进行叠加得到中转特征向量，对叠加后的中转特征向量进行卷积直至得到一维的特征向量的提取过程；
通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果；
所述通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果，包括：
获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数；
根据获取的所述权重参数，确定出投票表决参数，将图像权重作为所述图像识别结果的投票表决参数，将文本权重作为所述文本识别结果的投票表决参数，将数值一作为所述融合识别结果的投票表决参数；
按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果。
2.如权利要求1所述的肺部特征识别方法，其特征在于，所述通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，包括：
通过所述肺部图像识别模型将所述待识别肺部图像拆分成红色通道图像、绿色通道图像和蓝色通道图像，所述肺部图像识别模型为基于VGG19构建的网络模型；
通过所述肺部图像识别模型分别对所述红色通道图像、所述绿色通道图像和所述蓝色通道图像进行卷积提取，得到与所述红色通道图像对应的红色特征向量、与所述绿色通道图像对应的绿色特征向量和与所述蓝色通道图像对应的蓝色特征向量；
通过所述肺部图像识别模型对所述红色特征向量、绿色特征向量和蓝色特征向量进行图像识别，得到所述图像识别结果。
3.如权利要求1所述的肺部特征识别方法，其特征在于，所述通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果，包括：
通过所述肺部文本识别模型对所述待识别肺部文本描述进行分词，并构建与所述待识别肺部文本描述对应的文本词向量，所述肺部文本识别模型为基于TextCNN构建的网络模型；
将所述文本词向量进行通道扩充，生成第一文本词向量、第二文本词向量和第三文本词向量；
通过所述肺部文本识别模型分别对所述第一文本词向量、所述第二文本词向量和所述第三文本词向量进行卷积提取，得到与所述第一文本词向量对应的第一文本特征向量、与所述第二文本词向量对应的第二文本特征向量和与所述第三文本词向量对应的第三文本特征向量；
通过所述肺部文本识别模型对所述第一文本特征向量、第二文本特征向量和第三文本特征向量进行文本识别，得到所述文本识别结果。
4.如权利要求1所述的肺部特征识别方法，其特征在于，所述肺部图像特征向量包括红色特征向量、绿色特征向量和蓝色特征向量；所述肺部文本特征向量包括第一文本特征向量、第二文本特征向量和第三文本特征向量；
所述肺部图像识别模型、所述肺部文本识别模型和所述肺部融合识别模型均具有相同的卷积层级，并且三个模型中均设有与每一个卷积层级对应的卷积层；
所述通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量，包括：
将与相同卷积层级对应的所述红色特征向量和所述第一文本特征向量按照与该卷积层级对应的第一权重参数进行融合，得到第一融合特征向量；
将与相同卷积层级对应的所述绿色特征向量和所述第二文本特征向量按照与该卷积层级对应的第二权重参数进行融合，得到第二融合特征向量；
将与相同卷积层级对应的所述蓝色特征向量和所述第三文本特征向量按照与该卷积层级对应的第三权重参数进行融合，得到第三融合特征向量；
将与相同卷积层级对应的所述第一融合特征向量、所述第二融合特征向量和所述第三融合特征向量进行加权平均，得到所述融合特征向量。
5.如权利要求1所述的肺部特征识别方法，其特征在于，所述将所述待识别数据输入至肺部特征识别模型之前，包括：
获取肺部样本集，所述肺部样本集包括多个肺部样本，所述肺部样本包括肺部影像和与所述肺部影像关联的肺部文本描述，所述肺部样本与一个肺部特征类别标签关联；
将所述肺部样本输入含有初始参数的多模态模型；所述多模态模型包括肺部样本图像识别模型、肺部样本文本识别模型和肺部样本融合识别模型；
通过所述肺部样本图像识别模型对所述肺部影像进行所述肺部图像特征提取，生成肺部样本图像特征向量和图像样本识别结果，同时通过所述肺部样本文本识别模型对与所述肺部影像关联的所述肺部文本描述进行所述肺部文本特征提取，生成肺部样本文本特征向量和文本样本识别结果；
通过所述肺部样本融合识别模型使用注意力机制融合所述肺部样本图像特征向量和所述肺部样本文本特征向量，并学习提取所述图像文本融合特征以及识别，得到融合样本识别结果；
对所述图像样本识别结果、所述文本样本识别结果和所述融合样本识别结果进行投票表决，得到样本识别结果；
根据所述样本识别结果和所述肺部特征类别标签，确定出损失值；
在所述损失值未达到预设的收敛条件时，迭代更新所述多模态模型的初始参数，直至所述损失值达到所述预设的收敛条件时，将收敛之后的所述多模态模型记录为肺部特征识别模型。
6.一种肺部特征识别装置，其特征在于，包括：
接收模块，用于获取待识别数据，其中，所述待识别数据包括待识别肺部图像和待识别肺部文本描述；在采集完所述待识别肺部图像，而且针对所述待识别肺部图像输入完所述待识别肺部文本描述之后，将所述待识别肺部图像和所述待识别肺部文本描述确定为待识别数据；所述待识别肺部文本描述为针对所述待识别肺部图像中的肺部特征的主诉信息描述；所述肺部特征为肺部组织运动体现的特征，所述肺部特征包括胸膜凹陷特征、气支气管特征、肺空泡特征、肺毛刺特征、肺部毛玻璃样特征；
输入模块，用于将所述待识别数据输入至肺部特征识别模型，所述肺部特征识别模型包括肺部图像识别模型、肺部文本识别模型和肺部融合识别模型；
第一识别模块，用于通过所述肺部图像识别模型对所述待识别肺部图像进行肺部图像特征提取，生成肺部图像特征向量和图像识别结果，同时通过所述肺部文本识别模型对所述待识别肺部文本描述进行肺部文本特征提取，生成肺部文本特征向量和文本识别结果；
第二识别模块，用于通过所述肺部融合识别模型使用注意力机制融合所述肺部图像特征向量和所述肺部文本特征向量，并对融合后的特征进行提取以及识别，得到融合识别结果；
表决模块，用于通过所述肺部特征识别模型对所述图像识别结果、所述文本识别结果和所述融合识别结果进行投票表决，获得与所述待识别数据对应的肺部特征识别结果；所述肺部特征识别结果表明了所述待识别数据的肺部特征类别；
所述第二识别模块还用于：
运用注意力机制技术，通过与所述肺部融合识别模型中的各卷积层对应的权重参数，将所述肺部图像特征向量以及所述肺部文本特征向量进行加权融合，得到与各卷积层对应的融合特征向量；
通过所述肺部融合识别模型对所述融合特征向量进行图像文本融合特征的提取；所述图像文本融合特征为所述肺部图像特征向量和所述肺部文本特征向量之间关联的隐含特征；所述隐含特征是指肺部图像特征向量和所述肺部文本特征向量之间的全局相似性特征；所述图像文本融合特征的提取过程为将第一层的卷积层的融合特征向量进行卷积，再与该卷积层的下一层的卷积层的融合特征向量进行叠加得到中转特征向量，再对该中转特征向量进行卷积，不断与下一层的卷积层的融合特征向量进行叠加得到中转特征向量，对叠加后的中转特征向量进行卷积直至得到一维的特征向量的提取过程；
通过所述肺部融合识别模型根据提取的所述图像文本融合特征进行识别，获得所述融合识别结果；
所述表决模块还用于：
获取与所述肺部融合识别模型中的最后一层所述卷积层对应的权重参数；
根据获取的所述权重参数，确定出投票表决参数，将图像权重作为所述图像识别结果的投票表决参数，将文本权重作为所述文本识别结果的投票表决参数，将数值一作为所述融合识别结果的投票表决参数；
按照所述投票表决参数，对所述图像识别结果、所述文本识别结果和所述融合识别结果进行所述投票表决，获得所述肺部特征识别结果。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述肺部特征识别方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述肺部特征识别方法。
CN202010991495.4A 2020-09-21 2020-09-21 肺部特征识别方法、装置、计算机设备及存储介质 Active CN111832581B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010991495.4A CN111832581B (zh) 2020-09-21 2020-09-21 肺部特征识别方法、装置、计算机设备及存储介质
PCT/CN2021/096366 WO2022057309A1 (zh) 2020-09-21 2021-05-27 肺部特征识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010991495.4A CN111832581B (zh) 2020-09-21 2020-09-21 肺部特征识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111832581A CN111832581A (zh) 2020-10-27
CN111832581B true CN111832581B (zh) 2021-01-29

Family

ID=72918738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010991495.4A Active CN111832581B (zh) 2020-09-21 2020-09-21 肺部特征识别方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN111832581B (zh)
WO (1) WO2022057309A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832581B (zh) * 2020-09-21 2021-01-29 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质
CN112070069A (zh) * 2020-11-10 2020-12-11 支付宝(杭州)信息技术有限公司 遥感图像的识别方法和装置
CN113469049B (zh) * 2021-06-30 2024-05-10 平安科技（深圳）有限公司 一种疾病信息识别方法、***、装置及存储介质
CN113409306A (zh) * 2021-07-15 2021-09-17 推想医疗科技股份有限公司 一种检测装置、训练方法、训练装置、设备和介质
CN114863182A (zh) * 2022-05-23 2022-08-05 北京百度网讯科技有限公司 图像分类方法、图像分类模型的训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392224A (zh) * 2017-06-12 2017-11-24 天津科技大学 一种基于三通道卷积神经网络的作物病害识别算法
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN108334605A (zh) * 2018-02-01 2018-07-27 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN108334843A (zh) * 2018-02-02 2018-07-27 成都国铁电气设备有限公司 一种基于改进AlexNet的燃弧识别方法
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质
CN110188343A (zh) * 2019-04-22 2019-08-30 浙江工业大学 基于融合注意力网络的多模态情感识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460889B (zh) * 2020-02-27 2023-10-31 平安科技（深圳）有限公司 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN111563551B (zh) * 2020-04-30 2022-08-30 支付宝(杭州)信息技术有限公司 一种多模态信息融合方法、装置及电子设备
CN111832581B (zh) * 2020-09-21 2021-01-29 平安科技（深圳）有限公司 肺部特征识别方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392224A (zh) * 2017-06-12 2017-11-24 天津科技大学 一种基于三通道卷积神经网络的作物病害识别算法
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN108399409A (zh) * 2018-01-19 2018-08-14 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN108334605A (zh) * 2018-02-01 2018-07-27 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN108334843A (zh) * 2018-02-02 2018-07-27 成都国铁电气设备有限公司 一种基于改进AlexNet的燃弧识别方法
CN109543714A (zh) * 2018-10-16 2019-03-29 北京达佳互联信息技术有限公司 数据特征的获取方法、装置、电子设备及存储介质
CN110188343A (zh) * 2019-04-22 2019-08-30 浙江工业大学 基于融合注意力网络的多模态情感识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一、降维——机器学习笔记——降维（特征提取）;Nicole_Liang;《CSDN博客-https://blog.csdn.net/weixin_39541558/article/details/80053831》;20180423;第1-8页 *

Also Published As

Publication number Publication date
CN111832581A (zh) 2020-10-27
WO2022057309A1 (zh) 2022-03-24

Similar Documents

Publication Publication Date Title
CN111832581B (zh) 肺部特征识别方法、装置、计算机设备及存储介质
US11348249B2 (en) Training method for image semantic segmentation model and server
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN112330685B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN112926654A (zh) 预标注模型训练、证件预标注方法、装置、设备及介质
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN113192175A (zh) 模型训练方法、装置、计算机设备和可读存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN114821736A (zh) 基于对比学习的多模态人脸识别方法、装置、设备及介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN112241705A (zh) 基于分类回归的目标检测模型训练方法和目标检测方法
CN113743448B (zh) 模型训练数据获取方法、模型训练方法和装置
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN111582404B (zh) 内容分类方法、装置及可读存储介质
CN115116128A (zh) 一种自约束优化的人体姿态估计方法及***
CN111598144B (zh) 图像识别模型的训练方法和装置
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant