CN111833991A - 基于人工智能的辅助判读方法、装置、终端和存储介质 - Google Patents
基于人工智能的辅助判读方法、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN111833991A CN111833991A CN201910324859.0A CN201910324859A CN111833991A CN 111833991 A CN111833991 A CN 111833991A CN 201910324859 A CN201910324859 A CN 201910324859A CN 111833991 A CN111833991 A CN 111833991A
- Authority
- CN
- China
- Prior art keywords
- neural network
- eigenvector
- features
- matrix
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 167
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 138
- 238000012545 processing Methods 0.000 claims abstract description 127
- 239000013598 vector Substances 0.000 claims abstract description 106
- 238000013528 artificial neural network Methods 0.000 claims abstract description 73
- 230000000306 recurrent effect Effects 0.000 claims abstract description 48
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 86
- 238000002372 labelling Methods 0.000 claims description 85
- 125000004122 cyclic group Chemical group 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 238000011478 gradient descent method Methods 0.000 claims description 12
- 238000013139 quantization Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000003902 lesion Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于人工智能的辅助判读方法、装置、终端和存储介质。基于人工智能的辅助判读方法包括：初始化第一卷积神经网络的参数、第二卷积神经网络的参数及GRU循环神经网络的参数；获取待判读图像信息，并进行预处理；使用第一卷积神经网络进行初步处理，得到待判读图像信息的初步特征矢量及分类待判读图像序列；提取灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用第二卷积神经网络处理拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；融合拉普拉斯特征矢量、黑塞矩阵特征矢量及初步特征矢量形成组合特征矢量，并采用GRU循环神经网络对组合特征矢量进行处理；以及展示处理结果用于辅助判读，并存储判读结果。
Description
技术领域
本发明涉及智能医用辅助判读领域，特别是涉及一种基于人工智能的辅助判读方法、装置、终端和存储介质。
背景技术
一些人体内部器官可视化的医疗工具能从内部完全展示人体器官的状况，同时又没有常规内镜的疼痛和不适，非常易于实施。但是这些可视化的医疗工具产生视频图像的数量和图像的复杂度对于识别而言非常具有挑战性。比如，通过胶囊内窥镜记录一个患者正常的小肠视频图像记录可以长达8小时，如果使用每秒2帧的记录形式，一个视频可以包含多达57,600个图像(每秒24帧的图像数将达到691200张)；其次，可视化的医疗工具可能在人体器官内自由移动，所拍摄的图像成像条件变化多端，有时甚至完全或部分地受其他物质，如胆汁或正在消化的食物的影响，因而视频图像的复杂度也是极高的。
目前的辅助判读装置存在识别病种种类少、识别病种的方法不通用，针对不同的病症，需要设计特定的特征提取方法和判定方法。深度学习神经网络的出现改变了传统的图像识别的方式，深度模型具有强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息。这使得它在提取图像的全局特征和上下文信息方面具有突出的优势。
将深度学习用于智能辅助判读，已经有了一些尝试和进展,但是由于医疗判读领域的特点，基于人工智能的深度学习技术的辅助判读往往效果有限。
发明内容
基于此，有必要针对基于人工智能的深度学习技术的辅助判读往往效果有限，提供一种基于人工智能的辅助判读方法、装置、终端和存储介质。
一种基于人工智能的辅助判读方法，包括：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到待判读图像信息的初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
在一个实施例中，所述初始化包括：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数及标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
在一个实施例中，所述提供初始训练数据库包括：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
在一个实施例中，所述预设条件包括预设数量和预设时间中至少一者。
在一个实施例中，所述使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数包括：
使用小批量梯度下降法对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数。
在一个实施例中，所述使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数包括：
使用随机梯度下降法对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数。
在一个实施例中，所述预处理包括对所述待判读的图像信息进行以下处理中的一种或多种：切分、格式转换、变形、翻转、扭曲、亮度调整、数据增强、裁剪、光照和正则化。
一种基于人工智能的辅助判读装置，包括：
预处理模块，用于获取待判读图像信息，并进行预处理；
初步处理模块，包括第一卷积神经网络，用于对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
精细处理模块，包括第二卷积神经网络，用于提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合处理模块，包括门控循环单元(GRU)循环神经网络，用于融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，以及采用所述GRU循环神经网络对所述组合特征矢量进行处理；
初始化模块，用于初始化所述第一卷积神经网络的参数、所述第二卷积神经网络的参数及所述GRU循环神经网络的参数；以及
交互模块，用于展示处理结果用于辅助判读，并存储判读结果。
在一个实施例中，所述初始化模块还包括：
初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
训练卷积神经网络；及
训练GRU循环神经网络；
所述预处理模块还用于获取所述标注图像信息，并进行预处理；
所述初始化模块还用于使用所述训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用所述训练GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
在一个实施例中，所述初始化模块还用于：
根据所述交互模块存储的所述判读结果更新所述初始训练数据库。
在一个实施例中，所述训练模块还用于使用小批量梯度下降法对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数。
在一个实施例中，所述训练模块还用于使用随机梯度下降法对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数。
在一个实施例中，所述预处理包括对所述待判读的图像信息进行以下处理中的一种或多种：切分、格式转换、变形、翻转、扭曲、亮度调整、数据增强、裁剪、光照和正则化。
一种终端，包括存储器和处理器，所述存储器中存储有指令，所述指令被所述处理器执行时，使得所述处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
在一个实施例中，所述指令被所述处理器执行时，使得所述处理器还执行以下步骤：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
在一个实施例中，指令被所述处理器执行时，使得所述处理器还执行以下步骤：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
在一个实施例中，所述预设条件包括预设数量和预设时间中至少一者。
一个或多个存储有计算机可执行指令的非易失性存储介质，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
在一个实施例中，所述指令被所述处理器执行时，使得所述处理器还执行以下步骤：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
在一个实施例中，指令被所述处理器执行时，使得所述处理器还执行以下步骤：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
本申请的基于人工智能的辅助判读方法、装置、终端和存储介质融合使用第一卷积神经网络对经过预处理的待判读图像信息进行初步处理而取得的初步特征矢量，以及使用第二卷积神经网络处理待判读图像信息的拉普拉斯特征和黑塞矩阵特征分别得到的拉普拉斯特征矢量和黑塞矩阵特征矢量来对待判读图像进行分类、处理，提高了待判读图像的分类、处理效率，更好地辅助判读。并且根据最终的判读结果或处理结果，不断优化相关的判读参数，也即优化用于判读的神经网络模型，从而大幅提高深度学习的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中的终端的示意图。
图2为本申请一实施例中的人工智能的辅助判读方法的流程图。
图3为本申请另一实施例中的人工智能的辅助判读方法的流程图。
图4为本申请一实施例中的卷积神经网络示意图。
图5为本申请一实施例中的GRU循环神经网络示意图。
图6为本申请一实施例中的人工智能的辅助判读装置的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，提供了一种终端，该终端上可安装应用程序。该终端可以是手机、平板电脑、笔记本电脑、台式计算机等。如图1所示，该终端包括通过***总线连接的处理器、内存储器、非易失性存储介质、网络接口、显示屏和输入装置。其中，该处理器用于提供计算和控制能力，支撑整个终端的运行。该终端的非易失性存储介质存储有操作***和计算机可执行指令，该计算机可执行指令可被处理器所执行以实现以下各实施例所提供的一种基于人工智能的辅助判读方法。终端中的内存储器为非易失性存储介质中的操作***和计算机可执行指令的运行提供环境。网络接口用于连接到网络进行通信。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，在本实施例中，显示屏可作为终端的输出装置，用于显示各种界面，比如，可显示辅助判读界面。输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等，用于供用户输入各种控制指令，例如，在本实施例中，可供用户输入信息展示指令。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图2所示，在一个实施例中，提供了一种基于人工智能的辅助判读方法，现以该方法应用于图1所示的终端为例进行说明，具体包括以下步骤：
步骤S20：初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数。
如图3所示，在一个实施例中，步骤S20具体包括：
步骤S202：提供初始训练数据库，该初始训练数据库包括具有判读标注的标注图像信息。
举例来说，初始训练数据库包括经过医生精确标注的标注图像信息，比如胶囊内窥镜图像的标注图像信息。例如，该标注信息经过两名以上专业医生的识别和复核，并经过一个三人的医生团队最终确认，包括对存在病变的图像标注的病变类型，最终形成/提供初始训练数据库。
另外，初始训练数据库还可以进行及时更新，例如当存储的该判读结果达到预设条件时，根据该判读结果更新该初始训练数据库。预设条件包括预设数量和预设时间中至少一者。比如，当累计的医生或者其他主体作出的判读结果达到200个或者新增的带有标注信息的图像达到2000张，或者经过了1个月、半年或者一年，则更新初始训练数据库。本特征可以确保及时根据新的判读结果更新初始训练数据库，重新启动训练/初始化，从而及时更新各个参数。
步骤S204：获取该标注图像信息，并进行预处理。
读入标注图像信息，例如医生标注了病变类型的图片或视频，根据标注图像信息的类型(图片或视频)，然后进行预处理得到相应的、所需的图像信息。预处理包括：对视频的切分和格式转化、图像格式转换、变形、翻转、扭曲、亮度调整、数据增强，裁剪、光照等；对图像数据进行正则化；将最终结果图像数据存储格式进行转换，以利于下一步的训练或处理。
步骤S206：使用训练卷积神经网络对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络的参数、标注特征矢量及分类标注图像序列。
例如，可以使用小批量梯度下降法对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络的参数。
进一步参考图4，其中示出了本实施例中卷积神经网络的结构。卷积神经网络可以在计算机视觉组(Visual Geometry Group,VGG)网络结构，Google网络结构，残差网络结构(Residual Network,ResNet)中任意选择，本实例选择了Google网络结构的GoogleInception-V4网络，该卷积神经网络在本应用中具有准确度高，分类稳定的特点，能很好地适用应用的需求。如图所示，该卷积神经网络依次包括：输入层(input层)402，作为一个示例，在此输入矢量299*299*3(即待判读图像信息)，表示长宽各299个像素及包括R、G、B三个颜色通道；初始层(stem层)404；5×Inception-resnet-A层406；Reduction-A层408；10×Inception-resnet-B层410；Reduction-B层412；5×Inception-resnet-C层414；平均池化层(average pooling层)416；丢弃层(dropout层)418，作为一个示例，在此随机丢弃20％的数据，保留80％的数据；以及全连接层(Softmax)420。本实施例中得到的第一卷积神经网络的参数及标注特征矢量是卷积神经网络的全连接层420(即最后一层)输出的第一卷积神经网络的参数及标注特征矢量，该标注特征矢量为一个一维矢量。在本实施例中，卷积神经网络将经过预处理的标注图像信息中的图像分为不同的疾病图像序列，但不改变其先后顺序。
步骤S208：提取该分类标注图像序列的标注灰度特征，分别提取该标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用该训练卷积神经网络对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量。
例如，可以使用随机梯度下降法对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络的参数。
具体而言，读取上述分类标注图像序列，提取该标注图像信息的256级标注灰度特征；再分别对该标注灰度特征进行拉普拉斯和黑塞矩阵两个变换，获得两个不同的灰度特征，即标注拉普拉斯特征和标注黑塞矩阵特征。
拉普拉斯算子计算公式如下：
其中，x,y表示图像上的点分别在x轴和y轴上的位置，而f(x,y)代表图像中(x,y)点的灰度值。
黑塞矩阵计算公式如下：
在二维图像中，黑塞矩阵是二维正定矩阵，通过上述计算公式，可以得到黑塞矩阵的两个特征值λ1和λ2和对应的两个特征向量。设λ1为绝对值大的特征值，即|λ1|＞|λ2|，则图像中(x,y)点的特征值为max(0,λ1)。并且：
其中,I(x,y)代表图像中(x,y)点的灰度值。
然后再次使用前述Google Inception-V4网络分别对上述两个灰度特征进行处理，得到第二卷积神经网络的参数，并分别在全连接层输出两种一维矢量，即标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量。
步骤S210：融合该标注拉普拉斯特征矢量、该标注黑塞矩阵特征矢量及该标注特征矢量形成特征矩阵，并将该特征矩阵整量化并采用如图5所示的GRU循环神经网络对该特征矩阵进行处理，得到该GRU循环神经网络的参数。
具体而言，融合步骤S206得到的标注特征矢量，采用双向的门控循环单元(GRU)循环神经网络进行处理；本实例中，三个维数相同的特征矢量(即标注特征矢量、标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量)形成一个二维的特征矩阵，并对该特征矩阵整量化后，输入双向GRU循环神经网络进行训练/处理，得到初始的GRU循环神经网络的参数，用于后续的处理。
步骤S30：获取待判读图像信息，并进行预处理。
具体而言，读入待判读图像信息，例如胶囊内窥镜采集的病变的图片或视频，根据待判读图像信息的类型(图片或视频)，然后进行预处理得到相应的、所需的图像信息。预处理包括：对视频的切分和格式转化、图像格式转换、变形、翻转、扭曲、亮度调整、数据增强，裁剪、光照等；对图像数据进行正则化；将最终结果图像数据存储格式进行转换，以利于下一步的训练或处理。
步骤S40：使用该第一卷积神经网络对经过预处理的该待判读图像信息进行初步处理，得到初步特征矢量及分类待处理图像序列。
第一卷积神经网络同样采用图4所示的卷积神经网络，在此不再赘述。在本实施例中，卷积神经网络将经过预处理的待判读图像信息中的图像分类为分类待处理图像序列，即不同的疾病图像序列，但不改变其先后顺序。
对每个图像初步处理或分类，提取前五的可能病灶概率，表示为：
Cout＝C1,C2,C3,C4,C5
其中Cout表示初步分类，C1到C5表示初步分类的、前五个可能病灶概率。
步骤S50：提取该分类待处理图像序列的灰度特征，分别提取该灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用该第二卷积神经网络处理该拉普拉斯特征和该黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量。
具体而言，读取上述分类待处理图像序列，提取该待处理图像信息的256级灰度特征；再分别对该灰度特征进行拉普拉斯和黑塞矩阵两个变换，获得两个不同的灰度特征，即拉普拉斯特征和黑塞矩阵特征。
然后使用第二卷积神经网络，即前述的Google Inception-V4网络分别对上述两个灰度特征进行处理，并分别在全连接层输出两种一维矢量，即拉普拉斯特征矢量和黑塞矩阵特征矢量。
对每个图像精细处理或分类，提取前五的可能病灶概率，表示为：
Jout＝J1,J2,J3,J4,J5
其中Jout表示精细分类，J1到J5表示精细分类的、前五个可能病灶概率。
步骤S60：融合该拉普拉斯特征矢量、该黑塞矩阵特征矢量及该初步特征矢量形成组合特征矢量，并采用该GRU循环神经网络对该组合特征矢量进行处理。
具体而言，融合步骤S40得到的初步特征矢量，采用GRU循环神经网络进行处理；本实例中，三个维数相同的特征矢量(即初步特征矢量、拉普拉斯特征矢量和黑塞矩阵特征矢量)形成一个二维的特征矩阵，并对该特征矩阵整量化后，输入双向GRU循环神经网络进行处理。最终输出采用Cout和Jout加权相加的方式，每个图像的最终分类概率表示为：
其中，Zout表示最终分类，Ci与Ji表示的病灶相同，则该病灶分类按照上式相加；如果不相同，则单独计算；最终结果按照大小排列，并保存。
步骤S70：展示处理结果用于辅助判读，并存储判读结果。
具体而言，将上述处理/分类结果即初步的判读结果进行展示，用于辅助医生或其他主体进行判读或进一步处理，用于产生最终的判读结果或处理结果。最终的判读结果或处理结果将存储，例如标注的异常影像将转换格式存储。
本申请的基于人工智能的辅助判读方法融合使用第一卷积神经网络对经过预处理的待判读图像信息进行初步处理而取得的初步特征矢量，以及使用第二卷积神经网络处理待判读图像信息的拉普拉斯特征和黑塞矩阵特征分别得到的拉普拉斯特征矢量和黑塞矩阵特征矢量来对待判读图像进行分类、处理，提高了待判读图像的分类、处理效率，更好地辅助判读。并且根据最终的判读结果或处理结果，不断优化相关的判读参数，也即优化用于判读的神经网络模型，从而大幅提高深度学习的效率。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图6所示，为本申请一实施例中的人工智能的辅助判读装置的框图。
一种基于人工智能的辅助判读装置60，包括：
预处理模块602，用于获取待判读图像信息，并进行预处理。
初步处理模块604，包括第一卷积神经网络6042，用于对经过预处理的该待判读图像信息进行初步处理，得到初步特征矢量。
精细处理模块606，包括第二卷积神经网络6062，用于提取该预处理后的待判读图像信息的灰度特征，分别提取该灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用该第二卷积神经网络处理该拉普拉斯特征和该黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量。
融合处理模块608，包括门控循环单元(GRU)循环神经网络6082，用于融合该拉普拉斯特征矢量、该黑塞矩阵特征矢量及该初步特征矢量形成组合特征矢量，以及采用该GRU循环神经网络对该组合特征矢量进行处理。
初始化模块610，用于初始化该第一卷积神经网络6042的参数、该第二卷积神经网络6062的参数及该GRU循环神经网络6082的参数。
交互模块612，用于展示处理结果用于辅助判读，并存储该判读结果。
该初始化模块610还包括：
初始训练数据库6102，该初始训练数据库6102包括具有判读标注的标注图像信息；
训练卷积神经网络6104；及
训练GRU循环神经网络6106
在一个实施例中，该预处理模块602还用于获取该标注图像信息，并进行预处理；
如图6所示，在一个实施例中，该辅助判读装置60的初始化模块610还用于使用该训练卷积神经网络6104对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络6042的参数及标注特征矢量；提取该预处理后的标注图像信息的标注灰度特征，分别提取该标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用该训练卷积神经网络6104对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络6062的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及融合该标注拉普拉斯特征矢量、该标注黑塞矩阵特征矢量及该标注特征矢量形成特征矩阵，并将该特征矩阵整量化并采用该训练GRU循环神经网络6106对该特征矩阵进行处理，得到该GRU循环神经网络6082的参数。
在一个实施例中，初始化模块610还用于：
根据该交互模块存储612的该判读结果更新该初始训练数据库6102。
在一个实施例中，训练模块614还用于使用小批量梯度下降法对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络6042的参数。
在一个实施例中，训练模块614还用于使用随机梯度下降法对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络6062的参数。
本申请的基于人工智能的辅助判读装置融合使用第一卷积神经网络对经过预处理的待判读图像信息进行初步处理而取得的初步特征矢量，以及使用第二卷积神经网络处理待判读图像信息的拉普拉斯特征和黑塞矩阵特征分别得到的拉普拉斯特征矢量和黑塞矩阵特征矢量来对待判读图像进行分类、处理，提高了待判读图像的分类、处理效率，更好地辅助判读。并且根据最终的判读结果或处理结果，不断优化相关的判读参数，也即优化用于判读的神经网络模型，从而大幅提高深度学习的效率。
上述人工智能的辅助判读装置的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端的处理器中，也可以以软件形式存储于终端的存储器中，以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元(CPU)、微处理器、单片机等。
在一个实施例中，提供了一种终端，包括存储器和处理器，该存储器中存储有指令，该指令被该处理器执行时，使得该处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用该第一卷积神经网络对经过预处理的该待判读图像信息进行初步处理，得到初步特征矢量；
提取该预处理后的待判读图像信息的灰度特征，分别提取该灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用该第二卷积神经网络处理该拉普拉斯特征和该黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合该拉普拉斯特征矢量、该黑塞矩阵特征矢量及该初步特征矢量形成组合特征矢量，并采用该GRU循环神经网络对该组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储该判读结果。
在一个实施例中，指令被该处理器执行时，使得该处理器还执行以下步骤：
提供初始训练数据库，该初始训练数据库包括具有判读标注的标注图像信息；
获取该标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络的参数及标注特征矢量；
提取该预处理后的标注图像信息的标注灰度特征，分别提取该标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用该训练卷积神经网络对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合该标注拉普拉斯特征矢量、该标注黑塞矩阵特征矢量及该标注特征矢量形成特征矩阵，并将该特征矩阵整量化并采用GRU循环神经网络对该特征矩阵进行处理，得到该GRU循环神经网络的参数。
在一个实施例中，指令被该处理器执行时，使得该处理器还执行以下步骤：
当存储的该判读结果达到预设条件时，根据该判读结果更新该初始训练数据库。
在一个实施例中，该预设条件包括预设数量和预设时间中至少一者。
在一个实施例中，提供了一个或多个存储有计算机可执行指令的非易失性存储介质，该计算机可执行指令被一个或多个处理器执行时，使得该一个或多个处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用该第一卷积神经网络对经过预处理的该待判读图像信息进行初步处理，得到初步特征矢量；
提取该预处理后的待判读图像信息的灰度特征，分别提取该灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用该第二卷积神经网络处理该拉普拉斯特征和该黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合该拉普拉斯特征矢量、该黑塞矩阵特征矢量及该初步特征矢量形成组合特征矢量，并采用该GRU循环神经网络对该组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储该判读结果。
在一个实施例中，该指令被该处理器执行时，使得该处理器还执行以下步骤：
提供初始训练数据库，该初始训练数据库包括具有判读标注的标注图像信息；
获取该标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的该标注图像信息进行处理，得到该第一卷积神经网络的参数及标注特征矢量；
提取该预处理后的标注图像信息的标注灰度特征，分别提取该标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用该训练卷积神经网络对该标注拉普拉斯特征和该标注黑塞矩阵特征进行处理，得到该第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合该标注拉普拉斯特征矢量、该标注黑塞矩阵特征矢量及该标注特征矢量形成特征矩阵，并将该特征矩阵整量化并采用GRU循环神经网络对该特征矩阵进行处理，得到该GRU循环神经网络的参数。
在一个实施例中，指令被该处理器执行时，使得该处理器还执行以下步骤：
当存储的该判读结果达到预设条件时，根据该判读结果更新该初始训练数据库。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (20)
1.一种基于人工智能的辅助判读方法，包括：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到待判读图像信息的初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
2.根据权利要求1所述的辅助判读方法，其特征在于，所述初始化包括：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数及标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
3.根据权利要求2所述的辅助判读方法，其特征在于，所述提供初始训练数据库包括：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
4.根据权利要求3所述的辅助判读方法，其特征在于，所述预设条件包括预设数量和预设时间中至少一者。
5.根据权利要求2所述的辅助判读方法，其特征在于，所述使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数包括：
使用小批量梯度下降法对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数。
6.根据权利要求2所述的辅助判读方法，其特征在于，所述使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数包括：
使用随机梯度下降法对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数。
7.根据权利要求2所述的辅助判读方法，其特征在于，所述预处理包括对所述待判读的图像信息进行以下处理中的一种或多种：切分、格式转换、变形、翻转、扭曲、亮度调整、数据增强、裁剪、光照和正则化。
8.一种基于人工智能的辅助判读装置，包括：
预处理模块，用于获取待判读图像信息，并进行预处理；
初步处理模块，包括第一卷积神经网络，用于对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
精细处理模块，包括第二卷积神经网络，用于提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合处理模块，包括门控循环单元(GRU)循环神经网络，用于融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，以及采用所述GRU循环神经网络对所述组合特征矢量进行处理；
初始化模块，用于初始化所述第一卷积神经网络的参数、所述第二卷积神经网络的参数及所述GRU循环神经网络的参数；以及
交互模块，用于展示处理结果用于辅助判读，并存储判读结果。
9.根据权利要求8所述的辅助判读装置，其特征在于，所述初始化模块还包括：
初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
训练卷积神经网络；及
训练GRU循环神经网络；
所述预处理模块还用于获取所述标注图像信息，并进行预处理；
所述初始化模块还用于使用所述训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用所述训练GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
10.根据权利要求9所述的辅助判读装置，其特征在于，所述初始化模块还用于：
根据所述交互模块存储的所述判读结果更新所述初始训练数据库。
11.根据权利要求9所述的辅助判读装置，其特征在于，所述训练模块还用于使用小批量梯度下降法对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数。
12.根据权利要求9所述的辅助判读装置，其特征在于，所述训练模块还用于使用随机梯度下降法对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数。
13.根据权利要求8所述的辅助判读装置，其特征在于，所述预处理包括对所述待判读的图像信息进行以下处理中的一种或多种：切分、格式转换、变形、翻转、扭曲、亮度调整、数据增强、裁剪、光照和正则化。
14.一种终端，包括存储器和处理器，所述存储器中存储有指令，所述指令被所述处理器执行时，使得所述处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
15.根据权利要求14所述的终端，其特征在于，所述指令被所述处理器执行时，使得所述处理器还执行以下步骤：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
16.根据权利要求15所述的终端，其特征在于，指令被所述处理器执行时，使得所述处理器还执行以下步骤：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
17.根据权利要求16所述的辅助判读方法，其特征在于，所述预设条件包括预设数量和预设时间中至少一者。
18.一个或多个存储有计算机可执行指令的非易失性存储介质，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
初始化第一卷积神经网络的参数、第二卷积神经网络的参数及门控循环单元(GRU)循环神经网络的参数；
获取待判读图像信息，并进行预处理；
使用所述第一卷积神经网络对经过预处理的所述待判读图像信息进行初步处理，得到初步特征矢量及分类待判读图像序列；
提取所述分类待判读图像序列的灰度特征，分别提取所述灰度特征的拉普拉斯特征和黑塞矩阵特征，并使用所述第二卷积神经网络处理所述拉普拉斯特征和所述黑塞矩阵特征，分别得到拉普拉斯特征矢量和黑塞矩阵特征矢量；
融合所述拉普拉斯特征矢量、所述黑塞矩阵特征矢量及所述初步特征矢量形成组合特征矢量，并采用所述GRU循环神经网络对所述组合特征矢量进行处理；以及
展示处理结果用于辅助判读，并存储判读结果。
19.根据权利要求18所述的非易失性存储介质，其特征在于，所述指令被所述处理器执行时，使得所述处理器还执行以下步骤：
提供初始训练数据库，所述初始训练数据库包括具有判读标注的标注图像信息；
获取所述标注图像信息，并进行预处理；
使用训练卷积神经网络对经过预处理的所述标注图像信息进行处理，得到所述第一卷积神经网络的参数、标注特征矢量及分类标注图像序列；
提取所述分类标注图像序列的标注灰度特征，分别提取所述标注灰度特征的标注拉普拉斯特征和标注黑塞矩阵特征，并使用所述训练卷积神经网络对所述标注拉普拉斯特征和所述标注黑塞矩阵特征进行处理，得到所述第二卷积神经网络的参数及标注拉普拉斯特征矢量和标注黑塞矩阵特征矢量；以及
融合所述标注拉普拉斯特征矢量、所述标注黑塞矩阵特征矢量及所述标注特征矢量形成特征矩阵，并将所述特征矩阵整量化并采用GRU循环神经网络对所述特征矩阵进行处理，得到所述GRU循环神经网络的参数。
20.根据权利要求19所述的非易失性存储介质，其特征在于，指令被所述处理器执行时，使得所述处理器还执行以下步骤：
当存储的所述判读结果达到预设条件时，根据所述判读结果更新所述初始训练数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910324859.0A CN111833991A (zh) | 2019-04-22 | 2019-04-22 | 基于人工智能的辅助判读方法、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910324859.0A CN111833991A (zh) | 2019-04-22 | 2019-04-22 | 基于人工智能的辅助判读方法、装置、终端和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111833991A true CN111833991A (zh) | 2020-10-27 |
Family
ID=72912329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910324859.0A Pending CN111833991A (zh) | 2019-04-22 | 2019-04-22 | 基于人工智能的辅助判读方法、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833991A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232327A (zh) * | 2020-12-16 | 2021-01-15 | 南京金域医学检验所有限公司 | 一种基于深度学习的抗核抗体核型判读方法与设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
| CN109583282A (zh) * | 2017-09-29 | 2019-04-05 | 高德软件有限公司 | 一种矢量道路确定方法及装置 |
-
2019
- 2019-04-22 CN CN201910324859.0A patent/CN111833991A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583282A (zh) * | 2017-09-29 | 2019-04-05 | 高德软件有限公司 | 一种矢量道路确定方法及装置 |
| CN108229474A (zh) * | 2017-12-29 | 2018-06-29 | 北京旷视科技有限公司 | 车牌识别方法、装置及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232327A (zh) * | 2020-12-16 | 2021-01-15 | 南京金域医学检验所有限公司 | 一种基于深度学习的抗核抗体核型判读方法与设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220189142A1 (en) | Ai-based object classification method and apparatus, and medical imaging device and storage medium | |
| CN109166130B (zh) | 一种图像处理方法及图像处理装置 | |
| CN111931865B (zh) | 图像分类模型的训练方法、装置、计算机设备及存储介质 | |
| WO2022057078A1 (zh) | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 | |
| AU2017318691B2 (en) | System and method of otoscopy image analysis to diagnose ear pathology | |
| US20190057488A1 (en) | Image processing method and device | |
| WO2020260936A1 (en) | Medical image segmentation using an integrated edge guidance module and object segmentation network | |
| WO2018057714A1 (en) | Systems, methods and media for automatically generating a bone age assessment from a radiograph | |
| US20210158524A1 (en) | Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images | |
| WO2019024568A1 (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
| CN109390053B (zh) | 眼底图像处理方法、装置、计算机设备和存储介质 | |
| CN113129293B (zh) | 医学图像分类方法、装置、计算机设备和存储介质 | |
| CN107437252B (zh) | 用于黄斑病变区域分割的分类模型构建方法和设备 | |
| CN113240655B (zh) | 一种自动检测眼底图像类型的方法、存储介质及装置 | |
| CN113012140A (zh) | 基于深度学习的消化内镜视频帧有效信息区域提取方法 | |
| CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
| Radman et al. | BiLSTM regression model for face sketch synthesis using sequential patterns | |
| CN115439470A (zh) | 息肉图像分割方法、计算机可读存储介质及计算机设备 | |
| CN112862745B (zh) | 基于人工神经网络的组织病变识别的训练方法及训练*** | |
| Pal et al. | A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation | |
| CN111833991A (zh) | 基于人工智能的辅助判读方法、装置、终端和存储介质 | |
| Anwar et al. | A survey on image aesthetic assessment | |
| Bozdağ et al. | Pyramidal nonlocal network for histopathological image of breast lymph node segmentation | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| KR20240025797A (ko) | 피부 진단 장치, 이를 포함하는 피부 진단 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |