CN111598866B - 一种基于眼部b超图像的晶状体关键特征定位方法 - Google Patents

一种基于眼部b超图像的晶状体关键特征定位方法 Download PDF

Info

Publication number
CN111598866B
CN111598866B CN202010408004.9A CN202010408004A CN111598866B CN 111598866 B CN111598866 B CN 111598866B CN 202010408004 A CN202010408004 A CN 202010408004A CN 111598866 B CN111598866 B CN 111598866B
Authority
CN
China
Prior art keywords
image
lens
network
eyeball
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408004.9A
Other languages
English (en)
Other versions
CN111598866A (zh
Inventor
吕建成
王勇
桑永胜
彭德中
彭玺
孙亚楠
贺喆南
叶庆
李茂�
刘权辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010408004.9A priority Critical patent/CN111598866B/zh
Publication of CN111598866A publication Critical patent/CN111598866A/zh
Priority to US17/301,615 priority patent/US11723630B2/en
Application granted granted Critical
Publication of CN111598866B publication Critical patent/CN111598866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/10—Eye inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼部B超图像的晶状体关键特征定位方法，其包括获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；再送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像和晶状***置图像；将眼球位置图像和晶状***置图像分别代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状***置图像对应的图像特征和特征坐标；将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。本发明能够解决现有技术中晶状体特征区域定位困难，难以判断的问题，结果准确、可靠性强、方便快捷。

Description

一种基于眼部B超图像的晶状体关键特征定位方法
技术领域
本发明涉及医学图像识别技术领域，具体涉及一种基于眼部B超图像的晶状体关键特征定位方法。
背景技术
晶状体是眼球中的主要屈光结构，也是唯一具有调节能力的屈光间质。其主要作用是对不同距离进行对焦，通过改变屈光度使观看远近物体时的眼球聚光的焦点都能准确的落在视网膜上。定期对晶状体的状态进行检查，有助于预防晶状体出现异常，避免出现对视神经造成永久损害的问题。
晶状体的健康状态通常依靠眼部B超图像来识别，医生根据眼部B超图像中晶状体部分的图像，并依据经验判断病人晶状体的健康状态，但由于眼部B超图像复杂，这种判断只能笼统地判断整体状态，对于晶状体的具体状态和特征状况，医生无法具体得知，因此，医生很难及时给出最佳的医疗方案，以对出现异常征兆的眼部进行处理；对此部分医学研究者以尝试通过对晶状体的特征进行区分定位，以研究晶状体浑浊的具体出现征兆和变化规律。
由于眼部组织较为复杂，加之每位患者患病后，其眼部区域变化并非完全相同，有的只是在晶状体的其中某一部位发生颜色会变化，有的是两个部位，有的则可能不存在明显颜色变化，使得医学研究者在进行研究时难以准确从每张眼部B超图像中准确定位眼部B超图像中的相应特征，并准确地将其从眼部组织中提取出来，使得医学研究者在寻找病因时出现多种干扰因素，影响研究和试验的顺利进行。
发明内容
本发明针对现有技术中的上述不足，提供了一种能够解决现有技术中晶状体特征定位困难，影响判断的基于眼部B超图像的晶状体关键特征定位方法。
为解决上述技术问题，本发明采用了下列技术方案：
提供了一种基于眼部B超图像的晶状体关键特征定位方法，其包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状***置图像；
S3、将眼球位置图像和晶状***置图像代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状***置图像对应的图像特征和特征坐标；
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。
本发明提供的上述基于眼部B超图像的晶状体关键特征定位方法的主要有益效果在于：
本发明通过设置目标检测网络对原始眼部B超图像进行处理，以解决眼球只占原始图像的一小部分以及无关背景中强回声干扰的问题，提取眼球和晶状体对应的位置图像。由于通过眼球区域整体进行评估和针对晶状体区域进行监测，有可能提取到不同的特征区域，增加判断难度，通过不同特征提取网络分别提取眼球区域和晶状体区域对应的特征，再与协同学习网络结合，有效保证特征区域定位的准确性。
本方案提供的晶状体关键特征定位方法，通过深度学习技术识别晶状体中的不同特征，能够快速准确地对晶状体的存在异常的特征进行定位，方便进一步评估晶状体的状态，有利于相关研究和教学参考。
附图说明
图1是本发明的方法流程图。
图2是本发明的原理图。
图3是目标检测网络YOLOv3的检测原理示意图。
图4是COI+BPNN模块的逻辑结构示意图。
图5是卷积神经网络DenseNet161的逻辑结构示意图。
图6是反向传播网络BPNN的逻辑结构示意图。
图7是协同学习网络的逻辑结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，其为基于眼部B超图像的晶状体关键特征定位方法的流程图。
本发明的基于眼部B超图像的晶状体关键特征定位方法，下面结合实施例对其方法步骤进行描述，如图2和图3所示。其包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标。
进一步地，对眼部B超图像预处理的方法包括：
S1-1、将所有获取的眼部B超图像全部转换为设定尺寸及设定格式的图像文件，得到图像文件集。
一般的，原始眼部B超图像DICOM图像，将其转换为720x576的PNG格式，以方便处理。
S1-2、将图像文件集分为用于训练目标检测网络YOLOv3的目标检测组和用于训练特征提取网络的特征提取组。
S1-3、在目标检测组的图像文件集中标注出眼球所在坐标和晶状体坐标，以便目标检测网络YOLOv3生成对应的眼球位置图像和晶状***置图像。
一般的，使用眼球和晶状体的左上角与右下角的坐标标注眼球和晶状***置。
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状***置图像。
进一步地，其包括如下步骤：
S2-1、对眼球坐标进行归一化处理，并调整预处理后的B超图像至目标尺寸。
具体的，在本实施例中，B超图像的目标尺寸为416x416。
S2-2、将调整至目标尺寸的B超图像送入主干网络DarkNet53，得到包含若干模块的特征数据组。
在本实施例中，特征数据组包括五个模块，其组成如下：
第一模块：包括2层3x3卷积，1个残差块；
第二模块：包括1层3x3卷积，2个残差块；
第三模块：包括1层3x3卷积，8个残差块；
第四模块：包括1层3x3卷积，8个残差块；
第五模块：包括1层3x3卷积，4个残差块；
其中，每个残差块包括1层1x1卷积和1层3x3卷积，并在输入和输出之间设置有快捷连接。
S2-3、将特征数据组中各模块相互拼接，得到对应的拼接结果。
S2-4、将拼接结果通过卷积处理后作为眼球可能位置。
在本实施例中，具体拼接和处理方式包括：
S2-4.1、将第五模块的输出尺寸调整为13x13，并将第五模块的输出结果依次通过1个卷积块、1层3x3卷积和1层1x1卷积，得到第一个眼球位置预测；其中，1个卷积块包括1层1x1卷积、1层3x3卷积、1层1x1卷积、1层3x3卷积和1层1x1卷积。
S2-4.2、将第四模块的输出尺寸调整为26x26，并将第五模块的输出结果通过1个卷积块，1层1x1卷积和1层上采样后，与第四模块的输出结果进行第一次拼接操作。
S2-4.3、将第一次拼接操作的输出结果通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第二个眼球位置预测。
S2-4.4、将第三模块的输出尺寸调整为26x26，并将第一次拼接操作的输出结果通过1个卷积块，1层1x1卷积和1层上采样后，与第三模块的输出结果进行第二次拼接操作。
S2-4.5、将第二次拼接操作的输出结果通过1个卷积块，1层3x3卷积和1层1x1卷积，得到第三个眼球位置预测。
S2-5、将所有眼球可能位置代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图得到眼球位置图像。
具体的，将三个眼球位置预测代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图进行预测，并生成对应的眼球位置图像，且其输出尺寸分别为13x13x(4+1+1)、26x26x(4+1+1)和52x52x(4+1+1)，其中，(4+1+1)分别为边框位置，边框置信度和类别概率。
在实际操作中，边框位置可用边框中心点的坐标以及边框的宽度和高度表示。置信度分数用于反映是否包含物体以及包含物体情况下边框位置的准确性。
目标检测网络YOLOv3的损失函数是边框位置、边框置信度和类别概率三个部分的加权和，其中，边框位置使用均方误差，置信度和类别概率使用交叉熵。
S2-6、对晶状体坐标重复步骤S2-1到S2-5，得到晶状***置图像。
S3、将眼球位置图像和晶状***置图像分别代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状***置图像对应的图像特征和特征坐标。
进一步地，得到训练完毕的特征提取网络组的具体步骤包括：
S3-1、将眼球位置图像和晶状***置图像分别划分为训练集、验证集和测试集；
S3-2、将眼球位置图像和晶状***置图像对应的训练集分别送入对应特征提取网络中进行训练，分别得到训练完毕的特征提取网络。
具体的，特征提取网络包括与眼球位置图像对应的Eyeball COI+BPNN模块和与晶状***置图像对应的Lens COI+BPNN模块，如图4所示，COI+BPNN模块包括反向传播网络BPNN，如图6所示，所述反向传播网络通过卷积神经网络DenseNet161、傅里叶描述子、灰度共生矩阵GLCM训练得到。
对特征提取网络进行训练的具体步骤包括：
S3-2-1、将眼球位置图像和晶状***置图像调整至要求尺寸，并进行变形处理，得到变形处理后的位置图像。
要求尺寸为128*128，变形处理包括随机水平翻转、随机旋转0-10度、亮度调节、色彩抖动和归一化。
S3-2-2、将变形处理后的位置图像代入傅里叶描述子中，得到与位置图像对应的36维形状特征。
傅里叶描述子的计算步骤包括：
A1、确定二值化图像上的重心。
A2、沿边界移动一个点，绘制该点与重心之间的距离与该点移动的测地线距离。
A3、对该图像进行傅里叶变换。
S3-2-3、将变形处理后的位置图像代入灰度共生矩阵中，计算四个方向的灰度共生矩阵GLCM的能量、对比度、熵、反差分，得到与位置图像对应的16维纹理特征。
一般的，首先将多通道的图像转换为灰度图像，以便于对其晶状体以及周边强回声的异质性进行识别。
一般使用0、45、90和135处的4个方向，得到每个图像的16维GLCM纹理描述符，由于纹理特征一般具有旋转不变性，并且对于噪声有较强的抵抗能力，因此计算四个方向的特征，能充分保证有效描述图像或图像区域所对应物体的表面性质。
S3-2-4、使用imagenet数据集对卷积神经网络DenseNet161进行预训练，如图5所示，将变形处理后的位置图像代入训练后的卷积神经网络DenseNet161，将得到的与位置图像对应的卷积神经网络DenseNet161的倒数第二层得到的2208维特征作为深度特征。
S3-2-5、将形状特征、纹理特征和深度特征结合后代入反向传播网络BPNN进行训练，得到训练完毕的反向传播网络BPNN及训练后的特征提取网络。
将将收敛误差设置为0.0004，学***衡。
S3-3、将眼球位置图像和晶状***置图像对应的验证集分别送入训练后的对应的特征提取网络中，得到相对应的晶状体特征。
S3-4、根据晶状体特征评估晶状体状态，将评估结果与验证集中的真实标签进行对比，记录验证准确率。
将预测结果与验证集中的真实标签进行比较，即图像特征的相似度比较，可得到其验证准确率。
S3-5、按设定次数重复步骤S3-2至S3-4，并保存所有重复过程中验证准确率最高的一组中两个特征提取网络的权重，作为目标特征提取网络组，并代入测试集中，得到其测试准确率。
在本实施例中，设定次数为200个epoch，以保证足够的选择量，从而保证预测准确率。
S3-6、将测试准确率与目标值进行对比，当测试准确率小于目标值时，重复步骤S3-5，直至目标特征提取网络组的验证准确率大于或等于目标值，则该测试准确率对应的目标特征提取网络组为训练完毕的特征提取网络组。
在本实施例中，测试准确率的目标值为90％，大于90％即能说明预测结果可信度较高，浑浊度分级较为准确，可以采用；实际结果为95％，即结果可信度较高，分级结果较为准确。
通过特征提取网络组分别提取晶状***置图像和眼球位置图像中的特征，从整体和局部两个方向分别入手提取晶状体的特征，以保证定位的准确性。
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征。
具体的，如图7所示，得到训练完毕的协同学习网络的步骤包括：
S4-1、将COI+BPNN模块中的反向传播网络BPNN的学习层，作为协同网络中的输入层。
S4-2、在协同网络的输入层后添加两层全连接层，作为学习层和输出层，输出层得到的结果即为预测结果。
S4-3、将Eyeball COI+BPNN模块和Lens COI+BPNN模块得到的对应特征相链接后代入协同网络中的输入层，得到训练完毕的协同学习网络。
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位。
通过本方案提供的晶状体关键特征定位方法，利用深度学习技术识别晶状体中的不同特征，能够快速准确地对晶状体的存在异常的特征进行定位，方便进一步评估晶状体的状态，有利于相关研究和教学参考。
上面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种基于眼部B超图像的晶状体关键特征定位方法，其特征在于，包括如下步骤：
S1、获取眼部B超图像，并进行预处理，得到预处理后的B超图像及眼球坐标、晶状体坐标；
S2、将预处理后的B超图像与眼球坐标结合后，送入训练完毕的目标检测网络YOLOv3，得到眼球位置图像；将预处理后的B超图像与晶状体坐标，送入训练完毕的目标检测网络YOLOv3，得到晶状***置图像；
S3、将眼球位置图像和晶状***置图像代入训练完毕的特征提取网络组，得到分别与眼球位置图像和晶状***置图像对应的图像特征和特征坐标；
S4、将图像特征代入训练完毕的协同学习网络，筛选得到关键图像特征；
S5、将关键图像特征对应的特征坐标标注在眼部B超图像上，完成晶状体关键特征定位；
所述特征提取网络包括与眼球位置图像对应的Eyeball COI+BPNN模块和与晶状***置图像对应的Lens COI+BPNN模块；
训练特征提取网络的具体步骤包括：
S3-2-1、将眼球位置图像和晶状***置图像调整至要求尺寸，并进行变形处理，得到变形处理后的位置图像；
S3-2-2、将变形处理后的位置图像代入傅里叶描述子中，得到与位置图像对应的36维形状特征；
S3-2-3、将变形处理后的位置图像代入灰度共生矩阵中，计算四个方向的灰度共生矩阵GLCM的能量、对比度、熵、反差分，得到与位置图像对应的16维纹理特征；
S3-2-4、使用imagenet数据集对卷积神经网络DenseNet161进行预训练，将变形处理后的位置图像代入训练后的卷积神经网络DenseNet161，将得到的与位置图像对应的卷积神经网络DenseNet161的倒数第二层得到的2208维特征作为深度特征；
S3-2-5、将形状特征、纹理特征和深度特征结合后代入反向传播网络BPNN进行训练，得到训练完毕的反向传播网络BPNN，即训练完毕的特征提取网络。
2.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述对眼部B超图像预处理的方法包括：
S1-1、将所有获取的眼部B超图像全部转换为设定尺寸及设定格式的图像文件，得到图像文件集；
S1-2、将图像文件集分为用于训练目标检测网络YOLOv3的目标检测组和用于训练特征提取网络的特征提取组；
S1-3、在目标检测组的图像文件集中标注出眼球坐标和晶状体坐标。
3.根据权利要求2所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述眼球坐标和晶状体坐标为眼球和晶状体的左上角与右下角的坐标。
4.根据权利要求3所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述训练目标检测网络YOLOv3的具体步骤包括：
S2-1、对眼球坐标分别进行归一化处理，并调整预处理后的B超图像至目标尺寸；
S2-2、将调整至目标尺寸的B超图像送入主干网络DarkNet53，得到包含若干模块的特征数据组；
S2-3、将特征数据组中各模块相互拼接，得到对应的拼接结果；
S2-4、将拼接结果通过卷积处理后作为眼球可能位置；
S2-5、将所有眼球可能位置代入目标检测网络YOLOv3中，使YOLOv3使用三个眼球位置预测的特征图得到眼球位置图像；
S2-6、对晶状体坐标重复步骤S2-1到S2-5，得到晶状***置图像。
5.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述得到训练完毕的特征提取网络组的具体步骤包括：
S3-1、将眼球位置图像和晶状***置图像分别划分为训练集、验证集和测试集；
S3-2、将眼球位置图像和晶状***置图像对应的训练集分别送入对应特征提取网络中进行训练，分别得到训练完毕的特征提取网络；
S3-3、将眼球位置图像和晶状***置图像对应的验证集分别送入训练后的对应的特征提取网络中，得到相对应的晶状体特征；
S3-4、根据晶状体特征评估晶状体状态，将评估结果与验证集中的真实标签进行对比，记录验证准确率；
S3-5、按设定次数重复步骤S3-2至S3-4，并保存所有重复过程中验证准确率最高的一组中两个特征提取网络的权重，作为目标特征提取网络组，并代入测试集中，得到其测试准确率；
S3-6、将测试准确率与目标值进行对比，当测试准确率小于目标值时，重复步骤S3-5，直至目标特征提取网络组的验证准确率大于或等于目标值，则该测试准确率对应的目标特征提取网络组为训练完毕的特征提取网络组。
6.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述COI+BPNN模块包括反向传播网络BPNN，所述反向传播网络通过卷积神经网络DenseNet161、傅里叶描述子、灰度共生矩阵GLCM训练得到。
7.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述变形处理包括随机水平翻转、随机旋转0-10度、亮度调节、色彩抖动和归一化。
8.根据权利要求1所述的基于眼部B超图像的晶状体关键特征定位方法，其特征在于，所述得到训练完毕的协同学习网络的步骤包括：
S5-1、将COI+BPNN模块中的反向传播网络BPNN的学习层，作为协同网络中的输入层；
S5-2、在协同网络的输入层后添加两层全连接层，作为学习层和输出层，输出层得到的结果即为预测结果；
S5-3、将Eyeball COI+BPNN模块和Lens COI+BPNN模块得到的对应特征相链接后代入协同网络中的输入层，得到训练完毕的协同学习网络。
CN202010408004.9A 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法 Active CN111598866B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010408004.9A CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法
US17/301,615 US11723630B2 (en) 2020-05-14 2021-04-09 Method for positioning key features of a lens based on ocular B-mode ultrasound images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408004.9A CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法

Publications (2)

Publication Number Publication Date
CN111598866A CN111598866A (zh) 2020-08-28
CN111598866B true CN111598866B (zh) 2023-04-11

Family

ID=72183728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408004.9A Active CN111598866B (zh) 2020-05-14 2020-05-14 一种基于眼部b超图像的晶状体关键特征定位方法

Country Status (2)

Country Link
US (1) US11723630B2 (zh)
CN (1) CN111598866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668669B (zh) * 2024-02-01 2024-04-19 齐鲁工业大学(山东省科学院) 基于改进YOLOv7的管道安全监测方法及***
CN117952964B (zh) * 2024-03-25 2024-06-07 重庆医科大学绍兴柯桥医学检验技术研究中心 基于计算机视觉技术的眼底医学影像分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102494A (zh) * 2018-07-04 2018-12-28 中山大学中山眼科中心 一种后发性白内障图像分析方法及装置
CN109948575A (zh) * 2019-03-27 2019-06-28 中国科学技术大学 超声图像中眼球区域分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN111557007B (zh) * 2018-07-16 2022-08-19 荣耀终端有限公司 一种检测眼睛睁闭状态的方法及电子设备
US20200194108A1 (en) * 2018-12-13 2020-06-18 Rutgers, The State University Of New Jersey Object detection in medical image
WO2020210028A1 (en) * 2019-04-08 2020-10-15 The Johns Hopkins University A neural-network-driven topology for optical coherence tomography segmentation
CN110348431A (zh) * 2019-08-26 2019-10-18 闫戎 一种疾病预警方法、装置、设备及***
EP4023181A4 (en) * 2019-08-27 2023-06-14 Visuworks METHOD OF DETERMINING LENSES AND DEVICE THEREOF

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102494A (zh) * 2018-07-04 2018-12-28 中山大学中山眼科中心 一种后发性白内障图像分析方法及装置
CN109948575A (zh) * 2019-03-27 2019-06-28 中国科学技术大学 超声图像中眼球区域分割方法

Also Published As

Publication number Publication date
CN111598866A (zh) 2020-08-28
US20210353262A1 (en) 2021-11-18
US11723630B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN110930397B (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
KR20210122855A (ko) 검출 모델 훈련 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN111583187B (zh) 一种基于cnn可视化的pcb电路板缺陷检测方法
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN111598866B (zh) 一种基于眼部b超图像的晶状体关键特征定位方法
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
CN111626994A (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
CN109033978A (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN112560710B (zh) 一种用于构建指静脉识别***的方法及指静脉识别***
CN114445670A (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN113610118B (zh) 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN113971764A (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
Wang et al. Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning
CN111369506B (zh) 一种基于眼部b超图像的晶状体浑浊度分级方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估***
CN115761297A (zh) 一种基于边缘引导的注意神经网络自动识别滑坡的方法
CN114842270A (zh) 一种目标图像的分类方法、装置、电子设备及介质
CN110472673B (zh) 参数调整方法、眼底图像处理方法、装置、介质及设备
CN111798404B (zh) 基于深度神经网络的虹膜图像质量评估方法及评估***
Ling et al. Research on gesture recognition based on YOLOv5
CN114898447B (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
Kourbane et al. Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
CN110008902A (zh) 一种融合基本特征和形变特征的手指静脉识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant