CN112101438A - 一种左右眼分类方法、装置、服务器和存储介质 - Google Patents

一种左右眼分类方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN112101438A
CN112101438A CN202010935200.1A CN202010935200A CN112101438A CN 112101438 A CN112101438 A CN 112101438A CN 202010935200 A CN202010935200 A CN 202010935200A CN 112101438 A CN112101438 A CN 112101438A
Authority
CN
China
Prior art keywords
right eye
classification
image
global
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010935200.1A
Other languages
English (en)
Other versions
CN112101438B (zh
Inventor
刘江
张颖麟
刘鹏
东田理沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202010935200.1A priority Critical patent/CN112101438B/zh
Publication of CN112101438A publication Critical patent/CN112101438A/zh
Application granted granted Critical
Publication of CN112101438B publication Critical patent/CN112101438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种左右眼分类方法，包括：获取被测者的眼球AS‑OCT图像；将所述眼球AS‑OCT图像输入预设的左右眼分类模型，输出分类结果；基于分类结果判定被测者的眼球为左眼还是右眼。本发明通过将眼球AS‑OCT图像使用左右眼分类模型进行识别分类，快速判定AS‑OCT图像属于左眼还是右眼，提高了左右眼识别的精度和效率。

Description

一种左右眼分类方法、装置、服务器和存储介质
技术领域
本发明实施例涉及计算机图像处理和神经网络学习领域，尤其涉及一种左右眼分类方法、装置、服务器和存储介质。
背景技术
前节光学断层相干扫描(AS-OCT)图像用于眼部疾病的早期筛查，以预防视力丧失，当前常用的眼前节角结构可视化方法有角膜镜检查、超声生物显微镜(UBM)和光学相干断层扫描技术(OCT)。但是，只有UBM和OCT才能获得客观且可重复的前房角尺寸测量结果。在眼科诊疗过程中，医生往往需要将该病人当前的左眼或者右眼图像与其历史左眼或右眼图像数据进行比对，以观察相关疾病的细微变化。
由于相关数据缺乏左右眼的高效分类整理手段，通常还是依靠医生人工比对AS-OCT图像，此项任务存在工作量大、效率低下、易出错以及费时等缺点。
发明内容
本发明提供了一种左右眼分类方法、装置、服务器和存储介质，通过神经网络模型实现对左右眼的分类，效率高、准确率高和节省时间的效果。
第一方面，本发明提供了一种左右眼分类方法，包括：
获取被测者的眼球AS-OCT图像；
将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
基于分类结果判定被测者的眼球为左眼还是右眼。
进一步地，所述左右眼分类模型包括依次连接的卷积特征提取层和全连接层，所述卷积特征提取层包括关键区域分支和全局区域分支，所述全局区域分支包括注意力模块。
进一步地，所述注意力模块包括通道注意力提取层和空间注意力提取层。
进一步地，所述左右眼分类模型的训练方法包括：
获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果；
将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型；
将所述训练集代入所述第二分类模型，以获取第一全局图像特征；
将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图；
基于所述注意力分布图确定所述关键区域；
基于所述关键区域和第二分类模型构建所述左右眼分类模型。
进一步地，所述将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果，包括：
将所述眼球AS-OCT图像作为全局图像，基于所述全局图像生成关键区域图像；
将所述全局图像输入所述卷积特征提取层，生成第二全局图像特征；
同时，将所述关键区域图像输入所述卷积特征提取层，生成关键区域图像特征；
将所述第二全局图像特征和所述关键区域图像特征输入全连接层，生成分类结果。
第二方面，本发明提供一种基于神经网络的左右眼分类装置，包括：
获取模块，用于获取被测者的眼球AS-OCT图像；
计算模块，用于将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
判定模块，用于基于分类结果判定被测者的眼球为左眼还是右眼。
进一步地，所述左右眼分类模型为依次连接的卷积特征提取层和全连接层，所述卷积特征提取层包括关键区域分支和全局区域分支，所述全局区域分支包括注意力模块，所述基于神经网络的左右眼分类装置还包括训练模块，所述训练模块包括：
获取单元，用于获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果；
第一模型生成单元，用于将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型；
第一计算单元，用于将所述训练集代入所述第二分类模型，以获取第一全局图像特征；
第二计算单元，用于将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图；
关键区域确定单元，用于基于所述注意力分布图确定所述关键区域；
第二模型生成单元，用于基于所述关键区域和第二分类模型构建所述左右眼分类模型。
进一步地，所述计算模块包括：
关键区域图像生成单元，用于将所述眼球AS-OCT图像作为全局图像，基于所述全局图像生成关键区域图像；
第三计算单元，用于将所述全局图像输入所述卷积特征提取层，生成第二全局图像特征；
第四计算单元，用于同时将所述关键区域图像输入所述卷积特征提取层，生成关键区域图像特征。
分类单元，用于将所述第二全局图像特征和所述关键区域图像特征输入全连接层，生成分类结果。
第三方面，本发明提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述任一所述的左右眼分类方法。
第四方面，本发明提供一种终端可读存储介质，其上存储有程序，所述程序被处理器执行时能够实现如上述任一所述的左右眼分类方法。
本发明通过神经网络模型实现对左右眼的分类，达到效率高、准确率高和节省时间的效果。
附图说明
如图1所示为本实施例一的基于神经网络的左右眼分类方法流程图。
如图2所示为本实施例一的左右眼分类模型示意图。
如图3所示为本实施例二的基于神经网络的左右眼分类方法流程图。
如图4所示为本实施例三的基于神经网络的左右眼分类装置模块图。
如图5所示为本实施例三的替代实施例模块图。
如图6所示为本实施例四的服务器模块图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，第一特征信息可以为第二特征信息或第三特征信息，类似地，第二特征信息、第三特征信息可以为第一特征信息。第一特征信息和第二特征信息、第三特征信息都是分布式文件***的特征信息，但其不是同一特征信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
如图1所示，本实施例提供了一种基于神经网络的左右眼分类方法，接收输入的被测者眼球AS-OCT图像，生成左右眼判定结果。具体包括如下步骤：
S101、获取被测者的眼球AS-OCT图像。
S102、将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果。
示例性地，本实施例所述的左右眼分类模型为经过训练的图像分类模型，所述图像分类模型用于将输入的图像分成预设的多种类别中的一种，通常采用超大规模卷积神经网络实现，示例性地，本实施例所述左右眼分类模型可以是CNN模型、VGG模型、RSnet模型或AlexNet模型的任意一种，或上述模型任意多种的组合。
在一种替代实施例中，左右眼分类模型依次包括输入层、卷积特征提取层、全连接层和输出层，其中所述卷积特征提取层包括关键区域分支和全局区域分支。
在另一种替代实施例中，如图2所示，左右眼分类模型依次包括输入层1、卷积特征提取层2、全连接层3和输出层4，其中所述卷积特征提取层2包括关键区域分支210和全局区域分支220，且所述全局区域分支220包括注意力模块221。其中可选地，注意力模块包括通道注意力提取层和空间注意力提取层。
在本实施例中，卷积特征提取层用于提取输入图像的特征，其中全局特征指输入图像的整体属性，如颜色特征、纹理特征和/或形状特征。关键区域特征指的是从图像关键区域提取的特征，如边缘、角、线，曲线和/或具有特定属性的区域。在本实施例中，AS-OCT图像为眼球扫描图像，卷积特征提取层用于提取全局图像特征和关键区域特征，全连接层用于连接输入的全局图像特征和关键区域特征，将输出值送给分类器，以实现左右眼的分类。
S103、基于分类结果判定被测者的眼球为左眼还是右眼。
该步骤基于本发明使用场景将分类结果输出为两种值，示例性地，分类结果为K，取值为1或0。当K＝1判定被测者眼球为左眼，K＝0判定被测者眼球为右眼。
本实施例通过神经网络模型实现对左右眼的分类，具备效率高、准确率高和节省时间的效果。通过在分类模型中将卷积特征提取层分为关键区域分支和全局区域分支，形成多级网络架构，避免关键区域信息损失。
实施例二
如图3所示，本实施例在上述实施例的基础上增加了所述左右眼分类模型的训练方法，该步骤所述的模型训练过程以卷积特征提取层与全连接层构成的分类网络为例进行说明，包括如下步骤：
S2011、获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果。
训练集由N个图像组成，每个图像都标有K个不同类别中的一个，在本实施例中，K的值为2个，示例性地，K取值为0或1，当K＝1判定被测者眼球为左眼，K＝0判定被测者眼球为右眼。示例性地，所述训练集图像个数为N＝N1+N2，包括N1个健康眼球的AS-OCT图像，N1＝50000，同时包括N2个病变眼球与健康眼球AS-OCT图像，N2＝15000，所述训练集还包括N个AS-OCT图像对应的左右眼分类取值。
S2012、将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型。
该步骤所述第一分类模型为预训练模型，包括已构建好的卷积层数量、连接方式和网络结构，训练过程仅用于调整参数。在本示例的预训练模型中，选择基于image-net数据集训练好的resnet18网络作为卷积特征提取层，将全连接层输出类别修改为2类。其网络结构与参数如表1所示：
Figure BDA0002671676870000081
Figure BDA0002671676870000091
表1
S2013、将所述训练集代入所述第二分类模型，以获取第一全局图像特征。
S2014、将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图。
加载所述训练得到的第二分类模型，利用Grad-CAM技术可视化所述训练集中所有AS-OCT图像的注意力分布图，以得到对所述左右眼分类具有重要意义的关键区域。
该步骤计算注意力分布图的公式如下：
Figure BDA0002671676870000092
Figure BDA0002671676870000093
公式(1)中，yc表示每个类别c的得分，
Figure BDA0002671676870000094
表示第k张特征图第i行，第j列的元素，Z为像素总数，公式(2)中，
Figure BDA0002671676870000095
表示计算第c类注意力分布图
Figure BDA0002671676870000096
时第k张特征图的权重。
S2015、基于所述注意力分布图确定所述关键区域。
该步骤从全局AS-OCT图像中获取上述步骤中定位的关键区域，示例性地，输入的图像尺寸2000×1750，经注意力分布图确定以AS-OCT图像中心向上下左右分别扩320个像素点的图像块为关键区域。
S2016、基于所述关键区域和第二分类模型构建所述左右眼分类模型。
可选地，关键区域确定后，构建的左右眼分类模型，包括依次连接的输入层、第一卷积层conv1，第一bn1层，第一Relu1激活层，第一池化层maxpool1，第一block卷积块，第二block卷积块，第三block卷积块，第四block卷积块，第二池化层avgpool1，第一全连接层fc1。其中，每个block卷积块包括一个卷积层、一个bn层、一个relu层、一个卷积层、一个bn层依次连接的组合。
其中，所述的第一卷积层conv1卷积核大小为7*7，stride为2，卷积核个数为64。所述第一池化层maxpool1核大小为3*3，stride为2。第一block中卷积层核大小为3*3，卷积核个数为64。第二block中卷积层核大小为3*3，卷积核个数为128。第三block中卷积层核大小为3*3，卷积核个数为256。第四block中卷积层核大小为3*3，卷积核个数为512。
该步骤的替代实施例中，全局区域分支还包括注意力模块，所述注意力模块包括通道注意力提取层和空间注意力提取层，其构建过程分别为：
通道注意力提取层构建：对每个通道的输入特征图分别做最大池化和平均池化得到两个size为[B,C,1,1]的张量，其中B表示批大小，C表示通道数量，然后将两个张量在通道的维度进行拼接，再经过两个全连接层，最终得到通道注意力分布张量，然后将注意力分布张量与输入特征图做点乘得到F_map_with_c_attention。在一种实施方式中，具体地，通道注意力提取层由依次连接的通道平均池化层channel_avg_pool、通常最大池化层channel_max_pool、全连接层channel_fc1、全连接层channel_fc2、relu层、sigmod层组成。
空间注意力提取层构建过程：对所有输入特征图分别做平均池化和最大池化，得到两个size为[B,1,W,H]的张量，W和H分别为输入特征图的宽和高，将两个张量沿通道方向拼接，再经过一个卷积层得到spatial_attention，将spatial_attention与F_map_with_c_attention做点乘得到最终的注意力引导后的特征图F_map_with_attention，计算过程如下：
Figure BDA0002671676870000111
Figure BDA0002671676870000112
上述公式(3)(4)中，F表示输入特征图，AvgPool和MaxPool分别表示平均池化和最大池化，MLP表示全连接神经网络，σ表示Sigmod函数，W0和W1表示相应的权重，f7×7表示卷积核为7x7的卷积操作。
在一种实施方式中，可选地，空间注意力提取层由依次连接的平均池化层spatial_mean、最大池化层spatial_max、卷积层conv、sigmod层组成。
将上述步骤中构建完成的注意力模块嵌入所述卷积特征提取层的各卷积块之间，以预训练模型选择基于image-net数据集训练好的resnet18网络作为卷积特征提取层为例，则将所述注意力模块嵌入在所述resnet18网络各卷积块之间。
该步骤中，随机生成的各卷积神经网络模型网络调优参数配置如表2所示：
Figure BDA0002671676870000113
Figure BDA0002671676870000121
表2
S202、获取被测者的眼球AS-OCT图像。
S2031、将所述眼球AS-OCT图像作为全局图像，基于所述全局图像生成关键区域图像。
该步骤将全局图像与关键区域图像分别送入卷积特征提取网络，在基于上述预训练模型的实施例中，具体地，输入的所述眼球AS-OCT图像尺寸为2000x1750，取以图像中心向上下左右分别扩320个像素点的图像块提取为所述关键区域图像。
S2032、将所述全局图像输入所述卷积特征提取层，生成第二全局图像特征。
S2033、同时，将所述关键区域图像输入所述卷积特征提取层，生成关键区域图像特征。
该步骤中，可选地，所述全局区域分支包括注意力模块，则在基于上述预训练模型的实施例中，具体地，通过嵌入了CBAM模块的resnet18网络提取第二全局图像特征，利用resnet18网络提取关键区域图像特征。
S2034、将所述第二全局图像特征和所述关键区域图像特征输入全连接层，生成分类结果。
该步骤将上述第二全局图像特征和所述关键区域图像特征两部分特征连接起来得到最终的分类特征，利用全连接层对特征进行左右眼分类。具体地，输入隐藏单元为512个，输出单元为2个的全连接神经网络。
S204、基于分类结果判定被测者的眼球为左眼还是右眼。
基于本发明使用场景将分类结果输出为两种值，示例性地，分类结果为K，取值为1或0。当K＝1判定被测者眼球为左眼，K＝0判定被测者眼球为右眼。
本实施例增加了分类模型的构建过程，通过Grad-CAM可视化技术对可视化区域中对判定左右眼最重要的区域作为关键区域，提高了关键区域的权重，使分类结果更准确，同时，通过在卷积特征提取层的全局区域分支增加注意力模块，提高模型分类性能。
实施例三
如图4，本实施例提供了一种基于神经网络的左右眼分类装置5，包括：
获取模块501，用于获取被测者的眼球AS-OCT图像；
计算模块502，用于将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
判定模块503，用于基于分类结果判定被测者的眼球为左眼还是右眼。
在替代实施例中，如图5，基于神经网络的左右眼分类装置5的左右眼分类模型包括依次连接的卷积特征提取层和全连接层，所述卷积特征提取层包括关键区域分支和全局区域分支，所述全局区域分支包括注意力模块，所述基于神经网络的左右眼分类装置还包括训练模块504，所述训练模块504包括：
获取单元5041，用于获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果；
第一模型生成单元5042，用于将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型；
第一计算单元5043，用于将所述训练集代入所述第二分类模型，以获取第一全局图像特征；
第二计算单元5044，用于将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图；
关键区域确定单元5045，用于基于所述注意力分布图确定所述关键区域；
第二模型生成单元5046，用于基于所述关键区域和第二分类模型构建所述左右眼分类模型。
本发明实施例所提供的一种基于神经网络的左右眼分类装置可执行本发明任意实施例所提供的基于神经网络的左右眼分类方法，具备功能模块相应的执行方法和有益效果。
实施例四
如图6，本实施例提供了一种服务器的结构示意图，如图所示，该服务器包括处理器601、存储器602、输入装置603和输出装置604；服务器中处理器601的数量可以是一个或多个，图中以一个处理器601为例；设备/终端/服务器中的处理器601、存储器602、输入装置603和输出装置604可以通过总线或其他方式链接，图中以通过总线链接为例。
存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于网关的链接生成方法对应的程序指令/模块(例如获取模块,501，计算模块502等)。处理器601通过运行存储在存储器602中的软件程序、指令以及模块，从而执行设备/终端/服务器的各种功能应用以及数据处理，即实现上述的基于神经网络的左右眼分类方法。
存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器602可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络链接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置603可用于接收输入的数字或字符信息，以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。输出装置604可包括显示屏等显示设备。
本发明实施例四通过提供一种服务器，可执行本发明任意实施例所提供的基于神经网络的左右眼分类方法，具备执行方法相应的功能模块和有益效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的基于神经网络的左右眼分类方法：
获取被测者的眼球AS-OCT图像；
将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
基于分类结果判定被测者的眼球为左眼还是右眼。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种左右眼分类方法，其特征在于，包括：
获取被测者的眼球AS-OCT图像；
将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
基于分类结果判定被测者的眼球为左眼还是右眼。
2.根据权利要求1所述的一种左右眼分类方法，其特征在于，所述左右眼分类模型包括依次连接的卷积特征提取层和全连接层，所述卷积特征提取层包括关键区域分支和全局区域分支，所述全局区域分支包括注意力模块。
3.根据权利要求2所述的一种左右眼分类方法，其特征在于，所述注意力模块包括通道注意力提取层和空间注意力提取层。
4.根据权利要求2所述的一种左右眼分类方法，其特征在于，所述左右眼分类模型的训练方法包括：
获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果；
将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型；
将所述训练集代入所述第二分类模型，以获取第一全局图像特征；
将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图；
基于所述注意力分布图确定所述关键区域；
基于所述关键区域和第二分类模型构建所述左右眼分类模型。
5.根据权利要求2所述的一种左右眼分类方法，其特征在于，所述将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果，包括：
将所述眼球AS-OCT图像作为全局图像，基于所述全局图像生成关键区域图像；
将所述全局图像输入所述卷积特征提取层，生成第二全局图像特征；
同时，将所述关键区域图像输入所述卷积特征提取层，生成关键区域图像特征；
将所述第二全局图像特征和所述关键区域图像特征输入全连接层，生成分类结果。
6.一种基于神经网络的左右眼分类装置，其特征在于，包括：
获取模块，用于获取被测者的眼球AS-OCT图像；
计算模块，用于将所述眼球AS-OCT图像输入预设的左右眼分类模型，输出分类结果；
判定模块，用于基于分类结果判定被测者的眼球为左眼还是右眼。
7.根据权利要求6所述的一种基于神经网络的左右眼分类装置，其特征在于，所述左右眼分类模型为依次连接的卷积特征提取层和全连接层，所述卷积特征提取层包括关键区域分支和全局区域分支，所述全局区域分支包括注意力模块，所述基于神经网络的左右眼分类装置还包括训练模块，所述训练模块包括：
获取单元，用于获取训练集，所述训练集为预存的眼球AS-OCT图像及对应的左右眼判定结果；
第一模型生成单元，用于将所述训练集代入预设的第一分类模型进行参数调节，以生成第二分类模型；
第一计算单元，用于将所述训练集代入所述第二分类模型，以获取第一全局图像特征；
第二计算单元，用于将所述第一全局图像特征代入所述注意力模块，以生成注意力分布图；
关键区域确定单元，用于基于所述注意力分布图确定所述关键区域；
第二模型生成单元，用于基于所述关键区域和第二分类模型构建所述左右眼分类模型。
8.根据权利要求6所述的一种基于神经网络的左右眼分类装置，其特征在于，所述计算模块包括：
关键区域图像生成单元，用于将所述眼球AS-OCT图像作为全局图像，基于所述全局图像生成关键区域图像；
第三计算单元，用于将所述全局图像输入所述卷积特征提取层，生成第二全局图像特征；
第四计算单元，用于同时将所述关键区域图像输入所述卷积特征提取层，生成关键区域图像特征。
分类单元，用于将所述第二全局图像特征和所述关键区域图像特征输入全连接层，生成分类结果。
9.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一所述的左右眼分类方法。
10.一种终端可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时能够实现如权利要求1-5任一所述的左右眼分类方法。
CN202010935200.1A 2020-09-08 2020-09-08 一种左右眼分类方法、装置、服务器和存储介质 Active CN112101438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010935200.1A CN112101438B (zh) 2020-09-08 2020-09-08 一种左右眼分类方法、装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010935200.1A CN112101438B (zh) 2020-09-08 2020-09-08 一种左右眼分类方法、装置、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN112101438A true CN112101438A (zh) 2020-12-18
CN112101438B CN112101438B (zh) 2024-04-16

Family

ID=73751151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010935200.1A Active CN112101438B (zh) 2020-09-08 2020-09-08 一种左右眼分类方法、装置、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN112101438B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155400A (zh) * 2022-02-10 2022-03-08 澄影科技(北京)有限公司 一种图像的处理方法、装置及设备
CN115205956A (zh) * 2022-08-11 2022-10-18 北京万里红科技有限公司 左右眼检测模型训练方法、识别左右眼的方法及装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013315A1 (ja) * 2009-07-30 2011-02-03 株式会社トプコン 眼底解析装置及び眼底解析方法
CN105592829A (zh) * 2013-07-29 2016-05-18 拜尔普泰戈恩公司 用于外科手术的手术性光学相干断层成像术(oct)及其相关***和方法
CN109635669A (zh) * 2018-11-19 2019-04-16 北京致远慧图科技有限公司 图像分类方法、装置及分类模型的训练方法、装置
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
JP2019150486A (ja) * 2018-03-06 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110400288A (zh) * 2019-06-18 2019-11-01 中南民族大学 一种融合双眼特征的糖网病识别方法及装置
CN110543802A (zh) * 2018-05-29 2019-12-06 北京大恒普信医疗技术有限公司 眼底图像中左右眼识别方法与装置
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110826470A (zh) * 2019-11-01 2020-02-21 复旦大学 基于深度主动学习的眼底图像左右眼识别方法
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111340087A (zh) * 2020-02-21 2020-06-26 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、计算机可读存储介质和计算机设备
CN111402217A (zh) * 2020-03-10 2020-07-10 广州视源电子科技股份有限公司 一种图像分级方法、装置、设备和存储介质
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注***
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、***、介质、视频监控***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072337B (zh) * 2015-07-31 2019-03-26 小米科技有限责任公司 图片处理方法及装置
CN110993094B (zh) * 2019-11-19 2023-05-23 中国科学院深圳先进技术研究院 一种基于医学图像的智能辅助诊断方法及终端
CN111428807A (zh) * 2020-04-03 2020-07-17 桂林电子科技大学 图像处理方法及计算机可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013315A1 (ja) * 2009-07-30 2011-02-03 株式会社トプコン 眼底解析装置及び眼底解析方法
CN105592829A (zh) * 2013-07-29 2016-05-18 拜尔普泰戈恩公司 用于外科手术的手术性光学相干断层成像术(oct)及其相关***和方法
CN110580482A (zh) * 2017-11-30 2019-12-17 腾讯科技（深圳）有限公司 图像分类模型训练、图像分类、个性化推荐方法及装置
JP2019150486A (ja) * 2018-03-06 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110543802A (zh) * 2018-05-29 2019-12-06 北京大恒普信医疗技术有限公司 眼底图像中左右眼识别方法与装置
CN109635669A (zh) * 2018-11-19 2019-04-16 北京致远慧图科技有限公司 图像分类方法、装置及分类模型的训练方法、装置
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN110400288A (zh) * 2019-06-18 2019-11-01 中南民族大学 一种融合双眼特征的糖网病识别方法及装置
CN110717856A (zh) * 2019-09-03 2020-01-21 天津大学 一种用于医学成像的超分辨率重建算法
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN110826470A (zh) * 2019-11-01 2020-02-21 复旦大学 基于深度主动学习的眼底图像左右眼识别方法
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN111340087A (zh) * 2020-02-21 2020-06-26 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、计算机可读存储介质和计算机设备
CN111402217A (zh) * 2020-03-10 2020-07-10 广州视源电子科技股份有限公司 一种图像分级方法、装置、设备和存储介质
CN111428072A (zh) * 2020-03-31 2020-07-17 南方科技大学 眼科多模态影像的检索方法、装置、服务器及存储介质
CN111461218A (zh) * 2020-04-01 2020-07-28 复旦大学 糖网病眼底图像的样本数据标注***
CN111553205A (zh) * 2020-04-12 2020-08-18 西安电子科技大学 无车牌信息车辆重识别方法、***、介质、视频监控***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JACQUELINE SOUSA ASAM 等: "Anterior Segment OCT", HIGH RESOLUTION IMAGING IN MICROSCOPY AND OPHTHALMOLOGY, pages 258 - 299 *
景金霞;哈少平;范文燕;: "前节光学相干断层扫描在青光眼研究中的应用", 国际眼科杂志, no. 06, pages 1100 - 1102 *
武芹;党光福;段练;: "前节光学相干断层扫描在眼科领域的应用", 国际眼科杂志, no. 09, pages 1689 - 1691 *
蒋晶晶 等: "屈光不正患者角膜上皮厚度的特征分析", 汕头大学医学院学报, vol. 32, no. 4, pages 215 - 219 *
钟志权;袁进;唐晓颖;: "基于卷积神经网络的左右眼识别", 计算机研究与发展, no. 08, pages 1667 - 1673 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155400A (zh) * 2022-02-10 2022-03-08 澄影科技(北京)有限公司 一种图像的处理方法、装置及设备
CN114155400B (zh) * 2022-02-10 2022-05-17 澄影科技(北京)有限公司 一种图像的处理方法、装置及设备
CN115205956A (zh) * 2022-08-11 2022-10-18 北京万里红科技有限公司 左右眼检测模型训练方法、识别左右眼的方法及装置

Also Published As

Publication number Publication date
CN112101438B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
EP3674968B1 (en) Image classification method, server and computer readable storage medium
AU2016308097B2 (en) Three-dimensional (3D) convolution with 3D batch normalization
CN109584209B (zh) 血管壁斑块识别设备、***、方法及存储介质
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN111932529B (zh) 一种图像分类分割方法、装置及***
CN110070107A (zh) 物体识别方法及装置
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
CN111402217B (zh) 一种图像分级方法、装置、设备和存储介质
CN112101438B (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN111127490A (zh) 一种基于循环残差U-Net网络的医学图像分割方法
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113762117B (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估***和相关产品
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN111242176B (zh) 计算机视觉任务的处理方法、装置及电子***
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN115205956A (zh) 左右眼检测模型训练方法、识别左右眼的方法及装置
CN115565082A (zh) 一种卫星遥感图像云噪声去除方法、***和装置
CN111126617B (zh) 一种选择融合模型权重参数的方法、装置及设备
KR102400568B1 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
CN112884706A (zh) 一种基于神经网络模型的图像评估***和相关产品
CN112365551A (zh) 一种图像质量处理***、方法、设备和介质
Morra et al. A neural network approach to unsupervised segmentation of single-channel MR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant