CN111080630B - 眼底图像检测设备、方法、装置及存储介质 - Google Patents

眼底图像检测设备、方法、装置及存储介质 Download PDF

Info

Publication number
CN111080630B
CN111080630B CN201911327024.7A CN201911327024A CN111080630B CN 111080630 B CN111080630 B CN 111080630B CN 201911327024 A CN201911327024 A CN 201911327024A CN 111080630 B CN111080630 B CN 111080630B
Authority
CN
China
Prior art keywords
image
feature vector
fundus
feature
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911327024.7A
Other languages
English (en)
Other versions
CN111080630A (zh
Inventor
余双
马锴
郑冶枫
边成
龚丽君
初春燕
刘含若
王宁利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201911327024.7A priority Critical patent/CN111080630B/zh
Publication of CN111080630A publication Critical patent/CN111080630A/zh
Application granted granted Critical
Publication of CN111080630B publication Critical patent/CN111080630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种眼底图像检测设备、方法、装置及存储介质，属于图像技术领域。本申请通过眼底图像检测设备响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像，将第一图像和第二图像输入图像分类模型，通过图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量，再基于该第一特征向量、该第二特征向量以及用于指示该第一特征向量、该第二特征向量之间差异的第三特征向量进行图像分类，输出该一组眼底图像对应的标签。可以基于左眼图像和右眼图像的图像特征和图像差异进行图像检测，得到图像对应的标签，提高眼底图像检测结果的准确性。

Description

眼底图像检测设备、方法、装置及存储介质
技术领域
本申请涉及图像技术领域，特别涉及一种眼底图像检测设备、方法、装置及存储介质。
背景技术
随着人工智能的发展，以人工智能为基础的图像检测技术广泛应用于人们生活的各个领域。例如，在临床医学领域，基于图像检测技术可以实现对眼底图像的检测，计算机设备可以分割出眼底图像中的视杯以及视盘图像，基于分割出的图像计算杯盘比，进而判断该眼底图像是否为青光眼的眼底图像。
在上述图像检测过程中，通常根据单只眼睛的眼底图像来计算杯盘比，但是，在一些青光眼病例中，会出现单眼的杯盘比属于正常范围的情况，这种情况下仅根据单眼的眼底图像进行青光眼检测，会导致检测结果不准确。
发明内容
本申请实施例提供了一种眼底图像检测设备、方法、装置及存储介质，可以提高眼底图像检测结果的准确性。该技术方案如下：
一方面，提供了一种眼底图像检测设备，该眼底图像检测设备用于：
响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
将该第一图像和该第二图像输入图像分类模型；
通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量；
基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异；
基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。
一方面，提供了一种眼底图像检测方法，该方法包括：
响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
将该第一图像和该第二图像输入图像分类模型；
通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量；
基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异；
基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。
在一种可能实现方式中，该基于该第一特征向量、该第二特征向量，获取第三特征向量，包括：
获取该第一特征向量与该第二特征向量的差值向量；
对该差值向量中的各个数值取绝对值，得到该第三特征向量。
在一种可能实现方式中，该基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签，包括：
对该第一特征向量、该第二特征向量和该第三特征向量进行拼接，得到该一组眼底图像对应的第四特征向量；
将该第四特征向量输入第一全连接层，由该第一全连接层将该第四特征向量映射为一个二维向量；
将该二维向量所指示的标签，作为该一组眼底图像对应的标签。
在一种可能实现方式中，该通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量之后，该方法还包括：
将该第一特征向量输入第二全连接层，基于该第二全连接层的输出结果，确定该第一图像对应的左眼标签；
将该第二特征向量输入第三全连接层，基于该第三全连接层的输出结果，确定该第二图像对应的右眼标签。
一方面，提供了一种眼底图像检测装置，该装置包括：
图像获取模块，用于响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
输入模块，用于将该第一图像和该第二图像输入图像分类模型；
第一向量获取模块，用于通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量；
第二向量获取模块，用于基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异；
图像分类模块，用于基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。
在一种可能实现方式中，该图像获取模块用于：
获取该左眼的第一眼底图像、该右眼的第二眼底图像；
对该第一眼底图像、该第二眼底图像中的任一眼底图像执行以下步骤：
将该眼底图像输入图像分割模型，由该图像分割模型对该眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，该概率矩阵中元素的数值越大，该元素所在位置为该视盘的概率越大；
基于该概率矩阵中各个元素的数值大小，从该眼底图像中获取目标区域的图像，该目标区域的图像的中心与视盘中心重合。
在一种可能实现方式中，该图像获取模块用于：
基于概率阈值，对该概率矩阵进行二值化处理，得到该眼底图像对应的二值化矩阵；
基于该二值化矩阵确定该视盘中心以及视盘直径；
基于该视盘中心以及该视盘直径，确定该目标区域，该目标区域的中心与该视盘中心重合。
在一种可能实现方式中，该第一向量获取模块用于：
通过该图像分类模型中的第一特征提取器和第二特征提取器，分别对该第一图像和该第二图像进行特征提取，得到该第一图像对应的第一特征矩阵、该第二图像对应的第二特征矩阵，分别对该第一特征矩阵、该第二特征矩阵进行全局池化处理，得到该第一特征向量和该第二特征向量。
在一种可能实现方式中，该第一特征提取器与该第二特征提取器的参数相同。
在一种可能实现方式中，该第二向量获取模块用于：
获取该第一特征向量与该第二特征向量的差值向量；
对该差值向量中的各个数值取绝对值，得到该第三特征向量。
在一种可能实现方式中，该图像分类模块用于：
对该第一特征向量、该第二特征向量和该第三特征向量进行拼接，得到该一组眼底图像对应的第四特征向量；
将该第四特征向量输入第一全连接层，由该第一全连接层将该第四特征向量映射为一个二维向量；
将该二维向量所指示的标签，作为该一组眼底图像对应的标签。
在一种可能实现方式中，该方法还包括：
左眼标签确定模块，用于将该第一特征向量输入第二全连接层，基于该第二全连接层的输出结果，确定该第一图像对应的左眼标签；
右眼标签确定模块，用于将该第二特征向量输入第三全连接层，基于该第三全连接层的输出结果，确定该第二图像对应的右眼标签。
一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现该眼底图像检测方法所执行的操作。
本申请实施例提供的技术方案，通过眼底图像检测设备响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像，将该第一图像和该第二图像输入图像分类模型，通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量，基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异，基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。可以基于左眼图像和右眼图像的图像特征和图像差异进行图像检测，得到图像对应的标签，提高眼底图像检测结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像检测***的示意图；
图2是本申请实施例提供的一种眼底图像检测方法的流程图；
图3是本申请实施例提供的一种眼底图像检测过程的示意图；
图4是本申请实施例提供的一种图像分类模型训练方法的流程图；
图5是本申请实施例提供的一种眼底图像检测装置的结构示意图；
图6是本申请实施例提供的一种终端的结构示意图；
图7是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机设备代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使计算机设备处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensions，3维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案主要涉及计算机视觉中的图像处理、图像识别技术，通过图像处理、图像识别技术对眼底图像进行检测，进而确定被检测的眼底图像是否为青光眼的眼底图像，该过程具体可以通过下述实施例进行说明。
图1是本申请实施例提供的一种图像检测***的示意图，参见图1，该图像检测***100包括：终端110和图像检测平台140。
终端110通过无线网络或有线网络与图像检测平台110相连。终端110可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端110安装和运行有支持图像检测的应用程序。该应用程序可以是检测类应用程序等。示例性的，终端110是用户使用的终端，终端110中运行的应用程序内登录有用户账号。
终端110通过无线网络或有线网络与图像检测平台140相连。
图像检测平台140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像检测平台140用于为支持图像检测的应用程序提供后台服务。可选地，图像检测平台140承担主要检测工作，终端110承担次要检测工作；或者，图像检测平台140承担次要检测工作，终端110承担主要检测工作；或者，图像检测平台140或终端110分别可以单独承担检测工作。
可选地，图像检测平台140包括：接入服务器、图像检测服务器和数据库。接入服务器用于为终端110提供接入服务。图像检测服务器用于提供图像检测有关的后台服务。图像检测服务器可以是一台或多台。当图像检测服务器是多台时，存在至少两台图像检测服务器用于提供不同的服务，和/或，存在至少两台图像检测服务器用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。图像检测服务器中可以设置有图像分类模型。
终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述图像检测***还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
图2是本申请实施例提供的一种眼底图像检测方法的流程图。该方法可以应用于上述终端或者服务器，而终端和服务器均可以视为一种计算机设备，在本申请实施例中，眼底图像检测设备可以为上述任一终端或服务器，因此，本申请实施例基于计算机设备作为执行主体来进行介绍，参见图2，该实施例具体可以包括以下步骤：
201、计算机设备获取左眼的第一眼底图像、右眼的第二眼底图像。
在一种可能实现方式中，该计算机设备接收到图像检测指令时，即可获取待检测的第一眼底图像和第二眼底图像。其中，该第一眼底图像和该第二眼底图像可以为存储在计算机设备中的图像，也可以为计算机设备在视频中截取的图像，还可以为具备图像采集功能的计算机设备实时采集的图像，本申请实施例对具体采用哪种图像不作限定。
202、计算机设备分别获取该第一眼底图像和该第二眼底图像对应的概率矩阵。
在一种可能实现方式中，该计算机设备可以基于图像分割模型得到各个眼底图像对应的概率矩阵，该计算机设备可以对该第一眼底图像、该第二眼底图像中的任一眼底图像执行以下步骤：将该眼底图像输入图像分割模型，由该图像分割模型对该眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，该概率矩阵中元素的数值越大，该元素所在位置为该视盘的概率越大。其中，该图像分割模型可以为基于多组样本图像进行训练的模型，一组样本图像中可以包括一个左眼的眼底图像和右眼的眼底图像，各个眼底图像中可以添加有标注信息，该标注信息可以用于指示视盘所在区域以及视盘所在区域的轮廓，该计算机设备可以基于该多组样本图像对该图像分割模型进行训练，调整该图像分割模型中的各个参数，使该图像分割模型可以识别出眼底图像中视盘所在区域。
以获取该第一眼底图像对应的概率矩阵为例进行说明，在一种可能实现方式中，该过程具体可以包括以下步骤：
步骤一、该计算机设备将该第一眼底图像输入该图像分割模型。
该计算机设备将该第一眼底图像和该第二眼底图像输入该图像分割模型后，该图像分割模型可以对该第一眼底图像进行预处理，将该第一眼底图像转化为由多个像素点组成的数字矩阵，以便该计算机设备进行后续运算过程。
步骤二、该计算机设备通过该图像分割模型对该第一眼底图像进行特征提取，得到该第一眼底图像对应的特征图。
在一种可能实现方式中，该图像分割模型可以包括多个卷积层，该计算机设备可以将该第一眼底图像对应的数字矩阵依次与各个卷积层进行卷积运算，以提取图像特征，该计算机设备可以基于各个卷积层输出的运算结果，生成中间特征图，将基于最后一个卷积层得到的中间特征图，作为该第一眼底图像的特征图。其中，该图像分割模型中卷积层的具体数目可以由开发人员进行设置，本申请实施例对此不作限定。
具体地，以其中一个卷积层为例对上述卷积运算过程进行说明，一个卷积层可以包括一个或多个卷积核，每个卷积核对应一个扫描窗口，该扫描窗口的大小与该卷积核的大小相同，在卷积核进行卷积运算的过程中，该扫描窗口可以按照目标步长在中间特征图上滑动，依次扫描该中间特征图的各个区域，其中，该目标步长可以由开发人员进行设置。以一个卷积核为例，在卷积运算的过程中，当该卷积核的扫描窗口滑动至中间特征图的任一区域时，该计算机设备读取该区域中各个特征点对应的数值，将该卷积核与该各个特征点对应的数值进行点乘运算，再对各个乘积进行累加，将累加结果作为一个特征点。之后，该卷积核的扫描窗口按照目标步长滑动至中间特征图的下一区域，再次进行卷积运算，输出一个特征点，直至该特征图的全部区域扫描完毕，将输出的全部特征点组成一个新的中间特征图，作为下一个卷积层的输入。
步骤三、该计算机设备基于该特征图获取该第一眼底图像对应的概率矩阵。
在一种可能实现方式中，该计算机设备可以对该特征图进行上采样或者反卷积，得到与该第一眼底图像大小相同的目标矩阵。该图像分割模型中可以包括多个用于上采样的转置卷积层，该计算机设备可以将该特征图依次与各个转置卷积层进行转置卷积运算，以扩大该特征图的尺寸，该计算机设备可以基于最后一个转置卷积层的输出结果，得到该目标矩阵。其中，该图像分割模型中，转置卷积层的具体数目可以由开发人员进行设置，本申请实施例对此不做限定。
需要说明的是，上述对上采样过程的描述，仅是一种上采样方法的示例性说明，本申请实施例对具体采用哪种上采样方法不作限定。
获取该第二眼底图像对应的概率矩阵的过程，与上述获取该第一眼底图像对应的概率矩阵的过程同理，在此不作赘述。
在本申请实施例中，该计算机设备获取到该目标矩阵后，可以基于该目标矩阵对该第一眼底图像中的各个像素点进行分类。在一种可能实现方式中，该图像分割模型中可以包括sigmoid(S型生长曲线)函数，该计算机设备可以基于sigmoid函数，将该目标矩阵中的各个元素转换为属于(0，1)的数值，也即是将该目标矩阵中转换为该概率矩阵，该概率矩阵中的各个数值可以用于指示该数值所在位置为视盘的概率。
203、计算机设备分别对该第一眼底图像和该第二眼底图像进行视盘分割，得到第一图像和第二图像。
其中，该第一图像和该第二图像分别包括左眼的视盘信息和右眼的视盘信息。
在本申请实施例中，该计算机设备可以基于该概率矩阵中各个元素的数值大小，从眼底图像中获取目标区域的图像，该目标区域的图像的中心与该视盘中心重合。在一种可能实现方式中，首先，该计算机设备可以基于概率阈值，对该概率矩阵进行二值化处理，得到眼底图像对应的二值化矩阵，例如，该计算机设备可以将该概率矩阵中的各个元素的数值与概率阈值进行比较，将数值大于该概率阈值的元素赋值为第一数值，将数值小于该概率阈值的元素赋值为第二数值，其中，该概率阈值、该第一数值、该第二数值均可以由开发人员进行设置。然后，该计算机设备可以基于该二值化矩阵确定该视盘中心以及视盘直径，例如，该计算机设备可以基于该二值化矩阵进行连通域分析，获取赋值为第一数值的元素的所在区域，得到至少一个候选区域，将面积最大的一个候选区域作为视盘所在区域，该计算机设备可以将该视盘所在区域的中心确定为视盘中心，基于该视盘所在区域的大小确定视盘直径。最后，该计算机设备可以基于该视盘中心以及该视盘直径，确定该目标区域，该目标区域的中心与该视盘中心重合，例如，该计算机设备可以将以该视盘中心为中心、N个视盘直径长度为边长的正方形区域确定为该目标区域，其中，N大于0，其具体数值可以由开发人员进行设置，该计算机设备可以从眼底图像中获取该目标区域的图像，具体地，将从第一眼底图中获取的目标区域的图像，作为第一图像，将从第二眼底图中获取的目标区域的图像，作为第二图像。
需要说明的是，上述对基于概率矩阵获取该目标区域的图像的描述，仅是一种示例性说明，本申请实施例对具体采用哪种方法获取该目标区域的图像不作限定。
需要说明的是，上述步骤201、步骤202和步骤203，是响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像的步骤。上述对基于图像分割模型从眼底图像中获取感兴趣区域的图像的描述，仅是一种示例性描述，本申请实施例对具体应用哪种图像分割模型以及具体怎样获取感兴趣区域的图像不作限定。在本申请实施例中，通过从眼底图像中获取包含视盘信息的部分图像进行后续的检测步骤，计算机设备无需对图像中的其他区域进行运算，避免被大量不相关数据干扰，提高检测效率和准确率。当然，该第一图像和该第二图像也可以为眼底照相机等设备采集的左眼、右眼视盘区域的图像，本申请实施例对此不作设定。
204、计算机设备将该第一图像和该第二图像输入图像分类模型。
在本申请实施例中，该图像分类模型可以包括第一特征提取器和第二特征提取器，分别用于提取该第一图像和该第二图像的图像特征。其中，该第一特征提取器与该第二特征提取器的参数相同，即两个特征提取器的权重参数是共享的，该计算机设备可以提取到该第一图像和该第二图像的相同维度的特征。
在本申请实施例中，各个特征提取器均可以是基于深度神经网络构建的，例如，各个特征提取器可以为VGG(Visual Geometry Group Network，视觉几何群网络)模型、ResNet(Residual Neural Network，残差神经网络)模型等，本申请实施例对各个特征提取器的结构不作限定。
该计算机设备将该第一图像和该第二图像分别输入该第一特征提取器和该第二特征提取器后，各个特征提取器可以对输入图像进行预处理，将输入图像转换为由多个像素值组成的数字矩阵，以便该计算机设备进行后续的特征提取步骤。
205、计算机设备通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量。
该计算机设备可以通过该图像分类模型中的第一特征提取器和第二特征提取器，分别对该第一图像和该第二图像进行特征提取，得到该第一图像对应的第一特征矩阵、该第二图像对应的第二特征矩阵，分别对该第一特征矩阵、该第二特征矩阵进行全局池化处理，得到该第一特征向量和该第二特征向量。
以获取该第一图像对应的第一特征向量为例进行说明，在一种可能实现方式中，该第一特征提取器可以包括多个卷积层，该计算机设备可以将该第一图像依次与各个卷积层进行卷积运算，基于该第一特征提取器中最后一个卷积层的输出结果，生成该第一图像对应的第一特征矩阵。该卷积过程与上述步骤202中的卷积过程同理，在此不作赘述。在一种可能实现方式中，该图像分类模型中还可以包括一个global pooling(全局池化)层，该全局池化层的扫描窗口大小与该第一特征矩阵的大小相同，例如，该第一特征矩阵的大小为A*B*C，则该扫描窗口的大小可以为A*B，其中，A、B、C均为正整数，本申请实施例对A、B、C的具体数值不作限定。该计算机设备可以通过该全局池化层对该第一特征矩阵进行全局池化处理，以对该第一图像进行全局平局池化为例，该计算机设备可以获取扫描窗口中各个元素的平均值，作为该第一特征向量中的一个元素，得到一个1*1*C的第一特征向量。当然，该计算机设备也可以通过其他池化方式获取该第一特征向量，本申请实施例对此不做限定。该计算机设备获取该第二特征向量的过程与获取该第二特征向量的过程同理，在此不作赘述。
需要说明的是，上述对获取该第一特征向量的描述，仅是一种示例性说明，本申请实施例对具体采用哪种图像特征提取方式来获取该第一特征向量不作限定。
206、计算机设备基于该第一特征向量、该第二特征向量，获取第三特征向量。
在一种可能实现方式中，该计算机设备可以获取该第一特征向量与该第二特征向量的差值向量，对该差值向量中的各个数值取绝对值，得到该第三特征向量，该第三特征向量可以用于指示该第一特征向量、该第二特征向量之间的差异，也即是可以用于指示该第一图像与该第二图像之间的差异。
需要说明的是，上述基于第三特征向量体现双眼差异的方式，仅是一种双眼差异表现方式的示例性说明，该计算机设备还可以基于其他方式确定双眼图像的差异，本申请实施例不作限定。
207、计算机设备基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。
在一种可能实现方式中，该计算机设备可以对该第一特征向量、该第二特征向量和该第三特征向量进行拼接，得到该一组眼底图像对应的第四特征向量，将该第四特征向量输入第一全连接层，由该第一全连接层将该第四特征向量映射为一个二维向量，例如，该计算机设备可以基于该全连接层中的至少一个权重参数对该第四特征向量进行卷积运算，将该第四特征向量转换为一个二维向量，该计算机设备可以将该二维向量所指示的标签，作为该一组眼底图像对应的标签。在本申请实施例中，一个标签可以对应于一个二维向量，该标签可以为是青光眼的眼底图像或不是青光眼的眼底图像，该标签与二维向量的对应关系可以由开发人员进行设置。
在本申请实施例中，通过对左眼、右眼对应的特征向量以及用于指示左右眼差异的特征向量进行拼接，基于拼接后的向量进行预测，在眼底图像检测过程中，融合了双眼的特征以及双眼的特征差异，提高了眼底图像检测的准确性。当然，上述对基于特征向量的拼接对双眼特征进行融合的描述，仅是一种双眼特征融合方式的示例性说明，本申请实施例对具体采用哪种双眼特征融合方式不作限定。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请实施例提供的技术方案，通过响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像，将该第一图像和该第二图像输入图像分类模型，通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量，基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异，基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。在上述眼底图像检测过程中，基于左眼图像和右眼图像的图像特征和图像差异进行图像检测，得到图像对应的标签，提高眼底图像检测结果的准确性。
在青光眼检测中，应用上述眼底图像检测方法，医务工作者可以将患者的双眼眼底图像输入图像分割模型和图像分类模型，由图像分割模型对眼底图像进行分割，图像分类模型对分割出的图像进行识别、分类，判断患者是否患有青光眼。在本申请实施例中，将双眼杯盘比差异这一青光眼的重要临床特征融入深度学习模型中，使图像分类模型可以基于双眼图像进行预测，避免遗漏单眼杯盘比属于正常范围，但是双眼间杯盘比差异较大的潜在青光眼患者，提高了深度学习模型对于青光眼检测在病例层面的敏感度、精确度。这种眼底图像检测方法可以应用于各医疗机构，辅助医务人员进行诊断，提高诊断效率、准确率。
在本申请实施例中，该计算机设备获取该第一特征向量以及该第二特征向量后，还可以基于这两个特征向量分别对第一图像和第二图像进行标签预测，即除对双眼图像进行预测的任务之外，还包括左眼图像预测任务和右眼图像预测任务。在一种可能实现方式中，该计算机设备可以将该第一特征向量输入第二全连接层，基于该第二全连接层的输出结果，确定该第一图像对应的左眼标签，将该第二特征向量输入第三全连接层，基于该第三全连接层的输出结果，确定该第二图像对应的右眼标签。
参见图3，图3是本申请实施例提供的一种眼底图像检测过程的示意图，该计算机设备可以将左眼的第一眼底图像301右眼的第二眼底图像302输入图像分割模型，由该图像分割模型对各个眼底图像中的感兴趣区域进行识别，从而获取到包含左眼视盘信息的第一图像303、包含右眼视盘信息的第二图像304，该计算机设备可以将该第一图像303和该第二图像304输入图像分类模型305，基于该图像分类模型305中的第一特征提取器、第二特征提取器以及其他运算层获取左眼对应的第一特征向量和右眼对应的第二特征向量，该计算机设备可以将左、右眼所对应特征向量的差值进行绝对值操作，得到第三特征向量，对该第一特征向量、第二特征向量、第三特征向量进行拼接，得到第四特征向量，由第一全连接层基于该第四特征向量进行双眼是否为青光眼的预测，得到一个标签。此外，该计算机设备还可以将左、右眼提取到的特征分别被输入单独的全连接层进行单眼是否为青光眼的预测，也即是将第一特征向量、第二特征向量分别输入第二全连接层和第三全连接层，得到左眼标签和右眼标签。
在本申请实施例中，通过单独预测左眼、右眼对应的标签，进行辅助判断，可以提高检测结果的准确性、全面性，定位出具体哪个眼底图像为青光眼的眼底图像。当然，在进行眼底眼检测时，可以对左眼图像预测任务、右眼图像预测任务、双眼图像预测任务进行组合，计算机设备可以执行其中的至少一个任务，以实现对眼底图像进行检测，本申请实施例对各个预测任务的组合方式不作限定。
上述实施例主要介绍了计算机设备基于图像分类模型，进行眼底图像检测的过程，而在进行眼底图像检测之前，需对该图像分类模型进行训练。图4是本申请实施例提供的一种图像分类模型训练方法的流程图，参见图4，该方法具体可以包括以下步骤：
401、计算机设备初始化图像分类模型中的各个参数。
该计算机设备对该图像分类模型的各个卷积层、全局池化层、全连接层中的各个参数进行随机赋值，来实现参数初始化。在一种可能实现方式中，该计算机设备可以采用方差为0.01，均值为0的高斯分布对该目标识别模型进行参数初始化，本申请实施例对模型参数初始化的具体方法不作限定。
402、计算机设备将训练数据集输入该图像分类模型。
其中，该训练数据集可以包括多组视盘图像，一组视盘图像可以包括来自同一个患者的左眼视盘图像和右眼视盘图像。
在一种可能实现方式中，该左眼视盘图像和该右眼视盘图像可以基于图像分割模型获取，该计算机设备可以将来自同一患者的左眼眼底图像和右眼眼底图像输入该图像分割模型，识别出感兴趣区域，即视盘所在区域，该计算机设备可以对感兴趣区域进行变换，例如，裁剪、平移、旋转等，以基于一组眼底图像得到多组视盘图像，提高数据的多样性。
当然，各个视盘图像中可以添加有标注信息，例如，可以标注出该视盘图像是否为青光眼的图像，本申请实施例对该标注信息的具体内容不作限定。
403、计算机设备获取该图像分类模型的输出结果，计算该输出结果与正确检测结果之间的误差。
在本申请实施例中，该计算机设备可以通过一个或多个损失函数计算该输出结果与正确检测结果之间的误差。
在本申请实施例中，双眼图像预测任务、左眼图像预测任务和右眼图像预测任务可以对应于不同的权重，其中，双眼图像预测任务对应的权重数值最大，以突出双眼图像预测任务的重要性，各个权重数值可以由开发人员进行设置，例如，可以将双眼图像预测任务的权重设置为0.5，将左眼图像预测任务的权重设置为0.25，将右眼图像预测任务的权重设置为0.25。
在一种可能实现方式中，该计算机设备可以通过下述损失函数公式(1)计算误差。
其中，可以表示二元交叉熵损失，如上述公式(2)所示，/>可以表示网络参数正则化损失，i可以表示各个检测任务的编号，在本申请实施例中可以分别为双眼图像预测任务、左眼图像预测任务、右眼图像预测任务添加编号，yi可以表示i任务的正确检测结果，/>可以表示i任务的输出结果，ui可以表示各个任务分别对应的权重，Θ可以表示图像分类模型中的各个参数，λ可以表示图像分类模型的正则化系数，其具体数值可以由开发人员进行设置。
404、计算机设备基于该图像分类模型的输出结果与正确检测结果之间的误差，对该图像分类模型中的各个参数进行调整，直到符合目标条件时，得到训练好的图像分类模型。
在一种可能实现方式中，该计算机设备可以将获取的多个误差分别与多个误差阈值进行比较，当任一个误差值大于误差阈值时，该计算机设备将该多个误差反向传播到该图像分类模型，基于各个误差求解该目标识别模型中的各个参数，该各个参数包括多个卷积核对应的参数、全局池化层对应的参数、各个全连接层的对应的参数等。例如，该计算机设备可以将双眼图像预测任务的误差反传回第一全连接层和各个特征提取器，将左眼图像预测任务的误差反传回第二全连接层和第一特征提取器，将右眼图像预测任务的误差反传回第三全连接层和第二特征提取器。其中，该多个误差阈值均可以由开发人员设置，误差阈值的个数与获取的误差个数相同。
在本申请实施例中，该目标条件可以由开发人员进行设置，在一种可能实现方式中，该目标条件可以设置为获取到的输出结果正确的个数到达目标数目，其中，该目标数目可以由开发人员进行设置。当该多个误差均小于误差阈值时，则认为该计算机设备获取的目标识别结果正确，该计算机设备继续读取下一组视盘图像，执行步骤403，若该计算机设备获取到的输出结果正确的个数到达目标数目时，也即是符合该目标条件时，则认为该图像分类模型训练完毕。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图5是本申请实施例提供的一种眼底图像检测装置的结构示意图，参见图5，该装置包括：
图像获取模块501，用于响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
输入模块502，用于将该第一图像和该第二图像输入图像分类模型；
第一向量获取模块503，用于通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量；
第二向量获取模块504，用于基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异；
图像分类模块505，用于基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。
在一种可能实现方式中，该图像获取模块501用于：
获取该左眼的第一眼底图像、该右眼的第二眼底图像；
对该第一眼底图像、该第二眼底图像中的任一眼底图像执行以下步骤：
将该眼底图像输入图像分割模型，由该图像分割模型对该眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，该概率矩阵中元素的数值越大，该元素所在位置为该视盘的概率越大；
基于该概率矩阵中各个元素的数值大小，从该眼底图像中获取目标区域的图像，该目标区域的图像的中心与视盘中心重合。
在一种可能实现方式中，该图像获取模块501用于：
基于概率阈值，对该概率矩阵进行二值化处理，得到该眼底图像对应的二值化矩阵；
基于该二值化矩阵确定该视盘中心以及视盘直径；
基于该视盘中心以及该视盘直径，确定该目标区域，该目标区域的中心与该视盘中心重合。
在一种可能实现方式中，该第一向量获取模块503用于：
通过该图像分类模型中的第一特征提取器和第二特征提取器，分别对该第一图像和该第二图像进行特征提取，得到该第一图像对应的第一特征矩阵、该第二图像对应的第二特征矩阵，分别对该第一特征矩阵、该第二特征矩阵进行全局池化处理，得到该第一特征向量和该第二特征向量。
在一种可能实现方式中，该第一特征提取器与该第二特征提取器的参数相同。
在一种可能实现方式中，该第二向量获取模块504用于：
获取该第一特征向量与该第二特征向量的差值向量；
对该差值向量中的各个数值取绝对值，得到该第三特征向量。
在一种可能实现方式中，该图像分类模块505用于：
对该第一特征向量、该第二特征向量和该第三特征向量进行拼接，得到该一组眼底图像对应的第四特征向量；
将该第四特征向量输入第一全连接层，由该第一全连接层将该第四特征向量映射为一个二维向量；
将该二维向量所指示的标签，作为该一组眼底图像对应的标签。
在一种可能实现方式中，该方法还包括：
左眼标签确定模块，用于将该第一特征向量输入第二全连接层，基于该第二全连接层的输出结果，确定该第一图像对应的左眼标签；
右眼标签确定模块，用于将该第二特征向量输入第三全连接层，基于该第三全连接层的输出结果，确定该第二图像对应的右眼标签。
本申请实施例提供的装置，通过响应于图像检测指令，获取待检测的一组眼底图像，该一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像，将该第一图像和该第二图像输入图像分类模型，通过该图像分类模型对该第一图像和该第二图像进行特征提取，得到第一特征向量和第二特征向量，基于该第一特征向量、该第二特征向量，获取第三特征向量，该第三特征向量用于指示该第一特征向量、该第二特征向量之间的差异，基于该第一特征向量、该第二特征向量以及该第三特征向量对该一组眼底图像进行图像分类，输出该一组眼底图像对应的标签。应用上述眼底图像检测装置，基于左眼图像和右眼图像的图像特征和图像差异进行图像检测，得到图像对应的标签，提高眼底图像检测结果的准确性。
需要说明的是：上述实施例提供的眼底图像检测装置在眼底图像检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的眼底图像检测装置与眼底图像检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述技术方案所提供的计算机设备可以实现为终端或服务器，例如，图6是本申请实施例提供的一种终端的结构示意图。该终端600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器601所执行以实现本申请中方法实施例提供的眼底图像检测方法。
在一些实施例中，终端600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607和电源609中的至少一种。
***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)701和一个或多个的存储器702，其中，该一个或多个存储器702中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由处理器执行以完成上述实施例中的眼底图像检测方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来至少一条程序代码相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种眼底图像检测设备，其特征在于，所述眼底图像检测设备用于：
响应于图像检测指令，获取待检测的一组眼底图像，所述一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
将所述第一图像和所述第二图像输入图像分类模型；
通过所述图像分类模型对所述第一图像和所述第二图像进行特征提取，得到第一特征向量和第二特征向量；
基于所述第一特征向量、所述第二特征向量，获取第三特征向量，所述第三特征向量用于指示所述第一特征向量、所述第二特征向量之间的差异；
对所述第一特征向量、所述第二特征向量以及所述第三特征向量进行拼接，得到所述一组眼底图像对应的第四特征向量；将所述第四特征向量输入第一全连接层，由所述第一全连接层将所述第四特征向量映射为一个二维向量；将所述二维向量所指示的标签，作为所述一组眼底图像对应的标签，所述标签是青光眼的眼底图像或不是青光眼的眼底图像；输出所述一组眼底图像对应的标签；以及，
将所述第一特征向量输入第二全连接层，基于所述第二全连接层的输出结果，确定所述第一图像对应的左眼标签；将所述第二特征向量输入第三全连接层，基于所述第三全连接层的输出结果，确定所述第二图像对应的右眼标签。
2.根据权利要求1所述的设备，其特征在于，所述眼底图像检测设备用于：
获取所述左眼的第一眼底图像、所述右眼的第二眼底图像；
对所述第一眼底图像、所述第二眼底图像中的任一眼底图像执行以下步骤：
将所述眼底图像输入图像分割模型，由所述图像分割模型对所述眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，所述概率矩阵中元素的数值越大，所述元素所在位置为所述视盘的概率越大；
基于所述概率矩阵中各个元素的数值大小，从所述眼底图像中获取目标区域的图像，所述目标区域的图像的中心与视盘中心重合。
3.根据权利要求2所述的设备，其特征在于，所述眼底图像检测设备用于：
基于概率阈值，对所述概率矩阵进行二值化处理，得到所述眼底图像对应的二值化矩阵；
基于所述二值化矩阵确定所述视盘中心以及视盘直径；
基于所述视盘中心以及所述视盘直径，确定所述目标区域，所述目标区域的中心与所述视盘中心重合。
4.根据权利要求1所述的设备，其特征在于，所述眼底图像检测设备用于：
通过所述图像分类模型中的第一特征提取器和第二特征提取器，分别对所述第一图像和所述第二图像进行特征提取，得到所述第一图像对应的第一特征矩阵、所述第二图像对应的第二特征矩阵，分别对所述第一特征矩阵、所述第二特征矩阵进行全局池化处理，得到所述第一特征向量和所述第二特征向量。
5.根据权利要求4所述的设备，其特征在于，所述第一特征提取器与所述第二特征提取器的参数相同。
6.根据权利要求1所述的设备，其特征在于，所述眼底图像检测设备用于：
获取所述第一特征向量与所述第二特征向量的差值向量；
对所述差值向量中的各个数值取绝对值，得到所述第三特征向量。
7.一种眼底图像检测方法，其特征在于，所述方法包括：
响应于图像检测指令，获取待检测的一组眼底图像，所述一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
将所述第一图像和所述第二图像输入图像分类模型；
通过所述图像分类模型对所述第一图像和所述第二图像进行特征提取，得到第一特征向量和第二特征向量；
基于所述第一特征向量、所述第二特征向量，获取第三特征向量，所述第三特征向量用于指示所述第一特征向量、所述第二特征向量之间的差异；
对所述第一特征向量、所述第二特征向量以及所述第三特征向量进行拼接，得到所述一组眼底图像对应的第四特征向量；将所述第四特征向量输入第一全连接层，由所述第一全连接层将所述第四特征向量映射为一个二维向量；将所述二维向量所指示的标签，作为所述一组眼底图像对应的标签，所述标签是青光眼的眼底图像或不是青光眼的眼底图像；输出所述一组眼底图像对应的标签；以及，
将所述第一特征向量输入第二全连接层，基于所述第二全连接层的输出结果，确定所述第一图像对应的左眼标签；将所述第二特征向量输入第三全连接层，基于所述第三全连接层的输出结果，确定所述第二图像对应的右眼标签。
8.根据权利要求7所述的方法，其特征在于，所述响应于图像检测指令，获取待检测的一组眼底图像，所述一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像，包括：
获取所述左眼的第一眼底图像、所述右眼的第二眼底图像；
对所述第一眼底图像、所述第二眼底图像中的任一眼底图像执行以下步骤：
将所述眼底图像输入图像分割模型，由所述图像分割模型对所述眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，所述概率矩阵中元素的数值越大，所述元素所在位置为所述视盘的概率越大；
基于所述概率矩阵中各个元素的数值大小，从所述眼底图像中获取目标区域的图像，所述目标区域的图像的中心与视盘中心重合。
9.根据权利要求8所述的方法，其特征在于，所述基于所述概率矩阵中各个元素的数值大小，从所述眼底图像中获取目标区域的图像，包括：
基于概率阈值，对所述概率矩阵进行二值化处理，得到所述眼底图像对应的二值化矩阵；
基于所述二值化矩阵确定所述视盘中心以及视盘直径；
基于所述视盘中心以及所述视盘直径，确定所述目标区域，所述目标区域的中心与所述视盘中心重合。
10.根据权利要求7所述的方法，其特征在于，所述通过所述图像分类模型对所述第一图像和所述第二图像进行特征提取，得到第一特征向量和第二特征向量，包括：
通过所述图像分类模型中的第一特征提取器和第二特征提取器，分别对所述第一图像和所述第二图像进行特征提取，得到所述第一图像对应的第一特征矩阵、所述第二图像对应的第二特征矩阵，分别对所述第一特征矩阵、所述第二特征矩阵进行全局池化处理，得到所述第一特征向量和所述第二特征向量。
11.根据权利要求10所述的方法，其特征在于，所述第一特征提取器与所述第二特征提取器的参数相同。
12.根据权利要求7所述的方法，其特征在于，所述基于所述第一特征向量、所述第二特征向量，获取第三特征向量，包括：
获取所述第一特征向量与所述第二特征向量的差值向量；
对所述差值向量中的各个数值取绝对值，得到所述第三特征向量。
13.一种眼底图像检测装置，其特征在于，所述装置包括：
图像获取模块，用于响应于图像检测指令，获取待检测的一组眼底图像，所述一组眼底图像包括左眼对应的第一图像和右眼对应的第二图像；
输入模块，用于将所述第一图像和所述第二图像输入图像分类模型；
第一向量获取模块，用于通过所述图像分类模型对所述第一图像和所述第二图像进行特征提取，得到第一特征向量和第二特征向量；
第二向量获取模块，用于基于所述第一特征向量、所述第二特征向量，获取第三特征向量，所述第三特征向量用于指示所述第一特征向量、所述第二特征向量之间的差异；
图像分类模块，用于对所述第一特征向量、所述第二特征向量以及所述第三特征向量进行拼接，得到所述一组眼底图像对应的第四特征向量；将所述第四特征向量输入第一全连接层，由所述第一全连接层将所述第四特征向量映射为一个二维向量；将所述二维向量所指示的标签，作为所述一组眼底图像对应的标签，所述标签是青光眼的眼底图像或不是青光眼的眼底图像；输出所述一组眼底图像对应的标签；以及，
左眼标签确定模块，用于将所述第一特征向量输入第二全连接层，基于所述第二全连接层的输出结果，确定所述第一图像对应的左眼标签；
右眼标签确定模块，用于将所述第二特征向量输入第三全连接层，基于所述第三全连接层的输出结果，确定所述第二图像对应的右眼标签。
14.根据权利要求13所述的装置，其特征在于，所述图像获取模块用于：
获取所述左眼的第一眼底图像、所述右眼的第二眼底图像；
对所述第一眼底图像、所述第二眼底图像中的任一眼底图像执行以下步骤：
将所述眼底图像输入图像分割模型，由所述图像分割模型对所述眼底图像中的各个像素点为视盘的概率进行计算，得到一个概率矩阵，所述概率矩阵中元素的数值越大，所述元素所在位置为所述视盘的概率越大；
基于所述概率矩阵中各个元素的数值大小，从所述眼底图像中获取目标区域的图像，所述目标区域的图像的中心与视盘中心重合。
15.根据权利要求14所述的装置，其特征在于，所述图像获取模块用于：
基于概率阈值，对所述概率矩阵进行二值化处理，得到所述眼底图像对应的二值化矩阵；
基于所述二值化矩阵确定所述视盘中心以及视盘直径；
基于所述视盘中心以及所述视盘直径，确定所述目标区域，所述目标区域的中心与所述视盘中心重合。
16.根据权利要求13所述的装置，其特征在于，所述第一向量获取模块用于：
通过所述图像分类模型中的第一特征提取器和第二特征提取器，分别对所述第一图像和所述第二图像进行特征提取，得到所述第一图像对应的第一特征矩阵、所述第二图像对应的第二特征矩阵，分别对所述第一特征矩阵、所述第二特征矩阵进行全局池化处理，得到所述第一特征向量和所述第二特征向量。
17.根据权利要求16所述的装置，其特征在于，所述第一特征提取器与所述第二特征提取器的参数相同。
18.根据权利要求13所述的装置，其特征在于，所述第二向量获取模块用于：
获取所述第一特征向量与所述第二特征向量的差值向量；
对所述差值向量中的各个数值取绝对值，得到所述第三特征向量。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求7至权利要求12任一项所述的眼底图像检测方法所执行的操作。
CN201911327024.7A 2019-12-20 2019-12-20 眼底图像检测设备、方法、装置及存储介质 Active CN111080630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911327024.7A CN111080630B (zh) 2019-12-20 2019-12-20 眼底图像检测设备、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911327024.7A CN111080630B (zh) 2019-12-20 2019-12-20 眼底图像检测设备、方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111080630A CN111080630A (zh) 2020-04-28
CN111080630B true CN111080630B (zh) 2024-03-08

Family

ID=70316320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911327024.7A Active CN111080630B (zh) 2019-12-20 2019-12-20 眼底图像检测设备、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111080630B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207732A1 (en) * 2020-12-28 2022-06-30 Seyed Ehsan Vaghefi Rezaei Systems and methods for processing of fundus images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106214120A (zh) * 2016-08-19 2016-12-14 靳晓亮 一种青光眼的早期筛查方法
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及***
CN107256410A (zh) * 2017-05-26 2017-10-17 北京郁金香伙伴科技有限公司 对类镜像图像分类的方法及装置
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别***
CN108665447A (zh) * 2018-04-20 2018-10-16 浙江大学 一种基于眼底照相深度学习的青光眼图像检测方法
CN108717868A (zh) * 2018-04-26 2018-10-30 博众精工科技股份有限公司 基于深度学习的青光眼眼底图像筛查方法及***
CN110210571A (zh) * 2019-06-10 2019-09-06 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10405739B2 (en) * 2015-10-23 2019-09-10 International Business Machines Corporation Automatically detecting eye type in retinal fundus images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106214120A (zh) * 2016-08-19 2016-12-14 靳晓亮 一种青光眼的早期筛查方法
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及***
CN107423571A (zh) * 2017-05-04 2017-12-01 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别***
WO2018201633A1 (zh) * 2017-05-04 2018-11-08 深圳硅基仿生科技有限公司 基于眼底图像的糖尿病视网膜病变识别***
CN107256410A (zh) * 2017-05-26 2017-10-17 北京郁金香伙伴科技有限公司 对类镜像图像分类的方法及装置
CN108665447A (zh) * 2018-04-20 2018-10-16 浙江大学 一种基于眼底照相深度学习的青光眼图像检测方法
CN108717868A (zh) * 2018-04-26 2018-10-30 博众精工科技股份有限公司 基于深度学习的青光眼眼底图像筛查方法及***
CN110210571A (zh) * 2019-06-10 2019-09-06 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的青光眼杯盘检测技术研究;黄锦丽;《中国知网硕士电子期刊网》;20190115(第1期);全文 *

Also Published As

Publication number Publication date
CN111080630A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN111091576B (zh) 图像分割方法、装置、设备及存储介质
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
WO2020224479A1 (zh) 目标的位置获取方法、装置、计算机设备及存储介质
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN113610750B (zh) 对象识别方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN110675412B (zh) 图像分割方法、图像分割模型的训练方法、装置及设备
CN111192262A (zh) 基于人工智能的产品缺陷分类方法、装置、设备及介质
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN111598896A (zh) 图像检测方法、装置、设备及存储介质
CN110705438A (zh) 步态识别方法、装置、设备及存储介质
CN113821658A (zh) 对编码器进行训练的方法、装置、设备及存储介质
CN111080630B (zh) 眼底图像检测设备、方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023022

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant