CN103717122A - 眼科诊断支持设备和眼科诊断支持方法 - Google Patents

眼科诊断支持设备和眼科诊断支持方法 Download PDF

Info

Publication number
CN103717122A
CN103717122A CN201280038089.XA CN201280038089A CN103717122A CN 103717122 A CN103717122 A CN 103717122A CN 201280038089 A CN201280038089 A CN 201280038089A CN 103717122 A CN103717122 A CN 103717122A
Authority
CN
China
Prior art keywords
lesion candidates
image
optical fundus
region
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280038089.XA
Other languages
English (en)
Other versions
CN103717122B (zh
Inventor
宫狭和大
今村裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103717122A publication Critical patent/CN103717122A/zh
Application granted granted Critical
Publication of CN103717122B publication Critical patent/CN103717122B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

提供一种眼科诊断支持设备，其中该眼科诊断支持设备使得操作员能够在无需花费时间和精力来搜索候选病变的情况下、容易地获取适合该候选病变的详细观察的断层图像。所述眼科诊断支持设备包括：获取单元，用于获取眼底的宽范围图像；候选病变检测单元，用于通过分析所述宽范围图像来检测眼底上的候选病变；计算单元，用于基于所述候选病变的检测结果来确定所述候选病变的异常程度；以及获取位置设置单元，用于基于所述候选病变的异常程度来设置眼底的断层图像的获取位置。

Description

眼科诊断支持设备和眼科诊断支持方法
技术领域
本发明涉及用于支持眼部摄像的图像处理设备，尤其涉及用于通过使用眼部的断层图像进行图像处理来支持眼科诊断的眼科诊断支持设备和眼科诊断支持方法，并且还涉及用于进行该眼科诊断支持方法的程序和存储有该程序的存储介质。
背景技术
为了早期诊断与生活方式相关的疾病或作为失明的诱因而排名高的疾病，广泛进行眼部检查。诸如光学相干断层成像仪(OCT)等的眼部断层图像摄像设备使得能够三维观察视网膜层的内部状态，因此期望对于更加准确地诊断疾病是有用的。
图1示出利用OCT所拍摄到的视网膜的黄斑部的断层图像的示意图。在图1中，“F”表示眼底图像，“RXY”表示眼底上的摄像范围，“MC”表示黄斑中心，“T1”～“Tn”表示构成体图像的二维断层图像(B扫描图像、以下称为断层图像)，并且“A”表示视网膜的深度方向(“z”方向)上的扫描线(A扫描线)。此外，断层图像Tn示出内界膜1、神经纤维层2、神经节细胞层3、内丛状层4、内核层5、外丛状层6、外核层7、外界膜8、光感受器内节/外节接合部9和视网膜色素上皮边界10。在输入该断层图像时，例如在可以测量内界膜1和视网膜色素上皮边界10之间的厚度、即视网膜的厚度的情况下，该厚度可以用来诊断由于视网膜的厚度的变化而导致视力障碍的各种疾病。将通过对眼底上的二维范围摄像来获取体图像的该摄像方法称为三维(3D)扫描。
另外，OCT摄像使用对眼底的同一线上的照射区域重复摄像、并且计算所获得的断层图像的算术平均值以输出噪声少的高清晰度断层图像的摄像方法。以下将该方法称为线扫描。利用该摄像方法，可以密切地观察作为眼底疾病的诊断的重要部位的、黄斑中心或病变部位中的视网膜层内部的解剖结构。在线扫描的摄像中，除了单个断层图像以外，可以通过设置多个线作为眼底上的摄像区域来拍摄多个断层图像。
这样，在临床现场，在多数情况下组合使用以下两种摄像方法，即用于获取宽范围的体图像以防止断层图像的非故意遗漏的3D扫描、以及用于获取高清晰度图像以详细观察病变的线扫描。
在这种情况下，在线扫描中，仅获取到与眼底上的特定线区域相对应的断层图像。因此，需要适当地设置摄像位置，以使得黄斑中心和病变部位的解剖结构包括在断层图像中。然而，在传统的OCT设备中，操作员需要手动设置摄像位置，因而需要大量时间和精力来在眼底上搜索黄斑中心和病变位置。另外，存在由于操作员没注意到病变或误将相对于黄斑中心偏移的位置设置为摄像位置、因此无法对适当位置进行摄像的风险。
为了应对该问题，专利文献1公开了如下技术：在通过预备测量所获取到的断层图像中识别特征部位的位置，然后基于该特定部位的位置来改变信号光的照射位置，由此通过主测量在帧内的预定位置处绘制该特征部位。具体地，在预测测量的断层图像中检测黄斑中心或表示视神经***中心的凹陷的位置作为特征部位，因而确定照射位置以使得通过主测量在帧内的预定位置处绘制该位置。
另外，专利文献2公开了如下技术，其中该技术在眼底的宽范围图像中检测候选病变，并且基于所检测到的候选病变的类型和范围来确定要拍摄的断层图像的空间范围、扫描线间隔以及扫描顺序和方向。此外，还公开了根据候选病变的严重度或发生候选病变的区域来判断是否需要获取断层图像的技术。
然而，传统技术存在以下问题。在上述的专利文献1所公开的技术中，在特征部位具有诸如黄斑部或视神经***部等的从中心(凹陷)起以各向同性的方式延伸的结构的情况下，当仅识别出中心位置时，可以确定照射位置以使得可以在断层图像中绘制该特征。然而，在特征部位是病变的情况下，该病变不一定具有从其中心位置起的各向同性的延伸。例如，在糖尿病视网膜病中所观察到的黄斑水肿的病例中，血液从毛细血管瘤或血管流出，由此在视网膜内发生被称为囊肿的低亮度区域，因而视网膜肿胀。在这种情况下，视网膜不是从病变的中心位置起以各向同性的方式肿胀，而是根据囊肿的发生位置或程度以各种不同方式肿胀。因此，在专利文献1所述的方法中自动设置摄像位置的情况下，所获取到的断层图像可能包括病变的一部分，但不一定绘制有上述黄斑水肿的特征。因此，该断层图像不一定是病变的详细观察所用的适当断层图像。
另外，在专利文献2所公开的技术中，在按紧密的扫描间隔拍摄3D扫描图像的情况下，当根据病变的扩展来确定断层图像的空间范围时，对于病变的诊断而言有用的断层图像可以包括在所获取到的体图像中。然而，在拍摄假定使用如上所述的断层图像的算术平均值的多个线扫描图像的情况下，按单独的扫描间隔来拍摄断层图像，因此不一定包括捕捉上述病变的特征的断层图像。
引文列表
专利文献
专利文献1：日本特开2009-279031
专利文献2：日本特开2010-35607
发明内容
发明要解决的问题
本发明是考虑到上述问题而作出的，并且其目的是提供使得操作员能够在无需花费时间和精力来搜索候选病变的情况下、容易地获取适合该候选病变的详细观察的断层图像的眼科诊断支持设备和眼科诊断支持方法。
为了实现上述目的，根据本发明的典型实施例，提供一种眼科诊断支持设备，包括：获取单元，用于获取眼底图像；候选病变检测单元，用于通过分析所述眼底图像来检测眼底上的候选病变；计算单元，用于基于所述候选病变的检测结果来确定所述候选病变的异常程度；以及获取位置设置单元，用于基于所述候选病变的异常程度来设置眼底的断层图像的获取位置。
发明的效果
根据本发明，根据眼底上的候选病变的异常程度来自动设置断层图像的获取位置。因此，操作员可以在无需花费时间和精力来手动搜索候选病变的情况下，容易地获取适合该候选病变的详细观察的断层图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出3D扫描的摄像范围和断层图像内的眼部特征的示意图。
图2是示出根据本发明的第一实施例的摄像支持设备的功能结构的图。
图3是示出根据第一实施例的摄像支持设备所进行的处理过程的流程图。
图4是示出叠加在眼底图像上的视网膜的厚度的重要度映射的图。
图5是示出针对单线摄像位置的第一设置方法的处理过程的流程图。
图6A和6B是示出包括候选病变的异常程度最大的位置的单线摄像位置和所获取图像的图。
图7是示出针对单线摄像位置的第二设置方法的处理过程的流程图。
图8A和8B是示出包括候选病变的最大区域的单线摄像位置和所获取图像的图。
图9是示出针对单线摄像位置的第三设置方法的处理过程的流程图。
图10A和10B是示出包括最大数量的候选病变的单线摄像位置和所获取图像的图。
图11是示出根据本发明的第二实施例的摄像支持设备所进行的处理过程的流程图。
图12是示出针对多线摄像位置的第一设置方法的处理过程的流程图。
图13A和13B是示出包括候选病变的异常程度最大的位置的多线摄像位置的图。
图14是示出针对多线摄像位置的第二设置方法的处理过程的流程图。
图15A和15B是示出包括候选病变的最大区域的多线摄像位置的图。
图16是示出针对多线摄像位置的第三设置方法的处理过程的流程图。
图17A和17B是示出包括最大数量的候选病变的多线摄像位置的图。
图18是示出根据本发明的第三实施例的摄像支持设备所进行的处理过程的流程图。
图19是示出针对单线/多线摄像位置的切换设置方法的处理过程的流程图。
图20A和20B是示出基于候选病变和黄斑中心之间的位置关系的多线摄像位置和单线摄像位置的图。
图21是示出根据本发明的第四实施例的诊断支持设备的功能结构的图。
图22是示出根据第四实施例的诊断支持设备所进行的处理过程的流程图。
具体实施方式
在本实施例中，通过使用OCT来进行黄斑部的3D扫描，并且在所拍摄到的体图像中检测候选病变。然后，使用该候选病变的检测结果以自动确定用于随后利用一条线(一个线段、以下称为单线)对黄斑部进行线扫描的摄像位置、即断层图像的获取位置，以使得最佳地掌握其特征。因而，可以在无需操作员的时间和精力的情况下拍摄到适合候选病变的详细观察的断层图像。此外，在临床现场，在一起使用3D扫描和线扫描这两者的情况下，可以有效地使用通过3D扫描所获取到的体图像的信息来确定线扫描的摄像位置。
图2示出根据本实施例的摄像支持设备(眼科诊断支持设备)10的功能结构。在图2中，摄像支持设备10包括指示获取单元201、眼底追踪单元202、断层图像摄像单元203、存储器单元204、图像分析单元205、摄像位置设置单元208和显示单元209。另外，图像分析单元205包括眼部特征检测单元206和候选病变检测单元207。断层图像摄像单元203包括用作根据本发明的断层图像获取单元的模块，并且候选病变检测单元207包括分别用作候选病变检测单元和用于计算用于评价所确定的候选病变的得分的计算单元的模块。
图3是本实施例的流程图，并且参考该流程图来说明摄像支持设备10所进行的具体处理过程。
步骤S301
在步骤S301中，指示获取单元201从操作员(未示出)获取被检眼(未示出)的眼底的3D扫描摄像指示的信息，并且将该信息发送至眼底追踪单元202和断层图像摄像单元203。
步骤S302
在步骤302中，眼底追踪单元202基于所获取到的摄像指示信息来开始追踪眼底。具体地，在获取到摄像指示信息的情况下，拍摄被检眼的眼底图像作为眼底图像A。此外，实时地拍摄被检眼的眼底图像作为眼底图像B。随着时间的经过，始终将眼底图像B更新为最新图像。使这些眼底图像A和B实时地对准，从而实现实时地获取到的眼底的位置信息始终与在摄像指示的时间点处所获取到的眼底的位置信息相关联的状态。
另外，具体地，通过使用以下方法来进行使眼底图像A和B对准的处理。首先，使用强调线状结构的滤波器，由此从这两个图像中提取血管。这里，使用诸如以下滤波器等的基于对比度的线段强调滤波器，其中该滤波器用于在线段是结构元件的情况下，计算结构元件中的亮度值的平均值和包围该结构元件的局部区域内的平均值之间的差。这里，可以将作为滤波处理的结果所获得的多值区域原样视为血管提取结果，或者可以将利用特定阈值的二值化之后的区域视为血管提取结果。将所获得的图像分别称为眼底图像A'和B'。
在本实施例中，针对眼底图像A'的坐标系确定眼底图像B'的标度(Sx,Sy)、位置坐标(x,y)和转动(rot)的参数，由此使眼底图像A'和B'对准。另外，为了计算这些图像是否对准的标志，使用眼底图像A'和眼底图像B'之间的图像整体的亮度值的均方误差。换句话说，确定在均方误差变为最小的情况下的对准参数。
注意，对准标志不限于此。代替亮度值的均方误差，可以使用相关系数或相对信息量等。另外，原来的眼底图像A和B本身可以是对准所用的输入。
接着，将眼底图像B和所确定的对准参数实时地发送至断层图像摄像单元203和显示单元209。
步骤S303
在步骤303中，断层图像摄像单元203基于所获取到的摄像指示信息来对眼底进行3D扫描，并且获取例如图1所例示的眼底范围整体或相似宽范围的宽范围图像(进行摄像)。接着，将作为所获取到的宽范围图像的体图像发送至存储器单元204和眼部特征检测单元206。在这种情况下，假定步骤S302中的眼底图像A和该步骤中的3D扫描图像是使用同一光源同时拍摄到的并且这两个图像的位置彼此相关联。
步骤S304
在步骤S304中，眼部特征检测单元206在体图像中检测视网膜层边界和黄斑中心的位置作为眼部特征。注意，如上所述在本实施例中将黄斑中心作为特征部位来处理，但还可以将诸如血管等的与病变有关的上述区域视为特征部位。
在本实施例中，将图4中的内界膜1和视网膜色素上皮边界10检测作为视网膜层边界。首先，以构成要处理的体图像的各断层图像为单位来进行以下处理。
首先，对关注的断层图像进行平滑化处理，由此消除噪声成分。接着，进行断层图像的z方向上的边缘增强处理，并且在边缘增强图像中检测边缘成分。这里，由于内界膜1是亮度值低的玻璃体区域和亮度值高的视网膜区域之间的边界，因此内界膜1作为特别强的边缘成分出现。另外，由于视网膜色素上皮边界是视网膜层内亮度特别高的视网膜色素上皮层的下侧的边界，因此视网膜色素上皮边界作为强的边缘成分出现。因此，根据边缘增强图像生成沿着A扫描线的亮度分布，并且检测两个特别大的亮度峰值。然后，按从视网膜的前侧起的顺序将这两者的位置识别为内界膜1和视网膜色素上皮边界10。对图像中的所有A扫描线进行该处理，以使得提取出内界膜1和视网膜色素上皮边界10的线。将这样检测到的层边界的数据称为层边界数据。
另外，该步骤中所检测到的视网膜层边界不限于内界膜1和视网膜色素上皮边界10。通过调整在图像中检测到的边缘成分的大小，检测对象可以是内界膜1、神经纤维层2、神经节细胞层3、内丛状层4、内核层5、外丛状层6、外核层7、外界膜8、光感受器内节/外节接合部9和视网膜色素上皮边界10中的任一个。
接着，使用以下的黄斑中心MC的解剖特征来检测黄斑中心MC的位置。
(i)黄斑中心MC是眼底上的凹陷区域。
(ii)在黄斑中心MC处不存在视网膜血管。
(iii)在黄斑中心MC处不存在神经纤维层2。
在本实施例中，基本使用特征(i)，以使得将所检测到的内界膜1的z坐标最大的点设置为黄斑中心MC。然而，在黄斑水肿的病例下，黄斑中心可能肿胀，使得不满足特征(i)。在这种情况下，使用特征(ii)和(iii)，以使得将不存在视网膜血管并且神经纤维层2的厚度为0的位置识别为黄斑中心。通过使用步骤S302中所检测到的血管区域的信息来确定不存在视网膜血管的区域，并且通过在该步骤中提取神经纤维层2来确定神经纤维层2的厚度。
然后，将所检测到的层边界数据发送至候选病变检测单元207，并且将中央凹MC的坐标发送至存储器单元204。
步骤S305
在步骤S305中，候选病变检测单元207基于所获取到的层边界数据来检测候选病变。例如，在黄斑水肿的病例中，存在如下特征：由于在视网膜内发生的诸如囊肿等的病变的影响而导致视网膜的厚度(内界膜1和视网膜色素上皮边界10之间的层的厚度)大于正常情况下的厚度。因此，在本实施例中，根据内界膜1和视网膜色素上皮边界10的边界数据来计算视网膜的厚度，并且将所计算出的厚度与视网膜的正常厚度进行比较，由此将厚度特别大的部分检测作为候选病变。
具体地，在图1的x-y平面的各坐标中，沿着A扫描线(在z轴的正方向上)计算内界膜1和视网膜色素上皮边界10之间的z坐标之差。在该计算中，将x-y平面上的坐标(i,j)处的该差值称为视网膜厚度的层厚度值ti,j。
接着，将通过该计算所确定的层厚度值与预先存储在存储器单元204中的多个视网膜厚度的正常值数据库进行比较，从而检测视网膜厚度异常大的部分。具体地，根据以下条件，将x-y平面上的坐标(i,j)分类为包括“候选病变区域”、“边界区域”和“正常区域”的三个区域。
(i)“候选病变区域”：层厚度值ti,j在视网膜厚度的正常值的数据集中的从最大值起的不到1%的范围内的情况
(ii)“边界区域”：层厚度值ti,j在除条件(i)的范围以外的、从最大值起的不到5%的范围内的情况
(iii)“正常区域”：层厚度值ti,j在除条件(i)和(ii)的范围以外的其余范围(5～100%)内的情况
将这样对x-y平面上的坐标(i,j)进行分类的映射称为“重要度映射”。在本实施例中，将“候选病变区域”标记分配至属于上述重要度映射的“候选病变区域”的坐标(i,j)，并且将分配有“候选病变区域”标记的坐标及其层厚度值ti,j的数据集称为候选病变信息。因此，候选病变检测单元207还包括用作区域计算单元的模块，其中该区域计算单元用于基于候选病变的检测结果来确定眼底平面上的候选病变的区域。
图4是在视网膜厚度存在异常的病例中将重要度映射叠加在眼底图像上的图。在图4中，F表示眼底图像，“RXY”表示3D扫描的摄像区域，“MC”表示黄斑中心，“AR”表示候选病变区域，“BR”表示边界区域，并且“NR”表示正常区域。
另外，该步骤中所检测到的候选病变不限于上述的候选病变区域AR。可以将包括区域AR和BR的区域检测作为候选病变。此外，为了检测候选病变所要计算的层厚度不限于视网膜的厚度。例如，在光感受层存在缺陷的病例中，图1中的光感受器内节/外节接合部9和视网膜色素上皮边界10之间的层变薄。因此，在这种情况下，将光感受器内节/外节接合部9和视网膜色素上皮边界10之间的层厚度与正常厚度相比变得异常薄的区域检测作为候选病变。另外，候选病变不限于层厚度值的异常区域。例如，在断层图像上将在黄斑水肿的病例中观察到的囊肿区域绘制为与周围的视网膜层区域相比亮度较低的区域。因此，可以通过阈值处理来检测低亮度区域并且将该区域设置为候选病变。此外，在糖尿病视网膜病的病例中，从血管渗出的脂肪可能沉积，由此可能发生被称为白斑的区域，其中该区域被描绘为与周围的视网膜层区域相比亮度较高的区域。因此，可以通过阈值处理来检测高亮度区域并且将该区域设置为候选病变。
此外，候选病变检测单元207将候选病变信息发送至摄像位置设置单元208。
步骤S306
在步骤S306中，摄像位置设置单元208基于存储在存储器单元204中的中央凹MC的坐标和所获取到的候选病变信息来设置利用单线进行摄像所用的摄像位置。以下说明具体设置方法的示例。
在本实施例中，说明用于设置摄像位置以获取包括候选病变的异常程度最大的位置的断层图像的第一方法。
图5是示出第一方法的处理过程的流程图，并且参考该流程图来说明具体设置方法。
步骤S501
在步骤S501中，摄像位置设置单元208从存储器单元204获取黄斑中心MC的坐标。
步骤S502
在步骤S502中，摄像位置设置单元208在所获取到的候选病变信息中检测候选病变的异常程度最大的位置。具体地，摄像位置设置单元208基于存储在存储器单元中的正常值数据库来计算坐标(i,j)的正常层厚度的平均值ni,j，并且确定平均值ni,j和层厚度值ti,j之间的差最大的坐标(i,j)。将所确定的坐标设置为点PAR。
步骤S503
在步骤S503中，摄像位置设置单元208将通过这两个点MC和PAR的线设置为摄像位置。
图6A和6B分别是示出通过候选病变的异常程度最大的位置的摄像位置和要获取的断层图像的图。图6A示出视网膜厚度的重要度映射，其中“AR”、“BR”、“NR”和“MC”表示与图4相同的项。点PAR是候选病变的异常程度最大的位置，并且线L是通过两个点MC和PAR的线。图6B示出在线L的位置处拍摄到的眼底的断层图像，其中“MC”和“PAR”表示与图6A相同的项，并且“CY”表示囊肿。应当理解，图6B例示示出黄斑中心、特别是视网膜肿胀的区域的单个断层图像。
因而，可以设置摄像位置，以获取包括对于黄斑疾病的诊断而言重要的黄斑中心和候选病变的异常程度最大的位置这两者的断层图像。该方法在大的候选病变局部出现的病例中是有效的。该方法在除如图6B所示的由于黄斑水肿而存在局部肿胀的部分的病例以外的病例中、例如在息肉或异常血管网导致视网膜色素上皮层大幅变形的息肉状脉络膜血管病变的病例中也是有效的。
接着，说明用于设置摄像位置以获取包括候选病变的最大区域的断层图像的第二方法。
图7是示出第二方法的处理过程的流程图，并且参考该流程图来说明具体设置方法。
步骤S701
在步骤S701中，摄像位置设置单元208从存储器单元204获取黄斑中心MC的坐标，并且将通过黄斑中心MC且具有角度θ=0的线设置为线扫描的摄像位置L的初始位置。此外，摄像位置设置单元208将以下所述的截面面积S的最大值SMAX设置为0。
步骤S702
在步骤S702中，摄像位置设置单元208使所获取到的候选病变信息与步骤S701中所设置的线L的位置在x-y平面上相关联。然后，摄像位置设置单元208将候选病变信息视为相对于x-y平面在z方向上具有层厚度值的体数据，并且计算线L所跨过的候选病变的体数据的截面面积S。在这种情况下，在线L没有通过候选病变时，S=0成立。
步骤S703
在步骤S703中，摄像位置设置单元208将所计算出的截面面积S与截面面积的最大值SMAX进行比较。在S>SMAX成立的情况下，该处理进入步骤S704。在S≤SMAX成立的情况下，该处理进入步骤S705。
步骤S704
在步骤S704中，摄像位置设置单元208将截面面积的最大值SMAX更新为值S，并且将与该最大值相对应的线L的角度θMAX更新为线L的当前角度θ。
步骤S705
在步骤S705中，摄像位置设置单元208改变线L的当前角度θ。在本实施例中，例如，向θ的值加上5度。
步骤S706
在步骤S706中，摄像位置设置单元208参考线L的当前角度θ的值。在θ≥360°成立的情况下，该处理进入步骤S707。在θ<360°成立的情况下，该处理进入步骤S702。
步骤S707
在步骤S707中，摄像位置设置单元208将通过候选病变的截面的截面面积取最大值SMAX时的角度θMAX的线L设置为线扫描的摄像位置。
这样，摄像位置设置单元208包括用作计算单元的模块，其中该计算单元用于基于候选病变的检测结果来确定与眼底垂直的截面中所包括的候选病变区域。然后，基于根据该结果所获得的信息，摄像位置设置单元208设置线扫描的摄像位置，以使得截面中所包括的候选病变区域最大。
图8A和8B是示出通过候选病变的截面的截面面积最大的摄像位置和所获取到的断层图像的图。图8A示出视网膜厚度的重要度映射，其中“AR”、“BR”、“NR”和“MC”表示与图6A相同的项，并且线L是通过MC并且通过候选病变的截面的截面面积最大的线。图8B示出在线L的位置处所拍摄到的眼底的断层图像，其中“AR”表示与图8A相同的候选病变区域，并且“MC”和“CY”表示与图6B相同的项。应当理解，图8B例示示出黄斑中心、特别是视网膜的肿胀区域大大扩展的部位的单个断层图像。
因而，可以设置摄像位置，以获取包括对于黄斑疾病的诊断而言重要的黄斑中心以及候选病变的最大区域的断层图像。该方法在存在大小大的候选病变的病例中是有效的。该方法在除如图8B所示的存在由于黄斑水肿而导致视网膜的肿胀区域大大扩展的部分的病例以外的病例中、例如在视网膜在宽范围内凸起的视网膜严重脱落的病例中也是有效的。
接着，说明用于设置摄像位置以获取包括最大数量的候选病变的断层图像的第三方法。
图9是示出第三方法的处理过程的流程图，并且参考该流程图来说明具体方法。这里，假定“N”表示线L所通过的候选病变的数量，并且“NMAX”表示“N”的最大值。然后，该方法对应于通过将第二方法中的截面面积S替换为数量N并且将第二方法中的截面面积的最大值SMAX替换为数量N的最大值NMAX所获得的方法。因此，省略了具体说明。然而，可能无法唯一确定在候选病变的数量变为“NMAX”的情况下的角度θMAX。因此，如以下所述，在本实施例的步骤S904中，进行用于在通过最大数量NMAX的候选病变的线中选择通过截面面积的总和最大的候选病变的线的处理。以下说明步骤S904的具体处理。
步骤S904
在步骤S904中，摄像位置设置单元208计算线上所包括的候选病变的截面面积S(在这种情况下为多个候选病变的截面面积的总和)。然后，将所计算出的截面面积S与截面面积的最大值SMAX(其初始值为零)进行比较。在S>SMAX成立的情况下，将值更新为SMAX=S、NMAX=N和θMAX=θ。在S≤SMAX成立的情况下，不更新这些值。通过上述操作，作为获取位置设置单元的摄像位置设置单元208基于候选病变的数量的分布来设置断层图像的获取位置。
这样，摄像位置设置单元208在以搜索方式改变设置在眼底上的线L的角度的同时，确定该线所通过的候选病变的数量。因此，摄像位置设置单元208包括用作计算单元的模块，其中该计算单元用于基于候选病变的检测结果来确定候选病变的数量的分布。然后，基于根据该结果所获得的信息，设置线扫描的摄像位置以使得截面中所包括的候选病变的数量最大。
图10A和10B是示出包括最大数量的候选病变的摄像位置和所获取到的断层图像的图。图10A示出视网膜厚度的重要度映射，其中“BR”、“NR”和“MC”表示与图6A相同的项，并且线L是通过MC并且具有最大数量的候选病变的线。另外，“AR1”～“AR3”表示不同的候选病变区域。图10B示出在线L的位置处所拍摄到的眼底的断层图像，其中“AR1”～“AR3”与图10A相同地表示不同的候选病变区域，并且“MC”和“CY”表示与图6B相同的项。应当理解，图10B例示示出黄斑中心和视网膜肿胀的三个区域的单个断层图像。
因而，可以设置摄像位置，以获取包括黄斑中心和尽可能多的候选病变的断层图像。该方法在存在大量相对小的候选病变的病例中是有效的。该方法在除如图10B所示的由于黄斑水肿所引起的视网膜的肿胀区域散布的病例以外的病例中、例如在许多白斑区域分布在宽范围内的糖尿病视网膜病的病例中也是有效的。在这种情况下，在步骤S305中，提取出白斑区域作为候选病变。
另外，如上所述，说明了用于设置摄像位置以包括黄斑中心和病变部位这两者的三个方法，但本发明不限于用于包括黄斑中心的方法。可以采用将线通过黄斑中心的条件从上述方法中除去的方法。在这种情况下，设置仅专用于最佳地掌握候选病变的特征的摄像位置。
接着，摄像位置设置单元208将所设置的线扫描的位置信息作为摄像所用的参数发送至断层图像摄像单元203和显示单元209。
步骤S307
在步骤S307中，显示单元209从眼底追踪单元202获取实时拍摄到的眼底图像B和对准参数，并且还获取从摄像位置设置单元208所获取到的单线的摄像位置信息。然后，显示单元209将单线的摄像位置信息以叠加在眼底图像B上的方式显示在监视器(未示出)上。
在这种情况下，基于步骤S303中所拍摄到的3D扫描图像的体数据来确定单线的摄像位置信息，并且使该摄像位置信息与眼底图像A的坐标系相关联。因此，使用对准参数来将线扫描的位置信息转换成眼底图像B的坐标系，以使得其坐标系与眼底图像B的坐标系一致。
根据上述结构，在体图像中检测候选病变，并且基于检测结果来自动确定后续摄像所用的单线摄像位置以使得最佳地掌握该特征。因而，可以在无需操作员花费时间和精力来手动搜索候选病变的情况下，容易地拍摄到适合该候选病变的详细观察的断层图像。另外，可以防止候选病变没有***作员注意到。此外，在临床现场使用3D扫描和线扫描这两者的情况下，可以有效地使用通过3D扫描所获得的体图像的信息来确定线扫描的摄像位置。
第二实施例
在第一实施例中，说明了自动设置单线摄像位置的方法。在本实施例中，说明第一实施例的摄像位置设置单元208设置由多个单线构成的多线摄像位置的情况。在设置摄像位置的传统方法中，基于候选病变范围来设置摄像位置。因此，在使用空间上分离的多条线来设置摄像位置的情况下，可以覆盖候选病变的扩展，但不一定能够获取对于病变的诊断而言有用的断层图像。因此，在本实施例中，自动设置多线摄像位置以掌握候选病变的特征并覆盖候选病变的扩展或分布。
设备的结构与第一实施例的结构相同，因此省略了针对该结构的说明。然而，存在以下不同之处：图2所示的第一实施例的摄像位置设置单元208设置单线摄像位置，而第二实施例的摄像位置设置单元208设置多线摄像位置。
图11是本实施例的流程图，并且参考该流程图来说明摄像支持设备10所进行的具体处理过程。然而，步骤S1101～S1105和步骤S1107的处理与图3中的步骤S301～S305和步骤S307的处理相同，因此省略了针对该处理的说明。
步骤S1106
在步骤S1106中，摄像位置设置单元208基于存储在存储器单元204中的中央凹(黄斑中心)MC的坐标和所获取到的候选病变信息来设置用于进行多线扫描的摄像位置。在本实施例中，以下说明多线的条数为5条的具体设置方法的示例。
在本实施例中，说明用于设置多线摄像位置以获取包括候选病变的异常程度最大的位置的断层图像的第一方法。与第一实施例的步骤S306中的第一方法相同，将该方法应用于候选病变局部大幅改变的病例。
图12是示出第一方法的处理过程的流程图，并且参考该流程图来说明具体设置方法。然而，步骤S1201和S1202与图5中的步骤S501和S502相同，因此省略了针对这些步骤的说明。
步骤S1203
在步骤S1203中，摄像位置设置单元208在水平方向上设置分别通过点PAR和点MC的两条线L1和L2。
步骤S1204
在步骤S1204中，摄像位置设置单元208判断候选病变区域是否包括黄斑中心。在候选病变区域包括黄斑中心的情况下，该处理进入步骤S1205。在候选病变区域不包括黄斑中心的情况下，该处理进入步骤S1206。这样，摄像位置设置单元208包括用作判断单元的模块，其中该判断单元用于判断眼底的候选病变区域是否包括作为特征部位的黄斑中心。
步骤S1205
在步骤S1205中，摄像位置设置单元208根据候选病变区域来水平地设置其余的线L3～L5。具体地，首先，将x-y平面中的候选病变区域的y方向(垂直方向)范围设置为“RY”。接着，在范围RY内以包括水平线L1的方式按等间隔均匀地设置线L3～L5。在这种情况下，在范围RY非常大时，线配置间隔变得过于分散。因此，将范围RY的宽度设置为“dAR”，并且针对值dAR设置上限值dMAX。然后，在实际宽度dAR超过上限值dMAX的情况下，将该宽度校正为“dMAX”，并且在以线L1为基准的具有宽度dMAX的范围内按等间隔设置线L3～L5。在本实施例中，采用3.0mm的宽度作为宽度dMAX。
图13A和13B是示出通过候选病变的异常程度最大的部分的多线摄像位置的图。图13A是示出在候选病变区域不包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。在图13A中，“AR”表示候选病变区域，“BR”表示边界区域，“NR”表示正常区域，“MC”表示黄斑中心，并且“PAR”表示候选病变的异常程度最大的位置。另外，“L1”表示通过点PAR的水平线，“L2”表示通过黄斑中心的水平线，“dAR”表示候选病变区域在y方向上的宽度，并且“L3”～“L5”表示在以线L1为基准的“dAR”的范围内所设置的水平线。通过该图，应当理解，这些多条线被设置成包括黄斑中心和候选病变的异常程度最大的点、并且覆盖候选病变区域整体。
步骤S1206
在步骤S1206中，摄像位置设置单元208在水平方向上在黄斑中心的周围设置其余的线L3～L5。具体地，在以通过点MC的水平线L2为基准的在y方向(垂直方向)上具有预定宽度dMC的范围内按等间隔设置这些线。在本实施例中，采用1.0mm的宽度作为垂直宽度dMC。
图13B是示出在候选病变区域包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。在图13B中，“AR”、“BR”、“NR”、“MC”、“PAR”、“L1”和“L2”表示与图13A相同的项。另外，“dMC”表示在黄斑中心的周围所设置的预定宽度，并且“L3”～“L5”表示在以线L2为基准的“dMC”的范围内所设置的水平线。通过该图，应当理解，这些多条线被设置成包括黄斑中心和候选病变的异常程度最大的点、并且覆盖黄斑中心的周边。
因而，可以设置多线摄像位置以按通常的摄像角度获取包括黄斑中心和候选病变的异常程度最大的位置的断层图像。此外，在黄斑中心没有包括在候选病变区域中的情况下，可以将多线摄像位置设置成能够均匀地观察候选病变区域。另一方面，在黄斑中心包括在候选病变区域中的情况下，黄斑中心的状态观察很重要。因此，可以将多线摄像位置设置成能够详细地观察到黄斑中心的周边。
接着，说明用于设置多线摄像位置以获取包括最大数量的候选病变区域的断层图像的第二方法。与第一实施例的步骤S306中的第二方法相同，将该方法应用于存在大小大的候选病变的病例。
图14是示出第二方法的处理过程的流程图，并且参考该流程图来说明具体设置方法。然而，步骤S1401和S1404与图12中的步骤S1201和S1204相同，因此省略了针对这些步骤的说明。
步骤S1402
在步骤S1402中，摄像位置设置单元208检测通过候选病变的截面的截面面积最大的线L1。在本实施例中，检测通过候选病变的重心并且通过候选病变的截面的截面面积最大的线。该处理对应于图7所示的用于设置单线摄像位置的第二方法中的、利用候选病变的重心来替换黄斑中心的处理。因此，省略了针对该处理的具体说明。然而，线L1并非必须通过候选病变的重心，并且线L1可以是通过候选病变的异常程度最大的位置的线。
步骤S1403
在步骤S1403中，摄像位置设置单元208设置通过点MC且与线L1平行的线L2。
步骤S1405
在步骤S1405中，摄像位置设置单元208根据候选病变区域来与线L1平行地设置其余的线L3～L5。该处理对应于将步骤S1205中的用于设置线的角度的处理替换为将该角度不是设置成水平而是设置成与线L1平行的处理这一处理，因此省略了针对该处理的具体说明。
图15A和15B是示出包括最大数量的候选病变区域的多线摄像位置的图。图15A是示出在候选病变区域不包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。在图15A中，“AR”、“BR”、“NR”和“MC”表示与图13A相同的项。另外，“L1”表示通过截面面积最大的候选病变区域的线，“L2”表示通过黄斑中心并且与线L1平行地设置的线，“dAR”表示候选病变区域在与线L1垂直的方向上的宽度，并且“L3”～“L5”表示在以线L1为基准的“dAR”的范围内与线L1平行地设置的线。通过该图，应当理解，这些多条线被设置成包括黄斑中心和最大数量的候选病变区域、并且覆盖候选病变区域整体。
步骤S1406
在步骤S1406中，摄像位置设置单元208在黄斑中心的周围与线L1平行地设置其余的线L3～L5。该处理对应于将步骤S1206中的设置线的角度的处理替换为将该角度不是设置成水平而是设置成与线L1平行的处理这一处理，因此省略了针对该处理的具体说明。
图15B是示出在候选病变区域包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。在图15B中，“AR”、“BR”、“NR”、“MC”、“L1”和“L2”表示与图15A相同的项。另外，“dMC”表示在与线L1垂直的方向上在黄斑中心的周围所设置的预定宽度，并且“L3”～“L5”表示在以线L2为基准的“dMC”的范围内与线L2平行地设置的线。通过该图，应当理解，这些多条线被设置成包括黄斑中心和最大数量的候选病变区域、并且覆盖黄斑中心的周边。
因而，可以设置多线摄像位置以获取包括黄斑中心的断层图像和包括最大数量的候选病变区域的断层图像。此外，在黄斑中心没有包括在候选病变区域中的情况下，可以将多线摄像位置设置成能够观察对于诊断而言更加重要的候选病变整体。另一方面，在黄斑中心包括在候选病变区域中的情况下，黄斑中心的状态观察很重要。因此，可以将多线摄像位置设置成能够详细地观察黄斑中心的周边。
接着，说明用于设置多线摄像位置以包括最大数量的候选病变的第三方法。与第一实施例中的步骤S306的第三方法相同，将该方法应用于存在大量相对较小的候选病变的病例。
图16是示出第三方法的处理过程的流程图，并且参考该流程图来说明具体设置方法。然而，步骤S1601～S1604和S1606与图12中的步骤S1201～S1204和S1206相同，因此省略了针对这些步骤的说明。
步骤S1605
在步骤S1605中，摄像位置设置部件208根据候选病变的数量来设置其余的线L3～L5。具体地，摄像位置设置部件208针对各候选病变检测候选病变的异常程度最大的位置。然而，在步骤S1602中检测到所有候选病变中的异常程度最大的位置。因此，针对最多三个候选病变检测除上述位置以外的位置。然后，将所检测到的位置按候选病变的异常程度的降序设置为点PAR1、PAR2和PAR3，并且将线L3～L5分别设置成水平地通过点PAR1～PAR3。
图17A和17B是示出包括最大数量的候选病变区域的多线摄像位置的图。图17A是示出在候选病变区域不包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。在图17A中，“AR”、“BR”、“NR”和“MC”表示与图13A相同的项。另外，“L1”和“L3”～“L5”表示通过各候选病变的异常程度最大的位置的水平线，并且“L2”表示通过黄斑中心的水平线。通过该图，应当理解，这些多条线被水平地设置成包括黄斑中心和尽可能多的候选病变区域。
图17B示出在候选病变区域包括黄斑中心的情况下叠加在视网膜厚度的重要度映射上的多线摄像位置的图。该图与图13B完全相同，因此省略了针对该图的说明。
因而，可以设置多线摄像位置以按通常的摄像角度获取包括黄斑中心和最大数量的候选病变的断层图像。此外，在黄斑中心没有包括在候选病变区域中的情况下，可以将多线摄像位置设置成能够观察尽可能多的病变。另一方面，在黄斑中心包括在候选病变区域中的情况下，可以将多线摄像位置设置成能够详细地观察黄斑中心的周边。
另外，以上说明了使所有的多条线平行配置的方法，但本发明不限于该方法。例如，在图13A或13B中，可以在与多条线水平地配置的位置相对应的位置处新添加垂直线。因而，可以在多条线彼此交叉的状态下设置摄像位置。因而，可以更加详细地掌握黄斑中心和候选病变的状态。
根据上述结构，在体图像中检测候选病变，并且自动确定后续摄像所用的多线摄像位置，以使得最佳地掌握该特征并且覆盖候选病变的扩展或分布。因而，可以在无需操作员花费时间和精力来手动搜索候选病变的情况下拍摄对于该候选病变的诊断而言有用的多个断层图像。另外，可以防止候选病变没有***作员注意到。
第三实施例
在第一实施例和第二实施例中，分别说明了自动设置单线摄像位置的方法和自动设置多线摄像位置的方法。在本实施例中，说明通过根据状况在单线摄像方法和多线摄像方法之间自动切换来自动设置摄像位置的方法。在候选病变包括黄斑中心的情况下，在候选病变特征出现的断层图像中可以彼此相关联地观察到候选病变对黄斑中心的影响很重要。另一方面，在候选病变区域不包括黄斑中心的情况下，在候选病变和黄斑中心之间基本不存在关联。因此，没有必要可以在同一断层图像内观察到候选病变对黄斑中心的影响。此外，在眼底上的断层图像的摄像角度不是诸如水平或垂直角度等的通常摄像角度的情况下，操作员可能观察到以该操作员不熟悉的摄像角度所获取到的断层图像。因此，在本实施例中，在候选病变包括黄斑中心的情况下，将单线摄像位置设置成绘制候选病变的特征和黄斑中心这两者。在候选病变不包括黄斑中心的情况下，将多线摄像位置水平地设置成单独地绘制候选病变的特征和黄斑中心。
设备的结构与第一实施例的结构相同，因此省略了针对该结构的说明。然而，存在以下不同之处：图2所示的第一实施例的摄像位置设置单元208仅设置单线摄像位置，而第三实施例的摄像位置设置单元208通过在单线摄像方法和多线摄像方法之间切换来设置摄像位置。
图18是本实施例的流程图，并且参考该流程图来说明摄像支持设备10所进行的具体处理过程。然而，步骤S1801～S1805和步骤S1807的处理与图3中的步骤S301～S305和步骤S307的处理相同，并且省略了针对该处理的说明。
步骤S1806
在步骤S1806中，摄像位置设置单元208基于存储在存储器单元204中的中央凹(黄斑中心)MC的坐标和所获取到的候选病变信息来判断是利用单线摄像方法还是多线摄像方法进行摄像。然后，在选择单线摄像方法的情况下，设置用于进行单线扫描的摄像位置。在选择多线摄像方法的情况下，设置用于进行多线扫描的摄像位置。在本实施例中，以下说明多线的条数为两条的具体设置方法的示例。
图19是示出通过在单线摄像方法和多线摄像方法之间切换来设置摄像位置的方法的流程图，并且参考该流程图来说明具体设置方法。然而，步骤S1901和S1902与图5的步骤S501和S502相同，因此省略了针对这些步骤的说明。
步骤S1903
在步骤S1903中，摄像位置设置单元208判断候选病变区域是否包括黄斑中心。在候选病变区域包括黄斑中心的情况下，该处理进入步骤S1904。在候选病变区域不包括黄斑中心的情况下，该处理进入步骤S1905。
步骤S1904
在步骤S1904中，摄像位置设置单元208在水平方向上设置分别通过点PAR和点MC的两条线L1和L2。
图20A和20B是示出通过在单线摄像方法和多线摄像方法之间切换所设置的摄像位置的图。图20A是示出在选择多线摄像方法作为摄像方法的情况下所设置的摄像位置的图。在图20A中，“AR”表示候选病变区域，“BR”表示边界区域，“NR”表示正常区域，“MC”表示黄斑中心，并且“PAR”表示候选病变的异常程度最大的位置。另外，“L1”表示通过点PAR的水平线，并且“L2”表示通过黄斑中心的水平线。通过该图，应当理解，在候选病变区域不包括黄斑中心的情况下，通过使用两条不同线的线扫描来对候选病变和黄斑中心进行摄像。
因而，可以观察到包括候选病变的断层图像和包括黄斑中心的断层图像作为以操作员熟悉的通常摄像角度所拍摄到的图像。
步骤S1905
在步骤S1905中，摄像位置设置单元208设置通过点PAR和点MC这两者的线L。
图20B是示出在选择单线摄像方法作为摄像方法的情况下所设置的摄像位置的图。在图20B中，“AR”、“BR”、“NR”、“MC”和“PAR”表示与图20A相同的项。另外，“L”表示通过点PAR和点MC这两者的线。通过该图，应当理解，在候选病变区域包括黄斑中心的情况下，利用单线摄像方法来拍摄断层图像以使得候选病变和黄斑中心包括在同一线中。
因而，在单个断层图像中，可以彼此相关联地观察到候选病变和黄斑中心。
根据上述结构，在体图像中检测候选病变。然后，基于候选病变区域和黄斑中心的位置关系来从单线摄像方法和多线摄像方法中选择摄像方法，以使得利用所选择的摄像方法来自动设置摄像位置。因而，操作员可以根据状况利用适合候选病变的详细观察的图像的数量来观察与候选病变和黄斑中心有关的断层图像。
第四实施例
在第一实施例～第三实施例中，说明了拍摄体图像、并且基于在断层图像中检测到的候选病变来自动设置线扫描的摄像位置的方法。在本实施例中，说明自动设置在从体图像提取断层图像并且在监视器上显示该图像时的眼底上的位置而不是线扫描的摄像位置、由此显示图像的方法。传统上，在拍摄体图像之后确定在监视器上要观察的断层图像的情况下，操作员需要花费时间和精力以从体图像中搜索适当的切片。因此，在本实施例中，拍摄体图像，并且分析在断层图像中所检测到的候选病变。因而，可以自动设置眼底上的显示位置以显示最佳地掌握候选病变的特征的断层图像。
图21示出根据本实施例的诊断支持设备20的功能结构。在图21中，连同诊断支持设备20一起设置有断层图像摄像设备30，其中诊断支持设备20包括断层图像获取单元2101、存储器单元2102、图像分析单元2103、显示位置设置单元2106和显示单元2107。另外，图像分析单元2103包括眼部特征检测单元2104和候选病变检测单元2105。注意，显示位置设置单元2106包括具有如下功能的模块，其中该功能用于通过与第一实施例～第三实施例中的获取位置设置单元的操作相同的操作来设置眼底的宽范围图像中所包括的眼底的断层图像的显示位置。
图22是本实施例的流程图，并且参考该流程图来说明诊断支持设备20所进行的具体处理过程。然而，步骤S2202和S2203的处理与图3中的步骤S304和S305的处理相同，因此省略了针对该处理的说明。
步骤S2201
在步骤S2201中，断层图像获取单元2101基于操作员(未示出)的指示来从断层图像摄像设备30获取体图像，并且将该体图像发送至存储器单元2102和眼部特征检测单元2104。
步骤S2204
在步骤S2204中，显示位置设置单元2106基于从候选病变检测单元2105获取到的候选病变信息来自动设置断层图像的显示位置。在这种情况下，本实施例的设置方法对应于将第一实施例的步骤S306中所设置的单线摄像位置替换为断层图像的显示位置的处理，因此省略了针对该处理的具体说明。
然而，该步骤中所确定的显示位置不限于单个位置。例如，可以采用利用与步骤S306中所述的设置三种类型的摄像位置的方法相同的方法来设置三种类型的显示位置的方法。
步骤S2205
在步骤S2205中，显示单元2107显示从存储器单元2102获取到的体图像中的、与显示位置设置单元2106所设置的断层图像的显示位置信息相对应的断层图像。
在这种情况下，在显示位置设置单元2106所设置的显示位置是单个位置的情况下，原样显示与该位置相对应的断层图像。另一方面，在显示位置设置单元2106所设置的显示位置是多个显示位置的情况下，显示如此设置的多个显示位置以使得操作员可以选择这些显示位置中的任一个。然而，可以将这些多个显示位置中的任一个预先设置为初始显示位置，从而首先显示如此设置的初始显示位置然后选择其它显示位置。
根据上述结构，在体图像中检测候选病变。然后，自动确定要显示的断层图像的显示位置以使得最佳地掌握该特征，并且显示断层图像。因而，可以节省从体图像中搜索适合候选病变的详细观察的断层图像所用的时间和精力，并且还可以防止候选病变没有被注意到。
其它实施例
在第一实施例～第四实施例中，在体图像中检测候选病变以确定要拍摄或显示的断层图像的位置，但检测候选病变的图像不限于体图像。例如，可以在2D眼底图像中检测候选病变。具体地，在2D眼底图像上绘制微动脉瘤作为异常视网膜血管，由此将该微动脉瘤检测作为候选病变。首先，利用第一实施例的步骤S302中所述的方法从2D眼底图像中提取血管区域，然后将血管直径与正常值进行比较，以使得将预定直径以上的区域检测作为微动脉瘤。然后，确定要拍摄或显示的断层图像的位置以使得可以观察到微动脉瘤的特征最佳地出现的断层图像。因而，在确定线扫描的位置的情况下，可以节省预先拍摄3D扫描图像所用的时间和精力。另外，在确定将断层图像显示在监视器上时的眼底上的位置的情况下，分析眼底图像，以使得与分析体图像的情况相比可以进一步降低计算成本，因而可以节省显示断层图像所需的时间。
此外，无需说明，本发明的目的还可以利用以下结构来实现。将用于实现上述实施例的功能的软件程序代码存储在存储介质上，并且将该存储介质供给至***或设备。然后，该***或设备的计算机(CPU或MPU)读出并执行存储在该存储介质上的程序代码。
尽管已经参考实施例说明了本发明，但是应该理解，本发明不限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2011年8月1日提交的日本专利申请2011-168603的优先权，在此通过引用包含其全部内容。

Claims (16)

1.一种眼科诊断支持设备，包括：
获取单元，用于获取眼底图像；
候选病变检测单元，用于通过分析所述眼底图像来检测眼底上的候选病变；
计算单元，用于基于所述候选病变的检测结果来确定所述候选病变的异常程度；以及
获取位置设置单元，用于基于所述候选病变的异常程度来设置眼底的断层图像的获取位置。
2.根据权利要求1所述的眼科诊断支持设备，其中，所述获取位置设置单元将眼底的断层图像的摄像位置设置为所述获取位置。
3.根据权利要求1所述的眼科诊断支持设备，其中，所述获取位置设置单元将所述眼底图像中所包括的眼底的断层图像的显示位置设置为所述获取位置。
4.根据权利要求1至3中任一项所述的眼科诊断支持设备，其中，所述获取位置设置单元将眼底上的至少一个线段设置为所述断层图像的获取位置。
5.根据权利要求1至4中任一项所述的眼科诊断支持设备，其中，还包括区域计算单元，所述区域计算单元用于基于所述候选病变的检测结果来确定眼底上的所述候选病变的区域，
其中，所述获取位置设置单元基于所述候选病变的异常程度和所述候选病变的区域来设置眼底的断层图像的获取位置。
6.根据权利要求1至5中任一项所述的眼科诊断支持设备，其中，还包括眼部特征检测单元，所述眼部特征检测单元用于通过分析所述眼底图像来检测眼部的特征部位，
其中，所述获取位置设置单元基于所述候选病变的异常程度和所述特征部位的检测结果来设置眼底的断层图像的获取位置。
7.根据权利要求6所述的眼科诊断支持设备，其中，还包括判断单元，所述判断单元用于判断所述特征部位是否包括在眼底上的所述候选病变的区域中，
其中，在判断为包括所述特征部位的情况下，进一步基于眼底上的所述特征部位的区域来设置眼底的断层图像的获取位置，以及
在判断为不包括所述特征部位的情况下，进一步基于眼底上的所述候选病变的区域来设置眼底的断层图像的获取位置。
8.根据权利要求6所述的眼科诊断支持设备，其中，
所述获取位置设置单元还包括判断单元，所述判断单元用于判断所述特征部位是否包括在所述候选病变的区域中，
在判断为包括所述特征部位的情况下，所述获取位置设置单元将眼底上的一个线段设置为所述获取位置，以及
在判断为不包括所述特征部位的情况下，所述获取位置设置单元将眼底上的多个线段设置为所述获取位置。
9.根据权利要求1至8中任一项所述的眼科诊断支持设备，其中，所述获取单元所获取到的所述眼底图像包括眼底的二维图像和眼底的体图像其中之一。
10.一种眼科诊断支持设备，包括：
获取单元，用于获取眼底图像；
候选病变检测单元，用于通过分析所述眼底图像来检测眼底上的候选病变；
计算单元，用于基于所述候选病变的检测结果来确定与眼底垂直的截面中所包括的所述候选病变的区域；以及
获取位置设置单元，用于基于所述候选病变的区域来设置眼底的断层图像的获取位置。
11.一种眼科诊断支持设备，包括：
获取单元，用于获取眼底图像；
候选病变检测单元，用于通过分析所述眼底图像来检测眼底上的候选病变；
计算单元，用于基于所述候选病变的检测结果来确定所述候选病变的数量的分布；以及
获取位置设置单元，用于基于所述候选病变的数量的分布来设置眼底的断层图像的获取位置。
12.一种眼科诊断支持方法，包括：
获取眼底图像；
通过分析所述眼底图像来检测眼底上的候选病变；
基于所述候选病变的检测结果来计算所述候选病变的异常程度；以及
基于所述候选病变的异常程度来设置眼底的断层图像的获取位置。
13.一种眼科诊断支持方法，包括：
获取眼底图像；
通过分析所述眼底图像来检测眼底上的候选病变；
基于所述候选病变的检测结果来计算与眼底垂直的截面中所包括的所述候选病变的区域；以及
基于所述候选病变的区域来设置眼底的断层图像的获取位置。
14.一种眼科诊断支持方法，包括：
获取眼底图像；
通过分析所述眼底图像来检测眼底上的候选病变；
基于所述候选病变的检测结果来计算所述候选病变的数量的分布；以及
基于所述候选病变的数量的分布来设置眼底的断层图像的获取位置。
15.一种程序，用于使计算机用作根据权利要求1至11中任一项所述的眼科诊断支持设备。
16.一种计算机可读介质，其存储有根据权利要求15所述的程序。
CN201280038089.XA 2011-08-01 2012-07-25 眼科诊断支持设备和眼科诊断支持方法 Expired - Fee Related CN103717122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011168603A JP6025311B2 (ja) 2011-08-01 2011-08-01 眼科診断支援装置および方法
JP2011-168603 2011-08-01
PCT/JP2012/069524 WO2013018814A1 (en) 2011-08-01 2012-07-25 Ophthalmic diagnosis support apparatus and ophthalmic diagnosis support method

Publications (2)

Publication Number Publication Date
CN103717122A true CN103717122A (zh) 2014-04-09
CN103717122B CN103717122B (zh) 2017-06-13

Family

ID=46682871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280038089.XA Expired - Fee Related CN103717122B (zh) 2011-08-01 2012-07-25 眼科诊断支持设备和眼科诊断支持方法

Country Status (5)

Country Link
US (3) US9848769B2 (zh)
EP (1) EP2739200A1 (zh)
JP (1) JP6025311B2 (zh)
CN (1) CN103717122B (zh)
WO (1) WO2013018814A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN109636796A (zh) * 2018-12-19 2019-04-16 中山大学中山眼科中心 一种人工智能眼部图片分析方法、服务器和***
CN111212594A (zh) * 2017-10-31 2020-05-29 三星电子株式会社 电子设备和利用电子设备确定结膜充血程度的方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
JP5297541B2 (ja) * 2012-01-26 2013-09-25 キヤノン株式会社 眼科装置、眼科装置の制御方法、およびプログラム
JP6101048B2 (ja) 2012-02-20 2017-03-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP6114495B2 (ja) 2012-02-20 2017-04-12 キヤノン株式会社 画像表示装置及び画像表示方法、撮影システム
JP5947561B2 (ja) 2012-02-20 2016-07-06 キヤノン株式会社 画像形成装置及び画像形成方法
JP6084315B2 (ja) * 2012-02-28 2017-02-22 株式会社トプコン 眼底観察装置
JP6105852B2 (ja) * 2012-04-04 2017-03-29 キヤノン株式会社 画像処理装置及びその方法、プログラム
KR101421654B1 (ko) * 2012-11-13 2014-07-22 주식회사 루트로닉 안과용 치료장치 및 이의 제어방법
JP6092659B2 (ja) 2013-02-28 2017-03-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP6200168B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP6198410B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
WO2016004508A1 (en) * 2014-07-09 2016-01-14 Nova Coast Medical Ltd. Retinal thickness
JP6470604B2 (ja) 2015-03-25 2019-02-13 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
US9984459B2 (en) 2015-04-15 2018-05-29 Kabushiki Kaisha Topcon OCT angiography calculation with optimized signal processing
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6632267B2 (ja) * 2015-09-04 2020-01-22 キヤノン株式会社 眼科装置、表示制御方法およびプログラム
JP6748434B2 (ja) * 2016-01-18 2020-09-02 キヤノン株式会社 画像処理装置、推定方法、システム及びプログラム
US9978140B2 (en) * 2016-04-26 2018-05-22 Optos Plc Retinal image processing
JP7126818B2 (ja) * 2017-11-24 2022-08-29 株式会社トプコン 眼科情報処理装置、眼科システム、眼科情報処理装置の作動方法、及びプログラム
JP6942627B2 (ja) * 2017-12-28 2021-09-29 株式会社トプコン 眼科撮影装置、その制御方法、プログラム、及び記録媒体
JP6954831B2 (ja) * 2017-12-28 2021-10-27 株式会社トプコン 眼科撮影装置、その制御方法、プログラム、及び記録媒体
US10719932B2 (en) * 2018-03-01 2020-07-21 Carl Zeiss Meditec, Inc. Identifying suspicious areas in ophthalmic data
US10973406B2 (en) 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
DK3671536T3 (da) * 2018-12-20 2024-06-17 Optos Plc Påvisning af patologier i øjenbilleder

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187462A1 (en) * 2005-01-21 2006-08-24 Vivek Srinivasan Methods and apparatus for optical coherence tomography scanning
CN1939208A (zh) * 2005-09-29 2007-04-04 株式会社拓普康 眼底观察装置、眼底图像显示装置及存储眼底观察程序的存储媒体
US20080068560A1 (en) * 2004-12-02 2008-03-20 Knighton Robert W Enhanced optical coherence tomography for anatomical mapping
WO2009011088A1 (ja) * 2007-07-19 2009-01-22 Kabushiki Kaisha Topcon 角膜観察装置
US20100208204A1 (en) * 2008-07-31 2010-08-19 Canon Kabushiki Kaisha Eye portion diagnosis support apparatus, method therefor, program, and recording medium
US20110007957A1 (en) * 2009-07-09 2011-01-13 Canon Kabushiki Kaisha Imaging apparatus and control method therefor
US20110051088A1 (en) * 2008-05-19 2011-03-03 Kabushiki Kaisha Topcon Fundus oculi observing device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2793189T3 (en) * 2001-10-03 2017-02-06 Retinalyze As Assessment of lesions in an image
EP3167935B1 (en) 2003-05-01 2018-07-18 Cornell Research Foundation, Inc. Method and carrier complexes for delivering molecules to cells
JP4501007B2 (ja) * 2004-08-26 2010-07-14 国立大学法人名古屋大学 光干渉断層装置
JP5007114B2 (ja) * 2006-12-22 2012-08-22 株式会社トプコン 眼底観察装置、眼底画像表示装置及びプログラム
WO2008157406A1 (en) * 2007-06-15 2008-12-24 University Of Southern California Pattern analysis of retinal maps for diagnosis of optic nerve diseases by optical coherence tomography
JP5101975B2 (ja) * 2007-10-04 2012-12-19 株式会社トプコン 眼底観察装置及び眼底画像処理装置
US8348429B2 (en) * 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
JP4810562B2 (ja) * 2008-10-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法
JP4909378B2 (ja) 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
US8332016B2 (en) * 2009-08-04 2012-12-11 Carl Zeiss Meditec, Inc. Non-linear projections of 3-D medical imaging data
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP5704879B2 (ja) * 2009-09-30 2015-04-22 株式会社ニデック 眼底観察装置
JP5582772B2 (ja) 2009-12-08 2014-09-03 キヤノン株式会社 画像処理装置及び画像処理方法
US8948474B2 (en) * 2010-01-25 2015-02-03 Amcad Biomed Corporation Quantification method of the feature of a tumor and an imaging method of the same
JP5733962B2 (ja) * 2010-02-17 2015-06-10 キヤノン株式会社 眼科装置、眼科装置の制御方法、及びプログラム
JP5702991B2 (ja) 2010-11-19 2015-04-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP5904711B2 (ja) 2011-02-01 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20130109838A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 병변 진단 지원 장치와 방법
JP6198410B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法
JP6092659B2 (ja) 2013-02-28 2017-03-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP6200168B2 (ja) 2013-02-28 2017-09-20 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068560A1 (en) * 2004-12-02 2008-03-20 Knighton Robert W Enhanced optical coherence tomography for anatomical mapping
US20060187462A1 (en) * 2005-01-21 2006-08-24 Vivek Srinivasan Methods and apparatus for optical coherence tomography scanning
CN1939208A (zh) * 2005-09-29 2007-04-04 株式会社拓普康 眼底观察装置、眼底图像显示装置及存储眼底观察程序的存储媒体
WO2009011088A1 (ja) * 2007-07-19 2009-01-22 Kabushiki Kaisha Topcon 角膜観察装置
US20110051088A1 (en) * 2008-05-19 2011-03-03 Kabushiki Kaisha Topcon Fundus oculi observing device
US20100208204A1 (en) * 2008-07-31 2010-08-19 Canon Kabushiki Kaisha Eye portion diagnosis support apparatus, method therefor, program, and recording medium
US20110007957A1 (en) * 2009-07-09 2011-01-13 Canon Kabushiki Kaisha Imaging apparatus and control method therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111212594A (zh) * 2017-10-31 2020-05-29 三星电子株式会社 电子设备和利用电子设备确定结膜充血程度的方法
CN111212594B (zh) * 2017-10-31 2023-09-12 三星电子株式会社 电子设备和利用电子设备确定结膜充血程度的方法
CN108537282A (zh) * 2018-04-13 2018-09-14 东北大学 一种使用超轻量级SqueezeNet网络的糖尿病视网膜病变分级方法
CN109636796A (zh) * 2018-12-19 2019-04-16 中山大学中山眼科中心 一种人工智能眼部图片分析方法、服务器和***

Also Published As

Publication number Publication date
US9848769B2 (en) 2017-12-26
EP2739200A1 (en) 2014-06-11
US20180070815A1 (en) 2018-03-15
WO2013018814A1 (en) 2013-02-07
US20200000333A1 (en) 2020-01-02
JP2013031527A (ja) 2013-02-14
JP6025311B2 (ja) 2016-11-16
US10441163B2 (en) 2019-10-15
US20140085606A1 (en) 2014-03-27
CN103717122B (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN103717122A (zh) 眼科诊断支持设备和眼科诊断支持方法
US10349826B2 (en) Image processing apparatus, image processing method, and storage medium
KR101373935B1 (ko) 안과 장치, 안과 장치의 제어 방법 및 컴퓨터 판독가능 저장 매체
KR101267755B1 (ko) 화상 처리 장치, 화상 처리 방법, 단층상 촬상 장치 및 프로그램 기억 매체
US8699774B2 (en) Image processing apparatus, control method thereof, and program
Perez-Rovira et al. VAMPIRE: Vessel assessment and measurement platform for images of the REtina
JP5955163B2 (ja) 画像処理装置および画像処理方法
US20110137157A1 (en) Image processing apparatus and image processing method
JP5924955B2 (ja) 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
JP2014128367A (ja) 画像処理装置
JP2016152962A (ja) 画像処理装置、画像処理装置の制御方法、眼科装置、眼科装置の制御方法、画像処理プログラムおよび撮影制御プログラム
JP6147001B2 (ja) 画像処理装置および画像処理方法
JP5871890B2 (ja) 眼科装置、層厚比較方法およびプログラム
JP5017491B2 (ja) 眼科装置
JP2017119226A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6576035B2 (ja) 眼科装置、視細胞検出方法およびプログラム
JP2020028786A (ja) 情報処理装置、情報処理方法およびプログラム
JP2018202237A (ja) 画像処理装置およびその制御方法
JP2017023482A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170613