CN111212594B - 电子设备和利用电子设备确定结膜充血程度的方法 - Google Patents
电子设备和利用电子设备确定结膜充血程度的方法 Download PDFInfo
- Publication number
- CN111212594B CN111212594B CN201880066273.2A CN201880066273A CN111212594B CN 111212594 B CN111212594 B CN 111212594B CN 201880066273 A CN201880066273 A CN 201880066273A CN 111212594 B CN111212594 B CN 111212594B
- Authority
- CN
- China
- Prior art keywords
- image
- processor
- electronic device
- congestion
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
公开了电子设备和使用该电子设备确定结膜充血程度的方法。电子设备包括相机和处理器,处理器配置成:获取由相机捕获的、包括眼睛的图像,识别图像中所包括的一条或多条血管,并且基于所识别的一条或多条血管的尺寸来确定结膜充血程度。
Description
技术领域
本公开涉及电子设备和通过使用该电子设备来确定结膜充血程度的方法。更具体地,本公开涉及用于确定包括眼睛的图像中的结膜的充血程度的电子设备以及用于通过使用该电子设备来确定结膜充血程度的方法。
背景技术
结膜充血是指分布在结膜上方的毛细血管因炎症或刺激而看起来扩张。充血可能由细菌、病毒感染和诸如与结膜接触的细尘、花粉等之类的多种原因而造成。
当充血严重时,可能出现使视力恶化并伴有疼痛的问题。因此,有必要定期检查是否发生结膜充血,并且在发生充血的情况下,有必要通过去医院来获得医学治疗。
然而,在现有技术的充血程度测量装置的情况下,通常基于捕获眼睛的图像中的红色像素值所占据的比率来计算充血。然而,当基于红色像素值计算充血程度时,如果充血不严重,则可能存在不能准确确定是否发生充血的问题。在现有技术的充血程度测量装置的情况下,仅基于眼睛的总面积来计算充血程度,因此,存在这样的问题,即可能不会提供眼睛的各部分的充血程度。
对于现有技术的充血程度测量装置,根据捕获眼睛的图像分析充血程度并且仅将其结果值提供给用户,因此,存在用户可能不信任结果值的问题。
发明内容
技术问题
本公开提供了能够确定眼睛的每一部分的充血程度、确定微血管的充血程度、并且使用户能够信任分析充血程度的结果值的电子设备,以及使用该电子设备来确定结膜充血程度的方法。
技术方案
根据实施方式的电子设备可以包括相机和处理器,处理器配置成:获得(或获取)由所述相机捕获的、包括眼睛的图像,识别(或提取)所述图像中所包括的一条或多条血管,并且基于所识别的一条或多条血管的尺寸来确定结膜充血程度。
处理器配置成:基于所述图像中所包括的多条血管的交叉点将所述多条血管划分成多个节段,并且基于所述多个节段的尺寸确定结膜充血程度,所述多个节段可以是所述交叉点和每条血管相对于所述交叉点的端点之间的血管以及所述交叉点和另一交叉点之间的血管中的至少一个。
处理器配置成:计算所述图像的Hessian矩阵,将所述Hessian矩阵应用于所述图像,通过对应用了所述Hessian矩阵的所述图像进行二值化来识别所述多条血管,通过将所述多条血管的厚度转换为预定单位厚度来确定所述交叉点,以及根据所述二值化图像计算所述多个节段中的每一个的尺寸。
处理器配置成:以预定单元面积获取所述图像中的巩膜图像,基于包括在所述巩膜图像中的所述多条血管的交叉点来计算所述多个节段的尺寸,并且通过比较计算出的所述多个节段的尺寸与所述预定单元面积的总和来确定结膜充血程度。
处理器配置成:确定所述多个节段在所述图像中的位置,并且基于所述多个节段存在的位置,来确定根据眼睛的各部分而定的结膜充血程度。
处理器配置成:通过确定所述多个节段的厚度,获取所述多个节段中具有大于或等于预定厚度的厚度的至少一个节段,以及计算所获取的至少一个节段的尺寸,来确定结膜充血程度;或者通过确定多个节段的厚度、获取所述多个节段中的具有小于预定厚度的厚度的至少一个节段来确定结膜充血程度,并计算所获取的至少一个节段的尺寸。
处理器配置成:基于图像中包括反射光,确定图像的整个区域中除了包括反射光的区域之外的其余区域,并且基于其余区域中所包括的一条或多条血管的尺寸来确定结膜充血程度。
处理器配置成:通过确定除了从所述图像检测到的一条或多条血管之外的其余区域并且进一步考虑所述其余区域的颜色和形状中的至少一者来确定所述结膜充血程度。
处理器配置成:依次提供由所述相机捕获的图像、包括基于所述交叉点划分成多个节段的多条血管的图像、以及所确定的结膜充血程度的图像。
由相机捕获的图像可以包括用户的左眼和右眼,并且处理器配置成:基于左眼和右眼之间的距离小于预定距离来提供引导信息,该引导信息使得用户被定位在相机附近;并且基于图像中所包括的左眼和右眼之间的距离是预定距离,确定结膜充血程度。
电子设备还可以包括照度传感器,并且处理器配置成:基于由所述照度传感器感测到的照度值小于预定照度值,提供引导信息以引导对所述照度值进行调整,或者基于所述照度值大于或等于预定照度值,确定所述图像中所包括的眼睛的结膜充血程度。
处理器配置成:基于所述电子设备的状态信息、用户信息以及所述结膜充血程度中的至少一个来提供所述结膜充血程度的原因以及用于克服所述结膜充血程度的引导信息中的至少一个,所述电子设备的所述状态信息可以是所述电子设备与用户之间的距离、所述电子设备的倾斜度、电子设备的环境照度和使用电子设备的时间中的至少一个,并且用户信息可以基于存储在电子设备中的照片应用和日程应用中的至少一个来生成。
电子设备还可以包括存储装置,并且所述处理器配置成:基于存储在所述存储装置中的关于所述结膜充血程度的信息来确定预定时间单位中的结膜充血程度的变化,并且基于所述结膜充血程度的变化大于或等于预定变化量,提供用于管理所述结膜充血程度的引导信息。
处理器配置成:基于正在执行虹膜认证应用,通过相机捕获包括眼睛的图像,并根据所捕获的图像确定结膜充血程度。
处理器可以提供引导瞳孔的位置移动到预定位置的引导信息,并且基于瞳孔移动到预定位置,确定包括眼睛的图像中的结膜的充血程度。
当电子设备在基于瞳孔的移动来解锁锁定屏幕的解锁模式下操作时,处理器可以基于由相机捕获的包括眼睛的图像,根据图像确定结膜充血程度。
电子设备还包括存储装置,并且处理器可以基于用户标识信息来识别与眼睛相对应的用户,将所确定的充血程度与所识别的用户相匹配,并且将其存储在存储装置中。
处理器可以基于存储在存储装置中的信息计算用户的结膜充血程度的平均值。
处理器可以将计算出的充血程度的平均值与每个日期匹配并且在日历应用执行屏幕上提供计算出的充血程度的平均值。
处理器可以基于存储在存储装置中的信息根据预定时间以图表提供结膜充血程度。
电子设备还可以包括与服务器通信的通信器,并且所述处理器可以从所述服务器接收关于多个用户的充血程度的信息,基于所述多个用户的充血程度的信息来确定所确定的结膜充血程度的排名,并且提供关于所述排名的信息。
处理器可基于用户标识信息来识别对应于眼睛的用户,从服务器接收关于多个用户中的每一者的年龄和职业中的至少一者的信息,基于年龄和职业中的至少一者将多个用户分成多个组,确定多个组中的所识别的用户所属的群组,且提供基于属于所确定的组的多个用户的结膜充血程度确定的排名信息。
根据实施方式,用于确定结膜充血程度的方法可以包括:获得由相机捕获的包括眼睛的图像,识别图像中所包括的一条或多条血管,以及基于所识别的一条或多条血管的尺寸来确定结膜充血程度。
确定充血程度的步骤可以包括:基于图像中包括的多条血管的交叉点将多条血管分成多个节段,并且基于多个节段的尺寸确定结膜充血程度,并且多个节段可以是每条血管相对于交叉点的端点之间的血管和交叉点与另一交叉点之间的血管中的至少一个。
识别血管可以包括:计算图像的Hessian矩阵,将Hessian矩阵应用于图像,并且通过对应用了Hessian矩阵的图像进行二值化来识别血管,并且确定交叉点可以包括:通过将多条血管的厚度转换为预定单位厚度来确定交叉点,并且确定充血程度可以包括:根据二值化图像计算多个节段中的每一个的尺寸。
确定结膜充血程度可以包括:以预定单元面积在图像中获取巩膜图像,基于巩膜图像中所包括的多条血管的交叉点来计算多个节段的尺寸,以及通过比较计算出的多个节段的尺寸的总和与预定单元面积来确定结膜充血程度。
确定结膜充血程度可以包括:确定图像中的多个节段的位置以及基于多个节段存在的位置来确定根据眼睛的各部分而定的充血程度。
确定结膜充血程度可以包括:通过确定所述多个节段的厚度、获取所述多个节段中的具有大于或等于预定厚度的厚度的至少一个节段、以及计算所获取的至少一个节段的尺寸,来确定结膜充血程度;或者通过确定多个节段的厚度、获取所述多个节段中的具有小于预定厚度的厚度的至少一个节段、并计算所获取的至少一个节段的尺寸,来确定结膜充血程度。
确定结膜充血程度可以包括:基于图像中包括反射光,确定图像的整个区域中除了包括反射光的区域之外的其余区域,以及通过计算其余区域中所包括的一条或多条血管的尺寸来确定结膜充血程度。
确定结膜充血程度可以包括:通过确定图像中除了检测到的一条或多条血管之外的其余区域并且进一步考虑其余区域的颜色和形状中的至少一个来确定充血程度。
该方法还可以包括:依次提供由相机捕获的图像,包括基于交叉点被分成多个节段的多条血管的图像,以及所确定的充血程度的图像。
由相机捕获的眼睛图像可以包括用户的左眼和右眼,并且确定结膜充血程度可以包括:基于左眼和右眼之间的距离小于预定距离,提供引导信息,该引导信息使得用户定位在相机附近,并且基于眼睛图像中所包括的左眼和右眼之间的距离是预定距离,确定充血程度。
确定结膜充血程度可以包括:基于由照度传感器感测到的照度值小于或等于预定照度值,提供引导信息以引导对照度值进行调整;并且基于照度值大于或等于预定照度值,确定图像中所包括的结膜的充血程度。
该方法还可以包括:基于电子设备的状态信息、用户信息和充血程度中的至少一个,提供充血程度的原因和用于克服充血程度的引导信息中的至少一个,电子设备的状态信息可以是电子设备和用户之间的距离、电子设备的倾斜度中的至少一个、电子设备的环境照度和使用电子设备的时间中的至少一个,并且用户信息可以基于存储在电子设备中的照片应用和日程应用来生成。
该方法还可以包括:存储所确定的充血程度,基于存储在存储装置中的关于充血程度的信息,以预定时间单位确定充血程度的变化,并且基于充血程度的变化大于或等于预定变化量,提供用于管理充血程度的引导信息。
确定结膜充血程度可以包括:基于正在执行虹膜认证应用,通过相机捕获包括眼睛的图像,并根据所捕获的图像确定结膜充血程度。
确定结膜充血程度可以包括:提供引导信息以引导将瞳孔的位置移动到预定位置,并且基于瞳孔移动到预定位置,根据包括眼睛的图像确定结膜充血程度。
当电子设备在基于瞳孔的移动来解锁锁定屏幕的解锁模式下操作时,处理器可以基于由相机捕获的包括眼睛的图像,响应于包括在眼睛中的瞳孔移动到预定位置,根据图像确定结膜充血程度。
该方法还可以包括:基于用户标识信息来识别对应于眼睛的用户,将所确定的充血程度与所识别的用户进行匹配,并将其存储在存储装置中。
该方法还可以包括:基于存储在存储装置中的信息,根据用户设定的预定时间来计算结膜充血程度的平均值。
该方法还可以包括:将所计算的充血程度的平均值与日历应用的执行屏幕的每个日期相匹配,并提供该平均值。
该方法还可以包括:根据预定时间以图表提供结膜充血程度的平均值。
该方法还可以包括:从服务器接收关于多个用户的充血程度的信息,基于关于所述多个用户的充血程度的信息来确定所确定的结膜充血程度的排名,以及提供关于所述排名的信息。
该方法还可以包括:基于用户标识信息识别对应于眼睛的用户,从服务器接收关于多个用户中的每一个的年龄和职业中的至少一个的信息,基于年龄和职业中的至少一个将多个用户分成多个组,确定多个组中、所识别的用户所属的组,以及基于属于所确定的组的多个用户的结膜充血程度的信息提供关于所确定的排名的信息。
公开的效果
根据各种实施方式,提供了这样的电子设备以及使用该电子设备来确定结膜充血程度的方法,该电子设备能够通过基于图像中包括的多个节段的尺寸确定充血程度,来确定眼睛的每个区域的充血程度并确定细血管的充血程度。
根据实施方式,可以通过确定除血管之外的区域的颜色和形状来提供可以分析充血原因并且可以分析人体的相关器官的疾病的电子设备。通过依次显示确定充血程度的过程,用户可以信任由电子设备确定的充血程度。
附图说明
图1是示出根据实施方式的电子设备的框图;
图2是示出根据实施方式的用于确定充血程度的方法的图;
图3是示出根据实施方式的二值化巩膜的血管的图像的图;
图4是示出根据实施方式的将多条血管分成多个节段的方法的图;
图5是示出根据实施方式的用于计算多个节段中的每一个的尺寸的方法的图;
图6是示出根据实施方式的用于通过眼睛的各部分来确定充血程度的方法的图;
图7a是示出根据实施方式的基于血管的厚度来确定结膜充血程度的方法的图;
图7b是示出根据实施方式的基于血管的厚度来确定结膜充血程度的方法的图;
图8是示出根据实施方式的当巩膜图像中包括反射光时用于去除反射光并确定结膜充血程度的方法的图;
图9是示出根据实施方式的给出关于确定结膜充血程度的过程的视觉反馈的实施方式的图;
图10是示出根据实施方式的提供结膜充血原因和用于克服充血的引导信息的实施方式的图;
图11是示出根据实施方式的显示根据眼睛的各部分而定的充血程度的实施方式的图;
图12a是示出根据实施方式的分别获取眼睛虹膜周围的区域和除了虹膜周围的区域之外的区域并且确定每个区域中的充血程度的实施方式的图;
图12b是示出根据实施方式的分别获取眼睛虹膜周围的区域和除了虹膜周围的区域之外的区域并且确定每个区域中的充血程度的实施方式的图;
图12c是示出根据实施方式的分别获取眼睛虹膜周围的区域和除了虹膜周围的区域之外的区域并确定每个区域中的充血程度的实施方式的图;
图13是示出根据实施方式的提供引导信息以引导精确测量结膜充血程度的实施方式的图;
图14是示出根据实施方式的通过虹膜认证在解锁锁定屏幕时确定充血程度的实施方式的图;
图15是示出根据实施方式的在解锁锁定屏幕时确定结膜充血程度的实施方式的图;
图16是示出根据实施方式的提供充血程度图的实施方式的图;
图17是示出根据实施方式在日历应用执行屏幕中显示结膜充血程度的实施方式的图;
图18是示出根据实施方式的以预定时间单位提供充血程度变化的实施方式的图;
图19是示出根据实施方式的基于充血程度提供与疲劳水平相关的信息的实施方式的视图;
图20是示出根据实施方式的显示用户的充血程度的排名的实施方式的图;
图21是示出根据实施方式的用于通过电子设备确定结膜充血程度的方法的流程图;以及
图22是示出根据实施方式的用于通过电子设备确定结膜充血程度的方法的流程图。
具体实施方式
在本公开和权利要求书中使用的术语是考虑本公开的各种示例性实施方式的功能而确定的一般术语。然而,这些术语可以根据本领域技术人员的意图、技术解释、新技术的出现等而变化。
此外,可以有一些由申请人任意确定的术语。除非存在术语的具体定义,否则该术语可以基于全部内容和相关领域的技术人员的技术常识来解释。
当确定对与本公开相关的已知技术的详细描述可能不必要地模糊本公开的要点时,将省略详细描述。
将参考附图和附图的描述详细描述实施方式,但是本公开不受所述实施方式的限制。
图1是示出根据实施方式的电子设备的框图。
参照图1,电子设备100可以包括相机110和处理器120。电子设备100可以实现为包括相机的电子设备。作为示例,电子设备100可以实现为智能电话。实施方式不限于此,电子设备100可以实现为各种电子设备,诸如平板电脑、数码相机、可携式摄像机、个人数字助理(PDA)等。
相机110可以拍摄各种对象。相机110可以捕获用户的眼睛。相机110能够捕获包括前段和巩膜的用户的眼睛。
前段指的是眼睛的前部。具体地,前段是眼睛的前段,并且可以包括角膜、眼睛的黑色部分、结膜、巩膜和晶状体。
巩膜是几乎覆盖眼睛的每一部分的白色外膜,并且可意味着眼睛的白色部分。巩膜可以包括多条血管。
相机110可以实现为捕获设备,诸如包括互补金属氧化物半导体(CMOS)结构、电荷耦合设备(CCD)结构等的捕获设备(CMOS图像传感器(CIS))。实施方式不限于此,并且相机110可以实现为能够捕获对象的各种分辨率的相机模块。
处理器120控制电子设备100的全部操作。例如,处理器120可以通过驱动操作***或应用来控制连接到处理器120的硬件或软件组件并执行数据处理和算法。处理器120可将从其它组件中的至少一者接收的命令或数据加载到易失性存储器并处理它们,并且可将各种数据存储在非易失性存储器中。
处理器120可以实现为用于执行相应操作的专用处理器(例如,嵌入式处理器),或者可以通过执行存储在存储器设备中的一个或多个软件程序来执行相应操作的通用处理器(例如,中央处理单元(CPU)或应用处理器)。
当通过相机110捕获用户的眼睛时,处理器120可以确定包括在所捕获的图像中的结膜的充血程度。
处理器120可以获取由相机110捕获的包括眼睛的图像,并且基于图像中所包括的多条血管的交叉点来确定结膜充血程度。
在下文中,将参考图2至图5描述处理器120的操作。
图2是示出根据实施方式的用于确定充血程度的方法的图。
当通过相机110捕获用户的眼睛时,处理器120可以生成包括用户的眼睛的图像210。除了眼睛之外,所捕获的图像210还可以包括鼻子、嘴巴等。
处理器120可以从所捕获的图像210获取前段图像220。前段是眼睛的前段,并且可以包括角膜、眼睛的黑色部分、结膜、巩膜和晶状体。
处理器120可以使用捕获的图像210中所包括的诸如眼睛、鼻子、嘴巴等的位置信息来获取前段图像220,或者可以通过在从捕获的图像210中所包括的面部获取边缘信息之后分析线的密度来获取前段图像。这仅仅是示例性的,并且可以将各种技术应用于由处理器120获取前段图像220的方法。在一个示例中,处理器120可以通过基于数据库的深度学习技术来获取前段图像。
处理器120可以从前段图像210获取巩膜图像230。巩膜是白色外膜,其覆盖眼睛的大部分并且意味着眼睛的白色部分。
具体地,处理器120可以通过分析前段图像210的像素值然后分离瞳孔、虹膜和巩膜来获取巩膜图像230,或者可通过分析虹膜的边缘然后分离巩膜来获取巩膜图像230。实施方式不限于此,并且处理器120可以通过应用各种技术来获取巩膜图像230。在一个示例中,处理器120可以使用圆形检测模块(未示出)来获取巩膜图像230,并且可以基于数据库经由深度学习技术来获取巩膜图像。
处理器120可以将巩膜图像230转换成预定单元面积。处理器120可以获取转换成预定单元面积的巩膜图像240。
这里,可以考虑一般用户的眼睛尺寸来设置预定单元面积。例如,预定单元面积可以是具有30mm宽度和30mm长度的正方形的面积。预定单元面积可以根据用户设置而改变,但不限于此。
电子设备100可以基于相同的区域来确定多个用户的充血程度。
处理器120可以从转换成预定单元面积的巩膜图像240获取多条血管。
处理器120可以对已经被转换成预定单元面积的巩膜图像240执行图像处理。具体地,处理器120可以通过对巩膜图像240应用对比度受限自适应直方图均衡(CLAHE)算法来调整巩膜图像240的白平衡和对比度。这里,CLAHE算法是指用于通过相对于图像的亮度平面直方图分布水平来增强图像的对比度的算法。因此,处理器120可以获得其中巩膜图像中的血管被锐化的图像(未示出)。
此后,处理器120可以计算其对比度被调整的巩膜图像的Hessian矩阵,并且基于该Hessian矩阵对该巩膜图像执行图像处理。因此,处理器120可以获取其中巩膜图像的血管部分突出的图像250。处理器120可以对通过应用Hessian矩阵使其血管部分突出的巩膜图像250进行二值化。具体地,处理器120可以将包括在巩膜图像250中的血管二值化为数字1,并且将其余部分二值化为数字0。因此,处理器120可以获取被分成多个血管区域和其它区域的图像,即,二值化的巩膜图像260。
例如,参考图3,处理器120可以获取包括血管区域261和其它区域262的二值化的巩膜图像260,其中血管区域261被二值化为数字1,而其它区域262被二值化为数字0。
处理器120可以从二值化的巩膜图像260获取多条血管。
处理器120可以将包括在二值化的巩膜图像260中的多条血管分成多个节段。这用于基于多个节段中的每一个的位置和尺寸来确定根据各部分而定的结膜充血程度以及整个眼睛的结膜充血。
多个节段中的每一个可以是从多条血管的交叉点起在多条血管中的每一条的各端点之间的血管。然而,它不必限于此,并且在一些情况下,节段可以是第一交叉点和第二交叉点之间的血管。此外,在不存在交叉血管的情况下,节段可以是血管本身。
处理器120可以将包括在二值化的巩膜图像260中的多条血管转换为预定单位厚度,以便将多条血管分成多个节段。在下文中,将参考图4进行描述。
图4是示出根据实施方式将多条血管分成多个节段的方法的图。
处理器120可以将包括在二值化的巩膜图像260中的多条血管转换为预定单位厚度。这里,预定单位厚度是用于确定多条血管的交叉点的厚度,并且可以被设置为0.01mm。预定厚度可以由用户不同地设定,但不限于此。
处理器120可以获得如图4所示的骨架图像270。为了便于描述,将其中将多条血管转换为预定单位厚度的图像称为骨架图像270。
处理器120可以确定骨架图像270中多条血管交叉的交叉点。
例如,参考图4,处理器120可以确定第一交叉点271-1并且确定第二交叉点271-2,在第一交叉点271-1中,第一血管(点272-1和点271-1之间的血管)和第二血管(点272-2和点272-4之间的血管)交叉;在第二交叉点271-2中,第二血管和第三血管(点272-3和点271-2之间的血管)交叉。处理器120可以通过上述方法确定其余的多条血管的交叉点。
处理器120可以确定骨架图像270中的多条血管中的每一条的端点。
例如,参考图4,处理器120可以确定第一血管的端点272-1和271-1、第二血管的端点272-2和272-4、以及第三血管的端点272-3和271-2。处理器120可以通过上述方法为其余的多条血管确定每条血管的端点。
处理器120可以在骨架图像270中将多条血管划分为多个节段。
例如,参考图4,处理器120可以确定从第一血管的端点272-1到第一和第二血管的交叉点271-1的血管作为第一节段273-1,确定从端点272-2到第一和第二血管的交叉点271-1的血管作为第二节段273-2,确定从第三血管的端点272-3到第二和第三血管之间的交叉点271-2的血管作为第三节段273-3,以及确定从第二血管的端点272-4到第二和第三血管的交叉点271-2的血管作为第四节段273-4。
处理器120可以将从第一交叉点271-1到第二交叉点271-2的血管确定为第五节段273-5,并且可以将没有交叉点的血管确定为第六节段273-6。
处理器120可以计算多个节段中的每一个的尺寸。具体地,处理器120可以基于交叉点来计算二值化图像260中的多条血管的交叉点与多条血管中的每一条的端点之间的尺寸。
为此,处理器120可以使用其中骨架图像270与二值化的巩膜图像260重叠的图像280。这将参考图5进行描述。
图5是示出根据实施方式的用于计算多个节段中的每一个的尺寸的方法的图。
处理器120可以将骨架图像270与二值化的巩膜图像260重叠。因此,处理器120可以计算二值化的巩膜图像260中的多个节段的每一个的尺寸。在下文中,为了便于描述,其中骨架图像270与二值化的巩膜图像260重叠的重叠图像将被称为重叠图像280。
处理器120可以将重叠图像280中的多条血管分成多个节段。处理器120可以基于在骨架图像270中确定的多个节段中的每一个,将重叠图像280中的多条血管划分成多个节段。
更具体地,处理器120可以将骨架图像270划分成多个区域,以确定多个节段中的每一个在骨架图像270的整个区域中所处的区域。处理器120可根据将骨架图像270划分成多个区域的基准相同的基准将重叠图像280划分成多个区域,并将重叠图像280的每个区域与多个节段中的每一个在骨架图像270中所处的区域进行比较,以确定多个节段中的每一个在重叠图像280的整个区域中所处的区域。
例如,参考图5,处理器120可以基于在骨架图像270中确定的多个节段的每一个的位置来确定第一节段281-1至第五节段281-5中的每一个。
因此,处理器120可以计算重叠图像280中的多个节段中的每一个的尺寸。例如,在计算第一节段281-1的尺寸时,处理器120可以在第一节段281-1中生成相对于第一节段281-1中所包括的具有预定厚度的血管正交的多条虚拟线,并且将所生成的多条线的尺寸相加以计算第一节段281-1的尺寸。
然而,这仅仅是示例性的,并且处理器120可以通过将第一节段281-1划分成多个三角形和正方形来计算每个空间,或者使用点计数来计算相应的空间。也就是说,可以将各种技术应用于计算多个节段中每一个的尺寸的方法。除了第一节段281-1之外,对于包括在重叠图像280中的其余节段中的每一个,处理器120也可以通过上述方法计算尺寸。
处理器120可以基于多个节段的尺寸来确定包括在所捕获的图像中的结膜的充血程度。
处理器120可以将具有预定单元面积的巩膜图像230的面积与多个节段的尺寸进行比较,以确定充血程度。更具体地,处理器120可以将在重叠图像280中确定的多个节段的每一个的尺寸的总和与具有预定单元面积的巩膜图像230的面积进行比较,以确定眼睛的总充血程度。
例如,如果具有预定单元面积的巩膜图像230的面积是900mm2,并且多个节段的每一个的尺寸之和是600mm2,则处理器120可以通过(600÷900)×100的运算计算出眼睛的总充血程度为66.67%。
在上述实施方式中,已经描述了结膜充血程度是通过将预定单元面积中的巩膜图像230的面积和多个节段中的每一个的尺寸之和进行比较来确定的,但是该实施方式不必限于此。
例如,处理器120可以通过将巩膜图像230的整个区域与多个节段中的每一个的尺寸之和进行比较来确定结膜充血程度。
在确定巩膜图像230的整个区域中的充血程度的方法中,可以应用与确定预定单元面积中的巩膜图像240中的充血程度的方法相同的技术构思。
处理器120可以对巩膜图像230本身执行图像处理,并获得包括在巩膜图像230中的多条血管。处理器120可以基于多条血管的交叉点来计算多个节段的尺寸,并且将所计算的多个节段中的每一个的尺寸的总和与巩膜图像230的总面积进行比较,以确定结膜充血程度。
处理器120可以通过眼睛的各部分来确定充血程度。这将参考图6进行描述。
图6是示出根据实施方式的用于通过眼睛的各部分来确定充血程度的方法的图。
如上所述,处理器120可以将骨架图像270划分成多个区域,并且可以确定在骨架图像270的整个区域中存在多个节段中的每一个的区域。
处理器120可以将骨架图像270划分成多个区域,并且定位包括在骨架图像270中的多个节段的每一个,以确定多个节段的每一个所处的区域。
例如,参考图6,如果处理器120将水平和垂直区域划分成多个预定区域,则处理器120可以确定第一节段273-1存在于(1,3)坐标区域中,确定第二节段273-2存在于(1,3)坐标区域中,第三节段273-3存在于(2,4)和(2,3)坐标区域中,并且第四节段273-4存在于(2,4)和(3,4)坐标区域中。处理器120可以按照与上述方法相同的方法,为包括在骨架图像270中的其余多个节段中的每一个确定其中存在每个节段的区域。
上述方法仅仅是示例性的,并且处理器120可以通过各种方法,例如使用多个节段中的每一个的相对位置,来确定存在多个节段中的每一个的区域。
处理器120可以基于多个节段中的每一个所处的位置来确定根据眼睛的各部分而定的充血程度。例如,处理器120可以确定充血仅部分地发生在其中存在多个节段中的每一个的区域中。
处理器120可以通过进一步考虑在重叠图像中计算的每个节段的尺寸来确定根据眼睛的各部分而定的充血程度。
当确定第五节段273-5的尺寸大于第一至第四节段273-1至273-4的尺寸时,处理器120可以确定第五节段273-5所处的区域的充血程度高于第一至第四节段273-1至273-4所处的区域的充血程度。
处理器120可以基于血管的厚度来确定结膜充血程度。这将在下面参考图7a到7b进行描述。
图7a和7b是示出根据实施方式的基于血管的厚度来确定结膜充血程度的方法的图。
如上所述,处理器120可以计算重叠图像280中的每个节段的尺寸。
处理器120可以确定包括在重叠图像280中的多个节段中的小于预定厚度的至少一个节段。预定厚度可以设定为0.05mm,但不必限于此。
例如,参考图7a,处理器120可以确定由小于预定厚度的节段构成的血管282-1、282-2、282-3。这里,具有小于预定厚度的厚度的血管可以是微血管。
根据实施方式的电子设备100可以基于微血管来确定结膜充血程度。
处理器120可以确定包括在重叠图像280中的多个节段之中的具有预定厚度或更高厚度的至少一个节段。预定厚度可以设定为0.05mm,但不必限于此。
例如,参考图7b,处理器120可以确定由预定厚度或更大厚度构成的血管283-1和283-2。因此,处理器120可以基于除了微血管之外的其余血管来确定结膜充血程度。
在捕获眼睛的过程中,由于光的反射等,在巩膜图像240中可能包括反射光。在这种情况下,处理器120可以基于巩膜图像240的整个区域之中、除了包括反射光的区域之外的其余巩膜区域来确定结膜充血程度。在下文中,将参考图8进行描述。
图8是示出根据实施方式的在巩膜图像中包括反射光时用于去除反射光并确定结膜充血程度的方法的图。
参照图8,反射光241可以包括在巩膜图像240'中。包括反射光241的区域可以是在捕获眼睛的过程中由光的反射产生的区域。
处理器120可以从巩膜图像240'去除反射光241。
为此目的,处理器120可以首先确定在巩膜图像240'中是否包括反射光241。具体地,如果在通过CLAHE算法等调整了对比度的图像250中存在具有大于或等于预定亮度的对比度的区域,则处理器120可以将该区域确定为包括反射光的区域。
处理器120可以从巩膜图像的整个区域中排除包括反射光的区域。
处理器120可以根据其中对比度已被调节的图像250确定包括反射光的区域,并且可以从巩膜图像240'去除反射光241。
如上述的方法那样,处理器120可以计算从巩膜图像240'中排除反射光241的区域中的每个节段的尺寸,并确定结膜充血程度。
根据实施方式的电子设备100可以具有即使在所捕获的图像中包括反射光也能够精确地测量结膜充血程度的效果。
处理器120可以确定二值化图像中除了血管之外的其余区域。也就是说,处理器120可以确定二值化图像中除了血管区域之外的非血管区域。具体而言,处理器120可以将二值化图像260中的二值化为数字0的部分确定为非血管区域。
处理器120可以确定被执行图像处理之前的图像(即,已经被转换成单元面积的巩膜图像240)中的非血管区域的颜色和形状中的至少一种。处理器120可以通过确定除血管之外的其余区域的像素值来确定非血管区域的颜色,并且可以通过确定除血管之外的其余区域的形状来确定非血管区域的形状。
处理器120可以基于非血管区域来确定充血程度。具体地,处理器120可以确定非血管区域中的红色像素值的比率,并基于此确定非血管区域的充血程度。因此,处理器120可以确定结膜的发红现象,该发红现象是典型的变应性症状。处理器120可以确定非血管区域的颜色变化,以确定在人体的相关器官中是否存在疾病,例如贫血、黄疸等。
处理器120可以基于非血管区域的形状来确定血管厚度的变化。处理器120可以确定与血管厚度的变化相关的血管疾病。
处理器120可以可视地将确定结膜充血程度的过程反馈给用户。
图9是示出根据实施方式的给出关于确定结膜充血程度的过程的视觉反馈的实施方式的图。
根据实施方式的电子设备100可以视觉反馈用于确定结膜充血程度的过程。为此目的,根据实施方式的电子设备100还可以包括显示器(未示出)。
显示器(未示出)可以显示多种图像。显示器可以显示捕获用户的眼睛的图像、包括多条血管的图像以及结膜充血程度的图像,其中所述多条血管基于所述多条血管的交叉点被划分成多个节段。
显示器(未示出)可以实现为各种类型的显示器,例如液晶显示器(LCD)面板、有机发光二极管(OLED)、硅基液晶(LCoS)、数字光处理(DLP)等。在显示器中,可以包括背光单元、可以实现为诸如a-si薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)的类型的驱动电路、等等。
至于现有技术的电子设备,确定结膜充血程度,并且仅将其结果值提供给用户。在这种情况下,用户可能不接收关于如何计算充血程度的反馈,因此,用户可能不信任结果值。
相反,根据实施方式的电子设备100可以依次向用户反馈确定结膜充血程度的过程,使得用户可以信任结果值。
例如,参考图9,处理器120可以显示通过相机110捕获的图像910。
处理器120可以显示这样的图像920,该图像920是从所捕获的图像中提取出前段的图像。处理器120还可以显示正在分析充血程度的消息。
处理器120可以显示包括基于多条血管的交叉点被分成多个节段的多条血管的图像930。处理器120还可以显示所确定的关于结膜充血程度的信息。
用户可以接收由电子设备100获取捕获的图像中所包括多条血管的视觉反馈并且基于所获取的血管测量结膜充血程度,并且可以信任作为其结果值的结膜充血程度。
在图9中,已经描述了显示由相机捕获的图像910、提取前段所得的图像920、以及包括被分成多个节段的多条血管的图像930,但是这仅仅是示例性的。
例如,除了上述图像之外,处理器120还可以显示由相机捕获的图像、通过将CLAHE算法应用于所捕获的图像而获得的图像、二值化图像、通过获得二值化图像中的多条血管的交叉点和端点而获得的图像、用于计算多个节段中的每一个的血管的尺寸的图像、用于所确定的充血水平的图像中的全部,或者可省略它们的一些。
图10是示出根据实施方式的提供结膜充血原因和用于克服充血的引导信息的实施方式的图。
处理器120可以提供结膜充血原因和用于克服结膜充血的引导信息。
例如,参考图10,当电子设备100实现为智能电话时,处理器120可以通过显示器显示由于用户非常接近智能电话而导致的充血程度升高的原因,并且可以提供需要从远处使用智能电话以消退充血的引导信息。
处理器120可以使用电子设备100的状态信息。电子设备的状态信息可以是电子设备100和用户之间的距离、电子设备周围的照度和使用电子设备的时间中的至少一者。
为此目的,处理器120可以通过分析由相机110捕获的图像来计算电子设备100和用户之间的距离,并且可以通过陀螺仪传感器来确定电子设备100的倾斜度。此外,处理器120可以通过照度传感器来确定电子设备的环境照度。
如果确定用户的充血程度大于或等于预定阈值,则处理器120可以基于在测量充血程度之前电子设备100的状态信息来确定充血原因。例如,如果在测量充血程度之前电子设备100和用户之间的距离短于预定距离,则处理器120可以确定因为用户非常近距离地靠近电子设备100地使用电子设备100所以充血程度升高。因此,如图10所示,处理器120可以显示由于用户非常接近地使用智能电话而导致充血程度升高的充血原因以及需要从远处使用智能电话以克服充血的引导信息。
处理器120可以利用用户信息来提供结膜充血原因和用于克服充血的引导信息。用户信息可以是基于存储在电子设备100中的照片应用和日程应用中的至少一个生成的信息。
具体地,如果确定用户的充血程度大于或等于预定阈值,则处理器120可以基于在测量充血程度之前的用户信息来确定充血原因。例如,处理器120可以对照片应用中的在从测量充血程度的时间点起的预定时间内捕获的图像进行分类。如果已分类的图像是通过计算机进行工作的图像,则处理器120可以确定结膜充血是由于通过计算机进行工作而发生。在另一个实施方式中,如果日程应用中用户的日程是视频会议,则处理器120可以确定结膜充血是由于视频会议而发生。
处理器120可以显示由于经由计算机和视频会议的工作而导致充血程度升高的充血原因以及应该进行休息以克服充血的引导信息。
已经举例说明了所确定的充血程度大于或等于预定阈值,但是即使当所确定的充血程度小于或等于预定阈值时,也可以应用上述技术构思。
当所确定的充血程度小于或等于预定阈值时,处理器120可以基于电子设备的状态信息和用户信息中的至少一个来确定充血程度不高的原因,并将其显示在显示器上。
例如,当用户在测量充血程度之前距离较远地使用电子设备时,可显示由于用户距离较远地使用电子设备使得充血程度降低的消息以及请求需要保持与电子设备的距离的引导信息。
处理器120可以考虑电子设备的状态信息、用户信息和所确定的充血程度来分析充血原因,并提供用于克服充血的引导信息。
例如,如果确定用户在黑暗的地方使用智能电话,并且如果确定用户在从测量充血程度的时间起的预定时间内有视频会议,则处理器120可以提供充血程度由于环境亮度和视频会议而升高的充血原因以及环境亮度需要更高并且视频会议需要临时停止的引导信息。
处理器120可以通过深度学习确定充血原因以及用于克服充血的引导信息。更具体地,在电子设备100的存储装置(未示出)中,充血程度信息可以与电子设备的状态信息和用户信息中的每一个相匹配并存储在该存储装置中。例如,可以通过学习来存储当在比预定距离更近的距离中使用电子设备时的充血程度、当在比预定照度更暗的位置中使用电子设备时的充血程度、当用户通过计算机执行预定时间的工作时的充血程度。
因此,在确定用户的充血程度之后,处理器120可以通过深度学习来确定存储在存储装置(未示出)中的信息之中的、与所确定的充血程度和电子设备的状态信息对应的充血原因以及用于克服充血程度的信息,并将该信息提供给用户。类似地,处理器120可以通过深度学习来提供与所确定的充血程度和用户信息对应的充血原因和用于克服充血程度的信息。
已经描述了在电子设备的显示器上显示引导信息,但是可以以不同的方式提供引导信息。例如,如果确定出所确定的充血程度高于预定阈值,则电子设备可以通过扬声器输出警告声音。如果电子设备没有显示器,则电子设备可以通过与显示设备进行通信来发送引导信息。
图11是示出根据实施方式的显示根据眼睛的各部分而定的充血程度的实施方式的图。
如上所述,处理器120可以基于多个节段中的每一个所处的位置来确定根据眼睛的各部分而定的充血程度。处理器120可以通过显示器显示所确定的根据各部分而定的结膜充血程度。
例如,参考图11,处理器120可以根据多个节段中的每一个存在的位置和多个节段中的每一个的尺寸,显示根据划分成多个区域的重叠图像280中的眼睛的各部分而定的充血程度。
在图11中,根据眼睛的各部分而定的充血程度被示为单独的表格,但是根据实施方式,根据眼睛的各部分而定的充血程度可以与重叠图像重叠并被显示。
处理器120可以基于所确定的根据眼睛的各部分而定的充血程度来显示关于眼球疾病的信息。
例如,如果确定虹膜周围区域的充血程度高于另一区域的充血程度,则处理器120可以显示虹膜周围区域中的充血程度高的消息以及推测是虹膜炎的消息。在另一个实施方式中,如果确定巩膜的下部区域的充血程度高于另一个区域的充血程度,则处理器120可以显示推测是由滴眼剂引起的药物过敏的消息。
处理器120可以基于多个节段中的每一个的方向来确定眼球疾病,并且一起显示关于眼球疾病的信息。在一个示例中,如果多个节段中的每一个的方向处于水平方向,则处理器120还可以显示推测有干眼症的消息。
处理器120可以基于多个节段中的每一个的尺寸、每个节段所处的位置、以及每个节段的方向来生成关于眼球疾病的信息,并显示该信息。
关于眼部疾病的信息可以预先存储在电子设备100的存储装置(未示出)中。
根据实施方式的电子设备100还可以包括能够与外部服务器进行通信的通信器(未示出),并且可以通过与外部服务器进行通信来接收关于眼部疾病的信息。具体地,电子设备100可以将关于充血程度的信息发送到外部服务器,并且外部服务器可以将基于关于充血程度的信息而确定的关于眼部疾病的信息发送到电子设备100,并且电子设备100可以显示从外部服务器接收的关于眼部疾病的信息。
通信器(未示出)还可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片等。
图12a、图12b和图12c示出根据实施方式的分别获取眼睛虹膜周围的区域和除了虹膜周围的区域之外的区域并确定每个区域中的充血程度的实施方式。
参照图12a,处理器120可以分别获取眼睛虹膜周围的区域1210和除了虹膜周围区域之外的区域1220。
如上述实施方式中那样,处理器120可分析前段图像210的像素值以分离瞳孔、虹膜和巩膜并获得巩膜图像。处理器120可以通过分析虹膜的边缘并且在离虹膜的预定距离内确定巩膜图像来获得眼睛的虹膜周围的区域1210,并且可以通过从巩膜图像中排除了虹膜周围的区域1210来获得除了虹膜周围的区域之外的区域1220。然而,实施方式不限于此,并且处理器120可以通过基于数据库的深度学习技术分别获得虹膜周围的区域1210和除了虹膜周围的区域之外的区域1220中的每一个。
如图12b和12c所示,处理器120可以确定虹膜周围的每个区域1210和除了虹膜周围的区域之外的区域1220的充血程度。在虹膜周围的区域1210已转换为预定单元面积的图像1210'中,处理器120可以通过如上所述的图像处理来获取血管,并且基于每条血管的尺寸和血管的节段的尺寸来确定充血程度。因此,如图12b所示,处理器120可以向用户提供确定虹膜周围的区域1210的充血程度的结果。
在除了虹膜周围的区域之外的区域1220已转换为预定单元面积的图像1220'中,处理器120可以通过如上所述的图像处理来获取血管,并且基于每条血管的尺寸或血管的节段的尺寸来确定充血程度。因此,如图12c所示,处理器120可以向用户提供确定除了虹膜周围的区域之外的区域1220的充血程度的结果。
如上所述,可以通过获取虹膜周围的区域1210和除了虹膜周围的区域之外的区域1220(即,虹膜周边区域1220)中的每一个并且确定每个区域的充血程度,来更准确地提供关于眼部疾病的信息。例如,基于在虹膜周围的区域1210中确定的充血程度,处理器120可以确定诸如虹膜炎的眼部疾病并向用户提供标识,并且基于在除了虹膜周围的区域之外的区域1220中确定的充血程度,处理器120可以确定诸如结膜炎的眼部疾病并向用户提供标识。
图13是示出根据实施方式的提供用于引导精确测量结膜充血程度的引导信息的实施方式的图。
当用户从大于或等于预定距离的距离捕获眼睛时,根据相机的分辨率,在所捕获的图像中可能不会包括多条血管。处理器120可以提供用于引导精确地测量结膜充血程度的引导信息。
参照图13,由相机捕获的眼睛图像可以包括用户的左眼和右眼。在这种情况下,处理器120可以确定左眼和右眼之间的距离。具体地,处理器120可以确定左眼和右眼之间的距离是否小于预定距离。这里,预定距离可以被设定为大约65mm。
当在捕获的图像中确定的左眼和右眼之间的距离小于预定距离时,处理器120可以显示引导信息,该引导信息引导用户位于相机附近。
例如,参考图13,处理器120可以显示一个消息,该消息促使用户捕获非常接近相机的眼睛。
因此,如果相关技术的电子设备没有在所捕获的图像中获取到血管,则再次请求捕获,从而导致用户不便。相反地,在根据实施方式的电子设备100中,如果用户希望在远离相机的位置捕获眼睛,则显示引导信息,因此存在最小化用户不便的效果。
当电子设备100周围的照度值小于预定照度值时,处理器120可以提供引导调整照度值的引导信息。
为此目的,电子设备100还可以包括照度传感器(未示出)。
当通过相机捕获包括眼睛的图像时,处理器120可以确定电子设备100周围的照度值是否大于或等于预定值,并且如果照度值小于预定的照度值,则处理器120可以提供引导调整照度值的引导信息。
当照度值大于或等于预定照度值时,处理器120可以确定图像中所包括的结膜的充血程度。
这是因为在低于预定照度值的捕获的图像中可能不会包括血管,或者血管可能不被清楚地显示。因此,可以通过防止不必要的分析充血程度来节省电力并防止处理器的负载。
图14是示出根据实施方式的通过虹膜认证在解锁锁定屏幕时确定充血程度的实施方式的图。
如果用户试图通过虹膜认证来解锁锁定屏幕(如屏幕1410所示),则处理器120可以确定包括在所捕获的图像中的结膜的充血程度(如屏幕1420所示)。具体地,当在屏幕锁定状态中通过相机捕获用户的眼睛时,处理器120可以分析所捕获的图像中的虹膜,并且同时以上述方式确定结膜充血程度。
因此,用户可不需要执行单独的应用来分析充血程度,并且可以在屏幕解锁阶段接收针对充血程度的分析结果。
当执行虹膜认证应用时,处理器120可以提供用于将瞳孔的位置引导到预定位置的引导信息。在一个示例中,处理器120可以提供需要在左右方向之一上移动瞳孔的引导信息。
当瞳孔移动到预定位置时,处理器120可以确定包括眼睛的图像中的结膜充血程度。在确定充血程度的过程中,处理器120可以基于存在于同一个巩膜区域中的血管重复地确定充血程度。
例如,如图14所示,处理器120可以继续基于存在于眼睛的左边区域1411中的血管来确定充血程度。因此,根据实施方式的电子设备100可以通过确定相同巩膜区域中的充血程度的变化来量化充血程度的信息。此外,与瞳孔位于眼睛中部的情况相比,可以获得大面积的巩膜图像,从而可以更精确地确定充血程度。
图15是示出根据实施方式的在解锁锁定屏幕时确定结膜充血程度的实施方式的图。
根据实施方式的电子设备100可以在锁定模式下操作。电子设备100可以使用瞳孔的移动来解锁锁定模式。
例如,参考图15,处理器120可以提供引导信息,以通过利用眼睛滑动来解锁屏幕。当在屏幕锁定状态中通过相机捕获包括眼睛的图像时,处理器120可以确定所捕获的图像中结膜充血程度。
因此,用户可以具有在解锁阶段中接收充血程度的分析结果而无需执行用于分析充血程度的单独应用的效果。
当瞳孔移动到预定位置时,处理器120可以确定结膜充血程度。因此,在确定充血程度时,处理器120可以基于存在于相同的巩膜区域中的血管来确定充血程度。
因此,根据本公开实施方式的电子设备可以确定相同巩膜区域中的充血程度。此外,与瞳孔位于眼睛中部的情况相比,可以获得大面积的巩膜图像,从而更精确地确定充血程度。
图16是示出根据实施方式的提供充血程度图表的实施方式的图。
处理器120可以确定结膜充血程度,并将结果值存储在存储装置(未示出)中。处理器120可以基于预定时间计算结膜充血程度的平均值。例如,处理器120可以计算每日单位的结膜充血程度的平均值。
处理器120可以提供计算出的结膜充血程度的平均值。例如,参考图16,处理器120可以每日计算结膜充血程度的平均值,并以图表提供每日的结膜充血程度的平均值。因此,用户可以容易地掌握充血程度的变化。
处理器120可以基于用户标识信息来确定对应于包括在所捕获的图像中的眼睛的用户,将通过图像所确定的充血程度与所识别的用户相匹配,并且将其存储在存储器中。
用户标识信息可以是用户标识(ID)信息、虹膜信息等,但不限于此。
处理器120可以计算用户的结膜充血程度的平均值,并提供用户的结膜充血程度的图表。
图17是示出根据实施方式的在日历应用执行屏幕中显示结膜充血程度的实施方式的图。
如上所述,处理器120可以计算结膜充血程度的平均值。例如,处理器120可以计算每日的结膜充血程度的平均值。
处理器120可以通过将计算的每日的结膜充血程度的平均值与应用执行屏幕上的每个日期相匹配来提供该平均值。
例如,参考图17,处理器120可以基于预定的阈值,将当充血程度高于预定阈值时的日期上的颜色与当充血程度低于预定阈值时的日期上的颜色区分开,并将其显示在日历应用执行屏幕上。然而,这仅仅是一个实施方式,并且处理器120可以在日历应用的执行屏幕的每个日期上显示计算出的平均值本身。
用户不仅可以容易地掌握充血程度变化的趋势,而且可以容易地在平均值高或低的日期接收视觉反馈。
图18是示出根据实施方式的在预定时间单位中提供充血程度的变化的实施方式的图。处理器120可以将通过捕获的图像确定的结膜充血程度存储在存储装置(未示出)上。
处理器120可以基于存储在存储装置中的充血程度信息,通过预定时间单位来确定充血程度的变化。例如,处理器120可以以24小时为单位确定充血程度的变化,但不必限于此。作为示例,处理器120可以以例如1分钟、10分钟、1小时等各种单位确定充血程度的变化。
如图18的曲线图,处理器120可以在时间单位的基础上提供充血程度的变化。
如果充血程度的变化大于或等于预定变化量,则处理器120可以提供用于管理充血程度的引导信息。例如,如果在第二时间确定的充血程度高于在第一时间确定的充血程度,则处理器120可以提供引导眼睛的其余部分的引导信息。
此外,如果确定用户的充血程度持续增加,则处理器120可以向用户提供反馈以向用户通知眼部疾病的危险。这里,反馈可以是通过音频输出的报警声音以及视觉上指示结膜充血程度持续增加的信息。
如果确定即使在向用户提供反馈以向用户通知眼部疾病的危险之后,用户的充血程度也持续增加,则处理器120可以继续向用户提供反馈,以指示可能由于眼睛血压升高而发生诸如中风的脑血管疾病。
因此,处理器120可向用户通知充血的危险,并引导改善眼睛健康的动作。
图19是示出根据实施方式的基于充血程度提供与疲劳水平相关的信息的实施方式的视图。
处理器120可根据预定标准对所确定的充血程度进行分类,并确定用户的疲劳。更具体地,当所确定的充血程度小于或等于第一阈值时,处理器120可以将用户的疲劳程度确定为低,并且如果所确定的充血程度超过第一阈值并且小于或等于第二阈值,则处理器120可以将用户的疲劳程度确定为中等,并且当所确定的充血程度超过第二阈值时,处理器120可以将用户的疲劳程度确定为严重。例如,参考图10,第一阈值可以是充血程度为10%的情况,第二阈值可以是充血程度为30%的情况。
此外,如果确定用户的疲劳是中等,则处理器120可以显示引导休息的引导信息;以及如果确定用户的疲劳是严重的,则处理器120可以显示引导去医院的引导信息。因此,本公开可以指导用户管理眼睛的健康。
图20是示出根据实施方式的显示用户的充血程度的排名的实施方式的图。
参照图20,处理器120可以提供通过捕获的图像确定的结膜充血程度的排名信息。
为此目的,处理器120可以从服务器接收关于多个用户的充血程度的信息,将多个用户的结膜充血程度信息与通过捕获的图像确定的结膜充血程度进行比较,以确定通过捕获的图像确定的结膜充血程度的排名。
为此目的,电子设备100还可以包括用于与服务器通信的通信器(未示出)。通信器(未示出)可以包括Wi-Fi芯片、蓝牙芯片、无线通信芯片等。
处理器120可以在用户所属的组内提供用户的充血程度的排名。为此目的,处理器120可以首先基于用户标识信息来确定对应于眼睛的用户。这里,用户标识信息可以是如上所述的用户ID信息。
处理器120可以从服务器接收关于多个用户中的每一个的年龄和职业中的至少一者的信息,基于年龄和职业中的至少一者将多个用户分成多个组,并且确定多个组中的被识别的用户所属的组。
处理器120可以将属于所确定的组的多个用户的结膜充血形成的程度与通过所捕获的图像所确定的结膜充血的程度进行比较,以确定通过所捕获的图像所确定的结膜充血程度的排名,并提供关于该排名的信息。
因此,与处于相同职业或相同年龄的多个用户相比,用户可以接收关于结膜充血程度是高还是低的反馈。
图21是示出根据实施方式的用于通过电子设备确定结膜充血程度的方法的流程图。
根据实施方式,当通过相机捕获眼睛时,在操作S2110中,电子设备可以获得包括眼睛的图像。此外,电子设备可以从包括眼睛的图像中获取前段图像,并且可以从前段图像中获取巩膜图像。
电子设备可以对巩膜图像执行图像处理,以确定多条血管的交叉点。电子设备可以通过使用CLAHE算法来调节巩膜图像的对比度,对调节了对比度的巩膜图像进行二值化,并且从二值化图像获得多条血管。在操作S2120中,电子设备可以通过将所获得的多条血管的厚度转换为预定单位厚度来确定多条血管的交叉点。
在操作S2120中,电子设备可以基于多条血管的交叉点将多条血管分成多个节段。节段可以是基于所述交叉点所得的所述多条血管的交叉点与所述多条血管中的每一条的端点之间的血管。
在操作S2130中,电子设备可以计算多个节段的尺寸以确定结膜充血程度。具体地,电子设备可以获得巩膜图像中的具有预定单元面积的巩膜区域,基于包括在巩膜区域中的多条血管的交叉点来计算多个节段的尺寸,并且将所计算的多个节段的尺寸之和与预定单元面积进行比较以确定结膜充血程度。
图22是示出根据实施方式的用于通过电子设备确定结膜充血程度的方法的流程图。
首先,在操作S2210中,电子设备可以获得包括用户的眼睛的面部图像。面部图像可以包括用户的眼睛、鼻子和嘴巴。在操作S2215中,电子设备可以获得面部图像中的前段图像。例如,电子设备可以通过使用包括在面部图像中的诸如眼睛、鼻子、嘴巴等的位置信息来获得前段图像。
在操作S2220,电子设备可以从前段图像获取巩膜图像。例如,电子设备可以通过分析前段图像或数据库或基于深度学习的深度学习技术来获取巩膜图像。
在操作S2225,电子设备可以将巩膜图像转换为预定单元面积。可以通过考虑一般用户的巩膜的尺寸来确定预定单元面积。在一个示例中,预定单元面积可以是宽度为30mm且长度为30mm的正方形的面积。然而,预定单元面积可以根据用户设置而改变,而不限于此。
当在巩膜图像中包括反射光时,电子设备可以在操作S2230中去除反射光。这是考虑到可能无法确定在反射光存在的位置是否存在血管。
电子设备可对转换成单元面积的巩膜图像进行图像处理。具体地,在操作S2235,电子设备可以将巩膜图像转换为灰度图像,在操作S2240,将CLAHE算法应用于转换为灰度图像的图像,并且在操作S2245,将Hessian矩阵应用于应用了CLAHE算法的图像,以调整巩膜图像的对比度并突出显示血管。
在操作S2250中,电子设备可以对经图像处理的巩膜图像进行二值化。因此,电子设备可以获得巩膜图像中的多条血管。在操作S2255,电子设备可以将从二值化图像获得的多条血管转换为预定厚度。
在操作S2260中,电子设备可以对转换到预定厚度的多条血管进行修剪。修剪可以指裁剪多条血管的任务。具体地,电子设备可以通过修剪多条血管将单条血管分成多条单位血管。
在操作S2265中,电子设备可以确定执行修剪的多个单位血管的交叉点以及每个单位血管的端点。电子设备可以确定不同单位血管相交叉的点作为交叉点。
此后,电子设备可以基于多条血管的交叉点将多条血管分成多个节段。这里,节段可以表示多条血管相交叉的交叉点与多条血管中的每一条相对于交叉点的端点之间的血管。
在操作S2270中,电子设备可以计算每个节段的血管的尺寸。在一个示例中,电子设备可以通过点计数方法计算每个节段的血管尺寸。在操作S2275中,电子设备可以通过对每个节段的血管尺寸求和来计算总血管面积,并且在操作S2280中,可以通过与巩膜图像的面积进行比较来计算最终的充血程度。
根据如上所述的各种示例性实施方式的方法可以实现为可以安装在现有电子设备中的软件或应用格式。
根据上述各种示例实施方式的方法可以通过现有电子设备的软件升级和/或硬件升级来实现。
上述各种示例性实施方式可以通过电子设备中提供的嵌入式服务器或电子设备的外部服务器来执行。
可以提供一种非暂时性计算机可读介质,其具有存储在其中的、用于顺序执行用于计算充血程度的方法的程序。
非暂时性计算机可读介质是指半永久地存储数据而不是在非常短的时间内存储数据的介质,例如寄存器、高速缓存、存储器等,并且可由装置读取。详细地,上述各种应用或程序可以存储在例如光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等的非暂时性计算机可读介质中,并且可以被提供。
虽然已经参考某些附图示出和描述了各种实施方式,但是本公开不限于具体实施方式或附图,并且本领域的普通技术人员将理解,在不脱离例如由所附权利要求及其等同物限定的精神和范围的情况下,可以在其中进行形式和细节上的各种改变。
Claims (12)
1.电子设备,包括:
相机;以及
处理器,配置成:获得由所述相机捕获的包括眼睛的图像,识别所述图像中所包括的一条或多条血管,并且基于所识别的一条或多条血管的尺寸来确定结膜充血程度,
其中,所述处理器配置成:基于所述图像中所包括的所述多条血管的交叉点将所述多条血管划分成多个节段,并且基于所述多个节段的尺寸来确定所述结膜充血程度,所述多个节段是以下至少之一:所述交叉点与每条所述血管中相对于所述交叉点的端点之间的血管;以及所述交叉点和另一交叉点之间的血管,
其中,所述处理器配置成:通过确定所述多个节段的厚度、获取所述多个节段中的具有大于或等于预定厚度的厚度的至少一个节段构成的第一组节段并且计算所述第一组节段中包括的至少一个节段的尺寸,来确定所述结膜充血程度;或者
通过确定所述多个节段的厚度、获取所述多个节段中的具有小于预定厚度的厚度的至少一个节段构成的第二组节段并且计算所述第二组节段中包括的至少一个节段的尺寸,来确定所述结膜充血程度。
2.如权利要求1所述的电子设备,其中,所述处理器配置成:计算所述图像的Hessian矩阵,将所述Hessian矩阵应用于所述图像,通过对应用了所述Hessian矩阵的图像进行二值化来识别所述多条血管,通过将所述多条血管的厚度转换为预定单位厚度来确定所述交叉点,以及根据二值化图像计算所述多个节段中的每一个的尺寸。
3.如权利要求1所述的电子设备,其中,所述处理器配置成:在所述图像中以预定单元面积获取巩膜图像,基于所述巩膜图像中所包括的多条血管的交叉点计算所述多个节段的尺寸,并且通过将计算出的所述多个节段的尺寸的总和与所述预定单元面积进行比较来确定所述结膜充血程度。
4.如权利要求1所述的电子设备,其中,所述处理器配置成:确定所述多个节段在所述图像中的位置,并且基于所述多个节段所处的位置,确定根据所述眼睛的各部分而定的所述结膜充血程度。
5.如权利要求1所述的电子设备,其中,所述处理器配置成:基于所述图像中包括反射光,确定所述图像的整个区域中除包括所述反射光的区域之外的其余区域,并且基于所述其余区域中所包括的一条或多条血管的尺寸来确定所述结膜充血程度。
6.如权利要求1所述的电子设备,其中,所述处理器配置成:通过根据所述图像确定除所识别的一条或多条血管之外的其余区域并且进一步考虑所述其余区域的颜色和形状中的至少一者来确定所述结膜充血程度。
7.如权利要求1所述的电子设备,其中,所述处理器配置成依次提供:由所述相机捕获的图像、包括基于所述交叉点划分成多个节段的多条血管的图像、以及具有所确定的结膜充血程度的图像。
8.如权利要求1所述的电子设备,其中,
所述相机捕获的所述图像包括用户的左眼和右眼;
所述处理器配置成:基于所述左眼和所述右眼之间的距离小于预定距离,提供引导所述用户位于所述相机附近的引导信息,并且基于所述图像中所包括的左眼和右眼之间的距离是预定距离,确定所述结膜充血程度。
9.如权利要求1所述的电子设备,还包括:
照度传感器,
其中,所述处理器配置成:基于由所述照度传感器感测的照度值小于预定照度值,提供引导对所述照度值进行调节的引导信息,或者基于所述照度值大于或等于所述预定照度值,确定所述图像中所包括的眼睛的结膜充血程度。
10.如权利要求1所述的电子设备,其中,
所述处理器配置成:基于所述电子设备的状态信息、用户信息和所述结膜充血程度中的至少一个来提供所述结膜充血程度的原因以及用于克服所述结膜充血程度的引导信息中的至少一者,
所述电子设备的状态信息是所述电子设备与用户之间的距离、所述电子设备的倾斜度、所述电子设备的环境照度和使用所述电子设备的时间中的至少一者,
所述用户信息基于存储在所述电子设备中的照片应用和日程应用中的至少一者来生成。
11.如权利要求1所述的电子设备,还包括:
存储装置,
其中,所述处理器配置成:基于存储在所述存储装置中的关于所述结膜充血程度的信息,确定预定时间单位中所述结膜充血程度的变化,并且基于所述结膜充血程度的变化大于或等于预定变化量,提供用于管理所述结膜充血程度的引导信息。
12.如权利要求1所述的电子设备,其中,所述处理器配置成:基于正在执行虹膜认证应用,通过所述相机捕获包括所述眼睛的图像,并且根据所捕获的图像确定所述结膜充血程度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0143227 | 2017-10-31 | ||
KR1020170143227A KR102469720B1 (ko) | 2017-10-31 | 2017-10-31 | 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 |
PCT/KR2018/012635 WO2019088555A1 (ko) | 2017-10-31 | 2018-10-24 | 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111212594A CN111212594A (zh) | 2020-05-29 |
CN111212594B true CN111212594B (zh) | 2023-09-12 |
Family
ID=66332113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880066273.2A Active CN111212594B (zh) | 2017-10-31 | 2018-10-24 | 电子设备和利用电子设备确定结膜充血程度的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11612314B2 (zh) |
EP (1) | EP3666177B1 (zh) |
KR (1) | KR102469720B1 (zh) |
CN (1) | CN111212594B (zh) |
WO (1) | WO2019088555A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021071868A1 (en) * | 2019-10-10 | 2021-04-15 | Tufts Medical Center, Inc. | Systems and methods for determining tissue inflammation levels |
KR102388714B1 (ko) * | 2019-10-17 | 2022-04-19 | 아주대학교산학협력단 | 황달 진단 패치, 패치 인증 시스템 및 이를 이용한 황달 진단 방법 |
TW202222245A (zh) * | 2020-10-28 | 2022-06-16 | 日商獅子股份有限公司 | 檢查方法、機械學習執行方法、檢查裝置及機械學習執行裝置 |
JP7094468B1 (ja) | 2020-12-25 | 2022-07-01 | ライオン株式会社 | 検査方法 |
US20220265183A1 (en) * | 2021-02-19 | 2022-08-25 | Canon Medical Systems Corporation | Method and apparatus for displaying medical images |
JP7513239B2 (ja) | 2021-06-30 | 2024-07-09 | サイロスコープ インコーポレイテッド | 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム |
WO2023277589A1 (ko) * | 2021-06-30 | 2023-01-05 | 주식회사 타이로스코프 | 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 |
WO2023175772A1 (ja) * | 2022-03-16 | 2023-09-21 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
CN115868920B (zh) * | 2022-08-18 | 2023-11-21 | 上海佰翊医疗科技有限公司 | 一种结膜充血的量化评估方法、装置和存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101984916A (zh) * | 2010-11-17 | 2011-03-16 | 哈尔滨工程大学 | 基于数字图像处理技术的血管管径测量方法 |
JP2011072446A (ja) * | 2009-09-30 | 2011-04-14 | Nidek Co Ltd | 充血度算出プログラム及び充血度算出方法、並びに充血度算出装置 |
CN103246883A (zh) * | 2013-05-20 | 2013-08-14 | 中国矿业大学(北京) | 一种煤矿井下热红外图像人脸识别方法 |
CN103717122A (zh) * | 2011-08-01 | 2014-04-09 | 佳能株式会社 | 眼科诊断支持设备和眼科诊断支持方法 |
CN103839054A (zh) * | 2014-03-14 | 2014-06-04 | 北京中科虹霸科技有限公司 | 一种支持虹膜识别的多功能移动智能终端传感器 |
JP2015177403A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN105208284A (zh) * | 2015-10-12 | 2015-12-30 | 小米科技有限责任公司 | 拍摄提醒方法及装置 |
CN105303024A (zh) * | 2014-06-09 | 2016-02-03 | 吴立中 | 视觉保护方法及其*** |
JP2016043155A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 眼底解析装置 |
CN105590323A (zh) * | 2016-02-02 | 2016-05-18 | 温州医科大学附属眼视光医院 | 一种基于眼科裂隙灯照相的滤过泡表面的血管化程度的检测方法 |
CN106333663A (zh) * | 2016-10-20 | 2017-01-18 | 深圳欧德蒙科技有限公司 | 一种血压监测方法和装置 |
KR20170070470A (ko) * | 2015-12-14 | 2017-06-22 | 현대자동차주식회사 | 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 |
CN106934816A (zh) * | 2017-03-23 | 2017-07-07 | 中南大学 | 一种基于elm的眼底图像视网膜血管分割方法 |
CN107209857A (zh) * | 2015-02-10 | 2017-09-26 | 三星电子株式会社 | 用户终端及其提供方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070225614A1 (en) * | 2004-05-26 | 2007-09-27 | Endothelix, Inc. | Method and apparatus for determining vascular health conditions |
JP2006015061A (ja) | 2004-07-05 | 2006-01-19 | Brother Ind Ltd | 眼の画像読取装置 |
US7862512B2 (en) * | 2005-08-29 | 2011-01-04 | Unex Corporation | Blood vessel endothelium function evaluating apparatus provided with an electronic control device |
US20070118045A1 (en) * | 2005-10-21 | 2007-05-24 | Endothelix, Inc. | Iontophoresis challenge for monitoring cardiovascular status |
SG191664A1 (en) | 2008-04-08 | 2013-07-31 | Univ Singapore | Retinal image analysis systems and methods |
US10278579B2 (en) | 2008-11-17 | 2019-05-07 | Eyes4Lives, Inc. | Vision protection method and system thereof |
JP5628839B2 (ja) * | 2009-02-12 | 2014-11-19 | アルコン リサーチ, リミテッド | 眼球表面疾患を検出するシステムおよび眼球表面検査装置 |
US9241622B2 (en) * | 2009-02-12 | 2016-01-26 | Alcon Research, Ltd. | Method for ocular surface imaging |
US8262221B2 (en) * | 2009-04-24 | 2012-09-11 | Filar Paul A | Ophthalmological diagnostic system |
US9931171B1 (en) * | 2010-10-13 | 2018-04-03 | Gholam A. Peyman | Laser treatment of an eye structure or a body surface from a remote location |
US9986909B2 (en) * | 2011-02-25 | 2018-06-05 | Canon Kabushiki Kaisha | Image processing apparatus and image processing system for displaying information about ocular blood flow |
WO2013126568A1 (en) * | 2012-02-21 | 2013-08-29 | Massachusetts Eye & Ear Infirmary | Calculating conjunctival redness |
US10302944B2 (en) | 2013-06-28 | 2019-05-28 | Seiko Epson Corporation | Head-mount type display device and method of controlling head-mount type display device |
KR101572487B1 (ko) | 2013-08-13 | 2015-12-02 | 한국과학기술연구원 | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 |
WO2015116640A1 (en) * | 2014-01-29 | 2015-08-06 | Shazly Tarek A | Eye and head tracking device |
KR101566618B1 (ko) | 2014-05-20 | 2015-11-06 | 국립암센터 | 충혈도 산출 방법 및 장치 |
KR20160059406A (ko) * | 2014-11-18 | 2016-05-26 | 삼성전자주식회사 | 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법 |
KR20170000027A (ko) | 2015-06-22 | 2017-01-02 | 원광대학교산학협력단 | 중재시술 지원을 위한 복잡한 혈관의 3d 영상 제공 시스템 및 방법 |
KR20170024361A (ko) | 2015-08-25 | 2017-03-07 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
KR20170048072A (ko) | 2015-10-26 | 2017-05-08 | 에스케이플래닛 주식회사 | 웨어러블을 통한 안구상태 검사 및 관련 컨텐츠 제공 서비스 |
US9962072B2 (en) * | 2015-12-31 | 2018-05-08 | Anantha Pradeep | System and method for analyzing eye and contact lens condition |
US10376600B2 (en) * | 2016-03-03 | 2019-08-13 | Gholam A. Peyman | Early disease detection and therapy |
US11013405B1 (en) * | 2017-07-17 | 2021-05-25 | Ophthalmic Resources LLC | Apparatus for diagnosis of ocular surface disease |
US11564563B2 (en) * | 2018-02-17 | 2023-01-31 | Aizhong Zhang | Apparatus and method of a multifunctional ophthalmic instrument |
US10952604B2 (en) * | 2018-03-06 | 2021-03-23 | Texas Tech University System | Diagnostic tool for eye disease detection using smartphone |
WO2019212911A1 (en) * | 2018-04-30 | 2019-11-07 | Tufts Medical Center, Inc. | System for detecting micro-neuromas and methods of use thereof |
US10468142B1 (en) * | 2018-07-27 | 2019-11-05 | University Of Miami | Artificial intelligence-based system and methods for corneal diagnosis |
JP7220905B2 (ja) * | 2019-03-04 | 2023-02-13 | 学校法人帝京大学 | 眼球運動解析システム、眼球運動解析方法およびプログラム |
CA3145664A1 (en) * | 2019-08-14 | 2021-02-18 | Alcon Inc. | Eye tracking fixation monitoring systems and methods |
WO2021061854A1 (en) * | 2019-09-24 | 2021-04-01 | Davco, LLC | Cloud based corneal surface difference mapping system and method |
CA3116492A1 (en) * | 2020-04-21 | 2021-10-21 | Ehsan Zare-Bidaki | System and method for imaging, segmentation, temporal and spatial tracking, and analysis of visible and infrared images of ocular surface and eye adnexa |
CN112084961B (zh) * | 2020-09-11 | 2021-05-14 | 宁波市眼科医院 | 一种基于眼科机器人的人工智能眼病筛查诊疗*** |
-
2017
- 2017-10-31 KR KR1020170143227A patent/KR102469720B1/ko active IP Right Grant
-
2018
- 2018-10-24 US US16/759,463 patent/US11612314B2/en active Active
- 2018-10-24 EP EP18874834.7A patent/EP3666177B1/en active Active
- 2018-10-24 CN CN201880066273.2A patent/CN111212594B/zh active Active
- 2018-10-24 WO PCT/KR2018/012635 patent/WO2019088555A1/ko unknown
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011072446A (ja) * | 2009-09-30 | 2011-04-14 | Nidek Co Ltd | 充血度算出プログラム及び充血度算出方法、並びに充血度算出装置 |
CN101984916A (zh) * | 2010-11-17 | 2011-03-16 | 哈尔滨工程大学 | 基于数字图像处理技术的血管管径测量方法 |
CN103717122A (zh) * | 2011-08-01 | 2014-04-09 | 佳能株式会社 | 眼科诊断支持设备和眼科诊断支持方法 |
CN103246883A (zh) * | 2013-05-20 | 2013-08-14 | 中国矿业大学(北京) | 一种煤矿井下热红外图像人脸识别方法 |
CN103839054A (zh) * | 2014-03-14 | 2014-06-04 | 北京中科虹霸科技有限公司 | 一种支持虹膜识别的多功能移动智能终端传感器 |
JP2015177403A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN105303024A (zh) * | 2014-06-09 | 2016-02-03 | 吴立中 | 视觉保护方法及其*** |
JP2016043155A (ja) * | 2014-08-26 | 2016-04-04 | 株式会社トプコン | 眼底解析装置 |
CN107209857A (zh) * | 2015-02-10 | 2017-09-26 | 三星电子株式会社 | 用户终端及其提供方法 |
CN105208284A (zh) * | 2015-10-12 | 2015-12-30 | 小米科技有限责任公司 | 拍摄提醒方法及装置 |
KR20170070470A (ko) * | 2015-12-14 | 2017-06-22 | 현대자동차주식회사 | 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 |
CN105590323A (zh) * | 2016-02-02 | 2016-05-18 | 温州医科大学附属眼视光医院 | 一种基于眼科裂隙灯照相的滤过泡表面的血管化程度的检测方法 |
CN106333663A (zh) * | 2016-10-20 | 2017-01-18 | 深圳欧德蒙科技有限公司 | 一种血压监测方法和装置 |
CN106934816A (zh) * | 2017-03-23 | 2017-07-07 | 中南大学 | 一种基于elm的眼底图像视网膜血管分割方法 |
Non-Patent Citations (1)
Title |
---|
刘党辉,沈兰荪,王兴伟.一种角膜新生血管图像的分割方法.计算机工程与设计.2002,(第06期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
US11612314B2 (en) | 2023-03-28 |
EP3666177A4 (en) | 2020-12-30 |
CN111212594A (zh) | 2020-05-29 |
EP3666177A1 (en) | 2020-06-17 |
KR102469720B1 (ko) | 2022-11-23 |
KR20190048340A (ko) | 2019-05-09 |
EP3666177B1 (en) | 2023-04-19 |
US20200337554A1 (en) | 2020-10-29 |
WO2019088555A1 (ko) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111212594B (zh) | 电子设备和利用电子设备确定结膜充血程度的方法 | |
US11281288B2 (en) | Eye and head tracking | |
JP7229174B2 (ja) | 人識別システム及び方法 | |
US9750420B1 (en) | Facial feature selection for heart rate detection | |
US9489574B2 (en) | Apparatus and method for enhancing user recognition | |
JP2020522807A (ja) | セルフィーを撮影するためにユーザをガイドするためのシステム及び方法 | |
JP2020507836A (ja) | 重複撮像を予測した手術アイテムの追跡 | |
TWI694809B (zh) | 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置 | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
TWI719587B (zh) | 眼底圖像定量分析的前置處理方法及存放裝置 | |
US20150227789A1 (en) | Information processing apparatus, information processing method, and program | |
JP5776323B2 (ja) | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 | |
US10441198B2 (en) | Face detection device, face detection system, and face detection method | |
JP6946551B2 (ja) | 映像アライメント方法及びその装置 | |
CN110313006B (zh) | 一种人脸图像检测方法及终端设备 | |
US20220270287A1 (en) | Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium | |
WO2019061659A1 (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
EP4095744A1 (en) | Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device | |
JP2014223063A (ja) | ペット健康診断装置、ペット健康診断方法及びプログラム | |
JP2015106197A (ja) | 画像処理装置、画像処理方法 | |
JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
CN111259757B (zh) | 一种基于图像的活体识别方法、装置及设备 | |
CN114766027A (zh) | 信息处理方法、信息处理装置以及控制程序 | |
JP7481398B2 (ja) | 判定装置、プログラム、及び判定方法 | |
US20220187910A1 (en) | Information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |