CN117045191A - 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 - Google Patents
基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 Download PDFInfo
- Publication number
- CN117045191A CN117045191A CN202311227649.2A CN202311227649A CN117045191A CN 117045191 A CN117045191 A CN 117045191A CN 202311227649 A CN202311227649 A CN 202311227649A CN 117045191 A CN117045191 A CN 117045191A
- Authority
- CN
- China
- Prior art keywords
- vision
- human eye
- iris
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000011521 glass Substances 0.000 title abstract description 20
- 210000001508 eye Anatomy 0.000 claims abstract description 226
- 230000004438 eyesight Effects 0.000 claims abstract description 149
- 239000007788 liquid Substances 0.000 claims abstract description 60
- 239000012530 fluid Substances 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 34
- 210000004087 cornea Anatomy 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000004304 visual acuity Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000003706 image smoothing Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000572 ellipsometry Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 230000004379 myopia Effects 0.000 description 3
- 208000001491 myopia Diseases 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000036040 emmetropia Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
- A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Eye Examination Apparatus (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
Abstract
本发明涉及视线追踪领域，具体公开一种基于VR的自动验光配镜方法、装置、智能眼镜及存储介质，方法包括：获取由红外摄像头拍摄的被红外光照亮的人眼图像；对人眼图像处理，并计算得到人眼当前的注视方向；于使用者人眼前方设置液态镜头和显示视力表内容；提示使用者透过液态镜头后注视某一方向的视力图标；判断人眼的注视方向与视力图标的方向是否一致，以判断出当前液态镜头的屈光度与使用者的视力值是否匹配；若不匹配，调整流体的填充量，以使得匹配。本发明使用VR眼镜来检测视力，让人们更容易了解自己的视力情况，检测视力和矫正视力的过程是基于可以改变屈光度的液态镜头下进行的，检测和矫正的效果会更加精准，提高使用者的VR使用体验。
Description
技术领域
本发明涉及智能眼镜领域，尤其涉及一种基于VR的自动验光配镜方法、装置、智能眼镜及存储介质。
背景技术
智能眼镜有许多中，主要包括主流的VR眼镜、眼动跟踪仪。眼动跟踪是一个识别某人在看什么、怎么看的过程，已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理研究等多个领域。从眼球的生理结构来说，人类主要通过中央凹区域来获取视觉数据，中央凹只能提供约1–2度的视角。虽然该区域仅占视野范围的极□部分，但通过此区域记录的信息却包含了通过视觉神经传递到□脑的有效视觉信息的50％。因此，人类的视觉和注意***围绕着一个主要目标工作：使感兴趣的目标的光学成像聚焦于中央凹处。这是眼动行为最根本，最主要的原因。
在社会中，出于用眼不当、用眼疲劳等原因，越来越多人近视或远视。人们在检测视力时，一般是去眼科医院或眼镜店检测，检测时使用视力对照表。人们去检测视力，一般是抱着购买眼镜的目的的，若单纯地想测试视力，专门去医院或眼镜店似乎过于麻烦。
以及，现有技术中，近视者或远视者若要更好地体验VR眼镜，需要同时佩戴视力矫正眼镜，但由于每个人的眼镜形状、规格不同，佩戴视力矫正眼镜后容易影响到VR眼镜的穿戴，需要解决。
发明内容
鉴于以上技术问题，本发明提供了一种基于VR的自动验光配镜方法、装置、智能眼镜及存储介质，以提供一种可以随时随地检测视力和矫正视力的技术方案。
本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本发明的一方面，公开一种基于VR的自动验光配镜方法，所述方法包括：
获取由红外摄像头拍摄的被红外光照亮的人眼图像；
对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；
于使用者人眼前方设置液态镜头和显示视力表内容，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜，所述视力表内容包括代表某一视力值的多个不同方向的视力图标；
交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标；
判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配；
若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
进一步的，所述提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向，包括：
提取所述人眼图像中的所述虹膜椭圆特征和眼角坐标，所述虹膜椭圆特征包括椭圆长轴、短轴、虹膜中心和倾角；
根据同一人眼的多个所述人眼图像中的所述虹膜椭圆特征和所述眼角坐标，标定出当前人眼的虹膜中心、虹膜半径及虹膜法向量，以计算得到角膜曲率中心；
根据虹膜中心和所述角膜曲率中心，得到人眼当前的所述注视方向。
进一步的，在对所述人眼图像处理时，具体包括：
对所述人眼图像预处理，所述预处理至少包括畸变矫正、图像平滑和光归一化；
获取预处理后的所述人眼图像中的虹膜图像，所述虹膜图像中包括人眼的虹膜椭圆特征。
进一步的，所述获取预处理后的所述人眼图像中的虹膜图像，包括；
去除预处理后的所述人眼图像中的非人眼区域背景；
基于多阈值运算，使用高阈值获取去除背景的所述人眼图像的第一二值化图像，使用低阈值获取原始所述人眼图像的第二二值化图像，所述第一二值化图像和所述第二二值化图像中至少显示有人眼的虹膜区域；
去除所述第一二值化图像和所述第二二值化图像的非虹膜背景，并将去除背景后的所述第一二值化图像和所述第二二值化图像融合，得到所述虹膜图像。
进一步的，在获取预处理后的所述人眼图像中的虹膜图像后，所述方法还包括：
基于边界轮毂分析，确定所述虹膜图像中的虹膜的边缘轮廓；
将所述边缘轮廓拟合得到虹膜椭圆，将所述虹膜椭圆的中心坐标作为所述人眼图像的虹膜中心；
在人眼前方显示多个校正点；
在人眼依次凝视各个所述校正点时，计算对应拍摄到的所述人眼图像的虹膜中心；
将虹膜中心的坐标与所述校正点坐标关联映射，得到虹膜中心的坐标与所述校正点的校正关系；
根据所述校正关系和虹膜中心，得到所述注视方向。
进一步的，所述判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配，具体包括：
若人眼所注视的所述视力图标与提示注视的所述视力图标的方向一致，则继续显示同级视力值的其他方向的所述视力图标，若依次计算出的人眼所注视的多个所述视力图标与当前级别视力值的多个所述视力图标的方向均一致，则判断出当前所述液态镜头的屈光度与使用者的视力值匹配；
所述调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配，包括：
调整所述流体的填充量，直至使用者能清晰看到代表某一视力值的所述视力图标，将当前所述液态镜头的屈光度作为使用者的验光度数。
进一步的，所述判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，包括：
将当前的所述注视方向在所述红外摄像头中的三维坐标系与所述视力图标的平面坐标系建立映射，得到所述注视方向在所述视力图标的平面坐标系的落点；
判断所述落点是否在提示注视的所述视力图标的触发范围内，若在，则判断为一致；
其中，同一等级的不同的所述视力图标具有四个方向。
根据本公开的第二方面，提供一种基于VR的自动验光配镜装置，包括：图像获取单元，用于获取由红外摄像头拍摄的被红外光照亮的人眼图像；图像处理单元，对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；显示单元，用于在人眼前方显示视力表内容，所述视力表内容包括代表某一视力值的多个不同方向的视力图标，交互式提示使用者注视某一方向的所述视力图标；屈光调整单元，所述屈光调整单元设置于人眼前方，其包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜；验光配镜控制单元，用于交互式提示使用者透过所述屈光调整单元后注视某一方向的所述视力图标，判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述屈光调整单元的屈光度与使用者的视力值是否匹配，若不匹配，调整所述流体的填充量，以使得所述屈光调整单元的屈光度与使用者的视力值匹配。
根据本公开的第三方面，提供一种智能眼镜，包括：一个或多个红外摄像头，分别指向左右两个人眼设置；红外泛光发射器，面向人眼设置；显示屏；液态镜头，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的基于VR的自动验光配镜方法方法。
根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于VR的自动验光配镜方法。
本公开的技术方案具有以下有益效果：
基于该方法，根据眼动跟踪和交互式操作，人们可以方便地使用具有摄像头的VR眼镜来检测视力，让人们更容易地了解自己的视力情况，尤其针对于青少年而言，更利于促使青少年保护视力。
检测视力和矫正视力的过程是基于可以改变屈光度的液态镜头下进行的，因此，检测和矫正的效果会更加精准，并且，将确定屈光度的液态镜头作为使用者的专用配置，可以大大提高使用者的VR使用体验。
附图说明
图1为本说明书实施例中的一种基于VR的自动验光配镜方法的流程图；
图2为本说明书实施例中的视力表的示范图；
图3为本说明书实施例中的液态镜头的结构原理图；
图4为本说明书实施例中的另一种注视方向计算方法的流程图；
图5为本说明书实施例中基于VR的自动验光配镜装置的结构框图；
图6为本说明书实施例中注视点追踪方法的终端设备；
图7为本说明书实施例中智能眼镜的结构框图；
图8为本说明书实施例中的注视点追踪方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特征可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，本说明书实施例提供一种基于VR的自动验光配镜方法，该方法的执行主体可以为计算机、服务器、穿戴式智能设备等。该方法具体可以包括以下步骤S101～S104：
在步骤S101中，获取由红外摄像头拍摄的被红外光照亮的人眼图像。
其中，红外摄像头的数量可以是任意个，只要其能拍摄完整的人眼图像即可。采用红外摄像头加红外光可以避免可见光摄像头的限制，如可见光摄像头需要光源照亮才能取得清晰的照片，而由于拍摄的对象为人眼，可见的光源会对人眼造成不适，从而会影响采集效果。另外，一般而言，红外摄像头的成像为灰度图，在后续的图像处理中便无需专门的灰度化处理，可以提高处理效率。
在步骤S102中，对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向。
一般而言，虹膜轮廓可以近似为一个椭圆或近圆。虹膜椭圆特征包括基于图形形状本身的圆形的虹膜中心坐标、长轴长度(或半径)、短轴长度(或半径)、旋转角度(倾角)等，还可以包括图像中的虹膜部分中的黑白像素比例、所述异色边缘对应的半径的标准差。这些特征可以用来计算虹膜轮廓的形状和位置，进而计算得到虹膜法向量，也就得到注视方向。
在步骤S103中，于使用者人眼前方放置液态镜头和显示视力表内容，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜，所述视力表内容包括代表某一视力值的多个不同方向的视力图标。
其中，可以是在VR眼镜的显示屏中显示视力表，如图2所示，该视力表具有四个方向，分别是“上、下、左、右”，在显示视力表时，可以是显示一行代表相同视力的多个视力图标，这些视力图标应当包含有全部方向的。也可以是在显示屏中逐一显示各个方向的同一视力值的视力图标。当显示视力图标，交互性提示使用者配合，如，在显示屏上显示文字，或采用语音提醒。
如图3所述，液态镜头可以是包含有一个透明容器1和形成在容器1上的透明的弹性薄膜2，薄膜2与容器1之间设置有流体3，即透明介质，容器1可以具有平坦面，还可以包括泵体4和存储流体的储液罐5，当泵体4抽取储液罐5的流体到容器2中时，薄膜3膨胀形成凸形，当光线从容器2平坦的一面穿过容器2、流体4、凸形薄膜2时，光线被扩散，即屈光度改变，起到矫正视力的作用，如图3中a所示；当流体3的在容器1内的含量改变使得薄膜2与容器1平坦的一面持平时，如图3中b所示，穿过的光线不受到影响，不矫正视力；如图3中c所示，当容器1内的流体被抽取，使得薄膜2凹陷形成凹形，穿过的光线被聚拢，起到矫正视力的作用。
在步骤S104中，交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标。
在步骤S105中，判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配。
在步骤S106中，若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
当中，在执行上述步骤S104-S106中，将所述注视方向在所述红外摄像头中的三维坐标系与所述视力图标的平面坐标系建立映射，得到所述注视方向在所述视力图标的平面坐标系的落点；判断所述落点是否在提示的所述视力图标的触发范围内，若在，则所述注视方向与所述视力图标的方向一致，其中，同一等级的多个所述视力图标至少包括四个等分的方向，具体可以是上、下、左、右。即显示该视力图标的屏幕区域中分为四个等份，每一个等份代表着一个方向，当落点位于第一等份，则代表着使用者指示了第一等份的视力方向。示范性地，在屏幕显示了四个视力图标，这四个视力图标的方向分别为上、下、左、右，此时，通过语音或大文字显示提醒使用者单眼注视方向为上的视力图标，使用者于是望向方向为上的视力图标作为答案，此时根据红外摄像头实时拍摄到的人眼图像，分析后得到使用者所选择的视力图标，此则可以判断为方向一致。当然，在一次显示中，视力图标可以不止四个，也可以是二个、六个、八个等，方向也可以不一定是四个，可以是二个、三个、四个等。比如，一次显示六个视力图标，有二个的方向为上，有三个的方向为下，有一个的方向为左；也可以是二个方向为左，二个方向为右，二个方向为上或下；或者一次显示八个，上下左右四个方向各两个等等。
另外，作为对视力检测的原理解释，正常视力的标准定义是看无限远处东西的时候，眼睛在不用调节的情况下，外界的物体经过屈光***的折射，刚好落在视网膜之上，这个叫做正视。一般把五米外的光线，就认为是平行光线。另外还存在度数影响，一般是1/5，是有20度的近视的，这是人为引入的。正常镜片是25度一换，所以20度也是可以忽略的。但是在3米位置检查时，就是1/3也就是33度，再往前走走，比如站在1米的位置，查视力表是1.0，但其实是有1/1，有100度的近视是被忽略的。所以在物理空间上，实体视力表与人眼要相距5米，离得越近误差越大。
因此，在一实施方式中，本申请的视力表是跟据人眼的视光特性来设计的，是按照眼睛分辨物体的最小视角设计。其中，视角：视线与显示屏的垂直方向所成的角度，即观察物体时从物体两端(上、下或左、右)引出的光线在人眼内交叉处所成的夹角。物体的尺寸越小，在站得越远时，则视角越小，通常而言，正常眼能区分物体上的两个点的最小视角约为1’。为了减小VR视力检测的误差，本实施例设置的在人眼前方显示的视力图标虚像，其与单个人眼之间的距离在视觉上等同于物理空间中的五米距离，此通过控制视力图标的大小来实现，避免视力图标过近而使得人眼就处于屈光调节的状态，而导致视力测量存在误差。
常见的如图2所示的E字母视力表，当观察者的眼睛能看清物理空间外5米远处的一个E字形的开口(缺口或开口的距离为1.5mm)的方向时，根据计算此缺口在视网膜像中的距离约为5μm，刚好是眼睛能够分辨事物的最小视角1’。此时便可确定该眼睛视力正常，定为1.0。当需要增大E字母缺口的大小，或是减小眼睛到视力表的距离后才能看清楚字母的话，那么则说明不能达到正常的视力水平了，也就是本申请中视力检测原理。
基于上述的视力检测原理，若人眼所注视的所述视力图标与提示注视的所述视力图标的方向一致，则继续显示同级视力值的其他方向的所述视力图标，若依次计算出的人眼所注视的多个所述视力图标与当前级别视力值的多个所述视力图标的方向均一致，则判断出当前所述液态镜头的屈光度与使用者的视力值匹配；
若当前的液态镜头的屈光度无法适应使用者的视力，即使用者无法正确判断视力图标的方形，则调整所述流体的填充量，直至使用者能清晰看到代表某一视力值的所述视力图标，然后重复上述的操作，显示同级视力值的其他方向的所述视力图标，若依次计算出的人眼所注视的多个所述视力图标与当前级别视力值的多个所述视力图标的方向均一致，将当前所述液态镜头的屈光度作为使用者的验光度数，并在后续的VR内容显示中使用该验光度数来矫正使用者的视力，以获得更好的VR体验。
在一实施方式中，提供一种注视方向的计算方法，可以应用在由多个红外摄像头拍摄的多个人眼图像中，计算包括：
提取所述人眼图像中的虹膜椭圆特征和眼角坐标，所述虹膜椭圆特征包括椭圆长轴、短轴、虹膜中心和倾角。
一般而言，虹膜轮廓可以近似为一个椭圆。虹膜椭圆特征包括虹膜中心坐标、长轴长度、短轴长度、旋转角度(倾角)等。这些特征可以用来计算虹膜轮廓的形状和位置。
根据同一人眼的多个所述人眼图像中的所述虹膜椭圆特征和所述眼角坐标，标定出当前人眼的虹膜中心、虹膜半径及虹膜法向量，以计算得到角膜曲率中心。
其中，在得到该虹膜椭圆特征和眼角坐标后，便可以对虹膜中心、虹膜半径及虹膜法向量等数据进行计算，然后计算得到角膜曲率中心，角膜曲率中心通常是虹膜中心在角膜表面的投影点。在拍摄同一人眼的红外摄像头为多个时，且各个红外摄像头按照不同方向排列，则在得到多个相对于人眼而言为多个方向的人眼图像后，由于各个红外摄像头的位置是已知的，经过标定计算等，角膜曲率中心的位置可以被确定。
根据虹膜中心和所述角膜曲率中心，得到人眼当前的所述注视方向。
其中，由于针对同一人眼的红外摄像头为多个，则可以先对多个红外摄像头建立统一的世界坐标系，可假定位于中心的红外摄像头的坐标系为统一世界坐标系，其它红外摄像头根据其与中心红外摄像头的相对关系通过旋转平移矩阵进行描述，基于相应的空间椭圆特征参数方程，分解虹膜椭圆特征，计算每个红外摄像头所采集的所述人眼图像中的虹膜中心和虹膜椭圆法矢量，并将其表示为三维空间的一条直线。
将每个红外摄像头的虹膜椭圆法矢量映射到世界坐标系中，可根据各个红外摄像头坐标系与统一的世界坐标系的变换矩阵进行计算。
基于世界坐标系下的每个红外摄像头对应的虹膜椭圆法矢量的相交情况，得到角膜曲率中心。具体的，计算统一世界坐标系下的角膜曲率中心，角膜曲率中心可以近似认为是统一世界坐标系下多个红外摄像头采集虹膜椭圆法矢量直线的交点，但实际情况下不可能理想的相交，因此可用其两两公垂线中点的平均值确定，即估算得到角膜曲率中心。
将世界坐标系下的角膜曲率中心映射到单独的红外摄像头的坐标系下，根据每个红外摄像头在其坐标系下的角膜曲率中心和虹膜中心，得到每个红外摄像头的视线预测方向，以得到注视方向。具体的，根据每个红外摄像头的视线预测方向，对其进行平均化处理或加权平均化处理，便可以得到视线预测方向，即注视方向。
在另一种实施方式中，如果红外摄像头分辨率低、清晰度差，且同一人眼只有单个红外摄像头，则直接从人眼图像中分析出虹膜中心会存在难度，因此本发明实施例中提供另一种分析注视方向的方法，如图3所示，该方法包括如下步骤S401-S403：
在步骤S401中，对所述人眼图像预处理，所述预处理至少包括畸变矫正、图像平滑和光归一化，获取预处理后的所述人眼图像中的虹膜图像，所述虹膜图像中包括人眼的虹膜椭圆特征。
具体地，使用低成本的小型红外摄像头拍摄的原始人眼图像具有大量噪声和低像素稳定性。因此，需要对人眼图像进行多次预处理以使图像适合后续分析。另外，可以预先设置好红外摄像头的值，提高拍摄亮度，如此，所得的人眼图像中，虹膜会表现为暗色内容，皮肤、背景、人眼中的非虹膜区域会表现为亮色内容。
首先，由于每个红外摄像头的硬件特性和制作方法的原因，可能会产生形变的图像，因此，需要预先获取摄像头参数(内参和外参)，对人眼图像进行反向形变，即畸变矫正。
畸变矫正后，可以采用双边滤波器对人眼图像进行平滑处理，保留包含虹膜椭圆特征的人眼区域的边缘，如下：
当中，其中p是目标像素，q是目标像素p周围的一个像素，Ip是目标像素的颜色，Iq是目标像素周围像素的颜色，s是目标像素周围的像素组，Gδs是根据距离加权的像素，Gδr是根据像素色差对像素进行加权的值。
另外，为了进一步消除人眼图像中的噪声，使得颜色均匀，可以进一步采用均值平移滤波器：
当中，Sh是一个半径为h的高维球体。使用均值平移滤波器来平滑图像中相似颜色的像素并保留人眼区域的边缘。
由于人眼距离屏幕较近，屏幕的亮度会影响图像光线，且不同时刻获得的图像阈值与二值化图像的阈值不同，因此进行光归一化，并利用像素的深度信息将人眼图像转换为灰度图像，以减少计算量。
另外，为了使得后续获取人眼图像中的虹膜轮廓的连续性，避免断点、碎片的出现，还可以对处理后的人眼图像进行腐蚀运算，以使得所述人眼图像内的暗部分放大；由于腐蚀操作会使得图像中的虹膜变形，因此对腐蚀运算后的所述人眼图像进行膨胀运算，以使得所述人眼图像内的亮部分放大，即尽可能使得图像中的虹膜恢复到正常大小，得到图像中深颜色(黑像素)的虹膜部分更加连续。
其中，在经历上述的预处理后，需要获取预处理后的人眼图像中的虹膜部分，使得虹膜中的瞳孔或虹膜中心能被确定，其执行以下运算：
去除预处理后的所述人眼图像中的非人眼区域背景，基于多阈值运算，使用高阈值获取去除背景的所述人眼图像的第一二值化图像，使用低阈值获取原始所述人眼图像的第二二值化图像，所述第一二值化图像和所述第二二值化图像中至少显示有人眼的虹膜区域，去除所述第一二值化图像和所述第二二值化图像的非虹膜背景，并将去除背景后的所述第一二值化图像和所述第二二值化图像融合，得到所述虹膜图像。
具体地，由于在拍摄人眼时，在采用单个红外摄像头和为了便于安装红外摄像头，红外摄像头的理想位置是位于两个人眼之间的内侧，红外摄像头指向人眼拍摄，且可能会拍摄到不属于人体的内容，也可以表述为拍摄到非人眼内容。为了提取虹膜椭圆特征，提取过程避免干扰，则非人眼内容需要被去除，即避免非人眼内容中的黑像素干扰到虹膜中的暗色部分(黑色像素)的提取。
随后，需要获取虹膜图像，由于可能的虹膜图像中包含远离光源的较亮的反射点和较暗的像素，因此，单一阈值不能适当地用于识别虹膜，以高阈值和低阈值作为区间，将虹膜图像的两个阈值二值化的结果结合起来，使得处理后的人眼图像中的黑色像素被保留，以及原始的人眼图像中的虹膜位置的黑色像素被保留，两者结合，使得成像的黑色图像为精准的虹膜图像。
在步骤S402中，基于边界轮毂分析，确定所述虹膜图像中的虹膜的边缘轮廓；将所述边缘轮廓拟合得到虹膜椭圆，将所述虹膜椭圆的中心坐标作为所述人眼图像的虹膜中心。
其中，上述获取的虹膜图像为黑像素和白像素组成的二值化图像，因此，可以对虹膜图像进行边界轮廓分析，得到一个不规则的类似椭圆的形状，然后对该轮廓进行拟合。由于椭圆是一个连续平顺的形状，因此拟合具体可以是将轮廓的缺口、弯折角度大的线段进行重新连接，拟合得到一个椭圆的虹膜形状，该虹膜椭圆的中心坐标即为原始人眼图像中的虹膜中心。
在步骤S403中，在人眼前方显示多个校正点，在人眼依次凝视各个所述校正点时，计算对应拍摄到的所述人眼图像的虹膜中心，将虹膜中心的坐标与所述校正点坐标关联映射，得到虹膜中心的坐标与所述校正点的校正关系，根据所述校正关系和虹膜中心，得到所述注视方向。
其中，计算出图像中的虹膜中心点坐标后，便可以评估虹膜中心与屏幕上注视点的坐标之间的相关性，再得到人眼当前的注视方向。具体的，评估的方法包括：在人眼前方显示多个校正点；在人眼依次凝视各个所述校正点时，计算对应拍摄到的所述人眼图像的虹膜中心；将虹膜中心的坐标与所述校正点坐标关联映射，得到虹膜中心的坐标与所述校正点的校正关系；根据所述校正关系和虹膜中心，得到所述注视方向。
当中，由于眼球运动是非线性的，可以采用二阶多项式的公式计算：
Sx＝a6x2+a5y2+a4xy+a3x+a2y+a1
Sy＝b6x2+b5y2+b4xy+b3x+b2y+b1
Sx和Sy是屏幕上的坐标点；x和y是摄像头捕捉到的人眼图像。通过a1～a6和b1～b6等12个未知参数进行转换，这些12个未知参数是通过九个校正点来获得的。在校准过程完成后，在后续的使用中，在计算得到虹膜中心后，便可以直接到注视方向在显示屏中的交点
基于上述的步骤S401-S403，可以采用单个红外摄像头，且通过低分辨率的人眼图像，便可以精准地分析出注视方向，具有低成本、响应快的优点。
基于同样的思路，如图5所示，本公开的示例性实施方式还提供了一种基于VR的自动验光配镜装置，包括：图像获取单元501，用于获取由红外摄像头拍摄的被红外光照亮的人眼图像；图像处理单元502，对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；显示单元503，用于在人眼前方显示视力表内容，所述视力表内容包括代表某一视力值的多个不同方向的视力图标，交互式提示使用者注视某一方向的所述视力图标；屈光调整单元504，所述屈光调整单元设置于人眼前方，其包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜；验光配镜控制单元505，用于交互式提示使用者透过所述屈光调整单元后注视某一方向的所述视力图标，判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述屈光调整单元的屈光度与使用者的视力值是否匹配，若不匹配，调整所述流体的填充量，以使得所述屈光调整单元的屈光度与使用者的视力值匹配。
基于上述的装置，根据眼动跟踪和交互式操作，人们可以方便地使用具有摄像头的VR眼镜来检测视力，让人们更容易地了解自己的视力情况，尤其针对于青少年而言，更利于促使青少年保护视力。
检测视力和矫正视力的过程是基于可以改变屈光度的液态镜头下进行的，因此，检测和矫正的效果会更加精准，并且，将确定屈光度的液态镜头作为使用者的专用配置，可以大大提高使用者的VR使用体验。
上述装置中各单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
基于同样的思路，本说明书实施例还提供一种基于VR的自动验光配镜设备，如图5所示。
基于VR的自动验光配镜设备可以为上述实施例提供的终端设备或服务器。
基于VR的自动验光配镜设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器601和存储器602，存储器602中可以存储有一个或一个以上存储应用程序或数据。其中，存储器602可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器602的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器601可以设置为与存储器602通信，在基于VR的自动验光配镜设备上执行存储器602中的一系列计算机可执行指令。基于VR的自动验光配镜设备还可以包括一个或一个以上电源603，一个或一个以上有线或无线网络接口604，一个或一个以上I/O接口(输入输出接口)605，一个或多个外部设备606(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口605进行。并且，设备还可以通过有线或无线接口604与一个或一个以上网络(例如局域网(LAN)通讯。
具体在本实施例中，基于VR的自动验光配镜设备包括有存储器602，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器602中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于VR的自动验光配镜设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器601执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取由红外摄像头拍摄的被红外光照亮的人眼图像；对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；于使用者人眼前方放置液态镜头和显示视力表内容，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜，所述视力表内容包括代表某一视力值的多个不同方向的视力图标；交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标；判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配；若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
基于同样的思路，本说明书实施例还提供一种智能眼镜，如图5所示，智能眼镜包括：至少两个红外摄像头701，分别指向左右两个人眼设置；至少两个可见光摄像头702，分别指向左右两个人眼前方设置；红外泛光发射器703，面向人眼设置；一个或多个处理器704；液态镜头706，液态镜头706包括填充有流体的容器、设置于容器上的可随着流体的填充量改变而改变屈光度的弹性薄膜；存储装置705，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器704实现如下方法：
获取由红外摄像头拍摄的被红外光照亮的人眼图像；对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；于使用者人眼前方放置液态镜头和显示视力表内容，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜，所述视力表内容包括代表某一视力值的多个不同方向的视力图标；交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标；判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配；若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图8所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于VR的自动验光配镜方法，其特征在于，所述方法包括：
获取由红外摄像头拍摄的被红外光照亮的人眼图像；
对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；
于使用者人眼前方设置液态镜头和显示视力表内容，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜，所述视力表内容包括代表某一视力值的多个不同方向的视力图标；
交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标；
判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配；
若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
2.根据权利要求1所述的基于VR的自动验光配镜方法，其特征在于，所述提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向，包括：
提取所述人眼图像中的所述虹膜椭圆特征和眼角坐标，所述虹膜椭圆特征包括椭圆长轴、短轴、虹膜中心和倾角；
根据同一人眼的多个所述人眼图像中的所述虹膜椭圆特征和所述眼角坐标，标定出当前人眼的虹膜中心、虹膜半径及虹膜法向量，以计算得到角膜曲率中心；
根据虹膜中心和所述角膜曲率中心，得到人眼当前的所述注视方向。
3.根据权利要求1所述的基于VR的自动验光配镜方法，其特征在于，在对所述人眼图像处理时，具体包括：
对所述人眼图像预处理，所述预处理至少包括畸变矫正、图像平滑和光归一化；
获取预处理后的所述人眼图像中的虹膜图像，所述虹膜图像中包括人眼的虹膜椭圆特征。
4.根据权利要求3所述的基于VR的自动验光配镜方法，其特征在于，所述获取预处理后的所述人眼图像中的虹膜图像，包括；
去除预处理后的所述人眼图像中的非人眼区域背景；
基于多阈值运算，使用高阈值获取去除背景的所述人眼图像的第一二值化图像，使用低阈值获取原始所述人眼图像的第二二值化图像，所述第一二值化图像和所述第二二值化图像中至少显示有人眼的虹膜区域；
去除所述第一二值化图像和所述第二二值化图像的非虹膜背景，并将去除背景后的所述第一二值化图像和所述第二二值化图像融合，得到所述虹膜图像。
5.根据权利要求3所述的基于VR的自动验光配镜方法，其特征在于，在获取预处理后的所述人眼图像中的虹膜图像后，所述方法还包括：
基于边界轮毂分析，确定所述虹膜图像中的虹膜的边缘轮廓；
将所述边缘轮廓拟合得到虹膜椭圆，将所述虹膜椭圆的中心坐标作为所述人眼图像的虹膜中心；
在人眼前方显示多个校正点；
在人眼依次凝视各个所述校正点时，计算对应拍摄到的所述人眼图像的虹膜中心；
将虹膜中心的坐标与所述校正点坐标关联映射，得到虹膜中心的坐标与所述校正点的校正关系；
根据所述校正关系和虹膜中心，得到所述注视方向。
6.根据权利要求1所述的基于VR的自动验光配镜方法，其特征在于，所述判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配，具体包括：
若人眼所注视的所述视力图标与提示注视的所述视力图标的方向一致，则继续显示同级视力值的其他方向的所述视力图标，若依次计算出的人眼所注视的多个所述视力图标与当前级别视力值的多个所述视力图标的方向均一致，则判断出当前所述液态镜头的屈光度与使用者的视力值匹配；
所述调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配，包括：
调整所述流体的填充量，直至使用者能清晰看到代表某一视力值的所述视力图标，将当前所述液态镜头的屈光度作为使用者的验光度数。
7.根据权利要求1所述的基于VR的自动验光配镜方法，其特征在于，所述判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，包括：
将当前的所述注视方向在所述红外摄像头中的三维坐标系与所述视力图标的平面坐标系建立映射，得到所述注视方向在所述视力图标的平面坐标系的落点；
判断所述落点是否在提示注视的所述视力图标的触发范围内，若在，则判断为一致；
其中，同一等级的不同的所述视力图标具有四个方向。
8.一种基于VR的自动验光配镜装置，其特征在于，包括：
图像获取单元，用于获取由红外摄像头拍摄的被红外光照亮的人眼图像；
图像处理单元，对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；
显示单元，用于在人眼前方显示视力表内容，所述视力表内容包括代表某一视力值的多个不同方向的视力图标，交互式提示使用者注视某一方向的所述视力图标；
屈光调整单元，所述屈光调整单元设置于人眼前方，其包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜；
验光配镜控制单元，用于交互式提示使用者透过所述屈光调整单元后注视某一方向的所述视力图标，判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述屈光调整单元的屈光度与使用者的视力值是否匹配，若不匹配，调整所述流体的填充量，以使得所述屈光调整单元的屈光度与使用者的视力值匹配。
9.一种智能眼镜，其特征在于，包括：
一个或多个红外摄像头，分别指向左右两个人眼设置；
红外泛光发射器，面向人眼设置；
显示屏；
液态镜头，所述液态镜头包括填充有流体的容器、设置于所述容器上的可随着所述流体的填充量改变而改变屈光度的弹性薄膜；
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下方法：
获取由红外摄像头拍摄的被红外光照亮的人眼图像；
对所述人眼图像处理，提取所述人眼图像中的虹膜椭圆特征，并计算得到人眼当前的注视方向；
于使用者人眼前方设置所述液态镜头和显示视力表内容，所述视力表内容包括代表某一视力值的多个不同方向的视力图标；
交互式提示使用者透过所述液态镜头后注视某一方向的所述视力图标；
判断人眼所注视的所述视力图标与提示注视的所述视力图标的方向是否一致，以判断出当前所述液态镜头的屈光度与使用者的视力值是否匹配；
若不匹配，调整所述流体的填充量，以使得所述液态镜头的屈光度与使用者的视力值匹配。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于VR的自动验光配镜方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227649.2A CN117045191A (zh) | 2023-09-21 | 2023-09-21 | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311227649.2A CN117045191A (zh) | 2023-09-21 | 2023-09-21 | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117045191A true CN117045191A (zh) | 2023-11-14 |
Family
ID=88662925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311227649.2A Pending CN117045191A (zh) | 2023-09-21 | 2023-09-21 | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117045191A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104615978A (zh) * | 2015-01-23 | 2015-05-13 | 清华大学 | 视线方向跟踪方法及装置 |
| CN105094337A (zh) * | 2015-08-19 | 2015-11-25 | 华南理工大学 | 一种基于虹膜和瞳孔的三维视线估计方法 |
| KR20160127206A (ko) * | 2015-04-23 | 2016-11-03 | 가천대학교 산학협력단 | 홍채영역에서의 속눈썹 제거 시스템 및 그 방법 |
| JP2017162233A (ja) * | 2016-03-10 | 2017-09-14 | アルプス電気株式会社 | 視線検出装置および視線検出方法 |
| CN108478184A (zh) * | 2018-04-26 | 2018-09-04 | 京东方科技集团股份有限公司 | 基于vr的视力测量方法及装置、vr设备 |
| CN113705298A (zh) * | 2021-03-12 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像采集方法、装置、计算机设备及存储介质 |
| WO2023088069A1 (zh) * | 2021-11-19 | 2023-05-25 | 北京眼神智能科技有限公司 | 虹膜识别方法、装置、存储介质及设备 |
| US20230176401A1 (en) * | 2020-07-07 | 2023-06-08 | Samsung Electronics Co., Ltd. | Device and method for correcting user's vision and performing calibration |
-
2023
- 2023-09-21 CN CN202311227649.2A patent/CN117045191A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104615978A (zh) * | 2015-01-23 | 2015-05-13 | 清华大学 | 视线方向跟踪方法及装置 |
| KR20160127206A (ko) * | 2015-04-23 | 2016-11-03 | 가천대학교 산학협력단 | 홍채영역에서의 속눈썹 제거 시스템 및 그 방법 |
| CN105094337A (zh) * | 2015-08-19 | 2015-11-25 | 华南理工大学 | 一种基于虹膜和瞳孔的三维视线估计方法 |
| JP2017162233A (ja) * | 2016-03-10 | 2017-09-14 | アルプス電気株式会社 | 視線検出装置および視線検出方法 |
| CN108478184A (zh) * | 2018-04-26 | 2018-09-04 | 京东方科技集团股份有限公司 | 基于vr的视力测量方法及装置、vr设备 |
| US20230176401A1 (en) * | 2020-07-07 | 2023-06-08 | Samsung Electronics Co., Ltd. | Device and method for correcting user's vision and performing calibration |
| CN113705298A (zh) * | 2021-03-12 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 图像采集方法、装置、计算机设备及存储介质 |
| WO2023088069A1 (zh) * | 2021-11-19 | 2023-05-25 | 北京眼神智能科技有限公司 | 虹膜识别方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 刘念;苏杭;郭纯宏;周静;: "基于Hough变换圆检测的人眼定位方法改进", 计算机工程与设计, no. 04, 16 April 2011 (2011-04-16), pages 1359 - 1362 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10386645B2 (en) | Digital therapeutic corrective spectacles | |
| EP3453316B1 (en) | Eye tracking using eyeball center position | |
| CA3039116C (en) | Method and apparatus and computer program for establishing a representation of a spectacle lens edge | |
| US9390326B2 (en) | Systems and methods for high-resolution gaze tracking | |
| EP3490433B1 (en) | Wearable device having a display, lens, illuminator, and image sensor | |
| US20170249509A1 (en) | Adaptive camera and illuminator eyetracker | |
| CN110377385B (zh) | 一种屏幕显示方法、装置及终端设备 | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| ES2936093T3 (es) | Fiabilidad de los datos de seguimiento de la mirada para el ojo izquierdo y derecho | |
| US20140152956A1 (en) | System for the measurement of the interpupillary distance using a device equipped with a display and a camera | |
| EP3649577B1 (en) | Application to determine reading/working distance | |
| EP3453317B1 (en) | Pupil radius compensation | |
| CN114025659A (zh) | 眼睛的屈光不正确定 | |
| JP2022538669A (ja) | 眼追跡待ち時間向上 | |
| Mestre et al. | Robust eye tracking based on multiple corneal reflections for clinical applications | |
| US20220125294A1 (en) | Systems and methods for visual field testing in head-mounted displays | |
| CN115019380A (zh) | 基于眼部图像的斜视智能识别方法、装置、终端及介质 | |
| CN109917908B (zh) | 一种ar眼镜的图像获取方法及*** | |
| CN117045191A (zh) | 基于vr的自动验光配镜方法、装置、智能眼镜及存储介质 | |
| US20220125297A1 (en) | Device calibration via a projective transform matrix | |
| US20220390771A1 (en) | System and method for fitting eye wear | |
| CN115039130A (zh) | 视距推测方法、视距推测装置以及视距推测程序 | |
| CN117137427A (zh) | 一种基于vr的视力检测方法及装置、智能眼镜 | |
| CN113116292B (zh) | 基于眼部外观图像的眼位测量方法、装置、终端和设备 | |
| CN117058749B (zh) | 一种多摄像头透视方法、装置、智能眼镜及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |