CN109804302B - 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序 - Google Patents

用于确定眼镜镜片边缘的表示的方法和设备及计算机程序 Download PDF

Info

Publication number
CN109804302B
CN109804302B CN201780063600.4A CN201780063600A CN109804302B CN 109804302 B CN109804302 B CN 109804302B CN 201780063600 A CN201780063600 A CN 201780063600A CN 109804302 B CN109804302 B CN 109804302B
Authority
CN
China
Prior art keywords
spectacle
image
lens
data
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780063600.4A
Other languages
English (en)
Other versions
CN109804302A (zh
Inventor
C.纽温休斯
O.施瓦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Vision International GmbH
Carl Zeiss AG
Original Assignee
Carl Zeiss Vision International GmbH
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57914863&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109804302(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Carl Zeiss Vision International GmbH, Carl Zeiss AG filed Critical Carl Zeiss Vision International GmbH
Publication of CN109804302A publication Critical patent/CN109804302A/zh
Application granted granted Critical
Publication of CN109804302B publication Critical patent/CN109804302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024—Methods of designing ophthalmic lenses
    • G02C7/028—Special mathematical design techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B13/00—Machines or devices designed for grinding or polishing optical surfaces on lenses or surfaces of similar shape on other work; Accessories therefor
    • B24B13/06—Machines or devices designed for grinding or polishing optical surfaces on lenses or surfaces of similar shape on other work; Accessories therefor grinding of lenses, the tool or work being controlled by information-carrying means, e.g. patterns, punched tapes, magnetic tapes
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00—Assembling; Repairing; Cleaning
    • G02C13/003—Measuring during assembly or fitting of spectacles
    • G02C13/005—Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024—Methods of designing ophthalmic lenses
    • G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Eyeglasses (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和右眼镜镜片（29）的边缘（26）的表示的计算机实施方法。根据本发明，为此执行以下步骤：提供关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)，计算从图像数据b(x)导出的信息数据I(x)，计算将信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，其中眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，并且通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线。

Description

用于确定眼镜镜片边缘的表示的方法和设备及计算机程序
技术领域
本发明涉及一种用于确定眼镜配戴者的至少一个眼镜镜片的边缘的表示的计算机实施方法及设备。此外，本发明涉及一种计算机程序，可以用该计算机程序来执行上述方法。本发明还涉及一种用于将左或右眼镜镜片定心到眼镜镜架中的方法、一种用于将左或右眼镜镜片磨配到眼镜镜架中的方法、以及一种用于生产左或右眼镜镜片的方法和一种用于生产眼镜的方法。
背景技术
本发明将眼镜镜片的边缘的表示理解为在标准EN ISO 13666:2012（D/E）中在第13.1节中提及的眼镜镜片的支承边缘的表示。
眼镜镜片的边缘的表示是数据集，根据该数据集，必要时基于描述眼镜镜片的额外变量，可以明确确定眼镜镜片的背向眼镜配戴者的支承边缘的三维曲线。眼镜镜片的边缘的表示例如可以是由眼镜镜片的边缘在图像检测装置的图像传感器的像平面中的投影所环绕的区域，眼镜镜片投影到该区域中以用于图像检测。
在全框眼镜的情况下，眼镜镜片的支承边缘对应于眼镜镜架内边缘。在半框眼镜的情况下，眼镜镜片的支承边缘一方面应被理解为眼镜镜片的与眼镜镜架内边缘相对应的边缘，并且被理解为未连接到眼镜镜片镜架上的镜片外边缘。无框眼镜中的眼镜镜片的支承边缘是镜片外边缘。
为了将眼镜镜片正确地装配到眼镜镜架中，一方面有必要确定所谓的定心参数，以便可以将镜片的光学中心与对应眼睛的视轴对准，以便由此例如了解关于瞳距的信息以及关于瞳孔相对于眼镜镜架的高度的信息。另一方面，有必要了解眼镜镜片的由眼镜镜架预给定的支承边缘，眼镜镜片应被接纳在该眼镜镜架中。
除了瞳距的信息以及关于瞳孔相对于眼镜镜架的高度的信息之外，术语“定心参数”尤其还包括以下变量：单眼瞳距PD、根据参考点要求和/或根据眼枢轴点要求的角膜顶点距离HS、单眼定心点距离、定心点坐标、镜片距离、定心点的偏心、镜片高度与宽度、镜片中心距离、眼镜镜片前倾（Brillenglasvorneigung）α、镜架镜片角β、磨配高度（Einschleifhöhe）。
这些定心参数通常由眼科配镜师确定。重要的定心参数例如在标准EN ISO13666:2012（D/E）中进行了定义并且可以通过配镜师和受试者彼此相对站立或坐着的来确定，其中受试者戴上他选择的具有其中镶嵌了眼镜镜片的镜架。要求受试者看向远处，并且接着配镜师根据目测在镜片上或在带横隔线的接触膜（Kontaktstrichfolie）上用十字绘制他在相对看时识别出的视角。接着，这个十字（定心十字）确定待安装到镜架中的眼镜镜片的光学中心点的位置。该方法针对受试者的每只眼睛单独地被执行。以这种方式确定的定心十字的距离是瞳距PD。
然而，为了确定定心参数，现在还使用自动测量***。例如，在WO 01/84222 A1中描述了这样的测量***。该***包含以高度可调方式容纳在柱上的数字摄像机，其物镜与反射镜和光源一起布置在壳体的前面的区域中。特别地，该***能够测量距离并且检测尺寸，这些针对眼镜镜片的磨配都必须被考虑。在这个***中，存在与数字摄像机连接的计算机，该计算机从具有眼镜镜架并且具有固定在眼镜镜架上的卡钳的眼镜配戴者的图像借助图像评估来确定眼镜镜架的定心参数。
对于为最终客户提供建议的眼科配镜师，重要的是，可以尽可能容易、快速且可靠地执行定心参数确定。为了眼科配镜师可以为最终客户提供高质量建议，因此本身没有错误的并且可以快速执行的工作流程是让人感兴趣的。
在D. Borza等人, “Eyeglasses Lens Contour Extraction from FacialImages Using an Efficient Shape Description [使用有效形状描述来从面部图像中进行眼镜镜片轮廓提取]”, Sensors [传感器], 第13卷, 第10期, 第13638 - 13658页(2013)中，描述了开头提及类型的用于在所检测的眼镜配戴者的图像中确定眼镜镜片的边缘的计算机实施方法，其中将位于眼镜镜片的边缘上的像点的点集合建模为基于所谓的傅里叶描述符的定义的数学函数的叠加。
这些数学函数描述不同的眼镜边缘形状。在此被用于对眼镜镜片的边缘建模的这些函数是随机的，即，是根据随机原理从无数个可能函数中选择的。基于所选择的函数来描述眼镜镜片的边缘的模型是随机的，即，是根据随机原理从可能函数的有限集合中选择的。接着将根据所选择的函数来描述的用于眼镜镜片的边缘的模型与在边缘检测方法中确定的眼镜镜片边缘进行比较、并且进行评估。
在C. Nieuwenhuis等人的Spatially Varying Color Distributions forInteractive Multi-Label Segmentation [用于交互式多标签分割的空间变化色彩分布], IEEE Transactions on Pattern Analysis and Machine Intelligence[IEEE模式分析和机器智能汇刊], IEEE Computer Society [IEEE计算机学会], 美国, 第35卷, 第5期, 第1234 - 1247页 (2013)中，描述了一种用于在数字图像中分割不同区域的方法。在此，评估数字图像中的像点的色彩。为此，操作者在计算机上标记应被分割的不同图像区域，例如用计算机鼠标手动地标记。然后通过基于条件概率的成本函数的优化来分割不同图像区域。为此，根据关于手动标记的图像区域的色彩信息，对于图像的每个像点，使像点位于确定图像区域中的条件概率最大化。同时，分割的区域应尽可能紧凑。
在A. Fernandez等人, “Glasses detection on real images based on robustalignment [基于鲁棒对准在真实图像上的眼镜检测]”, Machine Vision andApplications[机器视觉和应用], Springer Verlag [Springer出版社], 第26卷, 第4期, 第519-531页 (2015)中，披露了一种用于评估人照片的方法，以便在此识别人是否是眼镜配戴者。这种方法检测不变的面部特征并由此计算眼睛周围的区域。在该区域内，根据色彩来确定特征向量，借助该特征向量将人分类为眼镜配戴者或非眼镜配戴者。
从C. Wu等人, Automatic Eyeglasses removal from Face Images [从面部图像中自动移除眼镜]，IEEE Transactions on Pattern Analysis and MachineIntelligence[IEEE模式分析和机器智能汇刊], IEEE Computer Society [IEEE计算机学会], 美国, 第26卷, 第3期, 第332-336页 (2004) 中披露了一种用于从人数字照片中移除眼镜和眼镜镜片的方法。该方法从存储了具有和没有眼镜的人的数据库中学***移）来检测镜架的轮廓。
DE 10 2011 115 239 A1描述了在眼镜配戴者的数字图像中使用包含眼镜镜片边缘的曲线的眼镜镜片特定的***数据集来确定眼镜镜片的边缘的轮廓。
发明内容
本发明的任务是说明应被接纳在眼镜镜架中的眼镜镜片的边缘的精确表示，例如以便在确定定心参数时或在将左或右眼镜镜片定心到眼镜镜架中时、或者在将左或右眼镜镜片磨配到眼镜镜架中时、尤其在生产眼镜镜片时或在生产眼镜时考虑该信息。
为了解决这个任务，提出在权利要求1和权利要求21中所说明的特征组合。由从属权利要求得出本发明的有利的设计方案和改进方案。
本发明将在专业领域中也被称为所谓的目标函数、能量函数、损失函数（lossfunction）、效用函数（utility function）或适应度函数（fitness function）的成本函数E(u)理解为以下映射：该映射将其自变量u的任何分配映射到具有成本或标量物理变量、诸如能量或距离的重要度的标量值E(u)上。
在本发明的意义上，优化成本函数E(u)应被理解为选择成本函数E(u)的最佳自变量u，在该自变量的情况下成本函数E(u)满足以下目标标准：该成本函数采取至少局部极值、即至少局部最大或最小的值。
本发明将从图像数据b(x)导出的信息数据I(x)理解为关于可以根据图像数据b(x)来计算的信息（例如色彩模型、边缘图像、色彩概率分布、图像中的对象、诸如眼睛、镜像、对称轴、以及视线）的数据。尤其关于用于检测图像数据b(x)的相机的校准信息可以进入信息数据I(x)根据图像数据b(x)的计算。
本发明将用于优化成本函数的确定性优化方法理解为如下优化方法，该优化方法即使在使用相同的起始值重复时也始终导致成本函数的相同自变量。
如果存在计算成本函数的全局或局部最优值的确定性算法，则成本函数是可确定性优化的，其中，成本函数在全局或局部最优值时所计算出的自变量形成优化问题的可用解，即，与对优化问题的解提出的最低质量要求相对应并且因此可以被用作通过优化该成本函数而获得的合理结果的解。
与随机优化方法相比，确定性优化方法没有随机影响、并且在相同起始值时每次计算出相同的解。因此，确定性优化方法从相同起始值开始在重复时始终得出相同的结果。因此，与随机优化方法不同，确定性优化方法更直接地、可靠地、并且（取决于参数空间的大小）通常也更快地导致解。它们在运行时间和/或存储器要求方面是有效的。确定性优化方法通常适合于图形卡上的实时实施。
与此相对，随机优化方法通常需要长的计算时间，并且在相同的输入和重复的执行时导致解值的分布，因为随机影响起作用。从这种分布最终必须选择一个元素作为最佳元素，例如所述分布的预期值或中值。这种类型的算法通常不满足关于运行时间和/或存储器要求所提出的问题的效率要求。
对于眼科配镜师重要的是，在确定定心参数时，具有尽可能快速且没有错误的工作流程，以便获得高质量建议，该建议关注的是最终客户并且不受技术过程的支配。在这方面，需要这些自动方法的一种尽可能无干扰的运行模式（鲁棒性）。这可以用数字图像分析和机器学习的方法来实现。
发明人已经认识到，用数字图像分析的方法可以实现以相对于错误影响非常鲁棒的方式不仅以高精度而且以高可靠性确定与预给定的眼镜镜架相匹配的眼镜镜片的边缘。
根据本发明，执行以下步骤来确定眼镜配戴者的眼镜镜片的或左眼镜镜片和右眼镜镜片的边缘的表示：
提供关于具有所配戴的眼镜镜架的眼镜配戴者的图像数据b(x)。
计算从图像数据b(x)导出的信息数据I(x)。
计算将信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，其中眼镜镜片数据u(x)描述眼镜镜架中保持的至少一个眼镜镜片的空间范围，并且接着通过优化该成本函数E(u)来设定该眼镜镜片的或该左眼镜镜片和该右眼镜镜片的边缘的曲线。
在该成本函数E(u)中可以包含从数据中通过机器学习到的至少一个模型。特别地，可以通过确定性优化所述成本函数来设定该眼镜镜片的或该左眼镜镜片和该右眼镜镜片的边缘的曲线。
根据本发明，成本函数E(u)可以是加权能量项之和。通过在以下约束条件下优化成本函数E(u)：与色彩模型或眼镜镜片模型的偏差被处罚并且对眼镜镜片或眼镜镜架处的镜像加以考虑，可以实现与眼镜镜架相匹配的眼镜镜片的边缘的表示的高准确性。成本函数的优化中的约束条件还可以是对眼镜镜片的边缘的表示所提出的2D或3D对称条件。有利的是，成本函数E(u)的优化仅在由检测到的面部特征设定的感兴趣区域（Region ofInterest）内进行。
应注意的是，在本发明的范围内可以以多种方式将成本函数E(u)最小化，例如通过连续方法（原始-对偶方法）、图形-理论方法、离散图形切割方法、主动轮廓模型、梯度下降方法、单纯形方法等。连续方法由以下事实定义：它们将图像描述为连续函数，因此成本函数是在连续数学空间上定义的。基于图像数据u(x)中的像点（像素基础）将成本函数离散化优选地在优化之前的最后步骤中才进行。与此相反，所谓的离散优化方法直接在像点的平面（像素平面）上以图形的形式定义优化函数。连续方法相对于离散方法具有以下优点：它们避免边缘处的伪像、并且可以更容易地并行化，这使得能够在图形卡上实现快速计算。
所计算出的从图像数据b(x)导出的信息数据I(x)可以包括边缘信息图像g(x)，该边缘信息图像是根据所检测的图像数据b(x)借助边缘检测算法而确定的。以这种方式可以在眼镜配戴者的面部的图像中识别眼镜镜架。该边缘检测算法例如可以包含边缘检测器。这样的边缘检测器使得能够在图像数据b(x)中检测与图像检测装置的图像传感器的像平面中的光敏像素相对应并且位于眼镜镜架的边缘上的像点。在此对于每个像点说明表示边缘的概率的值，该像点以该概率属于眼镜边缘。边缘检测器还可以是所谓的一般边缘检测器，其检测任何类型的图像边缘，或者其可以已借助机器学习方法专门针对眼镜边缘进行了训练。以这种方式，例如可以在眼镜镜架边缘与非眼镜镜架边缘之间、或在眼镜镜架外边缘与眼镜镜架内边缘之间进行区分。
该边缘检测算法中的边缘检测器可以尤其是来自以下组的边缘检测器：梯度、色彩梯度、坎尼（Canny）边缘检测器、定向滤波器、索贝尔（Solbel）滤波器。可能的是，边缘检测算法针对边缘检测而访问具有滤波器、诸如伽柏（Gabor）滤波器或经学习的滤波器的集合的滤波器库。还有利的是，边缘检测算法被构成为自学习算法。
发明人已经发现，借助于所谓的机器学习可以实现，与眼镜镜架相匹配的眼镜镜片的边缘的确定可以以相对于误差影响非常鲁棒的方式不仅以高准确性而且以高可靠性来确保。
本发明的构思在于，所计算出的从图像数据b(x)导出的信息数据I(x)包括色彩信息图像f(x)，该色彩信息图像是根据所检测的图像数据b(x)借助评估图像数据b(x)的色彩的色彩评估算法而确定的。该成本函数E(u)可以尤其是边缘检测成本项E边缘(u)和色彩评估成本项E色彩(u)的加权和。
这样的色彩评估算法用于将对应于位于眼镜镜片上的点的像点与对应于位于眼镜镜架上的点或位于眼镜镜架的背景中的点的像点进行区分。为此，色彩评估算法可以使用色彩模型、例如皮肤色彩模型，该色彩模型将对应于眼镜配戴者的面部上的点的像点与对应于位于眼镜镜架上的点的像点分开。还有利的是，在该算法中用低通滤波器使图像显著地平滑，以便以这种方式获得对没有眼镜镜架的眼镜配戴者的面部的近似。接着，这种近似可以形成位于眼镜镜片内的像点的色彩模型。为了获得对没有眼镜镜架的眼镜配戴者的面部的近似，也可能的是，该算法包含用于基于关于没有眼镜镜架的人的实例数据进行机器学习的例程，或借助基于具有没有眼镜的面部的多个图像学到的所谓的主成分分析根据关于具有眼镜镜架的眼镜配戴者的图像数据b(x)来生成数据集的例程，该数据集对应于眼镜配戴者的面部的图像或没有眼镜镜架的眼镜配戴者的面部的一部分的图像。
在色彩评估算法的范围内，还可以提供从RGB色彩空间到将亮度与色彩分开的色彩空间的色彩空间变化，例如到YCbCr空间或HSV色彩空间的变化。这种措施使得能够相对独立于照明来工作。应注意的是，在本发明的范围内，也可以从与多个图像相对应的多个图像数据b(x)来学习色彩空间。此外，应注意的是，在本发明的范围内，可以提供的是，根据图像数据b(x)中的已知皮肤色彩点、例如根据对应于鼻梁上的点的像点来限定适合的皮肤色彩空间。在利用此类色彩模型的色彩评估算法中，接着有利地提供的是，评估所检测的图像数据中的像点与眼镜配戴者的眼睛的距离的信息，以便考虑以下内容：靠近眼镜配戴者的眼睛的像点与图像数据b(x)中离眼镜配戴者的眼睛具有大距离的像点相比以更高概率位于被接纳在眼镜镜架中的眼镜镜片的区域中。为此，例如，可以在色彩评估算法中提供距离函数例程，该距离函数例程针对每个像点、即图像检测装置的图像传感器的每个像素来计算与位于眼镜配戴者的眼睛上的像点、即对应图像传感器的像素的最短距离。所确定的该最短距离越大，则在成本函数的色彩项中应用的成本越高，因为像素与镜片区域或镜片边缘的归属性变得更不可能。
本发明的优选实施方式提供，选择凸函数作为成本函数E(u)以找到所寻求的眼镜镜片数据u(x)。
在当前情况下，如在分析中，凸函数被理解为实值函数，其图形位于其两个点的每个连线线段之下。这相当于，函数的上图像、即图形之上的点的集合形成所谓的凸集。
本发明特别是通过成本函数E(u)是凸成本函数项之和而实现成本函数E(u)的凸性。例如，成本函数可以由凸色彩成本项E 色彩 (u(x))和凸边缘成本项E 边缘 (u(x))形成，该凸色彩成本项将图像数据b(x)的色彩与眼镜镜片数据u(x)相关并且借助色彩模型来评估该色彩，该凸边缘成本项是图像数据b(x)中的图像边缘与眼镜镜片数据u(x)、或与眼镜镜片28或两个眼镜镜片28、29的由眼镜镜片数据b(x)的导数表示的边缘26的相关性。
成本函数的凸性带来三个大的优点：通常，函数具有全局或局部最优值。因此，优化方法通常仅保证找到局部最优值，而不是全局最优值。而在凸函数的情况下总是找到全局最优值，因为不存在局部最优值。在凸成本函数的情况下，可以使用任意起始值（例如，u(x) = 0 = 不存在眼镜镜片），因为该方法总是收敛到全局最优值。因此，凸成本函数是可确定性优化的。特别地，凸成本函数可借助简单的确定性算法（诸如梯度下降算法）来进行全局优化。与此相对地，在非凸函数的情况下需要接近全局最优值的良好起始值，以便获得优化问题的可用的良好解作为确定性算法的结果。
有利的是，计算从图像数据导出的信息数据I(x)包括使用以下算法来确定镜像信息数据s(x)：该算法用于识别该眼镜镜架处、和/或接纳在该眼镜镜架中的眼镜镜片的镜像。在此有利的是，将该算法设计成可以将眼镜镜片上的镜像与眼镜镜架上的镜像进行区分。这可以例如通过检测该图像中的特别明亮的区域并且随后分析所检测到的镜像区域的形状来完成。以此方式，同样可以提高眼镜镜片的边缘的所确定的表示的准确性。如果色彩评估算法和边缘检测器考虑根据图像数据b(x)计算出的镜像信息数据s(x)，则对于方法的准确性也是有利的，因为图像中的镜像具有强的干扰边缘，这些边缘可能容易与镜片边缘混淆。
计算从图像数据b(x)导出的信息数据I(x)可以包括：利用用于识别面部特征的算法来确定面部特征信息数据m(x)。
本发明的构思也在于，将该算法设计用于识别以下组中的一个或多个面部特征：眼睛、瞳孔、眉毛、鼻子、嘴、或面部轮廓。特别地，可能的是，该色彩评估算法和/或该边缘检测算法考虑根据该图像数据b(x)计算出的面部特征信息数据m(x)。由于眼镜配戴者的眼睛和眉毛也可以在基于所检测的图像数据b(x)的图像中引起边缘，这些边缘干扰眼镜镜片的边缘的确定，因此有利的是，边缘检测算法还考虑在基于所检测的图像数据b(x)的图像中的由眼镜配戴者的眼睛或眉毛引起的边缘，其方式是评估根据图像数据b(x)计算出的面部特征信息数据m(x)。
为了确定面部、和眼镜镜架、即眼镜在图像中所处的所谓的感兴趣区域，面部特征的检测可能是有帮助的。在这种情况下，面部特征是例如以下组中的一个或多个特征：眼睛、瞳孔的位置、眉毛、鼻子、嘴、和/或面部的面部轮廓。基于一个或多个特征，可以计算在哪个区域中寻找眼镜边缘。此外，利用眼睛已知在任何情况下都位于镜片内的点。
为了计算从图像数据b(x)导出的信息数据I(x)，可以利用以下算法来提供眼镜镜片形状信息数据di(x)的确定：该算法根据提供给该算法的眼镜镜片模型或根据提供给该算法的多个眼镜镜片形状，将关于所检测的图像数据位于眼镜镜片上的概率的表示概率的图或参数模型说明为眼镜镜片形状信息数据di(x)。特别地，可以提供的是，计算从图像数据b(x)导出的信息数据I(x)包括利用以下算法来确定眼镜镜片形状信息数据di(x)：该算法根据提供给该算法的眼镜镜片模型或根据提供给该算法的多个眼镜镜片形状将可接纳在该眼镜镜架中的眼镜镜片的2D形状或3D形状说明为眼镜镜片形状信息数据di(x)。
本发明的构思例如是，借助由手预分割的眼镜镜片的实例来确定用于眼镜镜片的形状的模型。这样的模型可以是概率图，该概率图针对所检测的图像数据b(x)中的每个像点说明：与该像点相对应的点位于眼镜镜片内的可能性有多大。在此，有利的是根据眼睛位置来将所分割的实例定心、并使它们沿主轴或其他轴对齐。然而，还可能的是，例如根据作为图像视图中的区域的眼镜镜片、或者根据对应于眼镜镜片轮廓的点，在参数模型中估计眼镜镜片的形状。接着，可以优化这些模型的参数。此外，应注意的是，还可以使用模型作为优化中的辅助条件，例如作为以下辅助条件：最终轮廓位于先前学到的模型空间内，或者通过轮廓与特征空间内的最接近元素的偏差借助成本函数中的额外成本来处罚。不言而喻，代替从实例中学习模型，在本发明的范围内还可以定义对应的模型，例如基于例如3D坐标形式或2D坐标形式的所谓的***数据的模型，这些模型借助扫描眼镜镜架中的镜架内边缘的曲线的跟踪装置来提供。
有利的是，该色彩评估算法考虑根据图像数据b(x)计算出的眼镜镜片形状信息数据di(x)。所计算出的从图像数据b(x)导出的信息数据I(x)还可以包括借助鼻梁中心检测算法确定的鼻梁中心M。此外可能的是，所提供的关于该眼镜配戴者的图像数据b(x)基于从至少两个不同视角记录的、具有或没有相关的校准信息的图像。
所计算出的从图像数据b(x)导出的信息数据I(x)还可以包括借助三角测量算法根据图像数据b(x)或根据所分割的眼镜镜片数据u(x)确定的深度图数据t(x)。在此有利的是，成本函数E(u) 在成本函数项方面作为约束条件考虑：接纳在眼镜镜架中的左和右眼镜镜片彼此对称。这可以例如通过以下方式来发生：成本函数关于与图像检测装置的不同记录方向相对应的图像评估眼镜镜片数据u(x)中的以立体条件成像到彼此上的点，例如其方式是眼镜配戴者的面部的3D点、即具有深度信息的点在多个图像中成像，使得在基于图像数据b(x)的图像中的对应点在每个图像中被分配给眼镜镜片（u(x) = 1）或位于眼镜镜片后方的背景（u(x) = 0）、或者在每个图像中分配给眼镜边缘。
应注意的是，用于找到所寻求眼镜镜片数据u(x)的成本函数还可以包含对称性成本项E sym (u(x))，该对称性成本项将图像数据b(x)中包含的对称性与眼镜镜片数据u(x)相关联。
本发明的构思在于，为此使用眼镜镜架的鼻梁中心M的信息，以便定义眼镜镜片的3D镜面。在正面记录的情况下，鼻梁中心M还使得能够将左和右眼镜镜片的眼镜镜片数据u(x)彼此适配并且针对该适配制定对称性约束条件（对称性约束）。还可以估计鼻梁中心M，其方式是计算眼镜镜片的左和右镜片内边缘的中心。
初始地，鼻梁中心M可以例如借助于检测到的瞳孔中心之间的中心点、鼻梁位置、或这两个特征的加权组合来确定。
如果仅存在正面记录而没有进一步的记录或额外3D信息，则仍然可以制定2D平面中的对称性约束。为此，可以估计镜像轴，例如作为鼻梁中心、作为眼镜配戴者的两只眼睛之间的中垂线、或者作为初始解或中间解的与镜片边缘外切的两个矩形或平行四边形的内边缘之间的中心线。在优化过程中还可以适配所述中心线。然后，可以借助于匹配方法来计算镜像的右或左眼镜片到分别另一个眼镜镜片上的最佳可能映射。接着，可以根据映射到彼此上的镜片区域或镜片轮廓的偏差来计算惩罚项。惩罚项是在成本函数中引起额外成本的项，在这种情况下针对非对称解。
如果受试者未完全居中地位于相机前方，则在正面记录的情况下可能导致图像中的透视失真，并且因而导致图像中这两个镜片的非对称表示。然而，对称性条件仍可以被用作近似，在这种情况下优选地具有较小的加权因子。
替代地，如果仅存在正面记录，则还可以假设在空间中镜片的确定的深度和/或形状和/或曲率，以便以这种方式来获得对称性条件的3D信息。
通过利用从不同视角记录眼镜配戴者的具有由其配戴的眼睛镜架的面部的图像检测装置来检测图像数据b(x)，并且通过关于这些图像检测装置的校准信息是已知的，可以通过关于具有眼镜镜架的受试者的面部的三角测量来计算点云形式的上文提及的深度图t(x)。根据这个点云，接着可以估计3D眼镜镜片的形状，例如作为对眼镜镜片的真实轮廓的近似中的平面。然后，根据这些平面，借助对成本函数所提出的镜面约束条件（或惩罚项），可以确保眼镜镜架在三个维度中的对称性。在本发明的范围内，这些3D信息接着还可以被用于计算定心参数。
因此，根据本发明的用于通过借助优化例程将成本函数最小化来计算眼镜镜片的边缘、即眼镜轮廓）的算法可以包含来自如下组的一个或多个例程：边缘检测例程、色彩评估例程、镜像例程、眼镜镜片位置例程、三角测量例程、鼻梁中心识别例程、面部特征识别例程、用于估计眼镜镜片的3D曲线的例程。
应注意的是，将信息数据I(x)与眼镜镜片数据u(x)相关联的成本函数E(u)可以包含根据数据通过机器学习的至少一个模型。
根据数据通过机器学习的模型在此应被理解为如下映射，该映射的参数借助基于实例数据的集合的机器学习算法自动地被学习或适配，使得该映射尽可能好地描述实例数据（训练数据）、并且还推广到新的实例（验证数据）。
本发明还延伸至一种具有程序代码的计算机程序，该程序代码在被加载至计算机***中并且被执行时被设计用于实施根据以上权利要求之一所述的方法。
根据本发明的用于确定用于眼镜配戴者的眼镜镜片的边缘的曲线的设备包含至少一个图像检测装置以用于提供关于具有所配戴的眼镜镜架的眼镜配戴者的图像数据b(x)，并且具有：用于计算从图像数据b(x)导出的信息数据I(x)的装置；用于计算将信息数据I(x)与眼镜镜片数据u(x)关联的成本函数E(u)的装置，其中眼镜镜片数据u(x)描述保持在该眼镜镜架中的至少一个眼镜镜片的空间范围；以及用于通过优化该成本函数E(u)来设定该眼镜镜片的边缘的曲线的装置。
本发明此外延伸至一种用于将左眼镜镜片和/或右眼镜镜片定心到眼镜镜架中的方法。
为了将眼镜镜片正确地装配在眼镜镜架中，必须将眼镜镜片定心，即，必须使镜片的光学中心与眼镜配戴者的眼睛的视轴对准，以便眼镜镜片为了眼镜配戴者的视力调解最佳可能的视力。
为了将眼镜镜片定心，必须知道定心参数，例如关于瞳距的信息和关于瞳孔相对于眼镜镜架的高度的信息。另外，为了将眼镜镜片定心，重要的是，眼镜镜片的光学中心按比例相对于眼镜镜片所***的眼镜镜架的下或上边缘的高度是已知的。
在根据本发明的用于将左眼镜镜片和/或右眼镜镜片定心到眼镜镜架中的方法中，在步骤（i）中关于眼镜镜片确定定心参数，其中，确定这些定心参数包括如上文所说明地确定眼镜镜片的边缘的表示；并且在另一步骤（ii）中利用在前一个步骤（i）中确定的定心参数将眼镜镜片定心到眼镜镜架中。
另外，本发明延伸至一种用于将左眼镜镜片或右眼镜镜片磨配到眼镜镜架中的方法，其中在步骤（i）中确定定心参数，其中，确定这些定心参数包括利用上文所说明的方法来确定眼镜镜片的边缘的表示，并且其中，在另一步骤（ii）中基于在前一个步骤（i）中确定的定心参数来磨配眼镜镜片以用于布置在眼镜镜架中。
此外，本发明还延伸至一种用于生产左眼镜镜片或右眼镜镜片的方法，其中，使用根据上文所说明的方法的将眼镜镜片磨配到眼镜镜架中的方法步骤。
本发明还延伸至一种用于生产眼镜的方法，其中，使用上文所说明的方法中的一种或多种方法。
附图说明
在下文中根据在附图中以示意性的方式示出的实施例更详细地解释本发明。在附图中：
图1示出用于确定眼镜镜架中的两个眼镜镜片的边缘的表示的装置；
图2示出与眼镜镜架相匹配的左和右眼镜镜片的边缘的表示；
图3a至图3f示出眼镜镜片的不同的定心参数；
图4示出用于确定被装配到眼镜镜架中的眼镜镜片的边缘的表示的计算机程序的算法；
图5示出关于具有眼镜镜架的眼镜配戴者的图像数据；
图6示出具有眼镜镜架的眼镜配戴者的面部特征；
图7示出关于具有眼镜镜架的眼镜配戴者的所选择的图像数据；
图8示出边缘信息图像；
图9示出色彩信息图像；
图10示出关于第一镜像的信息图像；
图11示出关于第二镜像的信息图像；
图12示出镜片模型概率图；
图13示出具有鼻梁中心的图像数据；
图14示出深度图信息数据；
图15示出眼镜镜片数据的第一表示；
图16示出成本函数针对不同眼镜镜片数据的值；以及
图17至图22示出眼镜镜片数据的另外的表示。
具体实施方式
图1中所示出的设备10是基于相机的定心***、并且使得能够确定眼镜镜架中的两个眼镜镜片的边缘的表示。设备10具有柱12，该柱承载相对于彼此参考的图像检测装置14、16、18，这些图像检测装置具有用于检测眼镜配戴者20的图像数据的图像传感器15。该装置包含与图像检测装置14、16、18连接的计算机单元21，该计算机单元具有作为输入接口22的键盘以及监视器形式的输出接口23。
为了借助图像检测装置14、16、18来检测图像数据，眼镜配戴者20例如在光学专业商店中以所选择的眼镜镜架24定位于离柱12的记录距离A ≈ 30 cm处。借助图像检测装置14、16、18，可以在不同的记录方向19上检测眼镜配戴者20的面部25。
设备10使得能够确定眼镜镜片的边缘的表示，这些眼镜镜片应被接纳并保持在由眼镜配戴者20所选择的眼镜镜架24中，以便矫正他的视觉缺陷并且尽可能地进行补偿。为此，借助图像检测装置14、16、18来记录图像数据集b(x)，该图像数据集示出具有所戴上的眼镜镜架24的眼镜配戴者20的面部25。为了确定与眼镜镜架24相匹配的眼镜镜片的边缘的所寻求的表示，可以记录图像数据集b(x)，而由眼镜配戴者20戴着的眼镜镜架24不包含眼镜镜片。然而还可能的是，在眼镜配戴者20戴着支撑镜片或眼镜镜片被安装到其中的眼镜镜架24时记录相应的图像数据集b(x)。
图2示出左眼镜镜片28和右眼镜镜片29与眼镜镜架24的保持眼镜镜片28的区段。在当前情况下，眼镜镜片28的边缘26被理解为在标准DIN EN ISO 13666:2013-10中在第13.4节中定义的眼镜镜片的支承边缘。支承边缘环绕并限制眼镜镜片的透镜部分，即根据标准DIN EN ISO 13666:2013-10的第13.2节中的定义具有眼镜镜片28、29的规定的屈光效果的部分。在无框眼镜的情况下，眼镜镜片的支承边缘与眼镜镜片28、29的侧面30的背向眼镜配戴者20的边缘、即所谓的镜片外边缘重合。镜片外边缘部分地隐藏在由眼镜配戴者20戴着的眼镜镜架24中。
作为与眼镜镜架24相匹配的眼镜镜片28的边缘26的表示，设备10确定位于图像检测装置16的图像传感器15的像平面中的点集合作为数据集，该点集合描述眼镜镜片28的支承边缘26到这个像平面中的投影。
对与眼镜镜架24相匹配的眼镜镜片28的边缘26的曲线的精确了解使得能够在考虑描述眼镜镜片28和眼睛的另外的变量的情况下精确确定所谓的定心参数。
图3a示出眼镜配戴者20戴着的眼镜镜架24中的眼镜镜片28的瞳距PD的定心参数。在图3b中，磨配高度E可以被视为另外的定心参数。图3c示出角膜顶点距离HS的定心参数。在图3d中相对于垂直线31的前倾角α可以被视为定心参数。图3e示出镜架镜片角β、即镜架平面与左或右镜片平面之间的角度作为定心参数，并且图3f示出方框尺寸定心参数、即镜片宽度sb、镜片高度sh、以及眼镜镜架24中的眼镜镜片28之间的距离bw。
设备10中的计算机单元21包含计算机程序，该计算机程序根据借助图像检测装置14、16、18提供的图像数据b(x)自动地确定被装配到眼镜镜架24中的眼镜镜片28的边缘26的表示。该计算机程序使得能够根据所提供的图像数据b(x)自动检测特征、如瞳孔中心和镜架边缘，并且能够在关于眼镜镜架24所参考的坐标系32中以亚像素精度来确定其位置。该计算机程序在此还通过三角测量来确定图像检测装置14、16、18的图像传感器15的像平面的关于该眼镜镜架24的坐标系32所参考的位置。
根据图4，随后描述在其中被实现用于确定眼镜镜片28的边缘26的表示的算法34。
在第一步骤中，算法34根据具有眼镜镜架24的眼镜配戴者20的在图5中所示出的图像36的由图像检测装置16提供的图像数据b(x)来确定相关图像区段38，如图4所示。
为了确定相关图像区段38，在面部特征识别例程40中处理图像数据b(x)。面部特征识别例程40通过与数据样本42的比较根据图像数据b(x)来确定鼻子部分、眼睛、下巴部分、以及嘴唇部分的位置，这些数据样本在图6中示出并且对于具有戴上的眼镜镜架24的眼镜配戴者20的面部的对应记录是表征性的。
基于眼镜配戴者20的一个面部特征或多个面部特征，可以计算由眼镜配戴者20戴着的眼镜架的眼镜镜架24的边缘通常位于哪个区域中。应注意的是，例如，与眼镜配戴者20的眼睛相对应的像点是位于眼镜镜片28上的像点。
图7示出借助面部特征识别例程40根据图像数据b(x)在具有眼镜镜架24的所寻求图像区段38中确定的区段图像数据bA(x)。接着，在算法34中，借助边缘检测算法，在边缘检测例程44中根据区段图像数据bA(x)来计算具有边缘信息数据46的边缘信息图像g(x)。图8示出具有作为灰度图像48中的像点的边缘信息数据46的边缘信息图像g(x)。
此外，在算法34中，借助色彩评估算法在色彩评估例程50中根据图像数据b(x)来计算色彩信息图像f(x)。
色彩评估算法f(x)用于区分眼镜镜片28所处的图像区域中的像点与处于与眼镜镜架24相对应的图像区域中的像点。为此，色彩评估算法使用色彩模型、例如皮肤色彩模型，借助该色彩模型，眼镜配戴者20的面部25中的像点可以与位于眼镜架或眼镜镜架24上的像点分开。色彩评估算法包含低通滤波器例程，借助该低通滤波器例程使利用一个或多个图像检测装置14、16、18检测的图像数据b(x)平滑，以便以这种方式获得与眼镜配戴者20的没有由其配戴的眼镜镜架24的面部25的近似表示相对应的数据。接着，将该近似表示的数据用作位于眼镜镜片28内的像点的色彩模型。在色彩评估算法f(x)中，例如还可以进行从RGB色彩空间到YCbCr色彩空间或HSV色彩空间的色彩空间变化，以便以这种方式将像点的亮度的信息与像点的色彩的信息分开。还应注意的是，色彩评估算法可以使得能够从多个图像中学到适合的色彩空间，或根据眼镜配戴者20的借助图像检测装置14、16、18检测的图像中的所确定的像点例如基于与位于眼镜配戴者20的面部25中的鼻梁上的点相对应的像点而学到色彩空间、例如皮肤色彩空间。距离信息也可以进入色彩模型中。像素越远离受试者的眼睛，它就越不可能属于眼镜镜片区域或镜片边缘。
图9示出在色彩评估算法的范围内确定的作为另一灰度图像48中的像点的色彩信息数据52。在眼镜镜片28和/或眼镜镜架24上可以看到的镜像或反射54产生明显的边缘，这些边缘可能容易地与眼镜边缘混淆。此外，关于镜像或反射的像点具有与眼镜配戴者20的皮肤色彩并且与许多眼镜架或眼镜镜架24的色彩不同的色彩。
为了识别图像数据b(x)中的以下像点，这些像点一方面源于眼镜架或眼镜镜架24处的光的镜像和反射并且另一方面源于眼镜镜片28处的光的镜像和反射，在算法34中存在镜像检测例程58。镜像检测例程58在图像数据b(x)中识别以下像点，这些像点的亮度位于阈值之上并且以镜像信息数据s(x)的形式提供该信息。
然而，替代地或额外地，为了识别光的对应的镜像和反射也可能的是，将图像数据b(x)变换到另一个色彩空间、例如CMYK色彩空间中，并且接着在该色彩空间中设定三个色彩通道的适合阈值，在超过所述阈值的情况下，像点被评定为位于镜像或反射中的像点。为了识别图像数据b(x)中的以下像点，这些像点一方面源于眼镜架或眼镜镜架24处的光的镜像和反射，此外可能的是，评估在眼镜镜片28和眼镜镜架24处的光的镜像和反射的形状。因此，例如，眼镜镜架上的镜像在通常情况下具有长形形状。在镜像例程中，为了基于所述形状来识别镜像和反射，因此还可以使用可以写入到对应于反射或镜像的多像点集合的椭圆的主轴长度的比率或形状因子。应注意的是，为了识别图像数据b(x)中的光的对应的镜像和反射，还有利地评估从第一像点到第二像点的距离，其对应于位于眼镜配戴者的眼睛上的点。
图10示出来自图像数据b(x)的以下像点，这些像点借助镜像检测例程58确定并且与眼镜镜片28上的反射54或镜像一起位于黑白图像56中。图11示出来自图像数据b(x)的以下像点，这些像点借助镜像检测例程58确定并且与眼镜镜架24上的反射54或镜像一起位于所示出的黑白图像56中。
为了简化识别图像数据b(x)中的、位于被装配在眼镜镜架24中的眼镜镜片28上的像点，算法34包含眼镜镜片位置例程60。
眼镜镜片位置例程60根据眼镜镜片模型形式的多个眼镜镜片信息数据来确定关于所检测的图像数据位于眼镜镜片28、29上的概率的概率图。图12示出作为灰度图像48中的概率信息数据62的该概率图的概率值w(x)。
应注意的是，作为此的替代方案，还可以例如基于图像数据b(x)中包含的关于眼镜镜片28的区域的信息、或者根据图像数据b(x)中包含的关于位于眼镜镜片28的轮廓上的像点的信息来估计眼镜镜片28的形状的参数模型。在此，接着可以优化这些模型的参数。
为了简化识别图像数据b(x)中的、位于被装配在眼镜镜架24中的眼镜镜片28上的像点，算法34包含鼻梁中心识别例程64，该鼻梁中心识别例程根据图像数据b(x)来确定眼镜镜架24的在图13中所指示的鼻梁27的中心M。鼻梁中心识别例程64借助图像处理通过根据利用图像检测装置14、16、18检测的图像数据b(x)确定左和右眼镜镜片28的边缘的中心来计算眼镜镜架24的鼻梁27的中心。图13示出借助面部特征识别例程40根据图像数据b(x)在具有眼镜镜架24的所寻求图像区段38（感兴趣区域）中确定的图像数据、以及根据图像数据b(x)确定的鼻梁中心66。应注意的是，鼻梁中心66还可以例如借助于检测到的瞳孔中心之间的中心点、借助于鼻梁的位置、借助于这两个特征的加权组合或借助于基于实例数据集的机器学习方法来确定。
算法34中的鼻梁中心识别例程64将鼻梁中心66的信息传送给对称性例程68。
算法34此外具有三角测量例程69，该例程根据利用另一个图像检测装置14、16、18检测到的另一图像37的图像数据b(x)的信息、通过三角测量、根据在校准例程39中作为设备常数已知的关于图像检测装置14、16、18的校准信息来计算在图14中所示出的深度图信息数据t(x)。
关于图像检测装置14、16、18的校准信息在此被理解为外在特性、如记录方向19在图像检测装置的空间中的相对对准、即记录方向19的光轴的相对对准；以及图像检测装置14、16、18的固有特性、即图像检测装置14、16、18的以下特性：所述特性定义关于相应图像检测装置14、16、18所参考的坐标系中的空间中的、被成像到图像检测装置14、16、18的图像传感器15的像平面中的点的坐标如何被转变成该点的位于图像传感器15的像平面中的像点的坐标。例如可以在Richard Hartley和Andrew Zisserman，第2版，剑桥大学出版社2004年的教科书“Multiple View Geometry in Computer Vision（计算机视觉的多视图几何）”中的第8页上找到对相机形式的图像检测装置的校准的详细描述，特此参考该教科书，并且其披露内容被一起包含到本发明的当前描述中。
深度图信息数据的信息对应于点云形式的深度图，其使得能够例如以平面的形式来估计3D眼镜镜片的空间范围，作为对真实镜片轮廓的近似。
将深度图信息数据t(x)提供给用于进行立体记录的例程71。
算法34包含成本函数例程70。在成本函数例程70中，将在图8中作为灰度图像48示出的边缘信息图像g(x)的边缘信息数据g(x)、和关于镜像和反射以及根据眼镜镜片模型进行矫正的在图9中作为灰度图像48示出的色彩信息数据f(x)、以及对称性评估数据r(x)和立体评估数据d(x)（其还包含深度图信息数据t(x)的信息）与眼镜镜片数据u(x)关联为可确定性优化的成本函数E(u)。接着，在算法34的优化例程75中确定性优化该成本函数E(u)。
图15是作为图4中所示出的算法34中的优化例程75的初始数据的眼镜镜片数据u(x)的表示。图15示出作为二元函数u: Ω → {0.1}的值形式的黑白图像56的眼镜镜片数据u(x)，该函数在眼镜镜片的区域内取值1，并且在所述区域之外取值0。Ω
Figure DEST_PATH_IMAGE001
在此表示其中应检测到眼镜镜片的图像的图像坐标。于是，该二元函数的所谓的分布导数对应于图2中所示出的眼镜镜片28的所寻求边缘26。
然而，眼镜镜片数据u(x)的表示还可以例如以n个点p1，...，pn ∈ Ω的序列组成，这些点位于图2中所示出的眼镜镜片28的边缘26上并且因此描述这个边缘。眼镜镜片数据u(x)的表示还可以是描述眼镜镜片28的轮廓的闭合曲线
Figure DEST_PATH_IMAGE002
。这样的曲线尤其可以通过曲线长度来参数化。为了保证曲线的连续性和小曲率，可以将这样的曲线例如描述为适合的基本函数（例如样条形式的基本函数）的线性组合。还应注意的是，眼镜镜片28的空间范围可以借助隐函数、尤其根据3D函数
Figure DEST_PATH_IMAGE003
来表示，该函数在确定值、例如0的水平集（所谓的Level Sets）、即该函数的定义范围的被成像到相同值上的值以边缘曲线的形式定义眼镜镜片28的边缘。同时，负值定义眼镜镜片区域，并且正值定义眼镜镜片之外的区域，反之亦然。
在算法34的成本函数例程70中生成的可确定性优化的成本函数E(u)随后被再现。适用：
E(u) : = μE色彩 (u(x)) + E边缘 (u(x)) + δEsym (u(x))+γE立体 (u(x))
其中，色彩成本项为
Figure DEST_PATH_IMAGE004
，
其中，眼镜镜片数据u(x)描述保持在眼镜镜架24中的至少一个眼镜镜片28的空间范围，并且其中，f(x)是根据图像数据b(x)确定的色彩信息数据，并且
其中，边缘成本项为：
Figure DEST_PATH_IMAGE005
，
其中，D是在分布意义上u的梯度，并且该项计算眼镜镜片的用边缘信息数据g(x)加权的轮廓长度，该轮廓长度在眼镜镜片数据边缘与从图像数据b(x)中检测到的边缘一致时是最小的，
其中，对称性成本项为：
Esym (u(x))，
该项评估左和右眼镜镜片28相对于眼镜镜架24中的中心平面的对称性，
并且其中，立体成本项为
E立体(ui(x), uj(x))，
1 ≤ i，j ≤ n，该项在多个图像视图中将眼镜镜片内的点彼此关联。
μ、γ以及δ是各个项的加权因子，其确定各个变量对总结果的影响。
在色彩成本项E色彩(u(x))中，将图像数据b(x)的色彩与眼镜镜片数据u(x)相关并且进行评估。边缘成本项E边缘(u(x))是图像数据b(x)中的图像边缘与眼镜镜片数据函数u(x)的分布导数的相关性。对称性成本项Esym(u(x))将图像数据b(x)中包含的对称性与眼镜镜片数据u(x)相关，其方式是在中心平面处通过鼻梁中心反射眼镜镜片数据u(x)以及评估眼镜镜片数据u(x)与反射数据的偏差。
在对称性成本项Esym(u(x))中，可以计算基于深度图信息数据t(x)的3D对称性假设，根据该3D对称性假设，眼镜镜架24中的左和右眼镜镜片关于3D平面对称，该3D平面由在鼻梁中心识别例程64中确定的线状鼻梁中心66以及由设备10中的图像检测装置14、16、18之一的已知校准信息限定。
在对称性成本项Esym(u(x))中，所确定的3D平面被给予镜面的功能，该镜面使在三维空间中位于左和右眼镜镜片上的点成像到彼此上，其中，在对称性成本项Esym(u(x))中评估该成像的实际值和额定值的偏差r(x)。接着，对称项Esym(u(x))给对应于彼此不对称的两个眼镜镜片的眼镜镜片数据u(x) 分派成本值，成本值越大，这两个眼镜镜片的在算法34中用作对称性评估数据r(x)的偏差就越大。以这种方式确保了，在成本函数的优化中发现的眼镜镜片数据u(x)描述彼此对称的眼镜镜片。作为其替代方案，还可以在约束条件中预先给定，通过优化成本函数所找到的眼镜镜片数据u(x)是对称的。
应注意的是，即使不存在深度图信息数据，也可以在对称性成本项Esym(u(x))中计算2D对称假设，例如，其方式是左眼镜镜片28的眼镜镜片数据u(x)在图像检测装置14、16、18的图像传感器15的像平面中在鼻梁中心66处被镜像到右眼镜镜片29的眼镜镜片数据u(x)上，并且于是又计算实际值与额定值的进入成本函数中的偏差r(x)。
应注意的是，基于与借助图像检测装置检测的至少两个图像相对应的图像数据u(x)，关于多个图像检测装置的校准信息使得能够提高该算法的鲁棒性。特别地，这样的校准信息使得能够根据关于这些图像的图像数据b(x)在所有或多个图像中同时优化眼镜镜架的内边缘或眼镜镜片的边缘、并且能够在优化期间借助校准信息在立体成本项E立体(ui(x), uj(x))中使各两个图像的镜片边缘数据u1(x)，...，un(x)彼此关联。由此，不同图像中的镜片边缘数据可以通过对ui(x)和uj(x)，1 ≤ i，j ≤ n中的相互对应点的偏差进行惩罚而相互影响。
为了将根据两个图像ui(x)和uj(x)确定的镜片边缘数据相互关联，还可以将另一个成本项引入到成本函数E(u)中，或者可以针对成本函数的优化来预先给定约束条件，该约束条件基于立体信息的计算。这样的立体信息可以包含：关于用第一图像检测装置检测到的图像中的每个像点，在第二图像中找到如下像点，相同的3D点被成像到该像点上。为此，可以使用例如立体算法，所述立体算法针对每个图像对中的每个点来确定相关的视差并且由此确定其在空间中的深度。为了更高的鲁棒性，3D模型也可以与这些视差图或相关的深度图进行适配。基于这些信息，接着可以预先给定约束条件或成本项，该成本项计算眼镜镜片数据ui(x)与眼镜镜片数据uj(x)中的相关立体点的用作立体评估数据d(x)的偏差。立体评估数据d(x)尤其可以针对每个图像对来计算。
可以将立体评估数据d(x)考虑为成本函数E(u)中的额外成本项E立体(ui(x), (uj(x))、或在优化成本函数E(u)时的约束条件，该约束条件确保在基于用一个或多个图像检测装置检测到的不同图像的眼镜镜片数据u(x)之间不允许存在差异。
图16示出针对用于具有眼镜镜片数据u(x)的眼镜镜片数据集的优化例程的不同中间结果i = 0、1、2、3、...的成本函数E(u)的值。借助改变眼镜镜片数据u(x)，可以将成本函数E(u)优化到最小值72。然后，该措施使得能够找到精确地描述与由眼镜配戴者20配戴的眼镜镜架24适配的眼镜镜片28的边缘的眼镜镜片数据u(x)。
算法34包含优化例程75，该例程针对成本函数例程70的成本函数确定如下眼镜数据u(x)，关于这些眼镜数据，成本函数E(u)是最小的。
图17至图22将与关于眼镜镜片数据u(x)的不同眼镜镜片数据集i、i = 74、i =76、i = 78、i = 80、i = 82相关的表示74、76、78、80、以及82示出为黑白图像56，这些表示对应于成本函数E(u)的最小值72以及图16中所指示的值84、86、88、90。在图15中表示的眼镜镜片数据u(x)是初始数据集，根据该初始数据集来优化成本函数E(u)。在图22中表示的眼镜镜片数据u(x)是通过优化成本函数E(u)找到的眼镜镜片数据。它们以两个区域94、96的边缘的形式包含眼镜镜片28的所寻求边缘的信息，所述镜片适合于装配到由图1中所示出的眼镜配戴者20配戴的眼镜镜架24中。在算法34中，在边缘计算例程77中根据通过优化成本函数E(u)找到的眼镜镜片数据u(x)来确定眼镜镜片28的所寻求边缘。该边缘计算例程77还可以提供，根据眼镜镜片的所寻求支承边缘例如通过预先给定镜片外边缘离对应眼镜镜片28的所确定支承边缘具有固定距离来计算镜片外边缘。
因此，成本函数E(u)是能量项之和并且受到约束。对眼镜镜片数据提出2D和/或3D对称性条件。仅在位于相关图像区段38中的图像数据b(x)内进行成本函数u(x)的优化。
所说明的成本函数是可确定性优化的，因为每个单个项是可确定性优化的，并且由此线性组合也是可确定性优化的。特别地，E色彩(u(x))和E边缘(u(x))是凸项，其可以利用例如原始-对偶方法或梯度下降方法等方法进行全局优化。如果3D或2D镜面是已知的或像这样被假设，则Esym(u(x))同样可以被表达为凸项。如果该3D或2D镜面在优化过程中被一起估计，则该项不是凸的，但是仍然可以利用确定性方法来优化，使得例如通过交替地进行优化来获得可用的解，即分别在固定数量的步骤之后基于当前解对镜面进行适配。如果各个像点之间的立体成像是已知的，则项E立体 (ui(x), uj(x))同样可以被表达为凸的。例如，如果立体算法事先基于图像数据来实施，则情况如此。如果在优化过程中从当前解来估计立体成像，则该项不再是凸的，但是尽管如此可以与对称性项一样交替地进行确定性优化，使得获得可用的解。
应注意的是，可以在成本函数E(u)中对能量项进行加权。特别地，可以用因子0对成本函数E(u)中的各个能量项进行加权，即在成本函数E(u)中省去各个能量项并且因此不考虑它们。此外，可以特别通过该曲线的一阶导数来将眼镜镜片28的边缘的长度最小化。还可以在考虑镜片模型和在镜像和/或反射的检测中生成的信息的情况下惩罚与色彩模型的偏差。最后，应注意的是，在算法34中考虑的并且根据镜片平面确定的2D和3D对称性条件可以是基于3D信息，所述3D信息也使得能够确定定心参数。
原则上，成本函数E(u)可以以不同方式来最小化。尤其可以例如通过连续方法、原始-对偶方法、图形-理论方法、离散图形切割方法、主动轮廓模型、单纯形方法等来使成本函数E(u)最小化。
连续方法是通过如下方式定义的：它们将图像描述为连续函数，并且由此成本函数是在连续数学空间上定义的。基于像点将成本函数离散化于是在优化之前的最后步骤中才进行。与此相反，离散优化方法直接在像素平面上定义优化函数。
还应注意，如在出版物C.Niewenhuis等人的Spatially Varying ColorDistributions for Interactive Maulilabel Segmentation [用于交互式多标签分割的空间变化色彩分布]，IEEE Transactions on Pattern Analysis and MachineIntelligence [IEEE模式分析和机器智能汇刊], 35, 1 (2013)中描述的，连续方法相对于离散方法具有如下优点：它们避免边缘处的伪像并且可以更容易地并行化。并行化尤其使得能够在计算机的图形卡上实现快速计算。
在这方面，应特别注意的是，在算法34中考虑的、根据镜片平面确定的2D和3D对称性条件基于3D信息，所述3D信息也使得能够确定定心参数。
此外，应注意的是，眼镜镜片28的形状的上文所描述的模型还可以被用作在优化成本函数E(u)时的约束条件或辅助条件。这样的约束条件或辅助条件可以例如是：眼镜镜片28的所确定的最终边缘位于先前学到的模型空间内。不言而喻，代替从实例中学习模型，还可以定义这些模型。
原则上，还可以在不执行上文所描述例程中的一个或多个例程的情况下执行上文所描述的算法34，上文所描述例程来自如下组：面部特征识别例程40、镜像检测例程58、眼镜镜片位置例程60、鼻梁中心识别例程64、或三角测量例程69。还可以在待优化的成本函数E(u)不包含对称性成本项Esym(u(x))或者不在考虑对称性约束条件的情况下被优化的情况下执行上文所描述的算法34。待优化的成本函数E(u)也不一定必须同时包含色彩成本项E色彩(u(x))和边缘成本项E边缘(u(x))。
特别地，还可以利用图像数据b(x)来执行算法34，所述图像数据包含图1中所示出的眼镜配戴者20的利用唯一的图像检测装置16检测到的仅一个图像的信息。在本发明的范围内，不一定必须提供基于关于眼镜配戴者20的具有由该眼镜配戴者20配戴的眼镜镜架24的面部25的图像数据b(x)的图像数据b(x)，所述图像数据b(x)是利用图像检测装置14、16、18从不同的记录方向检测到的。
应注意的是，还可以在将左眼镜镜片28或右眼镜镜片29定心到眼镜镜架24中时使用眼镜镜片28、29的边缘26的表示的上文所描述的确定。
因此，例如，在步骤（i）中可以关于眼镜镜片28、29确定定心参数，其中，这些定心参数的确定包括眼镜镜片28、29的边缘26的表示的上文所说明的确定；并且在另一步骤（ii）中利用在前一个步骤（i）中确定的定心参数将眼镜镜片28、29定心到眼镜镜架24中。
通过在步骤（i）中确定定心参数可以将左眼镜镜片28或右眼镜镜片29磨配到眼镜镜架24中，其中确定这些定心参数包括利用上文所说明的方法来确定眼镜镜片28、29的边缘26的表示。在另一步骤（ii）中接着可以基于在前一个步骤（i）中确定的定心参数来磨配对应的眼镜镜片28、29以用于布置在眼镜镜架24中。
还可以通过使用根据上文所说明的方法的将眼镜镜片28、29磨配到眼镜镜架24中的方法步骤来生产左眼镜镜片28或右眼镜镜片29。
应注意的是，在生产眼镜时还可以使用上文所说明的方法中的一种或多种方法。
总而言之，应理解本发明的以下优选特征：本发明涉及一种用于确定用于眼镜配戴者20的眼镜镜片28的或左眼镜镜片28和右眼镜镜片29的边缘26的表示的计算机实施方法。根据本发明，为此执行以下步骤：
提供关于具有所配戴的眼镜镜架24的眼镜配戴者20的图像数据b(x)，
计算从图像数据b(x)导出的信息数据I(x)，
计算将信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，其中眼镜镜片数据u(x)描述被保持在该眼镜镜架24中的至少一个眼镜镜片28的空间范围，以及
通过优化该成本函数E(u)来设定眼镜镜片28的或该左眼镜镜片和该右眼镜镜片29的边缘26的曲线。
附图标记清单
10 设备
12 柱
14、16、18 图像检测装置
15 图像传感器
19 记录方向
20 眼镜配戴者
21 计算机单元
22 输入接口
23 输出接口
24 眼镜镜架
25 面部
26 边缘
27 眼镜镜架的鼻梁
28 左眼镜镜片
29 右眼镜镜片
30 侧面
31 垂直线
32 坐标系
34 算法
36 图像
37 另一图像
38 图像区段
39 校准例程
40 面部特征识别例程
42 数据样本
44 边缘检测例程
46 边缘信息数据
48 灰度图像
50 色彩评估例程
52 色彩信息数据
54 镜像/反射
56 黑白图像
58 镜像检测例程
60 眼镜镜片位置例程
62 概率信息数据
64 鼻梁中心识别例程
66 鼻梁中心
68 对称性例程
69 三角测量例程
70 成本函数例程
71 立体假设
72 最小值
74 表示
75 优化例程
77 边缘计算例程
76、78、80、82 关于眼镜镜片数据u(x)的眼镜镜片数据集的表示
84、86、88、90 成本函数值E(u)的值
94、96 区域
A 记录距离
bw 眼镜镜片的距离
b(x) 图像数据集/图像数据
E 磨配高度
E(u) 成本函数
f(x) 色彩信息数据
g(x) 边缘信息数据
HS 角膜顶点距离
sb 镜片宽度
sh 镜片高度
d(x) 立体评估数据
di(x) 眼镜镜片形状信息数据
r(x) 对称性评估数据
s(x) 镜像信息数据
t(x) 深度图信息数据
u(x) 眼镜镜片数据
w(x) 概率值
α 前倾角
β 镜架镜片角

Claims (33)

1.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和右眼镜镜片（29）的边缘（26）的表示的计算机实施方法，
该方法包括：
提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），以及
提供信息数据I(x)，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于以下步骤：
计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线。
2.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和右眼镜镜片（29）的边缘（26）的表示的计算机实施方法，
该方法包括：
提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），以及
提供信息数据I(x)，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于以下步骤：
计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线，其中
所计算出的关于该图像（36）的信息的数据是关于色彩模型和/或关于边缘图像和/或关于色彩概率分布和/或关于该图像（36）中的对象的数据。
3.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和右眼镜镜片（29）的边缘（26）的表示的计算机实施方法，
该方法包括：
提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），以及
提供信息数据I(x)，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于以下步骤：
根据该眼镜配戴者的面部特征来确定该眼镜配戴者（20）的图像（36）的图像区段（38），
计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)，该成本函数由凸成本函数项之和构成，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线；其中
所述信息数据I(x)是根据该图像区段（38）的区段图像数据bA(x)计算出的边缘信息数据（46）。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述信息数据I(x)包括边缘信息图像g(x)，该边缘信息图像是根据所检测的图像数据b(x)借助边缘检测算法而确定的。
5.根据权利要求4所述的方法，其特征在于，该边缘检测算法包含来自以下组的边缘检测器：梯度、色彩梯度、坎尼边缘检测器、定向滤波器，或者该边缘检测算法针对边缘检测访问具有所学习的边缘检测器的滤波器库，或者将该边缘检测算法构成为利用机器学习的方法自学习的算法。
6.根据权利要求5所述的方法，其特征在于，所述边缘检测器是索贝尔滤波器。
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述信息数据I(x)包括色彩信息图像f(x)，该色彩信息图像是根据所检测的图像数据b(x)借助评估图像数据b(x)的色彩的色彩评估算法而确定的。
8.根据权利要求4所述的方法，其特征在于，所述信息数据I(x)包括色彩信息图像f(x)，该色彩信息图像是根据所检测的图像数据b(x)借助评估图像数据的色彩的色彩评估算法而确定的。
9.根据权利要求5所述的方法，其特征在于，所述信息数据I(x)包括色彩信息图像f(x)，该色彩信息图像是根据所检测的图像数据b(x)借助评估图像数据的色彩的色彩评估算法而确定的。
10.根据权利要求8所述的方法，其特征在于，该成本函数E(u)是边缘检测成本项Eg(u)和色彩评估成本项Ef(u)的加权和。
11.根据权利要求8所述的方法，其特征在于，计算从所述图像数据导出的信息数据I(x)包括利用以下算法来确定镜像信息数据s(x)：该算法用于识别该眼镜镜架处、或被接纳在该眼镜镜架中的眼镜镜片处的镜像，或者计算从所述图像数据导出的信息数据I(x)包括利用以下算法来确定镜像信息数据s(x)：该算法用于识别该眼镜镜架处和被接纳在该眼镜镜架中的眼镜镜片处的镜像，其中该算法将该眼镜镜架处的镜像与该眼镜镜片处的镜像进行区分。
12.根据权利要求11所述的方法，其特征在于，该色彩评估算法和/或该边缘检测算法考虑根据所述图像数据b(x)计算出的镜像信息数据s(x)。
13.根据权利要求10至12中任一项所述的方法，其特征在于，计算从所述图像数据b(x)导出的信息数据I(x)包括利用用于识别面部特征的算法来确定面部特征信息数据m(x)。
14.根据权利要求13所述的方法，其特征在于，所述用于识别面部特征的算法被设计用于识别以下组中的一个或多个面部特征：眼睛、瞳孔、眉毛、鼻子、嘴、或面部边缘。
15.根据权利要求13所述的方法，其特征在于，该色彩评估算法和/或该边缘检测算法考虑根据所述图像数据b(x)计算出的面部特征信息数据m(x)。
16.根据权利要求14所述的方法，其特征在于，该色彩评估算法和/或该边缘检测算法考虑根据所述图像数据b(x)计算出的面部特征信息数据m(x)。
17.根据权利要求1至3中任一项所述的方法，其特征在于，用于确定眼镜配戴者（20）的左眼镜镜片（28）和右眼镜镜片（29）的边缘的成本函数E(u)评估眼镜镜片数据u(x)的对称性，和/或用于确定眼镜配戴者（20）的左眼镜镜片（28）和右眼镜镜片（29）的边缘（26）的成本函数E(u)关于与图像检测装置（14，16，18）的不同记录方向（19）相对应的图像评估眼镜镜片数据u(x)中的以立体条件成像到彼此上的点。
18.根据权利要求10至12中任一项所述的方法，其特征在于，计算从所述图像数据b(x)导出的信息数据I(x)包括利用以下算法来确定眼镜镜片形状信息数据di(x)：该算法根据提供给该算法的眼镜镜片模型或根据提供给该算法的多个眼镜镜片模型将参数模型或关于所检测的图像数据b(x)位于眼镜镜片（28，29）上的概率的表示概率的图说明为眼镜镜片形状信息数据di(x)。
19.根据权利要求10至12中任一项所述的方法，其特征在于，计算从所述图像数据b(x)导出的信息数据I(x)包括利用以下算法（34）来确定眼镜镜片形状信息数据di(x)：该算法根据提供给该算法的眼镜镜片模型或根据提供给该算法的多个眼镜镜片模型将可接纳在该眼镜镜架（24）中的眼镜镜片（28，29）的2D形状或3D形状说明为眼镜镜片形状信息数据di(x)。
20.根据权利要求10至12中任一项所述的方法，其特征在于，该色彩评估算法考虑根据所述图像数据b(x)计算出的眼镜镜片形状信息数据di(x)。
21.根据权利要求1至3中任一项所述的方法，其特征在于，所计算出的从所述图像数据b(x)导出的信息数据I(x)包括借助鼻梁中心检测算法确定的鼻梁中心M。
22.根据权利要求1至3中任一项所述的方法，其特征在于，所提供的关于该眼镜配戴者（20）的图像数据b(x)基于从至少两个不同的视角记录的图像。
23.根据权利要求1至3中任一项所述的方法，其特征在于，在该成本函数E(u)中包含根据数据通过机器学习的至少一个模型。
24.根据权利要求1至3中任一项所述的方法，其特征在于，该成本函数E(u)是凸函数。
25.根据权利要求1至3中任一项所述的方法，其特征在于，通过确定性优化所述成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线。
26.一种计算机可读介质，在该计算机可读介质上存储有包括程序代码的计算机程序，该程序代码在被加载至计算机***中并且被执行时被设计用于实施根据以上权利要求中任一项所述的方法。
27.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和/或右眼镜镜片（29）的边缘的曲线的设备，
具有至少一个图像检测装置（14，16，18），用于提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），
具有用于提供信息数据I(x)的装置，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于
用于计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)的装置，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
用于通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线的装置。
28.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和/或右眼镜镜片（29）的边缘的曲线的设备，
具有至少一个图像检测装置（14，16，18），用于提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），
具有用于提供信息数据I(x)的装置，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于
用于计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)的装置，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
用于通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线的装置，其中
所计算出的关于该图像（36）的信息的数据是关于色彩模型和/或关于边缘图像和/或关于色彩概率分布和/或关于该图像（36）中的对象的数据。
29.一种用于确定眼镜配戴者（20）的眼镜镜片（28）的或左眼镜镜片（28）和/或右眼镜镜片（29）的边缘的曲线的设备，
具有至少一个图像检测装置（14，16，18），用于提供具有关于具有所配戴的眼镜镜架（24）的眼镜配戴者（20）的图像数据b(x)的该眼镜配戴者（20）的图像（36），
具有用于提供信息数据I(x)的装置，所述信息数据是关于该图像（36）的信息的、根据该眼镜配戴者（20）的图像（36）的图像数据b(x)计算出的数据，
其特征在于
用于根据该眼镜配戴者的面部特征来确定该眼镜配戴者（20）的图像（36）的图像区段（38）的装置，
用于计算将所述信息数据I(x)与眼镜镜片数据u(x)关联的可确定性优化的成本函数E(u)的装置，该成本函数由凸成本函数项之和构成，其中所述眼镜镜片数据u(x)描述被保持在该眼镜镜架（24）中的至少一个眼镜镜片（28）的空间范围，以及
用于通过优化该成本函数E(u)来设定该眼镜镜片（28）的或该左眼镜镜片（28）和该右眼镜镜片（29）的边缘（26）的曲线的装置，其中
所述信息数据I(x)是根据该图像区段（38）的区段图像数据bA(x)计算出的边缘信息数据（46）。
30.一种用于将左眼镜镜片（28）或右眼镜镜片（29）定心到眼镜镜架（24）中的方法，
其特征在于，
在步骤（i）中关于该眼镜镜片（28，29）确定定心参数，其中确定这些定心参数包括利用根据权利要求1至25中任一项所述的方法来确定该眼镜镜片（28，29）的边缘（26）的表示；以及
在步骤（ii）中利用在步骤（i）中确定的定心参数将该眼镜镜片（28，29）定心到该眼镜镜架中。
31.一种用于将左眼镜镜片（28）或右眼镜镜片（29）磨配到眼镜镜架（24）中的方法，
其特征在于，
在步骤（i）中关于该眼镜镜片（28，29）确定定心参数，其中确定这些定心参数包括利用根据权利要求1至25中任一项所述的方法来确定该眼镜镜片（28，29）的边缘（26）的表示；以及在步骤（ii）中基于在步骤（i）中确定的定心参数来磨配该眼镜镜片以用于布置在该眼镜镜架中。
32.一种用于生产左眼镜镜片（28）或右眼镜镜片（29）的方法，其特征在于在根据权利要求31所述的方法中的将该眼镜镜片磨配到眼镜镜架中的方法步骤。
33.一种用于生产眼镜的方法，其特征在于，使用根据权利要求30、31、或32中任一项所述的方法。
CN201780063600.4A 2017-01-27 2017-12-20 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序 Active CN109804302B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17153651.9 2017-01-27
EP17153651.9A EP3355104B2 (de) 2017-01-27 2017-01-27 Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
PCT/EP2017/083908 WO2018137863A1 (de) 2017-01-27 2017-12-20 Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands

Publications (2)

Publication Number Publication Date
CN109804302A CN109804302A (zh) 2019-05-24
CN109804302B true CN109804302B (zh) 2020-07-03

Family

ID=57914863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063600.4A Active CN109804302B (zh) 2017-01-27 2017-12-20 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序

Country Status (8)

Country Link
US (1) US10564446B2 (zh)
EP (2) EP3355104B2 (zh)
KR (1) KR102056333B1 (zh)
CN (1) CN109804302B (zh)
BR (1) BR112019006165B1 (zh)
CA (1) CA3039116C (zh)
ES (1) ES2714172T5 (zh)
WO (1) WO2018137863A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003512A1 (de) 2016-03-22 2017-09-28 Rodenstock Gmbh Verfahren und Vorrichtung zur Ermittlung von 3D-Koordinaten zumindest eines vorbestimmten Punktes eines Objekts
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
GB2559978A (en) * 2017-02-22 2018-08-29 Fuel 3D Tech Limited Systems and methods for obtaining eyewear information
EP3413122B1 (de) 2017-06-08 2020-03-04 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum bestimmen eines nah-durchblickpunktes
EP3422087B1 (de) 2017-06-28 2019-12-25 Carl Zeiss Vision International GmbH Verfahren zur korrektur von zentrierparametern und/oder einer achslage sowie entsprechendes computerprogramm und verfahren
DE102018105917A1 (de) 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
CN109636844B (zh) * 2018-11-19 2023-05-02 南昌大学 一种基于3d双边对称的复杂桌面点云分割的方法
EP3702831A1 (de) 2019-03-01 2020-09-02 Carl Zeiss Vision International GmbH Datensatz zur verwendung in einem verfahren zur herstellung eines brillenglases
US11238611B2 (en) * 2019-07-09 2022-02-01 Electric Avenue Software, Inc. System and method for eyewear sizing
EP3851903A1 (en) * 2020-01-15 2021-07-21 Essilor International A method and system for providing an eyeglasses frame
CN111461970B (zh) * 2020-04-09 2023-08-11 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN111488843A (zh) * 2020-04-16 2020-08-04 贵州安防工程技术研究中心有限公司 基于漏报与误报率分步骤抑制的人脸墨镜判别方法
WO2022022765A1 (de) * 2020-07-31 2022-02-03 Tribe Gmbh Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille
EP4348343A1 (en) * 2021-05-28 2024-04-10 Essilor International A photography and thermography combining method of obtaining a fitting parameter to fit an ophthalmic lens into a spectacle frame
EP4227731A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method and mobile device for determining a visual point of a person
CN116883446B (zh) * 2023-09-08 2023-11-21 鲁冉光电(微山)有限公司 一种车载摄像头镜片碾磨程度实时监测***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016164859A1 (en) * 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2165976B (en) * 1984-03-02 1987-12-02 Hoya Corp Device for obtaining data related to the shape of spectacle frames
KR910000591B1 (ko) * 1986-10-30 1991-01-26 가부시기가이샤 도시바 안경 프레임 화상처리 기록방법 및 이를 실시하기 위한 시스템
US4806011A (en) * 1987-07-06 1989-02-21 Bettinger David S Spectacle-mounted ocular display apparatus
DE10033983A1 (de) 2000-04-27 2001-10-31 Frank Mothes Einrichtung zur Bestimmung der Brillenglas-Zentrierdaten
ATE534098T1 (de) * 2005-09-23 2011-12-15 Koninkl Philips Electronics Nv Verfahren und system zur anpassung eines geometrischen modells mit mehreren teil- transformationen
JP4871226B2 (ja) 2007-07-06 2012-02-08 株式会社エヌ・ティ・ティ・ドコモ 認識装置および認識方法
DE102009004381B4 (de) * 2008-01-10 2011-09-01 Rodenstock Gmbh Vorrichtung, Verfahren und Computerprogrammprodukt
US8885926B2 (en) * 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
DE102011115239B4 (de) † 2011-09-28 2016-02-11 Rodenstock Gmbh Bestimmung der Scheibenform unter Berücksichtigung von Tracerdaten
WO2014084841A1 (en) * 2012-11-30 2014-06-05 Compagnie Generale Des Etablissements Michelin Uniformity correction using progressive ablation
BR112015030451B1 (pt) * 2013-06-13 2022-05-03 Essilor International Método para otimizar um contorno medido de uma armação de óculos e método para otimizar pelo menos uma superfície óptica de uma lente oftálmica adaptada para encaixar em uma armação de óculos
DE102014012452A1 (de) † 2014-08-21 2016-02-25 Rodenstock Gmbh Ermittlung von Benutzerdaten unter Berücksichtigung von Bilddaten einer ausgewählten Brillenfassung
DE102014013447A1 (de) * 2014-09-16 2016-03-17 Hans-Joachim Ollendorf Verfahren zur messgenauen Bestimmung von optischen Parametern eines Probanden zur Anpassung einer Brille an den Probanden und immobiles Videozentriersystem
EP3262617A1 (en) * 2015-02-23 2018-01-03 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016164859A1 (en) * 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses

Also Published As

Publication number Publication date
EP3542211B1 (de) 2020-04-08
KR20190088524A (ko) 2019-07-26
BR112019006165B1 (pt) 2023-10-17
WO2018137863A1 (de) 2018-08-02
EP3355104B1 (de) 2018-12-12
CA3039116C (en) 2020-02-18
US10564446B2 (en) 2020-02-18
CA3039116A1 (en) 2018-08-02
US20190271858A1 (en) 2019-09-05
EP3355104A1 (de) 2018-08-01
EP3542211A1 (de) 2019-09-25
ES2714172T5 (es) 2022-09-07
ES2714172T3 (es) 2019-05-27
CN109804302A (zh) 2019-05-24
BR112019006165A2 (pt) 2019-06-18
EP3355104B2 (de) 2022-06-01
KR102056333B1 (ko) 2019-12-16

Similar Documents

Publication Publication Date Title
CN109804302B (zh) 用于确定眼镜镜片边缘的表示的方法和设备及计算机程序
US10859859B2 (en) Method, computing device, and computer program for providing a mounting edge model
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
CN111738241B (zh) 基于双摄像头的瞳孔检测方法及装置
WO2021140204A1 (en) A method and system for retrieving an optical parameter of an ophthalmic lens
US11982878B2 (en) Method and device for measuring the local refractive power and/or refractive power distribution of a spectacle lens
KR102556762B1 (ko) 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치
CN114830015A (zh) 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法
US20220390771A1 (en) System and method for fitting eye wear
CN112528714A (zh) 基于单光源的注视点估计方法、***、处理器及设备
EP4194936A1 (en) A method for estimating the position of the optical center of an ophthalmic lens
CN113424098B (zh) 构造眼镜所需参数的自动确立
US20230221585A1 (en) Method and device for automatically determining production parameters for a pair of spectacles
CN116830152A (zh) 用于检测和跟踪视频流中戴着一副眼镜的个体的面部的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant