CN112568992A - 基于3d扫描眼睑参数测量方法、装置、设备和介质 - Google Patents

基于3d扫描眼睑参数测量方法、装置、设备和介质 Download PDF

Info

Publication number
CN112568992A
CN112568992A CN202011414363.1A CN202011414363A CN112568992A CN 112568992 A CN112568992 A CN 112568992A CN 202011414363 A CN202011414363 A CN 202011414363A CN 112568992 A CN112568992 A CN 112568992A
Authority
CN
China
Prior art keywords
eyelid
facial
distance
patient
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011414363.1A
Other languages
English (en)
Inventor
宋雪霏
梁观铭
周慧芳
朱文瀚
张路
翟广涛
范先群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Shanghai Jiaotong University
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Shanghai Jiaotong University
Priority to CN202011414363.1A priority Critical patent/CN112568992A/zh
Publication of CN112568992A publication Critical patent/CN112568992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供的一种基于3D扫描眼睑参数测量方法、装置、设备和存储介质，通过获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；在所述外观模型中对应患者面部设置多个地标；在所述地标中选取若干个关键位置的面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。本申请实现了对重要眼睑指标的准确测量，并可将眼睑指标的精确测量直接服务于眼睑相关疾病比如上睑下垂、眼睑退缩、内眦赘皮等疾病的分级分期诊断，从而能为相关手术方案优劣和适用条件的判断模型提供更多精准的变量，提升模型的准确性，建立一整套***性的眼睑手术设计和手术效果预测的方法。

Description

基于3D扫描眼睑参数测量方法、装置、设备和介质
技术领域
本发明涉及眼睑参数测量技术领域，特别是涉及一种基于3D扫描眼睑参数测量方法、 装置、设备和介质。
背景技术
眼睑手术是改变眼睑美容学中眼睑异常形状的最直接，最有效的方法，也是眼眶手术中 出于美学考虑的必不可少的步骤。由于涉及医学和美学，手术计划因情况而异。不仅难以量 化和应用手术计划，而且对于初学者而言，要直观地理解不断变化的眼睑手术计划的设计也 不容易。
更为普遍的问题是，基于所谓的美学和经验的判断缺乏客观性，并且没有定量证据的支 持。结果，眼睑手术的研究更多地是基于解剖学的推测，手术后的效果以及外科医生的反复 经验，因此难以进行科学研究和***地提高行业水平。
眼睑由浅至深分为几层：皮肤、皮下组织、眼轮匝肌、眼眶隔、骨板和眼睑睑结膜。眼 睑具有许多功能，例如保护、分泌和运动，并且也是人表达的重要组成部分。而眼睑外伤、 眼睑先天畸形、及原发性疾病均会导致眼睑功能和形态异常。
眼睑手术计划目前是基于诊断和操作者的习惯以及理论推导，而不是定量分析和验证。 另外，由于手术是由不同的外科医生进行的，因此在手术前需要手动测量的几个指标，例如 上眼睑的上睑肌的力量、MRD1、睑裂高度等，都无法预测最终的手术效果。
例如，对于上睑睑肌强力的上睑下垂患者的手术计划通常被制定为上睑提肌短小，否则 额肌皮瓣悬吊更为常见，但他们之间的选择仍然有模糊边界。此外，是否应用CFS也存在争 议。就眼睑退缩的外科治疗而言有多种方法，例如脱细胞基质的植入，上眼睑的上提肌的伸 展和增强。上述非量化问题也存在，因此，限制了***的可扩展的研究。
为了化主观为客观，化理念为数据，让眼睑手术科学化、可评价、可推广，一种简单而 精确的眼部测量方法是有必要的。当前眼睑测量方法或者直接用尺子，既不可重复又无法溯 源，而且在测量敏感患者或儿童患者时由于躲闪等原因测不准；另一种方法则是结合计算机 科学，但需要基于大量数据的深度学习，较高的研发投入，并且在研究类似问题时需要重新 训练模型。即使添加了多中心数据来提高泛化能力，也不能起到帮助其他研究人员自身研究 内容的作用。
当前眼睑手术基本靠主观判断是否手术、如何做手术，因为手动测量并不精确且准确实 施具有一定的门槛，所以医生在学习阶段就对数字化存在着概念上的缺失。当前眼睑手术具 体术式各类纷争，本质上不是源于医疗理念的差异，而是因为对面部参数的理解差异而产生 的不同程度的误读，因此有一个简单易行、泛化能力强的眼部参数测量表达***非常重要。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于3D扫描眼睑参数测量 方法、装置、设备和存储介质，以解决现有技术中存在的至少一个问题。
为实现上述目的及其他相关目的，本申请提供一种基于3D扫描眼睑参数测量方法，所 述方法包括：获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观 模型；在所述外观模型中对应患者面部设置多个地标；在所述地标中选取若干个关键位置的 面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。
于本申请的一实施例中，每个所述地标为4个顶点和4个面确定的四面体；依据所述四 面体计算每个地标对应的3D坐标。
于本申请的一实施例中，所述计算得到眼睑参数包括以下任意一种或多种：1)结合面部 中线参数以计算与一维距离有关的第一眼睑参数；2)通过应用欧几里德距离计算出与2D/3D 距离相关的眼睑参数；3)依据2D三角函数来计算与角度相关的第三眼睑参数。
于本申请的一实施例中，所述第一眼睑参数包括：左/右外眦到面中线距离、左/右眉峰到 面中线距离、左/右脸缘到面中线距离、眶区对称度、左/右睑裂高度、及左/右睑裂宽度中任 意一种或多种；所述第二眼睑参数包括：左右内眦间距、内部左/右眉眼距离、中部左/右眉眼 距离、及外部左/右眉眼距离中任意一种或多种；所述第三眼睑参数包括：左/右眉角、及左/ 右外眦与内眦水平夹角中任意一种或多种。
于本申请的一实施例中，所述面部中线参数是通过对患者面部中左右对称的地标的x坐 标取均值得到的。
于本申请的一实施例中，所述在计算得到眼睑参数后还包括：依据像素计算与距离缩放 相关的参数。
于本申请的一实施例中，所述依据像素计算与距离缩放相关的参数，包括：通过在患者 的额头上放置两个圆形贴纸作为距离参考，以获取患者的面部2D图片；在所述2D图片的圆 形贴纸上分别以像素级别标注多个点，以表示圆形贴纸的直径两端；基于所标注的点进行计 算以换算为真实距离。
为实现上述目的及其他相关目的，本申请提供一种基于3D扫描眼睑参数测量装置，所 述装置包括：获取模块，获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG 活动的外观模型；处理模块，用于在所述外观模型中对应患者面部设置多个地标；在所述地 标中选取若干个关键位置的面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、 及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方 法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机 指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请提供的一种基于3D扫描眼睑参数测量方法、装置、设备和存储介质， 通过获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；在所述外观模型中对应患者面部设置多个地标；在所述地标中选取若干个关键位置的面部标志 物，并按面部位置进行聚类，以供计算得到眼睑参数。
具有以下有益效果：
本申请实现了对重要眼睑指标的准确测量，并可将眼睑指标的精确测量直接服务于眼睑 相关疾病比如上睑下垂、眼睑退缩、内眦赘皮等疾病的分级分期诊断，从而能为相关手术方 案优劣和适用条件的判断模型提供更多精准的变量，提升模型的准确性，建立一整套***性 的眼睑手术设计和手术效果预测的方法。
附图说明
图1显示为本申请于一实施例中基于3D扫描眼睑参数测量方法的流程示意图。
图2显示为本申请于一实施例中关键的面部标志物的场景示意图。
图3显示为本申请于一实施例中关键的面部标志物聚类的模型示意图。
图4显示为本申请于一实施例中通过像素相关计算的参数缩放方法的场景示意图。
图5显示为本申请于一实施例中基于3D扫描眼睑参数测量方法与手动测量的比对结果 的表格示意图。
图6显示为本申请于一实施例中基于3D扫描眼睑参数测量装置的模块示意图。
图7显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然 图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但 其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更 为复杂。
当前眼睑手术基本靠主观判断是否手术、如何做手术，因为手动测量并不精确且准确实 施具有一定的门槛，所以医生在学习阶段就对数字化存在着概念上的缺失。当前眼睑手术具 体术式各类纷争，本质上不是源于医疗理念的差异，而是因为对面部参数的理解差异而产生 的不同程度的误读，因此有一个简单易行、泛化能力强的眼部参数测量表达***非常重要。
为解决上述问题，本申请提出一种基于三维扫描技术进行的眼睑关键指标的快速、客观、 准确的自动测量方法，该方法基于快速3D扫描获得面部顶点的坐标，以实现对重要眼睑指 标的准确测量。本方法同时解决了上述两个问题：1.本申请中选择的数十个点可以根据任何 人的面部扩展到不同的研究目的，从而测量与面部相关的所有参数的长度，角度和比例关系， 从而使拟合的回归模型具有更好的预测能力。2.面对统计多元模型的过度拟合，临床经验是 控制变量数量的最佳方法，这意味着我们不需要考虑所有超过100,000个的3D面部顶点。
如图1所示，展示为本申请于一实施例中的基于3D扫描眼睑参数测量方法的流程示意 图。如图所示，所述方法包括：
步骤S101：获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型。
通常在医院和诊所的眼科或整形外科中，医生会手动测量患者的面部和眼睑参数，以进 行进一步治疗和整形外科。
于本实施例中，可采用Bellus3D结构光扫描仪对患者进行3D面部扫描，扫描过程可在 几分钟内完成，最后Bellus3D结构光扫描仪可输出了一个OBJ扫描文件。一般该文件可包含 119984个顶点和239235个面，能够详细地描绘相应患者的3D面部结构。
Bellus3D为自拍相机厂商，在面部识别、空间识别、3D建模方面拥有强大实力，如其发 布的一款面向iPhone的手机应用Bellus3D FaceApp，用户可以在不需要额外硬件配件的情 况下，使用手机进行面部扫描，做出与真人相似的3D模型，而这个过程耗时仅需10秒具 体地；再如Bellus3D Dental app是一款专业的3D人脸部扫描建模相机软件，用户可以使用该 软件扫描出人脸部真是比例并建造模拟真实模型，提高工作效率，预览360旋转功能等。Bellus3D结构光扫描仪基于3D人脸部扫描建模软件，可扫描出用户脸部并建造模拟真实3D 模型。
三维形变模型(3DMM)的研究已经成为了一个热门方向，并已经初步实现通过普通照 片生成3D模型，并能在光线、纹理、人口学因素、表情、姿态、自我遮挡等因素交错复杂的前提条件下实现愈发完善的模型建立。这其中，2017年大规模面部模型(LSFM)的提出，建立了基于全球最大的数据库(9663例)的三维形变模型，并引领了通用模型内置各类更具有针对性的专用精确模型的范式。
进一步地，将OBJ文件应用到基于LFPW数据库的HOG活动的外观模型。其中，LFPW数据库为人脸识别数据库，适用于机器学习对于人脸数据库集的训练。HOG(histograms oforiented gradients)为梯度方向直方图，是目前计算机视觉、模式识别领域很常用的一种描述 图像局部纹理的特征，简单来说，先计算图片某一区域中不同方向上梯度的值，然后进行累 积，得到直方图，该直方图可以代表这块区域，也就是作为特征，可以输入到分类器里面。
本申请所述的基于LFPW数据库的HOG活动的外观模型，便基于LFPW数据库并以梯度方向直方图作为特征构建的模型，以作为提取和处理3D面部扫描文件中3D模型的载体。
步骤S102：在所述外观模型中对应患者面部设置多个地标。
由前可知，所获取的患者的3D面部扫描文件中可包含119984个顶点和239235个面， 而本申请则着重选取与眼睑相关的顶点和面。优选地，本申请在外观模型中设置77个地标 (landmarkers)，其中，每个所述地标为4个顶点和4个面确定的如金字塔型的四面体，即可 获取77个地标对应的308个顶点和308个面。
于本实施例中，依据所述四面体计算每个地标对应的3D坐标。
首先，我们通过其对应的四面体将每个地标的3D坐标计算为公式为：
Figure BDA0002818703930000051
其中，Pv1(x,y,z),Pv2(x,y,z),Pv3(x,y,z),Pv4(x,y,z)分别对应为地标的4个顶点；PLm(x,y,z)则对应为地标的体素，而x，y，z是对应四面体体素的x，y，z坐标值。
所述的体素是体积元素(Volume Pixel)的简称，包含体素的立体可以通过立体渲染或者 提取给定阈值轮廓的多边形等值面表现出来。一如其名，是数字数据于三维空间分割上的最 小单位，体素用于三维成像、科学数据与医学影像等领域。概念上类似二维空间的最小单位 ——像素，像素用在二维计算机图像的影像数据上。有些真正的三维显示器运用体素来描述 它们的分辨率，举例来说：可以显示512×512×512体素的显示器。
一个场景的体素可以用3D空间数据表示，而不是传统的栅格化视图(存储在渲染目标中)， 后者只有一个深度值，可以很容易地在空间上遍历一个体素场景，并且可以访问场景中的数 据。例如光照、更有说服力的环境遮挡和体积光，也可以利用体素信息来做游戏场景处理方 案。例如，在体素网格中投射光线以检查其可见性，如果有其他想法可以利用场景体素来组 织场景等，这些都可以用体素来表示。
步骤S103：在所述地标中选取若干个关键位置的面部标志物，并按面部位置进行聚类， 以供计算得到眼睑参数。
由于绝大多数人脸结构之间没有颠覆性的差异，而上睑下垂、眼睑退缩、内眦赘皮等变 化尚在接近生理的范围内，内眦、外眦、角膜缘、睑缘、角膜缘、眉峰、眉头等可在现有人 脸模板上实现关键点识别从而实现自动测量。在具体的测量过程中，这些点的识别和在模板 上的注册不具有人脸识别领域的特别技术难度，但在数据库选择、面部标志设定的具体方案 需要依据具体医学用途进行优化，实现眼睑重要参数快速、客观、准确的自动测量。
于本实施例中，在眼睑参数手动测量和临床手术经验的指导下，本申请在所述地标中选 取若干个关键位置的面部标志物。例如，本申请中选择36个关键的面部标志物进行眼睑参数 自动测量，如图2所示。为便于分析，本申请设置x/y/z轴分别作为患者面部的水平/垂直/ 深度方向。
然后，根据如图2所示的面部位置对面部标志物进行聚类，聚类结果可如图3所示，图 3所示的聚类结果的对应描述可如下表1所示。
表1关键面部标志物的描述
Figure BDA0002818703930000061
于本实施例中，在自动测量眼睑参数之前，本申请首先定义一个重要的面部参数xMl表示 面中线，x对应它的x坐标。通常当医生/医生观察患者的面部时，面部的中线是一种主观感 觉和清晰度。对于大多数人来说，眼睛在水平方向上大约是对称的。为此，于本申请中，所 述面部中线参数是通过对患者面部中左右对称的地标的x坐标取均值得到的。通过对几对脸 部左右对称的面部标志物的x坐标取均值来获取xMl的数值如下公式2：
Figure BDA0002818703930000071
例如，通过医生和诊断方案，本申请选择22个参数作为自动测量的应用，这将大大有助 于临床治疗和手术。具体地，所述第一眼睑参数包括：左/右外眦到面中线距离、左/右眉峰到 面中线距离、左/右脸缘到面中线距离、眶区对称度、左/右睑裂高度、及左/右睑裂宽度中任 意一种或多种；所述第二眼睑参数包括：左右内眦间距、内部左/右眉眼距离、中部左/右眉眼 距离、及外部左/右眉眼距离中任意一种或多种；所述第三眼睑参数包括：左/右眉角、及左/ 右外眦与内眦水平夹角中任意一种或多种。
举例来说，各眼睑参数及对应描述可如下表2所示。
表2眼睑参数描述
Figure BDA0002818703930000072
根据上面的定义和符号，本申请在预先获得的关键位置的面部标志物中按面部位置进行 聚类，然后使用它们来计算与一维距离有关的眼睑参数。
于本实施例中，所述计算得到眼睑参数包括以下任意一种或多种：
1)依据由公式(1)计算的3D坐标或体素，结合面部中线参数以计算与一维距离有关 的第一眼睑参数；
a、左/右外眦到面中线距离DLoc2Ml/DRoc2Ml的计算公式为：
Figure BDA0002818703930000081
Figure BDA0002818703930000082
b、左/右眉峰到面中线距离DLbr2Ml/DRbr2Ml的计算公式为：
Figure BDA0002818703930000083
Figure BDA0002818703930000084
c、左/右脸缘到面中线距离DLfe2Ml/DRfe2Ml的计算公式为：
Figure BDA0002818703930000085
Figure BDA0002818703930000086
d、眶区对称度的计算公式为：
眶区对称度＝|DLoc 2Ml-DRoc 2Ml|+|DLbr 2Ml-DRbr 2Ml|+|DLfe 2Ml-DRfe 2Ml| (6)
e、左/右睑裂高度HLor/HRor的计算公式为：
Figure BDA0002818703930000087
Figure BDA0002818703930000088
f、左/右睑裂宽度WLor/WRor的计算公式为：
Figure BDA0002818703930000089
Figure BDA00028187039300000810
2)依据由公式(1)计算的3D坐标或体素，通过应用欧几里德距离计算出与2D/3D距离相关的眼睑参数；
g、左右内眦间距Dic的计算公式为：
Figure BDA00028187039300000811
h、内部左/右眉眼距离DiLor 2Leb/DiRor 2Reb的计算公式为：
Figure BDA0002818703930000091
Figure BDA0002818703930000092
i、中部左/右眉眼距离DmLor 2Leb/DmRor 2Reb的计算公式为：
Figure BDA0002818703930000093
Figure BDA0002818703930000094
j、外部左/右眉眼距离DoLor 2Leb/DoRor 2Reb的计算公式为：
Figure BDA0002818703930000095
Figure BDA0002818703930000096
3)依据由公式(1)计算的3D坐标或体素，使用2D三角函数来计算与角度相关的第三 眼睑参数。
k、左/右眉角ALeb/AReb的计算公式为：
Figure BDA0002818703930000097
Figure BDA0002818703930000098
l、左/右外眦与内眦水平夹角的计算公式为：
Figure BDA0002818703930000099
Figure BDA00028187039300000910
于本实施例中，所述在计算得到眼睑参数后还包括：依据像素计算与距离缩放相关的参 数。
实际上，如上所述的自动测量的距离相关参数的值不是真实的，因为面部标志物的坐标 仅表示人脸的相对位置。因此，本申请还提出了一种通过像素相关计算的参数缩放方法，参 考图4，其具体包括：
A、通过在患者的额头上放置两个直径为10mm的圆形贴纸作为距离参考，以获取患者 的面部2D图片。
首先，在患者的额头上放置两个如图4所示的的圆形贴纸1作为距离参考，例如圆形贴 纸1的直径为10mm，然后为患者拍摄面部2D图片。
B、在所述面部2D图片的圆形贴纸上分别以像素级别标注多个点，以表示圆形贴纸的直 径两端。
之后在此2D图片上注释4个像素级别的点，如图4中包括表示圆形贴纸1的直径两端 11和12，记为Pdm1(x,y)，Pdm2(x,y)；然后，在标示出患者面部图像中某一眼睑相关位置，以供进行对比，例如，左内眦21和右内眦22，记为：PLC(x,y)，PRC(x,y)。
C、基于所标注的点进行计算以换算为真实距离。
最后，通过如下公式(15)以自动获取真实的内眦距离Rdic：
Figure BDA0002818703930000101
进一步地，通过该距离值，可根据其他眼睑参数的真实距离：
Figure BDA0002818703930000102
本申请为验证所述的基于3D扫描眼睑参数测量方法的结果，本申请收集了两类病人(包 括外眼无殊、有殊)的3D脸部数据、2D脸部照片，通过本申请提到的自动测量方法获取了 眼部变量的自动测量结果，同时还对对应患者的22项眼部变量进行手动测量。结果表明，本 申请的自动测量方法给出的结果与手动测量的结果误差在3％-5％，如图5所示。该结果误差 在眼科临床诊断的可接受范围之内，从而验证了我们的自动测量方法的准确性和可靠性。
需说明的是，本申请仅列举了选取部分眼睑关键点进行的自动测量，其中涵盖了面部对 称性的量化评价和具体眼睑指标两个方面的测量。面部对称性的指标可用于眼眶骨折等头面 部外伤后的手术指征判断、疗效评价等，可扩展地，本申请所述方法也可以用于甲状腺相关 眼病等慢性疾病的长期管理甚至成为疾病变化的有效监测指标，同时也为面部整形手术方案 的制定提供可自由选择的量化依据。
而具体眼睑指标的精确测量也可直接服务于眼睑相关疾病比如上睑下垂、眼睑退缩、内 眦赘皮等疾病的分级分期诊断，从而能为相关手术方案优劣和适用条件的判断模型提供更多 精准的变量，提升模型的准确性，建立一整套***性的眼睑手术设计和手术效果预测的方法。
另需要说明的是，本申请不是为了刻意追求客观而把传统诊疗过程中面对的问题进行量 化分析，而是借助更合适的物理测量方法和最贴切数学模型，得到更好的诊断质量和手术效 果。无论是眼睑相关疾病诊断还是方案决策，在当前临床上所执行的金标准或诊疗指南都是 医疗行为的底线。
传统测量方法通过抽取和结果最直接相关、方便直观理解、及易于测量和使用的最少量 指标供临床医生使用，降低了数据维度，牺牲了对事物描述的完整性，从而提升了方法的易 用性并降低了理解的困难。但是这样的做法存在的两方面的问题：1、建立模型时因此只追求 最小量的变量，以单变量或有限多变量危险因素分析的方式寻求自变量和结局变量之间的确 定性关系，在现实中很多情况下会无法获得阳性结果从而建模失败；2、受限于变量越来越少 的已有知识和不充分的易用工具，后来的研究者关注的点常会受限于前期研究所人为划定的 范围，无法在研究中从全局层面建立***的对疾病诊断和手术方案决策的认知和研究方法。
综上所述，本申请所述基于3D扫描眼睑参数测量方法，实现了对重要眼睑指标的准确 测量，并可将眼睑指标的精确测量直接服务于眼睑相关疾病比如上睑下垂、眼睑退缩、内眦 赘皮等疾病的分级分期诊断，从而能为相关手术方案优劣和适用条件的判断模型提供更多精 准的变量，提升模型的准确性，建立一整套***性的眼睑手术设计和手术效果预测的方法。
如图6所示，展示为本申请于一实施例中的基于3D扫描眼睑参数测量模块示意图。如 图所示，所述装置600包括：
确立模块601，用于获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；
处理模块602，用于在所述外观模型中对应患者面部设置多个地标；在所述地标中选取 若干个关键位置的面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请 所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参 见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际 实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以 软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处 理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块602可以为单 独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码 的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块 602的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以 独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中， 上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形 式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个 或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微 处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代 码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit， 简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上*** (system-on-a-chip，简称SOC)的形式实现。
如图7所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述 计算机设备700包括：存储器701、及处理器702；所述存储器701用于存储计算机指令；所 述处理器702运行计算机指令实现如图1所述的方法。。
在一些实施例中，所述计算机设备700中的所述存储器701的数量均可以是一或多个， 所述处理器702的数量均可以是一或多个，所述通信器703的数量均可以是一或多个，而图 7中均以一个为例。
于本申请一实施例中，所述计算机设备700中的处理器702会按照如图1所述的步骤， 将一个或多个以应用程序的进程对应的指令加载到存储器701中，并由处理器702来运行存 储在存储器701中的应用程序，从而实现如图1所述的方法。
所述存储器701可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以 包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器701存储 有操作***和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集， 其中，操作指令可包括各种操作指令，用于实现各种操作。操作***可包括各种***程序， 用于实现各种基础业务以及处理基于硬件的任务。
所述处理器702可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、 网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现 场可编程门阵列(Field－Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备700的各个组件通过总线***耦合在一起，其中 总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为 了清除说明起见，在图7中将各种总线都成为总线***。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序， 该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述***及各单元功能 的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可 读存储介质中。该程序在执行时，执行包括上述***及各单元功能的实施例；而前述的存储 介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种基于3D扫描眼睑参数测量方法、装置、设备和存储介质， 通过获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；在所述外观模型中对应患者面部设置多个地标；在所述地标中选取若干个关键位置的面部标志 物，并按面部位置进行聚类，以供计算得到眼睑参数。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于3D扫描眼睑参数测量方法，其特征在于，所述方法包括：
获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；
在所述外观模型中对应患者面部设置多个地标；
在所述地标中选取若干个关键位置的面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。
2.根据权利要求1所述的方法，其特征在于，每个所述地标为4个顶点和4个面确定的四面体；依据所述四面体计算每个地标对应的3D坐标。
3.根据权利要求1所述的方法，其特征在于，所述计算得到眼睑参数包括以下任意一种或多种：
1)结合面部中线参数以计算与一维距离有关的第一眼睑参数；
2)通过应用欧几里德距离计算出与2D/3D距离相关的眼睑参数；
3)依据2D三角函数来计算与角度相关的第三眼睑参数。
4.根据权利要求3所述的方法，其特征在于，
所述第一眼睑参数包括：左/右外眦到面中线距离、左/右眉峰到面中线距离、左/右脸缘到面中线距离、眶区对称度、左/右睑裂高度、及左/右睑裂宽度中任意一种或多种；
所述第二眼睑参数包括：左右内眦间距、内部左/右眉眼距离、中部左/右眉眼距离、及外部左/右眉眼距离中任意一种或多种；
所述第三眼睑参数包括：左/右眉角、及左/右外眦与内眦水平夹角中任意一种或多种。
5.根据权利要求3所述的方法，其特征在于，所述面部中线参数是通过对患者面部中左右对称的地标的x坐标取均值得到的。
6.根据权利要求1所述的方法，其特征在于，所述在计算得到眼睑参数后还包括：依据像素计算与距离缩放相关的参数。
7.根据权利要求6所述的方法，其特征在于，所述依据像素计算与距离缩放相关的参数，包括：
通过在患者的额头上放置两个圆形贴纸作为距离参考，以获取患者的面部2D图片；
在所述2D图片的圆形贴纸上分别以像素级别标注多个点，以表示圆形贴纸的直径两端；
基于所标注的点进行计算以换算为真实距离。
8.一种基于3D扫描眼睑参数测量装置，其特征在于，所述装置包括：
获取模块，获取患者的3D面部扫描文件，并应用于基于LFPW数据库的HOG活动的外观模型；
处理模块，用于在所述外观模型中对应患者面部设置多个地标；在所述地标中选取若干个关键位置的面部标志物，并按面部位置进行聚类，以供计算得到眼睑参数。
9.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
CN202011414363.1A 2020-12-04 2020-12-04 基于3d扫描眼睑参数测量方法、装置、设备和介质 Pending CN112568992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011414363.1A CN112568992A (zh) 2020-12-04 2020-12-04 基于3d扫描眼睑参数测量方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414363.1A CN112568992A (zh) 2020-12-04 2020-12-04 基于3d扫描眼睑参数测量方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN112568992A true CN112568992A (zh) 2021-03-30

Family

ID=75127443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414363.1A Pending CN112568992A (zh) 2020-12-04 2020-12-04 基于3d扫描眼睑参数测量方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112568992A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509082A (zh) * 2011-11-10 2012-06-20 北京航空航天大学 一种人脸运动非对称性计算方法
CN105792730A (zh) * 2013-12-03 2016-07-20 浜松光子学株式会社 测量装置和测量方法
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
CN108348719A (zh) * 2015-11-10 2018-07-31 皇家飞利浦有限公司 确定关于患者的面部的信息
CN108921148A (zh) * 2018-09-07 2018-11-30 北京相貌空间科技有限公司 确定正脸倾斜角度的方法及装置
CN109344724A (zh) * 2018-09-05 2019-02-15 深圳伯奇科技有限公司 一种证件照自动背景替换方法、***及服务器
CN110279515A (zh) * 2019-07-26 2019-09-27 张承武 一种眼部整形手术术前评估的方法
CN111353353A (zh) * 2018-12-24 2020-06-30 杭州中软安人网络通信股份有限公司 跨姿态的人脸识别方法及装置
CN111559081A (zh) * 2020-05-08 2020-08-21 上海交通大学医学院附属第九人民医院 赝复体制作方法、***、终端以及介质
CN111700616A (zh) * 2020-04-27 2020-09-25 鸡西御美楼医疗美容门诊部 十度媚眼眼整形美学设计测量执行方法
CN111938655A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于关键点信息的眼眶软组织形态评价方法、***及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509082A (zh) * 2011-11-10 2012-06-20 北京航空航天大学 一种人脸运动非对称性计算方法
CN105792730A (zh) * 2013-12-03 2016-07-20 浜松光子学株式会社 测量装置和测量方法
CN108348719A (zh) * 2015-11-10 2018-07-31 皇家飞利浦有限公司 确定关于患者的面部的信息
CN106951840A (zh) * 2017-03-09 2017-07-14 北京工业大学 一种人脸特征点检测方法
CN109344724A (zh) * 2018-09-05 2019-02-15 深圳伯奇科技有限公司 一种证件照自动背景替换方法、***及服务器
CN108921148A (zh) * 2018-09-07 2018-11-30 北京相貌空间科技有限公司 确定正脸倾斜角度的方法及装置
CN111353353A (zh) * 2018-12-24 2020-06-30 杭州中软安人网络通信股份有限公司 跨姿态的人脸识别方法及装置
CN110279515A (zh) * 2019-07-26 2019-09-27 张承武 一种眼部整形手术术前评估的方法
CN111700616A (zh) * 2020-04-27 2020-09-25 鸡西御美楼医疗美容门诊部 十度媚眼眼整形美学设计测量执行方法
CN111559081A (zh) * 2020-05-08 2020-08-21 上海交通大学医学院附属第九人民医院 赝复体制作方法、***、终端以及介质
CN111938655A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于关键点信息的眼眶软组织形态评价方法、***及设备

Similar Documents

Publication Publication Date Title
Singh et al. Three-dimensional modeling of the human eye based on magnetic resonance imaging
CN105431089B (zh) 根据肝脏扫描确定肝功能的***和方法
Patterson et al. A new statistical approach for quantifying change in series of retinal and optic nerve head topography images
US20100121201A1 (en) Non-invasive wound prevention, detection, and analysis
CN105392423A (zh) 生物医学成像中的实时适应性运动补偿的运动追踪***
US20130113816A1 (en) Visualizing brain network connectivity
Michoński et al. Automatic recognition of surface landmarks of anatomical structures of back and posture
CN112349391A (zh) 一种优化肋骨自动标号方法
CN110993067A (zh) 医学影像标注***
Bekes et al. Geometrical model‐based segmentation of the organs of sight on CT images
Aghdasi et al. Efficient orbital structures segmentation with prior anatomical knowledge
Gibson et al. Optic nerve head registration via hemispherical surface and volume registration
US20230351605A1 (en) Methods, systems and computer program products for classifying image data for future mining and training
Ni et al. Automatic cystocele severity grading in transperineal ultrasound by random forest regression
CN112568992A (zh) 基于3d扫描眼睑参数测量方法、装置、设备和介质
Zhu et al. Calculation of ophthalmic diagnostic parameters on a single eye image based on deep neural network
Wang et al. Using optimal transport to improve spherical harmonic quantification of complex biological shapes
KR20220133834A (ko) 학습 모델을 이용한 데이터 처리 방법
Zhang et al. Automatic measurement of exophthalmos based orbital CT images using deep learning
Monton et al. Visual breast asymmetry assessment with optical-flow algorithm
Styner et al. Correspondence evaluation in local shape analysis and structural subdivision
Xing et al. Human eyeball model reconstruction and quantitative analysis
Rodríguez-Bastidas Generation of 3D Tumor Models from DICOM Images for Virtual Planning of its Recession
Shao et al. Facial augmented reality based on hierarchical optimization of similarity aspect graph
Richmond Evaluation of Craniofacial Superimposition as a Technique for Measuring Mountain Gorilla Facial Soft Tissue Depth and Implications for Hominid Facial Approximation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330