CN116228763B - 用于眼镜打印的图像处理方法及*** - Google Patents

用于眼镜打印的图像处理方法及*** Download PDF

Info

Publication number
CN116228763B
CN116228763B CN202310505728.9A CN202310505728A CN116228763B CN 116228763 B CN116228763 B CN 116228763B CN 202310505728 A CN202310505728 A CN 202310505728A CN 116228763 B CN116228763 B CN 116228763B
Authority
CN
China
Prior art keywords
face
feature map
image
decoding
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310505728.9A
Other languages
English (en)
Other versions
CN116228763A (zh
Inventor
邓清凤
伍强
黄渠洪
黄剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ruitong Technology Co ltd
Original Assignee
Chengdu Ruitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ruitong Technology Co ltd filed Critical Chengdu Ruitong Technology Co ltd
Priority to CN202310505728.9A priority Critical patent/CN116228763B/zh
Publication of CN116228763A publication Critical patent/CN116228763A/zh
Application granted granted Critical
Publication of CN116228763B publication Critical patent/CN116228763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种用于眼镜打印的图像处理方法及***。其首先获取由摄像头采集的人脸图像，接着，将所述人脸图像通过人脸感兴趣区域生成器以得到人脸感兴趣区域图像，然后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像，然后，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型，最后，基于所述人脸3D模型，计算得到眼镜的参数并基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以提高生产效率，降低生产成本。

Description

用于眼镜打印的图像处理方法及***
技术领域
本申请涉及智能打印领域，且更为具体地，涉及一种用于眼镜打印的图像处理方法及***。
背景技术
随着计算机对图像进行处理、分析和理解的技术的发展，以及3D打印技术的日益成熟，图像识别技术和3D打印技术已经逐步完美结合，并广泛应用于各个生产和制造行业。
例如，申请号为202011404717.4的中国专利公开了一种用于3D打印的图像处理方法，包括以下步骤：投影待打印层以生成初始图像；沿第一方向移动所述初始图像，使得所述初始图像从初始位置移动第一距离到达第一限定位置以得到第一图像，其中，所述第一距离不大于所述初始图像中的一个像素沿所述第一方向的长度；融合所述初始图像和所述第一图像以得到融合图像；以及打印所述融合图像。还公开了一种用于3D打印的图像处理***，包括投影模块，移动模块，融合模块和打印模块。应用该方法和***能够使图像中相邻像素灰度值的变化更平缓，提高打印精度，能够在不改变现有光机分辨率的情况下，得到表面更光滑的3D打印模型。
再者，如申请号202210621905.5的中国专利公开了一种3D打印中的图像处理方法及装置、存储介质、终端，涉及3D打印技术领域，主要目的在于解决现有3D打印中切片层图像渲染性能较差的问题。包括：获取目标打印模型切片层的轮廓线信息并根据所述轮廓线信息计算各轮廓线的轮廓线斜率；根据所述轮廓线斜率确定所述各轮廓线覆盖的边缘像素块，并计算所述边缘像素块的灰度值；基于所述边缘像素块的灰度值渲染对应的边缘像素块，提升了3D打印中图像渲染。
随着市场需求的发展，图像处理和3D打印技术也开始逐步用于定制化眼镜的生产中。3D打印技术的眼镜打印是一种新兴的眼镜制造方式，其基于对使用者脸部图像的识别和处理，然后使用3D打印机来制造眼镜框架和眼镜配件。这种技术可以使制造商根据客户的个性化需求生产完全定制的眼镜。
基于3D打印技术的眼镜打印的关键技术是：对人脸进行精准地3D建模，并基于所得到的人脸3D模型来计算得到定制化的眼镜参数，从而可基于所述眼镜的参数来进行3D打印。
现有一些基于人脸二维图像来进行人脸3D建模的方案，但这些建模方案的建模精度还存在较大的优化空间，这导致基于3D打印技术的眼镜打印还无法真正实现全智能化和全自动化。在现有的基于3D打印技术的眼镜打印方案中，还需要人工测量相关参数来进行辅助判断，以确保最终成型的打印眼镜能够符合定制化的要求。
因此，期待一种优化的用于眼镜打印的图像处理方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于眼镜打印的图像处理方法及***。其首先获取由摄像头采集的人脸图像，接着，将所述人脸图像通过人脸感兴趣区域生成器以得到人脸感兴趣区域图像，然后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像，然后，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型，最后，基于所述人脸3D模型，计算得到眼镜的参数并基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以提高生产效率，降低生产成本。
根据本申请的一个方面，提供了一种用于眼镜打印的图像处理方法，其包括：
获取由摄像头采集的人脸图像；
将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；
对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；
基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；
将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；
基于所述人脸3D模型，计算得到眼镜的参数；以及
基于所述眼镜的参数来进行眼镜3D模型打印。
在上述的用于眼镜打印的图像处理方法中，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构，包括：
将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；
将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；
融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及
对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入。
在上述的用于眼镜打印的图像处理方法中，将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层，包括：
将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；
将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；
将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；
将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及
将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
在上述的用于眼镜打印的图像处理方法中，将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图，包括：
使用所述编码器的第一卷积层对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述编码器的第一卷积层的输出所述第一人脸特征图，其中，所述编码器的第一卷积层的输入为所述人脸图像。
在上述的用于眼镜打印的图像处理方法中，将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图，包括：
使用所述解码器的第一解码模块对所述第五人脸特征图进行反卷积处理、池化处理和非线性激活处理以得到所述第一解码特征图。
在上述的用于眼镜打印的图像处理方法中，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图，包括：
以如下级联公式来融合所述第一解码特征图和所述第五人脸特征图以得到所述第一融合解码特征图；
其中，所述级联公式为：
；
其中，表示所述第一解码特征图，/>表示所述第五人脸特征图，/>表示级联函数，/>表示所述第一融合解码特征图。
在上述的用于眼镜打印的图像处理方法中，对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入，包括：
以如下优化公式对所述第一融合解码特征图进行特征分布优化以得到所述优化后第一融合解码特征图；
其中，所述优化公式为：
其中，表示所述第一融合解码特征图，/>表示所述优化后第一融合解码特征图，表示单层卷积操作，/>表示特征图的逐位置相加，/>表示特征图的逐位置相减，/>表示特征图的逐位置相乘，且/>和/>为偏置特征图。
根据本申请的另一个方面，提供了一种用于眼镜打印的图像处理***，其包括：
图像采集模块，用于获取由摄像头采集的人脸图像；
编解码模块，用于将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；
关键点检测模块，用于对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；
图像变换模块，用于基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；
3DMM模块，用于将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；
参数计算模块，用于基于所述人脸3D模型，计算得到眼镜的参数；以及
打印模块，用于基于所述眼镜的参数来进行眼镜3D模型打印。
在上述的用于眼镜打印的图像处理***中，所述编解码模块，包括：
编码单元，用于将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；
第一解码单元，用于将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；
融合单元，用于融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及
第二解码单元，用于对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入。
在上述的用于眼镜打印的图像处理***中，所述编码单元，用于：
将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；
将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；
将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；
将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及
将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
与现有技术相比，本申请提供的用于眼镜打印的图像处理方法及***，其首先获取由摄像头采集的人脸图像，接着，将所述人脸图像通过人脸感兴趣区域生成器以得到人脸感兴趣区域图像，然后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像，然后，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型，最后，基于所述人脸3D模型，计算得到眼镜的参数并基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以提高生产效率，降低生产成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的用于眼镜打印的图像处理方法的应用场景图。
图2为根据本申请实施例的用于眼镜打印的图像处理方法的流程图。
图3为根据本申请实施例的用于眼镜打印的图像处理方法的架构示意图。
图4为根据本申请实施例的用于眼镜打印的图像处理方法的子步骤S120的流程图。
图5为根据本申请实施例的用于眼镜打印的图像处理方法的子步骤S121的流程图。
图6为根据本申请实施例的用于眼镜打印的图像处理***的框图。
图7为根据本申请实施例的用于眼镜打印的图像处理***中的所述编解码模块的框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为：通过基于编码器-解码器的人脸感兴趣区域生成器来探测人脸感兴趣区域、并通过关键点检测、旋转角度计算和缩放比例等操作来提高人脸感兴趣区域与真实人脸之间的一致性，进而利用3DMM模型来得到高质量的人脸3D模型，进而实现眼镜参数的计算和眼镜3D模型打印。这样，通过上述数据处理流程大幅提升人脸建模的精度，同时通过关键点检测和旋转角度计算等操作，消除了人工干预的需求，实现了全自动化和全智能化，并且可以根据客户的个性化需求生产完全定制化的眼镜，提供更好的使用体验。同时也可满足眼镜制造商对于效率和成本的要求，提高生产效率，降低生产成本。
具体地，在本申请的技术方案中，首先获取由摄像头采集的人脸图像。应可以理解，在本申请的技术方案中，技术路线为基于人脸二维图像来进行人脸3D建模，因此，首先需采集被定制对象的人脸二维图像。应可以理解，在采集所述人脸图像后，可以使用计算机图形学技术将图像转换成三维人脸模型，进而根据所得到的人脸三维模型，再计算得到眼镜的参数，以便进行眼镜3D模型打印。
值得一提的是，在本申请的技术方案中，通过所述摄像头采集人脸图像可以实现全自动化的生产流程。具体地，可以将摄像头与3D打印机相连，即可实现从采集人脸图像到打印眼镜的一系列自动化流程。这种方法可以大幅提高生产效率，降低制造成本，并且可以满足客户个性化定制化的需求。
接着，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构。这里，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像的技术目的是为了提高人脸3D建模的精度和准确性。
本领域普通技术人员应知晓，在传统的人脸建模方法中，常常需要先手动标记或选取人脸的感兴趣区域，然后再进行相关操作。这种方法虽然有一定的准确性，但需要大量的人力和时间成本。而基于编码器-解码器结构的人脸感兴趣区域生成器可以自动地定位和提取人脸感兴趣区域，从而实现全自动化建模。
具体地，在本申请的技术方案中，采用对称的编码器-解码器网络结构首先对所述人脸图像进行编码以得到人脸编码特征图，并利用所述解码器将所述人脸编码器特征图恢复为高分辨率的人脸图像。进一步地，对所述具有高分辨率的人脸图像进行图像语义分割以得到所述人脸感兴趣区域图像。
在本申请一个具体的示例中，所述编码器包含五个连接的卷积层，定义为第一至第五卷积层，在将所述人脸图像输入所述编码器后，所述编码器能够通过所述五个连接的卷积层对所述人脸图像进行逐步深入地卷积编码以得到第一至第五人脸特征图。接着，基于所述编码器和所述解码器之间的跳层连接，将所述第五人脸特征图输入所述解码器进行解码以得到所述高分辨率的人脸图像。
在本申请一个具体的示例中，所述解码器包括五个反卷积层，用于分别对输入数据进行反卷积编码以得到解码特征图。这里以所述解码器的第一解码模块为示例来说明：所述编码器和所述解码器之间的跳层连接，以及，所述第一解码模块的解码过程。
首先，将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图，其中，所述第一解码器模块对所述第五人脸特征图进行分卷积编码、池化处理和非线性激活处理以得到所述第一解码特征图；接着，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图，也就是，所述编码器的第五卷积层的输出被传递至所述解码器的第一解码模块，并与所述第一解码模块的输出（即，所述第一解码特征图）进行特征融合。
这里，考虑到所述第一融合解码特征图是融合所述第一解码特征图和所述第五人脸特征图得到的，因此其同时包含所述第一解码特征图的图像语义解码特征和所述第五人脸特征图的图像语义编码特征，并且，所述第五人脸特征图具有较高的图像语义编码抽象度，而第一解码特征图相对于所述第五人脸特征图具有较低的图像解码抽象度，因此会在不同的特征编解码抽象尺度上具有关于人脸图像的特征冗余，这会影响所述第一融合解码特征图的表达效果，从而降低解码结果的准确性。
因此，本申请的申请人对所述第一融合解码特征图，例如记为进行基于低廉瓶颈机制堆叠的特征冗余优化，以得到优化后的第一融合解码特征图，例如记为
，具体表示为：
表示单层卷积操作，/>、/>和/>分别表示特征图的逐位置相加、相减和相乘，且/>和/>为偏置特征图，例如初始可以设置为所述第一融合解码特征图的全局均值特征图或者单位特征图，其中初始的偏置特征图/>和/>不同。
这里，所述基于低廉瓶颈机制堆叠的特征冗余优化可以使用两个低廉变换特征的乘加式堆叠的低廉瓶颈机制来进行特征扩张，并通过以均一值偏置堆叠通道来匹配残差路径，从而通过类似于基本残差模块的具有低廉成本的低廉操作变换来在冗余性特征中揭露出内在本质特征之下的隐分布信息，以通过简单而有效的卷积操作架构来获得特征的更内在本质的表达，从而优化所述第一融合解码特征图的冗余特征表达，提升所述第一融合解码特征图的表达效果，从而提升所述第二解码模块的解码结果的准确性。
也就是，在本申请的技术方案中，在得到所述第一融合解码特征图后，对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入。
应可以理解，虽然仅以所述解码器的第一解码模块为示例来说明：所述编码器和所述解码器之间的跳层连接，以及，所述第一解码模块的解码过程，基于相同的原理应容易了解所述第二至第五解码模块的解码过程，为了避免赘述，不再展开。
在得到所述人脸感兴趣区域图像后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点。应可以理解，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，是基于3D打印技术的眼镜打印中人脸建模的重要步骤之一，这可以更加准确地确定人脸的形状和位置，从而提高后续计算的精度和准确性。
通过关键点检测算法，可以自动地识别出人脸感兴趣区域图像中的一些特定位置上的关键点（比如眼睛、鼻子、嘴巴等）。这些关键点可以提供有关人脸的详细信息，例如面部轮廓、表情等。应可以理解，在基于3D打印技术的眼镜打印中，关键点检测算法可以帮助我们获取眼镜在人脸上的准确位置和角度，从而更好地计算得到眼镜参数。通过获取这些关键特征点，可以更加准确地表示和描述人脸的形状和位置，为后续的变换和3D建模奠定基础。
接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像。在基于3D打印技术的眼镜打印中，由于不同人的面部大小和形状都有所不同，因此需要对采集到的人脸图像进行适当的变换，以便更好地进行分析和建模。具体来说，通过计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，可以将人脸感兴趣区域图像转换成标准的尺寸和方向，从而对后续的3D建模等操作提供更好的支持。之后，通过对所述人脸感兴趣区域图像进行变换，可以有效地消除形变和姿态带来的影响，使得所有人脸的大小和形状都能够被统一地表示和处理。这样可以为后续的人脸3D建模提供更加准确和精细的数据，从而实现更好的眼镜定制化和个性化效果。
继而，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型。在基于3D打印技术的眼镜打印中，要实现定制化的眼镜需要准确地建立人脸的3D模型。通过将变换后的人脸感兴趣区域图像通过3DMM（3D Morphable Model）模型，可以将2D的人脸图像转换成3D的人脸模型，并且可以对该模型的形状、纹理等进行精细控制。3DMM模型是一种利用大量已知人脸样本数据进行统计学分析而得到的一种数学模型，通过使用3DMM模型，可以快速高效地生成大量不同姿态、表情和年龄的人脸3D模型，并且可以根据眼镜的尺寸和形状，对3D模型进行相应的调整和修改，以适应不同客户的需求。
接着，基于所述人脸3D模型，计算得到眼镜的参数。在基于3D打印技术的眼镜打印中，要实现定制化的眼镜需要根据客户的个体特征来计算眼镜的参数，例如眼镜的轮廓、尺寸、位置等。通过基于所述人脸3D模型计算出眼镜的参数，可以将眼镜的设计和制造与客户的脸部特征相匹配，并且可以满足客户对眼镜的个性化需求。具体来说，通过采用人脸3D模型和眼镜3D模型相结合的方法，计算出眼镜的参数，包括眼镜的宽度、高度、边框形状等。通过计算得出的参数，可以生成适合不同客户的眼镜3D模型，并且可以根据客户的要求进行进一步修改和调整，以满足其个性化需求。
具体地，基于所述人脸3D模型，计算得到眼镜的参数的过程，包括如下步骤：步骤1：定位眼镜区域：通过对基于所述人脸3D模型的眼镜模型进行匹配，可以定位眼镜在人脸3D模型中的位置和姿态；步骤2：计算眼镜的尺寸：通过测量眼镜边框的宽度、高度等数据，可以计算出眼镜的尺寸；步骤3：计算眼镜的位置：通过确定眼镜在人脸3D模型中的位置和姿态，可以计算出眼镜的距离、倾斜角度等数据，从而精确地确定眼镜的位置，以及，步骤4：计算眼镜的形状：通过对眼镜边框进行建模，可以计算出眼镜的形状和轮廓，并且与客户的脸部特征相匹配。通过以上步骤，可以基于所述人脸3D模型计算得到眼镜的参数，并且可以生成适合不同客户的眼镜3D模型，满足客户的个性化需求。
最终，基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以根据客户的个性化需求生产完全定制化的眼镜，提供更好的使用体验。同时也可满足眼镜制造商对于效率和成本的要求，提高生产效率，降低生产成本。
图1为根据本申请实施例的用于眼镜打印的图像处理方法的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头（例如，图1中所示意的C）采集的人脸图像（例如，图1中所示意的D），然后，将所述人脸图像输入至部署有用于眼镜打印的图像处理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述用于眼镜打印的图像处理算法对所述人脸图像进行处理以得到人脸3D模型，然后，基于所述人脸3D模型，计算得到眼镜的参数，并基于所述眼镜的参数来进行眼镜3D模型打印。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的用于眼镜打印的图像处理方法的流程图。如图2所示，根据本申请实施例的用于眼镜打印的图像处理方法，包括步骤：S110，获取由摄像头采集的人脸图像；S120，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；S130，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；S140，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；S150，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；S160，基于所述人脸3D模型，计算得到眼镜的参数；以及，S170，基于所述眼镜的参数来进行眼镜3D模型打印。
图3为根据本申请实施例的用于眼镜打印的图像处理方法的架构示意图。如图3所示，在该网络架构中，首先，获取由摄像头采集的人脸图像；接着，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；然后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；然后，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；接着，基于所述人脸3D模型，计算得到眼镜的参数；最后，基于所述眼镜的参数来进行眼镜3D模型打印。
更具体地，在步骤S110中，获取由摄像头采集的人脸图像。应可以理解，本申请的技术方案基于人脸二维图像来进行人脸3D建模，因此，首先需采集被定制对象的人脸二维图像。应可以理解，在采集所述人脸图像后，可以使用计算机图形学技术将图像转换成三维人脸模型，进而根据所得到的人脸三维模型，再计算得到眼镜的参数，以便进行眼镜3D模型打印。
更具体地，在步骤S120中，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构。这里，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像的技术目的是为了提高人脸3D建模的精度和准确性。基于编码器-解码器结构的人脸感兴趣区域生成器可以自动地定位和提取人脸感兴趣区域，从而实现全自动化建模。
这里，所述编码器包含五个连接的卷积层，定义为第一至第五卷积层，在将所述人脸图像输入所述编码器后，所述编码器能够通过所述五个连接的卷积层对所述人脸图像进行逐步深入地卷积编码以得到第一至第五人脸特征图。接着，基于所述编码器和所述解码器之间的跳层连接，将所述第五人脸特征图输入所述解码器进行解码以得到所述高分辨率的人脸图像。所述解码器包括五个反卷积层，用于分别对输入数据进行反卷积编码以得到解码特征图。其中，所述解码器的第一解码器模块对所述第五人脸特征图进行分卷积编码、池化处理和非线性激活处理以得到所述第一解码特征图；接着，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图，也就是，所述编码器的第五卷积层的输出被传递至所述解码器的第一解码模块，并与所述第一解码模块的输出（即，所述第一解码特征图）进行特征融合。
相应地，在一个具体示例中，如图4所示，将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构，包括：S121，将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；S122，将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；S123，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及，S124，对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入。
相应地，在一个具体示例中，如图5所示，将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层，包括：S1211，将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；S1212，将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；S1213，将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；S1214，将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及，S1215，将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
相应地，在一个具体示例中，将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图，包括：使用所述编码器的第一卷积层对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述编码器的第一卷积层的输出所述第一人脸特征图，其中，所述编码器的第一卷积层的输入为所述人脸图像。
相应地，在一个具体示例中，将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图，包括：使用所述解码器的第一解码模块对所述第五人脸特征图进行反卷积处理、池化处理和非线性激活处理以得到所述第一解码特征图。
相应地，在一个具体示例中，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图，包括：以如下级联公式来融合所述第一解码特征图和所述第五人脸特征图以得到所述第一融合解码特征图；其中，所述级联公式为：
其中，表示所述第一解码特征图，/>表示所述第五人脸特征图，/>表示级联函数，/>表示所述第一融合解码特征图。
这里，考虑到所述第一融合解码特征图是融合所述第一解码特征图和所述第五人脸特征图得到的，因此其同时包含所述第一解码特征图的图像语义解码特征和所述第五人脸特征图的图像语义编码特征，并且，所述第五人脸特征图具有较高的图像语义编码抽象度，而第一解码特征图相对于所述第五人脸特征图具有较低的图像解码抽象度，因此会在不同的特征编解码抽象尺度上具有关于人脸图像的特征冗余，这会影响所述第一融合解码特征图的表达效果，从而降低解码结果的准确性。因此，本申请的申请人对所述第一融合解码特征图进行基于低廉瓶颈机制堆叠的特征冗余优化，以得到优化后的第一融合解码特征图。
相应地，在一个具体示例中，对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入，包括：以如下优化公式对所述第一融合解码特征图进行特征分布优化以得到所述优化后第一融合解码特征图；其中，所述优化公式为：
其中，表示所述第一融合解码特征图，/>表示所述优化后第一融合解码特征图，表示单层卷积操作，/>表示特征图的逐位置相加，/>表示特征图的逐位置相减，/>表示特征图的逐位置相乘，且/>和/>为偏置特征图。
这里，所述基于低廉瓶颈机制堆叠的特征冗余优化可以使用两个低廉变换特征的乘加式堆叠的低廉瓶颈机制来进行特征扩张，并通过以均一值偏置堆叠通道来匹配残差路径，从而通过类似于基本残差模块的具有低廉成本的低廉操作变换来在冗余性特征中揭露出内在本质特征之下的隐分布信息，以通过简单而有效的卷积操作架构来获得特征的更内在本质的表达，从而优化所述第一融合解码特征图的冗余特征表达，提升所述第一融合解码特征图的表达效果，从而提升所述第二解码模块的解码结果的准确性。
更具体地，在步骤S130中，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点。应可以理解，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，是基于3D打印技术的眼镜打印中人脸建模的重要步骤之一，这可以更加准确地确定人脸的形状和位置，从而提高后续计算的精度和准确性。通过关键点检测算法，可以自动地识别出人脸感兴趣区域图像中的一些特定位置上的关键点（比如眼睛、鼻子、嘴巴等）。这些关键点可以提供有关人脸的详细信息，例如面部轮廓、表情等。应可以理解，在基于3D打印技术的眼镜打印中，关键点检测算法可以帮助我们获取眼镜在人脸上的准确位置和角度，从而更好地计算得到眼镜参数。通过获取这些关键特征点，可以更加准确地表示和描述人脸的形状和位置，为后续的变换和3D建模奠定基础。
更具体地，在步骤S140中，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像。在基于3D打印技术的眼镜打印中，由于不同人的面部大小和形状都有所不同，因此需要对采集到的人脸图像进行适当的变换，以便更好地进行分析和建模。具体来说，通过计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，可以将人脸感兴趣区域图像转换成标准的尺寸和方向，从而对后续的3D建模等操作提供更好的支持。
更具体地，在步骤S150中，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型。通过将变换后的人脸感兴趣区域图像通过3DMM（3D Morphable Model）模型，可以将2D的人脸图像转换成3D的人脸模型，并且可以对该模型的形状、纹理等进行精细控制。
更具体地，在步骤S160中，基于所述人脸3D模型，计算得到眼镜的参数。在基于3D打印技术的眼镜打印中，要实现定制化的眼镜需要根据客户的个体特征来计算眼镜的参数，例如眼镜的轮廓、尺寸、位置等。通过基于所述人脸3D模型计算出眼镜的参数，可以将眼镜的设计和制造与客户的脸部特征相匹配，并且可以满足客户对眼镜的个性化需求。具体来说，通过采用人脸3D模型和眼镜3D模型相结合的方法，计算出眼镜的参数，包括眼镜的宽度、高度、边框形状等。通过计算得出的参数，可以生成适合不同客户的眼镜3D模型，并且可以根据客户的要求进行进一步修改和调整，以满足其个性化需求。
更具体地，在步骤S170中，基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以根据客户的个性化需求生产完全定制化的眼镜，提供更好的使用体验。同时也可满足眼镜制造商对于效率和成本的要求，提高生产效率，降低生产成本。
综上，基于本申请实施例的用于眼镜打印的图像处理方法，其首先获取由摄像头采集的人脸图像，接着，将所述人脸图像通过人脸感兴趣区域生成器以得到人脸感兴趣区域图像，然后，对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点，接着，基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像，然后，将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型，最后，基于所述人脸3D模型，计算得到眼镜的参数并基于所述眼镜的参数来进行眼镜3D模型打印。这样，可以提高生产效率，降低生产成本。
图6为根据本申请实施例的用于眼镜打印的图像处理***100的框图。如图6所示，根据本申请实施例的用于眼镜打印的图像处理***100，包括：图像采集模块110，用于获取由摄像头采集的人脸图像；编解码模块120，用于将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；关键点检测模块130，用于对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；图像变换模块140，用于基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；3DMM模块150，用于将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；参数计算模块160，用于基于所述人脸3D模型，计算得到眼镜的参数；以及，打印模块170，用于基于所述眼镜的参数来进行眼镜3D模型打印。
在一个示例中，如图7所示，在上述用于眼镜打印的图像处理***100中，所述编解码模块120，包括：编码单元121，用于将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；第一解码单元122，用于将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；融合单元123，用于融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及，第二解码单元124，用于对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入。
在一个示例中，在上述用于眼镜打印的图像处理***100中，所述编码单元121，用于：将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及，将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
在一个示例中，在上述用于眼镜打印的图像处理***100中，将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图，包括：使用所述编码器的第一卷积层对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述编码器的第一卷积层的输出所述第一人脸特征图，其中，所述编码器的第一卷积层的输入为所述人脸图像。
在一个示例中，在上述用于眼镜打印的图像处理***100中，所述第一解码单元122，用于：使用所述解码器的第一解码模块对所述第五人脸特征图进行反卷积处理、池化处理和非线性激活处理以得到所述第一解码特征图。
在一个示例中，在上述用于眼镜打印的图像处理***100中，所述融合单元123，用于：以如下级联公式来融合所述第一解码特征图和所述第五人脸特征图以得到所述第一融合解码特征图；其中，所述级联公式为：
其中，表示所述第一解码特征图，/>表示所述第五人脸特征图，/>表示级联函数，/>表示所述第一融合解码特征图。
在一个示例中，在上述用于眼镜打印的图像处理***100中，所述第二解码单元124，用于：以如下优化公式对所述第一融合解码特征图进行特征分布优化以得到所述优化后第一融合解码特征图；其中，所述优化公式为：
其中，表示所述第一融合解码特征图，/>表示所述优化后第一融合解码特征图，表示单层卷积操作，/>表示特征图的逐位置相加，/>表示特征图的逐位置相减，/>表示特征图的逐位置相乘，且/>和/>为偏置特征图。
这里，本领域技术人员可以理解，上述用于眼镜打印的图像处理***100中的各个模块的具体功能和操作已经在上面参考图1到图5的用于眼镜打印的图像处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的用于眼镜打印的图像处理***100可以实现在各种无线终端中，例如具有用于眼镜打印的图像处理算法的服务器等。在一个示例中，根据本申请实施例的用于眼镜打印的图像处理***100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该用于眼镜打印的图像处理***100可以是该无线终端的操作***中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该用于眼镜打印的图像处理***100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该用于眼镜打印的图像处理***100与该无线终端也可以是分立的设备，并且该用于眼镜打印的图像处理***100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现***的计算机环境，或与提供目标检测所需要的信息相关的类似功能的***。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (7)

1.一种用于眼镜打印的图像处理方法，其特征在于，包括：
获取由摄像头采集的人脸图像；
将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；
对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；
基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；
将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；
基于所述人脸3D模型，计算得到眼镜的参数；以及
基于所述眼镜的参数来进行眼镜3D模型打印；
将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构，包括：
将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；
将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；
融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及
对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入；
对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入，包括：
以如下优化公式对所述第一融合解码特征图进行特征分布优化以得到所述优化后第一融合解码特征图；
其中，所述优化公式为：
Fb＝Cov(Fa)；
其中，F表示所述第一融合解码特征图，F'表示所述优化后第一融合解码特征图，Cov表示单层卷积操作，表示特征图的逐位置相加，/>表示特征图的逐位置相减，⊙表示特征图的逐位置相乘，且B1和B2为偏置特征图。
2.根据权利要求1所述的用于眼镜打印的图像处理方法，其特征在于，将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层，包括：
将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；
将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；
将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；
将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及
将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
3.根据权利要求2所述的用于眼镜打印的图像处理方法，其特征在于，将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图，包括：
使用所述编码器的第一卷积层对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述编码器的第一卷积层的输出所述第一人脸特征图，其中，所述编码器的第一卷积层的输入为所述人脸图像。
4.根据权利要求3所述的用于眼镜打印的图像处理方法，其特征在于，将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图，包括：
使用所述解码器的第一解码模块对所述第五人脸特征图进行反卷积处理、池化处理和非线性激活处理以得到所述第一解码特征图。
5.根据权利要求4所述的用于眼镜打印的图像处理方法，其特征在于，融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图，包括：
以如下级联公式来融合所述第一解码特征图和所述第五人脸特征图以得到所述第一融合解码特征图；
其中，所述级联公式为：
F＝Concat[F1，F2]；
其中，F1表示所述第一解码特征图，F2表示所述第五人脸特征图，Concat[·]表示级联函数，F表示所述第一融合解码特征图。
6.一种用于眼镜打印的图像处理***，其特征在于，包括：
图像采集模块，用于获取由摄像头采集的人脸图像；
编解码模块，用于将所述人脸图像通过基于编码器-解码器结构的人脸感兴趣区域生成器以得到人脸感兴趣区域图像，其中，所述编码器和所述解码器具有对称的网络结构；
关键点检测模块，用于对所述人脸感兴趣区域图像进行关键点检测以得到多个人脸关键特征点；
图像变换模块，用于基于所述多个人脸关键特征点，计算得到所述人脸感兴趣区域图像的旋转角度和缩放比例，并基于所述旋转角度和所述缩放比例，对所述人脸感兴趣区域图像进行变换以得到变换后人脸感兴趣区域图像；
3DMM模块，用于将所述变换后人脸感兴趣区域图像通过3DMM模型以得到人脸3D模型；
参数计算模块，用于基于所述人脸3D模型，计算得到眼镜的参数；以及
打印模块，用于基于所述眼镜的参数来进行眼镜3D模型打印；
所述编解码模块包括：编码单元，用于将所述人脸图像输入所述编码器以得到第一至第五人脸特征图，其中，所述编码器包括五个卷积层；
第一解码单元，用于将所述第五人脸特征图输入所述解码器的第一解码模块以得到第一解码特征图；
融合单元，用于融合所述第一解码特征图和所述第五人脸特征图以得到第一融合解码特征图；以及
第二解码单元，用于对所述第一融合解码特征图进行特征分布优化以得到优化后第一融合解码特征图作为所述解码器的第二解码模块的输入；
以如下优化公式对所述第一融合解码特征图进行特征分布优化以得到所述优化后第一融合解码特征图；
其中，所述优化公式为：
Fb＝Cov(Fa)；
其中，F表示所述第一融合解码特征图，F'表示所述优化后第一融合解码特征图，Cov表示单层卷积操作，表示特征图的逐位置相加，/>表示特征图的逐位置相减，⊙表示特征图的逐位置相乘，且B1和B2为偏置特征图。
7.根据权利要求6所述的用于眼镜打印的图像处理***，其特征在于，所述编码单元，用于：
将所述人脸图像输入所述编码器的第一卷积层以得到所述第一人脸特征图；
将所述第一人脸特征图输入所述编码器的第二卷积层以得到所述第二人脸特征图；
将所述第二人脸特征图输入所述编码器的第三卷积层以得到所述第三人脸特征图；
将所述第三人脸特征图输入所述编码器的第四卷积层以得到所述第四人脸特征图；以及
将所述第四人脸特征图输入所述编码器的第五卷积层以得到所述第五人脸特征图。
CN202310505728.9A 2023-05-08 2023-05-08 用于眼镜打印的图像处理方法及*** Active CN116228763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310505728.9A CN116228763B (zh) 2023-05-08 2023-05-08 用于眼镜打印的图像处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310505728.9A CN116228763B (zh) 2023-05-08 2023-05-08 用于眼镜打印的图像处理方法及***

Publications (2)

Publication Number Publication Date
CN116228763A CN116228763A (zh) 2023-06-06
CN116228763B true CN116228763B (zh) 2023-07-21

Family

ID=86584582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310505728.9A Active CN116228763B (zh) 2023-05-08 2023-05-08 用于眼镜打印的图像处理方法及***

Country Status (1)

Country Link
CN (1) CN116228763B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154386A (zh) * 2017-12-08 2018-06-12 上海翰达眼镜销售有限公司 一种选购及定制眼镜的方法
CN108490641B (zh) * 2018-02-14 2019-04-26 天目爱视（北京）科技有限公司 基于3d头部数据的眼镜自动设计***
CN108537126B (zh) * 2018-03-13 2021-03-23 东北大学 一种人脸图像处理方法
CN108876793A (zh) * 2018-04-13 2018-11-23 北京迈格威科技有限公司 语义分割方法、装置和***及存储介质
US11308611B2 (en) * 2019-10-09 2022-04-19 Siemens Healthcare Gmbh Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging
CN111062328B (zh) * 2019-12-18 2023-10-03 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人
US11574390B2 (en) * 2020-01-20 2023-02-07 Canon Kabushiki Kaisha Apparatus and method for image processing
CN112883843B (zh) * 2021-02-02 2022-06-03 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN113223154A (zh) * 2021-05-24 2021-08-06 深圳市摩客眼镜智能科技有限公司 一种个性化眼镜框三维模型生成方法及一种个性化眼镜框制作方法
CN113724302B (zh) * 2021-09-02 2024-03-29 扛造数字科技(成都)有限公司 一种个性化眼镜定制方法及定制***
CN115375835A (zh) * 2022-07-13 2022-11-22 平安科技（深圳）有限公司 基于二维关键点的三维模型建立方法、计算机及存储介质
CN115294301B (zh) * 2022-08-11 2023-05-16 广州沃佳科技有限公司 基于人脸图像的头部模型构建方法、装置、设备及介质
CN115330947A (zh) * 2022-08-12 2022-11-11 百果园技术(新加坡)有限公司 三维人脸重建方法及其装置、设备、介质、产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164429A1 (zh) * 2020-02-21 2021-08-26 京东方科技集团股份有限公司 图像处理方法、图像处理装置及设备
CN112614213A (zh) * 2020-12-14 2021-04-06 杭州网易云音乐科技有限公司 人脸表情确定方法、表情参数确定模型、介质及设备

Also Published As

Publication number Publication date
CN116228763A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN110298798B (zh) 一种基于低秩张量补全与离散全变分的图像修复方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
WO2018120329A1 (zh) 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN110910447A (zh) 一种基于动静态场景分离的视觉里程计方法
CN112001960A (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN103994755B (zh) 一种基于模型的空间非合作目标位姿测量方法
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN112991358A (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN115908311B (zh) 基于机器视觉的镜片成型检测设备及其方法
CN114429555A (zh) 由粗到细的图像稠密匹配方法、***、设备及存储介质
CN113628261B (zh) 一种电力巡检场景下的红外与可见光图像配准方法
CN115546273A (zh) 一种面向室内鱼眼图像的场景结构深度估计方法
CN113989441B (zh) 基于单张人脸图像的三维漫画模型自动生成方法及***
CN114066959A (zh) 基于Transformer的单幅条纹图深度估计方法
CN117132461B (zh) 基于角色形变目标体角色全身优化的方法及***
CN116228763B (zh) 用于眼镜打印的图像处理方法及***
CN116977387A (zh) 基于形变场融合的可变形医学图像配准方法
US20150153162A1 (en) Method of three-dimensional measurements by stereo-correlation using a parametric representation of the measured object
CN109741389B (zh) 一种基于区域基匹配的局部立体匹配方法
CN110533663B (zh) 一种图像视差确定方法、装置、设备及***
CN116597135A (zh) Rgb-d多模态语义分割方法
CN113962904B (zh) 一种高光谱图像滤波降噪的方法
CN116049469A (zh) 基于参考图的多匹配搜索和超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant