CN112288665A - 图像融合的方法、装置、存储介质及电子设备 - Google Patents
图像融合的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112288665A CN112288665A CN202011069359.6A CN202011069359A CN112288665A CN 112288665 A CN112288665 A CN 112288665A CN 202011069359 A CN202011069359 A CN 202011069359A CN 112288665 A CN112288665 A CN 112288665A
- Authority
- CN
- China
- Prior art keywords
- processed
- pixel
- region
- original image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 93
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合的方法、装置、存储介质及电子设备，属于图像处理技术领域。所述图像融合的方法包括：对原始图像进行人脸检测得到第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息，对所述第一待处理区域进行人脸变换处理得到第二待处理区域，基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。故本申请中通过第一待处理区域和人脸关键点模板的变换关系，得到像素查找表，通过像素查找表使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
Description
技术邻域
本发明涉及图像处理技术领域，具体涉及一种图像融合的方法、装置、存储介质及电子设备。
背景技术
目前，各拍照应用或图像处理应用中的人脸美颜、贴图、换发型、变脸等功能广受用户欢迎。其中，变脸也即人脸图像融合，其主要是将用户照片和模板照片进行人脸融合，从而使融合得到的图像同时具有用户照片中的人脸外貌和模板照片中的人物形象(比如古装形象、军装形象和角色形象等)特征。现有人脸融合算法处理过程中需要保证基于原始图片对人脸进行裁切旋转后重新放回原图得到的图片应与原图保持一致，但现有的处理方案，先进行图像旋转裁切，再进行裁切后图像对齐，流程较长，并且在过程中多次取整操作，还原后的图像还存在抖动问题，且容易导致融合后的照片产生像素值不均匀，使得合成后图像的人脸部分显得较为突兀，降低照片的真实性。
发明内容
本申请实施例提供了一种图像融合的方法、装置、存储介质及电子设备，能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。所述技术方案如下：
第一方面，本申请实施例提供了一种图像融合的方法，包括：
对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
在所述第一待处理区域中确定至少一个关键像素点；
确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
第二方面，本申请实施例提供了一种图像融合的装置，所述装置包括：
检测模块，用于对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
确定模块，用于在所述第一待处理区域中确定至少一个关键像素点；确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
变换模块，用于对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
融合模块，用于基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适用于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
上述图像融合的方法、装置、存储介质及电子设备工作时，对原始图像进行人脸检测得到第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息，对所述第一待处理区域进行人脸变换处理得到第二待处理区域，基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。本申请实施例能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像融合的方法的流程示意图；
图2是本申请实施例提供的一种第一代处理区域位置示意图；
图3是本申请实施例提供的一种人脸关键点模板示意图；
图4是本申请实施例提供的一种第一待处理区域转换为第二待处理区域示意图；
图5是本申请实施例提供的一种合成图像生成示意图；
图6是本申请实施例提供的一种像素点对应关系示意图；
图7是本申请实施例提供的一种最近邻域插值结果示意图；
图8是本申请实施例提供的一种双线性插值结果示意图；
图9是本申请实施例提供的一种融合过程示意图；
图10是本申请实施例提供的一种图像融合的方法的另一流程示意图；
图11是本申请实施例提供的一种图像融合的装置的结构示意图；
图12是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述设计附图时，除非另有表示，不同附图中的相同数字表示相同的或相似的要素。以下示例性实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本邻域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为了解决上述提到的现有处理方案中，需要先进行图像旋转裁切，再进行裁切后图像对齐，流程较长，经过多次取整操作，还原后的图像还存在抖动现象，且容易导致融合后的照片产生像素值不均匀，使得合成后图像的人脸部分显得较为突兀，降低照片的真实性的技术问题，本申请实施例可依赖于计算机程序实现，可运行于基于冯诺依曼体系且安装有摄像头或可旋转摄像头的计算机***上。该计算机***可以是智能手机、笔记本电脑、平板电按等安装有摄像头的计算机设备。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为计算机进行介绍说明。
下面将结合附图1～10，对本申请实施例提供的图像融合的方法进行详细介绍。
请参见图1，为本申请实施例提供了一种图像融合的方法的流程示意图。所述方法可以包括以下步骤：
S101、对原始图像进行人脸检测得到第一待处理区域。
一般的，原始图像是指需要进行人脸变换的待处理图像。人脸检测是指通过检测图像上特征像素点，基于所有特征像素点判断其中部分或者全部特征像素点是否符合人脸特征，若符合，则确定原始图像上存在人脸；若不符合，则确定原始图像上不存在人脸。计算机对原始图像进行人脸检测后可以得到检测结果文件，检测结果文件中的信息包括人脸区域左上顶点坐标、长度和宽度，以及脸颊坐标、眉坐标、眼坐标、口坐标及鼻坐标的等多个关键点坐标。计算机根据人脸区域位置坐标确定第一待处理区域，如图2所示通过在原始图像上检测到人脸区域后，基于人脸区域再来确定第一待处理区域。
S102、在所述第一待处理区域中确定至少一个关键像素点。
一般的，计算机确定原始图像上的第一待处理区域后需要确定至少一个关键像素点，后续进行人脸变换需要使用该关键像素点位置信息，例如：计算机检测到1-68号人脸关键点，那么可以确定左眼上第46号关键像素点坐标(100，198)或嘴上第52号关键像素点坐标(173，119)等。
S203、确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息。
一般的，当计算机在所述第一待处理区域中确定至少一个关键像素点后，可以创建一个数组保存所述关键像素点的位置信息，所述位置信息在后续处理中需要使用。
S104、对所述第一待处理区域进行人脸变换处理得到第二待处理区域。
一般的，计算机确定第一待处理区域后，还需要获取人脸关键点模板，所述人脸关键点模板只包括人脸轮廓和眼睛等的边缘特征像素点坐标信息，不存在具体的像素值，如图3所示中人脸模板只包括特征点像素坐标信息。计算机基于所述人脸关键点模板与所述第一待处理区域确定变换关系，基于所述变换关系与所述原始图像得到所述第二待处理区域。如图4所示可以将第一待处理区域的像素值通过人脸变换为第二待处理区域。
S105、基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
一般的，合成图像是指原始图像上的人脸经过图像处理后具备人脸关键模板的特征的图像。如图5所示融合上面两张图的特征得到下面的合成图像，上左表示原始图像，上右模板图像，合成图像包括原始图像背景和模板图像的人脸区域特征。计算机经过处理得到所述第二待处理区域后，确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置，基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素，取所述对应像素与所述像素的像素加权平均，基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
由上述内容可知，对原始图像进行人脸检测得到第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息，对所述第一待处理区域进行人脸变换处理得到第二待处理区域，基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。本申请实施例能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
请参见图10，为本申请实施例提供了一种图像融合的方法的另一流程示意图。该图像融合的方法可以包括以下步骤：
S1001、基于人脸检测算法检测所述原始图像，获取检测结果文件，解析所述检测结果文件，确定所述第一待处理区域。
一般的，人脸检测算法是指检测人脸特征像素点的算法，例如：百度人脸检测算法、依图科技人脸检测算法和商汤科技人脸检测算法等。用户可以将原始图像导入百度人脸检测与属性分析***接口，等待检测时间，获取检测结果文件，例如：检测结果文件为json文件，解析json文件，可以得到检测结果文件中包含的所述人脸区域左上顶点坐标、长度和宽度，以及脸颊坐标、眉坐标、眼坐标、口坐标及鼻坐标的多个关键点坐标的信息。计算机根据人脸区域位置信息来确定第一待处理区域。
S1002、在所述第一待处理区域中确定至少一个关键像素点，存储像素位置信息。
一般的，计算机确定原始图像上的第一待处理区域后需要确定至少一个关键像素点，例如：计算机检测到1-68号人脸关键点，确定第30号关键像素点坐标(53，76)，创建一个数组保存所述关键像素点的位置信息，所述位置信息在后续处理中需要使用。
S1003、获取人脸关键点模板，基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点。
一般的，人脸关键点模板只包括人脸轮廓和眼睛等的边缘特征像素点坐标信息，不存在具体的像素值。计算机得到的检测结果文件中有许多人脸关键点信息，基于所述人脸关键点信息和所述人脸关键点模板确定预设数量的关键对齐点，例如：解析检测结果文件，确定包含20-60号人脸关键点，人脸关键点模板中是1-68号人脸关键点，可以取25号、30号、35号、40号、45号和50号，作为6对关键对齐点。
S1004、将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵。
一般的，仿射变换矩阵是指将A坐标系中的坐标转换到B坐标系中的坐标的变换过程中的参数矩阵。计算机确定关键对齐点后需要求出仿射变换矩阵，例如：将确定的6对关键对齐点带入公式
中可以得到仿射变换矩阵为
M为2×3矩阵，M00、M01、M02、M10、M11、M12为矩阵参数为实数，(m，n)表示人脸模板关键点坐标，(m`，n`)表示原始图像关键点坐标，m，n，m`，n`为大于0的实数。
S1005、将所述仿射变换矩阵设置为齐次矩阵，计算所述齐次矩阵的逆矩阵，基于所述逆矩阵确定伪逆矩阵。
一般的，计算机得到仿射变换矩阵后，在所述仿射变换矩阵第三行加入[0 0 1]，设置为3×3的齐次矩阵
其中，所述仿射变换矩阵为2×3矩阵，计算所述M`齐次矩阵的逆矩阵
其中，所述所述逆矩阵M``为3×3矩阵，获取所述逆矩阵M``的前两行得到所述伪逆矩阵
S1006、基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系。
一般的，计算机确定伪逆矩阵后，将第二待处理区域中每个坐标带入
中计算，可以确定所述第二待处理区域与所述原始图像的像素点坐标对应关系，其中，(xi，yi)表示第二待处理区域像素点坐标，(x`i，y`i)表示所述原始图像像素点坐标。如图6所示右边表示第二待处理区域的像素值可以根据左边原始图像对应位置的像素值来填充。
S1007、将所述像素查找表中各个坐标值转换为整数，基于所述像素点坐标对应关系得到所述第二待处理区域。
一般的，计算机得到像素点坐标对应关系，其中，像素点坐标对应关系使用像素查找表来表示，所述像素查找表包括像素点坐标和像素点值，计算机需要将查找表中各个坐标值转换为整数，例如：使用最近邻域插值法将所述像素查找表中各个坐标值转换为整数或者使用双线性插值法将所述像素查找表中各个坐标值转换为整数。如图7所示经最近邻域插值法处理后结果即简单的四舍五入，如图8所示经双线性插值法处理后结果即在横向上作线性插值，基于得到的结果再在纵向上作线性插值，该法比最近邻域插值法效果更明显。
S1008、确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置。
一般的，第二待处理区域可用矩阵表示，每个元素都对应响应位置，例如：第二待处理区域中第65行第126列的元素可以确定为(65,126)的坐标位置。
S1009、基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素。
一般的，计算机确定坐标位置后可以确定所述像素对应于所述原始图像上的对应像素，例如：坐标位置为(65,126)，该点中坐标值为(73,150,80)，如果坐标位置的(65,126)对应原始图像的(0,0)，则(73,150,80)为所述原始图像上(0,0)坐标的对应像素。如图9所示中上左表示原始图像，上右为第二代处理区域，基于坐标对应关系得到合成图像。
S1010、取所述对应像素与所述像素的像素加权平均值，基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。
一般的，计算机确定所述原始图像上的对应像素后可进行融合，得到合成图像，例如：取第二待处理区域的坐标位置为(65,126)的点，如果第二待处理区域的坐标位置的(65,126)对应原始图像的(73,150)，取第二待处理区域上(65,126)的像素点和原始图像上(73,150)的像素点的像素值加权平均，作为(73,150)像素点的融合值，遍历第二待处理区域所有点，可以得到融合图像。其中加权平均计算公式为：
其中，
表示原始图像中的像素值，
表示第二待处理区域中的像素值，
表示融合图像中的像素值，α为权重参数，当α取值为0.5时，即为取两个像素值的平均值。
本申请实施例的方案在执行时，基于人脸检测算法检测所述原始图像，获取检测结果文件，解析所述检测结果文件，确定所述第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，存储像素位置信息，获取人脸关键点模板，基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点，将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵，将所述仿射变换矩阵设置为齐次矩阵，计算所述齐次矩阵的逆矩阵，基于所述逆矩阵确定伪逆矩阵，基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系，将所述像素查找表中各个坐标值转换为整数，基于所述像素点坐标对应关系得到所述第二待处理区域，确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置，基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素，取所述对应像素与所述像素的像素加权平均，基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。本申请实施例能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图11，其示出了本申请一个示例性实施例提供的图像融合的装置的结构示意图，以下简称控制装置11。控制装置11可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。包括：
检测模块1101，用于对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
确定模块1102，用于在所述第一待处理区域中确定至少一个关键像素点；确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
变换模块1103，用于对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
融合模块1104，用于基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
可选地，所述检测模块1101，还包括：
解析单元，用于基于人脸检测算法检测所述原始图像，获取检测结果文件；解析所述检测结果文件，确定所述第一待处理区域；其中，所述检测结果文件中的信息包括所述人脸区域左上顶点坐标、长度和宽度，以及脸颊坐标、眉坐标、眼坐标、口坐标及鼻坐标的多个关键点坐标。
可选地，所述变换模块1103，还包括：
获取单元，用于获取人脸关键点模板；基于所述人脸关键点模板与所述第一待处理区域确定变换关系；基于所述变换关系与所述原始图像得到所述第二待处理区域；基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点；将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵；根据所述仿射变换矩阵确定所述变换关系；基于所述仿射变换矩阵确定伪逆矩阵；基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系；其中，所述像素点坐标对应关系使用像素查找表来表示，所述像素查找表包括像素点坐标和像素点值；基于所述像素点坐标对应关系得到所述第二待处理区域；将所述仿射变换矩阵设置为齐次矩阵；其中，所述仿射变换矩阵为非齐次矩阵；计算所述齐次矩阵的逆矩阵；基于所述逆矩阵确定伪逆矩阵；使用最近邻域插值法将所述像素查找表中各个坐标值转换为整数；基于转换后的所述像素点坐标对应关系得到所述第二待处理区域；或使用双线性插值法将所述像素查找表中各个坐标值转换为整数；基于转换后的所述像素点坐标对应关系得到所述第二待处理区域。
可选地，所述融合模块1104，还包括：
更新单元，用于确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置；基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素；取所述对应像素与所述像素的像素加权平均；基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。
本申请实施例和图1或图10的方法实施例基于同一构思，其带来的技术效果也相同，具体过程可参照图1或图10的方法实施例的描述，此处不再赘述。
所述装置11可以为实现相关功能的现场可编程门阵列(field-programmablegate array，FPGA)，专用集成芯片，***芯片(system on chip，SoC)，中央处理器(centralprocessor unit，CPU)，网络处理器(network processor，NP)，数字信号处理电路，微控制器(micro controller unit，MCU)，还可以采用可编程控制器(programmable logicdevice，PLD)或其他集成芯片。
本申请实施例的方案在执行时，基于人脸检测算法检测所述原始图像，获取检测结果文件，解析所述检测结果文件，确定所述第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，存储像素位置信息，获取人脸关键点模板，基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点，将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵，将所述仿射变换矩阵设置为齐次矩阵，计算所述齐次矩阵的逆矩阵，基于所述逆矩阵确定伪逆矩阵，基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系，将所述像素查找表中各个坐标值转换为整数，基于所述像素点坐标对应关系得到所述第二待处理区域，确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置，基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素，取所述对应像素与所述像素的像素加权平均，基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。本申请实施例能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述的方法步骤，具体执行过程可以参见图1或图10所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的模板的控制方法。
请参见图12，为本申请实施例提供了一种电子设备的结构示意图。如图12所示，所述电子设备12可以包括：至少一个处理器1201，至少一个网络接口1204，用户接口1203，存储器1205，至少一个通信总线1202。
其中，通信总线1202用于实现这些组件之间的连接通信。
其中，用户接口1203可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1203还可以包括标准的有线接口、无线接口。
其中，网络接口1204可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1201可以包括一个或者多个处理核心。处理器1201利用各种借口和线路连接整个终端1200内的各个部分，通过运行或执行存储在存储器1205内的指令、程序、代码集或指令集，以及调用存储在存储器1205内的数据，执行终端1200的各种功能和处理数据。可选的，处理器1201可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1201可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1201中，单独通过一块芯片进行实现。
其中，存储器1205可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1205包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1205可用于存储指令、程序、代码、代码集或指令集。存储器1205可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1205可选的还可以是至少一个位于远离前述处理器1201的存储装置。如图12所示，作为一种计算机存储介质的存储器1205中可以包括操作***、网络通信模块、用户接口模块以及图像融合应用程序。
在图12所示的电子设备1200中，用户接口1203主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1201可以用于调用存储器1205中存储的图像融合应用程序，并具体执行以下操作：
对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
在所述第一待处理区域中确定至少一个关键像素点；
确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
在一个实施例中，处理器1201执行所述对原始图像进行人脸检测得到第一待处理区域，包括：
基于人脸检测算法检测所述原始图像，获取检测结果文件；
解析所述检测结果文件，确定所述第一待处理区域；
其中，所述检测结果文件中的信息包括所述人脸区域左上顶点坐标、长度和宽度，以及脸颊坐标、眉坐标、眼坐标、口坐标及鼻坐标的多个关键点坐标。
在一个实施例中，处理器1201执行所述对所述第一待处理区域进行人脸变换处理得到第二待处理区域，包括：
获取人脸关键点模板；
基于所述人脸关键点模板与所述第一待处理区域确定变换关系；
基于所述变换关系与所述原始图像得到所述第二待处理区域。
在一个实施例中，处理器1201执行所述基于所述人脸关键点模板与所述第一待处理区域确定变换关系，包括：
基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点；
将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵；
根据所述仿射变换矩阵确定所述变换关系。
在一个实施例中，处理器1201执行所述基于所述变换关系与所述原始图像得到所述第二待处理区域，包括：
基于所述仿射变换矩阵确定伪逆矩阵；
基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系；其中，所述像素点坐标对应关系使用像素查找表来表示，所述像素查找表包括像素点坐标和像素点值；
基于所述像素点坐标对应关系得到所述第二待处理区域。
在一个实施例中，处理器1201执行所述基于所述仿射变换矩阵确定伪逆矩阵，包括：
将所述仿射变换矩阵设置为齐次矩阵；其中，所述仿射变换矩阵为非齐次矩阵；
计算所述齐次矩阵的逆矩阵；
基于所述逆矩阵确定伪逆矩阵。
在一个实施例中，处理器1201执行所述基于所述像素点坐标对应关系得到所述第二待处理区域，包括：
使用最近邻域插值法将所述像素查找表中各个坐标值转换为整数；
基于转换后的所述像素点坐标对应关系得到所述第二待处理区域；或
使用双线性插值法将所述像素查找表中各个坐标值转换为整数；
基于转换后的所述像素点坐标对应关系得到所述第二待处理区域。
在一个实施例中，处理器1201执行所述基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，包括：
确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置；
基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素；
取所述对应像素与所述像素的像素加权平均；
基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。
本申请实施例的技术构思和图1或图10的技术构思相同，具体过程可参照图1或图10的方法实施例，此处不再赘述。
在本申请实施例中，基于人脸检测算法检测所述原始图像，获取检测结果文件，解析所述检测结果文件，确定所述第一待处理区域，在所述第一待处理区域中确定至少一个关键像素点，存储像素位置信息，获取人脸关键点模板，基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点，将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵，将所述仿射变换矩阵设置为齐次矩阵，计算所述齐次矩阵的逆矩阵，基于所述逆矩阵确定伪逆矩阵，基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系，将所述像素查找表中各个坐标值转换为整数，基于所述像素点坐标对应关系得到所述第二待处理区域，确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置，基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素，取所述对应像素与所述像素的像素加权平均，基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。本申请实施例能够使得合成得到的图像更加均匀，提升图像融合的精准度和速度，降低出现图像抖动现象。
本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (11)
1.一种图像融合的方法，其特征在于，所述方法包括：
对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
在所述第一待处理区域中确定至少一个关键像素点；
确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
2.根据权利要求1所述方法，其特征在于，所述对原始图像进行人脸检测得到第一待处理区域，包括：
基于人脸检测算法检测所述原始图像，获取检测结果文件；
解析所述检测结果文件，确定所述第一待处理区域；
其中，所述检测结果文件中的信息包括所述第一待处理区域左上顶点坐标、长度和宽度，以及脸颊坐标、眉坐标、眼坐标、口坐标及鼻坐标的多个关键点坐标。
3.根据权利要求1所述方法，其特征在于，所述对所述第一待处理区域进行人脸变换处理得到第二待处理区域，包括：
获取人脸关键点模板；
基于所述人脸关键点模板与所述第一待处理区域确定变换关系；
基于所述变换关系与所述原始图像得到所述第二待处理区域。
4.根据权利要求3所述方法，其特征在于，所述基于所述人脸关键点模板与所述第一待处理区域确定变换关系，包括：
基于所述人脸关键点模板和所述第一待处理区域确定预设数量的关键对齐点；
将所述预设数量关键对齐点进行仿射变换得到仿射变换矩阵；
根据所述仿射变换矩阵确定所述变换关系。
5.根据权利要求4所述方法，其特征在于，所述基于所述变换关系与所述原始图像得到所述第二待处理区域，包括：
基于所述仿射变换矩阵确定伪逆矩阵；
基于所述伪逆矩阵确定所述第二待处理区域与所述原始图像的像素点坐标对应关系；其中，所述像素点坐标对应关系使用像素查找表来表示，所述像素查找表包括像素点坐标和像素点值；
基于所述像素点坐标对应关系得到所述第二待处理区域。
6.根据权利要求5所述方法，其特征在于，所述基于所述仿射变换矩阵确定伪逆矩阵，包括：
将所述仿射变换矩阵设置为齐次矩阵；其中，所述仿射变换矩阵为非齐次矩阵；
计算所述齐次矩阵的逆矩阵；
基于所述逆矩阵确定伪逆矩阵。
7.根据权利要求5所述方法，其特征在于，所述基于所述像素点坐标对应关系得到所述第二待处理区域，包括：
使用最近邻域插值法将所述像素查找表中各个坐标值转换为整数；
基于转换后的所述像素点坐标对应关系得到所述第二待处理区域；或
使用双线性插值法将所述像素查找表中各个坐标值转换为整数；
基于转换后的所述像素点坐标对应关系得到所述第二待处理区域。
8.根据权利要求1所述方法，其特征在于，所述基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，包括：
确定所述第二待处理区域中的每个像素在所述第二待处理区域的坐标位置；
基于所述坐标位置与所述像素位置信息确定所述像素对应于所述原始图像上的对应像素；
取所述对应像素与所述像素的像素加权平均；
基于所述像素加权平均将所述第二待处理区域和所述原始图像进行融合。
9.一种图像融合的装置，其特征在于，所述方法包括：
检测模块，用于对原始图像进行人脸检测得到第一待处理区域；其中，所述第一待处理区域包括人脸区域；
确定模块，用于在所述第一待处理区域中确定至少一个关键像素点；确定所述至少一个关键像素点在所述原始图像中的像素位置信息，以及存储所述像素位置信息；
变换模块，用于对所述第一待处理区域进行人脸变换处理得到第二待处理区域；
融合模块，用于基于所述像素位置信息将所述第二待处理区域和所述原始图像进行融合，得到合成图像。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
11.一种电子设备，其特征在于，包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适用于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069359.6A CN112288665B (zh) | 2020-09-30 | 2020-09-30 | 图像融合的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069359.6A CN112288665B (zh) | 2020-09-30 | 2020-09-30 | 图像融合的方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288665A true CN112288665A (zh) | 2021-01-29 |
| CN112288665B CN112288665B (zh) | 2024-05-07 |
Family
ID=74422353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011069359.6A Active CN112288665B (zh) | 2020-09-30 | 2020-09-30 | 图像融合的方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288665B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284041A (zh) * | 2021-05-14 | 2021-08-20 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
| CN113592720A (zh) * | 2021-09-26 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像的缩放处理方法、装置、设备、存储介质、程序产品 |
| CN114066425A (zh) * | 2021-11-25 | 2022-02-18 | 中国建设银行股份有限公司 | 电子审批方法、装置、设备及介质 |
| CN114565507A (zh) * | 2022-01-17 | 2022-05-31 | 北京新氧科技有限公司 | 一种头发处理方法、装置、电子设备及存储介质 |
| CN114821717A (zh) * | 2022-04-20 | 2022-07-29 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
| CN115049698A (zh) * | 2022-08-17 | 2022-09-13 | 杭州兆华电子股份有限公司 | 一种手持声成像设备的云图显示方法及装置 |
| CN116228607A (zh) * | 2023-05-09 | 2023-06-06 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
| CN116363031A (zh) * | 2023-02-28 | 2023-06-30 | 锋睿领创(珠海)科技有限公司 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106028136A (zh) * | 2016-05-30 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
| CN108876718A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像融合的方法、装置及计算机存储介质 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-09-30 CN CN202011069359.6A patent/CN112288665B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106028136A (zh) * | 2016-05-30 | 2016-10-12 | 北京奇艺世纪科技有限公司 | 一种图像处理方法及装置 |
| CN108876718A (zh) * | 2017-11-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像融合的方法、装置及计算机存储介质 |
| WO2019128508A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109829930A (zh) * | 2019-01-15 | 2019-05-31 | 深圳市云之梦科技有限公司 | 人脸图像处理方法、装置、计算机设备及可读存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284041A (zh) * | 2021-05-14 | 2021-08-20 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
| EP4207049A4 (en) * | 2021-05-14 | 2024-05-08 | Beijing Sensetime Technology Development Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS AND DEVICE, STORAGE MEDIUM, PROGRAM PRODUCT AND PROGRAM |
| CN113592720A (zh) * | 2021-09-26 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 图像的缩放处理方法、装置、设备、存储介质、程序产品 |
| CN114066425A (zh) * | 2021-11-25 | 2022-02-18 | 中国建设银行股份有限公司 | 电子审批方法、装置、设备及介质 |
| CN114565507A (zh) * | 2022-01-17 | 2022-05-31 | 北京新氧科技有限公司 | 一种头发处理方法、装置、电子设备及存储介质 |
| CN114821717A (zh) * | 2022-04-20 | 2022-07-29 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
| CN114821717B (zh) * | 2022-04-20 | 2024-03-12 | 北京百度网讯科技有限公司 | 目标对象融合方法、装置、电子设备及存储介质 |
| CN115049698A (zh) * | 2022-08-17 | 2022-09-13 | 杭州兆华电子股份有限公司 | 一种手持声成像设备的云图显示方法及装置 |
| CN116363031A (zh) * | 2023-02-28 | 2023-06-30 | 锋睿领创(珠海)科技有限公司 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
| CN116363031B (zh) * | 2023-02-28 | 2023-11-17 | 锋睿领创(珠海)科技有限公司 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
| CN116228607A (zh) * | 2023-05-09 | 2023-06-06 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
| CN116228607B (zh) * | 2023-05-09 | 2023-09-29 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288665B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288665B (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN110390704B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| CN110163942B (zh) | 一种图像数据处理方法和装置 | |
| CN110570507A (zh) | 一种图像渲染方法及装置 | |
| CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
| WO2024098685A1 (zh) | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 | |
| CN112734633A (zh) | 虚拟发型的替换方法、电子设备及存储介质 | |
| CN115810101A (zh) | 三维模型风格化方法、装置、电子设备及存储介质 | |
| CN109697748A (zh) | 模型压缩处理方法、模型贴图处理方法装置、存储介质 | |
| JP4468631B2 (ja) | ３次元顔モデルのためのテクスチャー生成方法及び装置 | |
| CN109598672B (zh) | 一种地图道路渲染方法及装置 | |
| KR20230130748A (ko) | 이미지 처리 방법 및 장치, 디바이스 및 매체 | |
| CN112381929A (zh) | 一种三维电力设备模型建模方法 | |
| CN115393487B (zh) | 一种虚拟角色模型处理方法、装置、电子设备及存储介质 | |
| KR102388773B1 (ko) | 3차원 모델링 서비스 제공 방법 및 이를 위한 장치 | |
| CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| US20220060801A1 (en) | Panoramic Render of 3D Video | |
| CN113610864B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
| CN115222867A (zh) | 重叠检测方法、装置、电子设备和存储介质 | |
| WO2018151612A1 (en) | Texture mapping system and method | |
| CN114913277A (zh) | 一种物体立体交互展示方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |