CN114565531A - 一种图像修复方法、装置、设备和介质 - Google Patents
一种图像修复方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN114565531A CN114565531A CN202210188238.6A CN202210188238A CN114565531A CN 114565531 A CN114565531 A CN 114565531A CN 202210188238 A CN202210188238 A CN 202210188238A CN 114565531 A CN114565531 A CN 114565531A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- lens
- lens area
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000011521 glass Substances 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008439 repair process Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004313 glare Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开实施例提供一种图像修复方法、装置、设备和介质，其中方法包括：获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像；根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域；根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。本方法能够基于反光区域对镜片区域图像进行修复，实现了更好的反光消除效果。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种图像修复方法、装置、设备和介质。
背景技术
在很多依赖视觉算法的领域中，有通过人脸识别或者对人脸进行检测分析以获取相关信息的需求，但是若人戴着眼镜，很可能由于镜片反光，导致脸部的信息被遮挡，影响识别精度，使得算法失效。
示例性的，在为人们的交通出行带来极大便利的智能车舱技术中，可以对车内的人脸图像进行分析，得到关于驾驶员或者乘客等对象的属性和状态。比如，通过判别驾驶员的眼睛睁开与闭合，来识别驾驶员是否疲劳。当驾驶员佩戴眼镜时，疲劳检测算法很可能由于眼镜反光而输出错误的状态检测结果，关于驾驶员状态的漏报或误报会增加行驶风险，影响用户体验。
发明内容
有鉴于此，本公开实施例提供至少一种图像修复方法、装置、设备和介质。
具体地，本公开实施例是通过如下技术方案实现的：
第一方面，提供一种图像修复方法，所述方法包括：
获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像；
根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域；
根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
在一些可选的实施例中，所述根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域，包括：将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域；提取所述标记区域的特征轮廓；利用所述标记区域的特征轮廓对所述镜片区域图像进行区域分割，得到所述反光区域。
在一些可选的实施例中，在所述获取目标对象的脸部图像之后，所述方法包括：对所述脸部图像进行眼镜识别，确定所述脸部图像中所述目标对象所佩戴的眼镜中的镜片区域图像。
在一些可选的实施例中，所述根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域，包括：响应于确定所述镜片区域图像中存在反光现象，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
在一些可选的实施例中，所述确定所述镜片区域图像中存在反光现象，包括：响应于所述镜片区域图像与所述环境图像存在匹配成功的图像区域，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述确定所述镜片区域图像中存在反光现象，包括：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述第一区域占所述镜片区域图像的面积比例达到预设面积条件，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述确定所述镜片区域图像中存在反光现象，包括：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述镜片区域中的眼睛区域被所述第一区域遮挡，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，包括：获取第一摄像头采集的车辆内的目标对象的脸部图像；获取第二摄像头采集的所述环境图像，所述环境图像包括所述车辆的外部环境图像。
在一些可选的实施例中，在所述根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像之后，所述方法还包括：基于所述目标图像，识别所述目标对象的状态。
第二方面，提供一种图像修复装置，所述装置包括：
图像获取模块，用于获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像；
反光区域确定模块，用于根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域；
图像处理模块，用于根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
在一些可选的实施例中，所述反光区域确定模块，具体用于：将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域；提取所述标记区域的特征轮廓；利用所述标记区域的特征轮廓对所述镜片区域图像进行区域分割，得到所述反光区域。
在一些可选的实施例中，所述图像获取模块，在所述获取目标对象的脸部图像之后，还用于：对所述脸部图像进行眼镜识别，确定所述脸部图像中所述目标对象所佩戴的眼镜中的镜片区域图像。
在一些可选的实施例中，所述反光区域确定模块，具体用于：响应于确定所述镜片区域图像中存在反光现象，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
在一些可选的实施例中，所述反光区域确定模块，在用于确定所述镜片区域图像中存在反光现象时，具体用于：响应于所述镜片区域图像与所述环境图像存在匹配成功的图像区域，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述反光区域确定模块，在用于确定所述镜片区域图像中存在反光现象时，具体用于：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述第一区域占所述镜片区域图像的面积比例达到预设面积条件，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述反光区域确定模块，在用于确定所述镜片区域图像中存在反光现象时，具体用于：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述镜片区域中的眼睛区域被所述第一区域遮挡，确定所述镜片区域图像中存在反光现象。
在一些可选的实施例中，所述图像获取模块，具体用于：获取第一摄像头采集的车辆内的目标对象的脸部图像；获取第二摄像头采集的所述环境图像，所述环境图像包括所述车辆的外部环境图像。
在一些可选的实施例中，所述装置还包括状态识别模块，用于在对所述镜片区域图像进行修复，得到修复后的目标图像之后：基于所述目标图像，识别所述目标对象的状态。
第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的图像修复方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的图像修复方法。
本公开实施例的技术方案提供的图像修复方法，通过匹配目标对象佩戴的眼镜中的镜片区域图像与周围环境的环境图像，能够精确找到眼镜中的反光区域，从而能够基于反光区域的位置、形状等信息对镜片区域图像进行修复，实现了更好地对镜片区域图像中的反光进行减弱或消除的效果，修复后的目标图像中还原出了目标对象被遮挡的脸部信息，降低了镜片上的反光对于后续应用中算法的影响，提升了后续算法的准确度。
附图说明
为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开至少一个实施例示出的一种图像修复方法的流程图；
图2是本公开至少一个实施例示出的另一种图像修复方法的流程图；
图3是本公开至少一个实施例示出的又一种图像修复方法的流程图；
图4是本公开至少一个实施例示出的一种图像修复装置的框图；
图5是本公开至少一个实施例示出的另一种图像修复装置的框图；
图6是本公开至少一个实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示，图1是本公开至少一个实施例示出的一种图像修复方法的流程图，该方法可以包括以下步骤：
在步骤102中，获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像。
其中，脸部图像包含目标对象所佩戴的眼镜的镜片区域图像。本实施例中，目标对象佩戴有眼镜，镜片区域图像为该眼镜中的镜片所在的区域的图像。
本步骤中，可以获取到至少一个摄像头采集的环境图像，当环境图像为多个时，多个环境图像可以是包含目标对象周边的不同方位的环境的图像。
本实施例不限制对目标对象的脸部图像以及目标对象周边环境的环境图像的获取方式。当目标对象处于不同的应用场景时，可以采用不同的获取方式。
如下示例几种获取方式：
比如，当目标对象使用手机进行自拍时，目标对象的脸部图像可以是基于手机的前置摄像头对目标对象的面部采集到的图像，环境图像可以是基于手机的后置摄像头对目标对象前方的环境采集到的图像。比如，可以基于一个摄像头拍摄到的图像中，获取其中的目标对象的脸部图像以及环境图像。又比如，在目标对象处于车辆内时，可以基于车辆内的摄像头采集目标对象的脸部图像，基于车辆外或者面向车辆外的摄像头采集车外的环境图像。
需要说明的是，脸部图像和环境图像的采集时间可以是同时刻，也可以是不同时刻。当目标对象为在环境中移动的对象时，可以使用采集时间同时或者邻近的脸部图像和环境图像。
在步骤104中，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
当目标对象所佩戴的眼镜中的镜片存在反光现象时，镜片区域图像中会出现镜片反射出的周围环境中景物的影像，镜片区域图像中的该影像所在的区域为反光区域。
本步骤中，可以将镜片区域图像与环境图像进行匹配，找出两幅图像当中相似度高的区域，进而根据该相似度高的区域确定镜片区域图像中的反光区域。
比如，将镜片区域图像与环境图像进行匹配，若存在镜片区域图像中某个部分与环境图像中的某一个区域之间的相似度达到一定条件，直接将镜片区域图像中的该部分确定为反光区域。
需要说明的是，镜片存在反光现象的情况下，在反射周围的景物时，由于反射角度、镜片的弯曲弧度、以及镜片的材质等种种因素，一般来说，反光区域中景物影像相比环境图像中的景物影像会有形状、色彩等方面的改变，将镜片区域图像与环境图像进行匹配，比对寻找其中相似度高的区域时，本领域技术人员可以考虑到上述因素的影响进行设定相似度条件，示例性的，相似度条件可以是对区域的形状、像素值等方面的相似度要求。
在一种实施方式中，本步骤可以是响应于确定所述镜片区域图像中存在反光现象，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。该实施方式中可以先确定镜片区域图像中是否存在反光现象，当存在反光现象时，再确定镜片区域图像中的反光区域，以减少不必要的计算资源消耗。如下示例几种确定镜片区域图像中是否存在反光现象的方法，但可以理解的是，具体实施中并不局限于如下的示例：
在一个示例中，可以响应于所述镜片区域图像与所述环境图像存在匹配成功的图像区域，确定所述镜片区域图像中存在反光现象。本例中，仍先将镜片区域图像与环境图像进行匹配，如果镜片区域图像中的某部分区域或全部区域的影像与环境图像的某一个局部区域的影像的相似度达到设定的条件，则确定镜片区域图像与环境图像存在匹配成功的图像区域，镜片区域图像中存在反光现象，之后可以根据该匹配成功的图像区域确定反光区域；如果没有达到设定的条件，则确定镜片区域图像与环境图像不存在匹配成功的图像区域，镜片区域图像中不存在反光现象，可以不再进行之后的修复处理。
在周围环境较亮的时候，镜片中因为反光出现的影像区域很可能会比没有反光的其他部分亮度值更高。在另一个示例中，可以根据所述镜片区域图像中的像素亮度值，确定镜片区域图像中是否存在反光现象。
比如，根据镜片区域图像中的像素亮度值，可以确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域，响应于所述第一区域占所述镜片区域图像的面积比例达到预设面积条件，确定所述镜片区域图像中存在反光现象。将镜片区域图像中像素亮度值达到预设亮度阈值的像素点组合成第一区域，当第一区域占镜片区域图像的面积比例达到预设面积条件时，比如，第一区域占镜片区域图像的面积比例达到10％时，则说明镜片区域图像中存在反光现象。当第一区域占镜片区域图像的面积比例没有达到预设面积条件时，则说明镜片上可能没有出现反光现象或者反光面积过小可以忽略该反光现象。在其他例子中，也可以直接根据第一区域的面积大小来判断镜片区域图像中是否存在反光现象。
又比如，根据镜片区域图像中的像素亮度值，可以确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域，响应于镜片区域中的眼睛区域被所述第一区域遮挡，确定所述镜片区域图像中存在反光现象。对于关注眼睛区域的后续算法而言，如果镜片上的反光并没有对镜片后眼睛的影像产生影响，则可以忽略掉该反光现象，而如果镜片上的反光遮挡了眼睛区域，则该反光现象不容忽略。将镜片区域图像中像素亮度值达到预设亮度阈值的像素点组合成第一区域，当镜片区域图像中第一区域遮挡了眼睛区域，比如，可以是眼睛的轮廓不完整、镜片区域图像中第一区域之外的区域未检测到完整的目标对象的眼睛等，则认为镜片区域图像中存在反光现象且反光对目标对象的眼睛区域有影响，需要继续进行图像修复；当镜片区域图像中的眼睛区域未被第一区域遮挡，则认为镜片区域图像中不存在反光现象或者可以忽略该反光现象，不再进行后续的修复处理。
在步骤106中，根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
本步骤中，可以根据反光区域提供的信息，利用影像修复技术，对镜片区域图像中的反光区域进行重点修复，消除或者减弱反光造成的影响，得到无反光的镜片区域图像，即修复后的目标图像。
在反光区域中，可能出现镜片反射的影像与镜片之后目标对象的脸部区域的影像叠加混合在一起，使得目标对象的脸部信息难以识别。在对镜片区域图像进行修复时，一方面，可以利用反光区域的结构形状以及反光区域的边缘色彩等信息，去推断反光区域的信息内容，然后对反光区域进行填补。另一方面，可以将反光区域在环境图像中相匹配的区域中的影像信息作为参照，对反光区域进行修补，恢复镜片背后的影像。
本实施例不限制在上述修复过程中具体所使用的修复算法，比如，画质增强算法，画面补全算法，超分技术等。在一个例子中，可以预先训练用于进行图像修复的神经网络模型，将反光区域、镜片区域图像以及环境图像输入该神经网络模型，输出修复后的目标图像，该神经网络可以通过对反光区域周边的非反光区域的图像信息的学习、以及对批量图像样本的学习来预测镜片区域图像中目标对象的脸部的信息。
本公开实施例的技术方案提供的图像修复方法，通过匹配目标对象佩戴的眼镜中的镜片区域图像与周围环境的环境图像，能够精确找到眼镜中的反光区域，从而能够基于反光区域的位置、形状等信息对镜片区域图像进行修复，相较于传统的反光修复方法中，由于并不能确定反光区域的具***置，只能粗略地对镜片区域图像整体进行修复，本方法更好地实现了对镜片区域图像中的反光进行减弱或消除的效果。修复后的目标图像中还原出了目标对象被遮挡的脸部信息，特别是眼睛区域的信息，降低了镜片上的反光对于后续应用中算法的影响，提升了后续算法的准确度。
图2为本公开至少一个实施例提供的另一种图像修复方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。
在步骤202中，获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像。
其中，脸部图像包含目标对象所佩戴的眼镜的镜片区域图像。本实施例中的图像修复方法可以作为各种图像识别算法的预处理步骤，比如，可以适用于多种车舱视觉算法。
在步骤204中，将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域。
本步骤中，可以将镜片区域图像与环境图像进行匹配，若存在镜片区域图像中某个部分与环境图像中的某一个区域之间的相似度达到一定条件，则将环境图像中的该区域确定为与镜片区域图像相匹配的标记区域。该标记区域包含了已知的环境中的景象，比如，房子，树等。
在步骤206中，提取所述标记区域的特征轮廓。
特征轮廓是勾勒出标记区域中景物的一组或几组相互连接的曲线，这些曲线由一系列边缘点组成。比如，该标记区域中包括一棵树和一个电线杆，提取到的特征轮廓包括上述一棵树的轮廓和一个电线杆的轮廓。
本实施例不限制在提取标记区域的特征轮廓的具体方式，比如，可以采用图像分割、边缘检测等方式进行提取。
在步骤208中，利用所述标记区域的特征轮廓对所述镜片区域图像进行区域分割，得到所述反光区域。
本实施例不限制区域分割所使用的具体方式。
比如，可以将提取到的特征轮廓作为区域蒙版，该区域蒙版覆盖了特征轮廓范围以内的区域。延续上例，可以将上述一棵树的轮廓和一个电线杆的轮廓组合的特征轮廓作为一个区域蒙版，也可以分别作为两个区域蒙版，即树对应的一个区域蒙版和电线杆对应的一个区域蒙版。根据区域蒙版所覆盖的区域的形状，在镜片区域图像中拟合出与该形状相似的区域，分割得到反光区域。当区域蒙版有多个时，可以分割出多个反光区域。
又比如，可以将特征轮廓作为检测目标，在镜片区域图像中进行目标检测，得到置信度最高的区域轮廓，根据该区域轮廓从镜片区域图像中分割得反光区域。
需要说明的是，上个实施例示出的将镜片区域图像与环境图像进行匹配确定反光区域的方法中，若存在镜片区域图像中某个部分与环境图像中的某一个区域之间的相似度达到一定条件，直接将镜片区域图像中的该部分确定为反光区域，这样的方法速度上相比于本实施例的方法较快，但是所确定的反光区域的准确度没有本实施例的方法高，原因是：在镜片区域图像中所呈现的影像是镜片反射的环境中影像和镜片之后目标对象的脸部区域的影像的混合影像，这样在进行匹配时，很难从镜片区域图像中分离出真实的反光区域。
在步骤210中，根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
本公开实施例的技术方案提供的图像修复方法，通过匹配目标对象佩戴的眼镜中的镜片区域图像与包含周围环境的环境图像，找到环境图像中与镜片区域图像内影像相匹配的标记区域，由于标记区域是确切清晰的环境图像中的区域，基于标记区域提取到的特征轮廓也会更清晰可靠、更接近环境中实际景物的形状，而镜片反光的倒影正是环境中的景象，这样通过特征轮廓分割得到的反光区域更接近于镜片上实际的反光所在的区域，从而能够基于反光区域的位置、形状等信息对镜片区域图像进行修复，反光区域的准确度越高，给修复算法提供的信息越可靠，修复补全的效果也就越好。修复后的目标图像中还原出了目标对象被遮挡的脸部信息，特别是眼睛区域的信息，降低了镜片上的反光对于后续应用中算法的影响，提升了后续算法的准确度。
图3提供了本公开另一实施例的图像修复方法，该方法可以应用于智能车舱领域，比如，可以由DMS(Driver Monitoring System，驾驶员监控***)，OMS(OccupancyMonitoring System，乘客监控***)，智能驾驶***或者云端等执行，包括如下处理，其中，与图1和图2的流程相同的步骤将不再详述。
在步骤302中，获取第一摄像头采集的车辆内的目标对象的脸部图像。
比如，第一摄像头可以是朝向车内的摄像头，由第一摄像头捕捉车辆内部的影像得到车内图像，对车内图像进行图像分析，得到目标对象的脸部图像。目标对象可以是车辆内的驾驶员、乘客、安全员等。
在步骤304中，对所述脸部图像进行眼镜识别，确定所述脸部图像中所述目标对象所佩戴的眼镜中的镜片区域图像。
比如，可以先对脸部图像进行眼镜检测，若检测到眼镜，则进一步对脸部图像进行眼镜识别，识别得到目标对象所佩戴的眼镜中的镜片区域图像。
又比如，直接对脸部图像进行眼镜识别，确定目标对象是否佩戴眼镜并在确定目标对象佩戴眼镜时得到目标对象所佩戴的眼镜中的镜片区域图像。
在步骤306中，获取第二摄像头采集的所述环境图像，所述环境图像中包括所述车辆的外部环境图像。
比如，第二摄像头可以是朝向车外的摄像头，由第二摄像头捕捉车辆外部的环境影像，得到环境图像。环境图像至少包含一颗摄像头的数据，或者包含多颗摄像头的数据。
在一个例子中，本实施例中的方法可以用于修复DMS采集的驾驶员的脸部图像，考虑到驾驶员眼镜的反光通常由车前方或侧方的景物成像形成，第二摄像头可以使用车辆的前向摄像头和/或侧视摄像头，捕捉到的环境图像中包括车辆前方和/或侧方的外部环境，或者可以使用朝向车外的环视摄像头，捕捉到的环境图像中包括车外全景图像。
在步骤308中，将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域。
比如，如果镜片区域图像的影像匹配到了环境图像的车外影像的某一个区域，标记该车外区域为标记区域。
在步骤310中，提取所述标记区域的特征轮廓，得到区域蒙版。
提取该标记区域的特征轮廓，并将该特征轮廓作为区域蒙版。
在步骤312中，利用所述区域蒙版对所述镜片区域图像进行区域分割，得到所述反光区域。
在步骤314中，根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
在步骤316中，基于所述目标图像，识别所述目标对象的状态。
其中，目标对象的状态可以表征目标对象的情绪或身体状态，具体地，可以包括如下至少一项：正常状态，疲劳状态，分心状态。
比如，可以将目标图像，即修复后的镜片区域影像输入状态识别模型，状态识别模型可以是预先训练得到的神经网络模型，能够基于闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动等识别出目标对象的状态。
又比如，可以将目标图像填补到脸部图像，得到修复后的脸部图像，将脸部图像输入到状态识别模型，状态识别模型可以结合眼部的特征和脸部的其他特征，比如嘴巴打哈欠、面部表情变化等，识别出目标对象的状态。
在一些实施例中，可以根据修复得到的目标图像，针对目标对象的眼部相关的状态进行识别。具体地，可以根据目标图像提取眼部特征以识别目标对象的视线方向或眼睛睁闭状态，根据视频流检测目标对象的视线维持一个方向的时间长度或眼睛闭合的持续时间，来判断目标对象是否处于分心或疲劳的状态，或者确定目标对象分心或疲劳的等级。
本实施例中的图像修复方法，可以通过镜片反光消除技术预先对图像进行处理，然后灌入算法模块，提高识别算法的准确度和可用度。以疲劳检测算法为例，在镜片反光的情况下会由于图像上特征信息的减少而导致检测精度显著降低，即误报或者漏报，本实施例的方法可以根据车外景物的轮廓对于镜片反光进行分割以及图像修复，还原疲劳监测算法所需要的关键信息，提高车内视觉算法的准确度。
如图4所示，图是本公开至少一个实施例示出的一种图像修复装置的框图，所述装置包括：
图像获取模块41，用于获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像。
反光区域确定模块42，用于根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
图像处理模块43，用于根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
在一个例子中，所述反光区域确定模块42，具体用于：将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域；提取所述标记区域的特征轮廓；利用所述标记区域的特征轮廓对所述镜片区域图像进行区域分割，得到所述反光区域。
在一个例子中，所述图像获取模块41，在所述获取目标对象的脸部图像之后，还用于：对所述脸部图像进行眼镜识别，确定所述脸部图像中所述目标对象所佩戴的眼镜中的镜片区域图像。
在一个例子中，所述反光区域确定模块42，具体用于：响应于确定所述镜片区域图像中存在反光现象，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
在一个例子中，所述反光区域确定模块42，在用于确定所述镜片区域图像中存在反光现象时，具体用于：响应于所述镜片区域图像与所述环境图像存在匹配成功的图像区域，确定所述镜片区域图像中存在反光现象。
在一个例子中，所述反光区域确定模块42，在用于确定所述镜片区域图像中存在反光现象时，具体用于：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述第一区域占所述镜片区域图像的面积比例达到预设面积条件，确定所述镜片区域图像中存在反光现象。
在一个例子中，所述反光区域确定模块42，在用于确定所述镜片区域图像中存在反光现象时，具体用于：确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；响应于所述镜片区域中的眼睛区域被所述第一区域遮挡，确定所述镜片区域图像中存在反光现象。
在一个例子中，所述图像获取模块41，具体用于：获取第一摄像头采集的车辆内的目标对象的脸部图像；获取第二摄像头采集的所述环境图像，所述环境图像包括所述车辆的外部环境图像。
在一个例子中，如图5所示，所述装置还包括状态识别模块44，用于在对所述镜片区域图像进行修复，得到修复后的目标图像之后：基于所述目标图像，识别所述目标对象的状态。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本公开实施例还提供了一种电子设备，如图6所示，所述电子设备包括存储器61、处理器62，所述存储器61用于存储可在处理器上运行的计算机指令，所述处理器62用于在执行所述计算机指令时实现本公开任一实施例所述的图像修复方法。
本公开实施例还提供了一种计算机程序产品，该产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的图像修复方法。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的图像修复方法。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (12)
1.一种图像修复方法，其特征在于，所述方法包括：
获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像；
根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域；
根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域，包括：
将所述镜片区域图像与所述环境图像进行匹配，确定所述环境图像中与所述镜片区域图像相匹配的标记区域；
提取所述标记区域的特征轮廓；
利用所述标记区域的特征轮廓对所述镜片区域图像进行区域分割，得到所述反光区域。
3.根据权利要求1所述的方法，其特征在于，在所述获取目标对象的脸部图像之后，所述方法包括：
对所述脸部图像进行眼镜识别，确定所述脸部图像中所述目标对象所佩戴的眼镜中的镜片区域图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域，包括：
响应于确定所述镜片区域图像中存在反光现象，根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域。
5.根据权利要求4所述的方法，其特征在于，所述确定所述镜片区域图像中存在反光现象，包括：
响应于所述镜片区域图像与所述环境图像存在匹配成功的图像区域，确定所述镜片区域图像中存在反光现象。
6.根据权利要求4所述的方法，其特征在于，所述确定所述镜片区域图像中存在反光现象，包括：
确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；
响应于所述第一区域占所述镜片区域图像的面积比例达到预设面积条件，确定所述镜片区域图像中存在反光现象。
7.根据权利要求4所述的方法，其特征在于，所述确定所述镜片区域图像中存在反光现象，包括：
确定所述镜片区域图像中像素亮度值达到预设亮度阈值的第一区域；
响应于所述镜片区域中的眼睛区域被所述第一区域遮挡，确定所述镜片区域图像中存在反光现象。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，包括：
获取第一摄像头采集的车辆内的目标对象的脸部图像；
获取第二摄像头采集的所述环境图像，所述环境图像包括所述车辆的外部环境图像。
9.根据权利要求1-8任一项所述的方法，其特征在于，在所述根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像之后，所述方法还包括：
基于所述目标图像，识别所述目标对象的状态。
10.一种图像修复装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标对象的脸部图像、以及包括所述目标对象周边环境的环境图像，所述脸部图像包含所述目标对象所佩戴的眼镜的镜片区域图像；
反光区域确定模块，用于根据所述镜片区域图像与所述环境图像的匹配结果，确定所述镜片区域图像中的反光区域；
图像处理模块，用于根据所述反光区域，对所述镜片区域图像进行修复，得到修复后的目标图像。
11.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188238.6A CN114565531A (zh) | 2022-02-28 | 2022-02-28 | 一种图像修复方法、装置、设备和介质 |
| PCT/CN2022/134873 WO2023160075A1 (zh) | 2022-02-28 | 2022-11-29 | 图像修复方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210188238.6A CN114565531A (zh) | 2022-02-28 | 2022-02-28 | 一种图像修复方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565531A true CN114565531A (zh) | 2022-05-31 |
Family
ID=81716112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210188238.6A Pending CN114565531A (zh) | 2022-02-28 | 2022-02-28 | 一种图像修复方法、装置、设备和介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114565531A (zh) |
| WO (1) | WO2023160075A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023160075A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海商汤智能科技有限公司 | 图像修复方法、装置、设备和介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011681A (ja) * | 2016-07-20 | 2018-01-25 | 富士通株式会社 | 視線検出装置、視線検出プログラムおよび視線検出方法 |
| CN108564540B (zh) * | 2018-03-05 | 2020-07-17 | Oppo广东移动通信有限公司 | 去除图像中镜片反光的图像处理方法、装置和终端设备 |
| CN111582005B (zh) * | 2019-02-18 | 2023-08-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
| CN113055579B (zh) * | 2019-12-26 | 2022-02-01 | 深圳市万普拉斯科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN114565531A (zh) * | 2022-02-28 | 2022-05-31 | 上海商汤临港智能科技有限公司 | 一种图像修复方法、装置、设备和介质 |
-
2022
- 2022-02-28 CN CN202210188238.6A patent/CN114565531A/zh active Pending
- 2022-11-29 WO PCT/CN2022/134873 patent/WO2023160075A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023160075A1 (zh) * | 2022-02-28 | 2023-08-31 | 上海商汤智能科技有限公司 | 图像修复方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023160075A1 (zh) | 2023-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107423690B (zh) | 一种人脸识别方法及装置 | |
| EP1589485B1 (en) | Object tracking and eye state identification method | |
| EP3418944A2 (en) | Information processing apparatus, information processing method, and program | |
| JP4755202B2 (ja) | 顔特徴の検出方法 | |
| CN105426843B (zh) | 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法 | |
| RU2431190C2 (ru) | Способ и устройство распознавания рельефности лица | |
| CN106682578B (zh) | 基于眨眼检测的弱光人脸识别方法 | |
| CN112732071B (zh) | 一种免校准眼动追踪***及应用 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| CN113221771B (zh) | 活体人脸识别方法、装置、设备、存储介质及程序产品 | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| CN112183200B (zh) | 一种基于视频图像的眼动追踪方法和*** | |
| Yuen et al. | On looking at faces in an automobile: Issues, algorithms and evaluation on naturalistic driving dataset | |
| CN104573704A (zh) | 眼部检测装置、方法 | |
| CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
| CN109583364A (zh) | 图像识别方法及设备 | |
| CN113392699A (zh) | 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 | |
| Hebbale et al. | Real time COVID-19 facemask detection using deep learning | |
| CN111814603A (zh) | 一种人脸识别方法、介质及电子设备 | |
| CN112115790A (zh) | 人脸识别方法、装置、可读存储介质和电子设备 | |
| CN115375991A (zh) | 一种强/弱光照和雾环境自适应目标检测方法 | |
| Hsu | Automatic pedestrian detection in partially occluded single image | |
| WO2023160075A1 (zh) | 图像修复方法、装置、设备和介质 | |
| Patil et al. | A novel method for illumination normalization for performance improvement of face recognition system | |
| US20210042510A1 (en) | Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40068044 Country of ref document: HK |