CN113286078B - 图像处理方法及装置、终端及计算机可读存储介质 - Google Patents
图像处理方法及装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113286078B CN113286078B CN202110494372.4A CN202110494372A CN113286078B CN 113286078 B CN113286078 B CN 113286078B CN 202110494372 A CN202110494372 A CN 202110494372A CN 113286078 B CN113286078 B CN 113286078B
- Authority
- CN
- China
- Prior art keywords
- image
- fused
- pixel value
- difference
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。图像处理方法包括：分别获取不开启补光灯和开启补光灯时的第一图像和第二图像；根据第一图像和第二图像对应位置的像素值差值，以生成差值图像；识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合待融合图像和第一图像，以生成目标图像。本申请实施方式的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质通过融合待融合图像和第一图像生成目标图像后，可保证目标图像中的人眼中存在眼神光且眼神光在人眼的覆盖范围较大，从而保证最终生成的目标图像栩栩如生。
Description
技术领域
本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
背景技术
目前，电子设备，如手机在进行拍照工作时，如果拍照对象为人物，则需要在人眼加入眼神光以使人像栩栩如生。然而，在手机所使用的发光二极管(Light EmittingDiode，LED)闪光灯，由于光源较小，往往无法达到想要的效果，从而导致拍摄出的人像不够生动。
发明内容
本申请实施方式提供一种图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括：分别获取不开启补光灯和开启所述补光灯时的第一图像和第二图像；根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合所述待融合图像和所述第一图像，以生成目标图像。
本申请实施方式的图像处理装置包括获取模块、生成模块、处理模块及融合模块。所述获取模块用于分别获取不开启补光灯和开启所述补光灯时的第一图像和第二图像。所述生成模块用于根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像。所述处理模块用于识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像。及所述融合模块用于融合所述待融合图像和所述第一图像，以生成目标图像。
本申请实施方式的终端包括补光灯、摄像头和处理器。所述补光灯用于发射光线。所述摄像头用于分别采集不开启所述补光灯和开启所述补光灯时的第一图像和第二图像。所述处理器用于：分别获取所述第一图像和所述第二图像；根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合所述待融合图像和所述第一图像，以生成目标图像。
本申请实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下图像处理方法：分别获取不开启补光灯和开启所述补光灯时的第一图像和第二图像；根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合所述待融合图像和所述第一图像，以生成目标图像。
本申请实施方式的图像处理方法、图像处理装置、终端及非易失性计算机可读存储介质中，由于第一图像和第二图像是在不开启补光灯和开启补光灯时获取的，根据第一图像和第二图像获取的差值图像即可确定补光形成的眼神光所在的第一待融合区域，而待融合图像为差值图像中第一待融合区域经扩大处理生成的，因此，通过融合待融合图像和第一图像生成目标图像后，可保证目标图像中的人眼中存在眼神光且眼神光在人眼的覆盖范围较大，从而保证最终生成的目标图像栩栩如生。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的终端的平面示意图；
图3是本申请某些实施方式的图像处理装置的示意图；
图4是本申请某些实施方式的图像处理方法的流程示意图；
图5是本申请某些实施方式的图像处理方法的场景示意图；
图6和图7是本申请某些实施方式的图像处理方法的流程示意图；
图8和图9是本申请某些实施方式的图像处理方法的场景示意图；
图10是本申请某些实施方式的图像处理方法的流程示意图；
图11至图14是本申请某些实施方式的图像处理方法的场景示意图；
图15是本申请某些实施方式的图像处理方法的流程示意图；
图16是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1至图3，本申请实施方式提供一种图像处理方法。该图像处理方法包括步骤：
01：分别获取不开启补光灯20和开启补光灯20时的第一图像和第二图像；
02：根据第一图像和第二图像对应位置的像素值差值，以生成差值图像；
03：识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及
04：融合待融合图像和第一图像，以生成目标图像。
本申请实施方式提供一种图像处理装置10。图像处理装置10包括获取模块11、生成模块12、处理模块13及融合模块14。本申请实施方式的图像处理方法可应用于图像处理装置10。其中，获取模块11用于执行步骤01，生成模块12用于执行步骤02，处理模块13用于执行步骤03，融合模块14用于执行步骤04。即，获取模块11用于分别获取不开启补光灯20和开启补光灯20时的第一图像和第二图像。用于根据第一图像和第二图像对应位置的像素值差值，以生成差值图像。处理模块13用于识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像。融合模块14用于融合待融合图像和第一图像，以生成目标图像。
本申请实施方式还提供一种终端100。终端100包括补光灯20、摄像头30和处理器40。本申请实施方式的图像处理方法可应用于终端100。补光灯20用于发射光线，摄像头30用于分别采集不开启补光灯20和开启补光灯20时的第一图像和第二图像，处理器40用于执行步骤01、步骤02、步骤03和步骤04。即，处理器40用于分别获取不开启补光灯20和开启补光灯20时的第一图像和第二图像；根据第一图像和第二图像对应位置的像素值差值，以生成差值图像；识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合待融合图像和第一图像，以生成目标图像。
具体地，终端100可通过控制开关补光灯20，以使摄像头30分别采集第一图像和第二图像。当补光灯20关闭时，摄像头30采集第一图像；当补光灯20开启时，摄像头30采集第二图像。由此，则可得知，第一图像中每个像素的亮度均小于第二图像中位置对应的每个像素的亮度。
当处理器40获取到第一图像和第二图像后，由于第一图像中每个像素的亮度均小于第二图像中位置对应的每个像素的亮度，因此，处理器40可通过计算第一图像和第二图像中位置对应的像素值差值，从而生成差值图像。处理器40在识别差值图像中的第一待融合区域，并进行对第一待融合区域进行扩大处理后，以生成待融合图像。在处理器40获取待融合图像后，处理器40则可通过融合待融合图像和第一图像，以生成目标图像。
其中，终端100可以是数码相机、手机、笔记本电脑、平板电脑等具有采集图像功能的设备。本申请以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。
摄像头20可以采用电荷耦合器件(Charge Coupled Device，CCD)摄像头，也可以采用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)摄像头。
当终端100为手机时，补光灯20可以是闪光灯或显示屏。例如，当用户使用手机的后置摄像头进行图像采集时，则补光灯20为后置摄像头模组中的闪光灯，又例如，当用户使用手机的前置摄像头进行图像采集时，则终端100可将手机显示屏作为补光灯20，并以显示屏发出的屏幕光作为光源。还例如，当用户使用手机的前置摄像头进行图像采集时，终端100还可将手机正面的呼吸灯作为补光灯20，以提供光源。在某些实施方式中，当用户使用手机的前置摄像头进行图像采集时，终端100还可将显示屏及呼吸灯共同作为补光灯20，从而提供光源。
第一图像和第二图像可以是任意物体的图像，例如，风景、建筑、人像、动物等，在本申请实施方式中，第一图像和第二图像为人像，可以理解，第一图像和第二图像并不限于人像。
当第一图像和第二图像为人像时，为了使目标图像栩栩如生，目标图像中人像的眼部区域需要添加眼神光。由于目标图像是通过第一待融合区域经扩大处理后，生成的待融合图像和第一图像融合生成的，因此，第一待融合区域为差值图像中，与眼部区域(如眼球)的至少一部分对应的区域。
具体地，由于第一图像和第二图像为人像，且摄像头30是在补光灯20开启时获取的第二图像，而眼部区域(如眼球)较为光滑，反射率较高，眼部区域对补光灯20发出的光线反射最为强烈，因此，第一图像对比第二图像，人像眼部区域对应的像素的亮度变化是最大的。当处理器40根据第一图像和第二图像位置对应的像素值差值，以生成差值图像后，差值图像中像素值差值最大的区域即为差值图像中的第一待融合区域。例如，可设置预设差值阈值(如100、150等)，处理器40判断像素值差值是否大于预设差值阈值，若像素值差值大于预设差值阈值，则认为该像素值差值对应的像素位于第一待融合区域，从而识别出差值图像中属于第一待融合区域的像素，进而确定第一待融合区域。
当终端100为手机时，由于补光灯20尺寸较小，虽然补光灯20会发出光线，从而为摄像头30提供光源，然而，补光灯20的尺寸较小，则会导致发出的光线较小，从而影响第二图像中眼部区域的亮度发生变化较大的区域(即第一待融合区域)的大小。因此，处理器40在识别出差值图像中的第一待融合区域后，需要对第一待融合区域进行扩大处理，以保证当融合待融合图像和第一图像后，生成的目标图像中，眼部区域的眼神光较为明显。例如，当处理器40识别出差值图像中的第一待融合区域的大小为2*2的区域时，处理器40可将第一待融合区域的大小由2*2扩大为4*4的区域，并将第一待融合区域的像素的平均像素值作为该4*4区域中每个像素的像素值，从而得到待融合图像。
接下来，在处理器40融合待融合图像和第一图像时，由于待融合图像对应为眼部区域亮度发生较大的部分，因此，处理器40可将待融合图像中每个像素的像素值与第一图像中对应的眼部区域的像素的像素值融合，从而得到目标图像。例如，处理器40将第一图像中对应眼部区域的像素的像素值替换为待融合图像中每个像素的像素的像素值，从而得到目标图像。或处理器40将第一图像中对应眼部区域的像素的像素值替换为，待融合图像中每个像素的像素值与第一图像中对应眼部区域的像素的像素值的和，从而得到目标图像。
此时，由于目标图像中部分眼部区域的像素是通过第一图像位置对应的像素的像素值、和待融合图像中位置对应的像素值得到的，则目标图像中该部分形成了眼神光，从而保证人像栩栩如生。
在本申请实施方式的图像处理方法、图像处理装置10及终端100中，由于第一图像和第二图像是在不开启补光灯和开启补光灯时获取的，根据第一图像和第二图像获取的差值图像即可确定补光形成的眼神光所在的第一待融合区域，而待融合图像为差值图像中第一待融合区域经扩大处理生成的，因此，通过融合待融合图像和第一图像生成目标图像后，可保证目标图像中的人眼中存在眼神光且眼神光在人眼的覆盖范围较大，从而保证最终生成的目标图像栩栩如生。
请参阅图2至图4，在某些实施方式中，步骤02：根据第一图像和第二图像对应位置的像素值差值，以生成差值图像，包括步骤：
021：在像素值差值大于预设阈值且像素值差值对应的位置位于目标区域时，以像素值差值作为差值图像中对应位置的像素值；
022：在像素值差值小于预设阈值或像素值差值对应的位置位于目标区域外时，以预定像素值作为差值图像中对应的位置的像素值。
在某些实施方式中，生成模块12用于执行步骤021和步骤022。即生成模块12用于在像素值差值大于预设阈值且像素值差值对应的位置位于目标区域时，以像素值差值作为差值图像中对应位置的像素值；在像素值差值小于预设阈值或像素值差值对应的位置位于目标区域外时，以预定像素值作为差值图像中对应的位置的像素值。
在某些实施方式中，处理器40用于执行步骤021和步骤022。即处理器40用于在像素值差值大于预设阈值且像素值差值对应的位置位于目标区域时，以像素值差值作为差值图像中对应位置的像素值；在像素值差值小于预设阈值或像素值差值对应的位置位于目标区域外时，以预定像素值作为差值图像中对应的位置的像素值。
具体地，当处理器40根据第一图像和第二图像对应位置的像素值差值，以生成差值图像时，由于在开启补光灯20后，第二图像中每个像素的像素值均大于第一图像中位置对应的每个像素的像素值，为方便处理器40识别差值图像中的第一待融合区域，则处理器40中可预先设定有预设阈值和预设像素值，处理器40可通过判断像素值差值是否大于预设阈值，且像素值差值对应的位置是否在目标区域，从而生成差值图像。其中，目标区域为人像眼部区域，处理器40可通过对第一图像或第二图像进行面部识别，以获取第一图像或第二图像的眼部区域，从而根据第一图像或第二图像的眼部区域确定差值图像中的目标区域。
由于第一图像50和第二图像60是通过同一传感器30采集的，因此，第一图像50和第二图像60中的建立坐标系相同，处理器40则可通过每个像素的坐标从而判断该像素是否在目标区域内。如图5所示，第一图像50上有一像素P、第二图像60有一像素Q的位置及差值图像上有一像素U，且像素P、像素Q及像素U的位置相对应，则像素U的像素值为像素P与像素Q的像素值差值，处理器40可通过像素U的像素值是否大于预设阈值，并判断像素U的位置是否在目标区域(图5虚线框所示)，从而生成差值图像。例如，像素P的像素值为100，像素Q的像素值为200，则像素U的像素值为100，预设阈值为50，预设像素值为0，则处理器40可通过计算得出像素P和像素Q的像素值差值，即像素U的像素值大于预设阈值，此时，若像素U在差值图像70中的位置位于目标区域，则不修改像素U的像素值，即像素U的像素值仍为100。若像素U在差值图像中的位置位于目标区域外，则将预设像素值，即以0替换像素U的像素值。又例如，像素P的像素值为180，像素Q的像素值为200，则像素U的像素值为20，预设阈值为50，预设像素值为0，则处理器40可通过计算得出像素P和像素Q的像素值差值，即像素U的像素值小于预设阈值，则处理器40不会再判断像素U在差值图像70中的位置是否位于目标区域，处理器40会直接以预定像素值，即0替换像素U的像素值。还例如，当像素U在差值图像70中的位置不在目标区域时，则无论像素U的值是否大于预设阈值，处理器40均会以预定像素值(如0，255等)替换像素U的像素值。
综上，当处理器40判断完第一图像和第二图像对应位置的所有像素的像素值差值是否大于预设阈值，及所有像素的位置是否位于目标区域后，处理器40则可通过判断结果生成差值图像。最终生成的差值图像中，与第一待融合区域对应的像素的像素值即为第一图像和第二图像对应位置的像素值差值，其他位置的像素的像素值为预定像素值。本申请实施方式中，为方便处理器识别差值图像中的第一待融合区域，因此，预定像素值为0。
请参阅图2、图3及图6，在某些实施方式中，步骤03：识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像，包括步骤：
031：确定差值图像中像素值不为预定像素值的像素，以获取第一待融合区域；及
032：根据预设扩大参数扩大第一待融合区域，以生成待融合图像。
在某些实施方式中，处理模块13用于执行步骤031和步骤032。即处理模块13用于确定差值图像中像素值不为预定像素值的像素，以获取第一待融合区域；及根据预设扩大参数扩大第一待融合区域，以生成待融合图像。
在某些实施方式中，处理器40用于执行步骤031和步骤032。即处理器40用于确定差值图像中像素值不为预定像素值的像素，以获取第一待融合区域；及根据预设扩大参数扩大第一待融合区域，以生成待融合图像。
具体地，在处理器40确定了差值图像中所有像素的像素值后，处理器40则可识别差值图像中像素值不为预定像素值的像素所在区域，从而获取第一待融合区域。其中，差值图像中像素值不为预定像素值的像素，则为第二图像中的目标区域的像素，即人像中眼睛产生眼神光的区域。
而在实际场景中，当开启补光灯20后，由于补光灯20的尺寸较小，且与摄像头30之间的距离较近，从而导致摄像头30采集的第二图像中，产生的眼神光较小。因此，为提升目标图像显示效果，需要对第一待融合区域进行扩大处理。例如，当终端100为手机时，则补光灯20为发光二极管(Light Emitting Diode，LED)闪光灯，此时，由于LED闪光灯使人像眼部区域产生的眼神光较小，因此，需要对第一待融合区域进行扩大处理。
处理器40则可设置有预设的扩大参数，以对第一待融合区域进行扩大处理。例如，预设的扩大参数为2，当处理器40获取到第一待融合区域后，将第一待融合区域的边长进行2倍扩大，以生成待融合图像。如处理器40获取到第一待融合区域为2*2的区域，则处理器40会将第一待融合区域扩大为4*4的区域，则扩大后的4*4的区域即为待融合图像的大小，此时，处理器40则可将第一待融合区域中所有像素中最大的像素值作为扩大后4*4的区域内所有像素的像素值，从而生成待融合图像。其中，处理器40扩大第一待融合区域的方式可以是第一待融合区域为中心进行扩大，还可以是以第一待融合区域的任一像素为中心或角点进行扩大。
请参阅图2、图3及图7，在某些实施方式中，步骤03：识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像，包括步骤：
033：根据预设扩大参数确定扩大区域；及
034：将第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为扩大区域的像素的像素值，以生成待融合图像。
在某些实施方式中，处理模块13用于执行步骤033和步骤034，即处理模块13用于根据预设扩大参数确定扩大区域；及将第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为扩大区域的像素的像素值，以生成待融合图像。
在某些实施方式中，处理器40用于执行步骤033和步骤034，即处理器40用于根据预设扩大参数确定扩大区域；及将第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为扩大区域的像素的像素值，以生成待融合图像。
具体地，处理器40在对第一待融合区域进行扩大处理时，处理器40可根据预设的扩大参数确定扩大区域。其中，扩大区域可以包含第一待融合区域，则扩大区域的大小为待融合图像的大小，扩大区域还可以不包含第一待融合区域，则待融合图像的大小为扩大区域的大小与第一待融合区域的大小的和。第一待融合区域可以是矩形区域、单个像素、异形形状区域等。
如图8(a)所示，当第一待融合区域M在差值图像70中的形状为矩形时，若扩大参数为2，处理器40则可以第一待融合区域M的中心为扩大中心，以使第一待融合区域M的边长均扩大2倍，处理器40则可确定扩大区域，例如，当扩大区域包含第一待融合区域M时，扩大区域则为A，即A包括M。当扩大区域不包含第一待融合区域M时，扩大区域则为B，即B不包括M。
处理器40还可以第一待融合区域M的任一像素为角点进行扩大。如图8(b)所示，处理器40以第一待融合区域M的左上角的像素进行扩大，以使第一待融合区域M的边长均扩大2倍，当扩大区域包含第一待融合区域M时，扩大区域则为C，当扩大区域不包含第一待融合区域M时，扩大区域则为D。同样地，当第一待融合区域M为单个像素或异形形状区域时，处理器40也可以第一待融合区域M的中心进行扩大或以第一待融合区域M的角点进行扩大。
当处理器40扩大第一待融合区域后，处理器40可根据第一待融合区域内所有像素的最大像素值作为扩大区域中所有像素的像素值，从而生成待融合图像；处理器40又可根据第一待融合区域内所有像素的平均像素值作为扩大区域中所有像素的像素值，从而生成待融合图像，从而生成待融合图像；处理器40还可根据第一待融合区域内设有像素的最小像素值作为扩大区域中所有像素的像素值，从而生成待融合图像。由此可知，当扩大区域包含第一待融合区域时，则待融合图像中所有像素的像素值相同，当扩大区域不包含第一待融合区域时，则待融合图像中仅扩大区域的所有像素相同。
在某些实施方式中，处理器40可设置有多个不同的预设扩大参数，处理器40可根据第一待融合区域的大小，以选取合适的预设扩大参数。例如，第二图像中的眼部区域的大小为4*4的区域，由于第一待融合区域代表的为眼部区域的眼神光大小，因此，扩大后的待融合图像应小于眼部区域的大小，例如，扩大后的待融合图像的大小为眼部区域大小的1/2、1/3、1/4、1/8、1/12等，从而保证最终生成的目标图像中眼神光的大小适中。
在某些实施方式中，预设扩大参数还可包括第一待融合区域需要扩大的方向和大小，例如，预设扩大参数中，dXlow＝-2，dXhigh＝5，dYlow＝-2，dYhigh＝5，则说明，扩大区域需要第一待融合区域向X轴负方向扩大2个单位，向X轴正方向扩大5个单位，还需向Y轴负方向扩大2个单位，向Y轴正方向扩大5个单位。如图9所示，当第一待融合区域N为一个像素，预设扩大参数包括dXlow＝-2，dXhigh＝5，dYlow＝-2，dYhigh＝5时，则第一待融合区域N向X轴负方向扩大2个单位，向X轴正方向扩大5个单位，还需向Y轴负方向扩大2个单位，向Y轴正方向扩大5个单位，从而得到扩大区域L。此时，处理器40再将扩大区域L中的像素值替换为第一待融合区域N内所有像素的像素值的最大值或平均值或最小值，从而得到待融合图像。
请参阅图2、图3及图10，在某些实施方式中，步骤03：识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像，包括步骤：
035：根据预设的轮询框对差值图像进行轮询；
036：获取轮询框内所有像素的最大像素值，以作为目标像素的像素值，目标像素位于轮询框的预设位置；及
037：根据目标像素的像素值，生成待融合图像。
在某些实施方式中，处理模块13用于执行步骤035、步骤036和步骤037，即处理模块13用于根据预设的轮询框对差值图像进行轮询；获取轮询框内所有像素的最大像素值，以作为目标像素的像素值，目标像素位于轮询框的预设位置；及根据目标像素的像素值，生成待融合图像。
在某些实施方式中，处理器40用于执行步骤035、步骤036和步骤037，即处理器40用于根据预设的轮询框对差值图像进行轮询；获取轮询框内所有像素的最大像素值，以作为目标像素的像素值，目标像素位于轮询框的预设位置；及根据目标像素的像素值，生成待融合图像。
具体地，在处理器40生成差值图像后，由于预定像素值为0，因此，在差值图像中，与目标区域位置不对应的区域的像素的像素值均为0，与第一待融合区域位置对应的区域的像素的像素值则为第一图像和第二图像对应位置的像素值差值。由此，处理器40则可快速识别出差值图像中的第一待融合区域，而由于待融合图像是处理器40通过对第一待融合区域进行扩大处理生成的。因此，处理器40还可设置有预设的轮询框以对差值图像中的每个像素进行轮询，从而获取轮询框内所有像素的最大像素值、最小值、或平均值等，以作为目标像素的像素值，从而根据目标像素的像素值，以生成待融合图像。其中，由于差值图像经轮询后得到的待融合图像应小于眼部区域的大小，因此轮询框的大小应小于眼部区域的大小，例如，轮询框的大小为眼部区域的1/2、1/3、1/4、1/8、1/12等，从而保证最终生成的目标图像中眼神光的大小适中。目标像素位于轮询框中的预设位置，如轮询框大小为8*8个像素，预设位置可以是8*8中任意一个像素所在的位置，如第一行第一列、第二行第一列等。
请结合图11，由上述可知，差值图像70中除与第一待融合区域对应的区域外，其余部分的像素的像素点均为0。差值图像70中的第一待融合区域S1包含有4个像素，分别为T1、T2、T3和T4。虚线框S3为目标像素在轮询框S2中的预设位置。由图11可知，预设位置为轮询框S2的第三行第三列，此时轮询框S2中，所有像素的像素值均为0，因此，可确定目标像素的像素值同样为0。处理器40可对差值图像70进行逐行轮询，从而得到差值图像70中的每个像素对应的目标像素的像素值。
如图12所示，可以发现，当轮询框S2轮询到第二行第二列的像素，即轮询框S2的预设位置位于差值图像70的第二行第二列时，此时，目标像素即为差值图像70的第二行第二列的像素，轮询框S2中的最大像素值为T1，则处理器40将目标像素位置处的像素值更改为T1。此外，还可以得出，当处理器根据轮询框S2继续从左向右移动到第二行第三列时，则轮询框S2中出现两个像素值T1和T2，此时，若T1大于T2，则目标像素位置处的像素值为T1，若T1小于T2，则目标像素位置处的像素值为T2，若T1等于T2，则目标像素位置处的像素值为T1或T2。为方便举例说明，在本实施方式中，T1大于T2，T2大于T3，T3大于T4。
由此，则可得出，当轮询框S2继续从左往右移动时，目标像素位置处的像素值不断被替换，直至轮询框S2移动至轮询框S2内仅包括像素值T2(如图13所示)时，则目标像素位置处的像素值被替换为T2，且轮询框S2再向右移动时，轮询框S2内的所有像素值又变为0。
同理，当轮询框S2轮询至第三行第二列时，则轮询框S2内包括像素值T1和T3，则处理器40取T1作为目标像素位置处的像素值。依次类推，当轮询框S2轮询完差值图像70中的所有像素值后，则会替换差值图像70中每个像素对应的目标像素的像素值，从而生成待融合图像。
如图14所示，线框S4即为待融合图像，可以理解，当处理器40根据轮询框S2对差值图像70中的所有像素完成轮询后，则处理器40会将差值图像70中像素值仍为0的部分进行去除，仅保留差值图像70中像素值不为0的像素组成的部分图像，该部分图像即为待融合图像。
请参阅图2、图3及图15，在某些实施方式中，步骤04：融合待融合图像和第一图像，以生成目标图像，包括步骤：
041：获取第一图像中与待融合图像的位置对应的第二待融合区域；及
042：融合处理待融合图像和第二待融合区域，以生成目标图像。
在某些实施方式中，融合模块14用于执行步骤041和步骤042，即融合模块14用于获取第一图像中与待融合图像的位置对应的第二待融合区域；及使用待融合图像替换第二待融合区域，以生成目标图像。
在某些实施方式中，处理器40用于执行步骤041和步骤042，即处理器40用于获取第一图像中与待融合图像的位置对应的第二待融合区域；及融合处理待融合图像与第二待融合区域，以生成目标图像。
具体地，当处理器40生成待融合图像后，处理器40则可获取第一图像中与待融合图像的位置对应的第二待融合区域。其中，由于待融合图像是由差值图像中的第一待融合区域经预设的扩大参数扩大得到的，且差值图像是根据第一图像和第二图像生成的，因此，处理器40可根据待融合图像在差值图像中的位置，从而获取第一图像中的第二待融合区域。
由于差值图像是根据第一图像和第二图像对应位置的像素值差值生成的，因此，差值图像可建立与第一图像相同的坐标系，则当处理器40识别差值图像的第一待融合区域时，处理器40则可识别第一待融合区域中所有像素的坐标。而当处理器40对第一待融合区域进行扩大处理后，待融合图像仍可在差值图像中显示，处理器40则可根据待融合图像在差值图像中的位置，获取待融合图像中每个像素在差值图像中的坐标。由此，处理器40则可根据待融合图像内所有像素的坐标，以得到第一图像中与待融合图像内所有像素位置对应的像素的坐标，即，处理器40获取得到第一图像中与待融合图像位置对应第二待融合区域。
在一个实施方式中，处理器40可使用待融合图像替换第二待融合区域，从而生成目标图像。具体地，处理器40可将待融合图像中每个像素的像素值替换为第二待融合图像区域内位置对应的像素的像素值，从而生成目标图像。以待融合图像中一像素Z为例，像素Z的像素值为100，第二待融合区域中对应位置的像素X的像素值为80，此时，处理器40则将第二待融合区域中的像素X的像素值修改为像素Z的像素值，即将80修改为100。由此，生成的目标图像即为第一图像的基础上，将第一图像中与第二图像产生明显差异的部分进行了替换，从而保证生成的目标图像在第一图像的基础上出现眼神光，从而保证目标图像栩栩如生。
在另一个实施方式中，处理器40可将待融合图像中每个像素的像素值添加至第一图像中的第二待融合区域，从而生成目标图像。以待融合图像中一像素M为例，像素M的像素值为100，第二待融合区域中对应位置的像素N的像素值为80，此时，处理器40则将第二待融合区域的像素N像素值修改为像素M和像素N的像素值的和，即将80修改为180。由此，生成的目标图像即为在第一图像的基础上，添加了第一图像和第二图像的区别，从而使目标图像中出现的眼神光更加明显，从而保证目标图像栩栩如生。
请参阅图16，本申请实施方式还提供一种包含计算机程序201的非易失性拟计算机可读存储介质200。当计算机程序201被一个或多个处理器40执行时，使得一个或多个处理器40执行上述任一实施方式的图像处理方法。
例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
01：分别获取不开启补光灯20和开启补光灯20时的第一图像和第二图像；
02：根据第一图像和第二图像对应位置的像素值差值，以生成差值图像；
03：识别差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及
04：融合待融合图像和第一图像，以生成目标图像。
又例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
021：在像素值差值大于预设阈值且像素值差值对应的位置位于目生成模块12标区域时，以像素值差值作为差值图像中对应位置的像素值；
022：在像素值差值小于预设阈值或像素值差值对应的位置位于目标区域外时，以预定像素值作为差值图像中对应的位置的像素值。
又例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
031：确定差值图像中像素值不为预定像素值的像素，以获取第一待融合区域；及
032：根据预设扩大参数扩大第一待融合区域，以生成待融合图像。
又例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
033：根据预设扩大参数确定扩大区域；及
034：将第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为扩大区域的像素的像素值，以生成待融合图像。
再例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
035：根据预设的轮询框对差值图像进行轮询；
036：获取轮询框内所有像素的最大像素值，以作为目标像素的像素值，目标像素位于轮询框的预设位置；及
037：根据目标像素的像素值，生成待融合图像。
还例如，计算机程序201被一个或多个处理器40执行时，使得处理器40执行以下图像处理方法：
041：获取第一图像中与待融合图像的位置对应的第二待融合区域；及
042：融合处理待融合图像和第二待融合区域，以生成目标图像。
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
分别获取不开启补光灯和开启所述补光灯时的第一图像和第二图像；
根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；
识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及
融合所述待融合图像和所述第一图像，以生成目标图像；
所述识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像，包括：
根据预设的轮询框对所述差值图像进行轮询；
获取所述轮询框内所有像素的最大像素值，以作为目标像素的像素值，所述目标像素位于所述轮询框的预设位置；及
根据所述目标像素的像素值，生成所述待融合图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述补光灯包括闪光灯或显示屏。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一图像和所述第二图像对应位置的像素值差值，生成差值图像，包括：
在所述像素值差值大于预设阈值且所述像素值差值对应的位置位于目标区域时，以所述像素值差值作为所述差值图像中对应位置的像素值；
在所述像素值差值小于所述预设阈值或所述像素值差值对应的位置位于所述目标区域外时，以预定像素值作为所述差值图像中对应的位置的像素值。
4.根据权利要求3所述的图像处理方法，其特征在于，所述识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像，包括：
确定所述差值图像中像素值不为所述预定像素值的像素，以获取所述第一待融合区域；
根据预设扩大参数扩大所述第一待融合区域，以生成所述待融合图像。
5.根据权利要求4所述的图像处理方法，其特征在于，根据预设扩大参数扩大所述第一待融合区域，以生成所述待融合图像，包括：
根据预设扩大参数确定扩大区域；
将所述第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为所述扩大区域的像素的像素值，以生成所述待融合图像。
6.根据权利要求1所述的图像处理方法，其特征在于，所述融合所述待融合图像和所述第一图像，以生成目标图像，包括：
获取所述第一图像中与所述待融合图像的位置对应的第二待融合区域；
融合处理所述待融合图像和所述第二待融合区域，以生成所述目标图像。
7.一种图像处理装置，其特征在于，包括：
获取模块，所述获取模块用于分别获取不开启补光灯和开启所述补光灯时的第一图像和第二图像；
生成模块，所述生成模块用于根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；
处理模块，所述处理模块用于识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及
融合模块，所述融合模块用于融合所述待融合图像和所述第一图像，以生成目标图像；
所述处理模块，还用于：
根据预设的轮询框对所述差值图像进行轮询；
获取所述轮询框内所有像素的最大像素值，以作为目标像素的像素值，所述目标像素位于所述轮询框的预设位置；及
根据所述目标像素的像素值，生成所述待融合图像。
8.一种终端，其特征在于，包括：
补光灯，所述补光灯用于发射光线；
摄像头，所述摄像头用于分别采集不开启所述补光灯和开启所述补光灯时的第一图像和第二图像；
处理器，所述处理器用于：分别获取所述第一图像和所述第二图像；根据所述第一图像和所述第二图像对应位置的像素值差值，以生成差值图像；识别所述差值图像中的第一待融合区域，并进行扩大处理，以生成待融合图像；及融合所述待融合图像和所述第一图像，以生成目标图像；
所述处理器还用于：根据预设的轮询框对所述差值图像进行轮询；
获取所述轮询框内所有像素的最大像素值，以作为目标像素的像素值，所述目标像素位于所述轮询框的预设位置；及
根据所述目标像素的像素值，生成所述待融合图像。
9.根据权利要求8所述的终端，其特征在于，所述补光灯包括闪光灯或显示屏。
10.根据权利要求8所述的终端，其特征在于，所述处理器用于：
在所述像素值差值大于预设阈值且所述像素值差值对应的位置位于目标区域时，以所述像素值差值作为所述差值图像中对应位置的像素值；
在所述像素值差值小于所述预设阈值或所述像素值差值对应的位置位于所述目标区域外时，以预定像素值作为所述差值图像中对应的位置的像素值。
11.根据权利要求10所述的终端，其特征在于，所述处理器用于：
确定所述差值图像中像素值不为所述预定像素值的像素，以获取所述第一待融合区域；
根据预设扩大参数扩大所述第一待融合区域，以生成所述待融合图像。
12.根据权利要求11所述的终端，其特征在于，所述处理器用于：
根据预设扩大参数确定扩大区域；
将所述第一待融合区域内的像素的最大像素值、平均像素值或最小像素值作为所述扩大区域的像素的像素值，以生成所述待融合图像。
13.根据权利要求8所述的终端，其特征在于，所述处理器用于：
获取所述第一图像中与所述待融合图像的位置对应的第二待融合区域；
融合处理所述待融合图像和所述第二待融合区域，以生成所述目标图像。
14.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行权利要求1至6中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494372.4A CN113286078B (zh) | 2021-05-07 | 2021-05-07 | 图像处理方法及装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110494372.4A CN113286078B (zh) | 2021-05-07 | 2021-05-07 | 图像处理方法及装置、终端及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113286078A CN113286078A (zh) | 2021-08-20 |
| CN113286078B true CN113286078B (zh) | 2022-10-14 |
Family
ID=77278301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110494372.4A Active CN113286078B (zh) | 2021-05-07 | 2021-05-07 | 图像处理方法及装置、终端及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113286078B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116579964B (zh) * | 2023-05-22 | 2024-02-02 | 北京拙河科技有限公司 | 一种动帧渐入渐出动态融合方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3551854B2 (ja) * | 1999-09-01 | 2004-08-11 | ミノルタ株式会社 | デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体 |
| US6980691B2 (en) * | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
| US7224850B2 (en) * | 2003-05-13 | 2007-05-29 | Microsoft Corporation | Modification of red-eye-effect in digital image |
| US7551797B2 (en) * | 2004-08-05 | 2009-06-23 | Canon Kabushiki Kaisha | White balance adjustment |
| US7697062B2 (en) * | 2006-11-08 | 2010-04-13 | Sony Ericsson Mobile Communications Ab | Camera and method in a camera |
| US8018525B2 (en) * | 2007-12-21 | 2011-09-13 | Nokia Corporation | Camera flash module and method for controlling same |
| KR101427660B1 (ko) * | 2008-05-19 | 2014-08-07 | 삼성전자주식회사 | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 |
| US10074165B2 (en) * | 2014-09-10 | 2018-09-11 | Morpho, Inc. | Image composition device, image composition method, and recording medium |
-
2021
- 2021-05-07 CN CN202110494372.4A patent/CN113286078B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113286078A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3599760B1 (en) | Image processing method and apparatus | |
| KR102099635B1 (ko) | 카메라의 가이드 제공 방법 및 그 전자 장치 | |
| US9451173B2 (en) | Electronic device and control method of the same | |
| US8248485B2 (en) | Imaging apparatus and imaging method | |
| US10694104B2 (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
| CN109218606B (zh) | 摄像控制设备、其控制方法及计算机可读介质 | |
| JP6124700B2 (ja) | 撮像装置、その制御方法、プログラム、記憶媒体 | |
| US9900523B2 (en) | Image processing apparatus which performs image processing on photographic subject | |
| CN110740260B (zh) | 一种拍摄方法、装置以及计算机可读存储介质 | |
| CN110099220B (zh) | 一种全景拼接方法及装置 | |
| JP2007067560A (ja) | 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体 | |
| WO2021035485A1 (zh) | 拍摄防抖方法、装置、终端及存储介质 | |
| CN113286078B (zh) | 图像处理方法及装置、终端及计算机可读存储介质 | |
| JP2017103520A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
| CN115706850A (zh) | 图像拍摄的方法、设备、存储介质和程序产品 | |
| KR20210101087A (ko) | 전자 장치 및 그 전자 장치에서 영상을 표시하는 방법 | |
| US10867389B2 (en) | Image processing apparatus, image pickup apparatus, method for controlling image processing apparatus and storage medium | |
| WO2021185374A1 (zh) | 一种拍摄图像的方法及电子设备 | |
| CN111182208B (zh) | 拍照方法、装置、存储介质及电子设备 | |
| CN109874000B (zh) | 图像处理装置、信息处理方法和存储介质 | |
| CN111182199B (zh) | 电子装置及拍照方法 | |
| CN110689583A (zh) | 一种标定方法、装置、存储介质及电子设备 | |
| CN112653841B (zh) | 拍摄方法、装置和电子设备 | |
| JP2015097322A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| JP6115815B2 (ja) | 合成画像生成装置及び合成画像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |