CN109639959B - 图像处理装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN109639959B CN109639959B CN201811165909.7A CN201811165909A CN109639959B CN 109639959 B CN109639959 B CN 109639959B CN 201811165909 A CN201811165909 A CN 201811165909A CN 109639959 B CN109639959 B CN 109639959B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- face image
- mapping data
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 18
- 238000005286 illumination Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000002156 mixing Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
提供图像处理装置、图像处理方法以及记录介质。拍摄装置(1)具备图像取得部(51)和图像处理部(53)。图像取得部(51)取得面部图像。图像处理部(53)取得以至少一种调整方法对于由图像取得部(51)取得的面部图像进行了调整而得的面部图像，使用基于面部的立体形状将该面部的规定区域设为透过区域的映射数据，将包含上述调整而得的面部图像的多个面部图像进行合成。
Description
技术领域
本发明涉及图像处理装置、图像处理方法以及记录介质。
背景技术
以往，对图像内所含的人物的面部进行校正的处理被使用。
例如，日本特开2007－193729号公报中公开了如下技术：在印刷人物的面部的过程中，为了强调面部的立体感，亮化面部的鼻梁的附近的像素、而且暗化从眼角到鼻翼的附近的像素来进行校正。
但是，在该公报记载的技术中，需要在每次打印时细致地设定修正区域。
发明内容
本发明是鉴于上述状况而做出的，目的在于能够容易地生成具有立体感的面部图像。
本发明的图像处理装置具备：取得面部图像的取得部；以及控制部，
上述控制部取得以至少一种调整方法对于由上述取得部取得的面部图像进行了调整而得的面部图像，使用基于面部的立体形状将该面部的规定区域设为透过区域的映射数据，将包含上述调整而得的面部图像的多个面部图像合成。
本发明的图像处理方法包含：取得面部图像的面部图像取得处理；调整图像取得处理，取得以至少一种调整方法对于通过上述面部图像取得处理取得的面部图像进行了调整而得的面部图像；合成处理，使用基于面部的立体形状将该面部的规定区域设为透过区域的映射数据，将包含上述调整而得的面部图像的多个面部图像合成。
本发明是一种计算机能够读取的记录介质，记录有程序，该程序使该计算机作为如下单元发挥功能：取得面部图像的面部图像取得单元；调整图像取得单元，取得以至少一种调整方法对于通过上述面部图像取得单元取得的面部图像进行了调整而得的面部图像；合成单元，使用基于面部的立体形状将该面部的规定区域设为透过区域的映射数据，将包含上述调整而得的面部图像在内的多个面部图像合成。
附图说明
图1是表示本发明的图像处理装置的一实施方式的拍摄装置的硬件构成的框图。
图2是用于说明本实施方式中的阴影强调图像的生成的示意图。
图3是用于说明阴影掩模图像的制作的示意图。
图4A是表示高光用图像的图。
图4B是表示面部用的渐变掩模图像(基底图像)的图。
图4C是表示面部用的渐变掩模图像(平滑化处理后)的图。
图5A是表示高光用图像的图。
图5B是表示背景用的渐变掩模图像(基底图像)的图。
图5C是表示背景用的渐变掩模图像(平滑化处理后)的图。
图6是表示面部掩模图像的基底图像的示意图。
图7是表示图1的拍摄装置的功能的构成中的、用于执行阴影强调图像生成处理的功能的构成的功能框图。
图8是说明具有图7的功能的构成的图1的拍摄装置所执行的阴影强调图像生成处理的流程的流程图。
图9是用于说明变形例1中的面部掩模图像的制作的示意图。
图10A是表示在包含多个人物的图像中、向左边的人物施加了阴影的情况下的渐变掩模图像的设定方法的示意图。
图10B是表示在包含多个人物的图像中、向右边的人物施加了阴影的情况下的渐变掩模图像的设定方法的示意图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。
图1是表示本发明的图像处理装置的一实施方式的拍摄装置1的硬件构成的框图。
拍摄装置1由例如数字相机构成。
如图1所示，拍摄装置1具备CPU(Central Processing Unit)11、ROM(Read OnlyMemory)12、RAM(Random Access Memory)13、总线14、输入输出接口15、拍摄部16、输入部17、输出部18、存储部19、通信部20、驱动器21、以及照明部22。
CPU11根据记录于ROM12的程序、或者从存储部19装载到RAM13的程序执行各种处理。
RAM13中也适宜存储CPU11执行各种的处理时必要的数据等。
CPU11、ROM12以及RAM13经由总线14而相互连接。
在该总线14还有连接输入输出接口15。在输入输出接口15连接有拍摄部16、输入部17、输出部18、存储部19、通信部20、驱动器21以及照明部22。
虽然未图示，但拍摄部16具备光学透镜部和图像传感器。
光学透镜部为了拍摄被拍摄体，由将光聚光的透镜、例如聚焦透镜或变焦透镜等构成。
聚焦透镜是使被拍摄体像成像于图像传感器的受光面的透镜。
变焦透镜是使焦距在一定的范围内自如地变化的透镜。
在光学透镜部中，还根据需要，设置对焦点、曝光、白平衡等的设定参数进行调整的周边电路。
图像传感器由光电转换元件、AFE(Analog Front End)等构成。
光电转换元件例如由CMOS(Complementary Metal Oxide Semiconductor)型的光电转换元件等构成。
被拍摄体像从光学透镜部入射到光电转换元件。
因此，光电转换元件将被拍摄体像光电转换(拍摄)并将图像信号累积一定时间，将累积的图像信号作为模拟信号依次供给到AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital)转换处理等各种信号处理。
通过各种信号处理，生成数字信号，并作为拍摄部16的输出信号而输出。
将这样的拍摄部16的输出信号作为拍摄图像的数据被适宜地供给到CPU11、未图示的图像处理部等。
输入部17由各种按钮等构成，根据用户的指示操作输入各种信息。
输出部18由显示器、扬声器等构成，输出图像、声音。
存储部19由硬盘或DRAM(Dynamic Random Access Memory)等构成，存储各种图像的数据。
通信部20控制经由包含因特网的网络而与他的装置(未图示)之间进行的通信。
在驱动器21适宜地安装磁盘、光盘、光磁盘、或半导体存储器等所构成的可装卸介质31。
由驱动器21从可装卸介质31读出的程序根据需要被安装于存储部19。
另外，可装卸介质31能够与存储部19相同地也将存储于存储部19的图像的数据等各种数据进行存储。
照明部22由在拍摄部16的周围以画圆的方式设置的8个LED(发光部件)、以及在该拍摄装置1中设置于与该8个LED分离的位置的一个LED构成。
这些LED在实时取景拍摄时，在图像记录时根据用户的操作选择性地发光。
通过如此使照明(lighting)的方向变更来拍摄面部，能够取得人为地控制了阴影的面部图像。
在这样构成的拍摄装置1中具有如下功能：准备将动态范围(亮度的范围，luminance range)放大后拍摄而得的高光用图像、以及将动态范围不放大地拍摄进而进行了伽马校正而得的阴影用图像，使用用于强调阴影的掩模图像(阴影掩模图像)对高光用图像与阴影用图像进行α混合，从而能够生成适当地校正了面部的立体感的图像(以下，称作“阴影强调图像”。)。
此时，在阴影掩模图像中，通过在面部周边与背景中使阴影的渐变(gradation)不同，能够生成更适当的阴影强调图像。
图2是用于说明本实施方式中的阴影强调图像的生成的示意图。
在生成本实施方式的阴影强调图像的情况下，如图2所示，生成将动态范围放大后拍摄而得的高光用图像P1、以及将动态范围不放大地拍摄进而进行了伽马校正而得的阴影用图像P2。
在生成阴影用图像P2的情况下，设定为高光用图像P1的面部区域与阴影用图像P2的面部区域的明度(亮度)之差越小，伽马校正的强度越高。
另外，如后述那样，基于表示面部区域的面部掩模图像将面部用的渐变掩模图像与背景用的渐变掩模图像合成，从而生成用于强调阴影的阴影掩模图像P3。
在本实施方式中，在阴影掩模图像P3中，面部周边与背景中的渐变被设为不同。
因此，能够加强向面部的阴影强调效果，并且能够进行自然的阴影的强调。
而且，使用阴影掩模图像P3，通过α混合对高光用图像P1与阴影用图像P2进行图像合成，制作适当地校正了面部的立体感的阴影强调图像P4。
阴影掩模图像P3的各像素值在基于α混合的图像合成时，成为对应的各像素的α值。
[阴影掩模图像的制作]
图3是用于说明阴影掩模图像的制作的示意图。
阴影掩模图像M4通过以表示面部区域的面部掩模图像M3作为α值，对面部用的渐变掩模图像M1与背景用的渐变掩模图像M2进行α混合而制作。
[面部用的渐变掩模图像的制作]
图4A～图4C是用于说明面部用的渐变掩模图像的制作的示意图。
在制作面部用的渐变掩模图像的情况下，首先，在高光用图像(图4A)中，检测面部的轮廓信息。
这里，作为面部的轮廓信息，检测将两眼之间的点与下颚的点连结的面部的中心线、以及位于两眼的外侧的面部的轮廓点。
然后，根据检测出的面部的轮廓信息，决定面部用的渐变的角度以及宽度，制作面部用的渐变掩模图像的基底图像(图4B)。
进而，对于面部用的渐变掩模图像的基底图像，利用双边滤波器进行平滑化处理。
进行了平滑化处理的结果，制作出面部用的渐变掩模图像(图4C)。
[背景用的渐变掩模图像的制作]
图5A～图5C是用于说明背景用的渐变掩模图像的制作的示意图。
在制作背景用的渐变掩模图像的情况下，首先，在高光用图像(图5A)中，检测面部的轮廓信息。
这里，作为面部的轮廓信息，检测将两眼之间的点与下颚的点连结的面部的中心线。
然后，根据检测出的面部的轮廓信息，决定背景用的渐变的角度以及宽度，制作背景用的渐变掩模图像的基底图像(图5B)。
进而，对于背景用的渐变掩模图像的基底图像，利用双边滤波器进行平滑化处理。
进行了平滑化处理的结果，制作出背景用的渐变掩模图像(图5C)。
[面部掩模图像的制作]
在阴影掩模图像的制作中所使用的面部掩模图像通过根据拍摄到的图像中的面部的状态对预先存储的面部掩模图像的基底图像进行加工而制作。
图6是表示面部掩模图像的基底图像的示意图。
在制作面部掩模图像的情况下，首先，进行拍摄到的图像中的面部检测行。
然后，根据检测出的面部的朝向，决定渐变(晕映部)的纵横的朝向。
进而，根据检测出的面部的尺寸，变更渐变(晕映部)的尺寸。
然后，根据通过面部检测检测出的面部的位置，配置变更了尺寸的渐变(晕映部)。
其结果，制作出面部掩模图像。
图7是表示图1的拍摄装置1的功能的构成中的、用于执行阴影强调图像生成处理的功能的构成的功能框图。
阴影强调图像生成处理指的是，使用用于强调阴影的阴影掩模图像对放大拍摄动态范围而得的高光用图像、以及将动态范围不放大地拍摄进而进行了伽马校正而得的阴影用图像进行α混合、从而生成适当地校正了面部的立体感的阴影强调图像的一系列的处理。
在执行阴影强调图像生成处理的情况下，如图7所示，在CPU11中，图像取得部51、面部检测部52、图像处理部53、以及掩模图像制作处理部54发挥功能。
另外，存储部19的一区域中被设定图像存储部71和基底图像存储部72。
图像存储部71中存储从拍摄部16输出的图像的数据。
基底图像存储部72中存储面部掩模图像的基底图像的数据。
图像取得部51取得对由拍摄部16拍摄到的图像进行了显影处理的拍摄图像的数据，或从图像存储部71取得成为处理对象的图像的数据。
在本实施方式中，图像取得部51取得放大动态范围拍摄到的图像(高光用图像)、以及将动态范围不放大地拍摄到的图像。
面部检测部52从图像检测面部，并且在检测出面部中检测构成面部的各器官。另外，面部检测部52取得包含将两眼之间的点与下颚的点连结的面部的中心线、以及位于两眼的外侧的面部的轮廓点等在内的面部的轮廓信息。
在检测面部检测以及各器官的情况下，能够使用现有的面部检测技术以及器官检测技术。
图像处理部53执行与阴影强调图像的生成相关的各种图像处理。
具体而言，图像处理部53对于将动态范围不放大地拍摄而得的图像，执行伽马校正处理。
此时，图像处理部53设定成高光用图像的面部区域与阴影用图像的面部区域的明度(亮度)之差越小、越是提高伽马校正的强度来执行伽马校正处理。
另外，图像处理部53使用阴影掩模图像，通过α混合对高光用图像与阴影用图像进行图像合成。
其结果，制作出阴影强调图像。
另外，图像处理部53也可以主要执行色彩饱和度减少、明度(brightness)提高、进行向蓝色方向的色相旋转的3点要素的校正的美白处理。
另外，图像处理部53也可以执行利用双边滤波器(或其他平滑化滤波器)进行使皮肤光滑的校正的美肤处理。
掩模图像制作处理部54制作面部用的渐变掩模图像。
具体而言，掩模图像制作处理部54根据高光用图像中检测出的面部的轮廓信息(将两眼之间的点与下颚的点连结的面部的中心线、以及位于两眼的外侧的面部的轮廓点)，决定面部用的渐变的角度以及宽度，制作面部用的渐变掩模图像的基底图像。
然后，掩模图像制作处理部54利用双边滤波器对面部用的渐变掩模图像的基底图像进行平滑化处理，制作面部用的渐变掩模图像。
另外，掩模图像制作处理部54制作背景用的渐变掩模图像。
具体而言，掩模图像制作处理部54根据高光用图像中检测出的面部的轮廓信息(将两眼之间的点与下颚的点连结的面部的中心线)，决定背景用的渐变的角度以及宽度，制作背景用的渐变掩模图像的基底图像。
然后，掩模图像制作处理部54利用双边滤波器对背景用的渐变掩模图像的基底图像进行平滑化处理，制作背景用的渐变掩模图像。
另外，掩模图像制作处理部54制作面部掩模图像。具体而言，掩模图像制作处理部54根据拍摄到的图像中的面部的朝向，决定渐变(晕映部)的纵横的朝向。
另外，掩模图像制作处理部54根据检测出的面部的尺寸，变更渐变(晕映部)的尺寸。
然后，掩模图像制作处理部54根据通过面部检测检测出的面部的位置，配置变更了尺寸的渐变(晕映部)，制作面部掩模图像。
进而，掩模图像制作处理部54将表示面部区域的面部掩模图像作为α值，对面部用的渐变掩模图像与背景用的渐变掩模图像进行α混合，从而制作阴影掩模图像。
图8是说明具有图7的功能构成的图1的拍摄装置1所执行的阴影强调图像生成处理的流程的流程图。
阴影强调图像生成处理通过用户对输入部17的阴影强调图像生成处理开始的操作而开始。
阴影强调图像生成处理开始的操作能够设为拍摄指示操作，能够以根据该拍摄指示操作由拍摄部16拍摄到的图像作为对象进行显影处理，继续进行阴影强调图像生成处理。
图像取得部51取得对由拍摄部16拍摄到的图像进行了显影处理的拍摄图像的数据，或从图像存储部71取得成为处理对象的图像(步骤S11)。
此时，图像取得部51取得将动态范围放大拍摄而得的图像(高光用图像)、以及将动态范围不放大地拍摄而得的图像。
面部检测部52在成为处理对象的图像中进行面部检测，判定是否检测到面部(步骤S12)。
在未检测到面部的情况下，阴影强调图像生成处理结束(步骤S12：NO)。
在检测到面部的情况下，处理进入步骤S13(步骤S12：YES)。
图像处理部53对于将动态范围不放大地拍摄而得的图像，执行伽马校正处理(步骤S13)。
此时，图像处理部53设定成高光用图像的面部区域与阴影用图像的面部区域的明度(亮度)之差越小、越是提高伽马校正的强度来执行伽马校正处理。
面部检测部52在检测出的面部中取得构成面部的各器官、以及面部的轮廓信息(将两眼之间的点与下颚的点连结的面部的中心线、以及位于两眼的外侧的面部的轮廓点等)(步骤S14)。
掩模图像制作处理部54制作在阴影强调图像生成处理中使用的掩模图像(面部用的渐变掩模图像、背景用的渐变掩模图像、面部掩模图像以及阴影掩模图像)(步骤S15)。
图像处理部53使用阴影掩模图像，通过α混合对高光用图像与阴影用图像进行图像合成(步骤S16)。
其结果，生成适当地校正了面部的立体感的阴影强调图像。
之后，阴影强调图像生成处理结束。
[变形例1]
在上述的实施方式中，在制作面部掩模图像的情况下，也可以如以下那样决定渐变(晕映部)的位置以及尺寸。
图9是用于说明变形例1中的面部掩模图像的制作的示意图。
在变形例1中，在制作面部掩模图像的情况下，在从面部检测框的中心FC向头部的方向、相对于面部检测框的高度为规定比率(例如40％)的位置，设定面部掩模图像的中心坐标M3C。
另外，面部掩模图像M3的尺寸被设定为面部检测框F的尺寸的2倍(例如，纵向为2倍)。
制作相对于拍摄图像整体的视角如此设定了中心坐标以及尺寸的面部掩模图像M3，能够将该掩模图像使用于图3中的阴影掩模图像的生成。
在该情况下，利用取得面部检测的结果的面部检测框，能够更简单地制作面部掩模图像。
[变形例2]
在上述的实施方式中，在拍摄到的图像包含多个人物的情况下，也可以避开背景用的渐变掩模图像中的阴影区域包含人物地决定背景用的渐变的宽度。
图10A是表示拍摄到的图像包含多个人物的情况下的渐变掩模图像的设定方法的示意图，并且示出向左边的人物A施加了阴影的情况。
图10B是表示拍摄到的图像包含多个人物的情况下的渐变掩模图像的设定方法的示意图，并且示出向右边的人物B施加了阴影的情况。
如图10A、图10B所示，在本变形例中，将施加了阴影的人物作为对象，执行阴影强调图像生成处理，并且以未施加阴影的人物包含在背景用的渐变掩模图像中的高光区域的方式，制作背景用渐变图像。
由此，能够抑制一方的被拍摄体的人物整体被校正成较暗的图像。
如以上那样构成的拍摄装置1具备图像取得部51和图像处理部53。
图像取得部51取得面部图像。
图像处理部53对由图像取得部51取得的面部图像的动态范围进行调整。
图像处理部53使用基于面部的立体形状将该面部的规定区域设为透过区域(通过α混合等合成的区域)的映射数据(掩模图像)，将包含调整而得的面部图像在内的多个面部图像进行合成。
由此，能够在拍摄装置1中生成适当地校正了面部的立体感的图像(阴影强调图像)。
映射数据(map data)是基于照明的方向对于包含面部在内的面部周围的区域设定有透过区域的数据。
由此，能够在拍摄装置1中生成根据来自规定的方向的照明强调了面部的阴影的印象深刻的图像。
映射数据还基于照明的方向对于上述面部的规定区域以外的背景区域以渐变状设定有透过区域的数据。
由此，能够在拍摄装置1中生成根据来自规定的方向的照明强调了面部的阴影的印象深刻的图像。
上述调整方法中包含上述面部图像的亮度范围的调整。
由此，能够在拍摄装置1中生成强调了面部的阴影的印象深刻的图像。
上述调整方法中包含上述面部图像的伽马校正。
由此，能够在拍摄装置1中生成强调了面部的阴影的印象深刻的图像。
拍摄装置1还在上述面部图像中根据上述照明的方向指定明度变化的区域。
由此，能够设想照明的方向而对面部图像进行阴影的强调。
另外，本发明并不限定于上述的实施方式，能够实现本发明的目的范围内的变形、改进等包含在本发明中。
在上述的实施方式中，使用放大拍摄动态范围而得的高光用图像、以及将动态范围不放大地拍摄进而进行了伽马校正而得的阴影用图像生成阴影强调图像，但并不限定于此。例如，也可以使用进行了提高将动态范围不放大地拍摄而得的图像的明度的校正的图像、以及进行了降低将动态范围不放大地拍摄而得的图像的明度的校正的图像来生成阴影强调图像。
另外，在上述的实施方式中，关于阴影掩模图像的内容，只要阴影掩模图像制造出强调阴影的效果，就能够变更为各种形态。
另外，在上述的实施方式中，将应用本发明的拍摄装置1以数字相机为例进行了说明，但并不特别限定于此。
例如，本发明一般能够应用于具有图像处理功能的电子设备。具体而言，例如，本发明能够应用于笔记本型的个人计算机、打印机、电视接收机、摄像机、便携式导航装置、移动电话、智能手机、便携式游戏机等。
上述一系列的处理能够由硬件执行，也能够由软件执行。
换言之，图7的功能的构成只是例示，不被特别限定。
即，只要拍摄装置1具备能够将上述一系列的处理作为整体来执行的功能就足矣，使用何种功能模块来实现该功能并非特别地限定于图7的例子。
另外，一个功能模块可以由硬件单体构成，也可以由软件单体构成，还可以由它们的组合构成。
本实施方式中的功能构成由执行运算处理的处理器实现，本实施方式所能够使用的处理器中，除了由单处理器、多处理器以及多核处理器等各种处理装置单体构成之外，也包含由这些各种处理装置、ASIC(Application Specific Integrated Circuit，专用集成电路)或FPGA(Field-Programmable Gate Array，现场可编程门阵列)等处理电路组合的构成。
在利用软件执行一系列的处理的情况下，从网络、记录介质将构成该软件的程序安装于计算机等。
计算机也可以是装入专用的硬件的计算机。
另外，计算机也可以是通过安装各种程序而执行各种功能的计算机，例如通用的个人计算机。
包含这样的程序的记录介质不仅由为了向用户提供程序而与装置主体分开配置的图1的可装卸介质31构成，也由以预先组装在装置主体中状态向用户提供的记录介质等构成。可装卸介质31例如由磁盘(包括软盘)、光盘、或者磁光盘等构成。光盘例如由CD－ROM(Compact Disk－Read Only Memory，光盘只读存储器)、DVD(Digital Versatile Disk，数字通用光盘)、Blu－ray(注册商标)Disc(蓝色光盘)等构成。
磁光盘由MD(Mini－Disk，小磁盘)等构成。
另外，以预先装入装置主体的状态向用户提供的记录介质例如由记录有程序的图1的ROM12、存储部19所含的硬盘等构成。
另外，在本说明书中，用于记述记录在记录介质中的程序的步骤既包括按照其顺序并按时间顺序的处理，也包括并非以时间顺序处理而以并列或分别执行的处理。
尽管上面对本发明的几个实施方式进行了说明，但这些实施方式仅为示例，并非限定本发明的技术范围。
本发明能够采用其他各种实施方式，进而在不脱离本发明要旨的范围内可以进行省略、置换等各种变更。
这些实施方式或其变形包含于本说明书等所记载的发明范围、要旨中，并且包含于权利要求书所记载的发明及其等同范围中。
Claims (7)
1.一种图像处理装置，其特征在于，具备：取得部，取得面部图像；以及控制部，上述控制部生成高光用面部图像以及阴影用面部图像，该高光用面部图像是通过亮度范围调整、伽马校正以及明度校正中的至少一种调整方法对上述取得部所取得的面部图像进行调整后得到的，该阴影用面部图像是通过上述至少一种调整方法对上述取得部所取得的面部图像进行调整后得到的，上述控制部生成第一映射数据以及第二映射数据，该第一映射数据是基于上述取得部所取得的、通过上述调整方法调整前的面部图像中的面部的立体形状，在上述高光用面部图像的面部区域的规定区域设定有透过区域的数据，该第二映射数据是基于上述面部的拍摄时向上述面部照明的方向，在上述高光用面部图像的上述面部区域的周围的背景区域设定有透过区域的数据，上述控制部生成第三映射数据，该第三映射数据是使用根据上述面部的位置而配置了渐变的面部掩模图像，对上述第一映射数据和上述第二映射数据进行透过合成后得到的数据，上述控制部使用上述第三映射数据，对上述高光用面部图像以及上述阴影用面部图像进行透过合成。
2.如权利要求1所述的图像处理装置，其特征在于，上述第二映射数据是还基于照明的方向对于上述面部区域的周围的背景区域渐变状地设定有透过区域的数据。
3.如权利要求1所述的图像处理装置，其特征在于，上述控制部在上述面部图像中对明度根据上述照明的方向而变化的区域进行指定。
4.一种图像处理方法，其特征在于，包含：面部图像取得处理，取得面部图像；调整图像生成处理，生成高光用面部图像以及阴影用面部图像，该高光用面部图像是通过亮度范围调整、伽马校正以及明度校正中的至少一种调整方法对通过上述面部图像取得处理取得的面部图像进行调整后得到的，该阴影用面部图像是通过上述至少一种调整方法对通过上述面部图像取得处理取得的面部图像进行调整后得到的；以及合成处理，上述合成处理生成第一映射数据以及第二映射数据，该第一映射数据是基于上述面部图像取得处理所取得的、通过上述调整方法调整前的面部图像中的面部的立体形状，在上述高光用面部图像的面部区域的规定区域设定有透过区域的数据，该第二映射数据是基于上述面部的拍摄时向上述面部照明的方向，在上述高光用面部图像的上述面部区域的周围的背景区域设定有透过区域的数据，上述合成处理生成第三映射数据，该第三映射数据是使用根据上述面部的位置而配置了渐变的面部掩模图像，对上述第一映射数据和上述第二映射数据进行透过合成后得到的数据，上述合成处理使用上述第三映射数据，对上述高光用面部图像以及上述阴影用面部图像进行透过合成。
5.如权利要求4所述的图像处理方法，其特征在于，上述第二映射数据是还基于照明的方向对于上述面部区域的周围的背景区域渐变状地设定为透过区域的数据。
6.如权利要求4所述的图像处理方法，其特征在于，还包含在上述面部图像中对明度根据上述照明的方向而变化的区域进行指定的指定处理。
7.一种计算机能够读取的记录介质，记录有程序，其特征在于，该程序使该计算机作为如下单元发挥功能：面部图像取得单元，取得面部图像；调整图像生成单元，生成高光用面部图像以及阴影用面部图像，该高光用面部图像是通过亮度范围调整、伽马校正以及明度校正中的至少一种调整方法对上述面部图像取得单元所取得的面部图像进行调整后得到的，该阴影用面部图像是通过上述至少一种调整方法对上述面部图像取得单元所取得的面部图像进行调整后得到的；以及合成单元，上述合成单元生成第一映射数据以及第二映射数据，该第一映射数据是基于上述面部图像取得单元所取得的、通过上述调整方法调整前的面部图像中的面部的立体形状，在上述高光用面部图像的面部区域的规定区域设定有透过区域的数据，该第二映射数据是基于上述面部的拍摄时向上述面部照明的方向，在上述高光用面部图像的上述面部区域的周围的背景区域设定有透过区域的数据，上述合成单元生成第三映射数据，该第三映射数据是使用根据上述面部的位置而配置了渐变的面部掩模图像，对上述第一映射数据和上述第二映射数据进行透过合成后得到的数据，上述合成单元使用上述第三映射数据，对上述高光用面部图像以及上述阴影用面部图像进行透过合成。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-195426 | 2017-10-05 | ||
| JP2017195426A JP2019070872A (ja) | 2017-10-05 | 2017-10-05 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109639959A CN109639959A (zh) | 2019-04-16 |
| CN109639959B true CN109639959B (zh) | 2021-04-23 |
Family
ID=65993252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811165909.7A Active CN109639959B (zh) | 2017-10-05 | 2018-10-08 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10891464B2 (zh) |
| JP (1) | JP2019070872A (zh) |
| CN (1) | CN109639959B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190272663A1 (en) * | 2018-03-05 | 2019-09-05 | Vida & Co. | Simulating display of a 2d design on an image of a 3d object |
| KR102641424B1 (ko) | 2019-08-09 | 2024-02-28 | 삼성전자주식회사 | 컴퓨팅 장치 및 그 동작 방법 |
| US11403788B2 (en) | 2019-11-22 | 2022-08-02 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| CN111091610B (zh) * | 2019-11-22 | 2023-04-11 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111583103B (zh) * | 2020-05-14 | 2023-05-16 | 抖音视界有限公司 | 人脸图像处理方法、装置、电子设备及计算机存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212971A (ja) * | 2006-02-13 | 2007-08-23 | Fujifilm Corp | アダプターリング及び防水ケース |
| CN101127127A (zh) * | 2007-09-29 | 2008-02-20 | 腾讯科技（深圳）有限公司 | 阴影绘制方法及渲染装置 |
| CN104392425A (zh) * | 2014-12-04 | 2015-03-04 | 厦门美图移动科技有限公司 | 一种基于人脸的自动调整对比度的图像增强方法 |
| CN104574495A (zh) * | 2014-12-22 | 2015-04-29 | 北京像素软件科技股份有限公司 | 一种图像渲染方法和装置 |
| CN104584531A (zh) * | 2012-08-30 | 2015-04-29 | 夏普株式会社 | 图像处理装置以及图像显示装置 |
| CN105827947A (zh) * | 2015-01-23 | 2016-08-03 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
| CN106664364A (zh) * | 2014-09-26 | 2017-05-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004021374A (ja) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | 画像処理方法、画像処理装置、プログラム、記憶媒体 |
| JP4461789B2 (ja) * | 2003-03-20 | 2010-05-12 | オムロン株式会社 | 画像処理装置 |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| JP2007193729A (ja) * | 2006-01-23 | 2007-08-02 | Seiko Epson Corp | 印刷装置、画像処理装置、印刷方法、および画像処理方法 |
| JP2009065350A (ja) * | 2007-09-05 | 2009-03-26 | Canon Inc | 画像処理装置、画像処理方法、及び記憶媒体 |
| CN101694691A (zh) * | 2009-07-07 | 2010-04-14 | 北京中星微电子有限公司 | 一种人脸图像合成方法及装置 |
| US9123144B2 (en) * | 2011-11-11 | 2015-09-01 | Microsoft Technology Licensing, Llc | Computing 3D shape parameters for face animation |
| US9378584B2 (en) * | 2012-05-23 | 2016-06-28 | Glasses.Com Inc. | Systems and methods for rendering virtual try-on products |
| JP6288816B2 (ja) * | 2013-09-20 | 2018-03-07 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10796480B2 (en) * | 2015-08-14 | 2020-10-06 | Metail Limited | Methods of generating personalized 3D head models or 3D body models |
| JP6197062B2 (ja) * | 2016-03-14 | 2017-09-13 | オリンパス株式会社 | 撮像装置及び撮像方法並びに表示装置及び表示方法 |
-
2017
- 2017-10-05 JP JP2017195426A patent/JP2019070872A/ja active Pending
-
2018
- 2018-10-05 US US16/153,221 patent/US10891464B2/en active Active
- 2018-10-08 CN CN201811165909.7A patent/CN109639959B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212971A (ja) * | 2006-02-13 | 2007-08-23 | Fujifilm Corp | アダプターリング及び防水ケース |
| CN101127127A (zh) * | 2007-09-29 | 2008-02-20 | 腾讯科技（深圳）有限公司 | 阴影绘制方法及渲染装置 |
| CN104584531A (zh) * | 2012-08-30 | 2015-04-29 | 夏普株式会社 | 图像处理装置以及图像显示装置 |
| CN106664364A (zh) * | 2014-09-26 | 2017-05-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
| CN104392425A (zh) * | 2014-12-04 | 2015-03-04 | 厦门美图移动科技有限公司 | 一种基于人脸的自动调整对比度的图像增强方法 |
| CN104574495A (zh) * | 2014-12-22 | 2015-04-29 | 北京像素软件科技股份有限公司 | 一种图像渲染方法和装置 |
| CN105827947A (zh) * | 2015-01-23 | 2016-08-03 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019070872A (ja) | 2019-05-09 |
| US10891464B2 (en) | 2021-01-12 |
| CN109639959A (zh) | 2019-04-16 |
| US20190108386A1 (en) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| JP5460173B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| CN109639960B (zh) | 图像处理装置、图像处理方法及记录介质 | |
| US20130242127A1 (en) | Image creating device and image creating method | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| CN108337450B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| JP5930245B1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10861140B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2019106045A (ja) | 画像処理装置、方法及びプログラム | |
| US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
| CN111526279B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| KR20190041586A (ko) | 복수의 이미지들을 합성하는 전자장치 및 방법 | |
| JP7129520B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6550827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6718256B2 (ja) | 画像処理装置、撮像装置およびそれらの制御方法ならびにプログラム | |
| JP7400196B2 (ja) | 電子機器、画像処理方法、及び画像処理プログラム | |
| CN111047520B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| JP2019179464A (ja) | 画像処理装置、その制御方法、プログラム | |
| JP7462464B2 (ja) | 画像処理装置および方法、プログラム、記憶媒体 | |
| JP2010199866A (ja) | 画像処理装置 | |
| JP2020154640A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2018060579A (ja) | 撮像装置 | |
| JP2017151562A (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
| JP2007122514A (ja) | 画像処理装置および画像処理プログラム | |
| JP2013161194A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |