JP7015009B2 - Image processing equipment, image processing methods and programs - Google Patents
Image processing equipment, image processing methods and programs Download PDFInfo
- Publication number
- JP7015009B2 JP7015009B2 JP2019228751A JP2019228751A JP7015009B2 JP 7015009 B2 JP7015009 B2 JP 7015009B2 JP 2019228751 A JP2019228751 A JP 2019228751A JP 2019228751 A JP2019228751 A JP 2019228751A JP 7015009 B2 JP7015009 B2 JP 7015009B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- lip
- whitening
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method and a program.
従来より、画像内に含まれる人物の顔を白くする美白処理が利用されている。例えば、特許文献1には、美白処理の効果を容易に設定可能とする技術が開示されている。 Conventionally, a whitening process for whitening the face of a person included in an image has been used. For example, Patent Document 1 discloses a technique that makes it possible to easily set the effect of whitening treatment.
しかしながら、上述した特許文献1に開示された技術では、人物の顔に美白処理を施すことで、唇の色も薄くなってしまうという問題がある。 However, the technique disclosed in Patent Document 1 described above has a problem that the color of the lips becomes lighter by applying the whitening treatment to the face of a person.
本発明は、このような状況に鑑みてなされたものであり、人物の顔全体に適切な美白処理を施すことを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to apply an appropriate whitening treatment to the entire face of a person.
上記目的を達成するため、本発明の一態様の画像処理装置は、
輪郭抽出により画像内に含まれる人物の顔から各器官を検出することにより前記顔における唇部分を特定する唇部分特定手段と、
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定手段と、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定手段により特定された色を有する領域の前記美白処理を軽減する軽減処理手段と、
を備えることを特徴とする。
また、本発明の一態様の画像処理方法は、
輪郭抽出により画像内に含まれる人物の顔から各器官を検出することにより前記顔における唇部分を特定する唇部分特定処理と、
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定処理と、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定処理において特定された色を有する領域の前記美白処理を軽減する軽減処理手段と、
を含むことを特徴とする。
また、本発明の一態様のプログラムは、
コンピュータを、
輪郭抽出により画像内に含まれる人物の顔から各器官を検出することにより前記顔における唇部分を特定する唇部分特定手段、
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定手段、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定手段により特定された色を有する領域の前記美白処理を軽減する軽減処理手段、
として機能させることを特徴とする。
In order to achieve the above object, the image processing apparatus according to one aspect of the present invention is
Lip part identification means for specifying the lip part in the face by detecting each organ from the face of the person included in the image by contour extraction, and
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification means and
When the whitening treatment is applied to the region including the lip portion in the image, the reduction treatment means for reducing the whitening treatment of the region having the color specified by the color specifying means, and the reduction treatment means.
It is characterized by having.
Further, the image processing method according to one aspect of the present invention is:
Lip part identification processing that identifies the lip part of the face by detecting each organ from the face of the person included in the image by contour extraction, and
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification processing and
When the whitening treatment is applied to the region including the lip portion in the image, the mitigation processing means for reducing the whitening treatment of the region having the color specified in the color specifying treatment and the reduction processing means.
It is characterized by including.
Further, the program of one aspect of the present invention is
Computer,
A lip portion specifying means for identifying a lip portion in the face by detecting each organ from the face of a person included in the image by contour extraction.
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification means,
A mitigation processing means for reducing the whitening treatment of a region having a color specified by the color specifying means when the whitening treatment is applied to the region including the lip portion in the image.
It is characterized by functioning as.
本発明によれば、人物の顔全体に適切な美白処理を施すことができる。 According to the present invention, an appropriate whitening treatment can be applied to the entire face of a person.
以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の画像処理装置の一実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。
撮像装置1は、例えば、デジタルカメラとして構成される。
FIG. 1 is a block diagram showing a hardware configuration of an image pickup apparatus 1 according to an embodiment of the image processing apparatus of the present invention.
The image pickup apparatus 1 is configured as, for example, a digital camera.
撮像装置1は、図1に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
As shown in FIG. 1, the image pickup apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
The
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
Data and the like necessary for the
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
The
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is composed of a lens that collects light, such as a focus lens and a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. A zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with peripheral circuits for adjusting setting parameters such as focus, exposure, and white balance, if necessary.
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を撮像画像のデータとしてCPU11や図示しない画像処理部等に適宜供給される。
The image sensor is composed of a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element performs photoelectric conversion (imaging) of the subject image, accumulates an image signal for a certain period of time, and sequentially supplies the accumulated image signal as an analog signal to AFE.
The AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing and is output as an output signal of the
The output signal of the
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The
The
The
The
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
A
このように構成される撮像装置1では、顔を撮影した画像に対して、肌に対して美白処理が施されていると共に、肌色と色相が近く美白処理によって色が薄くなる等の影響を受けた唇を適切に補正した画像(以下、「美白画像」という。)を生成することができる機能を有する。即ち、撮像装置1では、顔の肌に施された美白処理によって補正された唇の色を適切な色に補正して美白処理の効果を復元(軽減)することにより美白画像を生成する。 In the image pickup apparatus 1 configured in this way, the image of the photographed face is subjected to whitening treatment on the skin, and is affected by the fact that the skin color and hue are close to each other and the color is lightened by the whitening treatment. It has a function of being able to generate an image in which the lips are appropriately corrected (hereinafter referred to as "whitening image"). That is, the image pickup apparatus 1 generates a whitening image by correcting the color of the lips corrected by the whitening treatment applied to the skin of the face to an appropriate color and restoring (reducing) the effect of the whitening treatment.
即ち、美白処理は、肌色領域に対してだけ施されるように対象箇所以外がマスクされるが、唇の色は肌色と色相が近く、肌色領域に含まれてしまうため、美白処理が施されてしまい、唇の色が薄くなる等の影響を受けてしまう。また、美白処理は、主に、彩度低減、明度アップ、青色方向への色相回転の3つの要素を補正することによって行われる。
このため、本実施形態の撮像装置1では、薄くなった唇の色に対して、3つの要素のうち、彩度低減のみを復元し、他の効果は維持するようにして、唇の色を適切な色に補正する。
That is, the whitening treatment is masked except for the target portion so that it is applied only to the skin color region, but the color of the lips is close to the skin color and is included in the skin color region, so that the whitening treatment is performed. It will be affected by the lightening of the color of the lips. Further, the whitening process is mainly performed by correcting three elements of saturation reduction, brightness increase, and hue rotation in the blue direction.
Therefore, in the image pickup apparatus 1 of the present embodiment, for the lightened lip color, only the saturation reduction among the three elements is restored, and the other effects are maintained, so that the lip color is changed. Correct to the appropriate color.
美白画像は、本実施形態においては、まず、顔全体に対して美白処理を施し、その後、美白処理の影響を受けた唇に対して別途、適切な色に再現するための色補正を行って生成される。 In the present embodiment, the whitening image is first subjected to whitening treatment on the entire face, and then the lips affected by the whitening treatment are separately color-corrected to be reproduced in an appropriate color. Generated.
図2は、本実施形態における美白画像の生成を説明するための模式図である。
本実施形態の美白画像は、図2に示すように、画像全体に対して美白処理を施した画像(以下、「元画像」という。)から唇を含む領域を切り出す。そして、唇を含む領域に対して、美白処理によって薄くなってしまった唇の色を適切な色に再現するように色補正の処理を施して画像(以下、「色補正画像」という。)を作成する。色補正画像は、唇以外の画像全体に対して色補正がされているため、唇のみに色補正の効果がでるように、唇以外をマスクするマスク画像を用いて、元画像と色補正画像とをαブレンドによる画像合成をして、唇のみが色補正された画像(以下、「唇色補正画像」という。)を作成する。マスク画像は、αブレンドによる画像合成の際にα値となる。
その後、作成した唇色補正画像を元画像の切り出し位置に合成して、美白画像を生成する。
FIG. 2 is a schematic diagram for explaining the generation of a whitening image in the present embodiment.
In the whitening image of the present embodiment, as shown in FIG. 2, a region including lips is cut out from an image (hereinafter, referred to as “original image”) in which the entire image is whitened. Then, the area including the lips is subjected to color correction processing so as to reproduce the color of the lips that has been lightened by the whitening treatment to an appropriate color, and the image (hereinafter referred to as "color correction image") is obtained. create. Since the color correction image is color-corrected for the entire image other than the lips, the original image and the color-corrected image are used by using a mask image that masks the parts other than the lips so that the color correction effect appears only on the lips. And are image-combined by α-blend to create an image in which only the lips are color-corrected (hereinafter referred to as “lip color-corrected image”). The mask image becomes an α value at the time of image composition by α blending.
After that, the created lip color correction image is combined with the cutout position of the original image to generate a whitening image.
[マスク画像の作成]
図3は、マスク画像の作成例を示す模式図である。
本実施形態においては、美白処理により薄くなってしまった唇部分の色を再現する補正処理を施すために、唇に相当する領域に対応したマスク画像を生成する。
マスク画像は、図3に示すように、黒い部分ほど色補正画像の合成の割合が低く、白い部分ほど色補正画像の合成の割合が高いことを示している。本実施形態においては、唇の中心部分は色補正が強く施されており、唇の外縁に近い部分は、肌との影響を少なくするために色補正が強く施されるように構成される。
[Create mask image]
FIG. 3 is a schematic diagram showing an example of creating a mask image.
In the present embodiment, in order to perform a correction process for reproducing the color of the lip portion that has become lighter due to the whitening process, a mask image corresponding to the region corresponding to the lips is generated.
As shown in FIG. 3, in the mask image, the black portion indicates that the proportion of the color-corrected image composite is low, and the white portion indicates that the proportion of the color-corrected image composite is high. In the present embodiment, the central portion of the lips is strongly color-corrected, and the portion near the outer edge of the lips is strongly color-corrected in order to reduce the influence on the skin.
このようなマスク画像は、まず、顔の器官の検出によって唇の位置を特定し、特定した唇の位置を含む領域におけるHSV色空間のピークとなる色相値に基づいて作成される。本実施形態の顔の器官検出では、図2に示すように、唇位置の特定等のために、少なくとも、上唇の中央の上下の2点P1,P2、下唇の中央の上下の2点P3,P4、唇の左右の端の2点P5,P6の合計6点の位置を検出する。 Such a mask image is first created by identifying the position of the lips by detecting facial organs and based on the hue value that is the peak of the HSV color space in the region containing the identified lip position. In the detection of facial organs of the present embodiment, as shown in FIG. 2, at least two points P1 and P2 above and below the center of the upper lip and two points P3 above and below the center of the lower lip are used to specify the position of the lips. , P4, 2 points P5, P6 on the left and right edges of the lips, a total of 6 points are detected.
本実施形態においては、HSV色空間のピークとなる色相値に基づいて生成されたマスク画像に、鼻等の余計な部分を排除するために、予め唇の形状を模した固定マップを合成して、最終的なマスク画像を作成する。 In the present embodiment, in order to eliminate unnecessary parts such as the nose, a fixed map that imitates the shape of the lips is synthesized in advance with the mask image generated based on the hue value that is the peak of the HSV color space. , Create the final mask image.
具体的には、本実施形態のマスク画像は、元画像から唇を含む領域を切り出した画像(以下、「切り出し画像」という。)から、HUEマップを作成し、予め作成しておいた固定マップと合成して作成される。HUEマップと固定マップの合成では、HUEマップから空間的に不要な領域を除去するために、HUEマップと固定マップの最小値をとるようにする。 Specifically, the mask image of the present embodiment is a fixed map created in advance by creating a HUE map from an image obtained by cutting out an area including lips from the original image (hereinafter referred to as “cutout image”). It is created by synthesizing with. In the composition of the HUE map and the fixed map, the minimum value of the HUE map and the fixed map is taken in order to remove the spatially unnecessary area from the HUE map.
[HUEマップの作成]
HUEマップは、切り出し画像において唇の色に相当する箇所を特定したマップである。HUEマップは、まず、YUV色空間の切り出し画像をHSV(色相:Hue,彩度:Saturation・Chroma,明度:Value・Lightness・Brightness)色空間に変換する。その後、ノイズを除去するために、εフィルタでぼかした上で、HSV変換後の画像を解析(HSV解析処理)する。そして、HSV解析処理の処理結果から算出した値をHUEマップのマップ値として、HUEマップを作成する。
[Create HUE map]
The HUE map is a map that identifies a portion corresponding to the color of the lips in the cutout image. The HUE map first converts a cut-out image of the YUV color space into an HSV (hue: Hue, saturation: Saturation / Chroma, lightness: Value / Lightness / Brightness) color space. Then, in order to remove noise, the image after HSV conversion is analyzed (HSV analysis processing) after blurring with an ε filter. Then, the HUE map is created by using the value calculated from the processing result of the HSV analysis process as the map value of the HUE map.
HSV解析処理では、各画素におけるマップ値を決定するために、唇色レベルの重み付けを設定する。唇色レベルの重み付けは、HSVのチャネル別に作成したヒストグラムに基づいて設定される。 In the HSV analysis process, weighting of the lip color level is set in order to determine the map value in each pixel. The weighting of the lip color level is set based on the histogram created for each channel of HSV.
図4は、唇色レベルの重み付けの設定に係るヒストグラム及び唇色レベルの重み付けテーブルを示す図である。
唇色レベルの設定では、まず、図2に示す器官検出で検出した点P1~P6から計測領域として上下の唇の中央付近に計測領域R1,R2を設定し、各計測領域におけるHSVそれぞれのヒストグラムを作成する。なお、ヒストグラムの作成に係る唇における計測領域は、唇の色が取得可能な領域であれば、領域の数、種々の形状、位置、サイズであってもよい。
FIG. 4 is a diagram showing a histogram and a weighting table of the lip color level related to the setting of the weighting of the lip color level.
In setting the lip color level, first, measurement areas R1 and R2 are set near the center of the upper and lower lips as measurement areas from points P1 to P6 detected by organ detection shown in FIG. 2, and histograms of each HSV in each measurement area. To create. The measurement area of the lips related to the creation of the histogram may be the number of areas, various shapes, positions, and sizes as long as the color of the lips can be acquired.
そして、図4(a)に示すようなHSVそれぞれのヒストグラムの最頻値に対応して、図4(b)に示すように唇色レベルの重み付けテーブルが設定される。Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、S(V)のチャネルの場合には、ヒストグラムの最頻値を上方の左端(右端)の基準にして、ピーク値に所定の幅があり、かつ、1段目よりも2段目の方が勾配が緩やかとなる2段階の傾きとなるように、重み付けが設定される。 Then, a weighting table for the lip color level is set as shown in FIG. 4 (b) corresponding to the mode of each HSV histogram as shown in FIG. 4 (a). In the case of the H channel, the weighting is evenly distributed between plus and minus based on the mode value, and the weighting is set to be lower as the distance from the mode value increases. Further, in the case of the S (V) channel, the mode has a predetermined range in the peak value with the mode value of the histogram as the reference of the upper left end (right end), and the peak value is in the second stage rather than the first stage. Weighting is set so that the slope becomes a gentler two-step slope.
その後、各画素ごとにHSVの各チャネル別に重み付けに応じて算出した唇色レベルを掛け合わせた結果をマップ値としてHUEマップを作成する。
即ち、HUEマップのマップ値は、以下の式(1)により算出される。
HUEマップのマップ値(Map)=Lh×Ls×Lv・・・(1)
なお、「Lh」はHの唇色レベルを示し、「Ls」はSの唇色レベルを示し、「Lv」はVの唇色レベルを示す。
After that, a HUE map is created using the result of multiplying each pixel by the lip color level calculated according to the weighting for each channel of HSV as a map value.
That is, the map value of the HUE map is calculated by the following equation (1).
Map value (Map) of HUE map = Lh x Ls x Lv ... (1)
In addition, "Lh" indicates the lip color level of H, "Ls" indicates the lip color level of S, and "Lv" indicates the lip color level of V.
[固定マップの作成]
図5は、固定マップの作成を説明するための模式図である。
[Create fixed map]
FIG. 5 is a schematic diagram for explaining the creation of a fixed map.
固定マップは、一般的な顔において唇の形を模したマップで、色補正を行うにあたり予め作成されているマップである。
固定マップは、図5(a)に示すように、データから縮小サイズのマップを展開する。
そして、図5(b)示すように、画像における唇の輪郭情報(本実施形態においては、2点P5,P6の位置)から唇の傾きの角度を算出して、当該角度に対応して固定マップを回転させる。
最後に、固定マップは、画像に対応するサイズに、リサイズして、HUEマップにおいて唇以外の部分を除去するために、HUEマップと合成されて使用される。合成に際しては、HUEマップと固定マップの最小値をとるようにする。
The fixed map is a map that imitates the shape of the lips on a general face, and is a map created in advance for color correction.
The fixed map develops a reduced size map from the data, as shown in FIG. 5 (a).
Then, as shown in FIG. 5B, the angle of inclination of the lips is calculated from the contour information of the lips in the image (positions of the two points P5 and P6 in the present embodiment) and fixed corresponding to the angle. Rotate the map.
Finally, the fixed map is used in combination with the HUE map to resize to the size corresponding to the image and remove the non-lip portion of the HUE map. At the time of composition, the minimum values of the HUE map and the fixed map are taken.
[色補正画像の作成]
色補正画像は、本実施形態においては、器官検出によって検出された左右の瞳の下方の肌領域から計測したYUV色空間のV値に応じて決定された補正強度により、切り出し画像を補正処理して作成される。なお、左右の瞳の下方の肌領域は、目の下のクマを避けた位置であり、顔において肌の色を最も表わしている位置として決定されたものであり、顔における肌の色を抽出可能な位置であれば種々の位置であってもよい。
[Creating a color-corrected image]
In the present embodiment, the color-corrected image is cut out by correcting the cut-out image with the correction intensity determined according to the V value of the YUV color space measured from the skin area below the left and right pupils detected by the organ detection. Is created. The skin area below the left and right pupils is a position that avoids the bear under the eyes, and is determined as the position that most expresses the skin color on the face, and the skin color on the face can be extracted. As long as it is a position, it may be in various positions.
なお、リップ等で元々の唇の色が濃い場合には、補正が効き過ぎないように、唇の画素のV値の補正を行う。
図6は、V補正のLUT(Look Up Table)を示す図である。
V補正のLUTでは、図6に示すように、唇の色が濃い部分にV補正がかかるように構成される。
If the original color of the lips is dark due to lips or the like, the V value of the pixels of the lips is corrected so that the correction does not work too much.
FIG. 6 is a diagram showing a V-corrected LUT (Look Up Table).
In the V-correction LUT, as shown in FIG. 6, the V-correction is applied to the dark-colored portion of the lips.
[唇色補正画像の作成]
唇色補正画像は、色補正画像と、切り出し画像とを、マスク画像に基づいて、αブレンドして画像合成して作成される。作成された色補正画像を元画像の切り出し位置に貼り付けて、美白画像を生成する。即ち、唇の領域のみに色補正が施され、それ以外の肌の部分は美白処理が施された色補正画像が、同一の美白処理の施された元画像に貼り付けられて美白画像が生成される。
[Creating a lip color correction image]
The lip color correction image is created by alpha-blending a color correction image and a cutout image based on a mask image and synthesizing the images. The created color correction image is pasted at the cutout position of the original image to generate a whitening image. That is, the color correction is applied only to the lip area, and the color correction image to which the whitening treatment is applied to the other skin parts is pasted on the original image to which the same whitening treatment is applied to generate a whitening image. Will be done.
図7は、図1の撮像装置1の機能的構成のうち、美白処理を実行するための機能的構成を示す機能ブロック図である。
美白画像生成処理とは、撮影された人の顔を含む元画像に対して、美白処理を施すと共に、肌に色が近似しており美白処理の影響を受けて色が薄くなった唇を適正な色に補正して美白画像を生成する一連の処理をいう。
FIG. 7 is a functional block diagram showing a functional configuration for executing a whitening process among the functional configurations of the image pickup apparatus 1 of FIG. 1.
The whitening image generation process is to apply whitening treatment to the original image including the photographed person's face, and to properly apply the lips whose color is close to the skin and whose color has become lighter due to the influence of the whitening treatment. It is a series of processes to generate a whitening image by correcting it to a different color.
美白画像生成処理を実行する場合には、図7に示すように、CPU11において、画像取得部51と、顔検出部52と、画像処理部53と、マスク画像作成処理部54と、色補正画像作成処理部55と、が機能する。
When executing the whitening image generation process, as shown in FIG. 7, in the
また、記憶部19の一領域には、画像記憶部71と、固定マップ記憶部72と、が設定される。
Further, an
画像記憶部71には、撮像部16から出力された画像のデータが記憶される。
固定マップ記憶部72には、マスク画像の作成に用いる固定マップのデータが記憶される。なお、固定マップは、データ量削減のため、唇の模した円弧形状であるため、円弧を分割して4分の1にしたデータを記憶しておくようにしてもよい。この場合、処理時に円弧となるように固定マップを展開する。
The
The fixed
画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部71から処理対象となる画像のデータを取得する。
The
顔検出部52は、画像から顔を検出すると共に、検出した顔において顔を構成する各器官を検出する。顔検出部52は、少なくとも、輪郭形状から、左右の瞳と、唇の器官を検出する。なお、顔検出部52は、唇に関しては、少なくとも、上唇の中央の上下の2点P1,P2、下唇の中央の上下の2点P3,P4、唇の左右の端の2点P5,P6の合計6点の位置を検出する。顔検出及び各器官の検出は、既存の顔検出技術及び器官技術の公知の技術を用いる。また、顔検出及び各器官の検出は、輝度、輪郭抽出等、HSV色空間の色情報とは異なる情報に基づく検出方法であればその検出方法は問わない。
The
画像処理部53は、元画像に対して各種の画像処理を実行する。
具体的には、画像処理部53は、例えば、主に、彩度低減、明度アップ、青色方向への色相回転の3点の要素の補正を行う美白処理を実行する。また、画像処理部53は、図2に示すように、元画像から唇を含む領域を切り出す。また、画像処理部53は、切り出し画像と、作成した色補正画像とを、作成したマスク画像に基づいて、αブレンドして画像合成する。その結果、唇色補正画像が作成される。また、画像処理部53は、元の切り出し位置に画像を貼り付ける。その結果、美白画像が生成される。
The
Specifically, the
マスク画像作成処理部54は、唇の領域のみに色補正が施された画像となるように、αブレンドに用いるマスク画像を生成する。
The mask image
具体的には、マスク画像作成処理部54は、図3に示すように、切り出し画像のYUV色空間をHSV色空間に変換する。また、マスク画像作成処理部54は、ノイズ除去を目的としてεフィルタで画像をぼかす処理を行う。
Specifically, the mask image
また、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、上下の唇の中央付近に設定した計測領域R1,R2(図2参照)のHSVの各チャネルでヒストグラムを作成する(図4(a)参照)。そして、作成したヒストグラムから算出する唇色レベルの重み付けを作成する(図4(b)参照)。その後、作成した唇色レベルの重み付けに基づいて、上述した式(1)を用いて、各画素におけるHUEマップのマップ値を算出する。算出した各画素のマップ値からHUEマップを作成する。
Further, the mask image
また、マスク画像作成処理部54は、図5(a)及び図5(b)に示すように、固定マップ記憶部72に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。
Further, as shown in FIGS. 5A and 5B, the mask image
また、マスク画像作成処理部54は、図3に示すように、角度調整及びサイズ調整をした固定マップと作成したHUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的な不要な領域を除去するために、HUEマップと固定マップの最小値をとるように合成する。合成の結果、マスク画像が作成される。
Further, as shown in FIG. 3, the mask image
色補正画像作成処理部55は、切り出し画像に対して、色補正処理を実行する。
具体的には、色補正画像作成処理部55は、検出された左右の瞳の下方の肌領域のV値を計測する。そして、色補正画像作成処理部55は、切り出し画像に対して、計測したV値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。
The color correction image
Specifically, the color correction image
図8は、図7の機能的構成を有する図1の撮像装置1が実行する美白画像生成処理の流れを説明するフローチャートである。
美白画像生成処理は、ユーザによる入力部17への美白画像生成処理開始の操作により開始される。
美白画像生成処理開始の操作は、撮影指示操作であって、この撮影指示操作に応じて撮像部16により撮像された画像に、現像処理が行われた撮像画像のデータに対して、引き続き美白画像生成処理を行ってもよく、また、画像記憶部71に記憶されている撮像画像のデータを選択し、その選択された撮像画像のデータに対する美白画像生成処理開始の操作であってもよい。
FIG. 8 is a flowchart illustrating a flow of a whitening image generation process executed by the image pickup apparatus 1 of FIG. 1 having the functional configuration of FIG. 7.
The whitening image generation process is started by the operation of the user to start the whitening image generation process to the
The operation for starting the whitening image generation process is a shooting instruction operation, and the image captured by the
ステップS11において、画像取得部51は、撮像部16により撮像された画像に現像処理が行われた撮像画像のデータ、或いは画像記憶部71から処理対象となる元画像を取得する。
In step S11, the
ステップS12において、顔検出部52は、元画像において顔検出を行い、顔が検出されたか否かを判定する。
顔が検出されなかった場合には、ステップS12においてNOと判定されて、美白画像生成処理は終了する。
顔が検出された場合には、ステップS12においてYESと判定されて、処理はステップS13に進む。
In step S12, the
If no face is detected, NO is determined in step S12, and the whitening image generation process ends.
If a face is detected, YES is determined in step S12, and the process proceeds to step S13.
ステップS13において、画像処理部53は、元画像に対して美白処理を実行する。美白処理によって、元画像は、彩度低減、明度アップ、青色方向への色相回転されたものとなる。
In step S13, the
ステップS14において、顔検出部52は、検出された顔の器官の検出を行う。その結果、少なくとも、元画像において左右の瞳と、唇の器官の位置が検出される。
In step S14, the
ステップS15において、画像処理部53は、検出した唇を含む領域を切り出す。
In step S15, the
ステップS16において、マスク画像作成処理部54は、マスク画像作成処理を実行する。マスク画像作成処理の実行の結果、αブレンド用のマスク画像が作成される。マスク画像作成処理の詳細については、後述する。
In step S16, the mask image
ステップS17において、色補正画像作成処理部55は、色補正画像作成処理を実行する。色補正画像作成処理の実行の結果、切り出し画像に対して、薄くなった唇を適切な色にする色補正が行われた色補正画像が作成される。色補正画像作成処理の詳細については、後述する。
In step S17, the color correction image
ステップS18において、画像処理部53は、切り出し画像と、作成した色補正画像とを、作成したマスク画像に基づいて、αブレンドして画像合成する。その結果、唇部分のみに色補正が施された唇色補正画像が作成される。
In step S18, the
ステップS19において、画像処理部53は、唇色補正画像を元の切り出し位置に貼り付ける。その結果、肌に美白処理が施されていると共に、唇部分は適切な色に補正された美白画像が生成される。
その後、美白画像生成処理が終了する。
In step S19, the
After that, the whitening image generation process is completed.
図9は、美白画像生成処理のうち、マスク画像作成処理の流れを説明するフローチャートである。 FIG. 9 is a flowchart illustrating the flow of the mask image creation process in the whitening image generation process.
ステップS31において、マスク画像作成処理部54は、切り出し画像のYUV色空間をHSV色空間に変換する。
In step S31, the mask image
ステップS32において、マスク画像作成処理部54は、εフィルタでぼかす処理を行う。
In step S32, the mask image
ステップS33において、マスク画像作成処理部54は、HSV解析処理を実行する。HSV解析処理では、図2に示すように上下の唇の中央付近に設定した計測領域R1,R2のHSVの各チャネルでヒストグラムを作成する(図4(a)参照)。そして、作成したヒストグラムから算出する唇色レベルの重み付けを設定する(図4(b)参照)。唇色レベルの重み付けは、Hのチャネルの場合には、最頻値を基準にしてプラスとマイナスに均等に重み付けが振り分けられ、最頻値から離れるほど重み付けが低くなるように設定される。また、S(V)のチャネルの場合には、ヒストグラムの最頻値を上方の左端(右端)の基準にして、ピーク値に所定の幅があり、かつ、1段目よりも2段目の方が勾配が緩やかとなる2段階の傾きとなるように、重み付けが設定される。
In step S33, the mask image
ステップS34において、マスク画像作成処理部54は、HUEマップを作成する。HUEマップにおけるマップ値は、作成した唇色レベルの重み付けに基づいて、上述した式(1)を用いて算出する。
In step S34, the mask image
ステップS35において、マスク画像作成処理部54は、固定マップ記憶部72に記憶される固定マップを切り出し画像の唇に対応するように角度調整及びサイズ調整を行う。
In step S35, the mask image
ステップS36において、マスク画像作成処理部54は、角度調整及びサイズ調整をした固定マップと作成したHUEマップとを合成する。この際、マスク画像作成処理部54は、鼻等のHUEマップから空間的に不要な領域を除去するために、HUEマップと固定マップの最小値をとるように合成する。合成の結果、マスク画像が作成される。
In step S36, the mask image
図10は、美白画像生成処理のうち、色補正画像作成処理の流れを説明するフローチャートである。 FIG. 10 is a flowchart illustrating the flow of the color correction image creation process in the whitening image generation process.
ステップS51において、色補正画像作成処理部55は、検出された左右の瞳の下方の肌領域のV値を計測する。
In step S51, the color correction image
ステップS52において、色補正画像作成処理部55は、切り出し画像に対して、計測したV値に応じて、色補正を行う。その結果、切り出し画像に対して色補正がされた色補正画像が作成される。
In step S52, the color correction image
種々の撮像装置では、ユーザが肌色を選択できる機能があり、例えば、顔の血色を良くする「ナチュラル」や顔の色を白くする「美白」が選択可能に構成される。ナチュラルでは、発色が良い色の再現になるので、唇の色も発色をよくすることができる。一方で美白では、肌色の彩度を薄くするので、唇色もそれに引きずられて、色が薄く血色の悪いものになってしまう。
そこで、本実施形態の撮像装置1においては、人物を撮影した画像の輪郭を検出した結果を用いて、検出した顔領域から唇領域を抽出し、唇色を鮮やかにしたり、リップを塗ったように補正したりすることができる。唇色領域の抽出はHSV色空間で表現される画像(HSV画像)を解析し、HSV画像からαブレンド用のマスク画像を作成する。補正する際は、YUV色空間で表現される画像を解析し、YUV(特にV)それぞれで補正することができる。
Various image pickup devices have a function that allows the user to select a skin color, and for example, "natural" that improves the complexion of the face and "whitening" that whitens the face color are configured to be selectable. With natural, the color is reproduced with good color, so the color of the lips can also be improved. On the other hand, in whitening, the saturation of the skin color is reduced, so that the lip color is also dragged by it, and the color becomes light and pale.
Therefore, in the image pickup apparatus 1 of the present embodiment, the lip region is extracted from the detected face region using the result of detecting the contour of the image of the person, and the lip color is brightened or the lip is painted. Can be corrected to. The extraction of the lip color region analyzes the image expressed in the HSV color space (HSV image), and creates a mask image for α blend from the HSV image. When making corrections, the image represented in the YUV color space can be analyzed and corrected for each YUV (particularly V).
以上のように構成される撮像装置1は、画像処理部53と、マスク画像作成処理部54と、色補正画像作成処理部55と、を備える。
画像処理部53は、画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す。
マスク画像作成処理部54は、美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する。
色補正画像作成処理部55は、特定された美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す。
これにより、撮像装置1においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができ、人物の顔全体に適切な美白処理を施すことができる。
The image pickup apparatus 1 configured as described above includes an
The
The mask image
The color correction image
Thereby, in the image pickup apparatus 1, the color of the lips can be appropriately specified, and it can be used for the whitening treatment applied to the entire face area of the person, and the appropriate whitening treatment is applied to the entire face of the person. be able to.
美白処理は、複数種類の処理からなる。
マスク画像作成処理部54は、複数種類の処理からなる美白処理が施される人物の顔領域内で、複数種類の処理のうちの一部の処理の効果を軽減し、他の処理の効果を維持すべき部分を特定する。
これにより、撮像装置1においては、例えば、彩度低減、明度アップ、青色方向への色相回転の3つの要素で美白処理が行われていた場合に、彩度低減のみを復元することで、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
The whitening process consists of a plurality of types of processes.
The mask image
As a result, in the image pickup apparatus 1, for example, when the whitening process is performed by the three elements of saturation reduction, brightness increase, and hue rotation in the blue direction, only the saturation reduction is restored to restore the lips. The color of the lips can be appropriately specified, and it can be used for whitening treatment applied to the entire face area of a person.
また、画像処理部53は、HSV色空間の色情報に基づき、画像内の肌色部分を特定する。
また、画像処理部53は、特定された肌色部分に対して美白処理を施す。
マスク画像作成処理部54は、特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定する。
これにより、撮像装置1においては、特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定するため、人物の顔全体に適切な美白処理を施すことができる。
Further, the
Further, the
The mask image
As a result, in the image pickup apparatus 1, the portion included in the specified skin color portion and the portion other than the skin whose hue value is close to the skin color is specified as the portion for which the whitening process should be reduced. , Appropriate whitening treatment can be applied to the entire face of a person.
また、撮像装置1は、HSV色空間の色情報とは異なる基準に基づき、顔の部位を特定する顔検出部52を、更に備る。
顔検出部52は、特定された顔の部位であって、HSV色空間の色情報が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定する。
これにより、撮像装置1においては、HSV色空間の色情報が肌の色と近似する肌以外の部分を、美白処理を軽減すべき部分であると特定するために、人物の顔全体に適切な美白処理を施すことができる。
Further, the image pickup apparatus 1 further includes a
The
Thereby, in the image pickup apparatus 1, in order to identify the part other than the skin whose color information in the HSV color space is close to the skin color as the part where the whitening process should be reduced, it is appropriate for the entire face of the person. Whitening treatment can be applied.
また、色補正画像作成処理部55は、特定された美白処理を軽減すべき部分の色の濃度をYUV色空間の色情報に基づき特定する。
色補正画像作成処理部55は、特定された濃度に応じて美白処理を軽減する処理を施す。
これにより、撮像装置1においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
Further, the color correction image
The color correction image
Thereby, in the image pickup apparatus 1, the color of the lips can be appropriately specified, and it can be used for the whitening process applied to the entire face region of the person.
顔検出部52は、更に、予め用意されている顔の部位の形の基準となる情報を使用して、美白処理を軽減すべき部分を特定する。
これにより、撮像装置1においては、唇の位置を適切に特定することができ、人物の顔全体に適切な美白処理を施すことができる。
The
As a result, in the image pickup apparatus 1, the position of the lips can be appropriately specified, and an appropriate whitening process can be applied to the entire face of the person.
マスク画像作成処理部54は、人物の顔の唇部分を、美白処理を軽減すべき部分として特定する。
人物の顔の唇部分を、美白処理を軽減すべき部分とすることで、人物の顔全体に適切な美白処理を施すことができる。
The mask image
By setting the lip portion of the person's face as a portion where the whitening treatment should be reduced, an appropriate whitening treatment can be applied to the entire face of the person.
顔検出部52は、HSV色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する。
マスク画像作成処理部54は、特定された唇部分におけるHSV色空間の色情報に基づき、唇の色を特定する。
これにより、撮像装置1においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
The
The mask image
Thereby, in the image pickup apparatus 1, the color of the lips can be appropriately specified, and it can be used for the whitening process applied to the entire face region of the person.
マスク画像作成処理部54は、HSV色空間において、特定された唇部分の色情報が所定の範囲で肌の色の色情報と近似する色を、唇の色として特定する。
これにより、撮像装置1においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
In the HSV color space, the mask image
Thereby, in the image pickup apparatus 1, the color of the lips can be appropriately specified, and it can be used for the whitening process applied to the entire face region of the person.
マスク画像作成処理部54は、HSV色空間において、特定された唇部分の色情報の分布に基づき、唇の色を特定する。
これにより、撮像装置1においては、唇の色を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
The mask image
Thereby, in the image pickup apparatus 1, the color of the lips can be appropriately specified, and it can be used for the whitening process applied to the entire face region of the person.
顔検出部52は、HSV色空間の色情報とは異なる基準に基づき、唇部分を特定する。
これにより、撮像装置1においては、唇の位置を適切に特定することができ、人物の顔領域全体に対して施す美白処理に使用することができる。
The
Thereby, in the image pickup apparatus 1, the position of the lips can be appropriately specified, and it can be used for the whitening process applied to the entire face region of the person.
また、画像処理部53は、特定された唇色に応じて、顔検出部52により特定された人物の顔の唇部分にYUV色空間の色情報による所定の画像処理を行う。
これにより、撮像装置1においては、唇色に応じた画像処理を行うことができる。
Further, the
As a result, the image pickup apparatus 1 can perform image processing according to the lip color.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like to the extent that the object of the present invention can be achieved are included in the present invention.
上述の実施形態では、美白処理によって影響を受けた唇の色を適正な色に補正するように構成したがこれに限られない。特定した唇の領域に対して、唇の色を変化させるように補正してもよい。具体的には、異なるリップや口紅の色にしたり、リップ、口紅、グロス等を塗っていない唇に対して、リップ、口紅、グロス等を塗ってメイクアップしたり、血色の程度を調整したりしてもよい。この際、彩度を積極的に変化させてもよく、更に、明度や色相を変化させてもよい。 In the above-described embodiment, the color of the lips affected by the whitening treatment is corrected to an appropriate color, but the present invention is not limited to this. It may be corrected to change the color of the lips for the specified lip area. Specifically, you can make different lips and lipstick colors, apply lip, lipstick, gloss, etc. to make-up lips that have not been applied with lips, lipstick, gloss, etc., and adjust the degree of complexion. You may. At this time, the saturation may be positively changed, and further, the lightness and the hue may be changed.
また、上述の実施形態では、唇の領域を最初に特定して、顔全体に施す美白処理の際に、肌のマスクの領域として特定した唇の領域を指定するように構成してもよい。 Further, in the above-described embodiment, the lip region may be specified first, and the lip region specified as the skin mask region may be designated during the whitening treatment applied to the entire face.
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、美白処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
Further, in the above-described embodiment, the image pickup apparatus 1 to which the present invention is applied has been described by taking a digital camera as an example, but the present invention is not particularly limited thereto.
For example, the present invention can be generally applied to electronic devices having a whitening processing function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図7の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図7の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
The series of processes described above can be executed by hardware or software.
In other words, the functional configuration of FIG. 7 is merely an example and is not particularly limited. That is, it suffices if the image pickup apparatus 1 is provided with a function capable of executing the above-mentioned series of processes as a whole, and what kind of functional block is used to realize this function is not particularly limited to the example of FIG.
Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
The functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is composed of various processing devices such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, the present invention includes a combination of these various processing devices and a processing circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processes are executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
The recording medium including such a program is not only composed of the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In this specification, the steps for describing a program to be recorded on a recording medium are not only processed in chronological order but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and further, various modifications such as omission and substitution can be made without departing from the gist of the present invention. These embodiments and variations thereof are included in the scope and gist of the invention described in the present specification and the like, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段と、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段と、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記美白処理は複数種類の処理からなり、
前記軽減部分特定手段は、複数種類の処理からなる美白処理が施される人物の顔領域内で、複数種類の処理のうちの一部の処理の効果を軽減し、他の処理の効果を維持すべき部分を特定する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
HSV色空間の色情報に基づき、画像内の肌色部分を特定する肌色部分特定手段を、更に備え、
前記美白処理手段は、前記特定された肌色部分に対して美白処理を施し、
前記軽減部分特定手段は、前記特定された肌色部分に含まれる部分であって、色相値が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
ことを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
HSV色空間の色情報とは異なる基準に基づき、顔の部位を特定する部位特定手段を、更に備え、
前記部位特定手段は、前記特定された顔の部位であって、前記HSV色空間の色情報が肌の色と近似する肌以外の部分を、前記美白処理を軽減すべき部分であると特定する、
ことを特徴とする付記3に記載の画像処理装置。
[付記5]
前記特定された美白処理を軽減すべき部分の色の濃度をYUV色空間の色情報に基づき特定する濃度特定手段を、更に備え、
前記軽減処理手段は、前記特定された濃度に応じて前記美白処理を軽減する処理を施す、
ことを特徴とする付記3又は4に記載の画像処理装置。
[付記6]
前記部位特定手段は、更に、予め用意されている顔の部位の形の基準となる情報を使用して、前記美白処理を軽減すべき部分を特定する、
ことを特徴とする付記3乃至5の何れか1つに記載の画像処理装置。
[付記7]
前記軽減部分特定手段は、人物の顔の唇部分を、前記美白処理を軽減すべき部分として特定する、
ことを特徴とする付記1乃至6の何れか1つに記載の画像処理装置。
[付記8]
HSV色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段と、
前記特定された前記唇部分における前記HSV色空間の色情報に基づき、唇の色を特定する唇色特定手段と、
を備えることを特徴とする画像処理装置。
[付記9]
前記唇色特定手段は、前記HSV色空間において、前記特定された唇部分の色情報が所定の範囲で肌の色の色情報と近似する色を、唇の色として特定する、
ことを特徴とする付記8に記載の画像処理装置。
[付記10]
前記唇色特定手段は、前記HSV色空間において、前記特定された唇部分の色情報の分布に基づき、唇の色を特定する、
ことを特徴とする付記8又は9に記載の画像処理装置。
[付記11]
前記唇部分特定手段は、HSV色空間の色情報とは異なる基準に基づき、前記唇部分を特定する、
ことを特徴とする付記8乃至10の何れか1つに記載の画像処理装置。
[付記12]
前記特定された唇色に応じて、前記唇部分特定手段により特定された人物の顔の唇部分にYUV色空間の色情報による所定の画像処理を行う画像処理手段を、更に備える、
ことを特徴とする付記8乃至11の何れか1つに記載の画像処理装置。
[付記13]
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理と、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定処理と、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理と、
を含むことを特徴とする画像処理方法。
[付記14]
HSV色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定処理と、
前記特定された前記唇部分におけるHSV色空間の色情報に基づき、唇の色を特定する唇色特定処理と、
を含むことを特徴とする画像処理方法。
[付記15]
コンピュータに、
画像内に含まれる人物の顔領域に対して、肌の色を白くする美白処理を施す美白処理手段、
前記美白処理が施される人物の顔領域内で、当該美白処理を軽減すべき部分を特定する軽減部分特定手段、
前記特定された前記美白処理を軽減すべき部分に対して、当該美白処理を軽減する処理を施す軽減処理手段と、
を実現させることを特徴とするプログラム。
[付記16]
コンピュータに、
HSV色空間の色情報とは異なる基準に基づき、画像内に含まれる人物の顔の唇部分を特定する唇部分特定手段、
前記特定された前記唇部分におけるHSV色空間の色情報に基づき、唇の色を特定する唇色特定手段、
を実現させることを特徴とするプログラム。
The inventions described in the claims at the time of filing the application of the present application are described below.
[Appendix 1]
A whitening treatment method for whitening the skin color of a person's face area included in the image, and a whitening treatment means.
In the face area of the person to which the whitening treatment is applied, a reduction portion specifying means for specifying a portion to be reduced in the whitening treatment, and a reduction portion specifying means.
A reduction treatment means for performing a treatment for reducing the whitening treatment on the specified portion for which the whitening treatment should be reduced, and a reduction treatment means.
An image processing device characterized by comprising.
[Appendix 2]
The whitening process consists of a plurality of types of processes.
The mitigation portion specifying means reduces the effect of some of the plurality of types of processing in the face area of the person to which the whitening treatment consisting of the plurality of types of processing is performed, and maintains the effect of the other processing. Identify the part to be done,
The image processing apparatus according to Appendix 1, wherein the image processing apparatus is characterized by the above.
[Appendix 3]
Further provided with a skin color part specifying means for specifying the skin color part in the image based on the color information in the HSV color space.
The whitening treatment means applies whitening treatment to the specified skin color portion, and then performs whitening treatment.
The mitigation portion specifying means identifies a portion included in the specified skin color portion and a portion other than the skin whose hue value is close to the skin color as a portion for which the whitening treatment should be mitigated.
The image processing apparatus according to Appendix 1 or 2, characterized in that.
[Appendix 4]
Further provided with a part identification means for specifying a part of the face based on a standard different from the color information of the HSV color space.
The site specifying means identifies a portion of the identified face other than the skin whose color information in the HSV color space is close to the skin color, as a portion for which the whitening treatment should be reduced. ,
The image processing apparatus according to Appendix 3, wherein the image processing apparatus is characterized in that.
[Appendix 5]
Further provided with a density specifying means for specifying the color density of the portion to be reduced in the specified whitening treatment based on the color information in the YUV color space.
The mitigation treatment means performs a treatment for reducing the whitening treatment according to the specified concentration.
The image processing apparatus according to Appendix 3 or 4, characterized in that.
[Appendix 6]
The site specifying means further identifies a portion for which the whitening treatment should be reduced by using information that is prepared in advance as a reference for the shape of the facial region.
The image processing apparatus according to any one of Supplementary note 3 to 5, wherein the image processing apparatus is characterized by the above.
[Appendix 7]
The mitigation portion specifying means identifies the lip portion of a person's face as a portion for which the whitening treatment should be mitigated.
The image processing apparatus according to any one of Supplementary note 1 to 6, wherein the image processing apparatus is characterized by the above.
[Appendix 8]
Lip part identification means for specifying the lip part of a person's face included in the image based on a standard different from the color information in the HSV color space, and
A lip color specifying means for specifying the color of the lips based on the color information of the HSV color space in the specified lip portion,
An image processing device characterized by comprising.
[Appendix 9]
The lip color specifying means specifies a color in the HSV color space whose color information of the specified lip portion is close to the color information of the skin color within a predetermined range as the color of the lips.
The image processing apparatus according to Appendix 8, wherein the image processing apparatus is characterized in that.
[Appendix 10]
The lip color specifying means identifies the color of the lips in the HSV color space based on the distribution of the color information of the specified lip portion.
The image processing apparatus according to Appendix 8 or 9, wherein the image processing apparatus is characterized by the above.
[Appendix 11]
The lip portion specifying means identifies the lip portion based on a standard different from the color information in the HSV color space.
The image processing apparatus according to any one of Supplementary Provisions 8 to 10, wherein the image processing apparatus is characterized by the above.
[Appendix 12]
Further provided with an image processing means for performing predetermined image processing based on the color information of the YUV color space on the lip portion of the face of the person specified by the lip portion specifying means according to the specified lip color.
The image processing apparatus according to any one of Supplementary note 8 to 11, wherein the image processing apparatus is characterized by the above.
[Appendix 13]
Whitening treatment that whitens the skin color of the face area of the person included in the image,
Within the face area of the person to whom the whitening treatment is applied, the mitigation portion specifying process for specifying the portion to be mitigated by the whitening treatment, and the mitigation portion specifying process.
A reduction process for performing a process for reducing the whitening process on the specified portion to be reduced for the whitening process, and a reduction process for reducing the whitening process.
An image processing method comprising.
[Appendix 14]
Lip part identification processing that identifies the lip part of the face of a person included in the image based on a standard different from the color information in the HSV color space, and
A lip color specifying process for specifying the color of the lips based on the color information of the HSV color space in the specified lip portion,
An image processing method comprising.
[Appendix 15]
On the computer
A whitening treatment method that applies whitening treatment to whiten the skin color of the face area of a person included in the image.
A mitigation part specifying means for specifying a part to be reduced in the face area of a person to be whitened.
A reduction treatment means for performing a treatment for reducing the whitening treatment on the specified portion for which the whitening treatment should be reduced, and a reduction treatment means.
A program characterized by realizing.
[Appendix 16]
On the computer
Lip part identification means for specifying the lip part of a person's face included in an image based on a standard different from the color information in the HSV color space.
A lip color specifying means for specifying the color of the lips based on the color information of the HSV color space in the specified lip portion.
A program characterized by realizing.
1・・・撮像装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・出力部,19・・・記憶部,20・・・通信部,21・・・ドライブ,31・・・リムーバブルメディア,51・・・画像取得部,52・・・顔検出部,53・・・画像処理部,54・・・マスク画像作成処理部,55・・・色補正画像作成処理部,71・・・画像記憶部,72・・・固定マップ記憶部 1 ... image pickup device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... bus, 15 ... input / output interface, 16 ... image pickup unit, 17 ... Input unit, 18 ... Output unit, 19 ... Storage unit, 20 ... Communication unit, 21 ... Drive, 31 ... Removable media, 51 ... Image acquisition unit, 52 ... Face Detection unit, 53 ... Image processing unit, 54 ... Mask image creation processing unit, 55 ... Color correction image creation processing unit, 71 ... Image storage unit, 72 ... Fixed map storage unit
Claims (5)
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定手段と、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定手段により特定された色を有する領域の前記美白処理を軽減する軽減処理手段と、
を備えることを特徴とする画像処理装置。 Lip part identification means for specifying the lip part in the face by detecting each organ from the face of the person included in the image by contour extraction, and
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification means and
When the whitening treatment is applied to the region including the lip portion in the image, the reduction treatment means for reducing the whitening treatment of the region having the color specified by the color specifying means, and the reduction treatment means.
An image processing device characterized by comprising.
ことを特徴とする請求項1に記載の画像処理装置。 The color specifying means identifies the color of the lips in the HSV color space based on the distribution of the color information of the specified lip portion.
The image processing apparatus according to claim 1.
ことを特徴とする請求項1又は2に記載の画像処理装置。 Further provided with an image processing means for performing predetermined image processing based on the color information of the YUV color space on the lip portion of the face of the person specified by the lip portion specifying means according to the specified lip color.
The image processing apparatus according to claim 1 or 2.
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定処理と、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定処理において特定された色を有する領域の前記美白処理を軽減する軽減処理手段と、
を含むことを特徴とする画像処理方法。 Lip part identification processing that identifies the lip part of the face by detecting each organ from the face of the person included in the image by contour extraction, and
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification processing and
When the whitening treatment is applied to the region including the lip portion in the image, the mitigation processing means for reducing the whitening treatment of the region having the color specified in the color specifying treatment and the reduction processing means.
An image processing method comprising.
輪郭抽出により画像内に含まれる人物の顔から各器官を検出することにより前記顔における唇部分を特定する唇部分特定手段、
前記特定された前記唇部分におけるHSV色空間において所定の範囲で肌の色の色情報と近似する色を、前記肌の色を有する領域に施される美白処理を軽減すべき唇の色として特定する色特定手段、
前記画像における前記唇部分を含む領域に対して前記美白処理が施された場合に、前記色特定手段により特定された色を有する領域の前記美白処理を軽減する軽減処理手段、
として機能させることを特徴とするプログラム。 Computer,
A lip portion specifying means for identifying a lip portion in the face by detecting each organ from the face of a person included in the image by contour extraction.
A color that is close to the color information of the skin color in a predetermined range in the HSV color space in the specified lip portion is specified as a lip color that should reduce the whitening treatment applied to the region having the skin color. Color identification means,
A mitigation processing means for reducing the whitening treatment of a region having a color specified by the color specifying means when the whitening treatment is applied to the region including the lip portion in the image.
A program characterized by functioning as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019228751A JP7015009B2 (en) | 2019-12-19 | 2019-12-19 | Image processing equipment, image processing methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019228751A JP7015009B2 (en) | 2019-12-19 | 2019-12-19 | Image processing equipment, image processing methods and programs |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007758A Division JP6720882B2 (en) | 2017-01-19 | 2017-01-19 | Image processing apparatus, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020074100A JP2020074100A (en) | 2020-05-14 |
JP7015009B2 true JP7015009B2 (en) | 2022-02-02 |
Family
ID=70610179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019228751A Active JP7015009B2 (en) | 2019-12-19 | 2019-12-19 | Image processing equipment, image processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7015009B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009231877A (en) | 2008-03-19 | 2009-10-08 | Seiko Epson Corp | Image processing unit, image processing method, image processing program, and printer |
CN101916566A (en) | 2010-07-09 | 2010-12-15 | 西安交通大学 | Electronic larynx speech reconstructing method and system thereof |
JP2012190287A (en) | 2011-03-10 | 2012-10-04 | Omron Corp | Image processing device, image processing method, and control program |
WO2014167831A1 (en) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state |
JP2016170628A (en) | 2015-03-12 | 2016-09-23 | オムロン株式会社 | Image processor and image processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3723349B2 (en) * | 1998-06-18 | 2005-12-07 | 株式会社資生堂 | Lipstick conversion system |
KR100532129B1 (en) * | 2003-08-20 | 2005-12-01 | 한국과학기술원 | lip region segmentation and feature extraction method for Speech Recognition |
-
2019
- 2019-12-19 JP JP2019228751A patent/JP7015009B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009231877A (en) | 2008-03-19 | 2009-10-08 | Seiko Epson Corp | Image processing unit, image processing method, image processing program, and printer |
CN101916566A (en) | 2010-07-09 | 2010-12-15 | 西安交通大学 | Electronic larynx speech reconstructing method and system thereof |
JP2012190287A (en) | 2011-03-10 | 2012-10-04 | Omron Corp | Image processing device, image processing method, and control program |
WO2014167831A1 (en) | 2013-04-08 | 2014-10-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state |
JP2016170628A (en) | 2015-03-12 | 2016-09-23 | オムロン株式会社 | Image processor and image processing method |
Non-Patent Citations (1)
Title |
---|
青木博松, 外2名,"色分布を用いた唇領域抽出に基づく美顔補正技術",第17回 画像センシングシンポジウム 講演論文集,日本,画像センシング技術研究会,2011年06月08日,p.(IS1-16-1)-(IS1-16-6) |
Also Published As
Publication number | Publication date |
---|---|
JP2020074100A (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7087331B2 (en) | Image processing equipment, image processing methods and programs | |
JP6720882B2 (en) | Image processing apparatus, image processing method and program | |
US8472713B2 (en) | Image processor, image processing method, and computer-readable medium | |
CN105122302B (en) | Generation without ghost image high dynamic range images | |
US7013025B2 (en) | Image correction apparatus | |
JP5281878B2 (en) | IMAGING DEVICE, LIGHTING PROCESSING DEVICE, LIGHTING PROCESSING METHOD, AND LIGHTING PROCESSING PROGRAM | |
KR20110033980A (en) | Automatic face and skin beautification using face detection | |
JP2018025970A (en) | Image processing device, image processing method and program | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
US10861140B2 (en) | Image processing apparatus, image processing method, and recording medium | |
Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
JP2018206144A (en) | Image processing apparatus, image processing method and program | |
JP2000242775A (en) | Method and device for processing image, and recording medium | |
JP7114335B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM | |
JP6677222B2 (en) | Detection device, image processing device, detection method, and image processing method | |
JP7015009B2 (en) | Image processing equipment, image processing methods and programs | |
JP2014049863A (en) | Image processing device, control method therefor, control program, and imaging device | |
JP7318251B2 (en) | Image processing device, image processing method and program | |
JP6795062B2 (en) | Detection device, detection method and program | |
JP6908013B2 (en) | Image processing equipment, image processing methods and programs | |
JP7375313B2 (en) | Image processing device, image processing method, and image processing program | |
JP2018032442A (en) | Image processor, image processing method and program | |
JP7400196B2 (en) | Electronic devices, image processing methods, and image processing programs | |
JP2010199866A (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220104 |