JP2012238135A - Facial image processing system, facial image processing method, facial image processing program - Google Patents
Facial image processing system, facial image processing method, facial image processing program Download PDFInfo
- Publication number
- JP2012238135A JP2012238135A JP2011105899A JP2011105899A JP2012238135A JP 2012238135 A JP2012238135 A JP 2012238135A JP 2011105899 A JP2011105899 A JP 2011105899A JP 2011105899 A JP2011105899 A JP 2011105899A JP 2012238135 A JP2012238135 A JP 2012238135A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- component
- components
- output
- enhancement processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。 The present invention relates to a face image processing system, a face image processing method, and a face image processing program for inputting face image information, performing an aesthetic process, and outputting the result.
従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている（例えば、非特許文献１参照）。 Conventionally, face image information representing a person's face image is input, and the face image information is subjected to an aesthetic process such as brightening the skin color or smoothing the skin region. There is known a system that can output a face image processed so that it looks beautiful (see Non-Patent Document 1, for example).
このシステムは、いわゆるε−フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算（Ｉｎｔｅｒａｃｔｉｖｅ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔｉｎｇ：ＩＥＣ）を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。 This system introduces interactive evolutionary computing (IEC) into a nonlinear digital filter bank, which is a so-called ε-filter bank, and further introduces an image enhancement filter by unsharp masking to enhance the contour of a face image. It is configured to suppress overall blurring.
しかしながら、上述した非特許文献１に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。 However, in the system disclosed in Non-Patent Document 1 described above, it is possible to suppress the blur of the entire image by emphasizing the contour of the face image. There is a problem in that the face image seen in is generated.
この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。 In order to eliminate the above-mentioned problems caused by the prior art, the present invention generates a face image in which the difference in brightness of the face image is enhanced to emphasize the shadow and the sculpture appears to be deeply and clearly tightened, and excessive emphasis is suppressed. Another object of the present invention is to provide a face image processing system, a face image processing method, and a face image processing program that can output a face image that looks more beautiful than an actual face image.
本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する入力顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第１の成分に対して輝度強調処理を施す輝度強調処理手段と、前記フィルタ手段によって抽出された第２及び第５の成分に対して輪郭強調処理を施す輪郭強調処理手段と、前記輝度強調処理手段によって輝度強調処理が施された第１の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第２及び第５の成分とを合成する合成手段と、前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段とを備えたことを特徴とする。 The face image processing system according to one aspect of the present invention includes input face image information constituting an input face image, first and second components indicating facial structural components in an amplitude-frequency space, and the facial skin The first and second components are divided into a third component indicating a soaking component, a fourth component indicating a wrinkle component of the facial skin, and a fifth component indicating a natural unevenness component of the facial skin. And a filter means for extracting the third component and removing the third and fourth components, a brightness enhancement processing means for performing a brightness enhancement process on the first component extracted by the filter means, Contour emphasis processing means for performing contour emphasis processing on the second and fifth components extracted by the filter means, a first component subjected to luminance emphasis processing by the luminance enhancement processing means, and the contour enhancement processing Contour enhancement processing is applied by means Synthesizing means for synthesizing the second and the fifth component, characterized in that an output means for outputting the output face image information representing a face image synthesized by said synthesizing means.
本発明の一つの実施形態においては、出力顔画像情報は複数生成され、出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示する。そして、システムは、表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、入力手段によって出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づきフィルタ手段、輝度強調処理手段及び輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備える。フィルタ手段、輝度強調処理手段及び輪郭強調処理手段は、演算手段によって設定されたパラメータに基づく顔画像情報の生成を、入力手段によって出力顔画像の決定指示が受け付けられるまで繰り返し行う。 In one embodiment of the present invention, a plurality of output face image information is generated, and the output means displays a plurality of output face images based on the generated face image information on the display screen. Then, the system receives an input that accepts any one of a selection instruction of a desired output face image designated by the user and an instruction to determine a final output face image from among the plurality of displayed output face images. And when an instruction to select an output face image is received by the input means, parameters of each process in the filter means, the brightness enhancement processing means, and the edge enhancement processing means are set based on the face image information representing the selected output face image. And an arithmetic means for performing crossover processing and mutation processing based on a genetic algorithm and setting by interactive evolution calculation. The filter means, the brightness enhancement processing means, and the edge enhancement processing means repeatedly generate face image information based on the parameters set by the calculation means until an input face determination instruction is accepted by the input means.
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。 In a configuration further comprising storage means for storing, as a reference parameter, the parameter when generating face image information representing the determined output face image when an instruction to determine the output face image is received by the input means. There may be.
前記フィルタ手段は、ε−分離型非線形フィルタバンクにより構成され、輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。 The filter means may be composed of an ε-separated nonlinear filter bank, and the brightness enhancement processing means may perform nonlinear gradient processing using a sigmoid function.
前記輝度強調処理手段は、例えば非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。 The brightness enhancement processing unit enhances the shadow by enhancing the difference in brightness of the first component by, for example, nonlinear gradient processing. Thereby, the engraving of the face image can be deepened.
前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。 The filter means further includes a skin color extraction means for extracting a skin color area portion in which at least one of the luminance and color information of the face image information is within a predetermined range, the filter means, the brightness enhancement processing means, and the contour enhancement. The processing means and the synthesis means may be configured to perform each process only on the face image information indicating the skin color area extracted by the skin color extraction means. In this way, the processing target area of the face image information can be limited to only the skin color area part, and an unnecessary influence on the face image area other than the skin color area part can be suppressed, and the processing time can be shortened. Can do.
前記出力手段は、前記合成手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部以外と判断された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。 The output means synthesizes the face image information indicating the skin color area portion output from the combining means and the face image information determined by the skin color extraction means to be other than the skin color area portion, and outputs the output face image. It may be output.
本発明の一態様に係る顔画像処理方法は、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成する工程と、前記合成手段により合成された出力顔画像情報を前記出力手段によって出力する工程とを備えたことを特徴とする。 A face image processing method according to an aspect of the present invention is a face image processing method in a face image processing system including filter means, luminance enhancement processing means, contour enhancement processing means, synthesis means, and output means, wherein the filter Means for inputting facial image information constituting the inputted facial image into first and second components indicating facial structural components in an amplitude-frequency space, a third component indicating facial skin stain components, The first component is divided into a fourth component indicating a wrinkle component of the facial skin and a fifth component indicating a natural uneven component of the facial skin, and the first, second and fifth components are extracted and the first component is extracted. A step of removing the third and fourth components, a step of performing luminance enhancement processing on the extracted first component by the luminance enhancement processing means, and a step of removing the extracted second and fifth components The contour enhancement processing means Processing, combining the first component subjected to the luminance enhancement processing with the second component and the fifth component subjected to the contour enhancement processing by the combining unit, and combining by the combining unit And outputting the output face image information thus output by the output means.
本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成させるステップと、前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させることを特徴とする。 A face image processing program according to an aspect of the present invention causes face image processing to be executed by a face image processing system having a computer including filter means, luminance enhancement processing means, contour enhancement processing means, synthesis means, and output means. A face image processing program for the first and second components of the face image information constituting the face image input by the filter means to the computer to indicate the structural components of the face in an amplitude-frequency space , Dividing into a third component indicating a stain component of the facial skin, a fourth component indicating a wrinkle component of the facial skin, and a fifth component indicating a natural uneven component of the facial skin, Extracting the first, second, and fifth components and removing the third and fourth components; and performing luminance enhancement processing on the extracted first component by the luminance enhancement processing means. A step of performing contour enhancement processing by the contour enhancement processing means on the extracted second and fifth components, and the first component subjected to the luminance enhancement processing and the contour enhancement processing. And a step of combining the second and fifth components subjected to the processing by the combining unit and a step of outputting the output face image information combined by the combining unit by the output unit. To do.
本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。 According to the present invention, the difference between the brightness and darkness of the face image is enhanced to emphasize the shadow, and the engraving looks deep and clear, and the face image with reduced excessive emphasis is generated, which is more beautiful than the actual face image. A visible face image can be output.
以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明するが、これらの実施形態に限定されるものではなく、多くの変形が本発明の技術的思想の範囲内で当分野において通常の知識を有するものにより可能である。 Hereinafter, embodiments of a face image processing system, a face image processing method, and a face image processing program according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to these embodiments. However, many variations are possible within the scope of the technical idea of the present invention and those having ordinary knowledge in the art.
図１は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図２は、この顔画像処理システムの画像情報処理部を構成する演算手段２の構成を示すブロック図である。図３は、この画像処理部における非線形関数の例を示す図である。 FIG. 1 is a block diagram showing the overall configuration of a face image processing system according to an embodiment of the present invention. FIG. 2 is a block diagram showing the configuration of the calculation means 2 constituting the image information processing unit of the face image processing system. FIG. 3 is a diagram illustrating an example of a nonlinear function in the image processing unit.
図１に示すように、顔画像処理システムは、コンピュータやワークステーション等のハードウェアである演算手段２上で実現されるものである。演算手段２は、例えば入力された顔画像を構成する入力顔画像情報（画像データ）に基づき各種画像処理を行う画像情報処理部として機能する。 As shown in FIG. 1, the face image processing system is realized on a computing means 2 which is hardware such as a computer or a workstation. The computing means 2 functions as an image information processing unit that performs various image processing based on, for example, input face image information (image data) constituting the input face image.
画像情報処理部は、例えば図２に示すように、入力された顔画像情報を振幅−周波数空間において所定の成分に分割し、抽出・除去するε−フィルタバンク１１（フィルタ手段）と、このε−フィルタバンク１１から出力された特定の成分に対して非線形処理の一種である非線形勾配処理による輝度強調処理を施す輝度強調処理部１２と、ε−フィルタバンク１１から出力された特定の成分に対して輪郭強調処理を施す輪郭強調処理部１３と、輝度強調処理部１２から出力された成分と輪郭強調処理部１３から出力された成分とを加算する加算器１４（合成手段）とを備えて構成されている。 For example, as shown in FIG. 2, the image information processing unit divides input face image information into predetermined components in the amplitude-frequency space, and extracts and removes the ε-filter bank 11 (filter means), and this ε A luminance enhancement processing unit 12 for performing luminance enhancement processing by nonlinear gradient processing, which is a kind of nonlinear processing, on a specific component output from the filter bank 11; and a specific component output from the ε-filter bank 11 A contour emphasis processing unit 13 that performs contour emphasis processing, and an adder 14 (combining means) that adds the component output from the luminance emphasis processing unit 12 and the component output from the contour emphasis processing unit 13. Has been.
ε−フィルタバンク１１は、より具体的にはε−分離型非線形フィルタバンクにより構成される。また、輝度強調処理部１２は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部（以下、「ＳＩＧＭ処理部」と略記する。）により構成される。 More specifically, the ε-filter bank 11 is constituted by an ε-separation type non-linear filter bank. More specifically, the brightness enhancement processing unit 12 is configured by a sigmoid processing unit (hereinafter abbreviated as “SIGM processing unit”) that performs nonlinear gradient processing using a sigmoid function.
なお、フィルタ手段としては、ε−フィルタバンク１１の他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができる。また、輝度強調処理部１２は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。 The filter means can be constituted by a filter bank using various nonlinear filters in addition to the ε-filter bank 11. In addition, the luminance enhancement processing unit 12 can be configured to perform nonlinear gradient processing using various nonlinear functions in addition to the sigmoid function.
次に、ε−フィルタバンク１１で用いられるε−フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第ｎ時点における入力された顔画像情報を入力信号ｘ（ｎ）とし、出力される顔画像情報を出力信号ｙ（ｎ）とすると、ε−フィルタは、次式（１）からなる非再帰型低域通過フィルタに非線形関数Ｆを導入することにより実現され、次式（２）のように表される。 Next, the principle of the ε-filter used in the ε-filter bank 11 will be described. In the face image processing system according to the present embodiment, assuming that the input face image information at the nth time point is the input signal x (n) and the output face image information is the output signal y (n), an ε-filter Is realized by introducing a non-linear function F into a non-recursive low-pass filter composed of the following equation (1), and is expressed as the following equation (2).
上記式（１），（２）において、ａｉは、総和が１なる非再帰型低域通過フィルタ係数であり、Ｆは図３に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号ｘ（ｎ）と出力信号ｙ（ｎ）との差は、次式（３）のようにある値ε’以下に制限される。 In the above formulas (1) and (2), a i is a non-recursive low-pass filter coefficient whose sum is 1, F is a nonlinear function as shown in FIG. 3, and its absolute value is a certain value Limited to ε or less. At this time, the difference between the input signal x (n) and the output signal y (n) is limited to a value ε ′ or less as shown in the following equation (3).
このとき、特に全てのａｉが正とすると、ε’＝εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式（１）により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。 At this time, if all a i are positive in particular, ε ′ = ε. When additive high frequency noise with sufficiently small amplitude is included in the input signal, if ε is set to about the amplitude peak / peak value of the noise, the noise is a low-pass filter expressed by the above equation (1). Smoothed. Further, since the output signal is within the input signal ± ε, it is possible to remove noise while maintaining a large amplitude change.
図４は、顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。このようなε−フィルタでは、出力信号ｙ（ｎ）としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、ｘ（ｎ）−ｙ（ｎ）として得られる。 FIG. 4 is a diagram illustrating an example of division of the amplitude-frequency space of the ε-filter and the linear low-pass filter in the image information processing unit of the face image processing system. In such an ε-filter, a low-frequency component or a large-amplitude component at the input is obtained as the output signal y (n), whereas a small-amplitude high-frequency component having an amplitude ε or less is x (n) -y (n). As obtained.
従って、ｘ（ｎ）−ｙ（ｎ）をｕ（ｎ）と表すと、このε−フィルタは、入力信号ｘ（ｎ）に対して、その振幅−周波数空間を図４（ａ）に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅−周波数空間を図４（ｂ）に示すように分けるものに相当する。 Therefore, when x (n) -y (n) is expressed as u (n), the ε-filter has an amplitude-frequency space as shown in FIG. 4A with respect to the input signal x (n). Divide into In addition, a normal linear low-pass filter is equivalent to what separates the amplitude-frequency space as shown in FIG.4 (b).
図５は、顔画像処理システムのε−フィルタバンクの構成を示す図である。上記のようなε−フィルタをフィルタバンク状に組み合わせると、その入力信号ｘ（ｎ）をその振幅−周波数に応じて複数の領域に分割することができる。従って、これをε−フィルタバンク１１として、図５に示すように構成することができる。ここで、図５に示すように、ε−フィルタバンク１１は、線形低域通過フィルタとε−フィルタとを組み合わせた構造からなる。 FIG. 5 is a diagram showing the configuration of the ε-filter bank of the face image processing system. When the above ε-filters are combined in a filter bank shape, the input signal x (n) can be divided into a plurality of regions according to the amplitude-frequency. Therefore, this can be configured as the ε-filter bank 11 as shown in FIG. Here, as shown in FIG. 5, the ε-filter bank 11 has a structure in which a linear low-pass filter and an ε-filter are combined.
このε−フィルタバンク１１において、Ｌは線形低域通過フィルタであり、Ｅ１，Ｅ２，Ｅ３はε−フィルタである。各フィルタは二次元フィルタ、または水平・垂直方向一次元フィルタの組み合わせとし、ｎは二次元平面における画素の位置（ｉ，ｊ）を表すものとする。なお、各出力信号ｙ１（ｎ）〜ｙ５（ｎ）の総和は入力信号ｘ（ｎ）に等しく、線形低域通過フィルタＬとε−フィルタＥ２の窓サイズは等しくｗ０とし、更にε−フィルタＥ１，Ｅ３の窓サイズも等しくｗ１とする。また、各ε−フィルタＥ１，Ｅ２，Ｅ３の値ε（これを順にε１，ε２，ε３とする。）は、ε１＞ε２＞ε３の関係にあるとする。 In the ε-filter bank 11, L is a linear low-pass filter, and E1, E2, and E3 are ε-filters. Each filter is a two-dimensional filter or a combination of horizontal and vertical one-dimensional filters, and n represents a pixel position (i, j) in a two-dimensional plane. The sum of the output signals y1 (n) to y5 (n) is equal to the input signal x (n), the window sizes of the linear low-pass filter L and the ε-filter E2 are equal to w0, and the ε-filter E1. , E3 also have the same window size w1. In addition, it is assumed that the values ε of the ε-filters E1, E2, and E3 (which are sequentially referred to as ε1, ε2, and ε3) have a relationship of ε1> ε2> ε3.
図６は、顔画像処理システムのε−フィルタバンク１１による振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε−フィルタバンク１１は、入力信号ｘ（ｎ）の振幅−周波数空間を図６に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。 FIG. 6 is a diagram illustrating an example of division of each component of face image information in the amplitude-frequency space by the ε-filter bank 11 of the face image processing system. The ε-filter bank 11 thus configured divides the amplitude-frequency space of the input signal x (n) into regions as shown in FIG. In face image information representing a face image, it is known that main parts of the face such as eyes, nose, mouth, and eyebrows are generally represented as large amplitude signals.
また、顔のベース部分（例えば、頬など）は低周波数信号として表され、顔のしわ（特に、小じわ）部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。 In addition, the base part of the face (for example, cheeks) is expressed as a low frequency signal, and the components that cause the skin aesthetics such as wrinkles (particularly fine lines) and spots on the face to have a relatively small amplitude. Expressed as a high frequency signal. Furthermore, the natural concavo-convex component of the face is expressed as a high-frequency signal with a smaller amplitude.
そこで、本実施形態に係る顔画像処理システムにおいては、ε−フィルタバンク１１は、入力信号ｘ（ｎ）を図６に示すような振幅−周波数空間にて分割する。すなわち、ε−フィルタバンク１１は、顔の構造成分を示す第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）と、顔の肌のしみ成分を示す第３の成分ｙ３（ｎ）と、顔の肌のしわ成分を示す第４の成分ｙ４（ｎ）と、顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）とに分割する。 Therefore, in the face image processing system according to the present embodiment, the ε-filter bank 11 divides the input signal x (n) in an amplitude-frequency space as shown in FIG. That is, the ε-filter bank 11 includes a first component y1 (n) and a second component y2 (n) indicating the facial structural component, and a third component y3 (n) indicating the facial skin stain component. And the fourth component y4 (n) indicating the wrinkle component of the facial skin and the fifth component y5 (n) indicating the natural uneven component of the facial skin.
そして、顔の構造成分を示す第１及び第２の成分（すなわち、ｙ１（ｎ），ｙ２（ｎ））並びに顔の肌の自然な凹凸成分を示す第５の成分（すなわち、ｙ５（ｎ））を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分（すなわち、第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ））のみを除去する。これにより、まず、ε−フィルタバンク１１を通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。 The first and second components (that is, y1 (n), y2 (n)) indicating the structural components of the face and the fifth component (that is, y5 (n)) indicating the natural unevenness component of the facial skin. ). At the same time, only the amplitude frequency components (that is, the third and fourth components y3 (n) and y4 (n)) corresponding to the stain component and the wrinkle component of the facial skin are removed. In this way, first, face image information is constructed so that the skin can be shown smoothly after passing through the ε-filter bank 11.
具体的には、図５に示したε−フィルタバンク１１において、線形低域通過フィルタＬ及びε−フィルタＥ１，Ｅ２，Ｅ３の窓サイズｗ０，ｗ１と、ε−フィルタＥ１，Ｅ２，Ｅ３のεの値ε１，ε２，ε３とを適切な値に設定する。すると、図６に示すように、第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）を顔の主要部分及びベース部分とし、第３の成分ｙ３（ｎ）を肌のしみ成分及び第４の成分ｙ４（ｎ）を肌のしわ成分とし、第５の成分ｙ５（ｎ）を肌の自然な凹凸成分とすることができる。 Specifically, in the ε-filter bank 11 shown in FIG. 5, the window sizes w0, w1 of the linear low-pass filter L and the ε-filters E1, E2, E3 and the ε-filters E1, E2, E3 Values ε1, ε2, and ε3 are set to appropriate values. Then, as shown in FIG. 6, the first component y1 (n) and the second component y2 (n) are the main part and base part of the face, and the third component y3 (n) The fourth component y4 (n) can be a skin wrinkle component, and the fifth component y5 (n) can be a natural uneven component of the skin.
ここで、窓サイズｗ０は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズｗ１は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε−フィルタＥ１のεの値ε１は、除去すべき肌のしわ成分の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ２のεの値ε２は、肌のしみ成分の振幅（ピーク−ピーク）の最大値程度、及びε−フィルタＥ３のεの値ε３は、肌の自然な凹凸成分の振幅（ピーク−ピーク）の最大値程度とする。 Here, it is assumed that the window size w0 divides the frequency band between the skin blot component and the face base portion, and the window size w1 divides the frequency band between the skin blot component and the natural unevenness component of the skin. Further, the ε value ε1 of the ε-filter E1 is about the maximum value of the amplitude (peak-peak) of the skin wrinkle component to be removed, and the ε value ε2 of the ε-filter E2 is the amplitude of the skin blot component. The maximum value of (peak-peak) and the ε value ε3 of the ε-filter E3 are about the maximum value of the amplitude (peak-peak) of the natural unevenness component of the skin.
このように構成されたε−フィルタバンク１１においては、上述したように入力信号ｘ（ｎ）から顔の肌のしみ及びしわ成分を示す第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ）が除去される。そして、出力される第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、特定の成分である顔の構造成分を示す第１の成分ｙ１（ｎ）のみが輝度強調処理部１２に入力され、顔の構造成分を示す第２の成分ｙ２（ｎ）及び顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）が輪郭強調処理部１３に入力される。 In the ε-filter bank 11 configured in this way, as described above, the third and fourth components y3 (n) and y4 (n) indicating the facial skin blotches and wrinkle components from the input signal x (n). ) Is removed. Of the first, second, and fifth components y1 (n), y2 (n), and y5 (n) that are output, the first component y1 (n) indicating the structural component of the face that is a specific component ) Is input to the luminance enhancement processing unit 12, and the second component y2 (n) indicating the facial structural component and the fifth component y5 (n) indicating the natural unevenness component of the facial skin are included in the contour enhancement processing unit. 13 is input.
顔の構造成分を示す第１の成分ｙ１（ｎ）のような顔の大まかな構造を表す成分が輝度強調処理部１２（例えば、ＳＩＧＭ処理部）にてコントラスト強調され、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）に対して輪郭強調処理部１３にて輪郭強調処理がなされて、これらの成分がその後合成されると、次のような顔画像を得ることができる。 A component representing the rough structure of the face such as the first component y1 (n) indicating the structural component of the face is subjected to contrast enhancement by the luminance enhancement processing unit 12 (for example, a SIGM processing unit), and the second and fifth When the contour emphasis processing unit 13 performs contour emphasis processing on the components y2 (n) and y5 (n) and these components are then synthesized, the following face image can be obtained.
すなわち、ε−フィルタバンク１１を通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、輝度強調処理部１２にて強調されて彫りの深い顔立ちを生成することができると共に、輪郭強調処理部１３にて顔の特徴成分が鮮明になり、更に明暗のグラデーションがなめらかになり、過度の輪郭強調がなされるのを抑制する。その結果、頬の影が自然な明暗で強調されて小顔化されて見える顔画像を生成することができる。 That is, the depth emphasis of the face image represented by the face image information that can make the skin appear smooth by passing through the ε-filter bank 11 is emphasized by the brightness enhancement processing unit 12 and is deeply carved. Can be generated, and the face emphasis processing unit 13 makes the facial feature components clearer, smoothes the gradation of light and dark, and suppresses excessive edge emphasis. As a result, it is possible to generate a face image in which the shadow of the cheek is emphasized with natural light and darkness and looks small.
次に、輝度強調処理部１２について詳細に説明する。輝度強調処理部１２で、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分ｕ（ｎ）を次式（４）のように変換する。 Next, the brightness enhancement processing unit 12 will be described in detail. In order to enable the brightness enhancement processing unit 12 to adjust the degree of contrast enhancement, for example, the face structure component u (n) is converted as in the following equation (4).
なお、式（４）中ａは［０，１］のパラメータで、ａが大きい程コントラスト強調が強く施され、ａが０ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分ｕ（ｎ）に対して次に説明する非線形関数Ｆを用いることにより施すことができる。 In equation (4), a is a parameter of [0, 1], and the greater the value of a, the stronger the contrast enhancement. If a is 0, no contrast enhancement is performed. This contrast enhancement can be performed, for example, by using a nonlinear function F described below for the face structure component u (n).
図７及び図８は、輝度強調処理部１２の非線形勾配処理に用いられる非線形関数Ｆの例を示す図である。図７は、非線形関数Ｆの一例として用いられるシグモイド関数Ｇ（ｙ）を示している。コントラスト強調における輝度の最大値を２５５とすると、第１の成分ｙ１（ｎ）を次式（５）によりｙ１’（ｎ）に置き換える。 7 and 8 are diagrams illustrating examples of the nonlinear function F used for the nonlinear gradient processing of the luminance enhancement processing unit 12. FIG. 7 shows a sigmoid function G (y) used as an example of the nonlinear function F. When the maximum luminance value in contrast enhancement is 255, the first component y1 (n) is replaced with y1 '(n) by the following equation (5).
ここで、シグモイド関数Ｇ（ｙ）としては、具体的には、例えば次式（６）のようなものを用いることができる。 Here, as the sigmoid function G (y), specifically, for example, the following equation (6) can be used.
こうして、輝度強調処理部１２にて非線形勾配処理が施された第１の成分ｙ１’（ｎ）と、ε−フィルタバンク１１により抽出された第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）を輪郭強調処理部１３にて輪郭強調処理した第２及び第５の成分ｙ２’（ｎ），ｙ５’（ｎ）の合成成分ｚ（ｎ）とを、加算器１４にて加算する。これにより、出力顔画像情報ｙ（ｎ）を得ることができる。 Thus, the first component y1 ′ (n) subjected to the nonlinear gradient processing in the luminance enhancement processing unit 12, and the second and fifth components y2 (n), y5 (extracted by the ε-filter bank 11 The adder 14 adds the combined component z (n) of the second and fifth components y2 ′ (n) and y5 ′ (n) obtained by performing the edge enhancement process on the edge enhancement process unit 13). Thereby, output face image information y (n) can be obtained.
なお、上記式（６）のγは、Ｇ（ｙ）がｙ＝０で０、ｙ＝２５５で２５５に近くなるような値として１／３０に設定しておく。 Note that γ in the above equation (6) is set to 1/30 as a value such that G (y) is close to 0 when y = 0 and close to 255 when y = 255.
また、非線形関数Ｆは、図７のシグモイド関数Ｇ（ｙ）のような曲線状ではなく、例えば図８に示すように、輝度が高いところについては顔のテカリを防止するために一部直線形とする関数などでも良い。上記の他にも種々の非線形関数を輝度強調処理部１２に用いることができる。 Further, the nonlinear function F is not a curved line like the sigmoid function G (y) in FIG. 7, but is partially linear in order to prevent face shine, for example, as shown in FIG. A function such as In addition to the above, various nonlinear functions can be used for the brightness enhancement processing unit 12.
演算手段２における画像情報処理部の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見えると共に、過度の強調が抑えられてより奇麗に見える顔画像が生成される。なお、本実施形態に係る顔画像処理システムでは、輪郭強調処理部１３において、第２及び第５の成分に対して輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする（例えば、強調度合いのパラメータをαとした）処理が行われる。 The output signal of the image information processing unit 2 in the computing means 2 makes the face cheek shadows appear smaller and smaller than the input face image, as described above, and reduces the excessive emphasis and makes it more beautiful. A visible face image is generated. In the face image processing system according to the present embodiment, the contour enhancement processing unit 13 performs unsharp masking as the contour enhancement processing on the second and fifth components to sharpen the contour of the face image (for example, , The parameter of the enhancement degree is α).
そして、各処理において用いられる上述した窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３、αやβなどの各パラメータは、例えば公知の遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）を用いたインタラクティブ進化計算（ＩＥＣ）により最適値が設定される。 The window sizes w0, w1, ε values ε1, ε2, ε3, α, β, and other parameters used in each process are interactively evolved using, for example, a known genetic algorithm (Genetic Algorithm: GA). An optimum value is set by calculation (IEC).
ここで、アンシャープマスキングは、例えば輪郭強調処理部１３への入力信号ｙ（ｉ）（ｊ）に対して出力信号ｚ（ｉ）（ｊ）を得ることにより行われ、このときの画像強調フィルタとしては、次式（７）で表すものを用いることができる。なお、式（７）中のαは強調の程度を決めるパラメータである。 Here, unsharp masking is performed, for example, by obtaining an output signal z (i) (j) with respect to an input signal y (i) (j) to the contour enhancement processing unit 13, and an image enhancement filter at this time As for, what is represented by following Formula (7) can be used. In Expression (7), α is a parameter that determines the degree of enhancement.
図９Ａは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図９Ｂ〜図９Ｄは、従来の顔画像処理システムの顔画像処理による結果の顔画像を示す図である。図９Ｅ及び図９Ｆは、本発明に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。また、図１０Ａ及び図１０Ｂは、それぞれ図９Ｂ及び図９Ｅの一部拡大図である。なお、顔画像処理に用いられた原画像の大きさは２５６×２５６のＲＧＢ各８ビットのカラー画像であり、出力された結果もカラー画像であるが、図９Ａ〜Ｆにおいてはカラー画像をモノクロ画像に変更している。 FIG. 9A is a diagram illustrating a face image before face image processing of the face image processing system. 9B to 9D are diagrams showing face images obtained as a result of face image processing of the conventional face image processing system. FIG. 9E and FIG. 9F are diagrams showing the face images resulting from the face image processing of the face image processing system according to the present invention. 10A and 10B are partially enlarged views of FIGS. 9B and 9E, respectively. The size of the original image used for the face image processing is 256 × 256 RGB 8-bit color images, and the output result is also a color image. In FIGS. The image has been changed.
図９Ａは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図９Ｂ〜図９Ｄは、比較のために従来例を示し、ε−フィルタバンク１１により抽出された第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、輝度強調処理が施された第１の成分ｙ１’（ｎ）と第２及び第５の成分とを加算したものに、別途輪郭強調処理を施した結果の顔画像を示している。更に、図９Ｅ及び図９Ｆは、本実施形態にて説明したように輝度強調処理が施された第１の成分ｙ１’（ｎ）と輪郭強調処理が施された第２及び第５の成分とを加算した結果の顔画像を示している。 FIG. 9A shows an input face image represented by face image information input to the face image processing system. 9B to 9D show conventional examples for comparison, and the first, second, and fifth components y1 (n), y2 (n), y5 (n) extracted by the ε-filter bank 11 are shown. ) Of the first component y1 ′ (n) subjected to the luminance enhancement processing and the second and fifth components added to each other, a face image obtained as a result of the additional contour enhancement processing is shown. . Further, FIG. 9E and FIG. 9F show the first component y1 ′ (n) that has been subjected to luminance enhancement processing and the second and fifth components that have been subjected to contour enhancement processing as described in the present embodiment. The face image as a result of adding is shown.
図９Ｂ及び図９Ｄは、輪郭強調処理として弱いシャープニングを施したもので、図９Ｃは強いシャープニングを施し、さらに輝度強調処理として、図９Ｂ及び図９Ｃは強めの処理を、図９Ｄは弱めの処理をそれぞれ施したものである。一方、図９Ｅ及び図９Ｆは、輪郭強調処理として弱いシャープニングを施し、さらに輝度強調処理として、図９Ｅは強めの処理を、図９Ｆは弱めの処理をそれぞれ施したものである。 9B and 9D are obtained by applying a weak sharpening as an edge enhancement process, FIG. 9C is applied with a strong sharpening, and as a brightness enhancement process, FIGS. 9B and 9C are a stronger process, and FIG. 9D is a weaker process. Each of these processes is performed. On the other hand, FIG. 9E and FIG. 9F are obtained by applying weak sharpening as the edge enhancement processing, and FIG. 9E performing stronger processing and FIG. 9F performing weak processing as luminance enhancement processing.
図９Ｂ〜図９Ｄに示すように、第１の成分ｙ１（ｎ）に対して輝度強調を行い陰影を強めた後に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図９Ａに示すものよりも、図９Ｂの一部を拡大した図１０Ａ（ｂ）に示すように、下顎の部分などに陰影がくっきりと表れて若干不自然な感じが目立つようになった。また、図１０Ａ（ａ）に示すように、目の下のしわなども若干強調されすぎている感が否めなかった。すなわち、明暗のグラデーションがくっきりと際立ちすぎている印象の顔画像となった。 As shown in FIGS. 9B to 9D, the first component y1 (n) is subjected to brightness enhancement to enhance the shadow, and then synthesized with the second and fifth components y2 (n) and y5 (n). An object that has been subjected to contour emphasis is subjected to contour emphasis after emphasizing shadows. For this reason, as shown in FIG. 10A (b), which is an enlarged view of a part of FIG. 9B, a slightly unnatural feeling is conspicuous as the shadow appears clearly in the lower jaw part and the like. It was. In addition, as shown in FIG. 10A (a), it was impossible to deny the feeling that wrinkles under the eyes were slightly emphasized. That is, the face image has an impression that the gradation of light and dark is clearly conspicuous.
これに対し、図９Ｅ及び図９Ｆに示すように、第１の成分ｙ１（ｎ）に対して輝度強調を行い陰影を強めると共に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）に対してのみ輪郭強調を行い、これらを合成したものは、図１０Ｂ（ａ）に示すような目の下のしわや、図９Ｅの一部を拡大した図１０Ｂ（ｂ）に示すような下顎の部分などにおける明暗のグラデーションが図９Ｂ〜図９Ｄのものと比べてより滑らかになり、自然な感じの陰影が現われて柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。 On the other hand, as shown in FIGS. 9E and 9F, luminance enhancement is performed on the first component y1 (n) to enhance the shadow, and the second and fifth components y2 (n), y5 (n) The contour emphasis is applied only to the above and the combination of these is the wrinkle under the eyes as shown in FIG. 10B (a) or the part of the lower jaw as shown in FIG. 10B (b) in which a part of FIG. 9E is enlarged. 9B to 9D became smoother, and a natural-looking shadow appeared, giving a soft impression, and the face image was deeply and clearly tightened. As a result, a face image capable of giving a small face impression was obtained.
図１１は、しわＡ及び顎の線Ｂの輝度値の測定ラインＬ１を説明するための図である。図１２Ａは入力顔画像情報の原画像が示す顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｂは、入力顔画像情報に対して平滑処理のみを行った場合の比較例１の顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｃは、入力顔画像情報に対して輝度強調処理を施した第１の成分と第２及び第５の成分とを加算したものに輪郭強調処理を施した比較例２の顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｄは、図９Ｅに基づく本実施形態に係る顔画像処理システムにより生成した顔画像のラインＬ１上における測定輝度値を示す図である。また、図１３は図１２Ａ〜図１２Ｄの横軸の３７から１６３までを抽出し、一つにまとめて示した図であり、図１４は図１２Ｃと図１２Ｄの横軸の５３から８９までを抽出し、一つにまとめて示した図であり、図１５は、図１２Ｃと図１２Ｄの横軸の１１９から１４５までを抽出し、一つにまとめて示した図である。 FIG. 11 is a diagram for explaining a measurement line L1 of luminance values of the wrinkle A and the jaw line B. FIG. FIG. 12A is a diagram showing measured luminance values on the line L1 of the face image indicated by the original image of the input face image information. FIG. 12B is a diagram showing measured luminance values on the line L1 of the face image of Comparative Example 1 when only the smoothing process is performed on the input face image information. FIG. 12C shows a face image line L1 of Comparative Example 2 in which the edge enhancement process is performed on the input face image information obtained by adding the first component and the second and fifth components subjected to the luminance enhancement process. It is a figure which shows the measured brightness | luminance value above. FIG. 12D is a diagram showing measured luminance values on the line L1 of the face image generated by the face image processing system according to this embodiment based on FIG. 9E. FIG. 13 is a diagram in which the horizontal axes 37 to 163 in FIGS. 12A to 12D are extracted and collectively shown. FIG. 14 is a horizontal axis in FIGS. 12C and 12D from 53 to 89. FIGS. 15A and 15B are diagrams that are extracted and collectively shown. FIG. 15 is a diagram in which the horizontal axes 119 to 145 in FIGS. 12C and 12D are extracted and collectively shown.
なお、図１２Ａ〜図１２Ｄにおいては、縦軸の値が小さいほど暗いことを示しており、最大輝度値は２５５となっている。 12A to 12D, the smaller the value on the vertical axis, the darker the value is, and the maximum luminance value is 255.
図１２Ｃ及び図１２Ｄのような輝度強調を行うと、輝度値の中央の値である１２７．５以下の値はより小さく、それよりも大きな値はより大きくなり、図１２Ａ及び図１２Ｂと比較して陰影が強調されることが判明した。また、図１２Ｃのような輝度強調を行うと、図１２Ｄに示す本実施形態と比較して、図１３中Ｃ、Ｄ、Ｅで示すような輝度値の変化部においては変化が急峻なものとなった。これは、明るい領域から急に暗い領域に変化することを意味し、図１２Ｃでは顔画像の明暗の境が際立つこととなる。 When luminance enhancement as shown in FIGS. 12C and 12D is performed, the value below 127.5, which is the central value of the luminance value, is smaller, and larger values are larger, compared with FIGS. 12A and 12B. It was found that the shadow was emphasized. In addition, when luminance enhancement as shown in FIG. 12C is performed, the change in the luminance value change portions as indicated by C, D, and E in FIG. 13 is sharper than in the present embodiment shown in FIG. 12D. became. This means that the area changes suddenly from a bright area to a dark area. In FIG. 12C, the bright and dark border of the face image stands out.
特に、図１２Ｃに示す場合では、ラインＬ１上におけるしわＡの振幅が大きいためにしわＡが目立つと共に、ラインＬ１上における顎の線Ｂの前後で輝度が急峻に変化するために顎の線の付近の影がくっきりと現われる顔画像となった。このような現象は、図１２Ｃにおける顔画像処理が顔の大まかな構成成分である第１の成分ｙ１（ｎ）を輝度強調して明暗の差を大きくした結果に対して第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）を加算したものを輪郭強調したことによるものである。 In particular, in the case shown in FIG. 12C, the wrinkle A is conspicuous because the amplitude of the wrinkle A on the line L1 is large, and the brightness changes sharply before and after the jaw line B on the line L1, so The face image clearly shows the shadows in the vicinity. Such a phenomenon is caused by the fact that the face image processing in FIG. 12C emphasizes the luminance of the first component y1 (n), which is a rough component of the face, to increase the difference between light and dark. This is because the outline of the sum of the components y2 (n) and y5 (n) is enhanced.
これに対し、図１２Ｄに示すような本実施形態に係る顔画像処理システムにより生成された顔画像では、図１４及び図１５に示すように、顎の線Ｂの部分やしわＡの部分のみならず、図１３に示すように上記Ｃ、Ｄ、Ｅで示すような輝度値の変化部においても振幅が小さく変化が急峻ではないために、過度の強調を抑えつつも顔画像の陰影を強調して引き締まって見える顔画像を生成可能であることが判明した。 On the other hand, in the face image generated by the face image processing system according to the present embodiment as shown in FIG. 12D, as shown in FIG. 14 and FIG. First, as shown in FIG. 13, since the amplitude is small and the change is not steep even in the luminance value change portions as indicated by C, D, and E, the shadow of the face image is emphasized while suppressing excessive enhancement. It was found that it is possible to generate a face image that appears to be tightened.
このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えつつも、過度の強調を抑制した顔画像を生成することができる。これにより、実際の顔画像（入力顔画像）よりもより奇麗に見える顔画像を出力することができる。 As described above, according to the face image processing system according to the present embodiment, the difference in brightness of the input face image is strengthened to emphasize the shadow, and the engraving is deeply and clearly tightened, but excessive emphasis is suppressed. A face image can be generated. Thereby, it is possible to output a face image that looks more beautiful than an actual face image (input face image).
図１６は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図１７は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。 FIG. 16 is a flowchart showing an image processing procedure by the face image processing method according to the embodiment of the present invention. FIG. 17 is a flowchart showing part of the processing contents of the image processing procedure according to the facial image processing method. In the following description, the same reference numerals are assigned to portions that overlap the portions that have already been described, and description thereof is omitted.
この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ（演算手段２）に実行させることにより実現する。このコンピュータは、ＣＰＵやＨＤＤ等の各種装置を備える本体と、出力手段３として情報を表示画面上に表示するディスプレイと、入力手段１として受け付けられた情報をＣＰＵ等に入力する入力インタフェース（入力Ｉ／Ｆ）及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。 This face image processing method is realized, for example, by causing a computer (calculation means 2) of the face image processing system to execute a face image processing program prepared in advance. This computer includes a main body including various devices such as a CPU and an HDD, a display for displaying information on a display screen as output means 3, and an input interface (input I) for inputting information received as input means 1 to the CPU or the like. / F) and an input device such as a keyboard and a mouse. Hereinafter, the processing entity is assumed to be a computer unless otherwise specified.
図１６に示すように、まず、図９Ａに示すような入力顔画像を表す顔画像情報（画像データ）を入力Ｉ／Ｆを介して入力する（ステップＳ１００）。次に、入力された顔画像情報に基づき、演算手段２によって複数の初期候補顔画像を生成し（ステップＳ１０２）、これらの候補顔画像をディスプレイ上に表示する（ステップＳ１０４）。ここで、上述したようなｗ０，ｗ１，ε１，ε２，ε３，α，βなどの各パラメータの値の組をランダムにＭ通り作成し、各パラメータの値の組毎に１つの処理画像を求める。結果的にＭ個の出力画像（候補顔画像）が表示される。 As shown in FIG. 16, first, face image information (image data) representing an input face image as shown in FIG. 9A is input via the input I / F (step S100). Next, based on the input face image information, a plurality of initial candidate face images are generated by the computing means 2 (step S102), and these candidate face images are displayed on the display (step S104). Here, M sets of parameter values such as w0, w1, ε1, ε2, ε3, α, and β as described above are randomly generated, and one processed image is obtained for each parameter value set. . As a result, M output images (candidate face images) are displayed.
このとき、顔画像処理システムの利用者（ユーザ）は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。 At this time, the user (user) of the face image processing system uses the input device to select a desired face image that does not seem to be the most desirable among the plurality of displayed candidate face images. Instructs selection of output face image. Further, when there is a face image that seems subjectively the most desirable, a final output face image determination instruction is given.
従って、コンピュータ２は、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する（ステップＳ１０６）。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合（ステップＳ１０６のＹｅｓ）は、その顔画像を表す顔画像情報を演算手段２にて生成する各種パラメータを基準パラメータとして決定し（ステップＳ１０８）、記憶手段４に記憶して顔画像情報を出力し（ステップＳ１１０）、本フローチャートによる一連の処理を終了する。なお、ステップＳ１１０における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。また、上記の各種パラメータを記憶せずに、顔画像情報のみを表示又は保存するようにしても良い。 Therefore, the computer 2 determines whether or not an output face image has been determined based on information from the input device (step S106). When the final output face image determination instruction is accepted and the output face image is determined (Yes in step S106), various parameters for generating face image information representing the face image by the calculation means 2 are used as reference parameters. (Step S108), the image is stored in the storage means 4 and the face image information is output (step S110), and a series of processing according to this flowchart is terminated. Note that the output of face image information in step S110 includes various output forms such as outputting image data, displaying and displaying on a display, and printing and outputting on paper. Further, only the face image information may be displayed or stored without storing the above various parameters.
一方、上記ステップＳ１０６にて、出力顔画像が決定されなかった場合（ステップＳ１０６のＮｏ）は、ＧＡを用いたＩＥＣを行って（ステップＳ１２０）次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して（ステップＳ１３０）、上記ステップＳ１０４に移行し、以降の処理を繰り返す。 On the other hand, when the output face image is not determined in step S106 (No in step S106), IEC using GA is performed (step S120), and a plurality of next-generation candidate face images are generated. Then, the parameters of these candidate face images are temporarily stored in the storage means (step S130), the process proceeds to step S104, and the subsequent processing is repeated.
上記ステップＳ１２０のＩＥＣは、図１７に示すように行われる。すなわち、上記ステップＳ１０６にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータ２は、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け（ステップＳ１２２）、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理（ステップＳ１２４）及び突然変異処理（ステップＳ１２６）を行う。 The IEC in step S120 is performed as shown in FIG. That is, when the output face image is not determined in step S106, the user has instructed the selection of a desired output face image. Accordingly, the computer 2 accepts the selection of the candidate face image designated by the selection of the desired output face image (step S122), and performs the crossover process (step S124) and suddenly based on the parameters applied to the accepted candidate face image. Mutation processing (step S126) is performed.
ここで、顔画像処理システムにおけるＧＡを用いたＩＥＣについて簡単に説明する。このＩＥＣにおいては、図示は省略するが、まず前提として、例えば上記窓サイズｗ０，ｗ１やεの値ε１，ε２，ε３、その他の各種パラメータを連結して二進数表現する。そして、連結したものを１つの染色とし、その染色体が１つの個体を表すものとする。 Here, IEC using GA in the face image processing system will be briefly described. In this IEC, although not shown, first, as a premise, for example, the window sizes w0 and w1, the values ε1, ε2, and ε3 of ε and other various parameters are connected and expressed as a binary number. Then, the connected one is regarded as one staining, and the chromosome represents one individual.
次に、この個体に対してＧＡを適用する。具体的には、例えばディスプレイ上に表示されたＭ個の候補顔画像（ステップＳ１０４）の中から、例えばユーザが好ましいと思うものをＳ個選択して貰う（例えば、ステップＳ１０６のＮｏ及びステップＳ１２２）。そして、選択されたＳ個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を再び連結して二進数表現の染色体とみなす。そして、選択されたＳ個の個体に対して交叉処理（ステップＳ１２４）を行い、Ｔ１個の個体を新たに生成する。更に、選択されたＳ個の個体と生成されたＴ１個の個体に対し突然変異処理（ステップＳ１２６）を行い、新たにＴ２個の個体を生成する。ここで、Ｓ＋Ｔ１＋Ｔ２はＭに等しいとする。 Next, GA is applied to this individual. Specifically, for example, out of M candidate face images (step S104) displayed on the display, for example, S items that the user thinks are preferable are selected (for example, No in step S106 and step S122). ). Then, various parameters applied to the face image information representing the selected S candidate face images, window sizes w0, w1, ε values ε1, ε2, ε3, etc. are connected again to be regarded as a binary representation of the chromosome. . Then, a crossover process (step S124) is performed on the selected S individuals to newly generate T1 individuals. Further, a mutation process (step S126) is performed on the selected S individuals and the generated T1 individuals to newly generate T2 individuals. Here, it is assumed that S + T1 + T2 is equal to M.
これら交叉処理及び突然変異処理で得られたＳ＋Ｔ１＋Ｔ２個の個体がそれぞれ表す各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を用いて顔画像を表す顔画像情報を処理する。これにより、Ｓ＋Ｔ１＋Ｔ２個の顔画像出力（すなわち、候補顔画像）が得られることとなる。 Face image information representing a face image is processed using various parameters represented by the S + T1 + T2 individuals obtained by the crossover process and the mutation process, window sizes w0, w1, ε values ε1, ε2, ε3, and the like. As a result, S + T1 + T2 face image outputs (that is, candidate face images) are obtained.
こうして得られたＳ＋Ｔ１＋Ｔ２個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をＳ個選択する。 The S + T1 + T2 candidate face images obtained in this way are displayed on the display, and if there is a face image that the user seems subjectively most desirable, it is determined as an output face image. Otherwise, a desired output face image is obtained. Select S.
その後、再びＳ個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される（ステップＳ１０６のＹｅｓ）まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。 Thereafter, S individuals are generated again and the crossover process and the mutation process are repeated until a final output face image that satisfies the user is determined (Yes in step S106). By such processing, it is possible to generate a face image that is effectively beautified based on the subjective evaluation of the user.
以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。 As described above, according to the face image processing system, the face image processing method, and the face image processing program according to the present embodiment, the difference in brightness of the face image is enhanced to emphasize the shadow and the engraving looks deep and clear. At the same time, it is possible to generate a face image in which excessive emphasis is suppressed and output a face image that looks more beautiful than the actual face image.
なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、ＨＤ、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。 Needless to say, the face image processing method described in the present embodiment can be realized by executing a face image processing program prepared in advance on a computer. The program is recorded on a computer-readable recording medium such as a DVD, and is executed by being read from the recording medium by the computer. Further, the face image processing program may be a transmission medium that can be distributed via a network such as the Internet.
また、図示は省略するが、上述した顔画像処理システムにおいて、例えば演算手段２のε−フィルタバンク１１の前段に、入力顔画像情報の輝度や色情報（例えば、Ｒ，Ｇ，Ｂ成分やＹ信号など）が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、演算手段２は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。 Although not shown in the figure, in the face image processing system described above, for example, the luminance and color information (for example, R, G, B components and Y of the input face image information) are placed before the ε-filter bank 11 of the computing means 2. A skin color extraction unit that extracts a skin color region part having a predetermined signal range from the face image information may be provided. In this case, if the calculation means 2 performs the above-described processing only on the face image information indicating the skin color area extracted by the skin color extraction unit, the influence of the processing on the face image other than the skin color area. Since the processing can be performed quickly, it is more effective.
１ 入力手段
２ 演算手段
３ 出力手段
４ 記憶手段
１１ ε−フィルタバンク
１２ 輝度強調処理部
１３ 輪郭強調処理部
１４ 加算器
DESCRIPTION OF SYMBOLS 1 Input means 2 Calculation means 3 Output means 4 Storage means 11 (epsilon) -filter bank 12 Luminance emphasis processing part 13 Contour emphasis processing part 14 Adder
Claims (9)
前記フィルタ手段によって抽出された第１の成分に対して輝度強調処理を施す輝度強調処理手段と、
前記フィルタ手段によって抽出された第２及び第５の成分に対して輪郭強調処理を施す輪郭強調処理手段と、
前記輝度強調処理手段によって輝度強調処理が施された第１の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第２及び第５の成分とを合成する合成手段と、
前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段と
を備えたことを特徴とする顔画像処理システム。 Input face image information constituting the input face image is converted into a first component and a second component indicating a facial structural component in an amplitude-frequency space, a third component indicating a facial skin stain component, Dividing into a fourth component indicating a wrinkle component of the skin and a fifth component indicating a natural uneven component of the skin of the face, extracting the first, second and fifth components and the third and Filter means for removing the fourth component;
Luminance enhancement processing means for performing luminance enhancement processing on the first component extracted by the filter means;
Contour enhancement processing means for performing contour enhancement processing on the second and fifth components extracted by the filter means;
A synthesizing unit that synthesizes the first component subjected to the luminance enhancement processing by the luminance enhancement processing unit and the second and fifth components subjected to the contour enhancement processing by the contour enhancement processing unit;
An output means for outputting output face image information representing the face image synthesized by the synthesizing means.
前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする請求項１記載の顔画像処理システム。 A plurality of the output face image information is generated,
The output means displays a plurality of output face images based on a plurality of generated face image information on a display screen,
Input means for receiving one of a selection instruction of a desired output face image designated by a user and a final instruction of determination of a final output face image from among the plurality of displayed output face images;
When an instruction to select the output face image is received by the input means, each of the processes in the filter means, the luminance enhancement processing means, and the contour enhancement processing means is performed based on face image information representing the selected output face image. A computing means for setting the parameters by interactive evolution calculation by performing crossover processing and mutation processing based on a genetic algorithm;
The filter unit, the brightness enhancement processing unit, and the contour enhancement processing unit repeatedly generate face image information based on the parameters set by the calculation unit until an instruction to determine the output face image is received by the input unit. The face image processing system according to claim 1, wherein:
ことを特徴とする請求項２記載の顔画像処理システム。 And a storage means for storing, as a reference parameter, the parameter for generating face image information representing the determined output face image when an instruction to determine the output face image is received by the input means. The face image processing system according to claim 2.
前記輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行う
ことを特徴とする請求項１〜３のいずれか１項記載の顔画像処理システム。 The filter means is constituted by an ε-separated nonlinear filter bank,
The face image processing system according to claim 1, wherein the brightness enhancement processing unit performs nonlinear gradient processing using a sigmoid function.
ことを特徴とする請求項１〜４のいずれか１項記載の顔画像処理システム。 The face image processing system according to claim 1, wherein the brightness enhancement processing unit enhances a shadow by enhancing a difference in brightness of the first component by nonlinear gradient processing.
前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
ことを特徴とする請求項１〜５のいずれか１項記載の顔画像処理システム。 A skin color extracting means for extracting a skin color area part in which at least one of the luminance and color information of the face image information is in a predetermined range in the previous stage of the filter means;
The filter unit, the brightness enhancement processing unit, the contour enhancement processing unit, and the synthesis unit perform each process only on face image information indicating the skin color area portion extracted by the skin color extraction unit. The face image processing system according to any one of claims 1 to 5.
ことを特徴とする請求項６記載の顔画像処理システム。 The output means combines the face image information indicating the skin color area portion output from the combining means and the face image information determined as an area other than the skin color area portion by the skin color extraction means, and outputs the output face. Image information is output. The face image processing system of Claim 6 characterized by the above-mentioned.
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、
前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、
前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、
前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成する工程と、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力する工程とを備えたことを特徴とする顔画像処理方法。 A face image processing method in a face image processing system comprising filter means, luminance enhancement processing means, contour enhancement processing means, synthesis means, and output means,
First and second components indicating facial structural components in amplitude-frequency space, and third components indicating facial skin stain components in the face-frequency information constituting the facial image input by the filter means And dividing into a fourth component indicating a wrinkle component of the facial skin and a fifth component indicating a natural uneven component of the facial skin, and extracting the first, second and fifth components Removing the third and fourth components;
Performing luminance enhancement processing on the extracted first component by the luminance enhancement processing means;
Applying contour enhancement processing by the contour enhancement processing means to the extracted second and fifth components;
Synthesizing the first component subjected to the luminance enhancement process and the second and fifth components subjected to the edge enhancement process by the synthesis unit;
And a step of outputting the output face image information synthesized by the synthesis means by the output means.
前記コンピュータに、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、
前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、
前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、
前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成させるステップと、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させる
ことを特徴とする顔画像処理プログラム。 A face image processing program for executing face image processing in a face image processing system having a computer including filter means, luminance enhancement processing means, contour enhancement processing means, synthesis means, and output means,
In the computer,
First and second components indicating facial structural components in amplitude-frequency space, and third components indicating facial skin stain components in the face-frequency information constituting the facial image input by the filter means And dividing into a fourth component indicating a wrinkle component of the facial skin and a fifth component indicating a natural uneven component of the facial skin, and extracting the first, second and fifth components Removing the third and fourth components;
Subjecting the extracted first component to luminance enhancement processing by the luminance enhancement processing means;
Applying contour enhancement processing to the extracted second and fifth components by the contour enhancement processing means;
Synthesizing the first component subjected to the luminance enhancement process and the second and fifth components subjected to the edge enhancement process by the synthesis unit;
And a step of outputting the output face image information synthesized by the synthesizing means by the output means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105899A JP5810384B2 (en) | 2011-05-11 | 2011-05-11 | Face image processing system, face image processing method, and face image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011105899A JP5810384B2 (en) | 2011-05-11 | 2011-05-11 | Face image processing system, face image processing method, and face image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012238135A true JP2012238135A (en) | 2012-12-06 |
| JP5810384B2 JP5810384B2 (en) | 2015-11-11 |
Family
ID=47460992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011105899A Active JP5810384B2 (en) | 2011-05-11 | 2011-05-11 | Face image processing system, face image processing method, and face image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5810384B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008534A (en) * | 2014-06-18 | 2014-08-27 | 福建天晴数码有限公司 | Intelligent human face beautifying method and device |
| WO2018003711A1 (en) * | 2016-06-30 | 2018-01-04 | 学校法人明治大学 | Facial image processing system, facial image processing method, and facial image processing program |
| KR20190139264A (en) * | 2017-09-30 | 2019-12-17 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | Image processing methods and devices, electronic devices and computer storage media |
| CN111263952A (en) * | 2017-09-25 | 2020-06-09 | 韦斯特尔电子工业和贸易有限责任公司 | Method, processing system and computer program for processing images |
| CN113763287A (en) * | 2021-09-27 | 2021-12-07 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001118064A (en) * | 1999-10-20 | 2001-04-27 | Nippon Hoso Kyokai <Nhk> | Image processor |
| JP2010066943A (en) * | 2008-09-10 | 2010-03-25 | Dainippon Printing Co Ltd | Image processing method and apparatus |
-
2011
- 2011-05-11 JP JP2011105899A patent/JP5810384B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001118064A (en) * | 1999-10-20 | 2001-04-27 | Nippon Hoso Kyokai <Nhk> | Image processor |
| JP2010066943A (en) * | 2008-09-10 | 2010-03-25 | Dainippon Printing Co Ltd | Image processing method and apparatus |
Non-Patent Citations (4)
| Title |
|---|
| CSNG200600879007; 田尻 文雄: 'インタラクティブ進化計算を用いた顔画像強調美観化システム' 電子情報通信学会技術研究報告 Ｖｏｌ．１０５ Ｎｏ．６７７, 20060315, ４３〜４７ページ, 社団法人電子情報通信学会 * |
| CSNJ201010088172; 鷲見 慎一郎: 'インタラクティブ進化計算を用いた顔画像陰影強調美観システム' 電子情報通信学会２０１０年基礎・境界ソサイエティ大会講演論文集 , 20100831, １７２ページ, 社団法人電子情報通信学会 * |
| JPN6014045798; 鷲見 慎一郎: 'インタラクティブ進化計算を用いた顔画像陰影強調美観システム' 電子情報通信学会２０１０年基礎・境界ソサイエティ大会講演論文集 , 20100831, １７２ページ, 社団法人電子情報通信学会 * |
| JPN6014045800; 田尻 文雄: 'インタラクティブ進化計算を用いた顔画像強調美観化システム' 電子情報通信学会技術研究報告 Ｖｏｌ．１０５ Ｎｏ．６７７, 20060315, ４３〜４７ページ, 社団法人電子情報通信学会 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008534A (en) * | 2014-06-18 | 2014-08-27 | 福建天晴数码有限公司 | Intelligent human face beautifying method and device |
| KR102411237B1 (en) * | 2016-06-30 | 2022-06-21 | 각코호진 메이지다이가쿠 | Face image processing system, face image processing method and face image processing program |
| WO2018003711A1 (en) * | 2016-06-30 | 2018-01-04 | 学校法人明治大学 | Facial image processing system, facial image processing method, and facial image processing program |
| JP2018005434A (en) * | 2016-06-30 | 2018-01-11 | 学校法人明治大学 | Face image processing system, face image processing method, and face image processing program |
| KR20190021360A (en) * | 2016-06-30 | 2019-03-05 | 각코호진 메이지다이가쿠 | Facial image processing system, facial image processing method, and facial image processing program |
| US10810719B2 (en) | 2016-06-30 | 2020-10-20 | Meiji University | Face image processing system, face image processing method, and face image processing program |
| US11605155B2 (en) | 2017-09-25 | 2023-03-14 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Method, processing system and computer program for processing an image |
| CN111263952A (en) * | 2017-09-25 | 2020-06-09 | 韦斯特尔电子工业和贸易有限责任公司 | Method, processing system and computer program for processing images |
| JP2020535524A (en) * | 2017-09-25 | 2020-12-03 | ベステル エレクトロニク サナイー ベ ティカレト エー．エス． | How to process images, processing systems and computer programs |
| JP7153716B2 (en) | 2017-09-25 | 2022-10-14 | ベステル エレクトロニク サナイー ベ ティカレト エー．エス． | Method, processing system and computer program for processing images |
| JP2020522081A (en) * | 2017-09-30 | 2020-07-27 | シェンチェン センスタイム テクノロジー カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Image processing method and apparatus, electronic device, computer storage medium |
| US10972709B2 (en) | 2017-09-30 | 2021-04-06 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus, electronic device, and computer storage medium |
| KR102225266B1 (en) * | 2017-09-30 | 2021-03-10 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | Image processing methods and devices, electronic devices and computer storage media |
| KR20190139264A (en) * | 2017-09-30 | 2019-12-17 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | Image processing methods and devices, electronic devices and computer storage media |
| CN113763287A (en) * | 2021-09-27 | 2021-12-07 | 北京市商汤科技开发有限公司 | Image processing method and device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5810384B2 (en) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103236040B (en) | A kind of color enhancement method and device | |
| JP4455897B2 (en) | Image processing method, apparatus, and program | |
| WO2018003711A1 (en) | Facial image processing system, facial image processing method, and facial image processing program | |
| JP5810384B2 (en) | Face image processing system, face image processing method, and face image processing program | |
| JP4952796B2 (en) | Image processing device | |
| Gerstner et al. | Pixelated image abstraction with integrated user constraints | |
| JP2010226260A (en) | Image output apparatus, edge enhancement device, and edge enhancement method | |
| JP5460987B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Kumari et al. | Fast single image and video deweathering using look-up-table approach | |
| JP4768869B1 (en) | Face image processing system, face image processing method, and face image processing program | |
| JP5676874B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2009025862A (en) | Image processor, image processing method, image processing program and image display device | |
| Zhang et al. | A novel tone mapping method for high dynamic range image by incorporating edge-preserving filter into method based on retinex | |
| TW200931947A (en) | Image processing apparatus and image processing method | |
| Li et al. | Adaptive Bregmanized total variation model for mixed noise removal | |
| Ohchi et al. | A nonlinear filter system for beautifying facial images with contrast enhancement | |
| JP4456096B2 (en) | Noise removing method, apparatus, and program | |
| JP4851196B2 (en) | Image processing method and apparatus, and image processing program | |
| Manikpuri et al. | Image enhancement through logarithmic transformation | |
| JP6325656B2 (en) | Apparatus, program and method for assisting focus evaluation | |
| KR101024818B1 (en) | Image processing apparatus using error diffusion method | |
| JP2010212870A (en) | Image processing apparatus and image display | |
| KR20160103213A (en) | High Speed Image Processing Method Using Retinex | |
| JP4585254B2 (en) | Authentication system | |
| JP2006053852A (en) | Authentication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140123 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5810384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |