JP6437664B2 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP6437664B2 JP6437664B2 JP2017544939A JP2017544939A JP6437664B2 JP 6437664 B2 JP6437664 B2 JP 6437664B2 JP 2017544939 A JP2017544939 A JP 2017544939A JP 2017544939 A JP2017544939 A JP 2017544939A JP 6437664 B2 JP6437664 B2 JP 6437664B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- facial
- roughness
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000001815 facial effect Effects 0.000 claims description 117
- 238000001914 filtration Methods 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002087 whitening effect Effects 0.000 claims description 7
- 210000000056 organ Anatomy 0.000 claims description 6
- 206010040829 Skin discolouration Diseases 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 235000019592 roughness Nutrition 0.000 description 40
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000003112 inhibitor Substances 0.000 description 2
- 206010013786 Dry skin Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
本発明は画像処理技術に関し、より具体的には、画像内の顔部分について処理を行う装置および方法に関する。
マルチメディア技術及びマルチメディア機器の発展につれ、人々の生活に利便性をもたらす様々なアプリケーションが現れている。例えば、ユーザは撮影した後、写真を加工して加工後の写真を友人や家族と共有したいと考えることがある。
例えば中国特許出願CN201410042209.4には、美的特徴の最適化の監視および深度の評価を行わないモデルに基づき、異なるタイプの顔を美顔化する方法が開示されている。
また、例えば中国特許出願CN201410137069.9には、顔肌の瑕疵を削除することに着目した美顔化方法が開示されている。
さらに、例えば中国特許出願CN200810116057.2には、顔画像における高周波成分を含まない顔画像を再構成するための顔画像投影ベクトルを用いた美顔化方法が開示されている。
また、韓国特許出願KR20070024140には、美に対する個人好みが考慮された3D顔モデリングシステムおよび方法が開示されている。
中国特許出願CN201410042209.4は、主に顔面形状の美化に着目し、顔肌に対する美化を行わないものであった。
また、中国特許出願CN201410137069.9は、肌の瑕疵のみに対して処理を行い、他の顔肌領域については処理を行わず、肌も美白化されないものであった。
また、中国特許出願CN200810116057.2は、画像における高周波成分を含まない顔画像を再構成するが、顔肌の美白化は実現されないものであった。
そして韓国特許出願KR20070024140は、主に3D顔モデリングに着目したものであった。
通常、ユーザは、写真に映った顔肌が自己適応的に美化されることを希望する場合がある。
しかし、上記のように従来の画像処理方法、特に従来の美顔化方法では、顔を自己適応的に美化することが困難で、良好なユーザ体験を提供し難いという問題が存在する。
そこで、本発明は、写真内の顔肌を自己適応的に美化することが可能な画像処理装置および方法を提供する。
本発明の一態様によれば、画像処理装置であって、
処理すべき画像を受信するように構成された画像受信モジュールと、
受信された画像内の顔領域を識別するように構成された顔部領域識別モジュールと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするように構成された肌美白化モジュールと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするように構成された顔肌平滑化モジュールと、
処理後の画像を出力するように構成された画像出力モジュールと、を備え、
前記肌美白化モジュールは、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕
で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くするように構成されている、画像処理装置を提供する。
処理すべき画像を受信するように構成された画像受信モジュールと、
受信された画像内の顔領域を識別するように構成された顔部領域識別モジュールと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするように構成された肌美白化モジュールと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするように構成された顔肌平滑化モジュールと、
処理後の画像を出力するように構成された画像出力モジュールと、を備え、
前記肌美白化モジュールは、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕
で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くするように構成されている、画像処理装置を提供する。
本発明の別の態様によれば、画像処理方法であって、
処理すべき画像を受信するステップと、
受信された画像内の顔領域を識別するステップと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするステップと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするステップと、
処理後の画像を出力するステップと、を含み、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕
で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くする、画像処理方法を提供する。
処理すべき画像を受信するステップと、
受信された画像内の顔領域を識別するステップと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするステップと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするステップと、
処理後の画像を出力するステップと、を含み、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕
で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くする、画像処理方法を提供する。
本発明の技術的構成によれば、ユーザが写真内の顔肌を美化しようとする際、写真内の顔肌の輝度および写真全体の輝度に基づいて顔肌を自己適応的に美白化すると共に、顔肌の粗さに基づいて顔肌を自己適応的に平滑化することができる。
本発明の更なる目的、特徴及び利点は下記の説明により更に明白となる。また、図面を参照して説明する下記構成により、本発明の利点は顕著になる。
以下、図面に基づいて本発明の例示的な実施例を詳述する。なお、以下の記載における一部の具体的な実施例は、単に説明するためのものであり、本発明を限定するものではなく本発明の例示にすぎないと理解されるべきである。また、本発明に対する理解に混同が生じ得る場合は、かかる通常の構成または構造の説明を省略する。
図1は、本発明の1つまたは複数の実施例に係る画像処理装置1000を示す模式ブロック図である。図示のように、該画像処理装置1000は、処理すべき画像を受信するように構成された画像受信モジュール1100と、受信された画像内の顔領域を識別するように構成された顔部領域識別モジュール1200と、画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするように構成された肌美白化モジュール1300と、顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするように構成された顔肌平滑化モジュール1400と、処理後の画像を出力するように構成された画像出力モジュール1500と、を備えている。
前記肌美白化モジュール1300は、顔領域内の画素のゲイン(gain)を下記式で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くするように構成されている。
式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、例えばk=2、4、8。
式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、例えばk=2、4、8。
輝度因子bfは、下記のように算出される。
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは、顔領域内の画素の平均グレースケールを算出することで得られた、顔領域の平均グレースケール値である。
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは、顔領域内の画素の平均グレースケールを算出することで得られた、顔領域の平均グレースケール値である。
本発明の実施例によれば、顔肌の輝度および画像全体の輝度に基づいて顔肌を自己適応的に白くすることができる。
輝度因子bfの算出において、C2、αおよびCgは何れも、異なる輝度因子gfについて算出されたbf値が出来る限り連続となるよう、予め設定された閾値である。また、ゲイン(gain)算出において、gc、βおよびηは何れも、異なるgpについて算出されたゲイン(gain)が適切な範囲内に含まれるよう、予め設定された閾値である。
一例として、gcを1.0とし、αを0.3とし、Cgを1.0とし、C2を1.3とし、βおよびηをそれぞれ0.001および0.0001としてもよい。勿論、他の好適な値であってもよい。また、{C2,α,Cg,gc,β,η}として、例えば{1.3,0.5,0.8,1.2,0.002,0.00001}、または{1.2,0.4,0.9,1.25,0.005,0.00002}を選択してもよい。
1つまたは複数の実施例において、前記顔部領域識別モジュール1200は、動的形状モデル(ASM)、動的外観モデル(AAM)または他の適用可能な方法に基づき、受信された画像内の顔領域と、顔領域における顔器官とを識別するように構成されてもよい。なお、前記顔領域における顔肌領域は、前記顔領域のうち、前記顔器官を除く領域である。
1つまたは複数の実施例において、前記顔肌平滑化モジュール1400は、グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得し、差分画像の平均グレースケール値を用いて顔部粗さを推定するように構成されてもよい。なお、前記差分画像の平均グレースケール値が大きいほど、前記顔部粗さが大きくなる。
また、1つまたは複数の実施例において、前記顔肌平滑化モジュール1400は、グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得し、固定の閾値に基づく分割手法を用いて差分画像を複数のサブ領域に分け、各々のサブ領域の領域サイズおよび平均グレースケール値を算出し、各々のサブ領域の平均グレースケール値に基づいて各々のサブ領域のサブ領域粗さを算出し、各々のサブ領域の領域サイズに基づいてサブ領域粗さについて重み付けを行うことにより顔部粗さを得るように構成されてもよい。
また、1つまたは複数の実施例において、前記顔肌平滑化モジュール1400は、前記顔肌領域の大きさを用いて顔部粗さを推定するように構成されてもよい。なお、前記顔肌領域が大きいほど、前記顔部粗さが大きくなる。
また、前記顔肌平滑化モジュール1400は、顔肌領域に対するフィルタリングのフィルタリング度を、前記顔部粗さに応じて制御するように構成されている。
上記のように、顔肌平滑化モジュール1400は、少なくとも3種類の手法を用いて顔部粗さを推定することができる。したがって、本発明の実施例によれば、顔肌を顔肌粗さに基づいて自己適応的に平滑化することができる。
図2は、本発明の1つまたは複数の実施例に係る画像処理方法2000を示すフローチャートである。
図2に示すように、該方法はステップS2100からスタートする。ステップS2100では、処理すべき画像を受信する。そしてステップS2200では、受信された画像内の顔領域を識別する。ステップS2300では、画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くする。続いて、ステップS2400では、顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングする。最後に、ステップS2500では、処理後の画像を出力する。
また、該方法において、顔領域内の画素のゲイン(gain)を下記式で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くする。
また、該方法において、顔領域内の画素のゲイン(gain)を下記式で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くする。
式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは、当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、例えばkが2、4または8である。
輝度因子bfは、下記のように算出される。
本発明の1つまたは複数の実施例によれば、受信された画像内の顔領域を識別するステップは、動的形状モデル(ASM)、動的外観モデル(AAM)または他の適用可能な方法に基づき、受信された画像内の顔領域と、顔領域における顔器官とを識別するステップを含んでもよい。なお、前記顔領域における顔肌領域は、前記顔領域のうち、前記顔器官を除く領域である。これにより、顔領域における顔肌のみに対する処理を行うことができ、得られた処理後の画像の精度がさらに良くなる。
図3は、本発明の1つまたは複数の実施例における顔肌領域を示す模式図である。図示のように、受信された画像内の顔領域、および顔領域内の要部である目、鼻、口などをASM、AAMまたは他の公知方法に基づいて識別した後、顔領域のうち、要部を除く領域を顔部粗さの推定に用いてもよい。図3に示すように、図中のアーチ線で囲まれた領域は顔領域を示し、ハッチング領域はそれぞれ人の鼻および口を示す。したがって、アーチ線で囲まれた領域のうち、ハッチング領域を除く部分は顔肌領域である。
本発明の1つまたは複数の実施例において、顔領域における顔肌領域の顔部粗さの算出は、グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得するステップと、差分画像の平均グレースケール値を用いて顔部粗さを推定するステップと、を含んでもよい。なお、前記差分画像の平均グレースケール値が大きいほど、前記顔部粗さが大きくなる。
本発明において、2つのパラメータセットとしては、システム内に設定されたデフォルト値を選択してもよい。これにより、ユーザが選択する必要がなくなる。例えば、適用される2つのパラメータセットがそれぞれ(0.05,0.01)および(15.5,0.01)であってもよい。なお、実際の使用時は、固定の2つのパラメータセットを用いる。2つのパラメータセットを用いて推定した粗さは、必ずしも人間が実際に感じた粗さと一致しなくてもよく、実際の粗さの間における相対的な粗さが得られればよい。
本発明の1つまたは複数の実施例において、顔領域における顔肌領域の顔部粗さの算出は、グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得するステップと、固定の閾値に基づく分割手法を用いて差分画像を複数のサブ領域に分けるステップと、各々のサブ領域の領域サイズおよび平均グレースケール値を算出するステップと、各々のサブ領域の平均グレースケール値に基づいて各々のサブ領域のサブ領域粗さを算出するステップと、各々のサブ領域の領域サイズに基づいてサブ領域粗さについて重み付けを行うことにより、顔部粗さを得るステップと、を含んでもよい。
該手法は、顔肌領域をサブ領域に分けた後、サブ領域に対して重み付けを行うことにより、顔肌領域全体における顔部粗さを得る手法であり、上記の他の手法よりも演算量が増えるが、顔部粗さをより精度良く得ることができる。例えば、頬の領域に対する平滑化がより好適となるように、頬の領域に関する重み付け値を、他の領域に関する重み付け値よりも大きく設定してもよい。さらに、例えば、目の周辺の皴が顔の他の領域よりも多い人については、顔の皴に対する平滑化がより好適となるように、目の周辺領域に関する重み付け値を、他の領域に関する重み付け値よりも大きく設定してもよい。
本発明の1つまたは複数の実施例において、顔領域における顔肌領域の顔部粗さの算出は、前記顔肌領域の大きさを用いて顔部粗さを推定するステップを含んでもよい。なお、前記顔肌領域が大きいほど、前記顔部粗さが大きくなる。該手法は、他の手法よりも演算量が少ない。
本発明の1つまたは複数の実施例において、前記顔部粗さに基づいて顔肌領域をフィルタリングする処理は、顔肌領域に対するフィルタリングのフィルタリング度を、前記顔部粗さに応じて制御するステップを含む。
1つまたは複数の実施例において、直接にシステムが、顔肌領域に施すべきフィルタリングのフィルタリング度を、顔部粗さに応じて制御してもよい。また、別の1つまたは複数の実施例において、ユーザにフィルタリング度を選択させ、ユーザによって選択されたフィルタリング度と顔部粗さとを乗算した積を、顔肌領域に施すべきフィルタリングのフィルタリング度としてもよい。これにより、平滑化後の画像は、写真内の顔肌の粗さに応じて自己適応的にフィルタリングしたものとなると共に、ユーザが希望したフィルタリング度を反映したものとなる。
上述した本発明の実施例に関する他の構成としては、上述した方法の実施例におけるステップ及び動作を実行するソフトウェアプログラムを含む。より具体的には、該コンピュータプログラム製品とは、符号化されたコンピュータプログラムロジックを記録したコンピュータ読み取り可能な記録媒体を備え、該コンピュータプログラムロジックがコンピュータ機器上で実行されると、上記の技術的構成の実現に関する処理が行われる製品である。また、該コンピュータプログラムロジックは、コンピューティングシステムにおける少なくとも1つのプロセッサにより実行されると、本発明の実施例に記載の動作(方法)が実行されるようになる。本発明の上記構成に供される代表的なものとしては、例えば、光学媒体(例えばCD−ROM)、フロッピ(登録商標)またはハードディスクのようなコンピュータ読み取り可能な記録媒体上に記録または符号化された、ソフトウェア、コード、及び/又は他のデータ構成;或いは、1つまたは複数のROM、RAM若しくはPROMチップ上のハード構成やマイクロコードのような別媒体、特定用途集積回路(ASIC);或いは、1つまたは複数のモジュール内のダウンロード可能なソフトウェア画像、共有データベース等が挙げられる。また、ソフトウェア、ハードウェアまたは上記のような構成をコンピュータ機器に設け、本発明の実施例に記載の技術的構成をコンピュータ機器内の1つまたは複数のプロセッサに実行させてもよい。また、例えばデータ通信機器セットまたは他の実体演算機器と共同で行われるソフトウェアプロセスによっても、本発明に係る機器は実現され得る。本発明に係る機器は、複数のデータ通信機器上の複数のソフトウェアプロセスの間、小型専用コンピュータ群上で動作するあらゆるソフトウェアプロセスの間、または、単独のコンピュータ上で動作するあらゆるソフトウェアプロセスの間に分散される形式で実現され得る。
厳密に言えば、本発明の実施例は、コンピュータ機器上のソフトウェアプログラム、ソフトウェアやハードウェア、または、独立ソフトウェア及び/又は独立回路としても実現され得るものと理解されるべきである。
なお、以上は単に例示の形で本発明の技術的構成を説明したが、本発明が上記のステップ及びユニット構成に限定されることを意味するものではない。可能であれば、必要に応じてステップ及びユニット構成を調整、取捨してもよい。したがって、一部のステップ及びユニットは、必ずしも本発明の思想全体に基づく実施に必要な要素ではない。そのため、本発明に必要な技術的特徴は、以上の具体的な実施例に限定されず、本発明の思想全体における必要最低限の構成を実現可能なもののみに限定される。
以上、好ましい実施例を例示しながら本発明について説明したが、当業者が本発明の精神及び範囲から逸脱しない範囲で、本発明に対して種々の変更、置換及び追加を行うことが可能であると理解されるべきである。したがって、本発明の範囲は、上述した特定な実施例に限定されず、添付される特許請求の範囲により限定されるべきである。
Claims (20)
- 画像処理装置であって、
処理すべき画像を受信するように構成された画像受信モジュールと、
受信された画像内の顔領域を識別するように構成された顔部領域識別モジュールと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするように構成された肌美白化モジュールと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするように構成された顔肌平滑化モジュールと、
処理後の画像を出力するように構成された画像出力モジュールと、を備え、
前記肌美白化モジュールは、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くするように構成されている、画像処理装置。 - 前記顔肌平滑化モジュールは、
グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得し、
差分画像の平均グレースケール値を用いて顔部粗さを推定するように構成されている、請求項1に記載の画像処理装置。 - 前記差分画像の平均グレースケール値が大きいほど、前記顔部粗さが大きくなる、請求項2に記載の画像処理装置。
- 前記顔肌平滑化モジュールは、
グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得し、
固定の閾値に基づく分割手法を用いて差分画像を複数のサブ領域に分け、
各々のサブ領域の領域サイズおよび平均グレースケール値を算出し、
各々のサブ領域の平均グレースケール値に基づいて各々のサブ領域のサブ領域粗さを算出し、
各々のサブ領域の領域サイズに基づいてサブ領域粗さについて重み付けを行うことにより、顔部粗さを得るように構成されている、請求項1に記載の画像処理装置。 - 前記顔肌平滑化モジュールは、前記顔肌領域の大きさを用いて顔部粗さを推定するように構成されている、請求項1に記載の画像処理装置。
- 前記顔肌領域が大きいほど、前記顔部粗さが大きくなる、請求項5に記載の画像処理装置。
- 前記顔肌平滑化モジュールは、顔肌領域に対するフィルタリングのフィルタリング度を、前記顔部粗さに応じて制御するように構成されている、請求項1に記載の画像処理装置。
- C2、αおよびCgは、異なるgfについて算出された輝度因子bfの値が出来る限り連続となるように設定されており、
gc、βおよびηは、異なるgpについて算出されたゲイン(gain)が適切な範囲内に含まれるように設定されている、請求項1に記載の画像処理装置。 - {C2,α,Cg,gc,β,η}が、{1.3,0.3,1.0,1.0,0.001,0.0001}、{1.3,0.5,0.8,1.2,0.002,0.00001}、{1.2,0.4,0.9,1.25,0.005,0.00002}の何れか1つである、請求項8に記載の画像処理装置。
- 前記顔領域における顔肌領域は、前記顔領域のうち、顔器官を除く領域である、請求項1に記載の画像処理装置。
- 画像処理方法であって、
処理すべき画像を受信するステップと、
受信された画像内の顔領域を識別するステップと、
画像全体の輝度および顔領域の輝度に基づいて顔領域内の画素について処理することにより、顔領域内の画素を白くするステップと、
顔領域における顔肌領域の顔部粗さを算出し、前記顔部粗さに基づいて顔肌領域をフィルタリングするステップと、
処理後の画像を出力するステップと、を含み、
顔領域内の画素のゲイン(gain)を下記式
〔式中、gcはゲイン定数因子であり、tg=exp(−bf*cl+β−s)、s=log(η+gp)、sは強光成分に対する抑制因子であり、βおよびηは定常値であり、局所コントラストcl=gp/gt、gpは当該画素のグレースケール値であり、gtは当該画素を中心としたk*k領域内における総グレースケール値であり、kは指定の定数であり、輝度因子bfは下記のように算出され、
αは予め設定された閾値であり、Cgは定常値であり、x=gf*gf、y=gf*C2、t=(α−gf)/α、C2は定常値であり、gfは顔領域の平均グレースケール値である〕で算出すると共に、顔領域内の画素のグレースケール値とゲイン(gain)とを乗算することにより顔領域内の画素を白くする、画像処理方法。 - 顔領域における顔肌領域の顔部粗さの算出は、
グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得するステップと、
差分画像の平均グレースケール値を用いて顔部粗さを推定するステップと、を含む、請求項11に記載の画像処理方法。 - 前記差分画像の平均グレースケール値が大きいほど、前記顔部粗さが大きくなる、請求項12に記載の画像処理方法。
- 顔領域における顔肌領域の顔部粗さの算出は、
グレースケール値と画素の空間的サイズとからなるパラメータセットを2セット用いて前記顔肌領域をフィルタリングすることにより2つの顔肌画像を獲得すると共に、前記2つの顔肌画像の差分を算出して差分画像を獲得するステップと、
固定の閾値に基づく分割手法を用いて差分画像を複数のサブ領域に分けるステップと、
各々のサブ領域の領域サイズおよび平均グレースケール値を算出するステップと、
各々のサブ領域の平均グレースケール値に基づいて各々のサブ領域のサブ領域粗さを算出するステップと、
各々のサブ領域の領域サイズに基づいてサブ領域粗さについて重み付けを行うことにより、顔部粗さを得るステップと、を含む、請求項11に記載の画像処理方法。 - 顔領域における顔肌領域の顔部粗さの算出は、前記顔肌領域の大きさを用いて顔部粗さを推定するステップを含む、請求項11に記載の画像処理方法。
- 前記顔肌領域が大きいほど、前記顔部粗さが大きくなる、請求項15に記載の画像処理方法。
- 前記顔部粗さに基づいて顔肌領域をフィルタリングする処理は、顔肌領域に対するフィルタリングのフィルタリング度を、前記顔部粗さに応じて制御するステップを含む、請求項11に記載の画像処理方法。
- C2、αおよびCgは、異なるgfについて算出された輝度因子bfの値が出来る限り連続となるように設定されており、
gc、βおよびηは、異なるgpについて算出されたゲイン(gain)が好適な範囲に含まれるように設定されている、請求項11に記載の画像処理方法。 - {C2,α,Cg,gc,β,η}が、{1.3,0.3,1.0,1.0,0.001,0.0001}、{1.3,0.5,0.8,1.2,0.002,0.00001}、{1.2,0.4,0.9,1.25,0.005,0.00002}の何れか1つである、請求項18に記載の画像処理方法。
- 前記顔領域における顔肌領域は、前記顔領域のうち、顔器官を除く領域である、請求項11に記載の画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510102800.9 | 2015-03-09 | ||
CN201510102800.9A CN106033593A (zh) | 2015-03-09 | 2015-03-09 | 图像处理设备和方法 |
PCT/CN2016/075789 WO2016141866A1 (zh) | 2015-03-09 | 2016-03-07 | 图像处理设备和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018512651A JP2018512651A (ja) | 2018-05-17 |
JP6437664B2 true JP6437664B2 (ja) | 2018-12-12 |
Family
ID=56880009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017544939A Expired - Fee Related JP6437664B2 (ja) | 2015-03-09 | 2016-03-07 | 画像処理装置および方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6437664B2 (ja) |
CN (1) | CN106033593A (ja) |
WO (1) | WO2016141866A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6720845B2 (ja) * | 2016-12-02 | 2020-07-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN108428214B (zh) * | 2017-02-13 | 2022-03-08 | 斑马智行网络(香港)有限公司 | 一种图像处理方法及装置 |
CN107358601B (zh) * | 2017-06-16 | 2020-02-28 | Oppo广东移动通信有限公司 | 面部光滑度计算方法及装置 |
CN107346544B (zh) * | 2017-06-30 | 2020-05-26 | 联想(北京)有限公司 | 一种图像处理方法和电子设备 |
CN109299632A (zh) * | 2017-07-25 | 2019-02-01 | 上海中科顶信医学影像科技有限公司 | 皮肤检测方法、***、设备及存储介质 |
CN107886469A (zh) * | 2017-09-26 | 2018-04-06 | 北京潘达互娱科技有限公司 | 一种图像美化方法、装置、电子设备及存储介质 |
CN108230331A (zh) * | 2017-09-30 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法和装置、电子设备、计算机存储介质 |
CN107784175B (zh) * | 2017-10-26 | 2021-11-09 | 深圳市雷鸟网络传媒有限公司 | 扫光控制方法、装置及可读存储介质 |
CN107784629B (zh) * | 2017-11-24 | 2021-10-15 | 努比亚技术有限公司 | 全景照片滤镜处理方法及移动终端 |
CN108537155B (zh) * | 2018-03-29 | 2021-01-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN108647600B (zh) * | 2018-04-27 | 2021-10-08 | 深圳爱酷智能科技有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
CN109685915B (zh) * | 2018-12-11 | 2023-08-15 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN110944112A (zh) * | 2019-11-22 | 2020-03-31 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
CN111507944B (zh) * | 2020-03-31 | 2023-07-04 | 北京百度网讯科技有限公司 | 皮肤光滑度的确定方法、装置和电子设备 |
CN111857512A (zh) * | 2020-07-17 | 2020-10-30 | 维沃移动通信有限公司 | 图像编辑方法、装置和电子设备 |
CN114219718A (zh) * | 2020-09-04 | 2022-03-22 | 广州虎牙科技有限公司 | 一种皮肤处理、直播方法、计算机设备和存储介质 |
CN112150353A (zh) * | 2020-09-30 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4182735B2 (ja) * | 2002-11-28 | 2008-11-19 | ソニー株式会社 | 顔色補正方法及び顔色補正装置及び撮像機器 |
JP2007036410A (ja) * | 2005-07-25 | 2007-02-08 | Seiko Epson Corp | 人の肌を好ましく見せるための画像処理 |
KR101446975B1 (ko) * | 2008-07-30 | 2014-10-06 | 디지털옵틱스 코포레이션 유럽 리미티드 | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 |
JP2010244239A (ja) * | 2009-04-03 | 2010-10-28 | Nikon Corp | 画像処理装置、デジタルカメラ及びプログラム |
JP4983962B2 (ja) * | 2009-07-23 | 2012-07-25 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN103839250B (zh) * | 2012-11-23 | 2017-03-01 | 诺基亚技术有限公司 | 用于面部图像处理的方法和设备 |
CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
CN103455790B (zh) * | 2013-06-24 | 2017-10-13 | 厦门美图网科技有限公司 | 一种基于肤色模型的皮肤识别方法 |
CN103927719B (zh) * | 2014-04-04 | 2017-05-17 | 北京猎豹网络科技有限公司 | 图片处理方法及装置 |
CN104318262A (zh) * | 2014-09-12 | 2015-01-28 | 上海明穆电子科技有限公司 | 通过人脸照片更换皮肤的方法及*** |
-
2015
- 2015-03-09 CN CN201510102800.9A patent/CN106033593A/zh active Pending
-
2016
- 2016-03-07 JP JP2017544939A patent/JP6437664B2/ja not_active Expired - Fee Related
- 2016-03-07 WO PCT/CN2016/075789 patent/WO2016141866A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN106033593A (zh) | 2016-10-19 |
WO2016141866A1 (zh) | 2016-09-15 |
JP2018512651A (ja) | 2018-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6437664B2 (ja) | 画像処理装置および方法 | |
JP5547730B2 (ja) | 顔検知を用いた顔及び肌の自動美化 | |
JP4461789B2 (ja) | 画像処理装置 | |
CN107369133B (zh) | 一种人脸图像美化方法和装置 | |
CN110663066A (zh) | 图像处理装置、图像处理***、图像处理方法和程序 | |
US20140147003A1 (en) | Method and Apparatus for Facial Image Processing | |
KR102390252B1 (ko) | 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술 | |
CN107194869B (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
WO2014169579A1 (zh) | 一种色彩增强方法及装置 | |
JP5095638B2 (ja) | 拡散ベースの画像再照明のための方法および装置 | |
JP6369246B2 (ja) | 似顔絵生成装置、似顔絵生成方法 | |
CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
JP2019070870A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017111595A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム | |
KR20130126026A (ko) | 세부정보 추정에 의한 영상 개선 장치 및 방법 | |
CN114742725A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2013171511A (ja) | 画像処理装置、画像処理プログラム及び記憶媒体 | |
WO2015144563A1 (en) | Image processing system and method | |
JP2002329198A (ja) | 画像質感強調装置、画像質感強調方法および画像質感強調プログラム | |
JP2009070260A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114202482A (zh) | 一种人脸图像去油光的方法 | |
JP2023044515A (ja) | 皺検出装置、皺検出方法、及び皺検出プログラム | |
CN114596226A (zh) | 图像去噪方法及装置、存储介质、终端设备 | |
CN114219739A (zh) | 一种高反差磨皮算法 | |
JP2020160490A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6437664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |