JP2020522081A - 画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体 - Google Patents

Abstract

本発明の実施形態は、画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体を開示し、そのうち、前記方法は、処理対象画像中の顔肌色領域を取得することと、前記処理対象画像に対してフィルタリングリングを行い、フィルタリングリングされた平滑化画像を取得することと、前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得することと、前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得することと、明るさチャンネルで顔肌色マスク及び予設の第１の重ね合わせ強度に基づいて前記高周波画像を重ね合わせ前記処理対象画像の明るさチャンネル信号に前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の処理対象画像を取得することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１７年９月３０日に中国特許局に提出された、出願番号ＣＮ２０１７１０９２８７４６．２、発明の名称「画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本発明の実施形態は、画像処理技術に関し、特に画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体に関する。

近年、人工知能技術の普及と発展に伴い、コンピュータによる画像に対する美化処理はますます多くのシーンに応用されている。例えば、顔の美化やシーン美化などの応用が挙げられ、その内に、顔の美化はユーザエクスペリエンスの向上につながるため、徐々に画像美化応用中の主な応用になる。

本発明の実施形態は、画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体を提供する。

本発明の実施形態によって提供される画像処理方法は、
処理対象画像中の顔肌色領域を取得することと、
前記処理対象画像に対してフィルタリングを行い、フィルタリングされた平滑化画像を取得することと、
前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得することと、
前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得することと、
前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の処理対象画像を取得することと、を含む。

本発明の実施形態の一態様によれば、
処理対象画像中の顔肌色領域を取得するように構成される領域取得ユニットと、
前記処理対象画像に対してフィルタリングを行い、平滑化画像を取得するように構成されるフィルタリングユニットと、
前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得するように構成される高周波取得ユニットと、
前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される顔肌色の高周波ユニットと、
前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される信号重ね合わせユニットと、を含む画像処理装置を提供する。

本発明の実施形態の一態様によれば、上述した画像処理装置を含むプロセッサーを備える電子デバイスを提供する。

本発明の実施形態の一態様によれば、実行可能コマンドを記憶するためのメモリと、前記メモリと通信し前記実行可能コマンドを実行することによって上述した画像処理方法の操作を実現するためのプロセッサーと、を含む電子デバイスを提供する。

本発明の実施形態の一態様によれば、コンピュータ可読コマンドを記憶するためのものであり、前記コマンドを実行する時に上述した画像処理方法の操作を実行するコンピュータ記憶媒体を提供する。

本発明の実施形態によって提供される画像処理方法によれば、処理対象画像中の顔肌色領域を取得し、処理する顔領域を決定して、後で顔領域のみを処理することによって、画像中の他の部分の表示効果に影響を与えず、処理対象画像に対するフィルタリングを行い、平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。

以下、図面および実施形態を参照して、本発明の技術手段をさらに詳細に説明する。

明細書の一部を構成する図面は本発明の実施形態を説明し、且つ説明と共に本発明の原理を解釈するために用いられる。

図面を参照して、以下の詳細な説明によって本発明をより明確に理解することができる。
本発明の画像処理方法の１つの実施形態のフローチャートである。 本発明の画像処理方法のもう１つの実施形態のフローチャートである。 本発明の画像処理方法のもう１つの実施形態のフローチャートである。 本発明の画像処理方法のもう１つの実施形態のフローチャートである。 本発明の画像処理装置の１つの実施形態の構造模式図である。 本発明の画像処理装置のもう１つの実施形態の構造模式図である。 本願の実施形態の端末機器またはサーバを実現するための電子デバイスの構造模式図である。

以下、図面を参照して本発明の各種の例示的な実施形態を詳細に説明する。特に断らない限り、これらの実施形態に記載の構成要素およびステップの相対的な配置、数値表現、および数値は、本発明の範囲を限定するものではないことに留意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

少なくとも１つの例示的な実施形態の以下の説明は、単なる例示であり、本発明及びその応用または使用を限定するものではない。

関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。

なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本発明の実施形態は、他の多数の汎用または専用コンピューティングシステム環境または構成とともに動作するコンピュータシステム／サーバに適用することができる。コンピュータシステム／サーバとともに使用される周知のコンピューティングシステム、環境及び／又は配置の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサーに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子デバイスはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記載できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。

本発明を実施する過程中に、発明者らは、従来技術が少なくとも以下の問題を有することを発見した。従来技術において、美化処理された顔画像は、全体的に黄色または赤色がかかった肌色を有し、層状化および保湿効果を欠く。

マスクは、選択範囲としてマーキーの内側を選択することによって取得される。マスクという言葉自体は、生活の応用、つまり「一番上のボード」の意味から来る。

図１は、本発明の画像処理方法の１つの実施形態のフローチャートである。図１に示すように、該実施形態の方法は、以下のステップを含む。

ステップ１０１において、処理対象画像中の顔肌色領域を取得する。

顔肌色領域を取得するには多くの方法があるが、画像中の各箇所の顔肌色を識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンスと彩度に基づき取得しても良く、ニューラルネットワークなどの技術によって取得してもよい。

その内に、処理対象画像中の顔肌色領域を取得することにより、処理する顔領域が決定され、画像内の他の部分の表示効果に影響を与えず、後で顔領域のみを処理することができる。

ステップ１０２において、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得する。

画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。

ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。

ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。

通常、美化処理された顔画像は、全体的に黄色または赤色がかかった肌色を有する（即ち、顔肌色マスク）。本実施形態では、「顔肌色マスクと顔肌色領域」を合わせて、高周波画像を利用して顔の肌の細部に対する最適化を実現する。

ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。

その内に、第１の画像は、画像の明るさチャンネルに処理対象画像と顔肌色高周波画像を重ね合わせて得られ、このように、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて第１の画像を取得し、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。

本発明の上記実施形態によって提供される画像処理方法によれば、処理対象画像中の顔肌色領域を取得し、受信した処理対象画像を最適化カラービデオ信号空間に変換することにより、最適化カラービデオ信号空間で処理対象画像中の顔肌色マスクを決定し、処理する顔領域を決定し、後で顔領域のみを処理し、画像内の他の部分の表示効果に影響を与えず、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、高周波画像においてより多くの肌の細部を反映でき、顔の肌の最適化がより正確になり、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、明るさチャンネルに顔肌色マスクおよび予設の第１の重ね合わせ強度に基づいて高周波画像および処理対象画像を重ね合わせて、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。

上記の各実施形態の一例では、操作１０１は、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得し、ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、操作１０２は、処理対象画像を明るさチャンネルでフィルタリングすることを含む。

ＹＣｒＣｂは、主にカラービデオ信号の転送を最適化するために使用されるＹＵＶであり、Ｙは明るさ（ＬｕｍｉｎａｎｃｅまたはＬｕｍａ）、即ちグレーレベル値を示し、Ｃｒは色相を示し、Ｃｂは彩度を示し、顔検出でＹＣｒＣｂ最適化カラービデオ信号空間がよく使用され、一般の画像はＲＧＢ空間に基づくものであるから、ＲＧＢ空間で顔肌色は明るさの影響を大きく受け、顔肌色の点を顔以外の色の点から分離することは困難であり、つまりその空間で処理された後、顔肌色の点は不連続な点になり、その間に多くの顔以外の色が混合されるので、顔肌色領域のキャリブレーション（顔キャリブレーション、目など）に問題が生じる。ＲＧＢをＹＣｒＣｂ空間に変換する場合に、該空間が明るさの影響を受けにくく、顔肌色が好適に分類するので、Ｙ（明るさ）の影響を無視することができる。このようにして、３次元空間が２次元のＣｒＣｂになり、顔肌色の点が特定の形状を形成し、例えば、顔であれば顔の領域が見え、腕であれば腕の形態が見え、パターン識別の処理に非常に適する。そこで、本実施形態では、処理対象画像をＹＣｒＣｂ空間に変換し顔肌色マスクを顔肌色領域として取得する。

上記の各実施形態の一例では、操作１０１は、処理対象画像の最適化カラービデオ信号空間でのクロミナンス値及び彩度値に基づいて処理対象画像中の顔肌色領域を決定することと、ニューラルネットワークを利用して処理対象画像の顔キーポイントを取得し、顔キーポイントに基づいて処理対象画像中の顔肌色領域を決定することと、を更に含む。

本実施形態では、経験によれば、ＹＣｒＣｂ空間において、ある点のＣｒクロミナンス値及びＣｂ彩度値が、１３３≦Ｃｒ≦１７３、７７≦Ｃｂ≦１２７を満たす場合に、その点は顔肌色の点と見なされ、その他は顔以外の色の点であるので、ＹＣｒＣｂ空間で処理対象画像中の顔肌色領域マスクを決定し、また顔キーポイントはトレーニングされたニューラルネットワークによって計算して得られ、顔肌色領域マスクに重ね合わせて顔キーポイント即ち顔肌色領域を決定でき、つまり、後で処理する顔領域を決定する。

上記の各実施形態の一例では、操作１０２は、フィルタに基づいて処理対象画像の明るさチャンネルでの全ての画素値に対してブロックフィルタリングを行うことを含む。

本実施形態では、フィルタリングによって顔の肌部分の最適化する必要がある細部を取得し、元の処理対象画像から最適化する必要がある細部を差し引き、最適化された画像の細部のみを強調する高周波画像を取得し、ブロックフィルタリングとは、まずカーネルを提供し、カーネルの各点の値と対応する画像の値を乗算し、フィルタリング後、写真のエッジ情報が失われることを指す。

上記の各実施形態の一例では、操作１０３は、処理対象画像の明るさチャンネルでの全ての画素値から対応的に平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得することを含む。

本実施形態では、フィルタリングによって得られた平滑化画像からノイズを除去し、明るさチャンネルで平滑化画像を差し引いて得られた高周波画像によって顔の肌の細部の明るさを調整する。

上記の各実施形態の一例では、操作１０４は、予設の第１の重ね合わせ強度に基づいて、高周波画像と顔肌色マスクを要素乗算し、顔肌色高周波画像を取得することを含む。

本実施形態では、調整可能な第１の重ね合わせ強度によって顔肌色高周波画像を取得し、人間の肌の明るさを制御可能な範囲で調整でき、さらにユーザのニーズに応じて調整することもでき、本実施形態では、高周波画像を元の処理対象画像に直接重ね合わせると、画像中の全ての細部が処理されるが、本発明は、顔肌色の部分のみの細部を最適化するので、重ね合わせる前に、高周波画像と顔肌色マスクを乗算し、ユーザのニーズに応じて最適化された強度に基づいて設定された第１の重ね合わせ強度で顔部分の細部を最適化し、本実施形態では、重ね合わせの式は式（１）に示される。

Ｙ１＝Ｙ＋ｈｉｇｈｐａｓｓ＊ｍａｓｋ２＊ｌｅｖｅｌ１ 式（１）
ただし、Ｙは処理対象画像の明るさチャンネルでの画素マップであり、Ｙ１は第１の画像の明るさチャンネルでの画素マップであり、ブロックフィルタリングされたぼかしの図をｓｍｏｏｔｈ＿Ｙと表記し、高周波図はｈｉｇｈｐａｓｓ＝Ｙ−ｓｍｏｏｔｈ＿Ｙであり、ｍａｓｋ２は顔の肌マスクであり、ｌｅｖｅｌ１は予設の第１の重ね合わせ強度である。

上記の各実施形態の一例では、処理対象画像を最適化カラービデオ信号空間に変換することを更に含む。

本実施例では、処理対象画像の元の空間は制限されず、変換された処理対象画像がＹＣｒＣｂ空間に位置すればよく、ここでの変換は、１回の変換または複数回の変換であっても良く、例えば、ＲＧＢ空間またはＮＶ２１フォーマットの処理対象画像は、すべてＹＣｒＣｂ空間に直接変換でき、ＲＧＢ空間からＹＣｒＣｂ空間に変換する式は以下の通りである（ＲＧＢからＹｃｒＣｂへの式は一意ではない）。

／／Ｙ＝０．２９９０Ｒ＋０．５８７０Ｇ＋０．１１４０Ｂ
／／Ｃｂ＝−０．１６８７Ｒ−０．３３１３Ｇ＋０．５０００Ｂ＋１２８
／／Ｃｒ＝０．５０００Ｒ−０．４１８７Ｇ−０．０８１３Ｂ＋１２８。

上記の各実施形態の一例では、操作１０５の前に、
ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて処理対象画像の明るさチャンネル信号を取得することと、
ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて顔肌色高周波画像の明るさチャンネル信号を取得することと、を更に含んでもよい。

本実施形態では、処理対象画像および顔肌色高周波画像がＹＣｒＣｂ空間に位置する場合に、処理対象画像および顔肌色高周波画像それぞれの明るさチャンネル、クロミナンスチャンネルと彩度チャンネルでの信号を取得できるので、ＹＣｒＣｂ空間では処理対象画像および顔肌色高周波画像に対応する明るさ信号を直接取得することができる。

図２は、本発明の画像処理方法のもう１つの実施形態のフローチャートである。図２に示すように、該実施形態の方法は以下のステップを含む。

ステップ１０１において、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する。

ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。

ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。

ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。

ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。

ステップ２０６において、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間で第１の画像中の色成分を調整する。

ＲＧＢカラーモードは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＲＧＢは赤、緑、青の３つのチャンネルの色で、ＲＧＢ空間で第１の画像中の色を調整することによって顔肌色の調整を実現する。

ステップ２０７において、色成分が調整された第１の画像をＨＳＬ（色相彩度明るさ）空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持して、第２の画像を取得する。

その内に、ＨＳＬカラーモードは、色相（Ｈ）、彩度（Ｓ）、明るさ（Ｌ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＨＳＬは色相、彩度、明るさの３つのチャンネルの色であり、ＨＳＬ空間で第１の画像の明るさ値を保持し、このようにして第２の画像を取得する。言い換えれば、第２の画像は第１の画像から得られたものであり、且つ第１の画像に対して順次色成分調整、ＨＳＬ空間変換、明るさ値保持などの処理を行って得られた画像という「所定の条件」を満たす。

他の実施形態では、該方法は、前記第２の画像をＹＣｒＣｂ空間に変換し、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて前記第２の画像中の顔領域上のシャドー領域マスクを取得することと、前記シャドー領域マスク中の明るさ値および赤色成分値を増やし、第４の画像を取得することと、を更に含む。その内に、第４の画像は第２の画像から得られたものであり、ＨＳＬ空間の第２の画像をＨＳＬ空間からＹＣｒＣｂ空間に変換し、その後明るさおよびクロミナンスの値に基づいて第２の画像中から顔領域上のシャドー領域マスクを取得し、最終的に前記シャドー領域マスク中の明るさ値および赤色成分値を増やして、第４の画像を取得する。

本実施形態によって提供される画像処理方法は、ＲＧＢ空間で第１の画像中の色および色相を調整することによって、従来技術において美化処理された後全体的に黄色または赤色がかかった肌色を有する問題を解決し、所期の肌の色が得られ、明るさ調整と組み合わせて透明な顔の肌を実現する。

上記の各実施形態の一例では、操作２０６は、ＲＧＢ空間に基づいて第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減することを含む。本実施形態では、ＲＧＢ空間で、青色に対応するＲ、Ｇ、Ｂ値はそれぞれ０、２５５、２５５であり、マゼンタに対応するＲ、Ｇ、Ｂ値はそれぞれ２５５、０、２５５であり、黄色に対応するＲ、Ｇ、Ｂ値はそれぞれ２５５、２５５、０であり、これらの３色の成分を調整する、または赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の成分を調整することによって顔肌色が血色良く健康的になり、より優れた視覚効果を実現することができる。

図３は本発明の画像処理方法のもう１つの実施形態のフローチャートである。図３に示すように、該実施形態の方法は、以下のステップを含む。

ステップ１０１において、ＹＣｒＣｂ（最適化カラービデオ信号）空間に基づく処理対象画像中の顔肌色領域を取得する。

ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。

ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。

ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。

ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。

ステップ３０８において、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像中の顔領域上のシャドー領域を取得し、シャドー領域中の明るさ値および赤色成分値を増やして第３の画像を取得する。

その内に、第３の画像は第１の画像から得られたものであり、第２の画像も第１の画像から得られたものであり、第３の画像と第２の画像とを比較すると、第２の画像は第１の画像をＨＳＬ空間で処理されて得られたものであり、第３の画像は第１の画像をＹＣｒＣｂ空間で処理されて得られたものである。

本実施形態では、明るさおよびクロミナンスに基づいて顔領域中のシャドー領域を決定でき、シャドー領域中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。

上記の各実施形態の一例では、シャドー領域中の明るさ値を増やすことは、
シャドー領域マスクの明るさチャンネルでの全ての画素値と第１の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得するステップＡ１と、
第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得するステップＡ２と、
第１の明るさのドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＡ３と、を含む。

本実施形態では、顔シャドー領域の明るさのみの調整を実現するために、明るさ値を調整する時に、まず明るさの重ね合わせ値とシャドー領域とのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいて明るさ処理された顔シャドー領域を第１の画像に重ね合わせ、第１の画像に基づく顔シャドー領域の明るさ調整を実現し、肌の立体感を増やす。

本実施形態では、重ね合わせ式は式（２）に示される。

Ｙ３＝Ｙ１＋Ｙ＿ａｄｄ＊ｍａｓｋ４＊ｌｅｖｅｌ２ 式（２）
ただし、Ｙ１は第１の画像の明るさチャンネルでの画素マップであり、Ｙ３は第３の画像の明るさチャンネルでの画素マップであり、Ｙ＿ａｄｄは明るさチャンネル成分の重ね合わせ値であり、ｍａｓｋ４は顔シャドーマスクであり、ｌｅｖｅｌ２は予設の第２の重ね合わせ強度である。

上記の各実施形態の一例では、シャドー領域中の赤色成分値を増やすことは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得するステップＢ１と、
第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度とのドット積から第１のクロミナンスドット積を取得するステップＢ２と、
第１のクロミナンスドット積と第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるステップＢ３と、を含む。

本実施形態では、重ね合わせ式は式（３）に示される。

Ｃｒ３＝Ｃｒ１＋Ｃｒ＿ａｄｄ＊ｍａｓｋ４＊ｌｅｖｅｌ２ 式（３）
ただし、Ｃｒ１は第１の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ３は第３の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ＿ａｄｄはクロミナンスチャンネル成分の重ね合わせ値であり、ｍａｓｋ４は顔シャドーマスクであり、ｌｅｖｅｌ２は予設の第２の重ね合わせ強度である。

本実施形態では、顔シャドー領域のクロミナンスのみの調整を実現するために、クロミナンス値を調整する時に、まずクロミナンスの重ね合わせ値とシャドー領域マスクとのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいてクロミナンス処理された顔シャドー領域を第１の画像に重ね合わせ、第１の画像に基づく顔シャドー領域のクロミナンス調整を実現し、肌の血色感を増やす。

図４は、本発明の画像処理方法のもう１つの実施形態のフローチャートである。図４に示すように、該実施形態の方法は、以下のステップを含む。

ステップ１０１において、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する。

ステップ１０２において、処理対象画像を明るさチャンネルでフィルタリングし、フィルタリングリングされた平滑化画像を取得する。

ステップ１０３において、平滑化画像及び処理対象画像に基づいて高周波画像を取得する。

ステップ１０４において、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得する。

ステップ１０５において、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。

ステップ２０６において、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間で第１の画像中の色成分を調整する。

ステップ２０７において、色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得する。

ステップ３０８において、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像中の顔領域上のシャドー領域を取得し、シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像を取得する。

本実施形態では、第２の画像に基づき、明るさおよびクロミナンスから顔領域中のシャドー領域マスクを決定でき、シャドー領域マスク中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。

上記の各実施形態の一例では、シャドー領域中の明るさ値を増やすことは、シャドー領域マスクの明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得するステップＣ１と、第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得するステップＣ２と、第２の明るさのドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＣ３と、を含む。

本実施形態では、顔シャドー領域の明るさのみの調整を実現するために、明るさ値を調整する時に、まず明るさの重ね合わせ値とシャドー領域マスクとのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいて明るさ処理された顔シャドー領域を第２の画像に重ね合わせ、第２の画像に基づく顔シャドー領域の明るさ調整を実現し、肌の立体感を増やす。

上記の各実施形態の一例では、シャドー領域中の赤色成分値を増やすことは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得するステップＤ１と、
第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得するステップＤ２と、
第２のクロミナンスドット積と第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるステップＤ３と、を含む。

本実施形態では、顔シャドー領域のクロミナンスのみの調整を実現するために、クロミナンス値を調整する時に、まずクロミナンスの重ね合わせ値とシャドー領域マスクのドット積を得、またユーザに予設された第２の重ね合わせ強度に基づいてクロミナンス処理された顔シャドー領域を第２の画像に重ね合わせ、第２の画像に基づく顔シャドー領域のクロミナンス調整を実現し、肌の血色感を増やす。

本発明の画像処理方法のもう１つの実施形態では、上記の図１、３、４の実施形態に基づき、該実施形態の方法は、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から第１の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得することと、唇領域中の明るさ値および赤色成分値を増やし、第５の画像を取得することと、を更に含む。

ただし、第５の画像は第１の画像、第３の画像または第４の画像から得られ、例えば、第５の画像は第１、３または４の画像の唇領域に明るさ値および赤色成分値を増やして得られたものである。

本実施形態では、最適化された第１の画像、第３の画像または第４の画像について、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて唇領域を決定し、更に唇領域中の明るさ値および赤色成分値を増やすることで、唇の血色および唇の明るさの向上効果を実現し、ユーザの体験を更に向上させる。

上記の各実施形態の一例では、唇領域中の明るさ値を増やすことは、
唇領域の明るさチャンネルでの全ての画素値と第１の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第４の明るさ重ね合わせマップまたは第５の明るさ重ね合わせマップを取得するステップＥ１と、第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ２と、第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ３と、第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＥ４と、を含む。

本実施形態では、実際に第１の画像に基づく処理、第３の画像に基づく処理、および第４の画像に基づく処理を含む３つの例に相当し、ユーザに予設された第３の重ね合わせ強度に基づいて画像の明るさチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスクの明るさ向上を実現する。

上記の各実施形態の一例では、唇領域中の赤色成分値を増やすことは、
唇領域のクロミナンスチャンネルでの全ての画素値と第１の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第４のクロミナンス重ね合わせマップまたは第５のクロミナンス重ね合わせマップを得るステップＦ１と、第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ２と、第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ３と、第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＦ４と、を含む。

本実施形態では、実際に第１の画像に基づく処理、第３の画像に基づく処理、および第４の画像に基づく処理を含む３つの例に相当し、ユーザに予設された第３の重ね合わせ強度に基づいて画像のクロミナンスチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスクのクロミナンスの赤色を実現し、唇の血色効果を実現する。

本実施形態では、重ね合わせ式は式（４）に示される。

Ｙ５＝Ｙｉ＋Ｙ＿ａｄｄ２＊ｍａｓｋ５＊ｌｅｖｅｌ３ 式（４）
ただし、Ｙｉは第ｉ画像の明るさチャンネルでの画素マップであり、ｉの値は１、３または４（後記のある実施形態の場合にｉは２である）であり、Ｙ５は第５の画像の明るさチャンネルでの画素マップであり、Ｙ＿ａｄｄ２は明るさチャンネル成分の重ね合わせ値であり、ｍａｓｋ５は唇領域マスクであり、ｌｅｖｅｌ３は予設の第３の重ね合わせ強度である。

本発明の画像処理方法のもう１つの実施形態では、上記の図２の実施形態に基づき、該実施形態の方法は、第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間に基づき明るさおよびクロミナンスの値から第２の画像中の顔領域上の唇領域を取得するステップＧ１と、唇領域中の明るさ値および赤色成分値を増やし、第６の画像を取得するステップＧ２と、を更に含む。その内に、第６の画像は第４の画像に類似し、第４の画像が前記第２の画像中の顔領域上のシャドー領域マスクに関する画像であり、第６の画像が第２の画像中の顔領域上の唇領域に関する画像である点で異なる。

本実施形態では、第２の画像の処理空間がＨＳＬ空間に位置するので、唇領域を処理する前に、まず第２の画像をＹＣｒＣｂ空間に変換し、ＹＣｒＣｂ空間で明るさおよびクロミナンスの値に基づいて唇領域を決定し、そして唇領域中の明るさ値および赤色成分値を増やすことで、唇の血色および唇の明るさの向上効果を実現し、ユーザの体験を向上させる。

本実施形態では、重ね合わせ式は式（５）に示される。

Ｃｒ５＝Ｃｒ ｉ＋Ｃｒ＿ａｄｄ２＊ｍａｓｋ５＊ｌｅｖｅｌ３ 式（５）
ただし、Ｃｒ ｉは第ｉ画像のクロミナンスチャンネルでの画素マップであり、ｉの値は１、３または４（後記のある実施形態の場合にｉは２である）であり、Ｃｒ５は第５の画像のクロミナンスチャンネルでの画素マップであり、Ｃｒ ＿ａｄｄ２はクロミナンスチャンネル成分の重ね合わせ値であり、ｍａｓｋ５は唇領域マスクであり、ｌｅｖｅｌ３は予設の第３の重ね合わせ強度である。

上記の各実施形態の一例では、唇領域中の明るさ値を増やすことは、
唇領域の明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第６の明るさ重ね合わせマップを取得するステップＨ１と、第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＨ２と、を含む。

本実施形態では、ユーザに予設された第３の重ね合わせ強度に基づいて画像の明るさチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域の明るさ向上を実現する。

上記の各実施形態の一例では、唇領域中の赤色成分値を増やすことは、
唇領域のクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第６のクロミナンス重ね合わせマップを取得するステップＪ１と、第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるステップＪ２と、を含む。

本実施形態では、ユーザに予設された第３の重ね合わせ強度に基づいて画像のクロミナンスチャンネルでの唇領域の重ね合わせマップを元の画像に重ね合わせ、唇領域マスク中のクロミナンスの赤色を実現し、唇の血色効果を実現する。

図５は本発明の画像処理装置の１つの実施形態の構造模式図である。該実施形態の装置は本発明の上記の各方法の実施例を実現するために用いられる。図５に示すように、該実施形態の装置は以下の手段を含む。

領域取得ユニット５１は、処理対象画像中の顔肌色領域を取得するように構成される。

その内に、顔肌色領域を取得する方式は様々あるが、画像中のどの箇所が顔肌色であるかを識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンス及び彩度に基づいて得られてもよく、ニューラルネットワークなどの技術によって得られてもよい。

フィルタリングユニット５２は、処理対象画像をフィルタリングし、平滑化画像を取得するように構成される。

その内に、画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。

高周波取得ユニット５３は、平滑化画像及び処理対象画像に基づいて高周波画像を取得するように構成される。

顔肌色の高周波ユニット５４は、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される。

信号重ね合わせユニット５５は、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される。

本発明の上記の実施形態によって提供される画像処理装置では、処理対象画像中の顔肌色領域を取得し、受信した処理対象画像を最適化カラービデオ信号空間に変換することにより、最適化カラービデオ信号空間で処理対象画像中の顔肌色マスクを決定し、処理する顔領域を決定し、後で顔領域のみを処理し、画像内の他の部分の表示効果に影響を与えず、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像を利用して顔の肌の細部に対する最適化を実現し、高周波画像においてより多くの肌の細部を反映でき、顔の肌の最適化がより正確になり、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、明るさチャンネルで顔肌色マスク及び予設の第１の重ね合わせ強度に基づいて高周波画像と処理対象画像を重ね合わせ、特定的に顔の肌の細部の明るさを高め、顔画像の表示効果がより立体的で目立つようになる。

上記の各実施形態の一例では、領域取得ユニット５１は、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得するように構成され、ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、
フィルタリングユニット５２は、処理対象画像を明るさチャンネルでフィルタリングするように構成される。

上記の各実施形態の一例では、領域取得ユニット５１は、処理対象画像の最適化カラービデオ信号空間でのクロミナンス値および彩度値に基づいて処理対象画像中の顔肌色領域を決定するように構成される顔肌色識別モジュールと、ニューラルネットワークを利用して処理対象画像の顔キーポイントを取得し、顔キーポイントに基づいて処理対象画像中の顔肌色領域を決定するように構成される領域識別モジュールと、を含む。

上記の各実施形態の一例では、フィルタリングユニット５２は、フィルタに基づいて処理対象画像の明るさチャンネルでの全ての画素値をブロックフィルタリングするように構成される。

上記の各実施形態の一例では、高周波取得ユニット５３は、処理対象画像の明るさチャンネルでの全ての画素値から対応的に平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得するように構成される。

上記の各実施形態の一例では、顔肌色の高周波ユニット５４は、予設の第１の重ね合わせ強度に基づいて、高周波画像と顔肌色マスクを要素乗算し、顔肌色高周波画像を取得するように構成される。

上記の各実施形態の一例では、ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて処理対象画像の明るさチャンネル信号を取得し、ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて顔肌色高周波画像の明るさチャンネル信号を取得するように構成される信号取得ユニットを更に含む。

上記の各実施形態の一例では、処理対象画像を最適化カラービデオ信号空間に変換するように構成される空間変換ユニットを更に含む。

図６は、本発明の画像処理装置のもう１つの実施形態のフローチャートである。図６に示すように、該実施形態装置は以下の手段を含む。

領域取得ユニット５１は、処理対象画像中の顔肌色領域を取得するように構成される。

顔肌色領域を取得方式が様々あるが、画像中のどの箇所が顔肌色であるかを識別できればよく、ＹＣｒＣｂ最適化カラービデオ信号空間でクロミナンス及び彩度に基づいて得られてもよく、ニューラルネットワークなどの技術によって得られてもよい。

フィルタリングユニット５２は、処理対象画像をフィルタリングし、平滑化画像を取得するように構成される。

画像フィルタリングは、画像の細部特徴を可能な限り保持する条件下で、目標画像のノイズを抑制することであり、画像の前処理に不可欠な操作であり、その処理効果は、後続の画像処理および分析の有効性と信頼性に直接影響し、本実施形態は、平滑化画像及び処理対象画像に基づいて高周波画像を取得することにより、高周波画像がより多くの肌の細部を反映することができ、顔の肌の細部に対する最適化を実現することができる。

高周波取得ユニット５３は、平滑化画像及び処理対象画像に基づいて高周波画像を取得するように構成される。

顔肌色の高周波ユニット５４は、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される。

信号重ね合わせユニット５５は、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される。

成分調整ユニット６６は、第１の画像をＲＧＢ３原色空間に変換し、ＲＧＢ空間に基づいて第１の画像中の色成分を調整するように構成される。

その内に、ＲＧＢカラーモードは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＲＧＢは赤、緑、青の３つのチャンネルの色で、ＲＧＢ空間で第１の画像中の色を調整することによって顔肌色の調整を実現する。

明るさ値保持ユニット６７は、色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、ＨＳＬ空間に基づいて色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得するように構成される。

ＨＳＬカラーモードは、色相（Ｈ）、彩度（Ｓ）、明るさ（Ｌ）の３つの色チャンネルの変化及びそれらの重ね合わせによって様々な色を得る業界のカラー標準の一つであり、ＨＳＬは色相、彩度、明るさの３つのチャンネルの色であり、ＨＳＬ空間で第１の画像の明るさ値を保持する。

本実施形態によって提供される画像処理方法は、ＲＧＢ空間で第１の画像中の色および色相を調整することによって、従来技術において美化処理された後全体的に黄色または赤色がかかった肌色を有する問題を解決し、所期の肌の色が得られ、明るさ調整と組み合わせて透明な顔の肌を実現する。

上記の各実施形態の一例では、成分調整ユニット６６は、ＲＧＢ空間に基づいて前記第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減するように構成される。

本発明の画像処理装置のもう１つの実施形態では、上記の各実施形態に基づき、該実施形態装置は、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて第１の画像または第２の画像中の顔領域上のシャドー領域を取得するように構成されるシャドー取得ユニットと、シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像または第４の画像を取得するように構成されるシャドー処理ユニットと、を更に含む。

本実施形態では、明るさおよびクロミナンスに基づいて顔領域中のシャドー領域を決定でき、シャドー領域中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。

上記の各実施形態の一例では、シャドー処理ユニットは、シャドー領域の明るさチャンネルでの全ての画素値と第１の画像または第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得する、またはシャドー領域の明るさチャンネルでの全ての画素値と第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得するように構成されるシャドードット積取得モジュールと、
第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得し、第１の明るさのドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得し、第２の明るさのドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成されるシャドー明るさ重ね合わせモジュールと、を含む。

上記の各実施形態の一例では、シャドー処理ユニットは、
シャドー領域のクロミナンスチャンネルでの全ての画素値と第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得する、またはシャドー領域マスクのクロミナンスチャンネルでの全ての画素値と第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得するように構成されるシャドークロミナンス重ね合わせモジュールと、
第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１のクロミナンスドット積を取得し、第１のクロミナンスドット積と第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせる、または、第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得し、第２のクロミナンスドット積と第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるように構成されるシャドークロミナンスドット積モジュールと、を更に含む。

上記の各実施形態の一例では、シャドー取得ユニットは、更に第２の画像を処理する前に、第２の画像を最適化カラービデオ信号空間に変換するように構成される。

本発明の画像処理装置のもう１つの実施形態では、上記の各実施形態に基づき、該実施形態装置は、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から第１の画像、第２の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得するように構成される唇取得ユニットと、唇領域中の明るさ値および赤色成分値を増やし、第５の画像、第６の画像、第７の画像または第８の画像を取得するように構成される唇処理ユニットと、を更に含む。

本実施形態では、第２の画像に基づき、明るさおよびクロミナンスから顔領域中のシャドー領域マスクを決定でき、シャドー領域マスク中の明るさ値および赤色成分値を調整することによって、肌の立体感を増やし、透明で血色良い効果を実現することができる。

上記の各実施形態の一例では、唇処理ユニットは、
唇領域の明るさチャンネルでの全ての画素値と第１の画像、第２の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第４の明るさ重ね合わせマップ、第５の明るさ重ね合わせマップまたは第６の明るさ重ね合わせマップを取得するように構成される唇明るさドット積モジュールと、
第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇明るさ重ね合わせモジュールと、を含む。

上記の各実施形態の一例では、唇処理ユニットは、
唇領域のクロミナンスチャンネルでの全ての画素値と第１の画像、第２の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第４のクロミナンス重ね合わせマップ、第５のクロミナンス重ね合わせマップまたは第６のクロミナンス重ね合わせマップを取得するように構成される唇クロミナンスドット積モジュールと、
第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇クロミナンス重ね合わせモジュールと、を更に含む。

上記の各実施形態の一例では、唇取得ユニットは第２の画像を処理する前に、更に第２の画像を最適化カラービデオ信号空間に変換するように構成される。

本発明の実施形態の一態様によれば、上記のような画像処理装置を含むプロセッサーを備える電子デバイスを提供する。

本発明の実施形態の一態様によれば、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信し前記実行可能コマンドを実行することによって上述した画像処理方法の操作を実現するためのプロセッサーと、含む電子デバイスを提供する。

本発明の実施形態の一態様によれば、コンピュータ可読コマンドを記憶するためのものであり、前記コマンドを実行する時に上述した画像処理方法の操作を実現するコンピュータ記憶媒体を提供する。

本発明の実施形態は、例えば携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどの電子デバイスを更に提供する。以下、図７を参照して、本願の実施形態の端末機器またはサーバを実現するのに適する電子デバイス７００の構造模式図であり、図７に示すように、コンピュータシステム７００は、１つまたは複数の中央処理ユニット（ＣＰＵ）７０１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）７１３などを含む１つまたは複数のプロセッサー、通信部等を含み、プロセッサーは、読み取り専用メモリ（ＲＯＭ）７０２に記憶された実行可能コマンドまたは記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能コマンドを実行することによって各種の適切な動作および処理を実現する。通信部７１２は、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、プロセッサーは、読み取り専用メモリ７０２及び／又はランダムアクセスメモリ７３０と通信し実行可能コマンドを実行し、バス７０４を介して通信部７１２と接続され、かつ通信部７１２を介して他のターゲットデバイスと通信することによって、本願の実施形態によって提供されるいずれかの方法に対応する操作を実現し、例えば、処理対象画像中の顔肌色領域を取得し、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。

また、ＲＡＭ７０３には、装置操作に必要な各種プログラムやデータを記憶することができる。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３はバス７０４を介して相互に接続される。ＲＡＭ７０３を有する場合に、ＲＯＭ７０２は任意選択可能なモジュールである。ＲＡＭ７０３は実行可能コマンドを記憶するか、または動作時に実行可能コマンドをＲＯＭ７０２に書き込み、実行可能コマンドによってプロセッサー７０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。通信部７１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

キーボード、マウス等を含む入力部７０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部７０７と、ハードディスク等を含む記憶部７０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信インタフェース７０９などがＩ／Ｏインタフェース７０５に接続されている。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体７１１は、必要に応じてドライバ７１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部７０８にインストールする。

なお、図７に示す構造は任意選択的な一実施例に過ぎず、具体的な実践では、実際の必要に応じて上記の図７の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。

特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供されるドアガード制御方法のステップに対応するコマンド、例えば、処理対象画像中の顔肌色領域を取得し、処理対象画像に対してフィルタリングを行い、フィルタリングリングされた平滑化画像を取得し、平滑化画像及び処理対象画像に基づいて高周波画像を取得し、高周波画像および顔肌色マスクに基づいて顔肌色高周波画像を取得し、処理対象画像の明るさチャンネル信号に、顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得する。このような実施形態では、該コンピュータプログラムは通信部７０９によってネットワークからダウンロードおよびインストールされ、及び／又はリムーバブル媒体７１１からインストールされ得る。中央処理ユニット（ＣＰＵ）７０１によって該コンピュータプログラムを実行する時に、本願の方法中の特定の上記機能を実現する。

本発明の方法及び装置、機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合せによって本発明の方法及び装置、機器を実現することができる。方法のステップのための上記順序は説明のために用いられ、本発明の方法のステップは、特に断らない限り、以上説明した順序に限定されない。また、いくつかの実施形態では、本発明は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本発明による方法を実現するための機械可読コマンドを含む。従って、本発明は本発明による方法を実現するためのプログラムが記憶された記録媒体も含む。

以上の説明は制限的ではなく例示的なものであり、本発明はこれらに限定されない。当業者にとっては多くの修正や変更を加えることは明らかである。本発明の原理および実際応用を説明するために、選択的に実施形態を説明したが、勿論、当業者は本発明に基づき特定用途向けの各種の修正を加えた様々な実施形態を想到することができる。

Claims (43)

1. 処理対象画像中の顔肌色領域を取得することと、
   前記処理対象画像をフィルタリングし、平滑化画像を取得することと、
   前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得することと、
   前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得することと、
   前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得することと、を含む画像処理方法。
2. 前記処理対象画像中の顔肌色領域を取得することは、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得することを含み、前記ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、
   前記処理対象画像をフィルタリングすることは、前記処理対象画像を明るさチャンネルでフィルタリングすることを含む請求項１に記載の方法。
3. 前記ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得することは、
   処理対象画像の前記最適化カラービデオ信号空間でのクロミナンス値および彩度値に基づいて前記処理対象画像中の顔肌色領域を決定ことと、
   ニューラルネットワークを利用して前記処理対象画像の顔キーポイントを取得し、前記顔キーポイントに基づいて前記処理対象画像中の顔肌色領域を決定することと、を含む請求項２に記載の方法。
4. 前記処理対象画像を明るさチャンネルでフィルタリングすることは、フィルタに基づいて前記処理対象画像の明るさチャンネルでの全ての画素値をブロックフィルタリングすることを含む請求項２または３に記載の方法。
5. 前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得することは、前記処理対象画像の明るさのチャンネルでの全ての画素値から対応して前記平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得することを含む請求項１〜４のいずれか１項に記載の方法。
6. 前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得することは、予設の第１の重ね合わせ強度に基づいて、前記高周波画像と前記顔肌色マスクを要素乗算し、顔肌色高周波画像を取得することを含む請求項１〜５のいずれか１項に記載の方法。
7. 前記処理対象画像の明るさチャンネル信号を前記顔肌色高周波画像の明るさチャンネル信号に重ね合わせる前に、
   ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記処理対象画像の明るさチャンネル信号を取得することと、
   ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記顔肌色高周波画像の明るさチャンネル信号を取得することと、を含む請求項２〜６のいずれか１項に記載の方法。
8. 最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得する前、処理対象画像を最適化カラービデオ信号空間に変換することを更に含む請求項２〜７のいずれか１項に記載の方法。
9. 前記第１の画像をＲＧＢ３原色空間に変換し、前記ＲＧＢ空間に基づいて前記第１の画像中の色成分を調整することと、
   色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、前記ＨＳＬ空間に基づいて前記色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得することと、を更に含む請求項１〜８のいずれか１項に記載の方法。
10. 前記ＲＧＢ空間に基づいて前記第１の画像中の色成分を調整することは、前記ＲＧＢ空間に基づいて前記第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減することを含む請求項９に記載の方法。
11. 最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて前記第１の画像中の顔領域上のシャドー領域を取得することと、
    前記シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像を取得することと、を更に含む請求項１〜８のいずれか１項に記載の方法。
12. 前記シャドー領域中の明るさ値を増やすことは、
    前記シャドー領域の明るさチャンネルでの全ての画素値と前記第１の処理対象画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得することと、
    前記第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得することと、
    前記第１の明るさのドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１１に記載の方法。
13. 前記シャドー領域中の赤色成分値を増やすことは、
    前記シャドー領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得することと、
    前記第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１のクロミナンスドット積を取得することと、
    前記第１のクロミナンスドット積と前記第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１１または１２に記載の方法。
14. 前記第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて前記第２の画像中の顔領域上のシャドー領域マスクを取得することと、
    前記シャドー領域マスク中の明るさ値および赤色成分値を増やし、第４の画像を取得することと、を更に含む請求項９または１０に記載の方法。
15. 前記シャドー領域中の明るさ値を増やすことは、
    前記シャドー領域の明るさチャンネルでの全ての画素値と前記第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得することと、
    前記第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得することと、
    前記第２の明るさのドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１４に記載の方法。
16. 前記シャドー領域中の赤色成分値を増やすことは、
    前記シャドー領域マスクのクロミナンスチャンネルでの全ての画素値と前記第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得することと、
    前記第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得することと、
    前記第２のクロミナンスドット積と前記第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１４または１５に記載の方法。
17. 最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から前記第１の画像、第３の画像または第４の画像中の顔領域上の唇領域を取得することと、
    前記唇領域中の明るさ値および赤色成分値を増やし、第５の画像、第７の画像または第８の画像を取得することと、を更に含む請求項１〜８、１１〜１３のいずれか１項に記載の方法。
18. 前記唇領域中の明るさ値を増やすことは、
    前記唇領域の明るさチャンネルでの全ての画素値と前記第１の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第５の明るさ重ね合わせマップまたは第６の明るさ重ね合わせマップを取得することと、
    前記第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
    前記第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
    前記第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１７に記載の方法。
19. 前記唇領域中の赤色成分値を増やすことは、
    前記唇領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値に対してドット積操作を行い、第３のクロミナンス重ね合わせマップ、第５のクロミナンス重ね合わせマップまたは第６のクロミナンス重ね合わせマップを取得することと、
    前記第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
    前記第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、
    前記第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項１７または１８に記載の方法。
20. 前記第２の画像を最適化カラービデオ信号空間に変換し、最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から前記第２の画像中の顔領域上の唇領域を取得することと、
    前記唇領域中の明るさ値および赤色成分値を増やし、第６の画像を取得することと、を更に含む請求項９または１０、１４〜１６のいずれか１項に記載の方法。
21. 前記唇領域中の明るさ値を増やすことは、
    前記唇領域の明るさチャンネルでの全ての画素値と前記第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第４の明るさ重ね合わせマップを取得することと、前記第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項２０に記載の方法。
22. 前記唇領域中の赤色成分値を増やすことは、前記唇領域のクロミナンスチャンネルでの全ての画素値と前記第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第４のクロミナンス重ね合わせマップを取得することと、前記第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせることと、を含む請求項２０または２１に記載の方法。
23. 処理対象画像中の顔肌色領域を取得するように構成される領域取得ユニットと、前記処理対象画像に対してフィルタリングを行い、平滑化画像を取得するように構成されるフィルタリングユニットと、前記平滑化画像及び前記処理対象画像に基づいて高周波画像を取得するように構成される高周波取得ユニットと、前記高周波画像及び前記顔肌色マスクに基づいて顔肌色高周波画像を取得するように構成される顔肌色の高周波ユニットと、前記処理対象画像の明るさチャンネル信号に、前記顔肌色高周波画像の明るさチャンネル信号を重ね合わせて、第１の画像を取得するように構成される信号重ね合わせユニットと、を含む画像処理装置。
24. 前記領域取得ユニットは、ＹＣｒＣｂ最適化カラービデオ信号空間に基づく処理対象画像中の顔肌色領域を取得するように構成され、前記ＹＣｒＣｂ最適化カラービデオ信号空間は、明るさチャンネル、クロミナンスチャンネル、および彩度チャンネルを含み、
    前記フィルタリングユニットは、前記処理対象画像を明るさチャンネルでフィルタリングするように構成される請求項２３に記載の装置。
25. 前記領域取得ユニットは、
    処理対象画像の前記最適化カラービデオ信号空間でのクロミナンス値および彩度値に基づいて前記処理対象画像中の顔肌色領域を決定するように構成される顔肌色識別モジュールと、
    ニューラルネットワークを利用して前記処理対象画像の顔キーポイントを取得し、前記顔キーポイントに基づいて前記処理対象画像中の顔肌色領域を決定するように構成される領域識別モジュールと、を含む請求項２４に記載の装置。
26. 前記フィルタリングユニットは、フィルタに基づいて前記処理対象画像の明るさチャンネルでの全ての画素値をブロックフィルタリングするように構成される請求項２４または２５に記載の装置。
27. 前記高周波取得ユニットは、前記処理対象画像の明るさのチャンネルでの全ての画素値から対応して前記平滑化画像の明るさのチャンネルでの対応位置の画素値を差し引き、高周波画像を取得するように構成される請求項２３〜２６のいずれか１項に記載の装置。
28. 前記顔肌色の高周波ユニットは、予設の第１の重ね合わせ強度に基づいて、前記高周波画像と前記顔肌色マスクとを要素乗算し、顔肌色高周波画像を取得するように構成される請求項２３〜２７のいずれか１項に記載の装置。
29. ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記処理対象画像の明るさチャンネル信号を取得し、ＹＣｒＣｂ最適化カラービデオ信号空間の明るさチャンネルに基づいて前記顔肌色高周波画像の明るさチャンネル信号を取得するように構成される信号取得ユニットを更に含む請求項２４〜２８のいずれか１項に記載の装置。
30. 処理対象画像を最適化カラービデオ信号空間に変換するように構成される空間変換ユニットを更に含む請求項２４〜２９のいずれか１項に記載の装置。
31. 前記第１の画像をＲＧＢ３原色空間に変換し、前記ＲＧＢ空間に基づいて前記第１の画像中の色成分を調整するように構成される成分調整ユニットと、色成分が調整された第１の画像をＨＳＬ色相彩度明るさ空間に変換し、前記ＨＳＬ空間に基づいて前記色成分が調整された第１の画像の明るさ値を保持し、第２の画像を取得するように構成される明るさ値保持ユニットと、を更に含む請求項２３〜３０のいずれか１項に記載の装置。
32. 前記成分調整ユニットは、前記ＲＧＢ空間に基づいて前記第１の画像中の青成分及びマゼンタ成分を増やし、黄色成分を低減するように構成される請求項３１に記載の装置。
33. 最適化カラービデオ信号空間で明るさおよびクロミナンスの値に基づいて前記第１の画像または第２の画像中の顔領域上のシャドー領域を取得するように構成されるシャドー取得ユニットと、前記シャドー領域中の明るさ値および赤色成分値を増やし、第３の画像または第４の画像を取得するように構成されるシャドー処理ユニットと、を更に含む請求項２３〜３２のいずれか１項に記載の装置。
34. 前記シャドー処理ユニットは、
    前記シャドー領域の明るさチャンネルでの全ての画素値と前記第１の画像または第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第１の明るさ重ね合わせマップを取得する、または前記シャドー領域の明るさチャンネルでの全ての画素値と前記第２の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第２の明るさ重ね合わせマップを取得するように構成されるシャドードット積取得モジュールと、
    前記第１の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１の明るさのドット積を取得し、前記第１の明るさのドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第２の明るさ重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２の明るさのドット積を取得し、前記第２の明るさのドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成されるシャドー明るさ重ね合わせモジュールと、を含む請求項３３に記載の装置。
35. 前記シャドー処理ユニットは、
    前記シャドー領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第１のクロミナンス重ね合わせマップを取得する、または前記シャドー領域マスクのクロミナンスチャンネルでの全ての画素値と前記第２の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第２のクロミナンス重ね合わせマップを取得するように構成されるシャドークロミナンス重ね合わせモジュールと、
    前記第１のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第１のクロミナンスドット積を取得し、前記第１のクロミナンスドット積と前記第１の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせる、または、前記第２のクロミナンス重ね合わせマップと予設の第２の重ね合わせ強度に対してドット積操作を行うことで第２のクロミナンスドット積を取得し、前記第２のクロミナンスドット積と前記第２の画像のクロミナンスチャンネルでの画素値を対応して重ね合わせるように構成されるシャドークロミナンスドット積モジュールと、を更に含む請求項３３または３４に記載の装置。
36. 前記シャドー取得ユニットは前記第２の画像を処理する前に、更に前記第２の画像を最適化カラービデオ信号空間に変換するように構成される請求項３３〜３５のいずれか１項に記載の装置。
37. 最適化カラービデオ信号空間に基づいて明るさおよびクロミナンスの値から前記第１の画像、第２の画像、第３の画像または第４の画像中顔領域上の唇領域を取得するように構成される唇取得ユニットと、
    前記唇領域中の明るさ値および赤色成分値を増やし、第５の画像、第６の画像、第７の画像または第８の画像を取得するように構成される唇処理ユニットと、を更に含む請求項２３〜３６のいずれか１項に記載の装置。
38. 前記唇処理ユニットは、
    前記唇領域の明るさチャンネルでの全ての画素値と前記第１の画像、第２の画像、第３の画像または第４の画像の明るさチャンネルでの重ね合わせ値のドット積に基づいて、第３の明るさ重ね合わせマップ、第４の明るさ重ね合わせマップ、第５の明るさ重ね合わせマップまたは第６の明るさ重ね合わせマップを取得するように構成される唇明るさドット積モジュールと、
    前記第３の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第４の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第５の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第６の明るさ重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇明るさ重ね合わせモジュールと、を含む請求項３７に記載の装置。
39. 前記唇処理ユニットは、
    前記唇領域のクロミナンスチャンネルでの全ての画素値と前記第１の画像、第２の画像、第３の画像または第４の画像のクロミナンスチャンネルでの重ね合わせ値のドット積に基づいて、第３のクロミナンス重ね合わせマップ、第４のクロミナンス重ね合わせマップ、第５のクロミナンス重ね合わせマップまたは第６のクロミナンス重ね合わせマップを取得するように構成される唇クロミナンスドット積モジュールと、
    前記第３のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第１の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第４のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第２の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第５のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第３の画像の明るさチャンネルでの画素値を対応して重ね合わせる、または、前記第６のクロミナンス重ね合わせマップと予設の第３の重ね合わせ強度のドット積と前記第４の画像の明るさチャンネルでの画素値を対応して重ね合わせるように構成される唇クロミナンス重ね合わせモジュールと、を含む請求項３７または３８に記載の装置。
40. 前記唇取得ユニットは第２の画像を処理する前に、更に前記第２の画像を最適化カラービデオ信号空間に変換するように構成される請求項３７〜３９中のいずれか１項に記載の装置。
41. 請求項２３〜４０のいずれか１項に記載の画像処理装置を含むプロセッサーを備える電子デバイス。
42. 実行可能コマンドを記憶するためのメモリと、
    前記メモリと通信し前記実行可能コマンドを実行することによって請求項１〜２２のいずれか１項に記載の画像処理方法の操作を実現するためのプロセッサーと、を含む電子デバイス。
43. コンピュータ可読コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドを実行する時に請求項１〜２２のいずれか１項に記載の画像処理方法の操作を実現するコンピュータ記憶媒体。

Images