JP3387071B2 - 画像識別装置および方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像に所定の処
理を施す画像処理装置などに用いて好適な画像識別装置
および方法に関する。

【０００２】

【従来の技術】画像に人物が含まれている場合、人間
は、画像の中の人物の肌の領域に注目する傾向があり、
この肌の領域の画質が、その画像全体に対する主観的画
質に大きな影響を与えることが知られている。

【０００３】そこで、従来の映像機器においては、再生
画像の画質調整を行う場合に、肌の領域を重視し、その
領域の画質が最適になるように、各種パラメータの設定
が行われるようになされている。

【０００４】ところで、従来、肌の領域の抽出は、画素
レベルの色情報のみに基づいて行われている。

【０００５】即ち、従来においては、色を表す３次元空
間としての、例えば図１８に示すＲＧＢ空間において、
肌色が占めると考えられる範囲（図中、影を付してある
部分）をあらかじめ設定しておき、その範囲に含まれる
色を持つ画素（図中、・印で示す部分）を画像から抽出
して、その画素が構成する領域を肌の領域（図中、斜線
を付してある部分）とみなすようになされている。

【０００６】なお、色を表すための３次元空間として
は、上述のＲＧＢ空間の他、例えばテレビジョン信号で
用いられるＹＵＶ空間、ＣＩＥ（国際照明委員会）によ
り制定されているＬ^*ａ^*ｂ^*均等空間などが用いられ
る。

【０００７】

【発明が解決しようとする課題】以上のように、従来に
おいては、肌色の領域を肌の領域と仮定している。しか
しながら、画像上の色が肌色であっても、その領域が、
実際に人間の肌の領域であるとは限らず、即ち人間の肌
以外にも、肌色の物体は存在し、従って、色の情報だけ
から正しく肌を識別することは困難であった。

【０００８】このため、肌の領域を含まない画像に対し
て、上述のような肌の領域を含む画像に対するときと同
様の画質調整がなされ、画質に悪影響を与える課題があ
った。

【０００９】本発明は、このような状況に鑑みてなされ
たものであり、画像における人の肌を正しく識別するこ
とができるようにするものである。

【００１０】

【課題を解決するための手段】本発明の画像識別装置
は、肌色の画素を抽出する抽出手段と、抽出手段により
抽出された肌色の各画素から、肌の領域の候補を検出す
る検出手段と、検出手段により検出された肌の領域の各
候補の中から、肌の領域の候補の少なくとも大きさと位
置を含む所定の条件を満たすものを選択し、選択された
肌の領域の各候補の色の分布の状態を検出し、検出した
色の分布の状態の特徴を表す第１の重要度を演算し、第
１の重要度に基づいて、肌の領域を決定する決定手段
と、決定手段の決定結果に基づいて、画像が、肌画像で
あるかどうかを判定し、その判定結果を出力する判定手
段とを備えることを特徴とする。

【００１１】色の分布は、クロマ／輝度の情報により規
定させるようにすることができる。

【００１２】第1の重要度は、クロマ／輝度の情報のヒ
ストグラムのピークの位置、ピークの幅、およびピーク
の数を表す値を含むようにさせることができる。決定手
段は、選択された肌の領域の各候補の大きさを表す第１
の値と、位置を表す第２の値で表される第２の重要度を
算出し、第２の重要度をさらに用いて肌の領域を決定さ
せるようにすることができる。 本発明の画像識別装置の
画像識別方法は、肌色の画素を抽出し、抽出された肌色
の各画素から、肌の領域の候補を検出し、検出された肌
の領域の各候補の中から、肌の領域の候補の少なくとも
大きさと位置を含む所定の条件を満たすものを選択し、
選択された肌の領域の各候補の色の分布の状態を検出
し、検出した色の分布の状態の特徴を表す重要度を演算
し、その重要度に基づいて、肌の領域を決定し、その決
定結果に基づいて、画像が、肌画像であるかどうかを判
定し、その判定結果を出力することを特徴とする。

【００１３】

【作用】本発明の画像識別装置および方法においては、
肌色の画素が抽出され、その各画素から、肌の領域の候
補が検出される。そして、肌の領域の各候補の中から、
肌の領域の候補の少なくとも大きさと位置を含む所定の
条件を満たすものが選択され、選択された肌の領域の各
候補の色の分布の状態が検出される。さらに、検出され
た色の分布の状態の特徴を表す第１の重要度が演算さ
れ、その第１の重要度に基づいて、肌の領域が決定され
る。その決定結果に基づいて、画像が、肌画像であるか
どうかが判定される。従って、正確に肌の識別を行うこ
とが可能となる。

【００１４】

【００１５】本発明を動画像に適用した場合、時間とと
もに変化する動画像における人物の肌を、時間的連続性
を損なうことなく識別するようにすることができる。

【００１６】

【実施例】図１は、本発明を適用した画像識別装置の一
実施例の構成を示すブロック図である。座標変換器１
は、例えば３原色であるＲ，Ｇ，Ｂのディジタルデータ
を色の３属性を表す輝度Ｌ、色相Ｈ、クロマＣに変換す
る。フレームメモリ２は、座標変換器からの１画面（フ
レーム）分の輝度Ｌ、色相Ｈ、クロマＣを記憶する。肌
色画素検出器３は、座標変換器１からの１画面分の輝度
Ｌ、色相Ｈ、クロマＣからその画面における肌色の条件
（以下、肌色条件という）を適応的に設定する。さら
に、肌色画素検出器３は、フレームメモリ２から順次各
画素の輝度Ｌ、色相Ｈ、クロマＣのデータを読み込み、
それらが設定した肌色条件を満たすかどうかを判定し
て、肌色条件を満たさない画素はフレームメモリ２から
削除する。

【００１７】肌領域候補検出器４は、肌領域の候補を検
出する。即ち、肌領域候補検出器４は、例えばフレーム
メモリ２において互いに連結している肌色画素を１つの
領域としてグルーピングし、同じ領域に含まれる全ての
画素に同一ラベルを割り付けることによって、肌色の領
域、つまり肌の領域（肌領域）の候補を求める。フレー
ムメモリ５は、肌領域候補検出器４によって画素に割り
あたられたラベルを記憶する。

【００１８】肌領域検出器６は、肌領域候補検出器４に
より検出された肌領域の候補の中から、実際に人物の肌
に対応すると考えられる領域を決定（検出）する。この
とき、各肌領域の候補の重要度と肌らしさを表す肌指数
（いずれも後述する）を用いるが、これらの値はフレー
ムメモリ２および５に記憶されたデータから計算する。
さらに、肌領域検出器６は、肌領域を決定（検出）する
ことができた場合には、そのことを示すコントロール信
号ｃｎｔｌ１を肌画像判定器７に送出する。肌画像判定
器７は、肌領域検出器６からコントロール信号ｃｎｔｌ
１を受信すると、即ち装置に入力された１画面分の画像
から、少なくとも１つの肌領域が決定（検出）される
と、その入力画像が、人物の肌に対応する肌の領域を含
む肌画像と判定し、判定結果として０および１のうち
の、例えば１を出力する。また、画像判定器７は、肌領
域検出器６からコントロール信号ｃｎｔｌ１が出力され
なかったときには、入力画像が肌画像でないと判定し、
判定結果として０および１のうちの、例えば０を出力す
る。

【００１９】以上のように構成される画像識別装置にお
いては、まず画像の、例えばＲＧＢデータが座標変換器
１に入力される。座標変換器１では、例えばＮＴＳＣテ
レビジョン信号の輝度・色差空間ＹＵＶを用いて、ＲＧ
Ｂから輝度Ｌ、色相Ｈ、クロマＣへの座標変換が行われ
る。

【００２０】即ち、座標変換器１は、式 Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ Ｕ＝Ｂ−Ｙ Ｖ＝Ｒ−Ｙ にしたがってＲＧＢをＹＵＶに変換し、さらに式 Ｌ＝Ｙ Ｈ＝ｔａｎ^-1（Ｖ／Ｕ） Ｃ＝（Ｕ²＋Ｖ²）^1/2 にしたがってＹＵＶをＬＨＣに変換する。

【００２１】なお、座標変換器１においては、ＮＴＳＣ
テレビジョン信号の輝度・色差空間ＹＵＶだけでなく、
例えばＣＩＥ（国際照明委員会）に制定されているＬ^*
ａ^*ｂ^*均等空間などを用いて、ＲＧＢからＬＨＣへの座
標変換を行うようにすることができる。

【００２２】即ち、この場合、まず式 Ｘ＝０．６０６７Ｒ＋０．１７３６Ｇ＋０．２００１Ｂ Ｙ＝０．２９８８Ｒ＋０．５８６８Ｇ＋０．１１４４Ｂ Ｚ＝０．０６６１Ｇ＋１．１１５０Ｂ ・・・（１） にしたがってＲＧＢをＣＩＥのＸＹＺ表示系に変換し、
さらに式 Ｌ^*＝１１６（Ｙ／Ｙ₀）^1/3−１６ ａ^*＝５００（（Ｘ／Ｘ₀）^1/3−（Ｙ／Ｙ₀）^1/3） ｂ^*＝２００（（Ｙ／Ｙ₀）^1/3−（Ｚ／Ｚ₀）^1/3） ・・・（２） にしたがってＸＹＺをＬ^*ａ^*ｂ^*に変換する。そして、
式 Ｌ＝Ｌ^* Ｈ＝ｔａｎ^-1（ｂ^*／ａ^*） Ｃ＝（ａ^*2＋ｂ^*2）^1/2 にしたがってＬ^*ａ^*ｂ^*をＲＧＢに変換する。

【００２３】但し、式（２）におけるＸ₀，Ｙ₀，Ｚ
₀は、白色基準面におけるＸ，Ｙ，Ｚの値であり、本来
は光源やカメラのホワイトバランスなどによって変化す
るものであるが、ここでは、例えばＲ，Ｇ，Ｂがそれぞ
れ最大値をとるときのＸ，Ｙ，Ｚとする。即ち、Ｘ₀，
Ｙ₀，Ｚ₀は、式（１）において、Ｒ＝Ｇ＝Ｂ＝１とした
ときのＸ，Ｙ，Ｚとする。

【００２４】また、式（２）は、式 Ｘ／Ｘ₀，Ｙ／Ｙ₀，Ｚ／Ｚ₀＞０．００８８５６ が成立するときの定義式（近似式）であり、従ってこれ
が成立しないときは、他の近似式によりＸＹＺをＬ^*ａ^*
ｂ^*に変換する必要がある。

【００２５】この近似式および上述の色空間の詳細は、 ・池田、「色彩工学の基礎」、朝倉書店 ・G.Wyszecki and W.S.stiles, "Color Science: Conce
pts and Methods, Quantitative Data and Formulae",
Wiley ・日本色彩学会、「色彩ハンドブック」、東京大学出版
会 などに記載されているので、ここではその説明は省略す
る。

【００２６】以上のようにして、座標変換器１でＲＧＢ
からＬＨＣへの変換がなされた後、この輝度Ｌ、色相
Ｈ、クロマＣは、フレームメモリ２に入力され、フレー
ムメモリ２は、１画面分の輝度Ｌ、色相Ｈ、クロマＣを
記憶する。

【００２７】さらに、輝度Ｌ、色相Ｈ、クロマＣは、肌
色画素検出器３にも入力され、そこで、肌色の画素が検
出される。

【００２８】即ち、肌色画素検出器３は、図２に示すよ
うに、色相判定器１１、輝度範囲検出器１２、クロマ範
囲検出器１３、および肌色判定器１４から構成され、ま
ず色相判定器１１で、座標変換器１からの各画素のＬＨ
Ｃのうち、色相Ｈが、式 Ｈ_min＜Ｈ＜Ｈ_max ・・・（３） を満たすか否かが判定される。

【００２９】ここで、Ｈ_min，Ｈ_maxはあらかじめ設定さ
れた値で、肌色の色相がとり得る最小値、最大値をそれ
ぞれ表す。

【００３０】そして、画素の色相Ｈが、式（３）を満た
すと判定された場合、その画素の輝度ＬとクロマＣが、
輝度範囲検出器１２、クロマ範囲検出器１３に出力され
る。輝度範囲検出器１２またはクロマ範囲検出器１３で
は、まず１画面分の画素のうち、色相判定回路１１から
供給された、式（３）を満たす画素、即ち、肌色の色相
を有する画素の輝度ＬまたはクロマＣの平均値Ｌ_aveま
たはＣ_aveがそれぞれ算出される。そして、この輝度Ｌ
の平均値Ｌ_aveまたはクロマＣの平均値Ｃ_aveから、肌色
とみなし得る輝度またはクロマの最大値Ｌ_maxまたはＣ
_maxと、最小値Ｌ_{mi n}またはＣ_minが、次式にしたがって
それぞれ計算される。

【００３１】Ｌ_min＝Ｌ_ave×ｐ Ｌ_max＝Ｌ_ave×ｑ Ｃ_min＝Ｃ_ave×ｒ Ｃ_max＝Ｃ_ave×ｓ 但し、ｐ，ｑ，ｒ，ｓは、平均値Ｌ_aveまたはＣ_aveに対
してどの程度の値を最小値、最大値とするかを決める定
数で、式 ｐ，ｒ≦１．０ ｑ，ｓ≧１．０ の範囲における適当な値にあらかじめ設定されている。

【００３２】輝度範囲検出器１２で計算されたＬ_maxお
よびＬ_minと、クロマ範囲検出器１３で計算されたＣ_max
およびＣ_minは、肌色判定器１４に供給される。肌色判
定器１４では、まずフレームメモリ２（図１）から、１
画面分の各画素のＬ，Ｈ，Ｃデータが順次読み出され、
それが式（３）乃至（５）をそれぞれ満たすか否かが判
定される。 Ｌ_min＜Ｌ＜Ｌ_max ・・・（４） Ｃ_min＜Ｃ＜Ｃ_max ・・・（５）

【００３３】そして、肌色判定器１４は、式（３）乃至
（５）のうち、１つでも成立しないものがある場合に
は、その画素をフレームメモリ２上から除去する。

【００３４】ここで、一般に、輝度Ｌ、色相Ｈ、クロマ
Ｃの色空間では、色再現域の問題で輝度Ｌが大きい場合
にはクロマＣが大きい値をとり得ないので、ＬＨＣすべ
てが、装置の語長によって表現し得る最大の値ｖ
_max（例えば、語長８ビットの場合にはｖ_max＝２５５）
をとるような色は現実には存在することはなく、従って
ＬＨＣすべてをｖ_maxとした画素を、肌色以外の画素を
表すものとして用いても問題は生じない。

【００３５】そこで、本実施例においては、式（３）乃
至（５）のうちの１つでも満たさない画素、即ち、肌色
でない（と考えられる）画素のＬＨＣすべてを、最大値
ｖ_{ma x}に置き換え、フレームメモリ２に保存し直すこと
により、その画素のＬＨＣをフレームメモリ２上から除
去したものとみなすようにすることとする。

【００３６】ここで、画像に現れる肌の色（いわゆる肌
色ではなく、人間の肌の部分の色）は、個人差や照明条
件により変化するので、上述の式（３）乃至（５）によ
る制限が厳しすぎると、実際には肌である領域を抽出す
ることができないときが生じる。

【００３７】しかしながら、後述する処理を行う前の、
この段階で、実際には肌である領域を抽出し損なうこと
は、最終的に、その実際に肌である領域を検出すること
ができなくなることから、式（３）乃至（５）のうち、
例えば式（３）による色相Ｈの制限を、ほぼすべての肌
の色相を含むように、ゆるめに設定しておくようにする
（なぜなら、式（４）および（５）における閾値
Ｌ_min，Ｌ_max，Ｃ_min，Ｃ_maxは、上述のように式（３）
の制限にかからなかった画素のＬ，Ｃから算出されるの
で、式（３）の制限をゆるめにすることは、式（３）乃
至（５）すべての制限をゆるめにすることに等しいた
め）。

【００３８】また、これにより、肌の画素と考えられる
輝度またはクロマの平均値Ｌ_aveまたはＣ_aveが、極端に
大きく、あるいは小さくなり、その結果、式（４），
（５）におけるＬ_min，Ｃ_min，Ｌ_max，Ｃ_maxが、不適当
な値となる（大きく、あるいは小さくなりすぎる）こと
が考えられる。

【００３９】そこで、Ｌ_min，Ｃ_minに上限を、Ｌ_max，
Ｃ_maxに下限を設け、Ｌ_min，Ｃ_minが小さくなりすぎた
り、Ｌ_max，Ｃ_maxが大きくなりすぎたりすることを禁止
しておくようにする。

【００４０】なお、本来、色味はクロマで表現される
が、実際には、クロマが同じ画素でも、輝度が小さいほ
ど色味が高いように感じられるので、色味による制限に
は、クロマだけではなく、クロマと輝度の比Ｃ／Ｌを用
いた方が適当であると考えられる。特に、輝度の低い画
素に対しては、このクロマと輝度の比により色味を制限
することは、クロマだけによるよりも有効であると考え
られる。

【００４１】また、Ｃ／Ｌは、輝度Ｌが高ければ、クロ
マＣが高くても、その値は大きくならないが、経験的に
は、輝度Ｌが高くなっても、肌色として許容することの
できるクロマＣの上限値は、それほど大きくならない。
従って、輝度Ｌの高い画素に対しては、そのクロマＣに
上限を設けるようにするのが適当であると考えられる。

【００４２】そこで、肌色画素検出器３においては、上
述の式（３）乃至（５）によるＬ，Ｈ，Ｃの制限に、式
（６）によって示される画素の色味による制限を加えて
肌色の画素を検出するようにする方が好ましい。 Ｃ／Ｌ＜ｃ×Ｌ_max ・・・（６） 但し、ｃは所定の定数。

【００４３】以上のようにして、肌色画素検出器３によ
り、肌色でない画素のＬＨＣが、フレームメモリ２から
除去された後、フレームメモリ２に残された画素、即ち
肌色の画素（以下、肌色画素という）のセグメント化
（肌の領域の候補の検出）が、肌領域候補検出器４（図
１）によって行われる。

【００４４】即ち、肌領域候補検出器４は、フレームメ
モリ２に記憶された肌色画素を参照し、その近傍画素を
調べることによってラベル付けを行い、肌の領域の候補
を構成していく。なお、画素が肌色画素であるか否かの
判定は、ＬＨＣすべての値がｖ_maxであるかどうかによ
ってなされる（Ｌ，Ｈ，Ｃのうち、少なくとも１つがｖ
_maxでなければ、その画素を肌色画素と判定する）。

【００４５】具体的には、まず、フレームメモリ２に記
憶されたある画素ｘ₀が肌色画素である場合、例えば図
３（ａ）に示すような、その画素ｘ₀に隣接する４画素
（図中、影を付してある部分）が、それぞれ肌色画素で
あるか否かが判定される。そして、例えば画素ｘ₀の右
上の画素ｘ_nが、肌色画素であった場合には、フレーム
メモリ５上の画素ｘ_nの値が参照され、その画素にすで
にラベルが割り当てられているかが判定される。

【００４６】判定の結果、画素ｘ_nに、ラベルｔ_nが既に
割り当てられている場合には、そのラベルと同一のラベ
ルｔ_nが画素ｘ₀に割り当てられる。これは、フレームメ
モリ５上の画素ｘ₀にラベルｔ_nを書き込むことによって
行われる。

【００４７】なお、肌色画素ｘ₀の４つの隣接画素のう
ちの２つ以上の画素が肌色画素で、且つそれらに既にラ
ベルが割り付けられており、しかもそれらが異なったラ
ベルである場合には、肌領域候補検出回路４（図１）
は、そのいずれかのラベルを画素ｘ₀に割り当て、フレ
ームメモリ５に記憶させるとともに、それらすべてのラ
ベルが隣接していることを、その内蔵するメモリ（図示
せず）のラベルテーブルに記憶するようになされてい
る。

【００４８】即ち、例えば図３（ｂ）に示すように、肌
色画素ｘ₀の４つの隣接画素のうちの３つが肌色画素
で、且つ既にラベルが割り付けられており、しかも、３
つの肌色画素のうちの２つのラベルが、ｔ_mであるとと
もに、残りの１つのラベルがｔ_nである場合、肌領域候
補検出回路４において、画素ｘ₀には、ラベルｔ_mおよび
ｔ_nのうちの、例えばラベルｔ_mが割り当てられ、フレー
ムメモリ５の画素ｘ₀に対応する位置（アドレス）に登
録されるとともに、例えば図３（ｃ）に示すようなラベ
ルテーブルに、ラベルｔ_mとラベルｔ_nが隣接しているこ
とが記憶される。

【００４９】但し、隣接画素のいずれにもラベルが、ま
だ割り当てられていない場合には、肌領域候補検出器４
によって新たなラベルが発生され、それが画素ｘ₀に割
り当てられるようになされている。

【００５０】図３（ｃ）のラベルテーブルにおいては、
その左のコラムには、これまでに発生されたラベルが、
その発生順に記述され、また、その右のコラムには、左
コラムに記述されたラベルに対して隣接するラベルが記
述される。さらに、右コラムには、左コラムのラベルよ
りも先に発生されたラベルが記述される。

【００５１】従って、図３（ｃ）のラベルテーブルに示
すように、ラベルｔ_mはラベルｔ_nよりも先に発生されて
いる場合、この２つのラベルｔ_mとｔ_nが割り当てられた
画素が隣接しているときには、ラベルｔ_nに対応する右
コラムにｔ_mが記述される。

【００５２】但し、ラベルｔ_mに対応するコラムにラベ
ルｔ_kが、既に書き込まれており（ラベルｔ_mの画素がそ
れより先に発生されたラベルｔ_kの画素と隣接してお
り）、ラベルｔ_mが割り当てられた画素と、それより後
に発生されたラベルｔ_nが割り当てられた画素が隣接し
ているときには、図３（ｄ）に示すように、ラベルｔ_k
が、ラベルｔ_nに対応するコラムに書き込まれる。

【００５３】その後、さらに肌領域候補検出器４では、
フレームメモリ５に記憶されたラベルデータに対して再
ラベリングが行われる。これは、図４（ａ）に示すよう
に、上述した１回のラベリングでは、隣接しているのに
も関わらず異なるラベルが割り当てられているような画
素（画素からなる領域）が存在し得るからである。再ラ
ベリングは、１回目のラベリングにおいて作成した、ラ
ベルの隣接関係を保存したラベルテーブルに基づいて行
われる。

【００５４】即ち、肌領域候補検出器４において、ラベ
ルテーブル（図３（ｃ）または図３（ｄ））が参照さ
れ、フレームメモリ５に記憶されたラベルのうち、隣接
ラベルがラベルテーブルに記述されているラベルが、隣
接ラベルに変換されることにより、隣接している肌色画
素は、すべて同一のラベルが割り当て直され、フレーム
メモリ５に記憶し直される。

【００５５】これにより、例えば図４（ａ）に示すよう
に１回目のラベリングがなされた領域は、図４（ｂ）に
示すように再ラベリングされる。

【００５６】再ラベリングによって同一のラベルが割り
当てられた画素の集合は、１つの肌の領域候補とされ、
そのラベルの集合（ｔ０，ｔ１，ｔ２， ・・・ ）
は、肌領域候補検出器４から肌領域検出器６に出力され
る。

【００５７】なお、上述の場合、画素が肌色画素であれ
ば、必ずラベル付けを行うようにしたが、画素が肌色画
素であっても、その画素が、他の肌色画素と接する部分
が少ないときには、それが、ある物体（人間も含む）の
肌色の領域の端の部分であると考えられ、このような画
素を肌色画素として残しておくと、その画素を含む肌色
の領域が、他の物体の肌色の領域に接続してしまい、本
来２つの領域とされるべきところが、１つの領域にされ
る恐れがある。

【００５８】そこで、画素が肌色画素であった場合、例
えば、その画素に隣接する周りの８つの画素（上、下、
左、右、左上、左下、右上、右下の画素）のうち、所定
の数以上の画素が肌色画素であったときのみ、その画素
にラベル付けを行うようにすることができる。

【００５９】肌領域検出器６は、例えば図５に示すよう
に、ヒストグラム生成器２１、ヒストグラム解析器２
２、肌領域判定器２３、領域解析器２４から構成され、
肌領域候補検出器４によって検出された肌の領域の候補
から、肌の領域を決定する。

【００６０】即ち、まず領域解析器２４において、フレ
ームメモリ５が参照され、同一ラベルにより構成された
肌の領域の各候補の大きさ、位置、及び穴の大きさが求
められ、これらの閾値処理が行われることにより、あま
り小さな領域や、画面上の隅に位置する領域、大きな穴
を有する領域は、肌の領域の候補（以下、肌領域候補と
いう）から削除される。

【００６１】ここで、領域の大きさとはその領域を構成
する画素の数とし、領域の位置は、その領域の重心座標
によって表わすものとする。また、領域の穴を、ある肌
領域候補における肌色画素で囲まれた、肌色でない画素
（非肌色画素）の集合と定義し、その画素数を穴の大き
さとする。

【００６２】領域の大きさやその画面上の位置は、その
領域の画像における重要度を表わすものと考えられる。
これは、大きい領域や画面中央にある領域は一般的によ
く目立ち、画像の内容からもその重要性が高いと考えら
れるからである。一方、穴の大きさは領域の肌らしさを
表わす１つの量と考えられる。なぜならば、通常、肌の
領域は、肌色の画素で満たされており、従ってあまり大
きな穴を有さないと考えられる。もちろん、例えば顔な
どは、穴としての目や唇など肌色でない部分も含むが、
その大きさは顔全体の大きさに比べてそれほど大きなも
のではない。これに対し、肌でないものに対応する領域
には大きな穴が含まれている可能性がある。以上から、
領域の大きさ、重心座標、穴の大きさによる閾値処理
は、領域の重要度と肌らしさによって肌領域候補を、い
わば足切りする処理と考えることができる。

【００６３】具体的には、領域解析器２４において、閾
値処理が次のようにして行われる。まず領域の大きさに
ついては、その領域の肌色画素の画素数と、あらかじめ
設定された所定の閾値Ｔｈ_sizeとが比較され、肌色画素
の画素数が、閾値Ｔｈ_sizeより小さい場合、その領域
は、肌領域候補から除外される。

【００６４】ここで、閾値Ｔｈ_sizeは、画面全体の画素
数に対して、どの程度の大きさの領域を肌として検出す
るかを決めることにより設定される。

【００６５】但し、全体的に暗い画像の場合、影などの
影響により肌領域候補検出器４により肌領域候補とされ
る領域が小さくなる傾向がある。そこで、画面全体の輝
度が低い場合には、閾値Ｔｈ_sizeを、例えば画面の平均
輝度の関数とし、小さめに設定するようにすることがで
きる。

【００６６】そして、重心座標については、例えば式
（７）にしたがって領域の位置の重要度ｐｓが算出さ
れ、この重要度ｐｓが、所定の閾値Ｔｈ_pos（但し、Ｔ
ｈ_posは、あらかじめ設定された０．０以上１．０以下
の適当な値）より小さい場合、その領域は、肌領域候補
から除外される。

【００６７】 ｐｓ＝ｅｘｐ（−（（ｄ_x／σ_x）²＋（ｄ_y／σ_y）²）） ・・・（７） 但し、ｄ_x，ｄ_yは、それぞれ画面中心と領域の重心との
距離（画素数）の水平方向成分、垂直方向成分である。
また、σ_x，σ_yは、それぞれ水平方向、垂直方向の、重
要度ｐｓに与える影響度を調節するパラメータで適当な
値の固定値である。

【００６８】重要度ｐｓは、領域の重心が画面中心に近
いほど大きな値をとり、逆に画面周辺になるほど小さな
値となり、従って領域の位置に対する、いわばスコアと
考えられる。

【００６９】なお、パラメータσ_x，σ_yは、上述のよう
に適当な値に固定するようにする他、例えば、肌領域候
補の形状に対応して適応的に変化させることができる。

【００７０】即ち、肌領域候補の形状が、例えば図６
（ａ）に示すように縦長の場合、この肌領域候補の、画
面上での重要性に対しては、その水平方向のずれが大き
く影響し、それに比較して垂直方向のずれはあまり影響
しないと考えられる。そこで、この場合、垂直方向のパ
ラメータσ_yを大きい値に設定し、肌領域候補の垂直方
向のずれにより、その重要度ｐｓが大きく変化しないよ
うにする。

【００７１】また、例えば図６（ｂ）に示すように、肌
領域候補の形状が横長の場合、上述の場合と同様の理由
から、水平方向のパラメータσ_xを大きい値に設定する
ようにする。

【００７２】さらに、式（７）のｄ_x，ｄ_y，σ_x，σ_yの
単位を画素数とすると、その演算にあたっては、入力画
像が表示される画面の画素の縦横比を考慮する必要があ
る。これは、入力画像が表示される画面の画素の縦横比
が１：１でないと、肌領域候補が、実際に画面に表示さ
れる位置と、画素数から算出された位置にずれが生じ、
式（７）により得られた重要度ｐｓに、画面上での肌領
域候補の重要性が正しく反映されなくなるからである。

【００７３】次に、穴の大きさについては、穴の大きさ
（画素数）を肌領域候補の大きさ（画素数）によって除
算した値が所定の閾値Ｔｈ_hole（但し、Ｔｈ_holeは０．
０以上１．０以下のあらかじめ設定された適当な値）よ
り大きい場合、その領域は、肌領域候補から除外され
る。

【００７４】ここで、図７を参照して、領域の穴の大き
さを求める方法を説明する。まず、肌領域候補に対し
て、図７（ａ）に示すように左右両側から水平方向に走
査し、各ラインにおいて領域を構成する最も左の画素Ｐ
Ｌ_vと最も右の画素ＰＲ_vを検出する。但し、添字のｖは
ラインの番号を表わすものとする。

【００７５】そして、ライン毎にＰＬ_vとＰＲ_vの間に存
在する非肌色画素の数をカウントし、すべてのラインに
対して得られた画素数の合計をＮｈとする。

【００７６】さらに、図７（ｂ）に示すように垂直方向
の走査を行い、上述の場合と同様にして、すべてのライ
ンに対して得られた非肌色画素の数の合計Ｎｖを求め
る。そして、得られたＮｈ、Ｎｖのうち、大きい方を穴
の大きさとする。

【００７７】なお、この方法では、厳密に穴と呼べるも
の以外のもの大きさも検出することになる。例えば、図
７（ｃ）に示すような領域の場合、斜線を付した部分
は、厳密な意味では穴ではないが、本方法では穴として
その大きさが計算される。しかしながら、感覚的にはこ
のような領域は穴とみなしても問題はないと考えられ
る。

【００７８】また、上述の方法で、水平と垂直両方向の
走査を行うのは、次の理由による。即ち、例えば図７
（ｃ）に示すような領域に対して、水平方向の走査のみ
を行なった場合、穴として検出されるのは図７（ｄ）に
おいて斜線を付した部分となるが、これは感覚的な穴の
大きさを正しく反映していない。

【００７９】そこで、この場合、感覚的な穴の大きさを
正しく反映している、垂直方向の走査によって得られる
方（図７（ｃ））を用いるようにする。また、これとは
逆に、水平方向の走査が有効な場合も考えられるため、
上述したように、ここでは両者の結果の大きい方を用い
るようにする。

【００８０】以上のような、領域の大きさ、位置、及び
穴の大きさの閾値処理によって残った肌領域候補のラベ
ルの集合（ｔ₀'，ｔ₁'，ｔ₂'，・・・ ）は、領域解析
器２４からヒストグラム生成器２１（図５）に出力され
る。

【００８１】ヒストグラム生成器２１では、領域解析器
２４からの各ラベルに対応する肌領域候補を構成する画
素の位置（アドレス）がフレームメモリ５（図１）から
検出され、その位置（アドレス）に基づいて、画素の輝
度Ｌ、クロマＣがフレームメモリ２から読み出される。
そして、これらのデータから、クロマ／輝度（Ｃ／Ｌ）
が計算され、そのヒストグラムが各肌領域候補ごとに生
成される。

【００８２】ヒストグラム生成器２１で生成された各肌
領域候補のＣ／Ｌのヒストグラムは、ヒストグラム解析
器２２に入力され、そこでヒストグラムの特徴として、
そのピークの位置、ピークの幅、及びピークの数が検出
される。

【００８３】さらに、ヒストグラム解析器２２におい
て、肌領域候補のＣ／Ｌのヒストグラムのピークの位
置、ピークの幅、またはピークの数に基づいて、その肌
領域候補のいわば肌らしさの３つの指数、即ちピーク位
置肌指数ｐｏｓＩｄｘ、ピーク幅肌指数ｗｉｄＩｄｘ、
またはピーク数肌指数ｎｕｍＩｄｘがそれぞれ次のよう
にして計算される。

【００８４】（ａ） ピーク位置肌指数ｐｏｓＩｄｘ Ｃ／Ｌのヒストグラムのピークは、図８（ａ）に示すよ
うに、ピークが複数の位置に存在していることが考えら
れるので、これらの平均位置を計算し、それをピークの
位置ｐｅａｋＰｏｓとすることとする。

【００８５】即ち、位置ｐ₁，ｐ₂，．．．，ｐ_Nにおい
てＮ個のピークが得られ、それぞれの位置におけるヒス
トグラムの度数がｆ₁，ｆ₂，．．．，ｆ_Nであったとす
ると、ピークの位置は次式により計算される。 ｐｅａｋＰｏｓ＝Σ（ｐ_i×ｆ_i）／Σｆ_i 但し、Σはｉ＝１乃至Ｎのサメーションを意味する。

【００８６】そして、このピーク位置ｐｅａｋＰｏｓ
が、例えば図８（ｂ）に示す変換グラフにしたがって、
ピーク位置肌指数ｐｏｓＩｄｘに変換される。

【００８７】即ち、肌におけるＣ／Ｌのヒストグラムの
ピークの位置は、経験的に大きな値をとらないことを利
用し、ピーク位置肌指数ｐｏｓＩｄｘは、ピーク位置ｐ
ｅａｋＰｏｓが、所定の閾値Ｔｈ_peakpos以下である場
合には、最大値としての１．０に設定され、閾値Ｔｈ
_peakposより大きい場合には、ピーク位置ｐｅａｋＰｏ
ｓと閾値Ｔｈ_peakposとの差に応じて、小さい値に設定
される。

【００８８】（ｂ） ピーク幅肌指数ｗｉｄＩｄｘ 図９（ａ）に示すように、まず、ヒストグラムにおける
最大度数ｆ_maxが検出され、そのα％の値ｆα（＝ｆ_max
×α／１００）が算出される。そして、ヒストグラムが
左と右両方からそれぞれ走査され、度数が最初にｆαに
なる位置がそれぞれｐ_L，ｐ_Rとされて、これらの値の差
（ｐ_R−ｐ_L）がピークの広がり（ピークの幅）ｐｅａｋ
Ｗｉｄとされる。

【００８９】そして、このピークの幅ｐｅａｋＷｉｄ
が、例えば図９（ｂ）に示す変換グラフにしたがって、
ピーク幅肌指数ｗｉｄＩｄｘに変換される。

【００９０】即ち、肌領域ではピークの広がりがあまり
大きくならないことから、ピーク幅肌指数ｗｉｄＩｄｘ
は、ピークの幅ｐｅａｋＷｉｄの値が、所定の閾値Ｔｈ
_{peak wid}以下の場合には、最大値としての１．０に設定
され、閾値Ｔｈ_peakwidより大きい場合には、ピークの
幅ｐｅａｋＷｉｄと閾値Ｔｈ_peakwidとの差に応じて、
小さい値に設定される。

【００９１】（ｃ） ピーク数肌指数ｎｕｍＩｄｘ ピークの数はヒストグラムの１つの特徴と考えられる
が、それを正しく求めることは困難である。なぜなら
ば、ヒストグラムに多数存在する極大値の中からどれを
ピークとして検出するかは、検出法によって異なり、閾
値などのパラメータが違えば、容易にその数も変化して
しまうからである。

【００９２】そこで、本実施例においては、検出したピ
ークの数でなく、次のようにして得られる値を、ヒスト
グラムのピークの数ｐｅａｋＮｕｍとすることとする。

【００９３】即ち、例えば図１０（ａ）に示すようなヒ
ストグラムが与えられた場合、２つの領域Ａ₁，Ａ₂の面
積ａ₁，ａ₂から、次式にしたがってピークの数ｐｅａｋ
Ｎｕｍが算出される。 ｐｅａｋＮｕｍ＝ａ₁／（ａ₁＋ａ₂） ・・・（８）

【００９４】なお、図１０（ａ）において、領域Ａ₁は
ヒストグラム上で検出された隣どうしのピークを直線で
結んで得られた折れ線とヒストグラムの包絡線で挟まれ
た部分（斜線部分）であり、また、領域Ａ₂は、ヒスト
グラムの包絡線と横軸で挟まれた部分である。

【００９５】従って、式（８）より得られるピークの数
ｐｅａｋＮｕｍは、ヒストグラムのピークの数が多いと
大きくなるが、各ピークの位置関係にも依存する。それ
ぞれのピークが近い位置に存在している場合には小さい
値となるが、互いに離れるほどその値は大きくなる。ピ
ークが１つならば領域Ａ₁は存在せず、ピークの数ｐｅ
ａｋＮｕｍもゼロとなる。これらのことから、式（８）
に定義したピークの数ｐｅａｋＮｕｍはピークの多峰性
を表すものと考えられ、ピークの数と相関を持ち、しか
もピークの数の曖昧性をも含んでいる。

【００９６】そして、このピークの数ｐｅａｋＮｕｍ
が、例えば図１０（ｂ）に示す変換グラフにしたがっ
て、ピーク数肌指数ｎｕｍＩｄｘに変換される。

【００９７】即ち、肌領域ではピークの数が一つである
ことを利用し、ピーク数肌指数ｎｕｍＩｄｘは、ピーク
の数ｐｅａｋＮｕｍが０の場合、１．０に設定され、以
下ピークの数ｐｅａｋＮｕｍが大きくなるにしたがって
小さい値に設定される。従って、ピーク数肌指数ｎｕｍ
Ｉｄｘは、いわば１．０から多峰性を減算したものと考
えることができる。

【００９８】以上のようにして算出されたピーク位置肌
指数ｐｏｓＩｄｘ、ピーク幅肌指数ｗｉｄＩｄｘ、およ
びピーク数肌指数ｎｕｍＩｄｘは、ヒストグラム解析器
２２から肌領域判定器２３（図５）に送られる。肌領域
判定器２３では、各肌領域候補のピーク位置肌指数ｐｏ
ｓＩｄｘ、ピーク幅肌指数ｗｉｄＩｄｘ、およびピーク
数肌指数ｎｕｍＩｄｘから、その肌領域候補の総合的な
肌指数ｓｋｉｎＩｄｘが、次式にしたがって計算され
る。 ｓｋｉｎＩｄｘ＝Ａ×ｐｏｓＩｄｘ＋Ｂ×ｗｉｄＩｄｘ＋Ｃ×ｎｕｍＩｄｘ ・・・（９）

【００９９】但し、Ａ，Ｂ，Ｃは重み係数で、これらは
実画像を学習データとして、式（１０）の値、即ち、自
乗誤差σ²が最小となるように最小二乗法によって求め
られる。 σ²＝Σ（１．０−ｓｋｉｎＩｄｘ）²＋Σ（０．０−ｓｋｉｎＩｄｘ）² ・・・（１０） なお、式（１０）の右辺の第１項のΣは、学習データと
しての実画像における、実際の肌の領域から算出された
肌指数ｓｋｉｎＩｄｘに関するサメーションを意味し、
その第２項のΣは、学習データとしての実画像におけ
る、実際の肌の領域以外の領域から算出された肌指数ｓ
ｋｉｎＩｄｘに関するサメーションを意味する。よっ
て、肌指数ｓｋｉｎＩｄｘは、その値が１．０に近いほ
ど肌らしいことを示すことになる。

【０１００】式（９）にしたがって肌指数ｓｋｉｎＩｄ
ｘを算出後、さらに、肌領域判定器２３は、各肌領域候
補の肌指数ｓｋｉｎＩｄｘを閾値処理し、即ち肌指数ｓ
ｋｉｎＩｄｘが所定の閾値より大きく、その肌領域候補
が肌領域と見なすことができるか否かを判定する。そし
て、肌領域判定器２３は、肌領域候補のうちの少なくと
も１つが肌領域と見なすことができると判定した場合、
即ち肌領域候補のうちの少なくとも１つを肌領域として
決定した場合、コントロール信号ｃｎｔｌ１を肌画像判
定器７（図１）に出力する。

【０１０１】肌画像判定器７は、肌領域検出器６（肌領
域判定器２３）よりコントロール信号ｃｎｔｌ１を受信
すると、装置に入力された画像が、肌を含む肌画像であ
ると判定し、判定結果としての０および１のうちの１を
図示せぬ処理回路に出力する。

【０１０２】図示せぬ処理回路では、肌画像判定器７か
ら、入力画像が肌画像であるという判定結果を受信する
と、例えばその入力画像に対して、肌の領域の画質が最
適になるように、入力画像の画質調整などがなされる。

【０１０３】以上のようにして、パラメータの異なる４
種類の静止画像Ｐ１，Ｐ２，Ｐ３，Ｐ４が肌画像である
か否かを判定した実験（シミュレーション）結果を図１
１に示す。

【０１０４】なお、図中、正答率は、次式により算出し
たものである。 正答率＝正答数／全画像数 但し、正答数とは、肌画像に対し、肌を含むという判定
結果が得られた数と、肌画像以外の画像に対し、肌を含
まないという判定結果が得られた数との和である。

【０１０５】図から、ほぼ完全に画像が肌画像である
か、あるいはそうでないかが識別されていることが判
る。

【０１０６】なお、２５枚のＰ２画像のうち、１枚に関
しては、誤った判定がなされたが、これは黒人女性の顔
画像であり、シミュレーションにおいては、黄色人種を
対象として、図１２に示すように閾値やその他係数など
の設定を行ったので、この画像を肌画像として識別でき
なかったのはやむを得ないといえる。

【０１０７】ところで、図１に示す装置を、静止画像に
適用した場合には、図１１で説明したように、有効な結
果が得られるが、動画像に適用した場合には、フレーム
あるいはフィールドごとに、その動画像が肌画像か否か
の判定がなされることになるので、動画像の時間的連続
性に対する問題が生じる。

【０１０８】即ち、例えば人物に対してズームインする
シーンなどのように、肌領域の大きさが徐々に大きくな
っていく場合、最初のうちは肌領域が小さいために肌画
像とは判定されないが、肌領域がある大きさになった瞬
間に、突然肌画像と判定される状況が生じる。このよう
に、画像が連続して変化しているのにも関わらず、その
途中で、突然判定結果が変化（逆転）してしまうのは、
ある意味で動画像に対する判定結果に、その時間的連続
性が正しく反映されていないといえる。

【０１０９】そこで、図１３は、本発明を適用した画像
識別装置の第２実施例の構成を示すブロック図である。
この装置は、肌領域候補検出器４で検出された肌領域候
補の重要度を算出する肌領域重要度算出器３１、または
肌領域重要度算出器３１から出力される重要度に基づい
て、入力画像が肌画像かどうかの判定結果としての重要
度を算出する肌画像重要度算出器３２が、肌領域検出器
６または肌画像判定器７に代えてそれぞれ設けられてい
る他は、図１の画像識別装置と同様に構成されており、
画像が肌画像であるかどうかの判定結果を、連続的な値
をとる重要度Ｓｉｄｘとして出力するようになされてい
る。

【０１１０】このように構成される画像識別装置におい
ては、動画像のフレームあるいはフィールドごとのＲＧ
Ｂデータが入力されると、座標変換器１、フレームメモ
リ２、肌色画素検出器３、肌領域候補検出器４、および
フレームメモリ５において、図１における場合と同様の
処理が行われ、肌領域候補ｔ₀，ｔ₁，・・・が、肌領域
候補検出器４から肌領域重要度算出器３１に出力され
る。

【０１１１】肌領域重要度算出器３１は、例えば図１４
に示すようにヒストグラム生成器４１、ヒストグラム解
析器４２、肌領域判定器４３、重要度算出器４４、およ
び領域解析器４５から構成され、肌領域候補検出器４に
よって検出された各肌領域候補ｔの重要度ｉｍｐ［ｔ］
を計算する。

【０１１２】即ち、肌領域重要度算出器３１では、まず
領域解析器４５において、図５に示した肌領域検出器６
の領域解析器２４における処理と同様の処理が行われ
る。つまり、領域解析器４５は、同一ラベルにより構成
された各肌領域候補の大きさ、位置、及び穴の大きさを
求め、閾値処理を行う。

【０１１３】但し、領域解析器４５では、閾値処理は、
穴の大きさによってのみ行われる。即ち、まず穴の大き
さ（画素数）が肌領域候補の大きさ（画素数）によって
除算され、その値が所定の閾値Ｔｈ_holeより大きい領域
が、肌領域候補から除外される。そして、その結果残っ
た各肌領域候補のラベルの集合（ｔ₀'，ｔ₁'，ｔ₂'，・
・・ ）が、領域解析器４５からヒストグラム生成器４
１に出力される。

【０１１４】さらに、領域解析器４５においては、閾値
処理の結果残った肌領域候補のラベルｔ_mをインデック
スとする、領域の大きさおよび重心座標の記述された、
例えば図１５に示すようなテーブル（以下、パラメータ
テーブルという）が作成される。このパラメータテーブ
ルは、重要度算出器４４に出力され、そこで記憶され
る。

【０１１５】ヒストグラム生成器４１、またはヒストグ
ラム解析器４２では、図５に示した肌領域検出器６のヒ
ストグラム生成器２１、またはヒストグラム解析器２２
とそれぞれ同様の処理が行われ、各肌領域候補のピーク
位置肌指数ｐｏｓＩｄｘ、ピーク幅肌指数ｗｉｄＩｄ
ｘ、およびピーク数肌指数ｎｕｍＩｄｘが肌領域判定器
４３に出力される。

【０１１６】肌領域判定器４３は、図５の肌領域判定器
２３における場合と同様にして、ヒストグラム解析器４
２からの各肌領域候補のピーク位置肌指数ｐｏｓＩｄ
ｘ、ピーク幅肌指数ｗｉｄＩｄｘ、およびピーク数肌指
数ｎｕｍＩｄｘから、式（９）にしたがって各肌領域候
補の総合的な肌指数ｓｋｉｎＩｄｘを算出し、閾値処理
を施す。そして、その結果残った肌領域候補、即ち肌領
域のラベル（ｔ₀''，ｔ₁''，・・・）が、肌領域判定器
４３から重要度算出器４４に出力される。

【０１１７】重要度算出器４４では、まず領域解析器４
５から送られてきたパラメータテーブル（図１５）か
ら、肌領域判定器４３より出力されたラベルに対応する
各領域の大きさと重心座標が読み出され、各領域ｔの重
要度ｉｍｐ［ｔ］が次式にしたがって計算される。 ｉｍｐ［ｔ］＝ａｒｅａ［ｔ］×ｐｓ［ｔ］ ・・・（１１） 但し、ａｒｅａ［ｔ］はラベルｔの領域の大きさ（画素
数）を示す。また、ｐｓ［ｔ］は、ラベルｔの肌領域の
重心座標から、上述の式（７）にしたがって計算された
値である。

【０１１８】重要度ｉｍｐ［ｔ］は、ａｒｅａ［ｔ］ま
たはｐｓ［ｔ］が大きいほど、即ち領域の大きさが大き
く、画面上の領域の位置（重心の位置）が中央にあるほ
ど、大きい値をとる。

【０１１９】各肌領域に対する重要度ｉｍｐ［ｔ］は、
肌領域重要度算出器３１（重要度算出器４４）から、肌
画像重要度算出器３２（図１３）に出力される。

【０１２０】肌画像重要度算出器３２では、肌領域重要
度算出器３１からの各肌領域に対する重要度ｉｍｐ
［ｔ］を順次加算し、入力画像の肌画像としての重要度
（以下、肌画像重要度という）Ｓｉｄｘを次式に従って
算出する。

【０１２１】 Ｓｉｄｘ＝Σｉｍｐ［ｔ］／ｎＬ 但し、Ｓｉｄｘ＞１．０のとき、 Ｓｉｄｘ＝１．０ ・・・（１２） ここで、Σは、肌領域として残った領域のラベルすべて
に関するサメーションを意味する。また、ｎＬは単に正
規化するための定数であり、従って、本質的に肌画像重
要度Ｓｉｄｘの大きさを決定するのは、式（１２）の右
辺の分子、即ち各肌領域の重要度の和（Σｉｍｐ
［ｔ］）である。

【０１２２】肌画像重要度Ｓｉｄｘは、重要度ｉｍｐ
［ｔ］の大きい肌領域が多く含まれる画像に対しては、
その値が大きくなり、また、肌領域が全く含まれないよ
うな画像に対しては、その値がゼロとなる。この肌画像
重要度Ｓｉｄｘは、入力された画像が肌画像であるかど
うかの識別結果として、図示せぬ処理回路に出力され
る。

【０１２３】図示せぬ処理回路では、肌画像重要度算出
器３２から、入力画像が肌画像であるかどうかという判
定結果としての肌画像重要度Ｓｉｄｘが受信され、例え
ばその入力画像に対して、肌画像重要度Ｓｉｄｘに対応
した画質調整がなされる。

【０１２４】即ち、例えば肌画像重要度Ｓｉｄｘに対応
して、入力画像のクロマＣ_oldが、次式にしたがって新
たなクロマＣ_newに変換される。

【０１２５】肌色の領域に対しては、 Ｃ_new＝（１．０−Ｓｉｄｘ）×（ｋ−１）＋１）×Ｃ_old その他の領域に対しては、 Ｃ_new＝ｋ×Ｃ_old 但し、ここでは、肌色の領域とは、例えば肌色画素検出
器３で検出された肌色の画素からなる領域すべてを意味
するものとする。また、ｋは１以上の所定の定数。 ・・・（１３）

【０１２６】ここで、自然画像に現れる多くの物体につ
いては、その色のクロマが実際のものよりも高い方が好
まれる傾向にある。この傾向は、例えば空の青や草木の
緑などの、いわゆる３原色に関して特に顕著である。し
かしながら、人の肌の色に関しては、この傾向はあては
まらず、そのクロマが、他の色のクロマに比較して相対
的に低い方が好印象を与える傾向がある。

【０１２７】上式によれば、肌色以外のクロマは常にｋ
（＞１．０）倍され、一方肌のクロマは、画像の肌画像
重要度Ｓｉｄｘに対応した値にされるので、即ち肌画像
重要度Ｓｉｄｘが大きい画像ほど、肌のクロマが増加し
ないようにされるので、好印象を与える画像を提供する
ことができるようになる。

【０１２８】さらに、この装置を、例えば人物に対して
ズームインする動画像に適用した場合には、図１６に示
すような、連続的に変化する画像の肌画像重要度Ｓｉｄ
ｘを得ることができるようになり、即ち動画像の時間的
連続性を反映した判定結果を得ることができるようにな
り、この肌画像重要度Ｓｉｄｘを用い、式（１３）にし
たがって動画像のクロマを変換することにより、人物の
肌の領域が徐々に増加するにつれ、その領域のクロマ
を、（背景のクロマに比べて相対的に）連続的に減少さ
せることができるようになるので、画質の印象が突然変
化するような画像処理を施すことを防止することができ
るようになる。

【０１２９】なお、本実施例では、画像のＲＧＢデータ
を入力するようにしたが、例えばＹＵＶデータやＬ^*ａ^*
ｂ^*データなどを入力するようにすることができる。但
し、この場合、座標変換器１の構成を、ＹＵＶデータや
Ｌ^*ａ^*ｂ^*データをＬＨＣデータに変換することができ
るように変更する必要がある。

【０１３０】さらに、本実施例においては、肌領域候補
から肌領域を決定するにあたって、Ｃ／Ｌのヒストグラ
ムを用いるようにしたが、輝度、色相、またはクロマの
ヒストグラムを用いるようにすることが考えられる。

【０１３１】しかしながら、９０枚程度の画像を用い
て、各画像の肌領域とそれ以外の領域のそれぞれについ
て輝度、色相、クロマのヒストグラムを作成したとこ
ろ、肌領域とそれ以外の領域において、それぞれの輝
度、色相、クロマのヒストグラムに顕著な差異はみられ
ず、従って輝度、色相、クロマのヒストグラムからは、
肌領域とそれ以外の領域とを区別することが困難である
という実験結果が得られた。

【０１３２】一方、同様にして作成したＣ／Ｌのヒスト
グラムの例を図１７に示す。図１７（ａ）は、肌領域の
ものであり、図１７（ｂ）および図１７（ｃ）は、肌領
域以外の領域のものである。

【０１３３】ある１つの肌領域において、分光反射率が
一定であると仮定すると、そのＣ／Ｌヒストグラムは、 （Ｃ１）１つのピークを有する （Ｃ２）ピークの拡がり（幅）はさほど大きくない （Ｃ３）ピークの位置は、輝度に依存せず、個人差によ
り多少ばらつくが、肌としてとり得る範囲が存在する という性質を有すると考えることができる。

【０１３４】実験の結果、肌領域のＣ／Ｌのヒストグラ
ムは、上述の性質（Ｃ１）乃至（Ｃ３）をほぼ満たすの
に対し、肌領域以外の領域のＣ／Ｌのヒストグラムは、
上述の性質（Ｃ１）乃至（Ｃ３）のうちの少なくとも１
つを満たさなかったので、肌領域とそれ以外の領域とを
区別するにあたっては、Ｃ／Ｌヒストグラムを用いるの
が有効である。

【０１３５】また、本実施例では、肌色画素検出器３で
肌色の画素として検出された画素からなる領域を、肌領
域候補とするようにしたが、肌領域候補を求めるアルゴ
リズムはこれに限られるものではない。即ち、例えばよ
り高度なアルゴリズムに基づいて、肌領域候補を求める
ようにすることができる。この場合、画像が肌画像であ
るかどうかの識別精度を向上させることができることに
なるが、その反面、計算量や装置のコストが増加するこ
とになるので、これらをバランスさせて、肌領域候補を
求めるアルゴリズムを決める必要がある。

【０１３６】さらに、本実施例においては、肌画像重要
度Ｓｉｄｘを式（１２）に示すように、各肌領域の重要
度の和Σｉｍｐ［ｔ］を用いて算出するようにしたが、
これに限られるものではない。即ち、例えば次式に示す
ように、重要度ｉｍｐ［ｔ］の最大値ｍａｘ_t（ｉｍｐ
［ｔ］）のみを用いて肌画像重要度Ｓｉｄｘを算出する
ようにすることができる。

【０１３７】 Ｓｉｄｘ＝ｍａｘ_t（ｉｍｐ［ｔ］）／ｎＬ 但し、Ｓｉｄｘ＞１．０のとき、 Ｓｉｄｘ＝１．０ ・・・（１４）

【０１３８】しかしながら、例えば２人の人物がすれ違
うようなシーンなどのように、複数の肌の領域が連結し
たり、また１つの肌の領域が２つに分離するような動画
像においては、最大の重要度ｍａｘ_t（ｉｍｐ［ｔ］）
となる領域が突然変化し、これにより式（１４）にした
がって算出された肌画像重要度Ｓｉｄｘも、その値が突
然変化するときがある。

【０１３９】従って、式（１４）を用いた場合、肌画像
重要度Ｓｉｄｘが、いわば時間的に不連続になるときが
あるので、肌画像重要度Ｓｉｄｘの算出には、式（１
２）を用いる方が好ましい。

【０１４０】また、本実施例では、肌画像重要度Ｓｉｄ
ｘをそのまま、図示せぬ処理回路で用いるようにした
が、肌画像重要度Ｓｉｄｘに対し、例えば時間軸方向の
スムージングなどの処理を施してから用いるようにして
も良い。

【０１４１】さらに、本実施例においては、肌領域候補
のＣ／Ｌのヒストグラムに基づいて求めたピーク位置肌
指数ｐｏｓＩｄｘ、ピーク幅肌指数ｗｉｄＩｄｘ、およ
びピーク数肌指数ｎｕｍＩｄｘを閾値処理だけに用いた
が、これらの肌らしさの度合いを示す特徴量を肌画像重
要度Ｓｉｄｘを算出するときに考慮するようにしても良
い。

【０１４２】

【発明の効果】本発明によれば、正確に肌の識別を行う
ことが可能となる。また、本発明によれば、動画像に適
用した場合、時間とともに変化する動画像における人物
の肌を、時間的連続性を損なうことなく識別することが
できる。

【０１４３】

【０１４４】

【図面の簡単な説明】

【図１】本発明を適用した画像識別装置の一実施例の構
成を示すブロック図である。

【図２】図１の実施例の肌色画素検出器３のより詳細な
構成を示すブロック図である。

【図３】図１の実施例における肌領域候補検出器４のラ
ベリング処理を説明する図である。

【図４】図１の実施例における肌領域候補検出器４の再
ラベリング処理を説明する図である。

【図５】図１の実施例の肌領域検出器６のより詳細な構
成を示すブロック図である。

【図６】領域の形状と、画面上での領域の重要性の関係
について説明する図である。

【図７】領域の穴について説明する図である。

【図８】ピーク位置と、ピーク位置肌指数の関係を説明
する図である。

【図９】ピーク幅と、ピーク幅肌指数の関係を説明する
図である。

【図１０】ピーク数と、ピーク数肌指数の関係を説明す
る図である。

【図１１】図１の実施例による実験結果を示す図であ
る。

【図１２】図１１の実験結果を得るにあたって用いた閾
値および係数を示す図である。

【図１３】本発明を適用した画像識別装置の第２実施例
の構成を示すブロック図である。

【図１４】図１３の実施例の肌領域重要度算出器３１の
より詳細な構成を示すブロック図である。

【図１５】パラメータテーブルを示す図である。

【図１６】肌画像重要度算出器３２より出力される、動
画像の肌画像重要度Ｓｉｄｘを示す図である。

【図１７】画像のクロマ／輝度のヒストグラムを示す図
である。

【図１８】従来の、色空間に基づく肌領域の抽出を説明
する図である。

【符号の説明】

１ 座標変換器 ２ フレームメモリ ３ 肌色画素検出器 ４ 肌領域候補検出器 ５ フレームメモリ ６ 肌領域検出器 ７ 肌画像判定器

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 340 A61B 5/00 H04N 9/64 A61B 5/107 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 画像が、人物の肌に対応する肌の領域を
   含む肌画像であるかどうかを判定する画像識別装置にお
   いて、 肌色の画素を抽出する抽出手段と、 前記抽出手段により抽出された肌色の各画素から、前記
   肌の領域の候補を検出する検出手段と、 前記検出手段により検出された前記肌の領域の各候補の
   中から、前記肌の領域の候補の少なくとも大きさと位置
   を含む所定の条件を満たすものを選択し、選択された前
   記肌の領域の各候補の色の分布の状態を検出し、検出し
   た色の分布の状態の特徴を表す第１の重要度を演算し、
   前記第１の重要度に基づいて、前記肌の領域を決定する
   決定手段と、 前記決定手段の決定結果に基づいて、前記画像が、前記
   肌画像であるかどうかを判定し、その判定結果を出力す
   る判定手段とを備えることを特徴とする画像識別装置。
2. 【請求項２】 前記色の分布は、クロマ／輝度の情報に
   より規定されることを特徴とする請求項１に記載の画像
   識別装置。
3. 【請求項３】 前記第1の重要度は、クロマ／輝度の情
   報のヒストグラムのピークの位置、ピークの幅、および
   ピークの数を表す値を含むことを特徴とする請求項２に
   記載の画像識別装置。
4. 【請求項４】 前記決定手段は、選択された前記肌の領
   域の各候補の大きさを表す第１の値と、位置を表す第２
   の値で表される第２の重要度を算出し、前記第２の重要
   度をさらに用いて前記肌の領域を決定することを特徴と
   する請求項１に記載の画像識別装置。
5. 【請求項５】 画像が、人物の肌に対応する肌の領域を
   含む肌画像であるかどうかを判定する画像識別装置の画
   像識別方法において、 肌色の画素を抽出し、 抽出された肌色の各画素から、前記肌の領域の候補を検
   出し、 検出された前記肌の領域の各候補の中から、前記肌の領
   域の候補の少なくとも大きさと位置を含む所定の条件を
   満たすものを選択し、選択された前記肌の領域 の各候補
   の色の分布の状態を検出し、 検出した色の分布の状態の特徴を表す重要度を演算し、
   前記重要度に基づいて、前記肌の領域を決定し、 決定結果に基づいて、前記画像が、前記肌画像であるか
   どうかを判定し、その判定結果を出力することを特徴と
   する画像識別方法。