JP4851624B2 - 指定色領域画定回路、検出回路及びそれを用いた画像処理装置 - Google Patents

Description

本発明は、画像処理技術に関し、特に、指定色を良好に画像処理する画像処理技術に関する。

デジタルカメラやデジタルテレビジョン受信装置などにおいて、人間の肌色を良好に表示させせることが重要である。下記特許文献１の第２の実施の形態（特許文献１の０１１３から０１１６段落）において、テーブルを用いて各画素の輝度に応じて肌色を判別する領域を変更し肌色領域を検出する方法が記載されている。

肌色領域は、特許文献１の図１１に示すように、色相および色信号飽和度で限定され特許文献１の式１、式２で表される領域である。また、特許文献１の式１、式２で表される肌色領域は、同じく特許文献１の式３、式４（特許文献１の式１から式４までを、本願の図３３の式１から式４に示している。）で表されるように輝度信号のレベルに応じて変化し、輝度信号のレベルが大きくなるにつれて肌色領域は特許文献１の図１２、図１３、図１４に示すように色信号飽和度が大きくなることが記載されている（特許文献１の図１１から図１４までを、本願の図３５にまとめて示している。）。図３３は、特許文献１の第２の実施の形態における肌色領域を検出する肌色検出回路（特許文献１の図１０）を示す図である。図３３に示されている従来の肌色検出回路５０１は、メモリ５０３と、比較器５０５とを備えている。メモリ５０３には、Ｒ−ＹとＢ−Ｙとの信号が入力し、その出力とＹとが比較器５０５において比較されて肌色検出信号が出力されるようになっている。メモリ５０３は、図３４（特許文献１の図１５）の肌色検出のためのテーブルが格納されており、特定の領域のみ数字が書き込まれている（それ以外の領域には“０”が書き込まれている）。図３４に示す肌色検出のためのテーブルにより、図３３に示す、上から式１、式２、式３、式４を満たす領域を検出することができる。このテーブルでは、−（Ｂ−Ｙ）とＲ−Ｙとの２次元平面における所定のレベルの信号を持つ領域が肌色領域とみなされる。

例えば、この肌色検出処理においては、輝度信号Ｙの１／２から１／８までの範囲内であるとき肌色であると判別されるものとすると、輝度の入力端子Ｙから１４のレベルの信号が入力された場合に、テーブルの７〜１までが肌色領域として判別され“１”を出力するように構成されている。すなわち、図３４における低輝度Ｙ領域（低Ｙ）で示す範囲が低輝度における肌色領域とみなされる。また、輝度が変化すると肌色領域は変化することがわかる。

図３５（ａ）から（ｄ）までは、従来技術における（Ｂ−Ｙ）−（Ｒ−Ｙ）平面における肌色領域の変化の様子を示す図であり、図３５（ａ）は、式における記号等の定義を示す図であり、図３５（ｂ）から図３５（ｄ）は輝度に依存する肌色領域の変化の様子を示す図である。図３５（ａ）に示すように、（Ｂ−Ｙ）−（Ｒ−Ｙ）平面において、θは肌色領域の原点から延びる中心軸の角度であり、βは、肌色領域の中心軸から肌色領域の境界までの角度であり、ｒは原点から肌色領域の中心までの距離であり、ｓは、肌色領域の中心から、中心軸に沿った肌色領域の境界までの距離である。これらのパラメータは、式（１）から（４）までに用いられる。これらのパラメータにより、肌色領域を画定することができる。図３３のメモリ５０３に図３４に示すテーブルが記憶されており、輝度値Ｙの変化に基づいて、低輝度Ｙの場合の図３５（ｂ）から中輝度Ｙの場合の図３５（ｃ）、高輝度Ｙの場合の図３５（ｄ）まで、肌色領域を輝度により変更することができる。
特開平１１−１４６４０５号公報、映像信号処理装置及びこれを用いたカラービデオカメラ

図１から図３までは、Ｕ−Ｖ平面、Ｖ−Ｙ平面、Ｕ−Ｙ平面（Ｙは輝度、Ｕ、Ｖは色差を示す。）における肌色領域の分布を示す図である。それぞれの図の右側には、肌色領域において各画素のＹ（輝度）の大きさが低い方から、ｃ、ｂ、ａの順で示されており、それぞれの分布が示されている。図１に示すように、人の肌色の領域において、Ｕ−Ｖ特性は、原点から一旦遠ざかり（ｃ１−ｂ１）次いで原点に近づく（ｂ１−ａ１）ような依存性と肌色の領域の大きさが輝度によって変化していることを示していることがわかる。

図２に示すＶ−Ｙ平面においても、ｃ２−ｂ２−ａ２というように、Ｙ（輝度）の大きさが高くなると、一旦Ｖ（色差）の大きさが大きくなり、次いで小さくなるという傾向と肌色領域の大きさが輝度によって変化しているが見えている。図３に示すＵ−Ｙ平面においても同様である（ｃ３−ｂ３−ａ３）。

このように、肌色領域が輝度依存性を有しており、かつ、輝度依存性が線形的な依存性ではないことがわかった。従来技術による画像処理技術では、このような肌色領域の輝度依存性に対応することができないという問題点があった。

本発明は、輝度の変化に対して精度良く肌色領域を含む指定色領域を指定することができる技術を提供することを目的とする。

本発明に係る画像処理技術は、画像の複数画素の輝度分布情報を取得しその情報から指定色領域を判別することを特徴とする。尚、指定色領域とは、色空間上である指定色を中心とした近似色の領域である。

本発明の一観点によれば、入力画像に含まれる複数の画素の輝度分布情報を取得する輝度情報取得部と、前記輝度情報取得部により取得された前記複数画素の輝度情報に基づいて、複数画素の輝度情報に応じた特徴値を求め、該特徴値に基づいて、輝度に応じた前記入力画像の色空間上での指定色領域を画定するための係数を求める輝度情報解析部と、を有することを特徴とする指定色領域画定回路が提供される。

さらに、本発明は、上記に記載の輝度情報解析部により求められた前記係数によって画定された、前記指定色領域により近似度を求めて出力する指定色検出部を有することを特徴とする指定色検出回路であっても良い。近似度は、前記指定色領域を確定する境界及びその外側において０となり、領域内においては中心に近くなるに従って１に近づくようになっている。色空間上のある点において、近似度を一意に求めることができる。

また、本発明は、上記に記載の指定色検出回路と、前記指定色検出回路の出力である前記近似度を入力として、前記指定色とそれ以外の色とで画像処理の係数を変更する画像処理係数出力回路と、前記画像処理係数出力回路の出力である画像処理係数と入力画像信号とに基づいて出力画像信号を出力する画像処理回路と、を有することを特徴とする画像処理装置であっても良い。

本発明の他の観点によれば、入力画像に含まれる複数の画素の輝度分布情報を取得する輝度情報取得ステップと、前記輝度情報取得ステップにより取得された前記複数画素の輝度情報に基づいて、複数画素の輝度情報に応じた特徴値を求め、該特徴値に基づいて、輝度に応じた前記入力画像の色空間上での指定色領域を画定するための係数を求める輝度情報解析ステップと、を有することを特徴とする指定色領域画定方法が提供される。

さらに、本発明は、上記に記載の輝度情報解析ステップにより求められた前記係数によって画定された、前記指定色領域により近似度を求めて出力する指定色検出ステップを有することを特徴とする指定色検出方法であっても良い。

本発明は、上記に記載の方法をコンピュータに実行させるためのプログラムであっても良く、該プログラムを記録するコンピュータ読みとり可能な記録媒体であっても良い。このプログラムは、インターネットなどの伝送媒体によって取得されるものであっても良い。

本明細書は本願の優先権の基礎である日本国特許出願２００８−２９５７８６号の明細書および／または図面に記載される内容を包含する。

本発明によれば、輝度による肌色領域の変化に対応し適切に指定色領域を指定できるため指定色以外の誤検出を少なくすることができるという利点がある。

Ｕ−Ｖ平面における肌色領域の分布を示す図である。 Ｖ−Ｙ平面における肌色領域の分布を示す図である。 Ｕ−Ｙ平面における肌色領域の分布を示す図である。 本発明の実施の形態による画像処理装置における指定色検出回路の一構成例を示す図である。 本実施の形態による画像処理装置における度数を示す輝度のヒストグラムの一例を示す図である。 係数テーブルの一構成例を示す図である。 肌色領域判別（算出）方法の一例を示す図である。 楕円の長径と短径との関係を示す図である。 Ｕ−Ｖ平面における、特性軸Ｌ１と、特性軸Ｌ２と、の取りうる範囲を示す図である。 ある入力信号をＵＶ平面上にプロットした点Ｐ（ｕ，ｖ）の距離を以下の手順で定義した図である。 中心点Ｐ０で最大値Ｎ＝１を取り境界線でＮ＝０をとる、同心の楕円状の指定色領域を示す図である。 ひし形を用いても指定色領域を指定して例を示す図である。 長方形を用いても指定色領域を指定して例を示す図である。 ３×３の肌色画像（１）画素から９）画素まで）であり、１）画素目がノイズ画素であり、Ｙ（輝度）だけ大きく変わっている例を示す図である。 輝度に依存した肌色領域の違いをＵ−Ｖ空間に示す図である。 図４に示す指定検出色回路１を含めた画像処理回路全体の構成を示す図である。 画像処理係数の混合が、指定色検出回路の出力である指定色近似度Ｎの値に応じて線形的に行われる様子を示す図である。 本発明の第２の実施の形態による画像処理回路の一構成例を示す図である。 本発明の第３の実施の形態による画像処理に用いる指定色検出回路の一構成例を示す図である。 指定色係数予測部における動作の概要を示す図である。 Ｎ−４フレームからＮフレームまでの平均輝度Ｙｍの予測のイメージを示す図である。 本発明の第４の実施の形態による画像処理回路のうちの第１の指定色検出回路の一構成例を示す図である。 本発明の第４の実施の形態による画像処理回路のうちの第２の指定色検出回路の一構成例を示す図である。 指定色係数合成部において、Ｎ−２フレームとＮ−１フレームの指定色領域の係数を合成しＮフレームの指定領域係数として指定色検出部に出力するイメージを示す図である。 指定色係数合成部において、Ｎ−２フレームとＮ−１フレームの指定色領域の係数を合成しＮフレームの指定領域の係数として指定色検出部に出力するイメージを示す図である。 Ｎ−２フレーム目とＮ−１フレーム目に対応する指定色領域を両方とも含むように領域を指定した様子を示す図である。 本実施の形態による画像処理技術を用いた指定色検出部を用いた表示装置の一構成例を示す図である。 本実施の形態による画像処理技術を携帯端末に適用した例を示す図である。 本実施の形態による画像処理の全体の流れを示すフローチャート図である。 図２９に示す処理のうちの第１の処理の流れを示すフローチャート図である。 図２９に示す処理のうちの第２の処理の流れを示すフローチャート図である。 図２９に示す処理のうちの第２の処理の流れを示すフローチャート図である。 従来の肌色検出回路の一構成例を示す図である。 肌色検出のためのテーブルの構成例に示す図である。 （ａ）から（ｄ）までは、従来技術における（Ｂ−Ｙ）−（Ｒ−Ｙ）平面における肌色領域の変化の様子を示す図である。

１…指定色検出回路、３…輝度情報取得部、５…輝度情報解析部、５ａ…輝度情報計算部、５ｂ…指定色係数予測部、６…指定色領域画定回路、７…指定色検出部、７ａ、７ｂ…指定色検出部、４１…画像処理係数出力回路、４３…画像処理回路。５１…遅延回路、６１…指定色係数合成部、６３…指定色係数調整部、６５…指定色近似度Ｎ合成部。

以下、肌色を指定色の例について記載するが、輝度により分布が変化するような色であれば他の色についても適用することが可能である。その意味で、指定色という用語を用いた。

以下、本発明の一実施の形態による画像表示技術について図面を参照しながら説明を行う。

図４は、本実施の形態による画像処理装置における指定色検出回路（以下、指定色は肌色を例として説明する）の一構成例を示す図である。図４に示すように、本実施の形態による指定色検出回路１は、複数画素の輝度情報（ヒストグラム）取得部３と、複数画素の輝度情報を解析する輝度情報（ヒストグラム）解析部５と、指定色（肌色）検出部７と、を有している。複数画素の輝度情報を解析する輝度情報解析部５と、指定色検出部７とで、指定色領域を画定する指定色領域画定回路６を構成する。指定色領域画定回路６は、入力画像を輝度情報取得部３で取得し、その輝度情報に基づいて解析を行うことで特徴値を求め、指定色領域を画定するための係数（パラメータ）を出力する。

より詳細には、複数画素の輝度情報（ヒストグラム）取得部３では、入力画像における複数の画素の輝度に関する情報を取得するための処理を行う。複数の画素の輝度に関する情報を得るために、例えば、図５に示すように、度数を示す輝度のヒストグラムを作成する。ヒストグラムの例として、０〜２５５階調の画像に対して３２分割（０−７、８−１５、…２４０−２４７、２４８−２５５）し、その分割した階調（輝度Ｙ）に存在する画素数をカウントする。そして、輝度情報解析部５において、入力画像における複数の画素の輝度に関する情報の特徴値を抽出するために、例えば、複数の画素の輝度値に関するヒストグラムを解析し、ヒストグラムの特徴を表す特徴値を抽出する。

すなわち、輝度情報解析部５では、輝度情報取得部３から得たヒストグラムの情報から、ヒストグラムにおける、平均（輝度）値、中央（輝度）値、最頻（輝度）値、分散、標準偏差、最小値、最大値、尖度、歪度、相乗平均、調和平均、加重平均等のうちの少なくともいずれかを求め、その値から、図６に示す係数テーブル（特徴値）を参照し輝度に依存する肌色領域（ここでは、以下のように主として楕円を仮定する）の中心座標Ｕ（ｕ０）中心座標Ｖ（ｖ０）、傾き（ａ）、第１の重み付け（ｗ1）、第２の重み付け（ｗ２）を示す係数を指定色検出部７へ出力する。この係数テーブル（特徴値）は、例えば平均（輝度）値に対して、色空間上で楕円を画定するための係数を格納している、この係数の中心座標Ｕ（ｕ０）中心座標Ｖ（ｖ０）、傾き（ａ）、第１の重み付け（ｗ1）、第２の重み付け（ｗ２）は入力画像の複数画素の平均値に対して計算で算出してもよいし、肌色分布を抽出しパラメータ・フィティングを用いて、色空間上の中心座標、傾き、重み付け（領域の大きさ）を適切に決定することもできる。また肌色分布より最小二乗法を用いて直線を求め、この直線と直角に交わる直線の交点を中心座標（中心）とする領域から肌色分布領域をすべて含むように中心座標、傾き、重み付けを決めてもよい。これらの値は、例えばメモリに記憶されるようにしても良い。指定色検出部７では、輝度情報解析部５から得た係数に基づいて、肌色領域を特定する。領域の判別方法（算出方法）については、後述する。ここで、肌色領域の中心からの距離に重み付けを行う（楕円中心がもっとも指定した色らしい指定色近似度１で楕円の外周で近似的に０となる）。

要するに、近似度は、前記指定色領域を確定する境界及びその外側において０となり、領域内においては中心に近くなるに従って１に近づくようになっている（指定色領域の中心とは、もっとも指定色らしい点である。）。色空間上のある点において、近似度を一意に求めることができる。

尚、実施の形態では色空間としてＹＵＶ空間を用いたが他の色空間（L*u*v*、L*a*b*、HSV、HLS、YIQ、YCbCr、YPbPr等）を用いてもよい。以降、色空間としてＹＵＶを用いて例示的に説明する。

次に、指定色検出部における指定色領域判別（算出）方法について詳細に説明する。図８は、楕円に関する定義を示す図である。図８に示すように、楕円の内部に２焦点を通る直線を引くとき、これを長軸という。長軸の長さを長径という。長軸と楕円との交点では２焦点からの距離の差が最大となる。また、長軸の垂直二等分線を楕円の内部に引くとき、この線分を短軸という。短軸の長さを短径という。

図７は、指定色領域判別（算出）方法の一例を示す図である。図７に示すように、Ｕ−Ｖ平面における楕円で表される指定色領域２１は、指定色領域の方向性を表す２本の軸（以下、「特性軸」と称する。）を下記の式で定義される。長軸を特性軸L１とし、短軸を特性軸L２とする。

式２を変形すると、式３が得られる。

ここで、２つの特性軸L１・L２は直交すると定義すると、ａ１、ａ２がいずれも０でない限りにおいて、下記の式４が成り立つ。

したがって、２つの特性軸の傾きは下記の式５のように１つの変数ａで表すことができる。

尚、ａ＝０の場合は、特性軸は、下記の式６の通りとなり、この場合でも特性軸は直交することが確認できる。

ａの取り得る値の範囲を−１≦ａ＜１と定義した場合、図９に示すように、特性軸L１はＶ＝ＵとＶ＝Ｕに挟まれた範囲（範囲２７ａ・２７ｂ）をとることができる。一方、特性軸L２はＵ＝ＶとＵ＝−Ｖに挟まれた範囲（範囲２５ａ・２５ｂ）をとることができる。但し、実線で描かれた直線は範囲に含み、破線の範囲は含まない。この仕組みにより、任意の傾きの指定色範囲（楕円）を設定することが可能となる。図７に示すように、肌色の指定色範囲の中心点（＝特性軸の交点）を指定色Ｐ０とし、その座標を（ｕ０,ｖ０）とすると、特性軸を定義する式の切片ｂ１、ｂ２は、それぞれ以下の式７の通り求めることができる。

従って、特性軸L１・L２は、肌色の指定色Ｐ０の座標ｕ０，ｖ０と、傾きaと、の３つのパラメータで設定することができる。図７に示す指定色領域２１は、指定色Ｐ０から、図１０に示すように、ある入力信号をＵＶ平面上にプロットした点Ｐ（ｕ，ｖ）の距離を以下の手順で定義する。まず、Ｐからそれぞれの特性軸Ｌ１までの距離ｄ１，特性軸Ｌ２までのｄ２を、下記式８、９により求める。Ｕ軸への切片がｂ１、ｂ２となる。

そして、ｄ１，ｄ２のそれぞれに重み付けｗ１，ｗ２を乗算した後に加算した値Ｄを中心Ｐ０からの距離と定義する。

さらに、指定色への近さを示す指定色近似度Ｎ（図４の指定色検出回路１の出力Ｎ）を、下記の式１１で定義する。

これにより、図１１に示すように、中心点Ｐ０で最大値Ｎ＝１を取り境界線でＮ＝０をとる、同心の楕円状の指定色領域（ＡＲ１）を得ることができる。その外側の領域ＡＲ２は非指定色領域である。この指定色領域ＡＲ１のうち、Ｎ＝０となる境界線より内側の部分を指定色範囲と定義することができる。重み係数ｗ１、ｗ２は、指定色範囲を変形させる働きを持ち、それらの値を大きくするほど指定色範囲は小さくなる（矢印ＡＲ１１参照）。また、ｗ１とｗ２との比が、図８に示したように、楕円の長径と短径との比となるため、ｗ１とｗ２とで同じ値を設定すると指定色範囲は円となる。

尚、上記では、指定色領域を楕円で指定しているが、式１０を簡略化して、式１２−１で定義されるひし形を用いても指定色領域ＡＲ３とその外側の領域ＡＲ４とを指定することができる（図１２参照）。ひし形の対角線の交点をＰ０とし、対角線を含む線を特性軸Ｌ１’、Ｌ２’とする。尚、ｗ１とｗ２とで同じ値を設定すると指定色範囲は正方形となる。

また、式１２−２で定義される長方形を用いても肌色領域を指定できる（図１３参照）。

以下においては、楕円により指定色領域を近似的に指定する場合を例にして説明する。楕円で近似する方がよりきめ細かい近似となるが、長方形又はひし形で指定色領域を近似する方が簡易的で、処理が簡単になるという利点がある。

尚、本実施の形態では、特性軸はＬ１，Ｌ２の直線を用いているが特性軸を複数にすることにより任意の多角形を指定色領域とすることもできる。また、実施の形態では、例えば楕円の場合、重み付けｗ１，ｗ２で長径、短径の長さを示し、それぞれの１／２が中心点となる短軸、長軸対称となる楕円となっているが、短径、長径の長さの１／２が中心点とはならない短軸、長軸非対称な楕円でもよい。同様にひし形となっているが四角形でもよい。

図１４は、本発明と従来技術とを比較するために用いる肌色画像の性質を示す図である。図１４に示すように、この画像は画素（１）から画素（９）よりなる３×３の肌色画像である。画素（１）はノイズ画素であり、Ｙ値は他の画素（２）から画素（９）と大きく異なる値であり、ＵＶ値は他の画素とほぼ同じ値である。ここで、Ｙ（輝度）の平均値は、１０３である。

図１５は、Ｙ（輝度）に依存した肌色領域の違いをＵ−Ｖ空間に示す図である。肌色領域を表す楕円の領域が原点に近い位置から、Ｖが大きくＵが小さくなる方向に、小輝度、中輝度、大輝度の順に配置されている。

図１４における画素（１）の輝度（１４４）のときの肌色領域は図１５の大輝度領域であり、画素（２）から画素（９）の輝度（９１〜１０５）のときの肌色領域は中輝度領域である。画素（１）から画素（９）の輝度の平均値である輝度（１０３）のときの肌色領域は、中輝度領域である。そして、画素（１）から画素（９）のＵ、Ｖ（ともに色差）は、図１５の中輝度における肌色領域内、かつ、高輝度における肌色領域外に存在する。

従来の技術、本発明ともＹ（輝度）によりＵ−Ｖ空間の肌色領域が変化し、ある画素のＵ，Ｖの両方がＹ（輝度）に対応する肌色領域に含まれるときに、その画素は肌色と判別される。

従来の技術では肌色の判別を行う画素のＹ（輝度）の値により肌色領域を定めている。このため、画素（１）については、肌色領域は図１５の大輝度領域となり、画素（１）のＵ，Ｖはこの領域に含まれない。したがって、画素（１）は肌色ではないと判別される。なお、画素（２）から画素（９）については、肌色領域は図１５の中輝度領域となり、これらの各画素のＵ，Ｖはこの領域に含まれる。したがって、これらの画素は肌色と判別される。

これに対して、本実施の形態による手法では、Ｙ（輝度）の平均を求めるとＹ（輝度）平均＝１０３となり、この輝度の平均値が肌色領域を定めるために用いられる。これにより、画素（１）については、肌色領域は図１５の中輝度領域となり、画素（１）のＵ，Ｖはこの領域に含まれる。したがって、画素（１）は肌色と判別される。画素（２）から画素（９）についても同様に、肌色領域は図１５の中輝度領域となり、これらの各画素のＵ，Ｖはこの領域に含まれる。したがって、画素（２）から画素（９）も肌色と判別される。

従って、人の顔等の肌色部分に意図しないノイズが発生した場合に、従来技術では、肌色と肌色以外で画像処理とが異なる（個別に処理を行う）のに対して、本実施の形態による手法では、複数の画素を同じ肌色として同じように画像処理すれば良いため、シーンの明るさに応じて複数の画素の平均的な明るさをとり、結果として従来技術と比較してノイズが目立ちにくいという利点がある。

以下に、より具体的な実施例について説明を行う。図１６は、図４に示す指定色検出回路１を含めた画像処理回路全体の構成を示す図である。図１６に示す画像処理回路においては、まず、指定色検出回路１で肌色を判別し、その後段の画像処理係数出力回路４１で肌色とそれ以外の部分とで画像処理の係数を変更する。具体的には、画像処理係数の混合は、指定色検出回路１の出力である指定色近似度Ｎの値に応じて線形的に行われる（図１７参照）。通常の画像処理係数をＳ１、指定色である肌色の画像処理係数をＳ２とすると、最終的な画像処理係数Ｓは式１３のようになる。図１７に示すように指定色近似度Ｎの入力値（矢印）に応じて、数Ｓ１とＳ２とにより決められた関数Ｌ１１における係数Ｓを求めることができる。この係数が、画像処理係数出力回路４１の出力である画像処理係数である。

このように、画像処理係数Ｓ１、Ｓ２を混合することにより、肌色と肌色以外の境界で画像を滑らかに見せることができる。画像処理係数Ｓと入力画像信号とにより、画像処理回路４３において、例えば彩度補正のような画像処理を行い、出力画像を生成することができる。人が記憶の中で思い描いている色のことを記憶色と呼び、一般的に記憶色は実物の色よりも彩度が高いと言われており、特に空の青色、植物の緑色等ではその傾向が強い。しかしながら、人の肌の色については例外であり、実際よりも色白（明度が高く、彩度が低い）が好ましい色とされる。そのため指定色近似度Ｎにより肌色領域以外（Ｎ＝０）では彩度を上げ、肌色領域（０≦Ｎ≦１）では肌色領域の外側から肌色領域の中心に向かい徐々に彩度を下げるような画像処理を行う。その他の画像処理回路として色相、明度を補正する画像処理を行ってもよい。近似度Ｎが大きいほど指定色に適した処理を強く行う。

このように、上記の指定色検出回路１を組み合わせることにより、輝度が変化するような場面（昼、夜等）でも適切に肌色領域を判別することができる。

図２９から図３２までは、本実施の形態による指定色検出の流れを示すフローチャート図である。図２９に示すように、指定色検出処理を開始し（ＳＴＡＲＴ）、ステップＳ１でヒストグラムを取得する。例えば、入力画像サイズは、水平サイズ×垂直サイズ＝HV_SIZEとし、２５６階調を３２段階に分割し（１段階８階調）、１画面分のヒストグラムを取得する。次いで、ステップＳ２において、ヒストグラムの解析処理を行う。例えば、平均輝度を求め、指定色係数テーブル（特徴値）より指定色（肌色）領域を画定するための係数を得る。ステップＳ３において、指定色検出処理を行い、処理を終了する（ＥＮＤ）。尚、ステップＳ１とステップＳ２とにより、指定色領域画定ステップが実行される。

図３０は、ヒストグラム取得処理（図２９のステップＳ１）の流れを示すフローチャート図である。まず、ステップＳ１１からステップＳ１４までにおいて、前のフレームのヒストグラムを初期化する。すなわち、段階の順番の番号をｉとすると、まず、ステップＳ１１においてｉ＝０とし、ステップＳ１２において段階ｉのヒストグラムの度数を０とし、ステップＳ１３においてｉが３２以上であるか否かを判定する。ｉが３２未満であれば（Ｎｏ）、ステップＳ１４においてｉに１を加算してステップＳ１２に戻る。（各段のヒストグラムを初期化） ステップＳ１３において、ｉが３２以上（３２段階のヒストグラムの初期化終了）であれば（Ｙｅｓ）、ステップＳ１５からステップＳ２０までにおいて、ヒストグラムを取得する。

まず、ステップＳ１５において、ヒストグラムの取得サイズを“０”とする。次いで、ステップＳ１６において、入力画像の輝度（Ｙ）=ｙが入力される。ステップＳ１７において、ｙ＝ｙ÷８（小数点以下切捨て）し、ステップＳ１８において、そのｙの値における度数に１を加算する。次いで、ステップＳ１９において現在のヒストグラムのサイズが画素サイズ以上であるか否かを判定し、Ｎｏであれば現在のヒストグラムのサイズに１を加算しステップＳ１６に戻る。ステップＳ１９においてＹｅｓの場合には、処理を終了する（例では、入力画像サイズ＝ヒストグラム取得サイズ）。

図３１は、ヒストグラムの解析処理の流れを示すフローチャート図である。図３１において、ステップＳ３１からステップＳ３６までにおいて平均輝度を算出し、ステップＳ３７において指定色領域の係数を取得する。

ステップＳ３１で０から３１までの３２段階のヒストグラム情報が入力され、ステップＳ３２において段階数ｊ＝０、輝度の総和ｓｕｍ＝０、各段階の中央値ｍｉｄ＝３．５とする（ｍｉｄは０段階のヒストグラムでは３．５（階調０から７の中央値）であり、１段階のヒストグラムでは１１．５（階調８から１５の中央値）である）。次いで、ステップＳ３３において、ｓｕｍ＝ｓｕｍ＋ｍｉｄ×ｈｉｓｔ（ｉ）を演算し、ステップＳ３４において、ｊが３２以上であるか否かを判定する。Ｎｏの場合には、ステップＳ３５に進み、ｊに１、ｍｉｄに８をそれぞれ加算し、ステップＳ３３に戻る。ステップＳ３４において、ｊが３２以上（３２段階の輝度の総和の算出終了）であれば（Ｙｅｓ）、ステップＳ３６において、avg = sum÷HV_SIZEを演算し平均輝度を求める。次いで、ステップＳ３７において、u0 = table_u0[avg]、v0 = table_v0[avg]、a = table_a[avg]、w1 = table_w1[avg]、w2 = table_w2[avg]により指定色係数テーブル（特徴徴値）より平均輝度に応じた指定色領域の係数を取得し、処理を終了する（ＥＸＩＴ）。

尚、指定色係数テーブル（特徴値）の定義は、係数を定義したものであり、以下の通りである（図３１の３０１）。

中心座標U(u0): table_u0[N]
中心座標V(v0): table_v0[N]
傾き(a): table_a [N]
重み付け１(w1): table_w1[N]
重み付け２(w2): table_w2[N]
N : テーブル段数(0〜255)
上記の処理により指定色領域の係数を取得した後、図３２に示す指定色検出処理を行う。まず、ステップＳ４１において、入力画像サイズについて、img_size=0を代入（初期化）する。次いで、ステップＳ４２において、入力画像として色差(Ｕ,Ｖ)=u,vが入力される。ステップＳ４３において、下記式１４に基づいて、ｄ１、ｄ２を求める。

次いで、ステップＳ４４において、下記式１５に基づいてＤを求める。

次いで、ステップＳ４５において、下記式１６に基づいて指定色近似度Ｎを求める。

次いで、ステップＳ４６において、指定色近似度Ｎを出力する。

次いで、ステップＳ４７において、img_size ≧ HV_SIZEであるか否かを判定する。ここで、Ｎｏであれば、ステップＳ４８において、img_size=img_size+1とし、ステップＺＳ４２に戻る。Ｙｅｓの場合には、処理を終了される（ＥＸＩＴ）。これにより、指定色近似度Ｎを出力することができる。

次に、本発明の第２の実施の形態について説明する。本実施の形態による画像処理技術は、動画像に適応した実施例である。上記の第１の実施の形態による画像処理技術を動画に適応した場合には、現フレームの入力画像に少なくとも1フレーム前の入力画像に対してヒストグラムを取得し、解析した指定色近似度Ｎを反映させるためにずれが発生してしまうという問題がある。そこで、図１８に示す画像処理回路は、図４に示す指定色検出回路１であって、複数画素の輝度情報（ヒストグラム）取得部３と、複数画素の輝度情報（ヒストグラム）解析部５と、指定色（肌色）検出部７と、を含む回路１と、その出力である指定色近似度Ｎと画像処理係数Ｓ１、画像処理計数Ｓ２を受けて、画像処理係数Ｓを出力する画像処理係数出力回路４１と、入力画像を１フレーム遅延させるための遅延回路５１の出力とを受けて、出力画像を出力する画像処理回路４３と、を有している。複数画素の輝度情報を解析する輝度情報解析部５と、指定色検出部７とで、指定色領域を画定する指定色領域画定回路６を構成する。

従って、図１８に示すように、遅延回路５１を追加して入力画像を遅延させることにより現フレームの入力画像と反映する指定色近似度Ｎを同期させることができるため、動画像についても、肌色を再現性良く処理することができる。

次に、本発明の第３の実施の形態による画像処理技術について説明する。この技術も、動画像に適応した実施例である。図４に示した基本的な指定色検出回路１との構成上の相違点は、図１９に示すように、輝度情報解析部５に、数フレーム前から１フレーム前までの入力画像の例えば平均輝度を求め、現フレームの入力画像に反映する指定色領域の係数を予測して指定色検出部7に出力するために指定色（肌色）係数予測部５ｂを加えた点である。図２０は、指定色（肌色）係数予測部５ｂにおける動作の概要を示す図である。図２０に示すように、指定色（肌色）係数予測部５ｂは、図２０の例で現フレームＮの４フレーム前（Ｎ−４フレーム）の入力画像から平均輝度の情報をメモリなどに蓄えておき、現フレームＮの入力画像の平均輝度（図では１４０）を予測し、その輝度に応じた指定色領域の係数を指定色検出部に出力する。図２１は、Ｎ−４フレームからＮフレームまでの平均輝度Ｙｍの予測のイメージを示す図であり、一般的には、フレームが進むに従って変化する傾向を滑らかにつなぐようにして予測する。

このようにすることにより、動画に適応する場合に、現フレームの入力画像に少なくとも１フレーム前の入力画像の平均輝度による指定色近似度Ｎを用いるため、若干ずれが生じることになるが、予測して指定色近似度Ｎを求めているため、指定色領域をより適切に判別できるという利点がある。さらに第２の実施の形態による構成に比べて遅延回路が不要であるため、回路規模を小さくすることができるという利点がある。

次に、本発明の第４の実施の形態による画像処理技術について、動画像に適応した例を示す。図２２、２３は、本実施の形態による画像処理回路のうちの指定色検出回路１の一構成例を示す図である。図２２、２３に示す指定色検出回路１は、図４に示す回路において、輝度情報解析部５と指定色検出部７との間に、指定色係数合成部６１を追加した構成である。複数画素の輝度情報を解析する輝度情報解析部５と、指定色検出部７とで、指定色領域を画定する指定色領域画定回路６を構成する。

指定色係数合成部６１は、図２４・図２５にその一例を示すように、Ｎ−２フレームとＮ−１フレームの入力画像に対する指定色領域の係数を合成しＮフレームの指定色領域の係数として指定色検出部７に出力する。このような構成にすることで、図２６に示すように、Ｎ−２フレームとＮ−１フレームに対応する肌色領域を両方とも含むように領域を指定することができ、Ｎ−２フレームからＮ−１フレームの変化内であれば肌色領域を変化に対応させることができる。

図２２に示す構成では指定色（肌色）領域の係数を指定色係数合成部６１で合成するのに対して、図２３に示す構成では、指定色検出部７ａ・７ｂと２つ用い、指定色係数調整部６３において、Ｎ−２フレームとＮ−１フレームとの指定色領域の係数をそれぞれ指定色検出部７ａ・７ｂに出力し、Ｎ−２フレームとＮ−１フレームとの指定色近似度Ｎを指定色近似度Ｎ合成部６５で合成する。指定色係数調整部６３は、Ｎフレーム目に合ったタイミングでＮ−２フレーム目とＮ−１フレーム目の指定色領域の係数を出力するためのタイミング調整回路である。

次に、本実施の形態による画像処理回路のシステムへの応用例について説明する。図２７は、本実施の形態による画像処理技術を用いた指定色検出部１を用いた表示装置の一構成例を示す図である。図２７に示す表示装置は、制御部１０５と、映像信号処理部１１１と、表示部１２１と、を備え、さらに、外部接続端子１０３と、外部メモリＩ／Ｆ部１０７と、を備えている。映像信号処理部１１１には、本実施の形態による指定色検出部１と、画像処理部１１５と、ガンマ補正部１１７とが備えられており、指定色（肌色）を良好に再現することができる。

図２８は、本実施の形態による画像処理技術を携帯端末に適用した例を示す図である。本実施の形態による指定色指定部１と、画像処理部２１５と、ガンマ補正部２１７と、を備えた映像信号処理部２１１と、表示部２２１と、制御部２０５と、を有している携帯端末２０１である。制御部２０５は、携帯端末２０１の操作部２２３、無線通信部２２５、カメラ２２７、専用記憶部２３１、ＲＡＭ／ＲＯＭ２３３、携帯端末の形状を検出する形状検出部２３５、レジスタ２３７、ＴＶ受信部２３９、外部接続端子２４１、外部メモリＩ／Ｆ２４３、電源２４５、及び、上記映像信号処理部２１１、を制御する。すなわち、カメラ２２７により取得した静止画・動画、ＴＶ受信部２３９により取得した放送コンテンツ、無線通信部２２５、外部メモリＩ／Ｆ２４３などから取得したコンテンツデータなどを表示部２２１に表示させる際における指定色（肌色）の輝度依存性を良好に調整することができる。

その他、デジタル放送受信装置、パーソナルコンピュータ、等の種々の電子機器に本発明を利用することができる。また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

さらに、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明は、画像処理装置として利用できる。

Claims (17)

1. 入力画像に含まれる複数の画素の輝度分布情報を取得する輝度情報取得部と、
   前記輝度情報取得部により取得された前記複数画素の輝度情報に基づいて、複数画素の輝度情報に応じた特徴値を求め、該特徴値に基づいて、輝度に応じた前記入力画像の色空間上での指定色領域を画定するための係数を求める輝度情報解析部と、を有することを特徴とする指定色領域画定回路。
2. 前記輝度情報取得部は、ある階調幅をもつ輝度値と該輝度値を有する画素の合計数である度数との関係を示すヒストグラムを取得し、
   前記輝度情報解析部は、前記ヒストグラムに基づいて、前記ヒストグラムの前記特徴値を求め、該特徴値に基づいて前記係数を求めることを特徴とする請求項１に記載の指定色領域画定回路。
3. 請求項１又は２に記載の輝度情報解析部により求められた前記係数によって画定された、前記指定色領域により近似度を求めて出力する指定色検出部を有することを特徴とする指定色検出回路。
4. 前記指定色検出部は、前記係数として、前記指定色領域の中心と、傾きと、前記中心からの大きさと、を備え、
   前記色空間上において、前記中心を通り、前記傾きを持つ第１の特性軸と、前記中心を通り、前記第１の特性軸と直交する第２の特性軸と、を定め、前記中心からの大きさにより前記指定色領域を画定し、前記近似度を求めることを特徴とする請求項３に記載の指定色検出回路。
5. 前記指定色領域を、前記第１の特性軸と前記第２の特性軸のいずれか一方を長軸に含み、他方を短軸に含む楕円で近似することを特徴とする請求項４に記載の指定色検出回路。
6. 前記指定色領域を、前記第１の特性軸と前記第２の特性軸とを対角線に含むひし形で近似することを特徴とする請求項４に記載の指定色検出回路。
7. 前記指定色領域の前記中心に近いほど前記近似度を強く、前記指定領域の前記中心から遠いほど前記近似度を弱くすることを特徴とする請求項３から６までのいずれか１項に記載の指定色検出回路。
8. 請求項３から７までのいずれか１項に記載の指定色検出回路と、前記指定色検出回路の出力である前記近似度を入力として、前記指定色とそれ以外の色とで画像処理の係数を変更する画像処理係数出力回路と、前記画像処理係数出力回路の出力である画像処理係数と入力画像信号とに基づいて出力画像信号を出力する画像処理回路とを有することを特徴とする画像処理装置。
9. 前記画像処理の係数が前記近似度に比例することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像処理回路に入力する前記入力画像を遅延させる遅延回路を備えた請求項８又は９に記載の画像処理装置。
11. 前記輝度情報解析部に、数フレーム前から１フレーム前までの前記入力画像の複数画素の輝度情報に基づいて現フレームの前記指定色領域を画定するための係数を予測する指定色係数予測部を設けたことを特徴とする請求項８から１０までのいずれか１項に記載の画像処理装置。
12. 前記輝度情報解析部と前記指定色検出部との間に、現フレームＮとしてＮ−２フレームとＮ−１フレームの前記指定色領域を画定するための係数を合成しＮフレーム目の前記指定色領域を画定するための係数とする指定色係数合成部を設けたことを特徴とする請求項８から１０までのいずれか１項に記載の画像処理装置。
13. 請求項８から１２までのいずれか１項の記載に画像処理装置を備えた表示装置。
14. 請求項１３に記載の表示装置を備えた電子機器。
15. 入力画像に含まれる複数の画素の輝度分布情報を取得する輝度情報取得ステップと、
    前記輝度情報取得ステップにより取得された前記複数画素の輝度情報に基づいて、複数画素の輝度情報に応じた特徴値を求め、該特徴値に基づいて、輝度に応じた前記入力画像の色空間上での指定色領域を画定するための係数を求める輝度情報解析ステップと、
    を有することを特徴とする指定色領域画定方法。
16. 請求項１５に記載の前記輝度情報解析ステップにより求められた前記係数によって画定された、前記指定色領域により近似度を求めて出力する指定色検出ステップを有することを特徴とする指定色検出方法。
17. 請求項１５又は１６に記載の方法をコンピュータに実行させるためのプログラム。

Images