JP2002208013A - 画像領域抽出装置及び画像領域抽出方法 - Google Patents
画像領域抽出装置及び画像領域抽出方法Info
- Publication number
- JP2002208013A JP2002208013A JP2001005008A JP2001005008A JP2002208013A JP 2002208013 A JP2002208013 A JP 2002208013A JP 2001005008 A JP2001005008 A JP 2001005008A JP 2001005008 A JP2001005008 A JP 2001005008A JP 2002208013 A JP2002208013 A JP 2002208013A
- Authority
- JP
- Japan
- Prior art keywords
- color
- color image
- normal distribution
- image data
- distribution function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 入力用カラー画像データから抽出対象画像領
域を精度良く抽出する。 【解決手段】 複数のサンプル用カラー画像データＳＧ
と、入力用カラー画像データＩＧとを色・テクスチャ特
徴空間上に変換するカラー画像変換部２０と、カラー画
像変換部で変換した複数のサンプル用カラー画像データ
に対して予め指定した色とテクスチャとを持った領域の
色・テクスチャ特徴空間上での分布を混合正規分布関数
で近似させる混合正規分布演算部３０と、混合正規分布
演算部から出力した混合正規分布関数に、カラー画像変
換部で変換した入力用カラー画像データの色・テクスチ
ャ特徴空間上の値を代入して、混合正規分布関数の出力
値が予め設定した閾値より大きい値を有する画素領域を
入力用カラー画像中で前記指定した色とテクスチャとに
対応した抽出対象画像領域であると判定する領域抽出部
４０と、抽出対象画像領域を出力する抽出データ出力部
５０とを備える。
域を精度良く抽出する。 【解決手段】 複数のサンプル用カラー画像データＳＧ
と、入力用カラー画像データＩＧとを色・テクスチャ特
徴空間上に変換するカラー画像変換部２０と、カラー画
像変換部で変換した複数のサンプル用カラー画像データ
に対して予め指定した色とテクスチャとを持った領域の
色・テクスチャ特徴空間上での分布を混合正規分布関数
で近似させる混合正規分布演算部３０と、混合正規分布
演算部から出力した混合正規分布関数に、カラー画像変
換部で変換した入力用カラー画像データの色・テクスチ
ャ特徴空間上の値を代入して、混合正規分布関数の出力
値が予め設定した閾値より大きい値を有する画素領域を
入力用カラー画像中で前記指定した色とテクスチャとに
対応した抽出対象画像領域であると判定する領域抽出部
４０と、抽出対象画像領域を出力する抽出データ出力部
５０とを備える。
Description
【０００１】
【発明の属する技術分野】本発明は、カラー画像データ
の色情報と、テクスチャ（質感）情報とを用いて入力カ
ラー画像データから抽出対象画像領域を精度良く確実に
抽出できる画像領域抽出装置及び画像領域抽出方法に関
するものである。
の色情報と、テクスチャ（質感）情報とを用いて入力カ
ラー画像データから抽出対象画像領域を精度良く確実に
抽出できる画像領域抽出装置及び画像領域抽出方法に関
するものである。
【０００２】
【従来の技術】最近、電子スチルカメラ，ビデオカメラ
などを用いて、個人（ユーザー）が撮影したスチル画像
を、ディジタル画像データとしてパソコン上でデータベ
ース化することが盛んに行われている。ここで、スチル
画像に写っている人物をパソコン上のデータベースから
検索できると大変便利である。この際、スチル画像に写
っている人物を自動的に同定するためには、顔画像を用
いるのが最良である。顔画像で個人を同定するために
は、まず、顔画像領域を検出することが必要で、そのた
めには、肌色領域を抽出すると便利である。
などを用いて、個人（ユーザー）が撮影したスチル画像
を、ディジタル画像データとしてパソコン上でデータベ
ース化することが盛んに行われている。ここで、スチル
画像に写っている人物をパソコン上のデータベースから
検索できると大変便利である。この際、スチル画像に写
っている人物を自動的に同定するためには、顔画像を用
いるのが最良である。顔画像で個人を同定するために
は、まず、顔画像領域を検出することが必要で、そのた
めには、肌色領域を抽出すると便利である。
【０００３】例えば、特開平１０−２６９３６０号公報
には、画像領域抽出をより簡易且つ精密に行うことを目
的した画像領域抽出方法及び装置並びに画像処理装置が
開示されている。尚、詳細な説明は上記同号公報を参照
されたい。
には、画像領域抽出をより簡易且つ精密に行うことを目
的した画像領域抽出方法及び装置並びに画像処理装置が
開示されている。尚、詳細な説明は上記同号公報を参照
されたい。
【０００４】上記した特開平１０−２６９３６０号に開
示された従来の画像領域抽出方法及び装置並びに画像処
理装置では、自然カラー画像における所定の領域を抽出
対象として抽出する際に、抽出対象のサンプルデータを
色空間上の色空間分布に変換し、色空間分布の高明度側
から低明度側もしくは低明度側から高明度側にかけて明
度軸に沿い、且つ、色空間分布の中心近傍を通過するよ
うに複数の線分を設定して、各線分を主軸とする正規分
布関数で色空間分布を近似している。画素が抽出対象に
含まれる場合は、画素の色座標に対する各正規分布関数
の値が予め設定された閾値より大きい場合、画素が抽出
対象に含まれると判定することで、静止画像からの領域
抽出をより簡易且つ精密に行うことが可能である旨が記
載されている。
示された従来の画像領域抽出方法及び装置並びに画像処
理装置では、自然カラー画像における所定の領域を抽出
対象として抽出する際に、抽出対象のサンプルデータを
色空間上の色空間分布に変換し、色空間分布の高明度側
から低明度側もしくは低明度側から高明度側にかけて明
度軸に沿い、且つ、色空間分布の中心近傍を通過するよ
うに複数の線分を設定して、各線分を主軸とする正規分
布関数で色空間分布を近似している。画素が抽出対象に
含まれる場合は、画素の色座標に対する各正規分布関数
の値が予め設定された閾値より大きい場合、画素が抽出
対象に含まれると判定することで、静止画像からの領域
抽出をより簡易且つ精密に行うことが可能である旨が記
載されている。
【０００５】
【発明が解決しようとする課題】ところで、上記した従
来の画像領域抽出方法及び装置並びに画像処理装置にお
いて、複数の自然カラー画像を入力した際に、照明の種
類が複数ある場合では、分布の形状が複雑になるので、
中心近傍を通る線分を主軸とする正規分布関数ではうま
く近似できず、求める抽出対象画像領域をうまく抽出で
きない。
来の画像領域抽出方法及び装置並びに画像処理装置にお
いて、複数の自然カラー画像を入力した際に、照明の種
類が複数ある場合では、分布の形状が複雑になるので、
中心近傍を通る線分を主軸とする正規分布関数ではうま
く近似できず、求める抽出対象画像領域をうまく抽出で
きない。
【０００６】また、自然カラー画像の色情報だけを用い
て抽出対象画像領域を抽出しているので、同一色で且つ
異なる抽出対象画像領域を分離することができないなど
の問題点が発生する。
て抽出対象画像領域を抽出しているので、同一色で且つ
異なる抽出対象画像領域を分離することができないなど
の問題点が発生する。
【０００７】そこで、カラー画像の色情報と、テクスチ
ャ（質感）情報とを用いて入力カラー画像データから抽
出対象画像領域を精度良く確実に抽出することで、上記
した問題点を解決することができる画像領域抽出装置及
び画像領域抽出方法が望まれている。
ャ（質感）情報とを用いて入力カラー画像データから抽
出対象画像領域を精度良く確実に抽出することで、上記
した問題点を解決することができる画像領域抽出装置及
び画像領域抽出方法が望まれている。
【０００８】
【課題を解決するための手段】本発明は上記課題に鑑み
てなされたものであり、第１の発明は、入力した複数の
サンプル用カラー画像データと、入力用カラー画像デー
タとをそれぞれ別々に色・テクスチャ特徴空間上に変換
するカラー画像変換部と、前記カラー画像変換部で変換
した複数のサンプル用カラー画像データに対して予め指
定した色とテクスチャとを持った領域の色・テクスチャ
特徴空間上での分布を混合正規分布関数で近似させて、
この混合正規分布関数を出力する混合正規分布演算部
と、前記混合正規分布演算部から出力した前記混合正規
分布関数に、前記カラー画像変換部で変換した入力用カ
ラー画像データの色・テクスチャ特徴空間上の値を代入
して、前記混合正規分布関数の出力値が予め設定した閾
値より大きい値を有する画素領域を入力用カラー画像中
で前記指定した色とテクスチャとに対応した抽出対象画
像領域であると判定する領域抽出部と、前記領域抽出部
で判定した前記抽出対象画像領域を出力する抽出データ
出力部とを具備したことを特徴とする画像領域抽出装置
である。
てなされたものであり、第１の発明は、入力した複数の
サンプル用カラー画像データと、入力用カラー画像デー
タとをそれぞれ別々に色・テクスチャ特徴空間上に変換
するカラー画像変換部と、前記カラー画像変換部で変換
した複数のサンプル用カラー画像データに対して予め指
定した色とテクスチャとを持った領域の色・テクスチャ
特徴空間上での分布を混合正規分布関数で近似させて、
この混合正規分布関数を出力する混合正規分布演算部
と、前記混合正規分布演算部から出力した前記混合正規
分布関数に、前記カラー画像変換部で変換した入力用カ
ラー画像データの色・テクスチャ特徴空間上の値を代入
して、前記混合正規分布関数の出力値が予め設定した閾
値より大きい値を有する画素領域を入力用カラー画像中
で前記指定した色とテクスチャとに対応した抽出対象画
像領域であると判定する領域抽出部と、前記領域抽出部
で判定した前記抽出対象画像領域を出力する抽出データ
出力部とを具備したことを特徴とする画像領域抽出装置
である。
【０００９】また、第２の発明は、入力した複数のサン
プル用カラー画像データと、入力用カラー画像データと
をそれぞれ別々に色・テクスチャ特徴空間上に変換する
カラー画像変換ステップと、前記カラー画像変換ステッ
プで変換した複数のサンプル用カラー画像データに対し
て予め指定した色とテクスチャとを持った領域の色・テ
クスチャ特徴空間上での分布を混合正規分布関数で近似
させて、この混合正規分布関数を出力する混合正規分布
演算ステップと、前記混合正規分布演算ステップから出
力した前記混合正規分布関数に、前記カラー画像変換ス
テップで変換した入力用カラー画像データの色・テクス
チャ特徴空間上の値を代入して、前記混合正規分布関数
の出力値が予め設定した閾値より大きい値を有する画素
領域を入力用カラー画像中で前記指定した色とテクスチ
ャとに対応した抽出対象画像領域であると判定する領域
抽出ステップと、前記領域抽出ステップで判定した前記
抽出対象画像領域を出力する抽出データ出力ステップと
を有することを特徴とする画像領域抽出方法である。
プル用カラー画像データと、入力用カラー画像データと
をそれぞれ別々に色・テクスチャ特徴空間上に変換する
カラー画像変換ステップと、前記カラー画像変換ステッ
プで変換した複数のサンプル用カラー画像データに対し
て予め指定した色とテクスチャとを持った領域の色・テ
クスチャ特徴空間上での分布を混合正規分布関数で近似
させて、この混合正規分布関数を出力する混合正規分布
演算ステップと、前記混合正規分布演算ステップから出
力した前記混合正規分布関数に、前記カラー画像変換ス
テップで変換した入力用カラー画像データの色・テクス
チャ特徴空間上の値を代入して、前記混合正規分布関数
の出力値が予め設定した閾値より大きい値を有する画素
領域を入力用カラー画像中で前記指定した色とテクスチ
ャとに対応した抽出対象画像領域であると判定する領域
抽出ステップと、前記領域抽出ステップで判定した前記
抽出対象画像領域を出力する抽出データ出力ステップと
を有することを特徴とする画像領域抽出方法である。
【００１０】
【発明の実施の形態】以下に本発明に係る画像領域抽出
装置及び画像領域抽出方法の一実施例を図１乃至図３を
参照して詳細に説明する。
装置及び画像領域抽出方法の一実施例を図１乃至図３を
参照して詳細に説明する。
【００１１】図１は本発明に係る画像領域抽出装置を説
明するための構成図、図２は入力用カラー画像中の抽出
対象画像領域を示した図、図３は本発明に係る画像領域
抽出方法を説明するためのフロー図である。
明するための構成図、図２は入力用カラー画像中の抽出
対象画像領域を示した図、図３は本発明に係る画像領域
抽出方法を説明するためのフロー図である。
【００１２】本発明に係る画像領域抽出装置及び画像領
域抽出方法は、多数のカラー画像を蓄積した画像データ
ベースから例えば検索用の顔画像などを用いて、検索用
の顔画像に対して相関のある顔画像が写ったカラー画像
を検索する際に、例えば検索用の顔画像などを得るため
に入力カラー画像中から顔画像を含む抽出対象画像領域
を精度良く確実に抽出できることを特徴とするものであ
る。
域抽出方法は、多数のカラー画像を蓄積した画像データ
ベースから例えば検索用の顔画像などを用いて、検索用
の顔画像に対して相関のある顔画像が写ったカラー画像
を検索する際に、例えば検索用の顔画像などを得るため
に入力カラー画像中から顔画像を含む抽出対象画像領域
を精度良く確実に抽出できることを特徴とするものであ
る。
【００１３】図１に示した如く、本発明に係る画像領域
抽出装置１０は、３原色（ＲＧＢ）からなる複数のサン
プル用カラー画像データＳＧと、３原色（ＲＧＢ）から
なる入力用カラー画像データＩＧとをそれぞれ入力し
て、各カラー画像データＳＧ，ＩＧをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換部２
０と、カラー画像変換部２０で変換した複数のサンプル
用カラー画像データＳＧに対して予め指定した色とテク
スチャとを持った領域の色・テクスチャ特徴空間上での
分布を混合正規分布関数で近似させて、この混合正規分
布関数を出力する混合正規分布演算部３０と、混合正規
分布演算部３０から出力した混合正規分布関数に、カラ
ー画像変換部２０で変換した入力用カラー画像データＩ
Ｇの色・テクスチャ特徴空間上の値を代入して、混合正
規分布関数の出力値が予め設定した閾値より大きい値を
有する画素領域を入力用カラー画像ＩＧ中で前記指定し
た色とテクスチャとに対応した抽出対象画像領域である
と判定する領域抽出部４０と、領域抽出部４０で判定し
た抽出対象画像領域を出力する抽出データ出力部５０と
から概略構成されている。
抽出装置１０は、３原色（ＲＧＢ）からなる複数のサン
プル用カラー画像データＳＧと、３原色（ＲＧＢ）から
なる入力用カラー画像データＩＧとをそれぞれ入力し
て、各カラー画像データＳＧ，ＩＧをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換部２
０と、カラー画像変換部２０で変換した複数のサンプル
用カラー画像データＳＧに対して予め指定した色とテク
スチャとを持った領域の色・テクスチャ特徴空間上での
分布を混合正規分布関数で近似させて、この混合正規分
布関数を出力する混合正規分布演算部３０と、混合正規
分布演算部３０から出力した混合正規分布関数に、カラ
ー画像変換部２０で変換した入力用カラー画像データＩ
Ｇの色・テクスチャ特徴空間上の値を代入して、混合正
規分布関数の出力値が予め設定した閾値より大きい値を
有する画素領域を入力用カラー画像ＩＧ中で前記指定し
た色とテクスチャとに対応した抽出対象画像領域である
と判定する領域抽出部４０と、領域抽出部４０で判定し
た抽出対象画像領域を出力する抽出データ出力部５０と
から概略構成されている。
【００１４】ここで、本発明に係る画像領域抽出装置１
０をより具体的に順を追って説明すると、まず、電子ス
チルカメラとかビデオカメラなどで撮影した複数のサン
プル用カラー画像データＳＧの各画素及び入力用カラー
画像データＩＧの各画素は、共にＲ（赤），Ｇ（緑），
Ｂ（青）の各値からなる３次元ベクトルで表現されてお
り、両カラー画像データＳＧ，ＩＧは共にＲＧＢ信号で
カラー画像変換部２０に入力されている。
０をより具体的に順を追って説明すると、まず、電子ス
チルカメラとかビデオカメラなどで撮影した複数のサン
プル用カラー画像データＳＧの各画素及び入力用カラー
画像データＩＧの各画素は、共にＲ（赤），Ｇ（緑），
Ｂ（青）の各値からなる３次元ベクトルで表現されてお
り、両カラー画像データＳＧ，ＩＧは共にＲＧＢ信号で
カラー画像変換部２０に入力されている。
【００１５】次に、上記したカラー画像変換部２０は、
複数のサンプル用カラー画像データＳＧのＲＧＢ信号及
び入力用カラー画像データＩＧのＲＧＢ信号を輝度信号
Ｙと色差信号Ｕ，Ｖとにそれぞれ変換する輝度／色差系
座標変換部（ＹＵＶ変換部）２１と、両カラー画像デー
タＳＧ，ＩＧのテクスチャ量Ｔを演算するテクスチャ量
演算部２２と、両カラー画像データＳＧ，ＩＧの各画素
の（Ｙ，Ｕ，Ｖ，Ｔ）の４次元ベクトルを出力する４次
元ベクトル出力部２３とを内部に備えている。
複数のサンプル用カラー画像データＳＧのＲＧＢ信号及
び入力用カラー画像データＩＧのＲＧＢ信号を輝度信号
Ｙと色差信号Ｕ，Ｖとにそれぞれ変換する輝度／色差系
座標変換部（ＹＵＶ変換部）２１と、両カラー画像デー
タＳＧ，ＩＧのテクスチャ量Ｔを演算するテクスチャ量
演算部２２と、両カラー画像データＳＧ，ＩＧの各画素
の（Ｙ，Ｕ，Ｖ，Ｔ）の４次元ベクトルを出力する４次
元ベクトル出力部２３とを内部に備えている。
【００１６】まず、カラー画像変換部２０内の輝度／色
差系座標変換部（ＹＵＶ変換部）２１では、ＲＧＢ信号
で入力された複数のサンプル用カラー画像データＳＧ
と、ＲＧＢ信号で入力された入力用カラー画像データＩ
Ｇとを、輝度信号Ｙと色差信号Ｕ（＝Ｂ−Ｙ），Ｖ（＝
Ｒ−Ｙ）とに下記の［数１］に示した変換式に基づいて
それぞれ変換している。
差系座標変換部（ＹＵＶ変換部）２１では、ＲＧＢ信号
で入力された複数のサンプル用カラー画像データＳＧ
と、ＲＧＢ信号で入力された入力用カラー画像データＩ
Ｇとを、輝度信号Ｙと色差信号Ｕ（＝Ｂ−Ｙ），Ｖ（＝
Ｒ−Ｙ）とに下記の［数１］に示した変換式に基づいて
それぞれ変換している。
【００１７】
【数１】 この際、複数のサンプル用カラー画像データＳＧと、入
力用カラー画像データＩＧは輝度／色差系座標変換部２
１でそれぞれ別々に輝度／色差系座標変換を行ってい
る。
力用カラー画像データＩＧは輝度／色差系座標変換部２
１でそれぞれ別々に輝度／色差系座標変換を行ってい
る。
【００１８】尚、複数のサンプル用カラー画像データＳ
Ｇ及び入力用カラー画像データＩＧが輝度／色差信号で
入力される場合には、カラー画像変換部２０内の輝度／
色差系座標変換部２１を省略できる。
Ｇ及び入力用カラー画像データＩＧが輝度／色差信号で
入力される場合には、カラー画像変換部２０内の輝度／
色差系座標変換部２１を省略できる。
【００１９】次に、カラー画像変換部２０内のテクスチ
ャ量演算部２２では、輝度／色差系座標変換部２１で輝
度信号Ｙと色差信号Ｕ，Ｖに変換された複数のサンプル
用カラー画像データＳＧと、入力用カラー画像データＩ
Ｇとに対してそれぞれ別々にテクスチャ量Ｔを求めてい
る。
ャ量演算部２２では、輝度／色差系座標変換部２１で輝
度信号Ｙと色差信号Ｕ，Ｖに変換された複数のサンプル
用カラー画像データＳＧと、入力用カラー画像データＩ
Ｇとに対してそれぞれ別々にテクスチャ量Ｔを求めてい
る。
【００２０】ここでは、両カラー画像データＳＧ，ＩＧ
に対して各画素の近傍領域のエッジ成分の平均値を求め
ている。即ち、両カラー画像データＳＧ，ＩＧの輝度画
像に対して下記の［数２］に示した式に基づいてガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
を行うことで、各画素の近傍領域のエッジ検出とローパ
スフィルタリングとを行っている。
に対して各画素の近傍領域のエッジ成分の平均値を求め
ている。即ち、両カラー画像データＳＧ，ＩＧの輝度画
像に対して下記の［数２］に示した式に基づいてガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
を行うことで、各画素の近傍領域のエッジ検出とローパ
スフィルタリングとを行っている。
【００２１】
【数２】 そして、ローパスフィルタリング後の両カラー画像デー
タＳＧ，ＩＧにおいて、各画素の近傍領域の値の絶対値
の平均を求めて、その各画素のテクスチャ量Ｔとしてお
り、従ってテクスチャ量Ｔとしてエッジ検出データを用
いている。
タＳＧ，ＩＧにおいて、各画素の近傍領域の値の絶対値
の平均を求めて、その各画素のテクスチャ量Ｔとしてお
り、従ってテクスチャ量Ｔとしてエッジ検出データを用
いている。
【００２２】尚、両カラー画像データＳＧ，ＩＧの各テ
クスチャ量Ｔを求める際に、ＲＧＢ信号のままでガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
して求める方法もある。
クスチャ量Ｔを求める際に、ＲＧＢ信号のままでガウス
関数のラプラシャン▽２Ｇ（ｘ，ｙ）でフィルタリング
して求める方法もある。
【００２３】次に、カラー画像変換部２０内の４次元ベ
クトル出力部２３では、輝度／色差系座標変換部２１か
らの出力と、テクスチャ量演算部２２からの出力とによ
って、両カラー画像データＳＧ，ＩＧの各画素の値を
（Ｒ，Ｇ，Ｂ）の３次元ベクトルから４次元ベクトル
（Ｙ，Ｕ，Ｖ，Ｔ）へ変換している。この後、サンプル
用カラー画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は
混合正規分布演算部３０へ出力する一方、入力用カラー
画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は領域抽出
部４０に出力している。
クトル出力部２３では、輝度／色差系座標変換部２１か
らの出力と、テクスチャ量演算部２２からの出力とによ
って、両カラー画像データＳＧ，ＩＧの各画素の値を
（Ｒ，Ｇ，Ｂ）の３次元ベクトルから４次元ベクトル
（Ｙ，Ｕ，Ｖ，Ｔ）へ変換している。この後、サンプル
用カラー画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は
混合正規分布演算部３０へ出力する一方、入力用カラー
画像側の４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）は領域抽出
部４０に出力している。
【００２４】次に、混合正規分布演算部３０では、複数
のサンプル用カラー画像データのＹＵＶＴ特徴空間上で
の確率密度関数を求めている。ここでは、確率密度関数
として、カラー画像変換部２０で変換した複数のサンプ
ル用カラー画像データＳＧに対して予め指定した色とテ
クスチャとを持った領域の色・テクスチャ特徴空間上で
の分布を混合正規分布関数で近似させている。この混合
正規分布関数を用いることにより複雑な形状をしている
分布でも予め指定した色とテクスチャとに対して精度良
く近似することができる。この際、混合正規分布関数ｐ
（ｔ）は、下記する［数３］に示した式で表すことがで
きる。
のサンプル用カラー画像データのＹＵＶＴ特徴空間上で
の確率密度関数を求めている。ここでは、確率密度関数
として、カラー画像変換部２０で変換した複数のサンプ
ル用カラー画像データＳＧに対して予め指定した色とテ
クスチャとを持った領域の色・テクスチャ特徴空間上で
の分布を混合正規分布関数で近似させている。この混合
正規分布関数を用いることにより複雑な形状をしている
分布でも予め指定した色とテクスチャとに対して精度良
く近似することができる。この際、混合正規分布関数ｐ
（ｔ）は、下記する［数３］に示した式で表すことがで
きる。
【００２５】
【数３】 ここで、入力用カラー画像データＩＧ中から抽出したい
抽出対象画像領域として例えば人物の顔画像領域を設定
した場合には、顔画像領域中の皮膚の色、即ち、肌色と
テクスチャとに注目することで肌色領域が顔画像領域で
あると判定できるため、混合正規分布関数ｐ（ｔ）に対
して予め肌色とテクスチャとを指定して、ＥＭ（Ｅｘｐ
ｅｃｔａｔｉｏｎ ａｎｄ Ｍａｘｉｍｉｚａｔｉｏ
ｎ）アルゴリズムを用いて複数のサンプル用カラー画像
データにより［数３］に示した式中の正規分布関数の共
分散行列Σｉ及び正規分布関数の平均値ベクトルμｉ並
びに各正規分布関数に対する重み付けｗｉに対して肌色
領域を学習させて、学習させて求めた混合正規分布関数
ｐ（ｔ）を領域抽出部４０に出力している。
抽出対象画像領域として例えば人物の顔画像領域を設定
した場合には、顔画像領域中の皮膚の色、即ち、肌色と
テクスチャとに注目することで肌色領域が顔画像領域で
あると判定できるため、混合正規分布関数ｐ（ｔ）に対
して予め肌色とテクスチャとを指定して、ＥＭ（Ｅｘｐ
ｅｃｔａｔｉｏｎ ａｎｄ Ｍａｘｉｍｉｚａｔｉｏ
ｎ）アルゴリズムを用いて複数のサンプル用カラー画像
データにより［数３］に示した式中の正規分布関数の共
分散行列Σｉ及び正規分布関数の平均値ベクトルμｉ並
びに各正規分布関数に対する重み付けｗｉに対して肌色
領域を学習させて、学習させて求めた混合正規分布関数
ｐ（ｔ）を領域抽出部４０に出力している。
【００２６】そして、ここで求めた混合正規分布関数ｐ
（ｔ）の出力値は、肌色領域に対して大きな値を示し、
その他の色の領域に対して０に近付く方向で小さな値を
示すようになる。
（ｔ）の出力値は、肌色領域に対して大きな値を示し、
その他の色の領域に対して０に近付く方向で小さな値を
示すようになる。
【００２７】勿論、肌色領域だけでなく、他の色とテク
スチャとによる領域を抽出対象画像領域に設定する場合
には、上記と同様に混合正規分布関数ｐ（ｔ）に対して
他の色とテクスチャとを予め指定して、ＥＭアルゴリズ
ムを用いて他の色とテクスチャとによる領域を学習させ
てこの色とテクスチャとに対応させた混合正規分布関数
ｐ（ｔ）を求めれば良く、以下同様にして各色及び各テ
クスチャの組みごとに混合正規分布関数ｐ（ｔ）をそれ
ぞれ予め求めておけば、必要に応じて各色と各テクスチ
ャとに対応させた混合正規分布関数ｐ（ｔ）のいずれか
を選択することで、選択した色とテクスチャとに対応し
た抽出対象画像領域を設定することも可能である。
スチャとによる領域を抽出対象画像領域に設定する場合
には、上記と同様に混合正規分布関数ｐ（ｔ）に対して
他の色とテクスチャとを予め指定して、ＥＭアルゴリズ
ムを用いて他の色とテクスチャとによる領域を学習させ
てこの色とテクスチャとに対応させた混合正規分布関数
ｐ（ｔ）を求めれば良く、以下同様にして各色及び各テ
クスチャの組みごとに混合正規分布関数ｐ（ｔ）をそれ
ぞれ予め求めておけば、必要に応じて各色と各テクスチ
ャとに対応させた混合正規分布関数ｐ（ｔ）のいずれか
を選択することで、選択した色とテクスチャとに対応し
た抽出対象画像領域を設定することも可能である。
【００２８】尚、ＥＭアルゴリズムは、観測されない隠
れ変数がある場合に、最尤推定量を得ることを目的とし
た逐次的手法である。
れ変数がある場合に、最尤推定量を得ることを目的とし
た逐次的手法である。
【００２９】次に、領域抽出部４０では、入力用カラー
画像データＩＧから抽出対象画像領域の抽出を行ってい
る。ここでは、混合正規分布演算部３０で色とテクスチ
ャとを予め指定して求めた混合正規分布関数ｐ（ｔ）
に、４次元ベクトル出力部２３から出力された入力用カ
ラー画像ＩＧの４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）の値
を代入して、混合正規分布関数ｐ（ｔ）の出力値が予め
設定した閾値より大きい値を有する画素領域を入力用カ
ラー画像データＩＧ中で前記指定した色とテクスチャと
に対応した抽出対象画像領域であると判定している。こ
の際、前述したように、混合正規分布演算部３０で抽出
対象画像領域が肌色の顔画像領域になるように予め肌色
とテクスチャとを指定して混合正規分布関数ｐ（ｔ）を
求めた場合には、図２に示したように入力用カラー画像
データＩＧ中で太線で囲んだ枠内が肌色の抽出対象画像
領域として抽出データ出力部５０から出力される。
画像データＩＧから抽出対象画像領域の抽出を行ってい
る。ここでは、混合正規分布演算部３０で色とテクスチ
ャとを予め指定して求めた混合正規分布関数ｐ（ｔ）
に、４次元ベクトル出力部２３から出力された入力用カ
ラー画像ＩＧの４次元ベクトル（Ｙ，Ｕ，Ｖ，Ｔ）の値
を代入して、混合正規分布関数ｐ（ｔ）の出力値が予め
設定した閾値より大きい値を有する画素領域を入力用カ
ラー画像データＩＧ中で前記指定した色とテクスチャと
に対応した抽出対象画像領域であると判定している。こ
の際、前述したように、混合正規分布演算部３０で抽出
対象画像領域が肌色の顔画像領域になるように予め肌色
とテクスチャとを指定して混合正規分布関数ｐ（ｔ）を
求めた場合には、図２に示したように入力用カラー画像
データＩＧ中で太線で囲んだ枠内が肌色の抽出対象画像
領域として抽出データ出力部５０から出力される。
【００３０】次に、本発明に係る画像領域抽出方法につ
いて図３を用いて簡略に説明する。図３に示した本発明
に係る画像領域抽出方法は、上記した画像領域抽出装置
１０での動作をステップ順にまとめたものであり、ま
ず、カラー画像変換ステップＳ１では、入力した複数の
サンプル用カラー画像データＳＧと、入力用カラー画像
データＩＧとをそれぞれ別々に色・テクスチャ特徴空間
上に変換している。
いて図３を用いて簡略に説明する。図３に示した本発明
に係る画像領域抽出方法は、上記した画像領域抽出装置
１０での動作をステップ順にまとめたものであり、ま
ず、カラー画像変換ステップＳ１では、入力した複数の
サンプル用カラー画像データＳＧと、入力用カラー画像
データＩＧとをそれぞれ別々に色・テクスチャ特徴空間
上に変換している。
【００３１】次に、混合正規分布演算ステップＳ２で
は、カラー画像変換ステップＳ１で変換した複数のサン
プル用カラー画像データＳＧに対して予め指定した色と
テクスチャとを持った領域の色・テクスチャ特徴空間上
での分布を混合正規分布関数で近似させて、この混合正
規分布関数を下記する領域抽出ステップＳ３に出力して
いる。
は、カラー画像変換ステップＳ１で変換した複数のサン
プル用カラー画像データＳＧに対して予め指定した色と
テクスチャとを持った領域の色・テクスチャ特徴空間上
での分布を混合正規分布関数で近似させて、この混合正
規分布関数を下記する領域抽出ステップＳ３に出力して
いる。
【００３２】次に、領域抽出ステップＳ３では、混合正
規分布演算ステップＳ２から出力した混合正規分布関数
に、カラー画像変換ステップＳ１で変換した入力用カラ
ー画像データＩＧの色・テクスチャ特徴空間上の値を代
入して、混合正規分布関数の出力値が予め設定した閾値
より大きい値を有する画素領域を入力用カラー画像ＩＧ
中で前記指定した色に対応した抽出対象画像領域である
と判定している。
規分布演算ステップＳ２から出力した混合正規分布関数
に、カラー画像変換ステップＳ１で変換した入力用カラ
ー画像データＩＧの色・テクスチャ特徴空間上の値を代
入して、混合正規分布関数の出力値が予め設定した閾値
より大きい値を有する画素領域を入力用カラー画像ＩＧ
中で前記指定した色に対応した抽出対象画像領域である
と判定している。
【００３３】最後に、抽出データ出力ステップＳ４では
領域抽出ステップＳ３で判定した入抽出対象画像領域を
出力している。
領域抽出ステップＳ３で判定した入抽出対象画像領域を
出力している。
【００３４】
【発明の効果】以上詳述した本発明に係る画像領域抽出
装置及び画像領域抽出方法によると、とくに、入力用カ
ラー画像データから抽出対象画像領域を抽出する際に、
色情報だけでなく、テクスチャ情報を用いて抽出対象画
像領域の抽出を行っているので、同一色でも、テクスチ
ャが異なる抽出対象画像領域を精度良く確実に分離する
ことができる。
装置及び画像領域抽出方法によると、とくに、入力用カ
ラー画像データから抽出対象画像領域を抽出する際に、
色情報だけでなく、テクスチャ情報を用いて抽出対象画
像領域の抽出を行っているので、同一色でも、テクスチ
ャが異なる抽出対象画像領域を精度良く確実に分離する
ことができる。
【００３５】また、複数の入力用カラー画像データを適
用する際に、照明の種類が複数ある場合では、分布の形
状が複雑になるが、複数の正規分布関数で近似している
ため、近似誤差が小さく、求める抽出対象画像領域を精
度良く確実に抽出できる。
用する際に、照明の種類が複数ある場合では、分布の形
状が複雑になるが、複数の正規分布関数で近似している
ため、近似誤差が小さく、求める抽出対象画像領域を精
度良く確実に抽出できる。
【図１】本発明に係る画像領域抽出装置を説明するため
の構成図である。
の構成図である。
【図２】入力用カラー画像中の抽出対象画像領域を示し
た図である。
た図である。
【図３】本発明に係る画像領域抽出方法を説明するため
のフロー図である。
のフロー図である。
１０…画像領域抽出装置、２０…カラー画像変換部、２
１…輝度／色差系座標変換部（ＹＵＶ変換部）、２２…
テクスチャ量演算部、２３…４次元ベクトル出力部、３
０…混合正規分布演算部、４０…領域抽出部、５０…抽
出データ出力部、ＳＧ…サンプル用カラー画像データ、
ＩＧ…入力用カラー画像データ、Ｔ…テクスチャ量。
１…輝度／色差系座標変換部（ＹＵＶ変換部）、２２…
テクスチャ量演算部、２３…４次元ベクトル出力部、３
０…混合正規分布演算部、４０…領域抽出部、５０…抽
出データ出力部、ＳＧ…サンプル用カラー画像データ、
ＩＧ…入力用カラー画像データ、Ｔ…テクスチャ量。
フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CA12 CA16 CE09 CE16 DA08 DB02 DB06 DB09 DC25 DC30 DC36 5L096 AA02 AA06 CA02 EA35 FA01 FA06 FA15 FA45 GA40 HA07 JA11
Claims (2)
- 【請求項１】 入力した複数のサンプル用カラー画像デ
ータと、入力用カラー画像データとをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換部
と、 前記カラー画像変換部で変換した複数のサンプル用カラ
ー画像データに対して予め指定した色とテクスチャとを
持った領域の色・テクスチャ特徴空間上での分布を混合
正規分布関数で近似させて、この混合正規分布関数を出
力する混合正規分布演算部と、 前記混合正規分布演算部から出力した前記混合正規分布
関数に、前記カラー画像変換部で変換した入力用カラー
画像データの色・テクスチャ特徴空間上の値を代入し
て、前記混合正規分布関数の出力値が予め設定した閾値
より大きい値を有する画素領域を入力用カラー画像中で
前記指定した色とテクスチャとに対応した抽出対象画像
領域であると判定する領域抽出部と、 前記領域抽出部で判定した前記抽出対象画像領域を出力
する抽出データ出力部とを具備したことを特徴とする画
像領域抽出装置。 - 【請求項２】 入力した複数のサンプル用カラー画像デ
ータと、入力用カラー画像データとをそれぞれ別々に色
・テクスチャ特徴空間上に変換するカラー画像変換ステ
ップと、 前記カラー画像変換ステップで変換した複数のサンプル
用カラー画像データに対して予め指定した色とテクスチ
ャとを持った領域の色・テクスチャ特徴空間上での分布
を混合正規分布関数で近似させて、この混合正規分布関
数を出力する混合正規分布演算ステップと、 前記混合正規分布演算ステップから出力した前記混合正
規分布関数に、前記カラー画像変換ステップで変換した
入力用カラー画像データの色・テクスチャ特徴空間上の
値を代入して、前記混合正規分布関数の出力値が予め設
定した閾値より大きい値を有する画素領域を入力用カラ
ー画像中で前記指定した色とテクスチャとに対応した抽
出対象画像領域であると判定する領域抽出ステップと、 前記領域抽出ステップで判定した前記抽出対象画像領域
を出力する抽出データ出力ステップとを有することを特
徴とする画像領域抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005008A JP2002208013A (ja) | 2001-01-12 | 2001-01-12 | 画像領域抽出装置及び画像領域抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005008A JP2002208013A (ja) | 2001-01-12 | 2001-01-12 | 画像領域抽出装置及び画像領域抽出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002208013A true JP2002208013A (ja) | 2002-07-26 |
Family
ID=18873107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001005008A Pending JP2002208013A (ja) | 2001-01-12 | 2001-01-12 | 画像領域抽出装置及び画像領域抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002208013A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
| JP2006508462A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
| JP2008257353A (ja) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
| JP2011517526A (ja) * | 2008-03-18 | 2011-06-09 | トムソン ライセンシング | 着目物の適応的な色モデル・パラメータ推定に係る方法および装置 |
-
2001
- 2001-01-12 JP JP2001005008A patent/JP2002208013A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006508462A (ja) * | 2002-11-29 | 2006-03-09 | ソニー・ユナイテッド・キングダム・リミテッド | 顔検出 |
| JP2005234810A (ja) * | 2004-02-18 | 2005-09-02 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
| JP2008257353A (ja) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
| JP2011517526A (ja) * | 2008-03-18 | 2011-06-09 | トムソン ライセンシング | 着目物の適応的な色モデル・パラメータ推定に係る方法および装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0532823B1 (en) | Method and apparatus for detecting the contour and separating a given subject from an image | |
| JP4251719B2 (ja) | 複数人物が存在する場合の人間の顔のロバスト追跡システム | |
| US6088137A (en) | Specified image-area extracting method and device | |
| US8385638B2 (en) | Detecting skin tone in images | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| JPH09322192A (ja) | 赤目検出補正装置 | |
| KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
| JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| Zangana et al. | A new algorithm for human face detection using skin color tone | |
| JP2008139941A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2009038737A (ja) | 画像処理装置 | |
| JP2002342758A (ja) | 視覚認識システム | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
| CN108491820B (zh) | 图像中肢体表示信息的识别方法、装置及设备、存储介质 | |
| JP2005346474A (ja) | 画像処理方法及び装置及びプログラム及び記憶媒体 | |
| JPH09130714A (ja) | 画像情報抽出装置および方法 | |
| JP6855175B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2936599B2 (ja) | カラー画像処理装置 | |
| JP2721107B2 (ja) | 映像特徴処理方法 | |
| JP2002117402A (ja) | 画像処理方法及びその装置 | |
| JP2005250778A (ja) | 画像の天地方向判定 | |
| WO2005048133A1 (ja) | 画像処理方法、画像処理システム、および画像処理プログラム | |
| Montero et al. | Watermark detection and clearance in video using simple signal and image processing techniques | |
| JP5069599B2 (ja) | 映像変換装置、映像変換方法および映像変換プログラム | |
| JP2003248824A (ja) | 画像処理装置および画像処理方法 |