JP2012053813A - 人物属性推定装置、人物属性推定方法、及びプログラム - Google Patents
人物属性推定装置、人物属性推定方法、及びプログラム Download PDFInfo
- Publication number
- JP2012053813A JP2012053813A JP2010197473A JP2010197473A JP2012053813A JP 2012053813 A JP2012053813 A JP 2012053813A JP 2010197473 A JP2010197473 A JP 2010197473A JP 2010197473 A JP2010197473 A JP 2010197473A JP 2012053813 A JP2012053813 A JP 2012053813A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image
- person
- wrinkle
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 顔画像から人物の属性を精度よく推定することが可能な人物属性推定装置等を提供する。
【解決手段】 人物の属性を推定するための特徴量として、顔領域のシワ特徴量、シミ特徴量、及び唇特徴量を算出する。シミ特徴量は、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いてブロック毎に算出する。シワ特徴量は肌マスクによるマスク処理後画像からシワの強度と方向とをブロック毎に算出する。唇特徴量は、肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値として算出する。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより年齢・性別等の人物属性を精度よく推定でき、また環境変動によるロバスト性を向上できる。
【選択図】 図4
【解決手段】 人物の属性を推定するための特徴量として、顔領域のシワ特徴量、シミ特徴量、及び唇特徴量を算出する。シミ特徴量は、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いてブロック毎に算出する。シワ特徴量は肌マスクによるマスク処理後画像からシワの強度と方向とをブロック毎に算出する。唇特徴量は、肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値として算出する。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより年齢・性別等の人物属性を精度よく推定でき、また環境変動によるロバスト性を向上できる。
【選択図】 図4
Description
本発明は、人物の性別や年齢等の属性を推定する人物属性推定装置等に関する。
近年、従来の野外看板、テレビ、新聞、雑誌等の媒体に加え、デジタルサイネージによる情報配信が広告手法として注目されている。
デジタルサイネージとは、屋外や店頭、交通機関等の場所において、ディスプレイ等の表示機器で情報を配信する媒体である。デジタルサイネージを活用することにより、動画や音声といった表現豊かなコンテンツの提供が可能であるほか、柔軟な番組作成、ネットワーク化によるタイムリーな情報提示、ターゲットの絞込み等ができるように情報配信の高効率化が期待されている。
また、広告の効果測定指標として、広告を閲覧する人物の属性(年齢や性別)が頻繁に利用される。例えば、広告閲覧者の人物属性をマーケティング指標に応用したり、取得した広告閲覧者の人物属性に応じてタイムリーにデジタルサイネージに放映するコンテンツを切り替えたりすることも可能となり、情報提供者と閲覧者との双方にとってメリットの高いコンテンツ配信を行える。
デジタルサイネージとは、屋外や店頭、交通機関等の場所において、ディスプレイ等の表示機器で情報を配信する媒体である。デジタルサイネージを活用することにより、動画や音声といった表現豊かなコンテンツの提供が可能であるほか、柔軟な番組作成、ネットワーク化によるタイムリーな情報提示、ターゲットの絞込み等ができるように情報配信の高効率化が期待されている。
また、広告の効果測定指標として、広告を閲覧する人物の属性(年齢や性別)が頻繁に利用される。例えば、広告閲覧者の人物属性をマーケティング指標に応用したり、取得した広告閲覧者の人物属性に応じてタイムリーにデジタルサイネージに放映するコンテンツを切り替えたりすることも可能となり、情報提供者と閲覧者との双方にとってメリットの高いコンテンツ配信を行える。
ところで、従来の人物属性推定手法としては、非特許文献1に示す手法が提案されている。非特許文献1に示す手法では、青年期以降は顔皮膚に現れるシミやシワが年齢を表す重要な特徴とされるため、顔画像から性別や年齢を推定するが、推定に用いる特徴量として、肌テクスチャ特徴と色相特徴とを考慮している。すなわち、顔画像に対してSobelフィルタを用いて大きなシワを検出し、Gabor jetを用いて小ジワを検出し、これらのシワのエッジ強度の平均と偏差をシワ特徴として定義している。また、シミについては、原画像に平均値フィルタを用いてぼかし画像を生成し、原画像とぼかし画像との差分画像から顔器官等の輪郭部分やしわを閾値処理によって取り除き、シミを抽出している。また、色相特徴として、唇領域及び頬領域における色情報を、修正HSV表色系の刺激値のうち色相と彩度とL*a*b表色系の赤み成分a*の平均と偏差を特徴量として定義している。
滝本裕則、他3名、「姿勢変動に影響されない顔画像からの性別年齢推定」、電学論C、127巻7号、2007号,p.1022−p.1029
しかしながら、非特許文献1の手法では、原画像とぼかし画像との差分からシミを抽出するため、顔の輪郭や目、鼻、口の輪郭も肌テクスチャ(シミやシワ)として抽出されてしまう恐れがあり改良の余地があった。また、上述の色相特徴は、唇領域及び頬領域に限定して抽出され、また色空間(L*a*b、HSV)毎の平均を特徴量としているため、環境変動(照明による影響等)へのロバスト性が懸念される。
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、多少の環境変動があっても顔画像から人物の属性を精度よく推定することが可能な人物属性推定装置、人物属性推定方法、及びプログラムを提供することである。
前述した課題を解決するため第1の発明は、入力された画像データから人物の顔領域を検出する顔検出手段と、前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成手段と、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出手段と、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出手段と、前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出手段と、入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習手段と、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定手段と、を備えることを特徴とする人物属性推定装置である。
第1の発明によれば、複数の学習用人物画像について顔領域を検出し、肌マスクを用いてマスク処理したマスク処理後画像を用いて、シミ特徴量算出手段、シワ特徴量算出手段、及び唇特徴量算出手段によって、夫々シワ特徴量、シミ特徴量、及び唇特徴量を算出し、人物属性学習データを作成する。また、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する。シミ特徴量は、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いて算出されるため、顔の輪郭、目、鼻、口、メガネ等による影響の少ないシミ特徴量を求めることができる。また、シワ特徴量は、シワの強度と方向とが考慮されて求められるため、年齢差や性差を示すシワ特徴量を精度よく算出できる。また、唇特徴量は、肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値として算出されるため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより年齢・性別等の人物属性を精度よく推定できる。
また、第1の発明において、前記シワ特徴量算出手段は、前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出手段と、前記勾配算出手段によって算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成手段と、を備え、前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることが望ましい。
本発明では、シワの現れる方向は年代によって異なる傾向がある点に着目し、上述のようにシワ特徴量をシワの強度及び方向から求めている。具体的には、シワ特徴量を勾配ヒストグラムの勾配強度(シワ強度)の最大値と定義している。勾配ヒストグラムは、マスク処理後画像の各画素の勾配強度(シワ強度)及び勾配方向(シワ方向)から求められる。すなわち、本発明では、ブロック毎にシワ方向(勾配方向)別に累積されたシワの強度(勾配強度)のうち最も大きいものがそのブロックにおけるシワ特徴量とされる。このようにして求めたシワ特徴量を年齢推定等に利用するため、従来と比較して年齢推定の精度向上に大きく寄与できる。
一方、従来の手法では、例えば上述の非特許文献1に記載される手法によれば、シワ特徴量は、ARSM(非特許文献1によって提案される特徴点決定方法)によって決定されたいくつかのシワ特徴量抽出領域内(額、目尻、法齢線、唇領域の両端、顎先)におけるエッジ強度の平均と偏差として定義されている。したがって従来の手法はシワの方向が考慮されず、勾配ヒストグラムを用いない点で本発明と異なる。
また、従来の手法は、色相特徴について、唇領域及び頬領域における色情報を、修正HSV表色系の刺激値のうち色相と彩度とL*a*b表色系の赤み成分a*の平均と偏差を特徴量として定義している。一方、本発明では、様々な撮影環境の下で撮像された画像ごとに決定される元の顔領域内の基準色に対する色の比較値として唇特徴量を算出するため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより従来と比較して、年齢・性別等の人物属性を精度よく推定できる。
一方、従来の手法では、例えば上述の非特許文献1に記載される手法によれば、シワ特徴量は、ARSM(非特許文献1によって提案される特徴点決定方法)によって決定されたいくつかのシワ特徴量抽出領域内(額、目尻、法齢線、唇領域の両端、顎先)におけるエッジ強度の平均と偏差として定義されている。したがって従来の手法はシワの方向が考慮されず、勾配ヒストグラムを用いない点で本発明と異なる。
また、従来の手法は、色相特徴について、唇領域及び頬領域における色情報を、修正HSV表色系の刺激値のうち色相と彩度とL*a*b表色系の赤み成分a*の平均と偏差を特徴量として定義している。一方、本発明では、様々な撮影環境の下で撮像された画像ごとに決定される元の顔領域内の基準色に対する色の比較値として唇特徴量を算出するため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより従来と比較して、年齢・性別等の人物属性を精度よく推定できる。
また、第1の発明において、前記シミ特徴量算出手段は、前記マスク処理後画像に対してMTMフィルタを用いて前記ぼかし画像を生成し、前記顔領域を分割したブロック毎に前記マスク処理後画像と前記ぼかし画像との差分の平均値を算出し、シミ特徴量とすることが望ましい。
MTMフィルタを用いることにより、周囲との画素の値の差分の大きい、大きなシミやホクロ等をぼかし処理の対象から除外でき、シミ特徴量の考慮対象から排除できる。このため、年齢等との相関が高いシミについてのみ特徴量を抽出できる。
MTMフィルタを用いることにより、周囲との画素の値の差分の大きい、大きなシミやホクロ等をぼかし処理の対象から除外でき、シミ特徴量の考慮対象から排除できる。このため、年齢等との相関が高いシミについてのみ特徴量を抽出できる。
また、第1の発明において、前記唇特徴量算出手段は、前記肌マスクを反転処理した反転マスクを用いて、前記顔領域から唇領域を抽出し、当該唇領域及び元の顔領域内の基準領域について夫々色相H、彩度S、赤みRを対象色空間とするヒストグラムを生成し、これらのヒストグラムの距離を唇特徴量として算出することが望ましい。
元の顔領域の基準領域との差分(ヒストグラムの距離)から唇特徴量を求めるので、照明の強さなどの環境変動に対してロバストな特徴抽出を行える。
元の顔領域の基準領域との差分(ヒストグラムの距離)から唇特徴量を求めるので、照明の強さなどの環境変動に対してロバストな特徴抽出を行える。
第2の発明は、入力された画像データから人物の顔領域を検出する顔検出手段と、前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成手段と、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出手段と、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出手段と、前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出手段と、複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、および前記唇特徴量と、該人物画像について与えられた属性情報とに基づいて所定の学習アルゴリズムにより作成された人物属性学習データを格納するメモリ手段と、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定手段と、を備えることを特徴とする人物属性推定装置である。
第2の発明によれば、複数の学習用人物画像のシワ特徴量、シミ特徴量、及び唇特徴量と、該人物画像について与えられた属性情報とに基づいて所定の学習アルゴリズムにより作成された人物属性学習データをメモリ手段に記憶しておき、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する。シミ特徴量は、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いて算出されるため、顔の輪郭、目、鼻、口、メガネ等による影響の少ないシミ特徴量を求めることができる。また、シワ特徴量は、シワの強度と方向とが考慮されて求められるため、年齢差や性差を示すシワ特徴量を精度よく算出できる。また、唇特徴量は、肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値として算出されるため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いて予め作成されている人物属性学習データに基づいて、入力された人物画像について、年齢・性別等の人物属性を精度よく推定できる。
第2の発明において、画像を撮像する撮像手段と、前記撮像手段によって撮像された画像を前記推定手段における人物属性推定対象として入力する人物画像入力手段と、を更に備えることが望ましい。
これにより、撮像手段によって撮像した画像を人物属性の推定対象として入力できるようになる。例えば、撮像手段によってデジタルサイネージの閲覧者を撮像し、その画像に含まれる人物の画像を人物属性推定対象として入力すれば、本発明の人物属性推定装置による人物属性推定結果をデジタルサイネージの効果測定装置として利用可能となる。
これにより、撮像手段によって撮像した画像を人物属性の推定対象として入力できるようになる。例えば、撮像手段によってデジタルサイネージの閲覧者を撮像し、その画像に含まれる人物の画像を人物属性推定対象として入力すれば、本発明の人物属性推定装置による人物属性推定結果をデジタルサイネージの効果測定装置として利用可能となる。
第3の発明は、入力された画像データから人物の顔領域を検出する顔検出ステップと、前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成ステップと、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出ステップと、前記肌マスクを用いて元の顔領域から肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出ステップと、前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出ステップと、入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習ステップと、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定ステップと、を含む処理をコンピュータが実行することを特徴とする人物属性推定方法である。
第3の発明によれば、複数の学習用人物画像について顔領域を検出し、肌マスクを用いてマスク処理したマスク処理後画像を用いて、夫々シワ特徴量、シミ特徴量、及び唇特徴量を算出し、人物属性学習データを作成する。また、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する。シミ特徴量は、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いて算出されるため、顔の輪郭、目、鼻、口、メガネ等による影響の少ないシミ特徴量を求めることができる。また、シワ特徴量は、シワの強度と方向とが考慮されて求められるため、年齢差や性差を示すシワ特徴量を精度よく算出できる。また、唇特徴量は、肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値として算出されるため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより年齢・性別等の人物属性を精度よく推定できる。
また、第3の発明において、前記シワ特徴量算出ステップは、前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出ステップと、算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成ステップと、を含み、前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることが望ましい。
このように、本発明の人物属性推定方法では、シワの方向は年代によって異なる傾向がある点に着目し、シワ特徴量を、勾配ヒストグラムの勾配強度の最大値と定義している。勾配ヒストグラムは、マスク処理後画像の各画素の勾配強度及び勾配方向から求められる。すなわち、本発明では、ブロック毎にシワ方向(勾配方向)別に累積されたシワの強度(勾配強度)のうち最も大きいものがそのブロックにおけるシワ特徴量とされる。このようにして求めたシワ特徴量を年齢推定等に利用するため、従来と比較して年齢推定の精度向上に大きく寄与できる。
このように、本発明の人物属性推定方法では、シワの方向は年代によって異なる傾向がある点に着目し、シワ特徴量を、勾配ヒストグラムの勾配強度の最大値と定義している。勾配ヒストグラムは、マスク処理後画像の各画素の勾配強度及び勾配方向から求められる。すなわち、本発明では、ブロック毎にシワ方向(勾配方向)別に累積されたシワの強度(勾配強度)のうち最も大きいものがそのブロックにおけるシワ特徴量とされる。このようにして求めたシワ特徴量を年齢推定等に利用するため、従来と比較して年齢推定の精度向上に大きく寄与できる。
第4の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、入力された画像データから人物の顔領域を検出する顔検出ステップと、前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成ステップと、前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出ステップと、前記肌マスクを用いて元の顔領域から肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出ステップと、前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出ステップと、入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習ステップと、入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定ステップと、を含む処理をコンピュータに実行させるためのプログラムである。
また、第4の発明において、前記シワ特徴量算出ステップは、前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出ステップと、算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成ステップと、を含み、前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることが望ましい。
第4の発明により、コンピュータを第1の発明の人物属性推定装置として機能させることが可能となる。
本発明によれば、多少の環境変動があっても顔画像から人物の属性を精度よく推定することが可能な人物属性推定装置、人物属性推定方法、及びプログラムを提供できる。
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
まず、図1〜図3を参照して本発明に係る人物属性推定装置の構成について説明する。
まず、図1〜図3を参照して本発明に係る人物属性推定装置の構成について説明する。
図1は本発明に係る人物属性推定装置を利用した人物属性推定システム1のハードウエア構成を示す図であり、図2は人物属性推定システム1の機能ブロック図であり、図3は人物属性推定装置2として機能するコンピュータの内部構成を示すブロック図である。
図1に示すように、本実施の形態において、人物属性推定システム1は、人物属性推定装置2として機能するコンピュータと、撮像装置3と、表示装置4とを備えて構成される。
表示装置4は、デジタルサイネージ(電子看板)等に利用される表示装置であり、ディスプレイ装置やプロジェクタ等の投影装置、その他の表示媒体としてもよい。
撮像装置3は、表示装置4を閲覧する人物10a,10b,10c,10d,・・・を、撮像するカメラ等であり、撮像した人物画像を人物属性推定装置2に出力する。
人物属性推定装置2は、例えばコンピュータにより構成され、図2(a)に示す属性学習機能と、図2(b)に示す属性推定機能とを有する。
属性学習機能とは、学習用の人物画像及びその人物の属性情報(年齢、性別等)に基づいて、人物属性学習データ10を生成する機能であり、図2(a)に示すように、特徴抽出部8と属性学習部9とを備える。
また、属性推定機能とは、処理対象とする人物画像と、図2(a)の属性学習機能によって得た人物属性学習データ10とから、入力された処理対象人物画像の属性を判定し、属性判定結果として出力する機能であり、特徴抽出部8と属性推定部11とを備える。
属性学習機能とは、学習用の人物画像及びその人物の属性情報(年齢、性別等)に基づいて、人物属性学習データ10を生成する機能であり、図2(a)に示すように、特徴抽出部8と属性学習部9とを備える。
また、属性推定機能とは、処理対象とする人物画像と、図2(a)の属性学習機能によって得た人物属性学習データ10とから、入力された処理対象人物画像の属性を判定し、属性判定結果として出力する機能であり、特徴抽出部8と属性推定部11とを備える。
以下の実施の形態では、上述の属性学習機能と属性推定機能とを共に備えた人物属性推定装置1について説明するが、自ら属性学習機能は持たず、別のコンピュータ等により作成された人物属性学習データを取り込んで記憶するメモリ(RAM,記憶部)と、上述の属性推定機能(特徴抽出部8及び属性推定部11)とを備えた人物属性推定装置も本発明に含まれる。
上述の特徴抽出部8は、入力された人物画像から顔領域を検出し、肌マスクを作成し、シミ特徴量、シワ特徴量、及び唇特徴量を抽出する。特徴抽出部8における各特徴量の抽出の詳細については後述する。
属性学習部9は、特徴抽出部8にて抽出した各人物画像のシワ特徴量、シミ特徴量、及び唇特徴量と、それらの人物の属性(年齢及び性別等)とに基づいて、人物属性学習データ10を生成する。
属性推定部11は、撮像装置3から入力された人物画像について特徴抽出部8によって抽出されたシワ特徴量、シミ特徴量、及び前記唇特徴量と、人物属性学習データ10とに基づいてその人物画像の属性(年齢及び性別等)を推定する。
本実施の形態では、属性学習及び属性推定には、SVM(Support Vector Machine)を利用することが好適である。SVMを用いることにより、上述の各特徴量を成分として有する高次元の特徴ベクトル(サポートベクトル)から属性を識別するための非線形な境界を設定できる。SVMは公知の手法であるため、詳細な説明を省略するが、例えば、「津田宏治:サポートベクトルマシンとは何か,電子情報通信学会誌,83,pp.460−466(2000)」に詳しい。なお、学習アルゴリズムは、上述のSVMに限定されず、その他のアルゴリズムを適用してもよい。
本実施の形態では、属性学習及び属性推定には、SVM(Support Vector Machine)を利用することが好適である。SVMを用いることにより、上述の各特徴量を成分として有する高次元の特徴ベクトル(サポートベクトル)から属性を識別するための非線形な境界を設定できる。SVMは公知の手法であるため、詳細な説明を省略するが、例えば、「津田宏治:サポートベクトルマシンとは何か,電子情報通信学会誌,83,pp.460−466(2000)」に詳しい。なお、学習アルゴリズムは、上述のSVMに限定されず、その他のアルゴリズムを適用してもよい。
図3は、人物属性推定装置2の内部構成を示すブロック図である。図3に示すように、人物属性推定装置2は、制御部21、記憶部22、メディア入出力部23、入力部24、表示部25、通信部26、周辺機器I/F部27等がバス28を介して接続されて構成される。周辺機器I/F部27には、撮像装置3が接続される。
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。
CPUは、記憶部22、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス28を介して接続された各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部21が各種処理を行うために使用するワークエリアを備える。
CPUは、記憶部22、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス28を介して接続された各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部21が各種処理を行うために使用するワークエリアを備える。
本実施の形態において、制御部21(CPU)は、記憶部22に格納されている属性推定処理プログラムを呼び出して実行する。属性推定処理については後述する(図4参照)。
記憶部22は、HDD(ハードディスクドライブ)であり、制御部21が実行するプログラムや、プログラム実行に必要なデータ、OS(オペレーティング・システム)等が格納されている。これらのプログラムコードは、制御部21により必要に応じて読み出されてRAMに移され、CPUに読み出されて実行される。
メディア入出力部23は、例えば、HD(ハードディスク)ドライブ、フロッピー(登録商標)ディスクドライブ、メモリカードドライブ、PDドライブ、CDドライブ、DVDドライブ、MOドライブ等のメディア入出力装置であり、データの入出力を行う。
入力部24は、例えば、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部21へ出力する。
表示部25は、例えば液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路(ビデオアダプタ等)で構成され、制御部21の制御により入力された表示情報をディスプレイ装置上に表示させる。
通信部26は、通信制御装置、通信ポート等を有し、ネットワークとの通信を媒介する通信インターフェイスであり、通信制御を行う。
表示部25は、例えば液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路(ビデオアダプタ等)で構成され、制御部21の制御により入力された表示情報をディスプレイ装置上に表示させる。
通信部26は、通信制御装置、通信ポート等を有し、ネットワークとの通信を媒介する通信インターフェイスであり、通信制御を行う。
周辺機器I/F(インターフェース)部27は、人物属性推定装置2に周辺機器を接続するためのポートであり、周辺機器I/F部27を介して人物属性推定装置2は周辺機器とのデータの送受信を行う。周辺機器I/F部27は、USBやIEEE1394やRS−232C等で構成される。撮像装置3は、周辺機器I/F部27に接続される。撮像装置3によって撮像された画像は、人物属性推定対象として制御部21に入力される。すなわち、周辺機器I/F部27は、人物画像入力手段として機能する。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
次に、図4〜図12を参照して、人物属性推定装置2の動作を説明する。
人物属性推定装置2の制御部21は、属性推定処理プログラムを記憶部22から読み込み、以下の手順に従って処理を実行する。
人物属性推定装置2の制御部21は、属性推定処理プログラムを記憶部22から読み込み、以下の手順に従って処理を実行する。
まず、属性学習機能について説明する。
図4及び図5に示すように、人物属性推定装置2に対して学習用の画像データが入力される(ステップS1)。入力される画像データは証明写真のように顔の全体が正面から撮影された画像であることが望ましい。
図4及び図5に示すように、人物属性推定装置2に対して学習用の画像データが入力される(ステップS1)。入力される画像データは証明写真のように顔の全体が正面から撮影された画像であることが望ましい。
制御部21は、入力画像6から人物の顔領域61を検出する(ステップS2)。画像データが動画データである場合は、各フレームについて夫々顔領域61を検出し、検出した各顔領域61を処理対象として以下の処理を行う。
顔検出のための手法は種々あるが、例えば、Haar−like特徴を用いた手法を用いればよい。Haar−like特徴を用いた物体検出手法は、検出対象となる物体の明暗のパターンを基に高速に識別を行うことを特徴とし、静止画や動画像中における顔検出等に利用されている。特に、証明写真のような正面、無帽の人物像に対しては高い検出精度を発揮する。Haar−like特徴を用いた顔の検出結果は、目・鼻・口等といった顔の局所情報と、顔の中心、サイズ等の情報を含んだ領域として表される。なお、Haar−like特徴による対象物検出の原理、顔検出への適用例等については、下記の非特許文献2,3に紹介されている。
<非特許文献2>Paul Viola and Michel
J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features",
Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, pp.511-518, (2001)
<非特許文献3>Rainer Lienhart and
Jochen Maydt: "An Extended Set of Haar-likeFeatures for Rapid Object
Detection", Proceedings of the 2002 IEEEInternational Conference on Image
Processing, Vol.1, pp.900-903, (2002)
J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features",
Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, pp.511-518, (2001)
<非特許文献3>Rainer Lienhart and
Jochen Maydt: "An Extended Set of Haar-likeFeatures for Rapid Object
Detection", Proceedings of the 2002 IEEEInternational Conference on Image
Processing, Vol.1, pp.900-903, (2002)
また、Haar−like特徴を用い、画像中から顔を特定し、顔のサイズや位置を取得する手法は、既に画像処理のライブラリとして提供されており(Intel社が開発公開しているOpenCVライブラリ)、これらを利用し顔領域61を導くことができる。
このように顔領域61が特定されると、制御部21は、肌マスク61を生成する(ステップS3)。肌マスク生成において、制御部21は、顔領域61のうち例えば鼻部(顔領域61の枠領域61a)の各画素の平均色を基準色とし、顔領域61内の各画素の色と上記基準色とのマハラノビス距離を算出し、ある閾値以上の箇所を肌領域として抽出する。抽出した肌領域の画素を「1」、その他の画素を「0」で示した二値化画像を肌マスク62とする。この肌マスク62を用いて、ステップS2にて検出した元の顔領域61をマスクした画像をマスク処理後画像63とする。人物の肌領域抽出の方法および肌マスクの作成方法については、本願と同一の出願人による特開2009−59009号公報等に開示されるため、詳細な説明は省略する。
次に、制御部21は、マスク処理後画像63を用いてシミ特徴量を抽出する(ステップS4)。処理対象となるマスク処理後画像63はグレースケールで表された画像とする。
ステップS4のシミ特徴量を算出する処理において、制御部21は、肌マスク62を用いて元の顔領域61の肌部を抽出したマスク処理後画像63と、マスク処理後画像63を更にスムージング処理したぼかし画像64との差分を用いて肌部のシミ画像65を抽出し、シミ特徴量を算出する。
ステップS4のシミ特徴量を算出する処理において、制御部21は、肌マスク62を用いて元の顔領域61の肌部を抽出したマスク処理後画像63と、マスク処理後画像63を更にスムージング処理したぼかし画像64との差分を用いて肌部のシミ画像65を抽出し、シミ特徴量を算出する。
まず、制御部21は、マスク処理後画像63をスムージング化するためのフィルタ処理を行う。このフィルタ処理には、MTMフィルタを用いることが好適である(ステップS41)。
MTMフィルタは、平均化フィルタの一種であるが、着目画素と近傍の画素との差分が小さい場合は着目画素と近傍画素との相関が強いとし、この近傍画素を演算対象に取り入れ、逆に差分が大きい場合は、演算対象から除外することで、小振幅信号に対し重点的にフィルタ効果を作用させるものである。MTMフィルタの原理については、本願と同一の出願人による特開2010−66943号公報に詳細な説明が記載されるため、ここでは説明を省略する。
MTMフィルタを用いることで、周囲との画素の値の差分の大きい、大きなシミやホクロ等をぼかし処理の対象から除外でき、シミ特徴量の考慮対象から排除できる。
MTMフィルタは、平均化フィルタの一種であるが、着目画素と近傍の画素との差分が小さい場合は着目画素と近傍画素との相関が強いとし、この近傍画素を演算対象に取り入れ、逆に差分が大きい場合は、演算対象から除外することで、小振幅信号に対し重点的にフィルタ効果を作用させるものである。MTMフィルタの原理については、本願と同一の出願人による特開2010−66943号公報に詳細な説明が記載されるため、ここでは説明を省略する。
MTMフィルタを用いることで、周囲との画素の値の差分の大きい、大きなシミやホクロ等をぼかし処理の対象から除外でき、シミ特徴量の考慮対象から排除できる。
図6は、マスク処理後画像63及びMTMフィルタ処理後のぼかし画像64の例を示す。図6では顔領域の一部のみ例示する。図6に示すように、鼻の周辺にあるほくろはぼかし処理されていないが、頬から顎の黒ずみはぼかし処理され、滑らかになっている。
MTMフィルタ処理後、制御部21は、マスク処理後画像63とMTMフィルタ処理後画像64との差分を取る(ステップS42)。マスク処理後画像63からMTMフィルタ処理後画像64の差分を取ると、図7に示すように顔領域からシミ(肌の黒ずんだ部分や微細な凹凸等)のみを抽出できる。加齢と関係のないほくろはシミとして抽出されない。以下、シミを抽出した画像をシミ画像65と呼ぶ。図7において画素値が大きく白く表示される部位ほど、シミが強いことを示している。
制御部21は、ステップS42にて求めたシミ画像65を例えば図8に示すように、縦横に夫々5ブロックに分割し、分割ブロック毎に画素値の平均値を求め、シミ特徴量とする(ステップS43)。このようにして25ブロック分のシミ特徴量が求められる。制御部21は各ブロックから抽出したシミ特徴量をRAMに保存する。なお、ブロックの分割数は5×5に限定されず、任意のブロック数に変更してもよい。ただし、シミの表れる箇所は、性別や年齢を表す特徴となるため、細分しすぎず、かつ頬、額、鼻等の顔の部位を特定できる程度の分割数に分割することが望ましい。
また、制御部21は、マスク処理後画像63を用いてシワの強度及び方向を考慮したシワ特徴量を抽出する(ステップS5)。
ステップS5のシワ特徴量を算出する処理において、図9に示すように、まず制御部21は、マスク処理後画像63を用いて画素毎の勾配強度、勾配方向を算出する。勾配強度はシワの強さを示し、勾配方向はシワの方向を示す。処理対象となるマスク処理後画像63はグレースケールで表された画像とする。
制御部21は、勾配抽出用のフィルタをマスク処理後画像63の各画素に乗じる(ステップS51)。勾配抽出用のフィルタとしては、Sobelフィルタが好適である。
ステップS5のシワ特徴量を算出する処理において、図9に示すように、まず制御部21は、マスク処理後画像63を用いて画素毎の勾配強度、勾配方向を算出する。勾配強度はシワの強さを示し、勾配方向はシワの方向を示す。処理対象となるマスク処理後画像63はグレースケールで表された画像とする。
制御部21は、勾配抽出用のフィルタをマスク処理後画像63の各画素に乗じる(ステップS51)。勾配抽出用のフィルタとしては、Sobelフィルタが好適である。
Sobelフィルタとは、画像処理においてエッジ検出に利用されるフィルタであり、注目画素を中心とした上下左右の9つの画素値に対して、図9に示すSobelフィルタの各係数をそれぞれ乗算し、その乗算結果をX方向(水平方向)またはY方向(垂直方向)に合計することにより、X方向の勾配(Δxの値)、Y方向の勾配(Δyの値)を求める。そして、以下の式(1)を用いて、勾配強度を算出でき、以下の式(2)を用いて勾配方向を算出できる。
制御部21は、各画素の勾配強度及び勾配方向を基に、X軸を勾配方向、Y軸を勾配強度とした勾配ヒストグラム69(図10参照)を作成する。勾配ヒストグラム69は、シミ特徴量を抽出する場合と同様に、顔領域を縦横に夫々5ブロックで分割した分割ブロック毎に作成される(ステップS52)。
図10において、勾配ヒストグラム69の横軸は勾配方向を示す。勾配ヒストグラムのbin幅は10度とし、計36bin(360度)についてそれぞれ勾配強度を累計することが望ましい。これにより、顔領域の各ブロックにおいて最も強くまたは最も多く刻まれているシワの方向が抽出される。また、勾配強度はシワの量そのものも表すため、年齢推定に好適である。若年層では勾配ヒストグラム69の強度値は全体に小さく、高年層では勾配ヒストグラム69の強度値が全体に大きくなる傾向がある。
制御部21は各ブロックから勾配ヒストグラム69の強度最大値を算出し、これをシワ特徴量とする(ステップS53)。制御部21は算出したシワ特徴量をRAMに格納する。
制御部21は各ブロックから勾配ヒストグラム69の強度最大値を算出し、これをシワ特徴量とする(ステップS53)。制御部21は算出したシワ特徴量をRAMに格納する。
なお、シワ特徴量抽出においても、ブロックの分割数は5×5に限定されず、任意のブロック数に変更してもよい。ただし、シワの表れる箇所は、性別や年齢を表す特徴となるため、細分しすぎず、かつ頬、額、鼻等の顔の部位を特定できる程度の分割数に分割することが望ましい。
また、制御部21は、検出した顔領域から唇特徴量を抽出する(ステップS6)。唇特徴量は色についての特徴であるため、ステップS6の唇特徴量を算出する処理においては、カラー画像を基に処理が行われる。図11に示すように、まず制御部21は、肌マスク62(二値画像)を反転した反転肌マスク70を生成し(ステップS61)、元の顔領域画像(カラー)61を反転肌マスク70にてマスク処理した反転肌マスク処理結果71を得る。反転肌マスク処理結果71から唇領域71aが抽出される(ステップS62)。制御部21は、唇領域71aの赤みを判定する(ステップS63)。
ステップS63の赤み判定において、制御部21は、元の顔領域画像61における肌基準領域61a内のヒストグラムを得るとともに、ステップS62で抽出した唇領域71aにおけるヒストグラムを得る。ヒストグラムの対象色空間は、H(色相)、S(彩度)、R(RGBのR(赤))とする。
肌基準領域61aは元の顔領域画像61の例えば鼻部が好適である。そして、制御部21は、色に関する各ヒストグラムを比較し、基準領域61a内の色を基準とした唇領域71aの赤みを特徴量として抽出する。ヒストグラムの比較には、例えばバタッチャリア距離を用いることが好適であるが、その他の距離(例えばマハラノビス距離)等で比較してもよい。
肌基準領域61aは元の顔領域画像61の例えば鼻部が好適である。そして、制御部21は、色に関する各ヒストグラムを比較し、基準領域61a内の色を基準とした唇領域71aの赤みを特徴量として抽出する。ヒストグラムの比較には、例えばバタッチャリア距離を用いることが好適であるが、その他の距離(例えばマハラノビス距離)等で比較してもよい。
このように本実施の形態の唇特徴量抽出においては、様々な撮影環境の下で撮像された画像ごとに決定される元の顔領域内の基準色に対して唇領域の赤みを求めるため、撮影環境の変動等に依存しにくい唇特徴量(色に関する特徴量)を得ることができる。
制御部21はステップS6の処理により抽出した唇特徴量をRAMに格納する。
以上の処理において、算出された各特徴量を集約した特徴量テーブル81の一例を図12に示す。
図12に示すように、学習用の各人物画像(No.001、No.002、・・・)から夫々複数の特徴量が抽出され、特徴量テーブル81に集約される。特徴量には、シミ特徴量、シワ特徴量、及び唇特徴量が含まれている。
図12に示すように、学習用の各人物画像(No.001、No.002、・・・)から夫々複数の特徴量が抽出され、特徴量テーブル81に集約される。特徴量には、シミ特徴量、シワ特徴量、及び唇特徴量が含まれている。
例えば、上述のシミ特徴量抽出(ステップS4)において、MTMフィルタの強度レベルを3段階に変更してフィルタ処理し、それぞれ分割領域(5×5)毎に特徴量を得た場合は、5×5×3=75のシミ特徴量が抽出される。更に、上述のシワ特徴量抽出(ステップS5)でも各分割領域(5×5)毎に特徴量を得るため、5×5=25のシミ特徴量が抽出される。更に、上述の唇特徴量抽出(ステップS6)において、H(色相)、S(彩度)、R(赤)についてそれぞれ特徴量を得るため、3つの唇特徴量が抽出される。この場合は、計103種類の特徴量が抽出されるため103次元の特徴ベクトルを得る。これらの学習用人物画像については、属性(年齢、性別)が既知であり、属性毎にそれぞれ特徴量テーブル81が集約される。
すなわち、制御部21は、人物の属性区分毎に、人物画像から抽出した特徴量を集約し、SVM(Support Vector Machine)による人物属性学習データ10を求める(ステップS7)。SVMでは、統計的学習理論に基づくパターン認識が可能であり、学習により得られる特徴量空間において、他クラスと最も近い位置に存在する特徴量ベクトル(サポートベクトル)を基準として、そのユークリッド距離が最も大きくなるような位置に識別境界を設定する(分離超平面による線形識別を行う)。SVMは公知の手法であるため詳細な説明を省略する。
制御部21は、人物属性学習データ10を生成し、記憶部22に記憶する。人物画像の学習数が多くなるほど、精度のよい学習データ10を得ることができる。
人物属性学習データ10が生成されると、処理対象画像について属性推定を行うことが可能となる。
属性推定機能では、図2(b)に示すように、人物画像推定装置2に対して任意の人物画像が入力されると、制御部21は、入力された人物画像6から顔領域61を検出し、検出した顔領域61から上述のように、シミ特徴量、シワ特徴量、及び唇特徴量を算出し、算出した各特徴量と人物属性学習データ10とに基づいて入力された処理対象となる人物画像の人物属性を推定し、推定結果を出力する。
属性推定機能では、図2(b)に示すように、人物画像推定装置2に対して任意の人物画像が入力されると、制御部21は、入力された人物画像6から顔領域61を検出し、検出した顔領域61から上述のように、シミ特徴量、シワ特徴量、及び唇特徴量を算出し、算出した各特徴量と人物属性学習データ10とに基づいて入力された処理対象となる人物画像の人物属性を推定し、推定結果を出力する。
例えば、デジタルサイネージの閲覧者を撮像装置3にて撮像した画像を処理対象人物画像として使用すれば、上述の人物属性の推定結果は、サイネージ閲覧者の属性として集計され、出力され、広告効果の測定結果として利用することが可能となる。また、この推定結果を利用して、コンピュータ2の制御部21が、デジタルサイネージの表示媒体(表示装置4)に表示するコンテンツをリアルタイムに切り替え制御するようにしてもよい。
また、撮像装置3から入力される画像が動画像である場合は、フレーム単位に人物属性を推定し、各フレームの人物属性推定結果の例えば最頻値を人物属性推定結果とすればよい。(但し、動画像中の人物は同一人物一人だけの場合)人物属性の区分は、例えば、広告効果測定に利用される多く利用される区分として男女別に4つの年齢区分(0歳−19歳、20歳−34歳、35歳−59歳、60歳以上)を設定した、8区分の属性区分としてもよいし、用途に応じてその他の適切な区分としてもよい。
以上説明したように、本実施の形態の人物属性推定システム1において、人物属性推定装置2は、入力される学習用人物画像から人物の顔領域61を検出し、顔領域61からシミ特徴量、シワ特徴量、及び唇特徴量を算出し、これらの各特徴量と人物の既知の属性(年齢、性別)に基づいて人物属性学習データ10を作成する。また、人物属性推定システム1は、人物属性学習データ10が作成されると、撮像装置3から入力された人物画像についてシミ特徴量、シワ特徴量、及び唇特徴量を算出し、算出した特徴量と上述の人物属性学習データ10とに基づいてその人物画像の人物属性を推定し、出力する。
本手法では、シミ特徴量は、肌マスク62によるマスク処理後画像63とこれを更にスムージング処理したぼかし画像64との差分を用いて算出されるため、顔の輪郭、目、鼻、口、メガネ等による影響の少ないシミ特徴量を求めることができる。また、シワ特徴量は、シワの強度と方向とが考慮されて求められるため、年齢差や性差を示すシワ特徴量を精度よく算出できる。また、唇特徴量は、肌マスク62を用いて抽出される唇領域71aについて、元の顔領域内の基準色に対する色の比較値として算出されるため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより年齢・性別等の人物属性を精度よく推定できる。
また、シワ特徴量を算出する際、勾配方向に対する勾配強度の累計を示す勾配ヒストグラム69を顔領域を分割したブロック毎に生成し、各ブロックの勾配ヒストグラム69の勾配強度の最大値をシワ特徴量とするため、各ブロックにおけるシワの状態(方向、強さ)やシワの量を取得でき、年齢推定の精度向上に大きく寄与できる。また、ブロック毎にシワの特徴を抽出するため、例えば、シワの多く現れる部分と少なく現れる部分、または法齢線や額のシワのように比較的大きなシワと目尻のシワ等のような比較的細かいシワとを混同することなくシワの特徴を抽出できる。
また、シミ特徴量を算出する際、マスク処理後画像63に対してMTMフィルタを用いてぼかし画像64を生成し、顔領域を分割したブロック毎にマスク処理後画像63とぼかし画像64との差分の平均値を算出してシミ特徴量とする。MTMフィルタを用いることにより、年齢との相関の小さい大きなシミやホクロ等をぼかし処理の対象から除外でき、シミ特徴量の考慮対象から排除できる。このため、年齢等との相関が高いシミについてのみ特徴量を抽出できる。
また、唇特徴量を算出する際、肌マスク62を反転処理した反転マスク70を用いて唇領域を抽出し、当該唇領域及び元の顔領域内の基準領域について夫々色相H、彩度S、赤みRを対象色空間とするヒストグラムを生成し、これらのヒストグラムの距離を唇特徴量として算出するため、照明の強さなどの環境変動に対してロバスト性の高い特徴抽出を行える。
また、このような特徴量から推定された人物属性を広告閲覧者の人物属性取得に利用すれば、広告の効果測定を精度よく行うことが可能となる。
従来の手法では、本発明では、肌マスクによるマスク処理後画像とこれを更にスムージング処理したぼかし画像との差分を用いてシミ特徴量を算出するため、顔の輪郭、目、鼻、口、メガネ等による影響の少ないシミ特徴量を求めることができる。
また、従来の手法では、シワ特徴量は、顔画像に対してSobelフィルタを用いて大きなシワを検出し、Gabor jetを用いて小ジワを検出し、これらのシワのエッジ強度の平均と偏差をシワ特徴として定義しているが、本発明では、各ブロックの勾配ヒストグラムの勾配強度の最大値をシワ特徴量として定義している。勾配ヒストグラムは、マスク処理後画像の各画素の勾配強度及び勾配方向から求められる。すなわち、本発明では、ブロック毎に勾配方向(シワの方向)別に累積されたシワの強度(勾配強度)のうち最も大きいものがそのブロックにおけるシワ特徴量とされる。シワの現れる方向は年代によって異なる傾向がある点に着目すれば、本発明は、シワの現れる方向についても考慮され、年齢推定に利用されるため、従来の手法と比較して年齢推定の精度向上に大きく寄与できる。
また、色相特徴として、従来の手法は、唇領域及び頬領域における色情報を、修正HSV表色系の刺激値のうち色相と彩度とL*a*b表色系の赤み成分a*の平均と偏差を特徴量として定義している。一方、本発明では、様々な撮影環境の下で撮像された画像ごとに決定される元の顔領域内の基準色に対する色の比較値として唇特徴量を算出するため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより従来の手法と比較して、年齢・性別等の人物属性を精度よく推定できる。
また、従来の手法では、シワ特徴量は、顔画像に対してSobelフィルタを用いて大きなシワを検出し、Gabor jetを用いて小ジワを検出し、これらのシワのエッジ強度の平均と偏差をシワ特徴として定義しているが、本発明では、各ブロックの勾配ヒストグラムの勾配強度の最大値をシワ特徴量として定義している。勾配ヒストグラムは、マスク処理後画像の各画素の勾配強度及び勾配方向から求められる。すなわち、本発明では、ブロック毎に勾配方向(シワの方向)別に累積されたシワの強度(勾配強度)のうち最も大きいものがそのブロックにおけるシワ特徴量とされる。シワの現れる方向は年代によって異なる傾向がある点に着目すれば、本発明は、シワの現れる方向についても考慮され、年齢推定に利用されるため、従来の手法と比較して年齢推定の精度向上に大きく寄与できる。
また、色相特徴として、従来の手法は、唇領域及び頬領域における色情報を、修正HSV表色系の刺激値のうち色相と彩度とL*a*b表色系の赤み成分a*の平均と偏差を特徴量として定義している。一方、本発明では、様々な撮影環境の下で撮像された画像ごとに決定される元の顔領域内の基準色に対する色の比較値として唇特徴量を算出するため、画像の環境変動に対してロバスト性の高い特徴抽出を行える。このようにして算出されたシミ特徴量、シワ特徴量、及び唇特徴量を用いることにより従来の手法と比較して、年齢・性別等の人物属性を精度よく推定できる。
なお、本実施の形態において、属性学習・属性推定のためにSVMを用いているが、その他の学習手法を用いてもよい。また、顔領域の検出手法等についても任意である。
また、上述の実施形態では、デジタルサイネージの広告効果測定のために、本発明の人物属性推定システムを利用する例を示したが、このような用途以外に利用されてもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
また、上述の実施形態では、デジタルサイネージの広告効果測定のために、本発明の人物属性推定システムを利用する例を示したが、このような用途以外に利用されてもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1・・・・人物属性推定システム
2・・・・コンピュータ(人物属性推定装置)
3・・・・撮像装置
4・・・・表示装置
10a,10b,10c,10d・・・・人物
6・・・・入力画像
61・・・顔領域
61a・・基準領域
62・・・肌マスク
63・・・マスク処理後画像
64・・・ぼかし画像
65・・・シミ画像
67・・・Sobelフィルタ処理後画像
68・・・ブロックに分割されたSobelフィルタ処理後画像
69・・・勾配ヒストグラム
70・・・反転マスク画像
71・・・反転マスク処理結果
71a・・唇領域
81・・・特徴量テーブル
8・・・・特徴抽出部
9・・・・属性学習部
10・・・人物属性学習データ
11・・・属性推定部
2・・・・コンピュータ(人物属性推定装置)
3・・・・撮像装置
4・・・・表示装置
10a,10b,10c,10d・・・・人物
6・・・・入力画像
61・・・顔領域
61a・・基準領域
62・・・肌マスク
63・・・マスク処理後画像
64・・・ぼかし画像
65・・・シミ画像
67・・・Sobelフィルタ処理後画像
68・・・ブロックに分割されたSobelフィルタ処理後画像
69・・・勾配ヒストグラム
70・・・反転マスク画像
71・・・反転マスク処理結果
71a・・唇領域
81・・・特徴量テーブル
8・・・・特徴抽出部
9・・・・属性学習部
10・・・人物属性学習データ
11・・・属性推定部
Claims (10)
- 入力された画像データから人物の顔領域を検出する顔検出手段と、
前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成手段と、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出手段と、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出手段と、
前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出手段と、
入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習手段と、
入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定手段と、
を備えることを特徴とする人物属性推定装置。 - 前記シワ特徴量算出手段は、
前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出手段と、
前記勾配算出手段によって算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成手段と、を備え、
前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることを特徴とする請求項1に記載の人物属性推定装置。 - 前記シミ特徴量算出手段は、
前記マスク処理後画像に対してMTMフィルタを用いて前記ぼかし画像を生成し、前記顔領域を分割したブロック毎に前記マスク処理後画像と前記ぼかし画像との差分の平均値を算出し、シミ特徴量とすることを特徴とする請求項1に記載の人物属性推定装置。 - 前記唇特徴量算出手段は、
前記肌マスクを反転処理した反転マスクを用いて、前記顔領域から唇領域を抽出し、当該唇領域及び元の顔領域内の基準領域について夫々色相H、彩度S、赤みRを対象色空間とするヒストグラムを生成し、これらのヒストグラムの距離を唇特徴量として算出することを特徴とする請求項1に記載の人物属性推定装置。 - 入力された画像データから人物の顔領域を検出する顔検出手段と、
前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成手段と、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出手段と、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出手段と、
前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出手段と、
複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、および前記唇特徴量と、該人物画像について与えられた属性情報とに基づいて所定の学習アルゴリズムにより作成された人物属性学習データを格納するメモリ手段と、
入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定手段と、
を備えることを特徴とする人物属性推定装置。 - 画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像を前記推定手段における人物属性推定対象として入力する人物画像入力手段と、
を更に備えることを特徴とする請求項1または5に記載の人物属性推定装置。 - 入力された画像データから人物の顔領域を検出する顔検出ステップと、
前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成ステップと、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出ステップと、
前記肌マスクを用いて元の顔領域から肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出ステップと、
前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出ステップと、
入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習ステップと、
入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定ステップと、
を含む処理をコンピュータが実行することを特徴とする人物属性推定方法。 - 前記シワ特徴量算出ステップは、
前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出ステップと、
算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成ステップと、を含み、
前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることを特徴とする請求項7に記載の人物属性推定方法。 - コンピュータにより読み取り可能な形式で記述されたプログラムであって、
入力された画像データから人物の顔領域を検出する顔検出ステップと、
前記顔領域のうち肌領域を示す肌マスクを生成する肌マスク生成ステップと、
前記肌マスクを用いて元の顔領域の肌部を抽出したマスク処理後画像と、マスク処理後画像を更にスムージング処理したぼかし画像との差分を用いて肌部のシミを抽出し、シミ特徴量を算出するシミ特徴量算出ステップと、
前記肌マスクを用いて元の顔領域から肌部を抽出したマスク処理後画像からシワの強度及び方向をシワ特徴量として算出するシワ特徴量算出ステップと、
前記肌マスクを用いて抽出される唇領域について、元の顔領域内の基準色に対する色の比較値を唇特徴量として算出する唇特徴量算出ステップと、
入力された複数の学習用人物画像から算出される前記シワ特徴量、前記シミ特徴量、及び前記唇特徴量と、該人物画像についての属性情報とに基づいて人物属性学習データを作成する属性学習ステップと、
入力された人物画像について前記シミ特徴量、前記シワ特徴量、及び前記唇特徴量を算出し、算出した特徴量と前記人物属性学習データとに基づいて該人物画像の人物属性を推定する推定ステップと、
を含む処理をコンピュータに実行させるためのプログラム。 - 前記シワ特徴量算出ステップは、
前記マスク処理後画像の各画素について勾配強度及び勾配方向を算出する勾配算出ステップと、
算出された勾配強度及び勾配方向に基づき、勾配方向に対する勾配強度の累計を示す勾配ヒストグラムを、前記顔領域を分割したブロック毎に生成する勾配ヒストグラム生成ステップと、を含み、
前記ブロック毎の前記勾配ヒストグラムの勾配強度の最大値をシワ特徴量とすることを特徴とする請求項9に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197473A JP2012053813A (ja) | 2010-09-03 | 2010-09-03 | 人物属性推定装置、人物属性推定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010197473A JP2012053813A (ja) | 2010-09-03 | 2010-09-03 | 人物属性推定装置、人物属性推定方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012053813A true JP2012053813A (ja) | 2012-03-15 |
Family
ID=45907021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010197473A Pending JP2012053813A (ja) | 2010-09-03 | 2010-09-03 | 人物属性推定装置、人物属性推定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012053813A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014219781A (ja) * | 2013-05-07 | 2014-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム |
KR101627962B1 (ko) * | 2015-02-09 | 2016-06-07 | 세종대학교산학협력단 | 피부 이미지의 미세 주름을 분석하는 방법 및 장치 |
US9760765B2 (en) | 2015-03-19 | 2017-09-12 | Casio Computer Co., Ltd. | Digital signage apparatus which performs face recognition and determines whether a behavior of a person satisfies a predetermined condition, and computer readable medium |
US10163021B2 (en) | 2015-03-18 | 2018-12-25 | Casio Computer Co., Ltd. | Information processor, content determining method, and computer-readable storing medium |
JP2019512797A (ja) * | 2016-03-21 | 2019-05-16 | ザ プロクター アンド ギャンブル カンパニー | カスタマイズされた製品の推奨を提供するためのシステム及び方法 |
KR20200003402A (ko) * | 2017-05-31 | 2020-01-09 | 더 프록터 앤드 갬블 캄파니 | 겉보기 피부 나이를 결정하기 위한 시스템 및 방법 |
US10667744B2 (en) | 2013-06-28 | 2020-06-02 | Panasonic Intellectual Property Corporation Of America | Skin function evaluation device and skin evaluation method |
JP2020091739A (ja) * | 2018-12-06 | 2020-06-11 | 株式会社 日立産業制御ソリューションズ | 手順検知装置、および手順検知プログラム |
JP2020101503A (ja) * | 2018-12-25 | 2020-07-02 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020522081A (ja) * | 2017-09-30 | 2020-07-27 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | 画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体 |
CN113222811A (zh) * | 2021-05-24 | 2021-08-06 | 北京理工大学 | 一种基于图像掩膜的人脸属性迁移方法 |
WO2022034779A1 (ja) * | 2020-08-11 | 2022-02-17 | オムロン株式会社 | 画像処理装置および画像処理方法 |
JP2023534328A (ja) * | 2021-06-24 | 2023-08-09 | 厦門美図宜膚科技有限公司 | 色斑予測方法、装置、設備及び記憶媒体 |
-
2010
- 2010-09-03 JP JP2010197473A patent/JP2012053813A/ja active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014219781A (ja) * | 2013-05-07 | 2014-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム |
US10667744B2 (en) | 2013-06-28 | 2020-06-02 | Panasonic Intellectual Property Corporation Of America | Skin function evaluation device and skin evaluation method |
KR101627962B1 (ko) * | 2015-02-09 | 2016-06-07 | 세종대학교산학협력단 | 피부 이미지의 미세 주름을 분석하는 방법 및 장치 |
US10163021B2 (en) | 2015-03-18 | 2018-12-25 | Casio Computer Co., Ltd. | Information processor, content determining method, and computer-readable storing medium |
US9760765B2 (en) | 2015-03-19 | 2017-09-12 | Casio Computer Co., Ltd. | Digital signage apparatus which performs face recognition and determines whether a behavior of a person satisfies a predetermined condition, and computer readable medium |
JP2019512797A (ja) * | 2016-03-21 | 2019-05-16 | ザ プロクター アンド ギャンブル カンパニー | カスタマイズされた製品の推奨を提供するためのシステム及び方法 |
US11055762B2 (en) | 2016-03-21 | 2021-07-06 | The Procter & Gamble Company | Systems and methods for providing customized product recommendations |
KR102297301B1 (ko) * | 2017-05-31 | 2021-09-06 | 더 프록터 앤드 갬블 캄파니 | 겉보기 피부 나이를 결정하기 위한 시스템 및 방법 |
KR20200003402A (ko) * | 2017-05-31 | 2020-01-09 | 더 프록터 앤드 갬블 캄파니 | 겉보기 피부 나이를 결정하기 위한 시스템 및 방법 |
JP2020522081A (ja) * | 2017-09-30 | 2020-07-27 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | 画像処理方法及び装置、電子デバイス、コンピュータ記憶媒体 |
US10972709B2 (en) | 2017-09-30 | 2021-04-06 | Shenzhen Sensetime Technology Co., Ltd. | Image processing method and apparatus, electronic device, and computer storage medium |
JP2020091739A (ja) * | 2018-12-06 | 2020-06-11 | 株式会社 日立産業制御ソリューションズ | 手順検知装置、および手順検知プログラム |
JP2020101503A (ja) * | 2018-12-25 | 2020-07-02 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7005477B2 (ja) | 2018-12-25 | 2022-01-21 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2022034779A1 (ja) * | 2020-08-11 | 2022-02-17 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN113222811A (zh) * | 2021-05-24 | 2021-08-06 | 北京理工大学 | 一种基于图像掩膜的人脸属性迁移方法 |
CN113222811B (zh) * | 2021-05-24 | 2022-08-09 | 北京理工大学 | 一种基于图像掩膜的人脸属性迁移方法 |
JP2023534328A (ja) * | 2021-06-24 | 2023-08-09 | 厦門美図宜膚科技有限公司 | 色斑予測方法、装置、設備及び記憶媒体 |
JP7385046B2 (ja) | 2021-06-24 | 2023-11-21 | 厦門美図宜膚科技有限公司 | 色斑予測方法、装置、設備及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012053813A (ja) | 人物属性推定装置、人物属性推定方法、及びプログラム | |
US10755089B2 (en) | Hierarchical differential image filters for skin analysis | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
US7715596B2 (en) | Method for controlling photographs of people | |
Pang et al. | Classifying discriminative features for blur detection | |
CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
JP2013058060A (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
KR101216115B1 (ko) | 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템 | |
JP5787845B2 (ja) | 画像認識装置、方法、及びプログラム | |
JP2012038106A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2008033654A (ja) | 写真画像判別方法、写真画像判別プログラム、及び、写真画像処理装置 | |
JP6527421B2 (ja) | 人物認識装置及びそのプログラム | |
CN106548185A (zh) | 一种前景区域确定方法和装置 | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
KR20220078231A (ko) | 피부 상태 측정 장치, 이를 포함하는 피부 상태 측정 시스템 및 그 방법 | |
Ali et al. | A robust and efficient system to detect human faces based on facial features | |
JP2011253354A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
KR100977259B1 (ko) | 다중 기울기 히스토그램을 이용한 사람 탐색 및 추적 방법 | |
JP2014041587A (ja) | 顔表情解析装置および顔表情解析プログラム | |
JP2014119879A (ja) | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
WO2008018459A1 (fr) | Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image | |
CN114758384A (zh) | 人脸检测方法、装置、设备及存储介质 | |
Khalid et al. | Face recognition for varying illumination and different optical zoom using a combination of binary and geometric features |