JP2010244318A - 顔画像における特徴部位の位置を特定する画像処理 - Google Patents
顔画像における特徴部位の位置を特定する画像処理 Download PDFInfo
- Publication number
- JP2010244318A JP2010244318A JP2009092711A JP2009092711A JP2010244318A JP 2010244318 A JP2010244318 A JP 2010244318A JP 2009092711 A JP2009092711 A JP 2009092711A JP 2009092711 A JP2009092711 A JP 2009092711A JP 2010244318 A JP2010244318 A JP 2010244318A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face image
- texture
- face
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】顔画像における特徴部位の位置を特定する画像処理における信頼度の算出精度を向上させる。
【解決手段】画像処理装置は、複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、顔形状を基準形状と形状特徴量とにより表す形状モデルと、顔テクスチャーを基準テクスチャーとテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における特徴部位の配置を特定する特徴位置特定部と、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、テクスチャー補正後の基準顔画像と対象顔画像とに基づき特定された特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える。
【選択図】図1
【解決手段】画像処理装置は、複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、顔形状を基準形状と形状特徴量とにより表す形状モデルと、顔テクスチャーを基準テクスチャーとテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における特徴部位の配置を特定する特徴位置特定部と、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、テクスチャー補正後の基準顔画像と対象顔画像とに基づき特定された特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える。
【選択図】図1
Description
本発明は、顔画像における特徴部位の位置を特定する画像処理に関する。
視覚的事象のモデル化手法として、アクティブアピアランスモデル(Active Appearance Model、略して「AAM」とも呼ばれる)が知られている。AAMでは、例えば、複数のサンプル顔画像における所定の特徴部位(例えば目尻や鼻頭やフェイスライン)の位置(座標)や画素値(例えば輝度値)の統計的分析を通じて、上記特徴部位の位置により特定される顔の形状を表す形状モデルや、平均的な形状における「見え(Appearance)」を表すテクスチャーモデルが設定され、これらのモデルを用いて顔画像がモデル化される。AAMによれば、任意の顔画像のモデル化(合成)が可能であり、顔画像における上記特徴部位の位置の特定(検出)が可能である(例えば特許文献1参照)。
顔画像における特徴部位の位置を特定する画像処理において、特定された特徴部位の位置の確からしさを表す信頼度が算出される場合がある。従来、特徴部位の位置の信頼度の算出精度に向上の余地があった。
なお、このような問題は、AAMを利用する場合に限らず、顔画像における特徴部位の位置を特定する画像処理を行う際に共通の問題であった。
本発明は、上記の課題を解決するためになされたものであり、顔画像における特徴部位の位置を特定する画像処理における信頼度の算出精度を向上させることを目的とする。
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
[適用例1]対象顔画像における特徴部位の位置を特定する画像処理装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える、画像処理装置。
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える、画像処理装置。
この画像処理装置では、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるように基準顔画像と対象顔画像との少なくとも一方に対してテクスチャー補正が行われ、テクスチャー補正後の基準顔画像と対象顔画像とに基づき特徴部位信頼度が算出されるため、特徴部位信頼度の算出精度を向上させることができる。
[適用例2]適用例1に記載の画像処理装置であって、さらに、
前記対象顔画像において特定された前記特徴部位の配置が前記基準顔画像における前記特徴部位の配置に等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行う画像変換部を備え、
前記特徴部位信頼度算出部は、前記画像変換後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
前記対象顔画像において特定された前記特徴部位の配置が前記基準顔画像における前記特徴部位の配置に等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行う画像変換部を備え、
前記特徴部位信頼度算出部は、前記画像変換後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
この画像処理装置では、画像変換後の基準顔画像と対象顔画像との差分値に基づき特徴部位信頼度を算出する場合において、信頼度の算出精度を向上させることができる。
[適用例3]適用例2に記載の画像処理装置であって、さらに、
前記画像変換後の前記基準顔画像と前記対象顔画像との少なくとも一方に対して、前記基準顔画像と前記対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理を行う正規化部を備え、
前記特徴部位信頼度算出部は、前記正規化処理後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
前記画像変換後の前記基準顔画像と前記対象顔画像との少なくとも一方に対して、前記基準顔画像と前記対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理を行う正規化部を備え、
前記特徴部位信頼度算出部は、前記正規化処理後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。
この画像処理装置では、基準顔画像と対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理後の基準顔画像と対象顔画像との差分値に基づき特徴部位信頼度が算出されるため、個々の対象顔画像の画素値分布の特徴が特徴部位信頼度に与える影響が抑制され、特徴部位信頼度の算出精度をさらに向上させることができる。
[適用例4]適用例3に記載の画像処理装置であって、
前記指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。
前記指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。
この画像処理装置では、基準顔画像と対象顔画像との画素値の平均値と分散値との少なくとも一方を互いに近づける正規化処理を行うことができる。
[適用例5]適用例1ないし適用例4のいずれかに記載の画像処理装置であって、
前記テクスチャー補正部は、前記テクスチャーモデルを用いて前記対象顔画像における所定の前記テクスチャー特徴量を算出し、算出された前記テクスチャー特徴量の前記基準顔画像への付加と算出された前記テクスチャー特徴量の前記対象顔画像からの減算との一方を行うことにより、前記テクスチャー補正を行う、画像処理装置。
前記テクスチャー補正部は、前記テクスチャーモデルを用いて前記対象顔画像における所定の前記テクスチャー特徴量を算出し、算出された前記テクスチャー特徴量の前記基準顔画像への付加と算出された前記テクスチャー特徴量の前記対象顔画像からの減算との一方を行うことにより、前記テクスチャー補正を行う、画像処理装置。
この画像処理装置では、基準顔画像と対象顔画像との顔テクスチャーを互いに近づけるようなテクスチャー補正を実現することができる。
[適用例6]適用例5に記載の画像処理装置であって、
前記所定の前記テクスチャー特徴量は、影成分の変化に実質的に対応する前記テクスチャー特徴量である、画像処理装置。
前記所定の前記テクスチャー特徴量は、影成分の変化に実質的に対応する前記テクスチャー特徴量である、画像処理装置。
この画像処理装置では、影成分の変化に実質的に対応するテクスチャー特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。
[適用例7]適用例1ないし適用例6のいずれかに記載の画像処理装置であって、
前記特徴位置特定部は、前記基準顔画像における前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定し、前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行い、前記基準顔画像と前記対象顔画像との差分値に基づき前記対象顔画像における前記特徴点の配置を更新することにより、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
前記特徴位置特定部は、前記基準顔画像における前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定し、前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行い、前記基準顔画像と前記対象顔画像との差分値に基づき前記対象顔画像における前記特徴点の配置を更新することにより、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
この画像処理装置では、対象顔画像における特徴部位の位置を特定することができる。
[適用例8]適用例1ないし適用例7のいずれかに記載の画像処理装置であって、
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の画素値の平均を表す平均テクスチャーである、画像処理装置。
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の画素値の平均を表す平均テクスチャーである、画像処理装置。
この画像処理装置では、対象顔画像一般における特徴部位の位置を特定することができる。
[適用例9]適用例1ないし適用例8のいずれかに記載の画像処理装置であって、さらに、
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記特徴位置特定部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも1つを参照して、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記特徴位置特定部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも1つを参照して、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。
この画像処理装置では、効率的に対象顔画像における特徴部位の位置を特定することができる。
[適用例10]対象顔画像における特徴部位の位置を特定する画像処理方法であって、
(a)複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する工程と、
(b)前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行う工程と、
(c)前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する工程と、を備える、画像処理方法。
(a)複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する工程と、
(b)前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行う工程と、
(c)前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する工程と、を備える、画像処理方法。
[適用例11]対象顔画像における特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定機能と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正機能と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出機能と、を、コンピューターに実現させる、コンピュータープログラム。
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定機能と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正機能と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出機能と、を、コンピューターに実現させる、コンピュータープログラム。
[適用例12]印刷装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、
前記対象顔画像を印刷する印刷部と、を備える、印刷装置。
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、
前記対象顔画像を印刷する印刷部と、を備える、印刷装置。
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、特徴部位位置特定方法および装置、信頼度算出方法および装置、印刷方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
A−1.画像処理装置の構成:
A−2.AAM設定処理:
A−3.顔特徴位置特定処理:
B.第2実施例:
C.第3実施例:
D.変形例:
A.第1実施例:
A−1.画像処理装置の構成:
A−2.AAM設定処理:
A−3.顔特徴位置特定処理:
B.第2実施例:
C.第3実施例:
D.変形例:
A.第1実施例:
A−1.画像処理装置の構成:
図1は、本発明の第1実施例における画像処理装置としてのプリンター100の構成を概略的に示す説明図である。本実施例のプリンター100は、メモリーカードMC等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター100は、プリンター100の各部を制御するCPU110と、ROMやRAMによって構成された内部メモリー120と、ボタンやタッチパネルにより構成された操作部140と、液晶ディスプレイにより構成された表示部150と、プリンターエンジン160と、カードインターフェース(カードI/F)170と、を備えている。プリンター100は、さらに、他の機器(例えばデジタルスチルカメラやパーソナルコンピューター)とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター100の各構成要素は、バスを介して互いに接続されている。
A−1.画像処理装置の構成:
図1は、本発明の第1実施例における画像処理装置としてのプリンター100の構成を概略的に示す説明図である。本実施例のプリンター100は、メモリーカードMC等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター100は、プリンター100の各部を制御するCPU110と、ROMやRAMによって構成された内部メモリー120と、ボタンやタッチパネルにより構成された操作部140と、液晶ディスプレイにより構成された表示部150と、プリンターエンジン160と、カードインターフェース(カードI/F)170と、を備えている。プリンター100は、さらに、他の機器(例えばデジタルスチルカメラやパーソナルコンピューター)とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンター100の各構成要素は、バスを介して互いに接続されている。
プリンターエンジン160は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース170は、カードスロット172に挿入されたメモリーカードMCとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードMCに画像データを含む画像ファイルが格納されている。
内部メモリー120には、画像処理部200と、表示処理部310と、印刷処理部320と、が格納されている。画像処理部200は、所定のオペレーティングシステムの下で、顔特徴位置特定処理を実行するためのコンピュータープログラムである。本実施例の顔特徴位置特定処理は、顔画像における所定の特徴部位(例えば目尻や鼻頭やフェイスライン)の位置を特定(検出)する処理である。顔特徴位置特定処理については、後に詳述する。
画像処理部200は、プログラムモジュールとして、顔特徴位置特定部210と、顔領域検出部230と、を含んでいる。顔特徴位置特定部210は、初期配置部211と、画像変換部212と、判定部213と、更新部214と、正規化部215と、テクスチャー補正部216と、信頼度算出部217と、を含んでいる。これら各部の機能については、後述の顔特徴位置特定処理の説明において詳述する。
表示処理部310は、表示部150を制御して、表示部150上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部320は、画像データから印刷データを生成し、プリンターエンジン160を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。CPU110は、内部メモリー120から、これらのプログラム(画像処理部200、表示処理部310、印刷処理部320)を読み出して実行することにより、これら各部の機能を実現する。
内部メモリー120には、また、AAM情報AMIが格納されている。AAM情報AMIは、後述のAAM設定処理によって設定される情報であり、後述の顔特徴位置特定処理において参照される。AAM情報AMIの内容については、後に詳述する。
A−2.AAM設定処理:
図2は、第1実施例におけるAAM設定処理の流れを示すフローチャートである。AAM設定処理は、AAM(アクティブアピアランスモデル(Active Appearance Model))と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。AAM設定処理は、例えばコンピューターを用いて予め実行される。
図2は、第1実施例におけるAAM設定処理の流れを示すフローチャートである。AAM設定処理は、AAM(アクティブアピアランスモデル(Active Appearance Model))と呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。AAM設定処理は、例えばコンピューターを用いて予め実行される。
ステップS110では、人物の顔を表す複数の画像がサンプル顔画像SIとして設定される。図3は、サンプル顔画像SIの一例を示す説明図である。図3に示すように、サンプル顔画像SIは、個性、人種・性別、表情(怒り、笑い、困り、驚き等)、向き(正面向き、上向き、下向き、右向き、左向き等)といった種々の属性に関して互いに相違する画像が含まれるように設定される。サンプル顔画像SIがそのように設定されれば、AAMによってあらゆる顔画像を精度良くモデル化することが可能となり、あらゆる顔画像を対象とした精度の良い顔特徴位置特定処理(後述)の実行が可能となる。なお、サンプル顔画像SIは、学習顔画像とも呼ばれる。
ステップS120(図2)では、サンプル顔画像SIのそれぞれにおいて、特徴点CPが設定される。図4は、サンプル顔画像SIにおける特徴点CPの設定方法の一例を示す説明図である。特徴点CPは、顔画像における所定の特徴部位の位置を示す点である。本実施例では、所定の特徴部位として、人物の顔における眉毛上の所定位置(例えば端点や4分割点等、以下同じ)、目の輪郭上の所定位置、鼻筋および小鼻の輪郭上の所定位置、上下唇の輪郭上の所定位置、顔の輪郭(フェイスライン)上の所定位置といった68箇所の部位が設定されている。すなわち、本実施例では、人物の顔に共通して含まれる顔の器官(眉毛、目、鼻、口)および顔の輪郭における所定位置が、特徴部位として設定されている。図4に示すように、特徴点CPは、各サンプル顔画像SIにおいてオペレーターにより指定された68個の特徴部位を表す位置に設定(配置)される。このように設定された各特徴点CPは各特徴部位に対応しているため、顔画像における特徴点CPの配置は顔の形状を規定していると表現することができる。
サンプル顔画像SIにおける特徴点CPの位置は、座標により特定される。図5は、サンプル顔画像SIに設定された特徴点CPの座標の一例を示す説明図である。図5において、SI(j)(j=1,2,3・・・)は各サンプル顔画像SIを示しており、CP(k)(k=0,1,・・・,67)は各特徴点CPを示している。また、CP(k)−Xは、特徴点CP(k)のX座標を示しており、CP(k)−Yは、特徴点CP(k)のY座標を示している。特徴点CPの座標としては、顔の大きさと顔の傾き(画像面内の傾き)と顔のX方向およびY方向の位置とのそれぞれについて正規化されたサンプル顔画像SIにおける所定の基準点(例えば画像の左下の点)を原点とした座標が用いられる。また、本実施例では、1つのサンプル顔画像SIに複数の人物の顔が含まれる場合が許容されており(例えばサンプル顔画像SI(2)には2人の顔が含まれている)、1つのサンプル顔画像SIにおける各人物は人物IDによって特定される。
ステップS130(図2)では、AAMの形状モデルが設定される。具体的には、各サンプル顔画像SIにおける68個の特徴点CPの座標(X座標およびY座標)により構成される座標ベクトル(図5参照)に対する主成分分析が行われ、特徴点CPの位置により特定される顔の形状sが下記の式(1)によりモデル化される。なお、形状モデルは、特徴点CPの配置モデルとも呼ばれる。
上記式(1)において、s0は平均形状である。図6は、平均形状s0の一例を示す説明図である。図6(a)および(b)に示すように、平均形状s0は、サンプル顔画像SIの各特徴点CPについての平均位置(平均座標)により特定される平均的な顔の形状を表すモデルである。なお、本実施例では、平均形状s0において、外周に位置する特徴点CP(フェイスラインおよび眉毛、眉間に対応する特徴点CP、図4参照)を結ぶ直線により囲まれた領域(図6(b)においてハッチングを付して示す)を「平均形状領域BSA」と呼ぶ。平均形状s0においては、図6(a)に示すように、特徴点CPを頂点とする複数の三角形領域TAが、平均形状領域BSAをメッシュ状に分割するように設定されている。
形状モデルを表す上記式(1)において、siは形状ベクトルであり、piは形状ベクトルsiの重みを表す形状パラメーターである。形状ベクトルsiは、顔の形状sの特性を表すベクトルであり、具体的には、主成分分析により得られる第i主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数nの固有ベクトルが、形状ベクトルsiとして採用される。本実施例では、最も分散の大きい第1主成分に対応する第1形状ベクトルs1は顔の左右振りにほぼ相関するベクトルとなっており、2番目に分散の大きい第2主成分に対応する第2形状ベクトルs2は顔の上下振りにほぼ相関するベクトルとなっている。また、3番目に分散の大きい第3主成分に対応する第3形状ベクトルs3は顔の形状の縦横比にほぼ相関するベクトルとなっており、4番目に分散の大きい第4主成分に対応する第4形状ベクトルs4は口の開きの程度にほぼ相関するベクトルとなっている。
上記式(1)に示すように、本実施例における形状モデルでは、特徴点CPの配置を表す顔形状sが、平均形状s0とn個の形状ベクトルsiの線形結合との和としてモデル化される。形状モデルにおいて形状パラメーターpiを適切に設定することにより、あらゆる画像における顔の形状sを再現することが可能である。なお、形状モデルにおいて、形状ベクトルsiと形状パラメーターpiとの積は、形状ベクトルsiに対応する顔の形状の特徴についての特徴量を表している。形状モデル設定ステップ(図2のステップS130)において設定された平均形状s0および形状ベクトルsiは、AAM情報AMI(図1)として内部メモリー120に格納される。平均形状s0は、本発明における基準形状に相当し、形状ベクトルsiと形状パラメーターpiとの積は、本発明における形状特徴量に相当する。
ステップS140(図2)では、AAMのテクスチャーモデルが設定される。具体的には、まず、各サンプル顔画像SIに対して、サンプル顔画像SIにおける特徴点CPの配置が平均形状s0における特徴点CPの配置と等しくなるように、画像変換(以下、「ワープW」とも呼ぶ)が行われる。
図7は、サンプル顔画像SIのワープWの方法の一例を示す説明図である。各サンプル顔画像SIにおいては、平均形状s0と同様に、外周に位置する特徴点CPにより囲まれた領域をメッシュ状に分割する複数の三角形領域TAが設定されている。ワープWは、複数の三角形領域TAのそれぞれについてのアフィン変換の集合である。すなわち、ワープWにおいては、サンプル顔画像SIにおけるある三角形領域TAの画像は、平均形状s0における対応する三角形領域TAの画像へとアフィン変換される。ワープWにより、特徴点CPの配置が平均形状s0における特徴点CPの配置と等しいサンプル顔画像SI(以下「サンプル顔画像SIw」と表す)が生成される。
なお、各サンプル顔画像SIwは、平均形状領域BSA(図7においてハッチングを付して示す)を内包する矩形枠を外周とし、平均形状領域BSA以外の領域(以下「マスク領域MA」とも呼ぶ)がマスクされた画像として生成される。平均形状領域BSAとマスク領域MAとを併せた画像領域を基準領域BAと呼ぶ。また、各サンプル顔画像SIwは、例えば56画素×56画素のサイズの画像として正規化される。
次に、各サンプル顔画像SIwの画素群xのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析が行われ、顔のテクスチャー(「見え」とも呼ぶ)A(x)が下記の式(2)によりモデル化される。なお、画素群xは、平均形状領域BSAに位置する画素の集合である。
上記式(2)において、A0(x)は平均顔画像である。図8は、平均顔画像A0(x)の一例を示す説明図である。平均顔画像A0(x)は、ワープWの後のサンプル顔画像SIw(図7参照)の平均の画像である。すなわち、平均顔画像A0(x)は、サンプル顔画像SIwの平均形状領域BSA内の画素群xのそれぞれについて画素値(輝度値)の平均をとることにより算出される画像である。従って、平均顔画像A0(x)は、平均的な顔の形状における平均的な顔のテクスチャー(見え)を表すモデルである。なお、平均顔画像A0(x)は、サンプル顔画像SIwと同様に、平均形状領域BSAとマスク領域MAとで構成される。また、平均顔画像A0(x)においても、平均形状領域BSAとマスク領域MAとを併せた画像領域を基準領域BAと呼ぶ。
テクスチャーモデルを表す上記式(2)において、Ai(x)はテクスチャーベクトルであり、λiはテクスチャーベクトルAi(x)の重みを表すテクスチャーパラメーターである。テクスチャーベクトルAi(x)は、顔のテクスチャーA(x)の特性を表すベクトルであり、具体的には、主成分分析により得られる第i主成分に対応する固有ベクトルである。すなわち、分散のより大きい主成分に対応する固有ベクトルから順に、累積寄与率に基づき設定された個数mの固有ベクトルが、テクスチャーベクトルAi(x)として採用される。本実施例では、最も分散の大きい第1主成分に対応する第1テクスチャーベクトルA1(x)は、顔色の変化(性別の差とも捉えられる)にほぼ相関するベクトルとなっており、2番目に分散の大きい第2主成分に対応する第2テクスチャーベクトルA2(x)は、影成分の変化(光源位置の変化とも捉えられる)にほぼ相関するベクトルとなっている。
上記式(2)に示すように、本実施例におけるテクスチャーモデルでは、顔の見えを表す顔のテクスチャーA(x)が、平均顔画像A0(x)とm個のテクスチャーベクトルAi(x)の線形結合との和としてモデル化される。テクスチャーモデルにおいてテクスチャーパラメーターλiを適切に設定することにより、あらゆる画像における顔のテクスチャーA(x)を再現することが可能である。なお、テクスチャーモデルにおいて、テクスチャーベクトルAi(x)とテクスチャーパラメーターλiとの積は、テクスチャーベクトルAi(x)に対応する顔のテクスチャーの特徴についての特徴量を表している。テクスチャーモデル設定ステップ(図2のステップS140)において設定された平均顔画像A0(x)およびテクスチャーベクトルAi(x)は、AAM情報AMI(図1)として内部メモリー120に格納される。平均顔画像A0(x)は、本発明における基準テクスチャーに相当し、テクスチャーベクトルAi(x)とテクスチャーパラメーターλiとの積は、本発明におけるテクスチャー特徴量に相当する。
以上説明したAAM設定処理(図2)により、顔の形状をモデル化する形状モデルと、顔のテクスチャーをモデル化するテクスチャーモデルと、を含む顔モデル(AAM)が設定される。設定された形状モデルとテクスチャーモデルとを組み合わせることにより、すなわち合成されたテクスチャーA(x)に対して平均形状s0から形状sへの変換(図7に示したワープWの逆変換)を行うことにより、あらゆる顔画像の形状およびテクスチャーを再現することが可能である。
A−3.顔特徴位置特定処理:
図9は、第1実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、AAMを利用して対象画像における特徴点CPの配置を決定することにより、対象画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、AAM設定処理(図2)において、人物の顔の器官(眉毛、目、鼻、口)および顔の輪郭における計68箇所の所定位置が、特徴部位として設定されている(図4参照)。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す68個の特徴点CPの配置が決定される。
図9は、第1実施例における顔特徴位置特定処理の流れを示すフローチャートである。本実施例における顔特徴位置特定処理は、AAMを利用して対象画像における特徴点CPの配置を決定することにより、対象画像における顔の特徴部位の位置を特定する処理である。上述したように、本実施例では、AAM設定処理(図2)において、人物の顔の器官(眉毛、目、鼻、口)および顔の輪郭における計68箇所の所定位置が、特徴部位として設定されている(図4参照)。そのため、本実施例の顔特徴位置特定処理では、人物の顔の器官および顔の輪郭における所定位置を示す68個の特徴点CPの配置が決定される。
なお、顔特徴位置特定処理によって対象画像における特徴点CPの配置が決定されると、対象画像における人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。従って、顔特徴位置特定処理の処理結果は、特定の表情(例えば笑顔や目を閉じた顔)の顔画像を検出するための表情判定や、特定の向き(例えば右向きや下向き)の顔画像を検出するための顔向き推定、顔の形状を変形する顔変形等に利用可能である。
ステップS210(図9)では、画像処理部200(図1)が、顔特徴位置特定処理の対象となる対象画像を表す画像データを取得する。本実施例のプリンター100では、カードスロット172にメモリーカードMCが挿入されると、メモリーカードMCに格納された画像ファイルのサムネイル画像が表示部150に表示される。ユーザーは、表示されたサムネイル画像を参照しつつ、操作部140を介して処理の対象となる1つまたは複数の画像を選択する。画像処理部200は、選択された1つまたは複数の画像に対応する画像データを含む画像ファイルをメモリーカードMCより取得して内部メモリー120の所定の領域に格納する。なお、取得された画像データを対象画像データと呼び、対象画像データの表す画像を対象画像OIと呼ぶものとする。
ステップS220(図9)では、顔領域検出部230(図1)が、対象画像OIにおける顔の画像の少なくとも一部を含む画像領域を顔領域FAとして検出する。顔領域FAの検出は、公知の顔検出手法を用いて行うことができる。公知の顔検出手法としては、例えば、パターンマッチングによる手法や肌色領域抽出による手法、サンプル顔画像を用いた学習(例えばニューラルネットワークを用いた学習や、ブースティングを用いた学習、サポートベクターマシーンを用いた学習等)により設定される学習データを用いる手法等がある。
図10は、対象画像OIにおける顔領域FAの検出結果の一例を示す説明図である。図10には、対象画像OIにおいて検出された顔領域FAが示されている。本実施例では、おおよそ、顔の上下方向は額から顎まで、左右方向は両耳の外側まで含む矩形の領域が顔領域FAとして検出されるような顔検出手法が用いられている。
なお、図10に示した想定基準領域ABAは、平均顔画像A0(x)の全体領域である基準領域BA(図8参照)に対応すると想定される領域である。想定基準領域ABAは、検出された顔領域FAに基づき、大きさ・傾き・上下および左右方向の位置のそれぞれについて顔領域FAと所定の関係を有する領域に設定される。顔領域FAと想定基準領域ABAとの所定の関係は、顔領域FAに表された顔が平均的な顔である場合には想定基準領域ABAが基準領域BAに対応することとなるように、顔領域FAの検出に採用する顔検出手法の特性(どのような顔の範囲を顔領域FAとして検出するか)を考慮して予め設定される。
なお、ステップS220(図9)において対象画像OIから顔領域FAが検出されなかった場合には、対象画像OIに顔の画像が含まれていないとして顔特徴位置特定処理が終了されるか、あるいは顔領域FAの検出処理が再度実行される。
ステップS230(図9)では、顔特徴位置特定部210(図1)が、対象画像OIにおける特徴点CPの初期配置を決定する。図11は、本実施例における特徴点CPの初期配置決定処理の流れを示すフローチャートである。特徴点CP初期配置決定処理のステップS310では、初期配置部211(図1)が、グローバルパラメーターとしての大きさ、傾き、位置(上下方向の位置および左右方向の位置)の値を種々変更して、対象画像OI上に特徴点CPの仮配置を設定する。
図12は、対象画像OIにおける特徴点CPの仮配置の一例を示す説明図である。図12(a)および図12(b)には、対象画像OIにおける特徴点CPの仮配置をメッシュによって示している。すなわち、メッシュの各交点が特徴点CPである。初期配置部211は、図12(a)および図12(b)の中央に示すように、対象画像OIの想定基準領域ABA(図10参照)に平均顔画像A0(x)(図8参照)を重ねた場合における平均顔画像A0(x)の特徴点CPにより特定される仮配置(以下、「基準仮配置」とも呼ぶ)を設定する。
初期配置部211は、また、基準仮配置に対して、グローバルパラメーターの値を種々変更した仮配置を設定する。グローバルパラメーター(大きさ、傾き、上下方向の位置および左右方向の位置)を変更することは、特徴点CPの仮配置を特定するメッシュに対して拡大・縮小、傾きの変更、並行移動を行うことに相当する。従って、初期配置部211は、図12(a)に示すように、基準仮配置のメッシュに対して所定倍率で拡大または縮小したメッシュにより特定される仮配置(基準仮配置の下および上に示す)や、所定角度だけ時計回りまたは半時計回りに傾きを変更したメッシュにより特定される仮配置(基準仮配置の右および左に示す)を設定する。また、初期配置部211は、基準仮配置のメッシュに対して拡大・縮小および傾きの変更を組み合わせた変換を行ったメッシュにより特定される仮配置(基準仮配置の左上、左下、右上、右下に示す)も設定する。
また、図12(b)に示すように、初期配置部211は、基準仮配置のメッシュを所定量だけ上または下に並行移動したメッシュにより特定される仮配置(基準仮配置の上および下に示す)や、左または右に並行移動したメッシュにより特定される仮配置(基準仮配置の左および右に示す)を設定する。また、初期配置部211は、基準仮配置のメッシュに対して、上下および左右の並行移動を組み合わせた変換を行ったメッシュにより特定される仮配置(基準仮配置の左上、左下、右上、右下に示す)も設定する。
さらに、初期配置部211は、図12(a)に示す基準仮配置以外の8つの仮配置のそれぞれにおけるメッシュに対して図12(b)に示す上下左右の並行移動が実行されたメッシュにより特定される仮配置も設定する。従って、本実施例では、基準仮配置と、基準仮配置におけるメッシュに対して4つのグローバルパラメーター(大きさ、傾き、上下方向の位置、左右方向の位置)のそれぞれについての3段階の値の組み合わせに対応する合計80種類(=3×3×3×3―1)の変換を行うことにより設定される80種類の仮配置と、の合計81種類の仮配置が設定される。
なお、本実施例において、基準仮配置における平均顔画像A0(x)と対象画像OIの想定基準領域ABAとの対応関係を「基準対応関係」と呼ぶものとする。仮配置の設定は、基準対応関係を基準として平均顔画像A0(x)と対象画像OIとの一方に対する上述の合計80種類の変換が行われた後の平均顔画像A0(x)と対象画像OIとの対応関係(以下、「変換対応関係」とも呼ぶ)が設定され、基準対応関係および変換対応関係における平均顔画像A0(x)の特徴点CPの配置を対象画像OIにおける特徴点CPの仮配置とすることにより実現されると表現できる。
ステップS320(図11)では、画像変換部212(図1)が、設定された各仮配置に対応する平均形状画像I(W(x;p))を算出する。図13は、平均形状画像I(W(x;p))の一例を示す説明図である。平均形状画像I(W(x;p))は、平均形状s0を有する顔画像である。平均形状画像I(W(x;p))は、入力画像における特徴点CPの配置が平均形状s0における特徴点CPの配置と等しくなるような変換によって算出される。
平均形状画像I(W(x;p))を算出するための変換は、サンプル顔画像SIw算出のための変換(図7参照)と同様に、三角形領域TA毎のアフィン変換の集合であるワープWにより行われる。具体的には、対象画像OIに配置された特徴点CP(図12参照)によって対象画像OIにおける平均形状領域BSA(外周に位置する特徴点CPにより囲まれた領域、図6参照)が特定され、平均形状領域BSAに対して三角形領域TA毎のアフィン変換が行われることにより、平均形状画像I(W(x;p))が算出される。本実施例では、平均形状画像I(W(x;p))は、平均顔画像A0(x)と同様に平均形状領域BSAおよびマスク領域MAにより構成され、平均顔画像A0(x)と同サイズの画像として算出される。図13には、図12(a)に示した9個の仮配置に対応する9個の平均形状画像I(W(x;p))の例を示している。
なお、上述したように、画素群xは、平均形状s0における平均形状領域BSAに位置する画素の集合である。ワープW実行後の画像(平均形状s0を有する顔画像)における画素群xに対応するワープW実行前の画像(対象画像OIの平均形状領域BSA)における画素群をW(x;p)と表す。平均形状画像は、対象画像OIの平均形状領域BSAにおける画素群W(x;p)のそれぞれにおける輝度値により構成される画像であるため、I(W(x;p))と表される。
ステップS330(図11)では、初期配置部211(図1)が、各平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieを算出する。特徴点CPの仮配置は81種類設定され、平均形状画像I(W(x;p))は81個設定されているため、初期配置部211は81個の差分画像Ieを算出することとなる。
ステップS340(図11)では、初期配置部211(図1)が、各差分画像Ieのノルムを算出し、ノルムの値が最も小さい差分画像Ieに対応する仮配置(以下「ノルム最小仮配置」とも呼ぶ)を、対象画像OIにおける特徴点CPの初期配置として設定する。ノルム最小仮配置は、平均顔画像A0(x)との相違の程度が最も小さい(最も近い、最も似ている)平均形状画像I(W(x;p))に対応する仮配置である。なお、ノルム最小仮配置を選択することは、上述した基準対応関係および80種類の変換対応関係の中から、正規化処理後の平均形状画像I(W(x;p))と平均顔画像A0(x)との相違の程度が最も小さい対応関係を選択し、選択された対応関係における仮配置を選択することと同義である。特徴点CPの初期配置処理により、対象画像OIにおいて、特徴点CPの配置の全体的な大きさ、傾き、位置(上下方向の位置および左右方向の位置)を規定するグローバルパラメーターの概略値が設定されたこととなる。
図14は、対象画像OIにおける特徴点CPの初期配置の一例を示す説明図である。図14では、対象画像OIにおいて決定された特徴点CPの初期配置をメッシュによって表現している。すなわち、メッシュの各交点が特徴点CPである。
特徴点CP初期配置決定処理(図9のステップS230)が完了すると、顔特徴位置特定部210(図1)は、対象画像OIにおける特徴点CPの配置更新を行う(ステップS240)。図15は、本実施例における特徴点CP配置更新処理の流れを示すフローチャートである。
特徴点CP配置更新処理(図15)のステップS410では、画像変換部212(図1)が、対象画像OIから平均形状画像I(W(x;p))を算出する。平均形状画像I(W(x;p))は、平均形状s0を有する顔画像である。平均形状画像I(W(x;p))は、入力画像における特徴点CPの配置が平均形状s0における特徴点CPの配置(図6参照)と等しくなるような変換によって算出される。
平均形状画像I(W(x;p))を算出するための変換は、サンプル顔画像SIw算出のための変換(図7参照)と同様に、三角形領域TA毎のアフィン変換の集合であるワープWにより行われる。具体的には、対象画像OIに配置された特徴点CP(図14参照)によって対象画像OIにおける平均形状領域BSA(外周に位置する特徴点CPにより囲まれた領域、図6参照)が特定され、平均形状領域BSAに対して三角形領域TA毎のアフィン変換が行われることにより、平均形状画像I(W(x;p))が算出される。本実施例では、平均形状画像I(W(x;p))は、平均顔画像A0(x)と同様に平均形状領域BSAおよびマスク領域MAにより構成され、平均顔画像A0(x)と同サイズの画像として算出される。
ステップS412(図15)では、正規化部215(図1)が、平均顔画像A0(x)の輝度値分布を表す指標値を参照して、平均形状画像I(W(x;p))を正規化する。本実施例では、平均顔画像A0(x)の平均形状領域BSA(図8参照)における輝度値分布を表す指標値としての平均値および分散値を示す情報が、AAM情報AMIに含まれている。正規化部215は、平均形状画像I(W(x;p))の平均形状領域BSAにおける輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像A0(x)の輝度値の平均値および分散値に等しくなるように、平均形状画像I(W(x;p))の平均形状領域BSAに対する画像変換(正規化処理)を行う。
ステップS420(図15)では、顔特徴位置特定部210(図1)が、正規化処理後の平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieを算出する。ステップS430では、判定部213(図1)が、差分画像Ieに基づき、特徴点CPの配置更新処理が収束したか否かを判定する。判定部213は、差分画像Ieのノルムを算出し、ノルムの値が予め設定された閾値より小さい場合には収束したと判定し、ノルムの値が閾値以上の場合には未だ収束していないと判定する。差分画像Ieのノルムは、平均形状画像I(W(x;p))と平均顔画像A0(x)との相違の程度を表す指標値である。
なお、ステップS430の収束判定において、判定部213は、算出された差分画像Ieのノルムの値が前回のステップS430において算出された値よりも小さい場合には収束したと判定し、前回値以上である場合には未だ収束していないと判定するものとしてもよい。あるいは、判定部213は、閾値による判定と前回値との比較による判定とを組み合わせて収束判定を行うものとしてもよい。例えば、判定部213は、算出されたノルムの値が、閾値より小さく、かつ、前回値より小さい場合にのみ収束したと判定し、それ以外の場合には未だ収束していないと判定するものとしてもよい。
ステップS430の収束判定において未だ収束していないと判定された場合には、更新部214(図1)が、パラメーター更新量ΔPを算出する(ステップS440)。パラメーター更新量ΔPは、4個のグローバルパラメーター(全体としての大きさ、傾き、X方向位置、Y方向位置)およびn個の形状パラメーターpi(式(1)参照)の値の変更量を意味している。なお、特徴点CPの初期配置直後においては、グローバルパラメーターは、特徴点CP初期配置決定処理(図11)において決定された値が設定されている。また、このときの特徴点CPの初期配置と平均形状s0の特徴点CPの配置との相違は、全体としての大きさ、傾き、位置の相違に限られるため、形状モデルにおける形状パラメーターpiの値はすべてゼロである。
パラメーター更新量ΔPは、下記の式(3)により算出される。すなわち、パラメーター更新量ΔPは、アップデートマトリックスRと差分画像Ieとの積である。
式(3)におけるアップデートマトリックスRは、差分画像Ieに基づきパラメーター更新量ΔPを算出するために予め学習により設定されたM行N列のマトリックスであり、AAM情報AMI(図1)として内部メモリー120に格納されている。本実施例では、アップデートマトリックスRの行数Mは、グローバルパラメーターの数(4個)と形状パラメーターpiの数(n個)との和((4+n)個)に等しく、列数Nは、平均顔画像A0(x)(図8)の平均形状領域BSA内の画素数に等しい。アップデートマトリックスRは、下記の式(4)および(5)により算出される。
ステップS450(図15)では、更新部214(図1)が、算出されたパラメーター更新量ΔPに基づきパラメーター(4個のグローバルパラメーターおよびn個の形状パラメーターpi)を更新する。これにより、対象画像OIにおける特徴点CPの配置が更新される。ステップS450のパラメーター更新の後には、再度、特徴点CPの配置が更新された対象画像OIからの平均形状画像I(W(x;p))の算出(ステップS410)、差分画像Ieの算出(ステップS420)、差分画像Ieに基づく収束判定(ステップS430)が行われる。再度の収束判定においても収束していないと判定された場合には、さらに、差分画像Ieに基づくパラメーター更新量ΔPの算出(ステップS440)、パラメーター更新による特徴点CPの配置更新(ステップS450)が行われる。
図15のステップS410からS450までの処理が繰り返し実行されると、対象画像OIにおける各特徴部位に対応する特徴点CPの位置は実際の特徴部位の位置(正解位置)に全体として近づいていき、ある時点で収束判定(ステップS430)において収束したと判定される。収束判定において収束したと判定されると、顔特徴位置特定処理が完了する(ステップS460)。このとき設定されているグローバルパラメーターおよび形状パラメーターpiの値により特定される特徴点CPの配置が、最終的な対象画像OIにおける特徴点CPの配置として決定される。
図16は、顔特徴位置特定処理の結果の一例を示す説明図である。図16には、対象画像OIにおいて最終的に決定された特徴点CPの配置が示されている。特徴点CPの配置により、対象画像OIにおける特徴部位(人物の顔の器官(眉毛、目、鼻、口)および顔の輪郭における所定位置)の位置が特定され、対象画像OIにおける人物の顔の器官の形状・位置や顔の輪郭形状の特定が可能となる。
顔特徴位置特定処理(図9)のステップS250では、特徴部位信頼度算出処理が行われる。図17は、第1実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。特徴部位信頼度算出処理は、顔特徴位置特定処理のステップS210からS240において特定された対象画像OIにおける特徴部位の位置(特徴点CPの配置)の確からしさを表す特徴部位信頼度を算出する処理である。すなわち、特徴部位信頼度は、対象画像OIにおいて特定された特徴部位の位置が、全体として、対象画像OIにおける実際の特徴部位の位置にどれだけ近いかを表す指標値である。
特徴部位信頼度算出処理のステップS510(図17)では、テクスチャー補正部216(図1)が、平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p)))の平均形状領域BSA(図8参照)の部分を、テクスチャーモデルにおける第2テクスチャーベクトルA2(x)に射影して、第2テクスチャーベクトルA2(x)に対応する特徴量を取得する。具体的には、テクスチャー補正部216は、特徴点CP配置更新処理(図15)の収束判定(ステップS430)で収束したと判定される直前のステップS410において算出された平均形状画像I(W(x;p))のテクスチャーベクトルと第2テクスチャーベクトルA2(x)との内積値を、特徴量として算出する。上述したように、テクスチャーモデルにおける第2テクスチャーベクトルA2(x)は、影成分の変化にほぼ相関するベクトルであるため、算出された特徴量は影成分の変化に実質的に対応する特徴量となる。以下では、第2テクスチャーベクトルA2(x)に対応する特徴量を影成分特徴量とも呼ぶものとする。なお、特徴部位信頼度算出処理のステップS510において、あらためて画像変換部212による対象画像OIからの平均形状画像I(W(x;p))の算出が行われ、算出された平均形状画像I(W(x;p))を用いて影成分特徴量の算出が行われるとしてもよい。
ステップS520(図17)では、テクスチャー補正部216(図1)が、ステップS510において算出された影成分特徴量を平均顔画像A0(x)に付加するテクスチャー補正を行う。すなわち、ステップS510で算出された内積値が平均顔画像A0(x)のテクスチャーAに付加される。平均顔画像A0(x)のテクスチャーAにおけるテクスチャーパラメーターλiの値はすべてゼロであるため、影成分特徴量を平均顔画像A0(x)に付加するテクスチャー補正により、対象画像OI(平均形状s0に変換された対象画像OI)のテクスチャーAと平均顔画像A0(x)のテクスチャーAとが互いに近づくこととなる。
ステップS530(図17)では、信頼度算出部217(図1)が、テクスチャー補正後の平均顔画像A0(x)と対象画像OIとに基づき、特徴部位信頼度を算出する。図18は、特徴部位信頼度の算出方法の一例を示す説明図である。まず、信頼度算出部217は、平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p)))からテクスチャー補正後の平均顔画像A0(x)を減算して差分画像Ieを算出する。次に、信頼度算出部217は、予め設定された図18に示す対応関係を用いて、差分画像Ieのノルムに基づき特徴部位信頼度を算出する。
図18に示すように、差分画像Ieのノルムが小さいほど対象画像OIから算出された平均形状画像I(W(x;p))と平均顔画像A0(x)とが近いことを意味するため、特徴部位信頼度は大きい(高い)値となり、逆に、差分画像Ieのノルムが大きいほど平均形状画像I(W(x;p))と平均顔画像A0(x)とが近くない(離れている)ことを意味するため、特徴部位信頼度は小さい(低い)値となる。本実施例では、差分画像Ieのノルムが第1の閾値R1以下の場合には特徴部位信頼度の値は最高値100とされ、差分画像Ieのノルムが第2の閾値R2以上の場合には特徴部位信頼度の値は最低値0とされる。また、差分画像Ieのノルムが第1の閾値R1より大きく第2の閾値R2より小さい場合には、差分画像Ieのノルムが大きいほど特徴部位信頼度の値が小さくなるような線形の関係に従い、特徴部位信頼度の値が決定される。
以上説明したように、本実施例の顔特徴位置特定処理(図9)では、対象画像OIにおける顔領域FAが検出され、対象画像OIにおける特徴部位の位置(特徴点CPの配置)が特定され、特徴部位信頼度が算出される。ここで、本実施例では、平均顔画像A0(x)と対象画像OI(平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p))))とのテクスチャーAが互いに近づくように、平均顔画像A0(x)に対象画像OIの影成分特徴量を付加するテクスチャー補正が行われ、その後、平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieに基づく特徴部位信頼度の算出が行われる。そのため、本実施例では、対象画像OIの影成分特徴量による特徴部位信頼度への影響を抑制することができる。例えば、AAM設定処理におけるサンプル顔画像SIの選択方法によっては、対象画像OIの撮像時の照明条件が逆光や斜光であった場合には、正面光であった場合と比較して、特徴部位信頼度が低い値となる傾向になるものと考えられる。本実施例では、テクスチャー補正により、対象画像OIの影成分特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。
B.第2実施例:
図19は、第2実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。第2実施例では、ステップS520とS530との間に正規化処理(ステップS522)が行われる点が、図17に示した第1実施例とは異なっている。第2実施例の特徴部位信頼度算出処理のその他の内容は、第1実施例と同じである。
図19は、第2実施例における特徴部位信頼度算出処理の流れを示すフローチャートである。第2実施例では、ステップS520とS530との間に正規化処理(ステップS522)が行われる点が、図17に示した第1実施例とは異なっている。第2実施例の特徴部位信頼度算出処理のその他の内容は、第1実施例と同じである。
特徴部位信頼度算出処理のステップS522では、正規化部215(図1)が、平均顔画像A0(x)の輝度値分布を表す指標値を参照して、平均形状画像I(W(x;p))を正規化する。この正規化処理は、特徴点CP配置更新処理(図15)のステップS412における正規化処理と同様に実行される。すなわち、正規化部215は、平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p)))における輝度値の平均値および分散値を算出し、算出された平均値および分散値が平均顔画像A0(x)の輝度値の平均値および分散値に等しくなるように、平均形状画像I(W(x;p))に対する画像変換(正規化処理)を行う。ステップS522の正規化処理の後は、第1実施例と同様に、正規化処理後の平均形状画像I(W(x;p))から平均顔画像A0(x)を減算して差分画像Ieが算出され、差分画像Ieのノルムに基づき特徴部位信頼度が算出される(ステップS530)。
以上説明したように、第2実施例の特徴部位信頼度算出処理(図19)においても、第1実施例と同様に、平均顔画像A0(x)と平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p)))とのテクスチャーAが互いに近づくように、平均顔画像A0(x)に対象画像OIの影成分特徴量を付加するテクスチャー補正が行われる(ステップS520)。そのため、第2実施例では、テクスチャー補正により、対象画像OIの影成分特徴量による特徴部位信頼度への影響を抑制することができるため、特徴部位信頼度の算出精度を向上させることができる。
さらに、第2実施例では、平均形状画像I(W(x;p))における輝度値の平均値および分散値が平均顔画像A0(x)の輝度値の平均値および分散値に等しくなるように平均形状画像I(W(x;p))に対する画像変換(正規化処理)が行われた後に、平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieのノルムに基づき特徴部位信頼度が算出される。そのため、第2実施例では、個々の対象画像OIの輝度値分布の特徴が特徴部位信頼度に与える影響が抑制され、特徴部位信頼度の算出精度をさらに向上させることができる。
なお、第2実施例では、影成分についてのテクスチャー補正と輝度値の平均値および分散値についての正規化処理とが独立して実行されている。これは、影成分についてのテクスチャー補正がテクスチャーの主成分分析の結果としてのベクトルを用いて実行されるのに対して、輝度値の平均値および分散値はスカラー値であり、2つの処理を同時に実行することはできないからである。また、影成分についてのテクスチャー補正と輝度値の平均値および分散値についての正規化処理との処理順は、影成分についてのテクスチャー補正によって輝度値の平均値および分散値が変動することから、テクスチャー補正が先で正規化処理が後としている。
C.第3実施例:
図20は、第3実施例における画像処理装置としてのプリンター100aの構成を概略的に示す説明図である。第3実施例のプリンター100aは、画像処理部200がAAM設定部240を含む点が図1に示した第1実施例のプリンター100と異なっている。第3実施例のプリンター100aのその他の構成は、第1実施例のプリンター100と同じである。
図20は、第3実施例における画像処理装置としてのプリンター100aの構成を概略的に示す説明図である。第3実施例のプリンター100aは、画像処理部200がAAM設定部240を含む点が図1に示した第1実施例のプリンター100と異なっている。第3実施例のプリンター100aのその他の構成は、第1実施例のプリンター100と同じである。
AAM設定部240は、AAM設定処理を実行するためのコンピュータープログラムである。AAM設定処理は、上述した第1実施例のAAM設定処理と同様に、AAMと呼ばれる画像のモデル化に用いられる形状モデルおよびテクスチャーモデルを設定する処理である。AAM設定部240は、形状モデル設定部241と、テクスチャーモデル設定部242と、を含んでおり、テクスチャーモデル設定部242は、影特徴モデル設定部244と、補正モデル設定部245と、を含んでいる。これら各部の機能については、後述する。
図21は、第3実施例におけるAAM設定処理の流れを示すフローチャートである。第3実施例におけるAAM設定処理のステップS110からS130までの処理の内容は、図2に示した第1実施例と同じである。すなわち、サンプル顔画像SIが設定され、各サンプル顔画像SIにおける特徴点CPが設定され、特徴点CPの座標の主成分分析により形状モデルが設定される。
ステップS132(図21)では、AAM設定部240(図20)が、影特徴モデル設定処理を実行する。影特徴モデル設定処理は、顔テクスチャーにおける影成分を表す影特徴モデルを設定する処理であり、より具体的には、影成分の変化(光源位置の変化とも捉えられる)にほぼ相関するベクトル(以下、「影ベクトル」とも呼ぶ)を設定する処理である。なお、影成分は、本発明における特定の特徴に相当し、影特徴モデルは、本発明における特定特徴モデルに相当する。
図22は、影特徴モデル設定処理の流れを示すフローチャートである。ステップS610では、ステップS110(図21)で設定された複数のサンプル顔画像SI(以下「基本サンプル顔画像群」とも呼ぶ)の中から、影特徴モデル設定用の複数のサンプル顔画像SI(以下「影用サンプル顔画像群」とも呼ぶ)が選択される。影用サンプル顔画像群は、基本サンプル顔画像群と比較して、影成分に関する分散が大きくなるように選択される。本実施例では、影用サンプル顔画像群として、光源の位置が互いに異なる同一人物の複数のサンプル顔画像SIが選択される。また、影用サンプル顔画像群は、各サンプル顔画像SIにおける影成分の平均値がほぼゼロ、すなわち顔にほとんど影がかかっていない状態に対応する値となるように、設定される。なお、影用サンプル顔画像群は、基本サンプル顔画像群の中から選択される必要はなく、基本サンプル顔画像群とは別に準備されるとしてもよい。
ステップS620(図22)では、テクスチャーモデル設定部242(図20)が、影用サンプル顔画像群を平均形状s0(図6参照)に変換する。すなわち、影用サンプル顔画像群を構成するサンプル顔画像SIのそれぞれに対して、サンプル顔画像SIにおける特徴点CPの配置が平均形状s0における特徴点CPの配置と等しくなるように、画像変換(ワープW)が行われる。上述したように、ワープWは、複数の三角形領域TAのそれぞれについてのアフィン変換の集合によって実現される。
ステップS630(図22)では、影特徴モデル設定部244(図20)が、影用サンプル顔画像群を構成するサンプル顔画像SIのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析を行い、影ベクトルを設定する。具体的には、影特徴モデル設定部244は、平均顔画像A0(x)と、テクスチャー特徴量(テクスチャーベクトルAi(x)とテクスチャーパラメーターλiとの積)と、の合計として表される影用のテクスチャーモデルを設定する(上記式(2)参照)。上述したように、本実施例では、影用サンプル顔画像群における影成分に関する分散が大きくなるように、光源の位置が互いに異なる同一人物の複数のサンプル顔画像SIが影用サンプル顔画像群として選択される。また、影用サンプル顔画像群は、各サンプル顔画像SIにおける影成分の平均値がほぼゼロとなるように設定される。そのため、設定された影用のテクスチャーモデルにおける平均顔画像A0(x)は、影成分をほとんど含まない顔画像となる。また、影用のテクスチャーモデルにおける分散の大きい主成分に対応するテクスチャーベクトルAi(x)は、影成分の変化にほぼ相関するベクトル、すなわち影ベクトルとなる。本実施例では、影用のテクスチャーモデルにおける最も分散の大きい第1主成分に対応する第1テクスチャーベクトルA1(x)を、影ベクトルとして設定する。
AAM設定処理(図21)のステップS134では、テクスチャーモデル設定部242(図20)が、基本サンプル顔画像群に含まれる各サンプル顔画像SIの影特徴を補正して、補正サンプル顔画像群を生成する。具体的には、まず、基本サンプル顔画像群に含まれるサンプル顔画像SIのそれぞれに対して、平均形状s0への画像変換が行われる。この画像変換は、複数の三角形領域TAのそれぞれについてのアフィン変換の集合により実現される。次に、平均形状s0に変換されたサンプル顔画像SIの顔テクスチャーが上述した影用のテクスチャーモデルによりモデル化され、顔テクスチャーにおける影ベクトル(第1テクスチャーベクトルA1(x))のテクスチャーパラメーター値をゼロにすることにより、サンプル顔画像SIから影成分が除去される。影成分除去後のサンプル顔画像SIにより構成される画像群が、補正サンプル顔画像群とされる。
ステップS142(図21)では、補正モデル設定部245(図20)が、補正サンプル顔画像群を用いて補正テクスチャーモデルを設定する。具体的には、補正モデル設定部245は、補正サンプル顔画像群に含まれるサンプル顔画像SIの輝度値により構成される輝度値ベクトルに対する主成分分析を行い、補正テクスチャーモデルを設定する。補正テクスチャーモデルは、平均顔画像A0(x)と、テクスチャー特徴量(テクスチャーベクトルAi(x)とテクスチャーパラメーターλiとの積)と、の合計として表される(上記式(2)参照)。ここで、本実施例では、影成分が除去されたサンプル顔画像SIにより構成される補正サンプル顔画像群の主成分分析に基づき補正テクスチャーモデルが設定されるため、補正テクスチャーモデルは影成分の変化にほぼ相関するテクスチャーベクトルを含まないものとして設定される。
ステップS150(図21)では、テクスチャーモデル設定部242(図20)が、設定された影特徴モデルと補正テクスチャーモデルとを合成して、テクスチャーモデルの設定を行う。具体的には、ステップS142で設定された補正テクスチャーモデルに、ステップS132で設定された影特徴モデルにおける影成分に対応するテクスチャー特徴量(テクスチャーベクトルA1(x)とテクスチャーパラメーターλ1との積)が付加されて、テクスチャーモデルが設定される。設定されたテクスチャーモデルにおける平均顔画像A0(x)およびテクスチャーベクトルAi(x)は、AAM情報AMI(図20)として内部メモリー120に格納される。
なお、第3実施例においても、第1実施例および第2実施例と同様に、顔特徴位置特定処理(図9)が実行されるとしてもよい。
以上説明したように、第3実施例におけるAAM設定処理(図21)により、顔画像における顔の形状を表す形状モデルと、顔のテクスチャーを表すテクスチャーモデルと、を含む顔モデルが設定される。ここで、第3実施例のAAM設定処理では、影用サンプル顔画像群の輝度値ベクトルに対する主成分分析により影特徴モデル(影ベクトル)が設定されると共に、影特徴モデルを用いて影特徴の補正(影成分の除去)が行われた補正サンプル顔画像群の輝度値ベクトルに対する主成分分析により補正テクスチャーモデルが設定され、影特徴モデルと補正テクスチャーモデルとを合成することによりテクスチャーモデルが設定される。そのため、第3実施例のAAM設定処理では、影成分のような外的要因と顔本来のテクスチャーとを分離してテクスチャーモデルを設定することができ、テクスチャーモデルを効率的に、かつ精度良く設定することができる。また、第3実施例のAAM設定処理では、光源の位置が互いに異なる同一人物の複数のサンプル顔画像SIが影用サンプル顔画像群として選択されるため、テクスチャーモデルを用いて顔画像をモデル化した場合における影ベクトルのパラメーターに基づき、顔画像におけるおおよその光源の位置の推定を実現することができる。なお、顔画像において推定された光源位置は、種々の画像処理に利用可能である。例えば、顔画像に基づき似顔絵を生成する画像処理において、推定された光源位置に基づき似顔絵に影を付加する補正処理を行うことができる。また、顔特徴位置特定処理(図9)が実行される場合には、精度良く設定された影特徴モデル(影ベクトル)を用いてテクスチャー補正(図17のステップS510およびS520)を行うことができるため、特徴部位信頼度の算出精度を向上させることができる。
D.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
D1.変形例1:
上記各実施例では、特徴部位信頼度算出処理(図17)において、テクスチャー補正として、平均顔画像A0(x)への影成分特徴量の付加が行われているが、テクスチャー補正の態様は、対象画像OI(平均形状s0に変換された対象画像OI)のテクスチャーと平均顔画像A0(x)のテクスチャーとが互いに近づくような補正態様であれば他の態様であってもよい。例えば、テクスチャー補正として、対象画像OIからの影成分特徴量の減算が行われるとしてもよい。また、テクスチャー補正として、対象画像OIと平均顔画像A0との影成分以外のテクスチャー特徴(例えば化粧成分)についての特徴量を互いに近づけるような補正が行われるとしてもよい。また、テクスチャー補正は、複数のテクスチャー特徴について実行されるとしてもよく、例えば、テクスチャー補正として、対象画像OIの影成分および化粧成分についての特徴量を平均顔画像A0(x)に付加する補正が行われるとしてもよいし、対象画像OIのすべてのテクスチャー特徴についての特徴量を平均顔画像A0(x)に付加する補正が行われるとしてもよい。
上記各実施例では、特徴部位信頼度算出処理(図17)において、テクスチャー補正として、平均顔画像A0(x)への影成分特徴量の付加が行われているが、テクスチャー補正の態様は、対象画像OI(平均形状s0に変換された対象画像OI)のテクスチャーと平均顔画像A0(x)のテクスチャーとが互いに近づくような補正態様であれば他の態様であってもよい。例えば、テクスチャー補正として、対象画像OIからの影成分特徴量の減算が行われるとしてもよい。また、テクスチャー補正として、対象画像OIと平均顔画像A0との影成分以外のテクスチャー特徴(例えば化粧成分)についての特徴量を互いに近づけるような補正が行われるとしてもよい。また、テクスチャー補正は、複数のテクスチャー特徴について実行されるとしてもよく、例えば、テクスチャー補正として、対象画像OIの影成分および化粧成分についての特徴量を平均顔画像A0(x)に付加する補正が行われるとしてもよいし、対象画像OIのすべてのテクスチャー特徴についての特徴量を平均顔画像A0(x)に付加する補正が行われるとしてもよい。
また、上記各実施例では、特徴部位信頼度の算出(図17のステップS530)に用いられる差分画像Ieは、平均形状s0に変換された対象画像OI(平均形状画像I(W(x;p)))と平均顔画像A0(x)との差分であるとしているが、差分画像Ieは、対象画像OIと対象画像OIの顔形状に変換された平均顔画像A0(x)との差分であるとしてもよい。
また、上記各実施例における差分画像Ieに基づく特徴部位信頼度の算出方法は、あくまで一例であり、他の算出方法を採用可能である。例えば、上記各実施例では、差分画像Ieのノルムの値がR1とR2との間である場合には、差分画像Ieのノルムの値と特徴部位信頼度の値は線形の対応関係となっているが(図18参照)、両者の対応関係が非線形であるとしてもよい。
D2.変形例2:
上記第3実施例では、影特徴モデル設定処理(図22)において、影用のテクスチャーモデルにおける第1主成分に対応する第1テクスチャーベクトルA1(x)が影ベクトルとして設定されるとしているが、複数のテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。例えば、影用サンプル顔画像群の設定の仕方によっては、影用のテクスチャーモデルにおける第1主成分に対応する第1テクスチャーベクトルA1(x)が光源の水平方向の位置の変化にほぼ相関するベクトルとなり、第2主成分に対応する第2テクスチャーベクトルA2(x)が光源の垂直方向の位置の変化にほぼ相関するベクトルとなる。このような場合に、第1テクスチャーベクトルA1(x)と第2テクスチャーベクトルA2(x)との2つのテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。
上記第3実施例では、影特徴モデル設定処理(図22)において、影用のテクスチャーモデルにおける第1主成分に対応する第1テクスチャーベクトルA1(x)が影ベクトルとして設定されるとしているが、複数のテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。例えば、影用サンプル顔画像群の設定の仕方によっては、影用のテクスチャーモデルにおける第1主成分に対応する第1テクスチャーベクトルA1(x)が光源の水平方向の位置の変化にほぼ相関するベクトルとなり、第2主成分に対応する第2テクスチャーベクトルA2(x)が光源の垂直方向の位置の変化にほぼ相関するベクトルとなる。このような場合に、第1テクスチャーベクトルA1(x)と第2テクスチャーベクトルA2(x)との2つのテクスチャーベクトルが影ベクトルとして設定されるとしてもよい。
また、上記第3実施例では、AAM設定処理(図21)において、まず独立して影特徴モデル(影ベクトル)の設定(ステップS132)が行われているが、影特徴モデルの設定の代わりに他の特定のテクスチャーの特徴を表すモデルが設定されるとしてもよい。例えば、特定のテクスチャーとして化粧成分が採用されるとしてもよい。この場合にも、例えば化粧された顔の画像と化粧無しの顔の画像とを含む化粧特徴量の分散が大きい化粧用サンプル顔画像群を設定し、化粧用サンプル顔画像群を対象とした主成分分析により化粧特徴モデルが設定され、化粧特徴についての特徴量が補正された補正サンプル顔画像群を対象とした主成分分析により補正テクスチャーモデルが設定され、化粧特徴モデルと補正テクスチャーモデルとが合成されてテクスチャーモデルが設定される。
また、上記第3実施例のAAM設定処理(図21)において、影特徴モデルの設定に加えて、1つ以上の他の特定のテクスチャーの特徴を表すモデル(例えば化粧特徴モデル)の設定が行われるとしてもよい。例えば、影特徴モデルの設定に加えて化粧特徴モデルの設定が行われる場合には、影特徴および化粧特徴についての特徴量が補正された補正サンプル顔画像群を対象とした主成分分析により補正テクスチャーモデルが設定され、影特徴モデルと化粧特徴モデルと補正テクスチャーモデルとが合成されてテクスチャーモデルが設定される。
なお、上記第3実施例では、顔特徴位置特定部210や顔領域検出部230を含むプリンター100a(図20)によりAAM設定処理が行われるとしているが、第3実施例のAAM設定処理を実行する装置はAAM設定部240を含んでいればよく、必ずしも顔特徴位置特定部210や顔領域検出部230を含んでいる必要はない。例えば、第3実施例のプリンター100aによりAAM設定処理が実行され、設定されたAAM情報AMIが、顔特徴位置特定部210や顔領域検出部230を有する他の装置による顔特徴位置特定処理に用いられるとしてもよい。
D3.変形例3:
上記各実施例では、AAMを利用して顔特徴位置特定処理(図9)が実行されるとしているが、顔特徴位置特定処理は必ずしもAAMを利用して実行される必要はなく、他の方法により実行されるとしてもよい。
上記各実施例では、AAMを利用して顔特徴位置特定処理(図9)が実行されるとしているが、顔特徴位置特定処理は必ずしもAAMを利用して実行される必要はなく、他の方法により実行されるとしてもよい。
また、特徴点CP配置更新処理(図15)において正規化処理(ステップS412)が実行されるとしているが、正規化処理は必ずしも実行される必要はない。
D4.変形例4:
上記各実施例では、特徴点CP初期配置決定処理(図9のステップS230)において、平均顔画像群のそれぞれと対象画像OIとの差分画像Ieや、平均顔画像A0(x)と複数の平均形状画像I(W(x;p))のそれぞれとの差分画像Ieが算出され、差分画像Ieに基づいて平特徴点CPの配置全体の変動が大きい(分散が大きい)グローバルパラメーターの概略値が決定されるものとしているが、対象画像OIにおける特徴点CPの初期配置の決定の際には、必ずしも差分画像Ieの算出やグローバルパラメーターの概略値の決定を行う必要はなく、予め定められた特徴点CPの配置(例えば上述の基準対応関係における配置)を初期配置として決定するものとしてもよい。
上記各実施例では、特徴点CP初期配置決定処理(図9のステップS230)において、平均顔画像群のそれぞれと対象画像OIとの差分画像Ieや、平均顔画像A0(x)と複数の平均形状画像I(W(x;p))のそれぞれとの差分画像Ieが算出され、差分画像Ieに基づいて平特徴点CPの配置全体の変動が大きい(分散が大きい)グローバルパラメーターの概略値が決定されるものとしているが、対象画像OIにおける特徴点CPの初期配置の決定の際には、必ずしも差分画像Ieの算出やグローバルパラメーターの概略値の決定を行う必要はなく、予め定められた特徴点CPの配置(例えば上述の基準対応関係における配置)を初期配置として決定するものとしてもよい。
D5.変形例5:
上記各実施例では、特徴点CP配置更新処理(図15)の収束判定(ステップS430)における判定指標値として、平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieのノルムが用いられているが、判定指標値として、平均形状画像I(W(x;p))と平均顔画像A0(x)との相違の程度を表す他の指標値が用いられるとしてもよい。
上記各実施例では、特徴点CP配置更新処理(図15)の収束判定(ステップS430)における判定指標値として、平均形状画像I(W(x;p))と平均顔画像A0(x)との差分画像Ieのノルムが用いられているが、判定指標値として、平均形状画像I(W(x;p))と平均顔画像A0(x)との相違の程度を表す他の指標値が用いられるとしてもよい。
D6.変形例6:
上記各実施例の特徴点CP配置更新処理(図15)では、対象画像OIに基づき平均形状画像I(W(x;p))を算出することにより対象画像OIの特徴点CPの配置を平均顔画像A0(x)の特徴点CPの配置に整合させているが、平均顔画像A0(x)に対して画像変換を行うことにより両者の特徴点CPの配置を整合させるものとしてもよい。
上記各実施例の特徴点CP配置更新処理(図15)では、対象画像OIに基づき平均形状画像I(W(x;p))を算出することにより対象画像OIの特徴点CPの配置を平均顔画像A0(x)の特徴点CPの配置に整合させているが、平均顔画像A0(x)に対して画像変換を行うことにより両者の特徴点CPの配置を整合させるものとしてもよい。
D7.変形例7:
上記各実施例では、顔領域FAの検出が行われ、顔領域FAに基づき想定基準領域ABAが設定されるとしているが、顔領域FAの検出は必ずしも実行される必要はない。例えば、ユーザーによる指定に従い直接、想定基準領域ABAが設定されるとしてもよい。
上記各実施例では、顔領域FAの検出が行われ、顔領域FAに基づき想定基準領域ABAが設定されるとしているが、顔領域FAの検出は必ずしも実行される必要はない。例えば、ユーザーによる指定に従い直接、想定基準領域ABAが設定されるとしてもよい。
D8.変形例8:
上記各実施例におけるサンプル顔画像SI(図3)はあくまで一例であり、サンプル顔画像SIとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点CPの位置で示される顔の所定の特徴部位(図4参照)はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
上記各実施例におけるサンプル顔画像SI(図3)はあくまで一例であり、サンプル顔画像SIとして採用する画像の数、種類は任意に設定可能である。また、上記各実施例において、特徴点CPの位置で示される顔の所定の特徴部位(図4参照)はあくまで一例であり、実施例において設定されている特徴部位の一部を省略したり、特徴部位として他の部位を採用したりしてもよい。
また、上記各実施例では、サンプル顔画像SIwの画素群xのそれぞれにおける輝度値により構成される輝度値ベクトルに対する主成分分析によってテクスチャーモデルが設定されているが、顔画像のテクスチャー(見え)を表す輝度値以外の指標値(例えばRGB値)に対する主成分分析によってテクスチャーモデルが設定されるものとしてもよい。
また、上記各実施例において、平均顔画像A0(x)のサイズは種々のサイズであってよい。また、平均顔画像A0(x)は、マスク領域MA(図8)を含む必要はなく、平均形状領域BSAのみによって構成されるとしてもよい。また、平均顔画像A0(x)の代わりに、サンプル顔画像SIの統計的分析に基づき設定される他の基準顔画像が用いられるとしてもよい。
また、上記各実施例では、AAMを用いた形状モデルおよびテクスチャーモデルの設定が行われているが、他のモデル化手法(例えばMorphable Modelと呼ばれる手法やActive Blobと呼ばれる手法)を用いて形状モデルおよびテクスチャーモデルの設定が行われるとしてもよい。
また、上記各実施例では、メモリーカードMCに格納された画像が対象画像OIに設定されているが、対象画像OIは例えばネットワークを介して取得された画像であってもよい。
また、上記各実施例における画像処理装置としてのプリンター100の構成はあくまで一例であり、プリンター100の構成は種々変更可能である。また、上記各実施例では、画像処理装置としてのプリンター100による画像処理(AAM設定処理、顔特徴位置特定処理)を説明したが、処理の一部または全部がパーソナルコンピューターやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンター100はインクジェットプリンターに限らず、他の方式のプリンター、例えばレーザプリンターや昇華型プリンターであるとしてもよい。
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
100…プリンター
110…CPU
120…内部メモリー
140…操作部
150…表示部
160…プリンターエンジン
170…カードインターフェース
172…カードスロット
200…画像処理部
210…顔特徴位置特定部
211…初期配置部
212…画像変換部
213…判定部
214…更新部
215…正規化部
216…テクスチャー補正部
217…信頼度算出部
230…顔領域検出部
240…AAM設定部
241…形状モデル設定部
242…テクスチャーモデル設定部
244…影特徴モデル設定部
245…補正モデル設定部
310…表示処理部
320…印刷処理部
110…CPU
120…内部メモリー
140…操作部
150…表示部
160…プリンターエンジン
170…カードインターフェース
172…カードスロット
200…画像処理部
210…顔特徴位置特定部
211…初期配置部
212…画像変換部
213…判定部
214…更新部
215…正規化部
216…テクスチャー補正部
217…信頼度算出部
230…顔領域検出部
240…AAM設定部
241…形状モデル設定部
242…テクスチャーモデル設定部
244…影特徴モデル設定部
245…補正モデル設定部
310…表示処理部
320…印刷処理部
Claims (12)
- 対象顔画像における特徴部位の位置を特定する画像処理装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、を備える、画像処理装置。 - 請求項1に記載の画像処理装置であって、さらに、
前記対象顔画像において特定された前記特徴部位の配置が前記基準顔画像における前記特徴部位の配置に等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行う画像変換部を備え、
前記特徴部位信頼度算出部は、前記画像変換後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。 - 請求項2に記載の画像処理装置であって、さらに、
前記画像変換後の前記基準顔画像と前記対象顔画像との少なくとも一方に対して、前記基準顔画像と前記対象顔画像との画素値分布を表す指標値を互いに近づける正規化処理を行う正規化部を備え、
前記特徴部位信頼度算出部は、前記正規化処理後の前記基準顔画像と前記対象顔画像との差分値に基づき、前記特徴部位信頼度を算出する、画像処理装置。 - 請求項3に記載の画像処理装置であって、
前記指標値は、画素値の平均値と分散値との少なくとも一方を含む、画像処理装置。 - 請求項1ないし請求項4のいずれかに記載の画像処理装置であって、
前記テクスチャー補正部は、前記テクスチャーモデルを用いて前記対象顔画像における所定の前記テクスチャー特徴量を算出し、算出された前記テクスチャー特徴量の前記基準顔画像への付加と算出された前記テクスチャー特徴量の前記対象顔画像からの減算との一方を行うことにより、前記テクスチャー補正を行う、画像処理装置。 - 請求項5に記載の画像処理装置であって、
前記所定の前記テクスチャー特徴量は、影成分の変化に実質的に対応する前記テクスチャー特徴量である、画像処理装置。 - 請求項1ないし請求項6のいずれかに記載の画像処理装置であって、
前記特徴位置特定部は、前記基準顔画像における前記特徴点の配置に基づき前記対象顔画像における前記特徴点の初期配置を決定し、前記基準顔画像と前記対象顔画像とにおける前記特徴点の配置が互いに等しくなるように前記基準顔画像と前記対象顔画像との少なくとも一方に対して画像変換を行い、前記基準顔画像と前記対象顔画像との差分値に基づき前記対象顔画像における前記特徴点の配置を更新することにより、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。 - 請求項1ないし請求項7のいずれかに記載の画像処理装置であって、
前記基準形状は、前記複数のサンプル顔画像における前記特徴部位の平均位置を表す平均形状であり、
前記基準テクスチャーは、前記平均形状に形状変換された前記複数のサンプル顔画像の画素値の平均を表す平均テクスチャーである、画像処理装置。 - 請求項1ないし請求項8のいずれかに記載の画像処理装置であって、さらに、
前記対象顔画像における顔の画像の少なくとも一部を含む画像領域を顔領域として検出する顔領域検出部を備え、
前記特徴位置特定部は、前記対象顔画像における前記顔領域の位置と大きさと傾きとの少なくとも1つを参照して、前記対象顔画像における前記特徴部位の位置を特定する、画像処理装置。 - 対象顔画像における特徴部位の位置を特定する画像処理方法であって、
(a)複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する工程と、
(b)前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行う工程と、
(c)前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する工程と、を備える、画像処理方法。 - 対象顔画像における特徴部位の位置を特定する画像処理のためのコンピュータープログラムであって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の前記特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、前記対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定機能と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正機能と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出機能と、を、コンピューターに実現させる、コンピュータープログラム。 - 印刷装置であって、
複数のサンプル顔画像を対象とした統計的分析に基づき設定される顔モデルであって、複数の特徴部位の配置により規定される顔形状を基準形状と少なくとも1つの形状特徴量とにより表す形状モデルと、前記基準形状を有する顔画像の画素値により規定される顔テクスチャーを基準テクスチャーと少なくとも1つのテクスチャー特徴量とにより表すテクスチャーモデルと、を含む顔モデルを用いて、対象顔画像における複数の前記特徴部位の配置を特定する特徴位置特定部と、
前記基準形状および前記基準テクスチャーにより規定される基準顔画像と前記対象顔画像との顔テクスチャーを互いに近づけるように前記基準顔画像と前記対象顔画像との少なくとも一方に対してテクスチャー補正を行うテクスチャー補正部と、
前記テクスチャー補正後の前記基準顔画像と前記対象顔画像とに基づき、前記対象顔画像において特定された前記特徴部位の配置の確からしさを表す特徴部位信頼度を算出する特徴部位信頼度算出部と、
前記対象顔画像を印刷する印刷部と、を備える、印刷装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092711A JP2010244318A (ja) | 2009-04-07 | 2009-04-07 | 顔画像における特徴部位の位置を特定する画像処理 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009092711A JP2010244318A (ja) | 2009-04-07 | 2009-04-07 | 顔画像における特徴部位の位置を特定する画像処理 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010244318A true JP2010244318A (ja) | 2010-10-28 |
Family
ID=43097269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009092711A Pending JP2010244318A (ja) | 2009-04-07 | 2009-04-07 | 顔画像における特徴部位の位置を特定する画像処理 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010244318A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9443325B2 (en) | 2012-05-22 | 2016-09-13 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
-
2009
- 2009-04-07 JP JP2009092711A patent/JP2010244318A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9443325B2 (en) | 2012-05-22 | 2016-09-13 | Sony Corporation | Image processing apparatus, image processing method, and computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010186288A (ja) | 顔画像の所定のテクスチャー特徴量を変更する画像処理 | |
JP2010182150A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010186216A (ja) | 顔画像における特徴部位の位置の特定 | |
JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
JP2010191592A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
EP2565847B1 (en) | Image transforming device, electronic device, image transforming method, image transforming program, and recording medium whereupon the program is recorded | |
JP2010250420A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2011060038A (ja) | 画像処理装置 | |
US10467793B2 (en) | Computer implemented method and device | |
JP2011053942A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2007087345A (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
JP2010244321A (ja) | 顔画像を表す顔モデルを設定する画像処理 | |
JP2010250419A (ja) | 目の様態を検出する画像処理装置 | |
JP2010282339A (ja) | 目における瞳の位置を補正する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 | |
JP2010170184A (ja) | 顔画像における特徴部位の位置の特定 | |
JP2010176314A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010271955A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 | |
US8031915B2 (en) | Image processing device and image processing method | |
JP4957607B2 (ja) | 画像における顔領域の検出 | |
JP2010245721A (ja) | 顔画像に対する画像処理 | |
JP2010244251A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP5639499B2 (ja) | 顔画像処理装置 | |
JP2010244318A (ja) | 顔画像における特徴部位の位置を特定する画像処理 | |
JP2011048469A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2010282340A (ja) | 画像に含まれる目の状態を判定する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置 |