JPWO2016009569A1 - 属性要因分析方法、装置、およびプログラム - Google Patents

属性要因分析方法、装置、およびプログラム Download PDF

Info

Publication number
JPWO2016009569A1
JPWO2016009569A1 JP2016534083A JP2016534083A JPWO2016009569A1 JP WO2016009569 A1 JPWO2016009569 A1 JP WO2016009569A1 JP 2016534083 A JP2016534083 A JP 2016534083A JP 2016534083 A JP2016534083 A JP 2016534083A JP WO2016009569 A1 JPWO2016009569 A1 JP WO2016009569A1
Authority
JP
Japan
Prior art keywords
attribute
image data
factor analysis
reference image
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016534083A
Other languages
English (en)
Other versions
JP6270182B2 (ja
Inventor
康行 伊原
康行 伊原
将 杉山
将 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2016009569A1 publication Critical patent/JPWO2016009569A1/ja
Application granted granted Critical
Publication of JP6270182B2 publication Critical patent/JP6270182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21345Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、各々が参照画像データとこの参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析する方法である。属性要因分析方法は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、参照サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、属性要因分析結果を可視化して出力する可視化工程と、を含む。

Description

本発明は、人物等の対象の属性を推定する方法に関し、特に、属性の要因を分析する方法、装置、およびプログラムに関する。
近年、人物の顔画像からその人物の属性(性別、年齢、表情など)を推定する研究が著しく発展している。中でも性別・年齢推定は、マーケティング戦略、セキュリティ、アミューズメントなどの用途に応用され、製品化されている。
例えば、機械学習の手法の1つとして、「教師付き学習」が知られている(例えば、特許文献1参照)。教師付き学習では、各々が入力データ(観測データ)と出力(観測データの意味、属性・結果)との一組から成る事例データ集合を「教師からの助言」とみなし、事例データ集合を元に機械(計算機)が学習を行う。ここでの「学習」とは、出力が未知の入力データに対する出力を予測・推定する関数モデルを作成することをいう。
次に、顔画像認識を例に挙げて具体的に説明する。本顔画像認識では、顔画像から性別(人物属性の1つ)を推定する場合について説明する。
学習時では、女性、男性の顔画像から成る事例データの集合から、計算機が関数モデルを構築する。評価時では、性別が未知の顔画像(例えば、女性の顔画像であるとする)を入力すると、計算機は、入力データと上記関数モデルから、性別として「女性」を出力する。
又、特許文献2は、人間が知覚する結果に近い認識結果を得られる「年齢推定装置及び方法並びにプログラム」を開示している。特許文献2に開示された年齢推定装置では、回帰分析(regression)で年齢推定のモデルを作る際に、若年層の学習重みを強くすることで、若年層の推定精度を改善している。具体的には、特許文献2では、特徴ベクトルの抽出元であるテストデータの真の年齢を予測する教師付き回帰問題において、カーネル正則化重み付き最小二乗法(KRWLS:Kernel Regularized Weighted Least Squares)を用いて、年齢推定関数を正定値カーネルの線形結合でモデル化している。
また、最小二乗確率的識別器(LSPC:Least Square Probabilistic Classifier)と呼ばれる学習効率の良い識別器も知られている(例えば、非特許文献1、非特許文献2参照)。LSPCは、二乗損失のもとでクラスの事後確率モデルを学習する識別手法であり、解が解析的に計算できることが最大の特徴である。また、LSPCは、事後確率を密度比の形でクラス毎に直接推定する為、各クラスの学習データ数のアンバランスに強いという特徴も併せ持つ。LSPCでは、事後確率を二乗損失を用いて学習を行う。これにより、LSPCは、従来手法と同程度のパターン認識精度を維持しながら、学習時間を数百倍短縮することが可能となる。また、LSPCでは、特定のクラスのデータ数の偏りの影響を受けにくい。
さらに、ランキング学習も知られている。ここで、「ランキング学習」とは、関連度の高さや順列に応じて、データに高いスコアを付与出来る様、教師付き学習の枠組みで最適化する手法である。例えば、ペアワイズ・アプローチに基づくランキング学習の代表例な例として、ranking SVM(ranking Support Vector Machine)が知られている(例えば、非特許文献3参照)。ranking SVMでは、学習データのペアに対する損失を考えることで、SVMによる2クラス識別問題に帰着させ、スコア関数の最適化を行う。
尚、対象の特徴量を表す説明変数と属性・結果を表す目的変数との間の相関の大きさを算出する方法として、CCA(正準相関分析)の部分空間(1次元)での相関値を算出する方法や、相互情報量(Mutual Information;MI)を算出する方法である最尤推定相互情報量(Maximum Likelihood Mutual Information;MLMI)(例えば、非特許文献4参照)、二乗損失相互情報量(Squared−loss Mutual Information;SMI)を算出する方法である最小二乗相互情報量(Least−Squares Mutual Information;LSMI)(例えば、非特許文献5参照)などが知られている。
また、スパース回帰モデルを最適化する手法も知られている(例えば、非特許文献6、非特許文献7参照)。
特開平11−175724号公報 特許第4742192号公報
Sugiyama,M,"Superfast−trainable multi−class probablistic classifier by least−square posterior fitting,"IEICE Transactions on Information and Systems,vol.E93−D,no.10,pp.2690−2701,2010 伊原 康行、杉山 将、植木 一也、藤田 光洋、"複数識別器の重み付き統合による多人種の年代識別"、動的画像処理実利用化ワークショップ2011(DIA2011)予稿集、pp.317−322、徳島、2011.3.3−4 R.Herbrich,T.Graepel and K.Obermayer:"Large marginrank boundaries for ordinal regression",Advances in Large Margin Classifierds,Cambrige,MA,MIT Press,pp.115−132(2000) Suzuki,T.,Sugiyama,M.,Sese,J.,& Kanamori,T."Approximating Mutual Information by Maximum Likelihood Density Ratio Estimation"In Y.Saeys,H.Liu,I.Lnza,L.Wehenkel,and Y.Van de Peer(Eds.),Proceedings of the Workshop on New Challenges for Feature Selection in Data Mining and Knowledge Discovery 2008(FSDM2008),JMLR Workshop and Conference Proceeding,vol.4,pp.5−20,2008 Suzuki,T.,Sugiyama,M.,Kanamori,T.,& Sese,J."Mutual Information Estimation Reveals Global Associations between Stimuli and Biological Processes"BMC Bioinformatics,vol.10,no.1,pp.S52,2009 Tomioka,R.,Suzuki,T.and Sugiyama,M."Augmented Lagrangian Methods for Learning,Selecting, and Combining Features,Optimization for Machine Learning"MIT Press,Cambridge,MA,USA,chapter 9,pp.255−283(2011) 富岡 亮太、鈴木 大慈、杉山 将「スパース正則化およびマルチカーネル学習のための最適化アルゴリズムと画像認識への応用」『画像ラボ』2010年4月号pp.5−11日本工業出版 R.Tibshirani,"Regression shrinkage and subset selection with the lasso,"Journal of the Royal Statistical Society,Series B,vol.58,no.1,pp.267−288,1996. Zou,H.and Hastie,T.,"Regularization and variable selection via the elastic net",Journal of the Royal Statistical Society B,67,2005,pp.301−320.
上述した特許文献1では、入力データ(顔画像)から出力(例えば、性別)を推定することしかできない。また、上述した特許文献2でも、入力データ(顔画像)から年齢を推定しているだけである。さらに、上述した非特許文献1〜3のいずれも、未知データの属性を推定しているだけである。
換言すれば、上述した従来の教師付き学習は、顔全体からその属性(多人数が感じる印象度)を推定(出力)する技術を開示しているだけである。すなわち、その属性の要因(データが属性を持つ主な原因)については分からない。
[発明の目的]
本発明の目的は、対象の属性の要因を分析することができる、属性要因分析方法、装置、およびプログラムを提供することにある。
本発明の他の目的は、対象の属性を推定するだけでなく、その属性の要因を分析することもできる、属性推定・属性要因分析方法、装置、およびプログラムを提供することにある。
本発明の第1の形態は、各々が参照画像データとこの参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性要因分析装置を用いて、属性の要因を分析する方法であって、訓練サンプル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、訓練サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、属性要因分析結果を可視化して出力する可視化工程と、を含むことを特徴とする。
本発明の第2の形態は、属性推定・属性要因分析装置を用いて、入力画像データの属性を推定し、かつその属性の要因を分析する方法であって、各々が参照画像データと参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、訓練サンブル集合から部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、回帰モデルを用いて、入力画像データの属性を推定すると共に、入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と推定した属性を表す目的変数との間の依存度を算出して、入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出工程と、属性推定結果と前記属性要因分析結果とを可視化して出力する可視化工程と、を含むことを特徴とする。
本発明によれば、対象の属性の要因を分析することができる。
図1は本発明の第1の実施形態に係る属性要因分析装置の構成を示すブロック図である。
図2は顔画像に関する訓練サンプルの一例を示す図である。
図3は図1の可視化処理部で可視化された属性要因分析結果の例を、他の手法による属性要因分析結果と共に示す図である。
図4は本発明の第2の実施形態に係る属性要因分析装置の構成を示すブロック図である。
図5はサンプル・サイズの調整を説明するための図である。
図6は本発明の第3の実施形態に係る属性要因分析装置の構成を示すブロック図である。
図7は図1に示した属性要因分析装置における分割位置を説明するための図である。
図8は図6に示した属性要因分析装置における分割位置の調整を説明するための図である。
図9は本発明の第4の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
図10は図9の可視化処理部で可視化された、属性推定結果および属性要因分析結果の例を、正解値と共に示す図である。
図11は本発明の第5の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
図12は本発明の第6の実施形態に係る属性推定・属性要因分析装置の構成を示すブロック図である。
[第1の実施の形態]
図1は、本発明の第1の実施形態に係る属性要因分析装置100の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性要因分析装置100は、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置100は、データを入力する入力装置10と、データ処理装置20と、データ処理装置20での処理結果を出力する出力装置30と、種々のデータベースとして働く補助記憶装置40とを備えている。
図示はしないが、データ処理装置20は、プログラムを記憶するリードオンリメモリ(ROM)と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ(RAM)と、ROMに記憶されたプログラムに従って、RAMに記憶されているデータを処理する中央処理装置(CPU)とから構成される。
補助記憶装置40は、訓練サンプル集合を蓄積する。訓練サンプル集合は、各々が参照画像データと、この参照画像データに付随する属性データとの一組から成る集合である。本例では、サンプル数nは、例えば、2100個である。サンプル数は、これに限定されないのは勿論である。
また、図示の例では、参照画像データは顔画像データから成る。また、属性データは、人物の顔の見た目の印象度を表すデータから成る。
なお、参照画像データは、必ずしも顔画像データで無くても良いが、全ての画像データに対して正規化処理が施されている。ここで、正規化処理とは、特定の部位で位置合わせをすることである。例えば、参照画像データが顔画像データの場合、正規化処理は両目を位置合わせすることである。
図示の属性要因分析装置100は、顔部位別データの特徴と見た目の印象度との間に依存度(相関)があるかを分析する装置である。
入力装置10は、補助記憶装置40に格納されている訓練サンプル集合をデータ処理装置20に入力する。
データ処理装置20は、部位分割処理部21と、スパース回帰分析処理部22と、後述する回帰モデルを格納するメモリ23と、依存度算出部24と、可視化処理部25とから成る。
部位分割処理部21は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する。
スパース回帰分析処理部22は、訓練サンブル集合から、部位毎に、スパース回帰分析をして、後述するような回帰モデルを構築する。構築された回帰モデルは、メモリ23に格納される。メモリ23は、例えば、ハードディスクから成ってよい。
依存度算出部24は、回帰モデルを用いて、訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数Xと属性データを表す目的変数Yとの間の依存度を算出して、属性要因分析結果を得る。
可視化処理部25は、属性要因分析結果を可視化して出力装置30に出力する。
次に、データ処理装置20の各処理部の動作について詳細に説明する。
図2は、顔画像に関する訓練サンプルの一例を示す図である。訓練サンプルは、顔画像データの特徴量を表す説明変数Xと、顔の属性「印象度」を表す目的変数Yとの一組から成る。前述したように、本例の場合、このような訓練サンプルが、2100個、補助記憶装置40に蓄積されている。
部位分割処理部21は、分析目的、顧客ニーズなどに応じて、説明変数Xの部位分割方法(メッシュ分割方法)を決定する。本例では、部位分割処理部21は、まず、2100個の顔画像サンプル全てに対して、両目の位置で顔画像データを正規化する。本例では、1画像データは、(64×64)ピクセルから成る。
次に、部位分割処理部21は、正規化した顔画像データを、(8×8)ピクセルのブロック画像データに分割する。したがって、本例の場合、部位分割処理部21は、図2に示されるように、64個のブロック画像データを得る。
各ブロック画像データは、例えば、図2に示されるように、顔部位R、顔部位Rで表される。従って、本例の場合、顔部位R〜Rの総数Kは、64に等しい。
顔画像全体の特徴ベクトルxは、次の式(1)のように、各顔部位の特徴ベクトルによって、分割表現される。
ここで、Tは転置を表し、顔画像全体の特徴ベクトルxは、n行K列のマトリックスから成る。
但し、部位分割手法には工夫を要する。それについては、後で詳述する。
スパース回帰分析処理部22は、訓練サンプル集合から、部位分割処理部21で決めた部位毎に、スパース回帰分析をして、次の式(2)で表される、回帰モデルを構築する。
し、x (j)は訓練サンプルの特徴量を表す。顔部位毎の特徴量で定義されるカーネル関数は、次の式(3)のように、ガウシアン・カーネルで表される。
ここで、σはガウス幅を表す。
次に、回帰モデルの最適化手法について説明する。回帰モデルは、LASSO(the Least Absolute Shrinkage and Selection Operator)手法(上記非特許文献8参照)、または、elastic net手法(上記非特許文献9参照)により、最適解を得ることができる。ここで、LASSO手法とは、L1正則化項を付与した、下記の式(4)で表される最適化問題を解く手法である。
ここで、右辺の第1項は、二乗誤差を表し、右辺の第2項は、過学習を抑制するための正則化項を表す。λは正則化パラメータである。また、elastic netとは、式(4)の右辺にL2正則化項を付与した、下記の式(5)で表される最適化問題を解く手法である。
LASSO解、elastic net解を得るための最適化手法の例として、DAL(dual augmented Lagrangian)などがある(上記非特許文献6、参照)。LASSO手法のメリットは、L1ノルムでの原点の微分不可能性のため、スパースな解(係数ベクトルγの大半がゼロ)が得られることである。その結果、推定処理が高速であり、属性と従属度の大きい顔領域が選ばれやすいという利点がある。しかしながら、LASSO手法には、共線性のある変数が選ばれにくいといった問題も指摘される。そこで、この問題点を補うために、共線性の高い変数同士も選ばれやすいelastic netを使うこともある。尚、σ(ガウス幅)及びλ、μ(正則化パラメータ)は、公差確認法により選択される。
尚、画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る。また、各部位とも、共通した特徴量を使用する。
また、本第1の実施形態では、画像データの特徴量として上記4種類を挙げているが、本発明はそれらに限定されず、他の特徴量を用いても良いのは勿論である。
依存度算出部24は、スパース回帰分析処理部22で構築された回帰モデルを用いて、訓練サンプル集合のそれぞれに対し、顔部位j(説明変数X)と属性(目的変数Y)との間の依存度スコアを算出する。依存度スコアは、下記の式(6)で定義される。
依存度算出部24は、依存度スコアを、属性要因分析結果として出力する。これにより、各データ間の属性要因の違いを知ることができる。
可視化処理部25は、依存度算出部24から出力された属性要因分析結果を可視化して、出力装置30に出力する。ここで、属性要因分析結果とは、属性の要因として抽出された領域を指す。
詳述すると、可視化処理部25は、依存度算出部24で算出した、各ブロック画像(部位)ごとの依存度スコアの数値の大小を、図3に示すように、マトリクス(Color−Matrix)で可視化する。
尚、図3では、本第1の実施形態(スパース回帰)の場合の可視化の例ばかりでなく、非スパース回帰の場合およびLSMI(Least−Squares Mutual Infomation)の場合の可視化の例をも図示している。本例では、非スパース回帰として、L2正則化カーネル回帰分析を使用している。LSMIは、上記非特許文献5に記載されている。
また図3では、属性(印象度)として、3種類の属性、すなわち、「属性1」、「属性2」、および「属性3」の例を示している。属性1の印象度は、「明るくさわやか度」である場合の属性要因分析結果の可視化の例を示している。属性2の印象度は、「かわいらしい度」である場合の属性要因分析結果の可視化の例を示している。属性3の印象度は、「ビジネス感度」である場合の属性要因分析結果の可視化の例を示している。
図3に示されるように、依存度の大小を表す数値が大きいほど濃度が濃くなっている(強い赤色に着色されている)。また、属性要因分析結果を可視化することで、依存度の大きさの、部位毎の違いを分かりやすく説明することが可能となる。
図3から、本第1の実施形態(スパース回帰)は、LSMIと非常に類似した傾向を示していることが分かる。また、本第1の実施形態(スパース回帰)の方が、非スパース回帰よりも、属性との依存度の高い、顔部位を上手く選べていることが分かる。
例えば、属性1の印象度が「明るくさわやか度」の場合、属性要因分析結果は、口、ほお、目の付近で依存度が大きいことを示している。換言すれば、口、ほお、目の付近が、「明るくさわやか」な印象の決め手になることを示している。
また、属性2の印象度が「かわいらしい度」の場合、属性要因分析結果は、おでこ、顎の付近で依存度が大きいことを示している。換言すれば、おでこ、顎の付近が、「かわいらしい」の印象の決め手になることを示している。
さらに、属性3の印象度が「ビジネス感度」の場合、属性要因分析結果は、髪領域の付近で依存度が大きいことを示している。換言すれば、髪領域の付近が、「ビジネス感」の印象の決め手になることを示している。
図3から、全体的傾向として、次のことがわかる。
まず、顔部位により、印象度との大きな依存度が認められることである。詳述すると、特定の印象度との依存度の大きい部位は、ほぼ共通している(目、口など)ことがわかる。
次に、印象度の種類により、依存度の大きい顔部位の位置が異なることである。
尚、本第1の実施形態では、顔の印象度として上記3種類を挙げているが、本発明はそれらに限定されず、それら3種類の印象度から少なくとも1の印象度を選択しても良いし、他の印象度を用いても良いのは勿論である。
第1の実施形態に係る属性要因分析装置100の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態ては、ROMに記憶された属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第1の実施形態に係る属性要因分析装置100は、対象(人物の顔)の属性(印象度)の要因を分析することができる。
[第2の実施の形態]
図4は、本発明の第2の実施形態に係る属性要因分析装置100Aの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性要因分析装置100Aは、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置100Aは、データ処理装置の構成が後述のように相違している点を除いて、図1に示した属性要因分析装置100と同様の構成を有し、動作をする。したがって、データ処理装置に20Aの参照符号を付してある。図1に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
図示のデータ処理装置20Aは、部位分割処理部の構成が後述のように相違している点を除いて、図1に示したデータ処理装置20と同様の構成を有し、動作をする。したがって、部位分割処理部に21Aの参照符号を付してある。
部位分割処理部21Aは、図1に示した部位分割処理部21における部位分割処理に加えて、部位のデータの説明変数Xと目的変数Yとの間の相関の大きさを予め算出して、サンプル・サイズを調整するサンプル・サイズ調整部212を更に含む。
次に、サンプル・サイズ調整部212の動作について更に詳細に説明する。
図5に示されるように、サンプル・サイズの大きさ(図5の場合、ブロック画像データのサイズ)は、予め適切に決めておく必要がある。図5の例では、各ブロック画像データは、(8×8)ピクセルから成る。そして、画像データの画像領域は、(8×8)の部位にメッシュ状に分割されている。すなわち、各画像データは、64個のブロック画像データに分割されている。
サンプル・サイズが小さすぎる場合、相関の大小の比較が出来なくなる。すなわち、どの部位データにおいても、目的変数Yとの相関が非常に小さくなってしまう。
一方、サンプル・サイズが大きすぎる場合、本来の分析目的が達成出来なくなる。換言すれば、目的変数Yへの関与度が高い部位の特定が困難になる。
そこで、サンプル・サイズ調整部212は、サンプル・サイズを適宜変更しながら、部位データの説明変数Xと目的変数Yとの間の依存度(相関)の大きさを予め算出し、「部位毎の依存度(相関値)の分散(大きいほど良い)」と、「分析したい部位のサイズ(小さいほど良い)」のバランスを調整しながら、適切なサンプル・サイズを指定する。
第2の実施形態に係る属性要因分析装置100Aの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第2の実施形態に係る属性要因分析装置100Aは、対象(人物の顔)の属性(印象度)の要因を容易に分析することができる。
[第3の実施の形態]
図6は、本発明の第3の実施形態に係る属性要因分析装置100Bの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性要因分析装置100Bは、プログラム制御により動作するコンピュータで実現可能である。属性要因分析装置100Bは、データ処理装置の構成が後述のように相違している点を除いて、図1に示した属性要因分析装置100と同様の構成を有し、動作をする。したがって、データ処理装置に20Bの参照符号を付してある。図1に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
図示のデータ処理装置20Bは、部位分割処理部21B、スパース回帰分析処理部22B、メモリ23B、依存度算出部24B、および可視化処理部25Bから成る。
部位分割処理部21Bは、参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、所定のサンブル・サイズの部位に分割する。
スパース回帰分析処理部22Bは、上記ずらされた部位毎に、上記回帰モデルを得る。この得られた回帰モデルは、メモリ23Bに格納される。
依存度算出部24Bは、上記ずらされた各部位に対して、上記依存度の計算を並列に実施して、複数の属性要因分析結果を得る。
可視化処理部25Bは、複数の属性要因分析結果を統合(平均化)し、可視化して出力装置30に出力する。
このように本第3の実施形態に係る属性要因分析装置100Bでは、分割位置を調整している。
次に、この分割位置の調整について、図1に示した属性要因分析装置100と比較しながら詳細に説明する。
図7は、図1に示した属性要因分析装置100における分割位置を説明するための図である。図7(A)は、部位分割処理部21によって分割された画像データを示す。図7(B)は、依存度算出部24によって得られた(可視化処理部25によって可視化された)属性要因分析結果を示す。
前述したように、部位の分割位置が必ずしも適切な位置とは限らない場合がある。
図7(A)の場合、分割線が、眉毛、鼻、口の中央線を通過している。このため、図7(B)に示されるように、眉毛全体、鼻全体、口全体の部位データの目的変数Yとの相関の大きさが判別しづらくなる。
図8は、図6に示した属性要因分析装置100Bにおける分割位置の調整を説明するための図である。図8(A)は、部位分割処理部21Bによって分割位置をずらして得られる、複数の分割された画像データを示す。図8(B)は、依存度算出部24Bによって並列に実施して得られる、複数の属性要因分析結果を示す。図8(C)は、可視化処理部25Bによって可視化された、統合された属性要因分析結果を示す。
部位分割処理部21Bは、図8(A)に示されるように、画像データの画像領域の分割位置を数ピクセル(例えば、2ピクセル)ずつ、ずらしながら、所定のサンプル・サイズの部位に分割する。
スパース回帰分析処理部23Bは、上記ずらされた部位毎に、上記回帰モデルを得る。
依存度算出部24Bは、図8(B)に示されるように、上記ずらされた各部位に対して、上記依存度の計算を並列に実施して、複数の属性要因分析結果を得る。
可視化処理部25Bは、図8(C)に示されるように、複数の属性要因分析結果(Color Matrix)を統合(同じ位置での画素の平均化)して、出力装置30に可視化して出力する。
このように、複数の属性要因分析結果(Color Matrix)を統合することで、表示(赤色表示)に勾配をもたせた、わかりやい統合した(平均化した)属性要因分析結果(Color Matrix)を提示することが出来る。
第3の実施形態に係る属性要因分析装置100Bの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第3の実施形態に係る属性要因分析装置100Bは、対象(人物の顔)の属性(印象度)の要因を分かりやすく分析することができる。
[第4の実施の形態]
図9は、本発明の第4の実施形態に係る属性推定・属性要因分析装置200の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性推定・属性要因分析装置200は、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置200は、データを入力する第1の入力装置10と、データ処理装置60と、データ処理装置60での処理結果を出力する出力装置30と、種々のデータベースとして働く補助記憶装置40と、データを入力する第2の入力装置50とを備えている。
図示はしないが、データ処理装置60は、プログラムを記憶するリードオンリメモリ(ROM)と、データを一時的に記憶するワークメモリとして使用されるランダムアクセスメモリ(RAM)と、ROMに記憶されたプログラムに従って、RAMに記憶されているデータを処理する中央処理装置(CPU)とから構成される。
補助記憶装置40は、訓練サンプル集合を蓄積する。訓練サンプル集合は、各々が参照画像データと、この参照画像データに付随する属性データとの一組から成る集合である。本例では、サンプル数nは、例えば、2100個である。サンプル数は、これに限定されないのは勿論である。
第2の入力装置50は、入力画像データ(テストサンプル画像)を入力するためのものである。
また、図示の例では、参照画像データおよび入力画像データ(テストサンプル画像)は顔画像データから成る。また、属性データは、人物の顔の見た目の印象度を表すデータから成る。
なお、参照画像データおよび入力画像データ(テストサンプル画像)は、必ずしも顔画像データで無くても良いが、全ての画像データに対して正規化処理が施されている。ここで、正規化処理とは、特定の部位で位置合わせをすることである。例えば、参照画像データおよび入力画像データ(テストサンプル画像)が顔画像データの場合、正規化処理は両目を位置合わせすることである。
図示の属性推定・属性要因分析装置200は、入力画像データ(テストサンプル画像)の属性を推定し、かつその属性の要因を分析する装置である。
第1の入力装置10は、補助記憶装置40に格納されている訓練サンプル集合をデータ処理装置60に入力する。第2の入力装置50は、前述したように、入力画像データ(テストサンプル画像)をデータ処理装置60に入力する。
データ処理装置60は、部位分割処理部61と、スパース回帰分析処理部62と、回帰モデルを格納するメモリ63と、属性推定・依存度算出部64と、可視化処理部65とから成る。
部位分割処理部61は、訓練サンブル集合の各々を構成する参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する。
スパース回帰分析処理部62は、訓練サンブル集合から、部位毎に、スパース回帰分析をして、回帰モデルを構築する。構築された回帰モデルは、メモリ63に格納される。メモリ63は、例えば、ハードディスクから成ってよい。
属性推定・依存度算出部64は、回帰モデルを用いて、入力画像データの属性を推定すると共に、入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数Xと推定した属性を表す目的変数Yとの間の依存度を算出して、入力画像データの属性推定結果と属性要因分析結果とを得る。
可視化処理部65は、属性推定結果と属性要因分析結果とを可視化して出力装置30に出力する。
次に、データ処理装置60の各処理部の動作について詳細に説明する。
部位分割処理部61、スパース回帰分析処理部62、スパース回帰分析処理部62、およびメモリ63の動作は、それぞれ、図1の部位分割処理部21、スパース回帰分析処理部22、スパース回帰分析処理部23、およびメモリ23の動作と同様であるので、それらの説明については省略する。
属性推定・依存度算出部64は、スパース回帰分析処理部62で構築された(メモリ63に格納された)回帰モデルを用いて、入力画像データ(テストサンプル)xteの属性を推定すると共に、入力画像データ(テストサンプル)xteに対し、顔部位j(説明変数X)と属性(目的変数Y)との間の依存度スコアを算出する。依存度スコアは、下記の式(7)で定義される。
属性推定・依存度算出部64は、属性推定結果を出力すると共に、依存度スコアを属性要因分析結果として出力する。これにより、未知のデータ(テストサンプル)xteに対する属性要因を知ることができる。
可視化処理部65は、属性推定・依存度算出部64から出力された、属性推定結果と属性要因分析結果とを可視化して、出力装置30に出力する。
詳述すると、可視化処理部65は、属性推定・依存度算出部64で算出した、属性推定結果の数値と、各ブロック画像(部位)ごとの依存度スコアの数値の大小とを、図10に示すように、マトリクス(Color−Matrix)で可視化する。
尚、図10では、テストサンプルxteとして、「テストサンプル1」、「テストサンプル2」、および「テストサンプル3」の三種類のテストサンプルを入力した場合における、本第1の実施形態(スパース回帰による推定値)ばかりでなく、正解値をも図示している。本例では、推定した属性が、属性1の印象度である「明るくさわやか度」の例を示している。また、人物の属性(印象度)は、0.0〜4.0の範囲にある例を示している。すなわち、0.0は、「全く明るくさわやかでない」ことを意味し、4.0は、「とても明るくさわやかである」ことを意味する。
図10に示されるように、どのテストサンプルにおいても、スパース回帰による推定値は、ほぼ正解値に等しいことが分かる。また、依存度スコアの大小を表す数値が大きいほど濃度が濃くなっている(強い赤色に着色されている)。また、属性要因分析結果(依存度スコア)を可視化することで、依存度の大きさの、部位毎の違いを分かりやすく説明することが可能となる。図10から、テストサンプルにより傾向が微妙に異なっていることが分かる。
このように、属性推定・属性要因分析装置200は、回帰出力と属性要因との関連を、分析し、可視化することが可能である。
第4の実施形態に係る属性推定・属性要因分析装置200の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された属性推定・属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第1の実施形態に係る属性推定・属性要因分析装置200は、対象(人物の顔)の属性(印象度)を推定するだけでなく、その属性(印象度)の要因を分析することができる。
[第5の実施の形態]
図11は、本発明の第5の実施形態に係る属性推定・属性要因分析装置200Aの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性推定・属性要因分析装置200Aは、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置200Aは、データ処理装置の構成が後述のように相違している点を除いて、図9に示した属性推定・属性要因分析装置200と同様の構成を有し、動作をする。したがって、データ処理装置に60Aの参照符号を付してある。図9に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
図示のデータ処理装置60Aは、部位分割処理部の構成が後述のように相違している点を除いて、図9に示したデータ処理装置60と同様の構成を有し、動作をする。したがって、部位分割処理部に61Aの参照符号を付してある。
部位分割処理部61Aは、図9に示した部位分割処理部61における部位分割処理に加えて、部位のデータの説明変数Xと目的変数Yとの間の相関の大きさを予め算出して、サンプル・サイズを調整するサンプル・サイズ調整部612を更に含む。
次に、サンプル・サイズ調整部612の動作は、図4に示したサンプル・サイズ調整部212の動作と同様なので、その説明を省略する。
第5の実施形態に係る属性推定・属性要因分析装置200Aの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された属性推定・属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第5の実施形態に係る属性推定・属性要因分析装置200Aは、対象(人物の顔)の属性(印象度)を推定するだけでなく、その属性(印象度)の要因を容易に分析することができる。
[第6の実施の形態]
図12は、本発明の第6の実施形態に係る属性推定・属性要因分析装置200Bの構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
図示の属性推定・属性要因分析装置200Bは、プログラム制御により動作するコンピュータで実現可能である。属性推定・属性要因分析装置200Bは、データ処理装置の構成が後述のように相違している点を除いて、図9に示した属性推定・属性要因分析装置200と同様の構成を有し、動作をする。したがって、データ処理装置に60Bの参照符号を付してある。図9に示したものと同様の構成要素には同一の参照符号を付し、説明の簡略化のために、それらの説明については省略する。
図示のデータ処理装置60Bは、部位分割処理部61B、スパース回帰分析処理部62B、メモリ63B、属性推定・依存度算出部64B、および可視化処理部65Bから成る。
部位分割処理部61Bは、訓練サンプル集合の各々に対して、参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、所定のサンブル・サイズの部位に分割する。
スパース回帰分析処理部62Bは、上記ずらされた部位毎に、上記回帰モデルを得る。この得られた回帰モデルは、メモリ63Bに格納される。
属性推定・依存度算出部64Bは、上記ずらされた各部位に対して、上記属性の推定と上記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得る。
可視化処理部65Bは、複数の属性推定結果と複数の属性要因分析結果とを統合(平均化)し、可視化して出力装置30に出力する。
このように本第6の実施形態に係る属性推定・属性要因分析装置200Bでは、分割位置を調整している。この分割位置の調整は、図7および図8を参照して説明したのと同様であるので、その説明については省略する。
このように、複数の属性推定結果を統合することにより、属性をより正確に推定できると共に、複数の属性要因分析結果(Color Matrix)を統合することで、表示(赤色表示)に勾配をもたせた、わかりやい統合した(平均化した)属性要因分析結果(Color Matrix)を提示することが出来る。
第6の実施形態に係る属性推定・属性要因分析装置200Bの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ROMに記憶された属性推定・属性要因分析プログラムに基づいて制御部(CPU)等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該属性推定・属性要因分析プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された属性推定・属性要因分析プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
このような構成の第6の実施形態に係る属性推定・属性要因分析装置200Bは、対象(人物の顔)の属性(印象度)をより正確に推定できると共に、その属性(印象度)の要因を分かりやすく分析することができる。
なお、上述の各実施形態において、実施形態の処理は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体に格納された情報を、コンピュータにインストールすることによって実行されてもよい。記憶媒体には、光ディスク、フロッピー(登録商標)ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
[変形例]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
例えば、上述した実施形態では、各画像データの画像領域が正方形の場合を例に挙げて説説明しているが、各画像データの画像領域は矩形であって良い。
また、上述した実施形態では、各画像データの正方形の画像領域を、8×8の64個の正方形のブロック画像データに分割しているが、ブロック画像データの形状や分割数はこれらに限定しないのは勿論である。例えば、一般的に、各画像データの矩形の画像領域を、M行N列の(M×N)個の矩形のブロック画像データに分割しても良い。ここで、MおよびNの各々は、それぞれ、2以上の第1およひ第2の整数である。但し、上述したように、サンプル・サイズの大きさは、大きすぎると本来の分析目的が達成できなくなるので、第1の整数Mおよび第2の整数Nの各々は、6以上であることが好ましい。
さらに、上述した実施形態では、分割して得られる複数個のブロック画像データは、すべて同じサンプル・サイズをしているが、互いに異なっていても良いのは勿論である。具体的には、顔の特徴的部位(例えば、口、目、鼻など)を分割線が通過しないように、各画像データの画像領域を、異なるサンプル・サイズの複数のブロック画像データに分割しても良い。
また、上述した実施形態では、画像データが顔画像データであって、属性が顔の印象度である場合を例に挙げて説明しているが、本発明はこれに限定されないのは勿論である。画像データは顔画像データ以外の画像データであってもよく、属性も印象度以外の属性であってよい。
本発明は、メイクシミュレーションへの応用や、顧客の志向性(自分のなりたいイメージ等)に応じた柔軟なメイク改善ポイントアドバイスなどといった用途に適用可能である。
10 入力装置
20、20A、20B データ処理装置
21、21A、21B 部位分割処理部
212 サンプル・サイズ調整部
22、22B スパース回帰分析処理部
23、23B メモリ(回帰モデル)
24、24B 依存度算出部
25、25B 可視化処理部
30 出力装置
40 補助記憶装置(訓練サンブル集合)
50 入力装置(テストサンプル画像)
60、60A、60B データ処理装置
61、61A、61B 部位分割処理部
612 サンプル・サイズ調整部
62、62B スパース回帰分析処理部
63、63B メモリ(回帰モデル)
64、64B 属性推定・依存度算出部
65、65B 可視化処理部
100、100A、100B 属性要因分析装置
200、200A、200B 属性推定・属性要因分析装置

Claims (42)

  1. 各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性要因分析装置を用いて、属性の要因を分析する方法であって、
    前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、
    前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出工程と、
    前記属性要因分析結果を可視化して出力する可視化工程と、
    を含む属性要因分析方法。
  2. 前記分割工程は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整工程を含む、請求項1に記載の属性要因分析方法。
  3. 前記分割工程は、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    前記モデル構築工程は、前記ずらされた部位毎に、前記回帰モデルを得、
    前記依存度算出工程は、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得、
    前記可視化工程は、前記複数の属性要因分析結果を統合し、可視化して出力する、
    請求項1または2に記載の属性要因分析方法。
  4. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項1から3の何れか1項に記載の属性要因分析方法。
  5. 前記参照画像データが顔画像データから成る、請求項1から4の何れか1項に記載の属性要因分析方法。
  6. 前記属性データが顔の印象度を表すデータから成る、請求項5に記載の属性要因分析方法。
  7. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項6に記載の属性要因分析方法。
  8. 属性推定・属性要因分析装置を用いて、入力画像データの属性を推定し、かつ該属性の要因を分析する方法であって、
    各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割工程と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築工程と、
    前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出工程と、
    前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化工程と、
    を含む属性推定・属性要因分析方法。
  9. 前記分割工程は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整工程を含む、請求項8に記載の属性推定・属性要因分析方法。
  10. 前記分割工程は、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    前記モデル構築工程は、前記ずらされた部位毎に、前記回帰モデルを構築し、
    前記属性推定・依存度算出工程は、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得、
    前記可視化工程は、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力する、
    請求項8または9に記載の属性推定・属性要因分析方法。
  11. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項7から10の何れか1項に記載の属性推定・属性要因分析方法。
  12. 前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項7から11の何れか1項に記載の属性推定・属性要因分析方法。
  13. 前記属性データが顔の印象度を表すデータから成る、請求項12に記載の属性推定・属性要因分析方法。
  14. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項13に記載の属性推定・属性要因分析方法。
  15. 各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析する属性要因分析装置であって、
    前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する部位分割処理部と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するスパース回帰分析処理部と、
    前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出部と、
    前記属性要因分析結果を可視化して出力する可視化処理部と、
    を含む属性要因分析装置。
  16. 前記部位分割処理部は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整するサンプル・サイズ調整部を含む、請求項15に記載の属性要因分析装置。
  17. 前記部位分割処理部は、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    前記スパース回帰分析処理部は、前記ずらされた部位毎に、前記回帰モデルを得、
    前記依存度算出部は、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得、
    前記可視化処理部は、前記複数の属性要因分析結果を統合し、可視化して出力する、
    請求項15または16に記載の属性要因分析装置。
  18. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項15から17の何れか1項に記載の属性要因分析装置。
  19. 前記参照画像データが顔画像データから成る、請求項15から18の何れか1項に記載の属性要因分析装置。
  20. 前記属性データが顔の印象度を表すデータから成る、請求項19に記載の属性要因分析装置。
  21. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項20に記載の属性要因分析装置。
  22. 入力画像データの属性を推定し、かつ該属性の要因を分析する属性推定・属性要因分析装置であって、
    各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する部位分割処理部と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するスパース回帰分析処理部と、
    前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出部と、
    前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化処理部と、
    を含む属性推定・属性要因分析装置。
  23. 前記部位分割処理部は、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整するサンプル・サイズ調整部を含む、請求項22に記載の属性推定・属性要因分析装置。
  24. 前記部位分割処理部は、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割し、
    前記スパース回帰分析処理部は、前記ずらされた部位毎に、前記回帰モデルを構築し、
    前記属性推定・依存度算出部は、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得、
    前記可視化処理部は、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力する、
    請求項22または23に記載の属性推定・属性要因分析装置。
  25. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項22から24の何れか1項に記載の属性推定・属性要因分析装置。
  26. 前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項22から25の何れか1項に記載の属性推定・属性要因分析装置。
  27. 前記属性データが顔の印象度を表すデータから成る、請求項26に記載の属性推定・属性要因分析装置。
  28. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項27に記載の属性推定・属性要因分析装置。
  29. コンピュータに、各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合から、属性の要因を分析させる属性要因分析プログラムであって、前記コンピュータに、
    前記訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割手順と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築手順と、
    前記回帰モデルを用いて、前記訓練サンプル集合のそれぞれに対して、各部位の参照画像データの特徴量を表す説明変数と前記属性データを表す目的変数との間の依存度を算出して、属性要因分析結果を得る依存度算出手順と、
    前記属性要因分析結果を可視化して出力する可視化手順と、
    を実行させる属性要因分析プログラム。
  30. 前記分割手順は、前記コンピュータに、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整手順をさらに実行させる、請求項29に記載の属性要因分析プログラム。
  31. 前記分割手順は、前記コンピュータに、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割させ、
    前記モデル構築手順は、前記コンピュータに、前記ずらされた部位毎に、前記回帰モデルを得させ、
    前記依存度算出手順は、前記コンピュータに、前記ずらされた各部位に対して、前記依存度の計算を並列に実施して、複数の属性要因分析結果を得させ、
    前記可視化手順は、前記コンピュータに、前記複数の属性要因分析結果を統合し、可視化して出力させる、
    請求項29または30に記載の属性要因分析プログラム。
  32. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項29から31の何れか1項に記載の属性要因分析プログラム。
  33. 前記参照画像データが顔画像データから成る、請求項29から32の何れか1項に記載の属性要因分析プログラム。
  34. 前記属性データが顔の印象度を表すデータから成る、請求項33に記載の属性要因分析プログラム。
  35. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項34に記載の属性要因分析プログラム。
  36. コンピュータに、入力画像データの属性を推定させ、かつ該属性の要因を分析させる属性推定・属性要因分析プログラムであって、前記コンピュータに、
    各々が参照画像データと該参照画像データに付随する属性データとの一組から成る訓練サンプル集合の各々を構成する前記参照画像データの画像領域を、所定のサンプル・サイズの部位にメッシュ状に分割する分割手順と、
    前記訓練サンブル集合から前記部位毎にスパース回帰分析をして、回帰モデルを構築するモデル構築手順と、
    前記回帰モデルを用いて、前記入力画像データの属性を推定すると共に、該入力画像データに対して、各部位の入力画像データの特徴量を表す説明変数と前記推定した属性を表す目的変数との間の依存度を算出して、前記入力画像データの属性推定結果と属性要因分析結果とを得る属性推定・依存度算出手順と、
    前記属性推定結果と前記属性要因分析結果とを可視化して出力する可視化手順と、
    を実行させる属性推定・属性要因分析プログラム。
  37. 前記分割手順は、前記コンピュータに、前記部位のデータの前記説明変数と前記目的変数との間の相関の大きさを予め算出して、前記サンプル・サイズを調整する調整手順をさらに実行させる、請求項8に記載の属性推定・属性要因分析プログラム。
  38. 前記分割手順は、前記コンピュータに、前記訓練サンプル集合の各々に対して、前記参照画像データの画像領域の分割位置を所定ピクセルずつずらしながら、前記所定のサンブル・サイズの部位に分割させ、
    前記モデル構築手順は、前記コンピュータに、前記ずらされた部位毎に、前記回帰モデルを構築させ、
    前記属性推定・依存度算出手順は、前記コンピュータに、前記ずらされた各部位に対して、前記属性の推定と前記依存度の計算とを並列に実施して、複数の属性推定結果と複数の属性要因分析結果とを得させ、
    前記可視化手順は、前記コンピュータに、複数の属性推定結果と前記複数の属性要因分析結果とを統合し、可視化して出力させる、
    請求項36または37に記載の属性推定・属性要因分析プログラム。
  39. 前記参照画像データの特徴量は、RGB,Gray Scale,Laplacian,およびHaar−like特徴量を含む特徴量の中から選択されたいずれか1つから成る、請求項36から38の何れか1項に記載の属性推定・属性要因分析プログラム。
  40. 前記参照画像データおよび前記入力画像データの各々が顔画像データから成る、請求項36から39の何れか1項に記載の属性推定・属性要因分析プログラム。
  41. 前記属性データが顔の印象度を表すデータから成る、請求項40に記載の属性推定・属性要因分析プログラム。
  42. 前記印象度は、「明るくさわやか度」、「かわいらしい度」、および「ビジネス感度」を含む印象度から選択された少なくとも1つを含む、請求項41に記載の属性推定・属性要因分析プログラム。
JP2016534083A 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム Active JP6270182B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069633 WO2016009569A1 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016009569A1 true JPWO2016009569A1 (ja) 2017-05-25
JP6270182B2 JP6270182B2 (ja) 2018-01-31

Family

ID=55078085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016534083A Active JP6270182B2 (ja) 2014-07-17 2014-07-17 属性要因分析方法、装置、およびプログラム

Country Status (3)

Country Link
US (1) US10268876B2 (ja)
JP (1) JP6270182B2 (ja)
WO (1) WO2016009569A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350773A1 (en) * 2015-05-28 2016-12-01 The Nielsen Company (Us), Llc Methods and apparatus to correct age misattribution
US11017210B2 (en) * 2016-05-19 2021-05-25 Visiana Aps Image processing apparatus and method
CN108304974B (zh) * 2018-02-26 2022-02-08 中国民航信息网络股份有限公司 一种基于优化C5.0和Apriori的民航NOSHOW预测及强因子分析方法
JP6863926B2 (ja) * 2018-04-24 2021-04-21 株式会社日立ソリューションズ データ分析システム及びデータ分析方法
JP7263864B2 (ja) * 2019-03-20 2023-04-25 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び製品開発システム
CN110210311B (zh) * 2019-04-30 2021-05-04 杰创智能科技股份有限公司 一种基于通道特征融合稀疏表示的人脸识别方法
CN110348722A (zh) * 2019-07-01 2019-10-18 百维金科(上海)信息科技有限公司 一种基于XGBoost的互联网金融风控模型
JP7322965B2 (ja) * 2019-10-28 2023-08-08 富士通株式会社 学習方法、学習プログラム、および学習装置
CN111159645B (zh) * 2019-12-19 2023-06-06 成都数之联科技股份有限公司 一种基于产品生产履历和参数的不良根因定位方法
CN111309706A (zh) * 2020-01-20 2020-06-19 北京明略软件***有限公司 模型训练方法、装置、可读存储介质及电子设备
CN115293282B (zh) * 2022-08-18 2023-08-29 昆山润石智能科技有限公司 制程问题分析方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166283A (ja) * 1997-08-13 1999-03-09 Matsushita Electric Ind Co Ltd 画像特徴量の相関抽出方法及び画像検索装置
JP2010271872A (ja) * 2009-05-20 2010-12-02 Canon Inc 画像認識装置、撮像装置及び画像認識方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175724A (ja) 1997-12-11 1999-07-02 Toshiba Tec Corp 人物属性識別装置
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
JP4742192B2 (ja) 2009-04-28 2011-08-10 Necソフト株式会社 年齢推定装置及び方法並びにプログラム
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Necソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
KR101216115B1 (ko) * 2011-08-09 2012-12-27 이인권 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
KR101434170B1 (ko) * 2012-09-25 2014-08-26 한국전자통신연구원 추출된 데이터 특징을 이용한 학습 방법 및 장치
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166283A (ja) * 1997-08-13 1999-03-09 Matsushita Electric Ind Co Ltd 画像特徴量の相関抽出方法及び画像検索装置
JP2010271872A (ja) * 2009-05-20 2010-12-02 Canon Inc 画像認識装置、撮像装置及び画像認識方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
今井 康博、小沢 慎治: ""似合うヘアスタイル探しのための顔の印象分類"", 電気学会研究会資料, JPN6014042785, 27 May 2005 (2005-05-27), JP, pages 1 - 5, ISSN: 0003666923 *
原田 将治、外2名: ""感性語句を含む自然言語文による画像検索のための形状特徴空間の構築"", 情報処理学会論文誌, vol. 40, no. 5, JPN6014042786, 15 May 1999 (1999-05-15), JP, pages 2356 - 2366, ISSN: 0003690440 *
平田 智、彌冨 仁: ""顔の魅力の定量化への試み"", FIT2013 第12回情報科学技術フォーラム 講演論文集 第3分冊, JPN6014042784, 20 August 2013 (2013-08-20), JP, pages 111 - 112, ISSN: 0003666922 *
篠原 雄介、大津 展之: ""フィッシャー重みマップを用いた顔画像からの表情認識"", 電子情報通信学会技術研究報告, vol. 103, no. 737, JPN6014042783, 11 March 2004 (2004-03-11), JP, pages 79 - 84, ISSN: 0003666921 *

Also Published As

Publication number Publication date
JP6270182B2 (ja) 2018-01-31
US10268876B2 (en) 2019-04-23
WO2016009569A1 (ja) 2016-01-21
US20170177924A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
JP6270182B2 (ja) 属性要因分析方法、装置、およびプログラム
Lu Embedded feature selection accounting for unknown data heterogeneity
US9317740B2 (en) Demographic analysis of facial landmarks
Guo et al. A probabilistic fusion approach to human age prediction
US20150278710A1 (en) Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium
US9477905B2 (en) Image congealing via efficient feature selection
Shrivastava et al. Exploring the color feature power for psoriasis risk stratification and classification: A data mining paradigm
JP6029041B2 (ja) 顔印象度推定方法、装置、及びプログラム
Conroy et al. Fast, exact model selection and permutation testing for l2-regularized logistic regression
Rajala et al. Detecting multivariate interactions in spatial point patterns with Gibbs models and variable selection
Zhou et al. A novel hybrid model using the rotation forest-based differential evolution online sequential extreme learning machine for illumination correction of dyed fabrics
US20190213610A1 (en) Evaluation device and evaluation method
Saleh et al. Computer-aided diagnosis system for retinal disorder classification using optical coherence tomography images
Lu et al. Predicting progressions of cognitive outcomes via high-order multi-modal multi-task feature learning
JP2011141866A (ja) データ分類装置、データ分類システムおよびプログラム
Jena et al. Elitist TLBO for identification and verification of plant diseases
KR101484003B1 (ko) 얼굴 분석 평가 시스템
Demontis et al. Super-sparse regression for fast age estimation from faces at test time
JP4228031B1 (ja) 画像解析装置、画像登録装置および画像検索装置
JP6319820B2 (ja) 属性要因分析方法、装置、およびプログラム
JP5454356B2 (ja) データ分類装置およびプログラム
JP6547280B2 (ja) 設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラム
Ooi et al. An interactive evolutionary multi-objective approach to skin lesion segmentation
Criminisi et al. Introduction: The abstract forest model
Zhang et al. Hypergraph spectra for semi-supervised feature selection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171129

R150 Certificate of patent or registration of utility model

Ref document number: 6270182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150