JP2018055470A - 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム - Google Patents
表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム Download PDFInfo
- Publication number
- JP2018055470A JP2018055470A JP2016191819A JP2016191819A JP2018055470A JP 2018055470 A JP2018055470 A JP 2018055470A JP 2016191819 A JP2016191819 A JP 2016191819A JP 2016191819 A JP2016191819 A JP 2016191819A JP 2018055470 A JP2018055470 A JP 2018055470A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- learning
- neural network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 title claims description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 84
- 238000013527 convolutional neural network Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 101
- 238000007726 management method Methods 0.000 description 38
- 238000011176 pooling Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 本発明の一態様に係る表情認識方法は、撮影画像に含まれる顔の表情を認識する方法であって、少なくとも顔の凹凸情報(角度A)、質感情報(勾配G)及び輪郭情報(輪郭E)に関する特徴を有する学習用画像群を入力データとして、階層型ニューラルネットワークにパラメータを学習させる学習ステップと、前記撮影画像から少なくとも前記3種類の情報に関する特徴をそれぞれ抽出して複数の入力画像を生成し、生成した前記複数の入力画像を入力データとして、前記撮影画像に含まれる顔の表情を学習済みの前記階層型ニューラルネットワークに認識させる認識ステップと、を含む。
【選択図】 図6
Description
CNNは、局所領域の畳み込み層とプーリング層とが繰り返される多層の積層構造を有しており、かかる積層構造により画像認識の性能が向上するとされている。
例えば、非特許文献1では、顔の原画像に対する前処理としてGCN(Global Contrast Normalization)が実行されている。
本発明は、かかる従来の問題点に鑑み、階層型ニューラルネットワークを用いた表情認識の精度を向上することを目的とする。
また、認識ステップにおいて、学習済みの階層型ニューラルネットワークによる表情認識のための入力データが、撮影画像から少なくとも上記3種類の情報に関する特徴をそれぞれ抽出して生成された複数の入力画像よりなる。
その理由は、畳み込みニューラルネットワークは、表情認識を含む画像認識に高い性能を実現できるからである。
その理由は、上記の方向角度(A)、方向ベクトルのノルム(G)及び輪郭情報(E)は、既存のオープンソースソフトウェアにて演算可能であるから、これらのパラメータを採用すれば、本発明を比較的容易に実装可能となるからである。
このようにすれば、同じ枚数のサンプル画像から得られる学習用画像群の枚数を倍増させることができる。このため、ラベル付きのサンプル画像を収集する手間を省くことができる。更に深い原因として、画像処理によく用いられている深層学習識別器は、反転不変性を有していないという問題があった。このため,異なる方向の撮影条件において、同じの物体としても抽出の物体特徴が異同になり、認識精度の低下を招いていた。このため、顔の学習画像に水平反射処理を追加すると、認識精度は向上することができる。
また、画像生成部が生成する、学習済みの階層型ニューラルネットワークによる表情認識のための入力データが、撮影画像から少なくとも上記3種類の情報に関する特徴をそれぞれ抽出して生成された複数の入力画像よりなる。
従って、本発明のコンピュータプログラムは、上述の(1)〜(5)の表情認識方法と同様の作用効果を奏する。
このため、現状の広告画像による広告の中止又は継続、或いは、現状の広告画像に改変を加えるなどの判断を、管理者が行えるようになる。
また、上記の本発明は、システム及び装置の一部又は全部を実現する、1又は複数の半導体集積回路として実現することができる。
図1は、本発明の実施形態に係る画像処理装置1のブロック図である。
図1に示すように、本実施形態の画像処理装置1は、例えば、図示しないPC(Personal Computer)に搭載されたGPU(Graphics Processing Unit)を含む。画像処理装置1は、PCのメモリに記録されたコンピュータプログラムにより実現される機能部として、画像生成部2、CNN処理部3、学習部4及び出力部5を備える。
CNN処理部3は、入力データに対してCNNを利用した認識処理(本実施形態では顔画像の表情認識)を実行し、その認識結果(具体的には、分類クラスごとの確率など)を学習部4又は出力部5に入力する。
他方、学習済みのCNN処理部3が撮影画像8に含まれる顔画像の分類クラス(本実施形態では顔画像の表情の種別)を特定する場合、すなわち、画像処理装置1が表情識別器として動作する場合には、CNN処理部3は、認識結果を出力部5に入力する。
出力部5は、入力された認識結果に基づいて入力画像の分類クラスを特定する。具体的には、CNN処理部3から入力された最も高い確率の分類クラスを、入力画像の分類クラスとする。出力部5が出力する分類結果は、PCのディスプレイなどに表示されることにより、PCのオペレータに通知される。
(CNNの構成例)
図2は、CNN処理部3に含まれるCNNの概略構成図である。
図2に示すように、CNN処理部3に構築されるCNNは、畳み込み層(「ダウンサンプリング層」ともいう。)C1,C2、プーリング層P1,P2及び全結合層Fの3つの演算処理層と、CNNの出力層である最終層Eとを備える。
図2では、畳み込み層C1,C2とこれに対応するプーリング層P1,P2が2つの場合を例示している。もっとも、畳み込み層とプーリング層は、3つ以上であってもよい。また、全結合層Fは少なくとも1つ配置される。
活性化関数aには、「シグモイド関数」、或いは、a(xj)=max(xj,0)などが使用される。特に、後者の活性化関数は、「ReLU(Rectified Linear Unit)」と呼ばれる。ReLUは、収束性の良さや学習速度の向上などに貢献することから、近年よく使用される。
入力画像のクラス分類を目的とする場合は、分類クラス数と同数のノードが最終層Eに配置され、最終層Eの活性化関数aには「ソフトマックス関数」が用いられる。
図3は、畳み込み層C1,C2の処理内容の概念図である。
図3に示すように、畳み込み層C1,C2の入力は、縦長のサイズがS×S画素のN枚(Nチャンネル)の形式となっている。
以下、この形式の画像をS×S×Nと記載する。また、S×S×Nの入力をxijk(ただし、(i,j,k)∈[0,S-1],[0,S-1],[1,N])と記載する。
畳み込み層C1,C2では、入力xijkにフィルタ(「カーネル」ともいう。)を畳み込む計算が実行される。
具体的には、各チャンネルk(k=1〜N)の入力xijkのサイズS×Sの画素に、L×Lのサイズの2次元フィルタを畳み込み、その結果を全チャンネルk=1〜Nにわたって加算する。この計算結果は、1チャンネルの画像uijの形式となる。
フィルタは、全画素ではなく複数画素の間隔で適用されることもある。すなわち、所定の画素数sについて、Pijを次式のように定義し、wp−i,q−j,kをwp−si,q−sj,kと置き換えてuijを計算してもよい。この画素間隔sを「スライド」という。
これにより、1つのフィルタwijkにつき、入力xijkと縦横サイズが同じであるS×Sの1チャンネル分の出力yijが得られる。
このN’チャンネル分の出力yijkは、次の層への入力xijkとなる。図3は、N’個あるフィルタのうちの1つに関する計算内容を示している。
具体的には、上位層の各ノードは下位層の各ノードの一部と結合している(これを「局所受容野」という。)。また、結合の重みは各ノード間で共通となっている(これを「重み共有」という。)。
図2に示す通り、プーリング層P1,P2は、畳み込み層C1,C2と対で存在する。従って、畳み込み層C1,C2の出力はプーリング層P1,P2への入力となり、プーリング層P1,P2の入力はS×S×Nの形式となる。
プーリング層P1,P2の目的は、画像のどの位置でフィルタの応答が強かったかという情報を一部捨てて、特徴の微少な変化に対する応答の不変性を実現することである。
プーリング層P1,P2の局所受容野Pi,jのサイズは、畳み込み層C1,C2のそれ(フィルタサイズ)と無関係に設定される。
プーリングは、画像の縦横(i,j)の方向に間引いて行われる。すなわち、2以上のストライドsが設定される。例えば、s=2とすると、出力の縦横サイズは入力の縦横サイズの半分となり、プーリング層の出力ノード数は、入力ノード数の1/s2倍となる。
平均プーリングは、次式の通り、Pi,jに属するノードからの入力xpqkの平均値を出力する方法である。
本実施形態のCNNにおいて、平均プーリング及び最大プーリングのいずれを採用してもよいが、図7に示すCNNの実装例では最大プーリングを採用している。
CNNの学習(training)では、「教師あり学習」が基本である。本実施形態においても、学習部4は教師あり学習を実行する。
具体的には、学習部4は、学習データとなる多数のラベル付きのサンプル画像を含む集合を対象として、各サンプル画像の分類誤差を最小化することにより実行される。以下、この処理について説明する。
学習部4は、入力された確率pjから算出される分類誤差を最小化するように、CNN処理部3に設定された重みなどのパラメータを更新する。
学習部4は、上記の交差エントロピーCが小さくなるように、各畳み込み層C1,C2のフィルタの係数wijkと各ノードのバイアスbk、及び、CNNの出力層側に配置された全結合層Fの重みとバイアスを調整する。
もっとも、CNN処理部3が最大プーリングを採用する場合の逆伝播では、学習サンプルに対する順伝播の際に、プーリング領域のどのノードの値を選んだかを記憶し、逆伝播時にそのノードのみと結合(重み1で結合)させる。
上式の第2項は、モメンタム(momentum)である。モメンタムは、前回更新量のα(〜0.9)倍を加算することでミニパッチの選択による重みの偏りを抑える。第3項は、重み減衰(weight decay)である。重み減衰は、重みが過大にならないようにするパラメータである。なお、バイアスbkの更新についても同様である。
図5は、画像生成部2の処理内容の説明図である。
図5に示すように、画像生成部2が実行する画像処理には、「顔抽出処理」及び「特徴抽出処理」の2つの処理が含まれる。
特徴抽出処理は、顔抽出処理で得られた矩形画像における所定の特徴を際立たせることにより、CNN処理部3に供給する入力画像を生成する処理である。
ここで、矩形画像の画素点の2次元座標を(x,y)とし、各画素点(x,y)の画素値(例えばRGB値)を「I」とすると、角度A、勾配G及び輪郭Eの数学的な意味は、それぞれ以下の通りである。
勾配G:各画素点(x,y)における画素値Iの勾配ベクトル∇f=(∂I/∂x,∂I/∂y)の「ノルム」(長さ)
輪郭E:画素値Iが急峻に変化する画素点(x,y)の位置情報(エッジ画像)
勾配Gは、矩形画像に含まれる顔内部の皮膚や毛髪などの質感(texture)に関する情報(以下、「質感情報」という。)を表す。
輪郭Eは、矩形画像に含まれる顔の頭部、目、口及び鼻などの各部分のアウトライン(以下、「輪郭情報」という。)を表す。
上記の通り、各フィルタDa,Dg,Deは、各画素点(x,y)における角度A、勾配G及び輪郭Eの特徴をそれぞれ抽出したAGE画像としてもたらす。特徴抽出処理では、矩形画像のすべての画素点(x,y)を上記のフィルタで1回走査することにより、1枚の矩形画像から角度A、勾配G及び輪郭Eの情報を含む3つの入力画像が生成される。
フィルタDa,Dgは、VLfeatやOpenCVなどの偏微分フィルタにより求まるIx及びIyから算出することができる。また、フィルタDeは、OpenCVのゾーベルフィルタ、ラプラスフィルタ、キャニーフィルタなどを使用することができる。
図6は、画像処理装置1を用いた表情認識方法の具体例を示す説明図である。
図6に示すように、本実施形態の表情認識方法は、「学習ステップ」と「認識ステップ」の2つのステップに大別される。
学習ステップは、複数のサンプル画像7を用いて画像処理装置1のCNNを学習させるステップである。認識ステップは、学習済みのCNNを含むCNN処理部3に、撮影画像8に含まれる顔画像の表情を認識させるステップである。
次に、画像枚数をNからGに増やすために、N枚のサイズ64×64の画像に水平反射(鏡映)を掛け、それぞれサイズ56×56のパッチを抽出する。なお、G=2×Nである。
この訓練において、学習部4は、CNN処理部3に対する重みやバイアスなどのパラメータを調整する。
次に、1枚のサイズ56×56の顔画像から、顔の凹凸情報、質感情報及び輪郭情報をそれぞれ抽出した3種類の入力データ(本実施形態ではAGE画像)が生成される。以上の処理は、画像処理装置1の画像生成部2により実行される。
この表情認識において、CNN処理部3は、学習済みのパラメータを有するCNNを用いて、入力されたAGE画像に対して予め設定された表情の分類クラスを特定する。特定された分類クラスは、出力部5に入力される。出力部5は、入力された分類クラスをPCのディスプレイなどに表示させる。
図7は、CNN処理部3に構築される深層CNNの構造図である。
図7に示すように、本願発明者らが推奨する、人間の表情認識のためのCNNのアーキテクチャは、入力ボリュームを出力ボリュームに変換する畳み込み層C1〜C4と、全結合層A1〜A3の積層体により構成されている。
最初の入力層C1の幅、高さ及び奥行きのサイズは56×56×3が好ましい。畳み込み層C2〜C4及び全結合層A1の内部のニューロンは、1つ前の層の受容野と呼ばれる小領域のノードのみに接続されている。
W2=1+(W1−K+2P)/S
上式において、W1は、入力ボリュームのサイズである。Kは、畳み込み層のニューロンの核(ノード)のフィールドサイズである。Sはストライド、すなわち、カーネルマップにおける隣接するニューロンの受容野の中心間距離を意味する。Pは、ボーダー上で使用されるゼロパディングの量を意味する。
図7のネットワークでは、重みを持つ7つの層を含む。最初の4つは畳み込み層C1〜C4であり、残りの3つは完全に接続された全結合層A1〜A3である。全結合層A1〜A3には、ドロップアウトが含まれる。
畳み込み層C2〜C4と全結合層A1のニューロンは前の層の受容野に接続され、全結合層A2〜A3のニューロンは、前の層の全てのニューロンに接続されている。
畳み込み層C1〜C4と全結合層A1〜A3のための非線形マッピング関数は、整流リニアユニット(ReLU)よりなる。
ストライド(歩幅)は、カーネルマップ内で隣接するニューロンの受容野の中心間の距離である。ストライドは、すべての畳み込み層において1ピクセルに設定されている。
第3畳み込み層C3は、サイズが3×3×64である128のカーネルを有し、これらは第2層C2(バッチ正規化とMAXプーリング)の出力に接続されている。
本願発明者らは、図7の構造の深層CNNを実際に訓練(学習)させた。訓練に際しては、NVIDIA GTX745 4GBのGPUを実装するPCに対して、オープンソースの数値解析ソフトウェアである「MATLAB」を用いて行った。
CNNの学習ステップにおいては、重み減衰、モメンタム、バッチサイズ、学習率や学習サイクルを含むパラメータなどの重要な設定がある。以下、この点について説明する。
バッチサイズの増加は、より信頼性の高い勾配推定値をもたらし、学習時間を短縮できるが、それでは最大の安定した学習率εの増加が得られない。そこで、CNNのモデルに適したバッチサイズを選択する必要がある。
また、すべての層に同等の学習率を使用し、訓練を通して手動で調整した。学習率は0.1に初期化し、エラーレートが現時点の学習率で改善を停止したときに、学習率を10で分割した。また、訓練に際しては、AGE画像よりなる入力画像を入力し、約20サイクルでネットワークを訓練した。
本願発明者らは、図7のCNNについて、SFEW(Static Facial Expression in the Wild)のデータベースを使用して、AGE画像を入力画像とした場合の表情認識の精度を確認する実験を行った。
従って、学習済みのCNNが出力する感情ラベルも、上記の7種類のうちのいずれかである。
誤り率は、表情認識に失敗する確率のことを意味する。例えば、誤り率=0.6は、10人の表情認識を行った場合に、6人が失敗で4人が成功であることを意味する。現状の深層CNNによる表情認識では、誤り率が0.6程度のものしか存在しない。
図8のグラフから明らかな通り、深層CNNを用いた表情認識において、入力画像としてAGE画像を採用すれば、表情認識の識別力が向上し、従来の生データ(RGB画像)を入力画像とする場合に比べて、表情認識の性能が有意に改善される。
図9は、本実施形態の広告管理システム10の全体構成図である。
本実施形態の広告管理システム10は、撮影画像に含まれる顔画像の表情認識を実行可能な画像処理装置1(図1参照)を広告の評価に利用する管理システムである。
広告表示装置11は、例えば、LED電光表示板、液晶ディスプレイなどよりなる。広告表示装置11は、広告制御装置13から受信した所定の広告画像を表示面に表示させる。広告画像は、静止画及び動画像のいずれでもよい。広告表示装置11は、広告用のポスターが貼り付けられる広告看板であってもよい。
撮影装置12は、視認者の顔が含まれるデジタル画像よりなる撮影画像を、広告制御装置13に送信する。撮影画像は、静止画及び動画像のいずれでもよい。
第1通信部16は、所定のI/Oインタフェース規格により、広告表示装置11及び撮影装置12と通信する通信装置よりなる。第1通信部16と広告表示装置11及び撮影装置12との通信は、有線通信及び無線通信のいずれであってもよい。
第2通信部17は、インターネットなどの公衆通信網を介して管理装置14と通信してもよいし(図9の場合)、構内通信網のみを経由して管理装置14と通信してもよいし、管理装置14と直接通信してもよい。第2通信部17と管理装置14との通信は、有線通信及び無線通信のいずれであってもよい。
記憶部19は、1又は複数のRAM(Random Access Memory)及びROM(Read Only Memory)などのメモリを含む記憶装置よりなる。記憶部19は、制御部18に実行させる各種のコンピュータプログラムや、管理装置14などから受信した各種のデータの、一時的又は非一時的な記録媒体として機能する。
かかるコンピュータプログラムは、CD−ROMやUSBメモリなどの一時的又は非一時的な記録媒体に記憶させることができる。
例えば、制御部18は、管理装置14が自局宛に送信した広告画像を第2通信部17が受信すると、受信した広告画像を広告表示装置11に送信するように、第1通信部16を制御する。その後、広告表示装置11は、受信した広告画像を表示面に表示する。
記憶部19は、顔画像の表情認識を実行可能な所定構造のCNN(例えば図7)や、当該CNNに対する学習済みの重み及びバイアスなどを記憶している。制御部18のGPUは、記憶部19が記憶する学習済みのCNNにより、撮影画像に含まれる視認者の顔画像に対する表情認識を実行する。
管理装置14は、1又は複数の広告制御装置13に対する広告画像の配信処理を実行可能である。具体的には、管理装置14は、管理者が入力した広告画像を所定の広告表示装置10宛てに送信する。従って、広告表示装置11の広告画像は切り替え可能である。
従って、管理者は、管理装置14が提示する集計結果に基づいて、広告画像の有意性の評価、広告画像の表示の継続又は中止、広告画像の改変などを判断できるようになる。
図10の棒グラフにおいて、横軸は、人間の表情に関する7種類(「平静」、「喜び」、「怒り」、「驚き」、「不快」、「悲しみ」、「嫌」)の分類クラスである。縦軸は、当該7種類の分類クラスの発生割合である。
この集計結果では、「喜び」の割合が他の分類クラスに比べて多くなっているので、多くの視認者が現状の広告画像を見て喜びを感じていると推定できる。
従って、図10上段の棒グラフのような集計結果が得られた場合には、管理者は、現状の広告画像による広告の継続を判断すべきと考えられる。
この集計結果では、「不快」及び「嫌」の割合が他の分類クラスに比べて多くなっているので、多くの視認者が現状の広告画像を見て不快を感じていると推定できる。
従って、図10下段の棒グラフのような集計結果が得られた場合には、管理者は、現状の広告画像による広告の中止、或いは、現状の広告画像に改変を加えることを判断すべきと考えられる。
また、広告制御装置13が撮影画像を管理装置14に転送し、管理装置14が撮影画像に含まれる顔画像の表情認識と、その分類及び集計を実行することにしてもよい。更に、広告制御装置13及び管理装置14は、1つのコンピュータ装置よりなる同じ筐体の制御装置で構成されていてもよい。
工程1) 所定の広告画像(静止画又は動画像)を広告表示装置11に表示する期間中に、当該広告表示装置11の前の視認者をカメラ12で撮影する。
工程3) 集計結果に基づいて、現状の広告画像の継続、中止及び改変などを管理者が判断する。
今回開示した実施形態(変形例を含む。)はすべての点で例示であって制限的なものではない。本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
例えば、上述の実施形態では、原画像から3種類の特徴を抽出することにより、3種類の入力画像(AGE画像)を生成しているが、当該3種類の特徴を含む4種類以上の特徴を抽出し、4種類以上の入力画像を生成することにしてもよい。
上述の実施形態において、広告制御装置13の制御部18は、顔画像の表情認識を精度よく行えるものであれば、深層CNN以外のアルゴリズムで当該表情認識を実行するものであってもよい。
2 画像生成部
3 CNN処理部(処理部)
4 学習部
5 出力部
7 サンプル画像
8 撮影画像
10 広告管理システム
11 広告表示装置
12 撮影装置
13 広告制御装置(制御装置)
14 管理装置(制御装置)
16 第1通信部
17 第2通信部
18 制御部
19 記憶部
Claims (8)
- 撮影画像に含まれる顔の表情を認識する方法であって、
少なくとも顔の凹凸情報、質感情報及び輪郭情報に関する特徴を有する学習用画像群を入力データとして、階層型ニューラルネットワークにパラメータを学習させる学習ステップと、
前記撮影画像から少なくとも前記3種類の情報に関する特徴をそれぞれ抽出して複数の入力画像を生成し、生成した前記複数の入力画像を入力データとして、前記撮影画像に含まれる顔の表情を学習済みの前記階層型ニューラルネットワークに認識させる認識ステップと、を含む表情認識方法。 - 前記階層型ニューラルネットワークは、畳み込みニューラルネットワークである請求項1に記載の表情認識方法。
- 前記凹凸情報は、各画素点における画素値の勾配ベクトルの方向角度であり、
前記質感情報は、各画素点における画素値の方向ベクトルのノルムであり、
前記輪郭情報は、画素値が急峻に変化する画素点の位置情報である請求項1又は請求項2に記載の表情認識方法。 - 前記学習ステップは、少なくとも前記3種類の情報に関する特徴を複数のサンプル画像からそれぞれ抽出することにより、前記学習用画像群を生成する生成ステップと、
生成した前記学習用画像群を入力データとして前記階層型ニューラルネットワークが出力する認識結果に基づいて、当該ネットワークの前記パラメータを更新する更新ステップと、を含む請求項1〜請求項3のいずれか1項に記載の表情認識方法。 - 前記生成ステップには、前記サンプル画像から抽出した顔画像に水平反射を施す処理が含まれる請求項4に記載の表情認識方法。
- 撮影画像に含まれる顔の表情を認識する装置であって、
少なくとも顔の凹凸情報、質感情報及び輪郭情報に関する特徴を有する学習用画像群を入力データとしてパラメータを学習した、階層型ニューラルネットワークを有する処理部と、
前記撮影画像から少なくとも前記3種類の情報に関する特徴をそれぞれ抽出して複数の入力画像を生成し、生成した前記複数の入力画像を前記処理部に入力する画像生成部と、
前記複数の入力画像を入力データとして学習済みの前記階層型ニューラルネットワークが出力した認識結果を、前記撮影画像の顔の表情として外部に出力する出力部と、を備える表情認識装置。 - 画像処理を実行可能なコンピュータ装置に、撮影画像に含まれる顔の表情を認識する処理を実行させるためのコンピュータプログラムであって、
少なくとも顔の凹凸情報、質感情報及び輪郭情報に関する特徴を有する学習用画像群を入力データとして、階層型ニューラルネットワークにパラメータを学習させる学習ステップと、
前記撮影画像から少なくとも前記3種類の情報に関する特徴をそれぞれ抽出して複数の入力画像を生成し、生成した前記複数の入力画像を入力データとして、前記撮影画像に含まれる顔の表情を学習済みの前記階層型ニューラルネットワークに認識させる認識ステップと、を含むコンピュータプログラム。 - 広告表示装置と、
前記広告表示装置が表示する広告画像の視認者を撮影する撮影装置と、
請求項6に記載の表情認識装置を有する制御装置と、を備える広告管理システムであって、
前記制御装置は、前記撮影装置が撮影した前記視認者を含む撮影画像から当該視認者の表情を認識する認識処理と、前記表情の認識結果を集計する集計処理と、集計結果を広告の管理者に提示する提示処理と、を実行する広告管理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191819A JP6788264B2 (ja) | 2016-09-29 | 2016-09-29 | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191819A JP6788264B2 (ja) | 2016-09-29 | 2016-09-29 | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055470A true JP2018055470A (ja) | 2018-04-05 |
JP6788264B2 JP6788264B2 (ja) | 2020-11-25 |
Family
ID=61835855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016191819A Expired - Fee Related JP6788264B2 (ja) | 2016-09-29 | 2016-09-29 | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6788264B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960093A (zh) * | 2018-06-21 | 2018-12-07 | 阿里体育有限公司 | 脸部转动角度的识别方法及设备 |
KR20190128933A (ko) * | 2018-05-09 | 2019-11-19 | 연세대학교 산학협력단 | 시공간 주의 기반 감정 인식 장치 및 방법 |
KR20190141390A (ko) * | 2018-06-14 | 2019-12-24 | 한림대학교 산학협력단 | 핸즈프리 안경형 보청장치, 이를 제어하기 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
CN110738226A (zh) * | 2018-07-20 | 2020-01-31 | 马上消费金融股份有限公司 | 身份识别方法及装置、存储介质及电子设备 |
CN111325190A (zh) * | 2020-04-01 | 2020-06-23 | 京东方科技集团股份有限公司 | 一种表情识别方法、装置、计算机设备及可读存储介质 |
CN111488856A (zh) * | 2020-04-28 | 2020-08-04 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别 |
CN111539911A (zh) * | 2020-03-23 | 2020-08-14 | 中国科学院自动化研究所 | 一种口呼吸面容识别方法、设备和存储介质 |
CN111667559A (zh) * | 2020-05-27 | 2020-09-15 | 西北工业大学 | 一种基于深度迁移网络的多形态人脸情感生成方法 |
KR20200128565A (ko) * | 2018-07-23 | 2020-11-13 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 단말 및 컴퓨터 판독 가능 저장 매체 |
JP2022515719A (ja) * | 2018-12-29 | 2022-02-22 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 顔属性認識方法及び装置、電子機器並びに記憶媒体 |
CN114821699A (zh) * | 2022-03-02 | 2022-07-29 | 西北工业大学 | 一种基于抑制模糊度自训练的人脸表情识别方法 |
WO2022259520A1 (ja) * | 2021-06-11 | 2022-12-15 | 株式会社Subaru | 画像処理装置および車両 |
CN116168443A (zh) * | 2023-04-25 | 2023-05-26 | 安徽大学 | 一种基于信息差知识蒸馏的遮挡面部情绪识别方法 |
WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087346A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2008009728A (ja) * | 2006-06-29 | 2008-01-17 | Ritsumeikan | 表情認識方法及び表情認識装置 |
JP2010271872A (ja) * | 2009-05-20 | 2010-12-02 | Canon Inc | 画像認識装置、撮像装置及び画像認識方法 |
-
2016
- 2016-09-29 JP JP2016191819A patent/JP6788264B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087346A (ja) * | 2005-09-26 | 2007-04-05 | Canon Inc | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2008009728A (ja) * | 2006-06-29 | 2008-01-17 | Ritsumeikan | 表情認識方法及び表情認識装置 |
JP2010271872A (ja) * | 2009-05-20 | 2010-12-02 | Canon Inc | 画像認識装置、撮像装置及び画像認識方法 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190128933A (ko) * | 2018-05-09 | 2019-11-19 | 연세대학교 산학협력단 | 시공간 주의 기반 감정 인식 장치 및 방법 |
KR102128158B1 (ko) | 2018-05-09 | 2020-06-29 | 연세대학교 산학협력단 | 시공간 주의 기반 감정 인식 장치 및 방법 |
KR20190141390A (ko) * | 2018-06-14 | 2019-12-24 | 한림대학교 산학협력단 | 핸즈프리 안경형 보청장치, 이를 제어하기 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
KR102078458B1 (ko) * | 2018-06-14 | 2020-02-17 | 한림대학교 산학협력단 | 핸즈프리 안경형 보청장치, 이를 제어하기 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
CN108960093A (zh) * | 2018-06-21 | 2018-12-07 | 阿里体育有限公司 | 脸部转动角度的识别方法及设备 |
CN110738226B (zh) * | 2018-07-20 | 2021-09-03 | 马上消费金融股份有限公司 | 身份识别方法及装置、存储介质及电子设备 |
CN110738226A (zh) * | 2018-07-20 | 2020-01-31 | 马上消费金融股份有限公司 | 身份识别方法及装置、存储介质及电子设备 |
JP2021524957A (ja) * | 2018-07-23 | 2021-09-16 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 画像処理方法およびその、装置、端末並びにコンピュータプログラム |
KR20200128565A (ko) * | 2018-07-23 | 2020-11-13 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 단말 및 컴퓨터 판독 가능 저장 매체 |
KR102635373B1 (ko) * | 2018-07-23 | 2024-02-07 | 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 단말 및 컴퓨터 판독 가능 저장 매체 |
US11631275B2 (en) | 2018-07-23 | 2023-04-18 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, terminal, and computer-readable storage medium |
JP2022515719A (ja) * | 2018-12-29 | 2022-02-22 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 顔属性認識方法及び装置、電子機器並びに記憶媒体 |
CN111539911A (zh) * | 2020-03-23 | 2020-08-14 | 中国科学院自动化研究所 | 一种口呼吸面容识别方法、设备和存储介质 |
US12002289B2 (en) | 2020-04-01 | 2024-06-04 | Boe Technology Group Co., Ltd. | Expression recognition method and apparatus, computer device, and readable storage medium |
CN111325190A (zh) * | 2020-04-01 | 2020-06-23 | 京东方科技集团股份有限公司 | 一种表情识别方法、装置、计算机设备及可读存储介质 |
WO2021196928A1 (zh) * | 2020-04-01 | 2021-10-07 | 京东方科技集团股份有限公司 | 表情识别方法、装置、计算机设备及可读存储介质 |
CN111325190B (zh) * | 2020-04-01 | 2023-06-30 | 京东方科技集团股份有限公司 | 一种表情识别方法、装置、计算机设备及可读存储介质 |
CN111488856B (zh) * | 2020-04-28 | 2023-04-18 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别方法 |
CN111488856A (zh) * | 2020-04-28 | 2020-08-04 | 江西吉为科技有限公司 | 一种基于正交引导学习的多模态2d及3d人脸表情识别 |
CN111667559B (zh) * | 2020-05-27 | 2022-08-02 | 西北工业大学 | 一种基于深度迁移网络的多形态人脸情感生成方法 |
CN111667559A (zh) * | 2020-05-27 | 2020-09-15 | 西北工业大学 | 一种基于深度迁移网络的多形态人脸情感生成方法 |
WO2022259520A1 (ja) * | 2021-06-11 | 2022-12-15 | 株式会社Subaru | 画像処理装置および車両 |
JP7480436B2 (ja) | 2021-06-11 | 2024-05-09 | 株式会社Subaru | 画像処理装置および車両 |
CN114821699A (zh) * | 2022-03-02 | 2022-07-29 | 西北工业大学 | 一种基于抑制模糊度自训练的人脸表情识别方法 |
CN114821699B (zh) * | 2022-03-02 | 2024-03-08 | 西北工业大学 | 一种基于抑制模糊度自训练的人脸表情识别方法 |
WO2023185243A1 (zh) * | 2022-03-29 | 2023-10-05 | 河南工业大学 | 基于注意力调制上下文空间信息的表情识别方法 |
CN116168443A (zh) * | 2023-04-25 | 2023-05-26 | 安徽大学 | 一种基于信息差知识蒸馏的遮挡面部情绪识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6788264B2 (ja) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6788264B2 (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
CN114514562B (zh) | 预测性个性化三维身体模型 | |
CN110662484B (zh) | 用于全身测量结果提取的***和方法 | |
CN109196526B (zh) | 用于生成多模态数字图像的方法和*** | |
JP6964857B2 (ja) | 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム | |
WO2021143101A1 (zh) | 人脸识别方法和人脸识别装置 | |
CN105069400B (zh) | 基于栈式稀疏自编码的人脸图像性别识别*** | |
CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及*** | |
CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
JP6207210B2 (ja) | 情報処理装置およびその方法 | |
CN108256426A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
KR20210028185A (ko) | 사람 자세 분석 시스템 및 방법 | |
JP2021517330A (ja) | 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置 | |
CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
EP4006777A1 (en) | Image classification method and device | |
CN110930297A (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
CN112633288B (zh) | 一种基于绘画笔触指导的人脸素描生成方法 | |
CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
CN115205933A (zh) | 面部表情识别方法、装置、设备及可读存储介质 | |
WO2021213012A1 (zh) | 体重检测方法、人体特征参数检测方法及装置 | |
Tunc et al. | Age group and gender classification using convolutional neural networks with a fuzzy logic-based filter method for noise reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161018 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201023 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6788264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |