JP4315234B2 - 撮像装置および表情評価装置 - Google Patents
撮像装置および表情評価装置 Download PDFInfo
- Publication number
- JP4315234B2 JP4315234B2 JP2008209119A JP2008209119A JP4315234B2 JP 4315234 B2 JP4315234 B2 JP 4315234B2 JP 2008209119 A JP2008209119 A JP 2008209119A JP 2008209119 A JP2008209119 A JP 2008209119A JP 4315234 B2 JP4315234 B2 JP 4315234B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- expression evaluation
- image
- evaluation value
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008921 facial expression Effects 0.000 title claims description 231
- 238000011156 evaluation Methods 0.000 title claims description 168
- 238000003384 imaging method Methods 0.000 title claims description 99
- 230000014509 gene expression Effects 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 62
- 238000000034 method Methods 0.000 description 32
- 230000000875 corresponding effect Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 239000013598 vector Substances 0.000 description 27
- 238000000513 principal component analysis Methods 0.000 description 26
- 230000004044 response Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
また、本発明の他の目的は、被撮影者あるいは撮影者にとってより満足度の高い画像を撮像することが可能な表情評価装置を提供することである。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図2に示すように、この撮像装置は、上記各撮像動作モードを実現するための機能として、顔検出部31、顔画像生成部32、表情評価部41、報知制御部42、および記録動作制御部43を備えている。本実施の形態では、顔検出部31および顔画像生成部32は、カメラ信号処理回路14内のハードウェアによって実現され、表情評価部41、報知制御部42および記録動作制御部43は、マイクロコンピュータ19によって実行されるソフトウェアの機能として実現される。ただし、これらの機能のそれぞれは、ハードウェアあるいはソフトウェアのいずれによって実現されてもよい。また、マイクロコンピュータ19は、表情評価部41による表情評価演算に用いるための判別軸情報44を、その内部のROMなどのメモリにあらかじめ保持している。後述するように、判別軸情報44は、2つの表情についての多数の顔のサンプルデータから主成分分析によって得た信号成分を基に、線形判別分析を行って得た表情の判別軸を示すベクトルの係数情報などを含む。
表情評価モードでは、まず、顔検出部31が、撮像素子12による撮像により得られ、カメラ信号処理回路14内を伝達される画像データを基に、その画像から被撮影者の顔を検出する(ステップS1)。そして、検出した顔の領域を示す検出情報を顔画像生成部32に出力する。なお、本実施の形態のように、表情評価値に応じた情報をディスプレイ16に表示することで報知する場合、顔検出部31からの顔の検出情報は、マイクロコンピュータ19の報知制御部42にも供給される。
この図4に示すように、表情評価値は、顔の表情が笑顔である度合いが強いほど高くなり、通常時の表情である度合いが高いほど低くなる。また、バーグラフに示される笑顔スコアは、表情評価値に比例して連続的あるいは段階的に変動する。このバーグラフは、被撮影者側に向けられたディスプレイ16に表示され、被撮影者は撮像時にこのバーグラフをリアルタイムで視認することで、自分の表情が撮像に適した笑顔になっているか否かを認識できる。その結果、バーグラフは、被撮影者に対して撮像に適した表情になるように促し、より良好な画像を撮像できるように撮像動作を補助する機能を果たす。なお、後述するように、表情評価値の低い被撮影者に対して、笑顔を促すような具体的な文字情報などを表示してもよい。
図5は、バーグラフを用いた笑顔スコアの画面表示例を示す図である。
図7の例でも、図6と同様に2つの顔211および212が検出され、顔211については十分に強い笑顔であると評価され、顔212については笑顔の度合いが足りないと評価されている。また、図7の例では、顔211および212の各領域の近傍に、表情評価値に応じた記号217および218を示すことで、表情評価値の違いを被撮影者に報知している。
図8は、表情評価のために事前に生成すべき情報と、その情報生成の流れについて概念的に示す図である。
図9(A)のように、顔221が所定サイズの矩形領域に撮像されたサンプル画像Pをそのまま用いてPCA処理を行った場合、顔221の背景や髪などの影響により、適切な主成分を必ずしも選択できない場合があり得る。このため、図9(B)のように、顔221以外の領域にマスク222をかけて、できるだけ顔領域のみが残されたサンプル画像P1に変換し、顔の情報濃度を上げた状態でPCA処理することで、より高精度な次元圧縮を行うことができる。さらに、顔領域の中でも口は表情によって大きく変化し、擾乱要素となることが多いので、図9(C)のように口の領域までもマスク223をかけたサンプル画像P2を用いてPCA処理することで、さらに次元圧縮の精度を高めることができる。
上記の判別軸Adを用いた表情判別の基本的な手順は、まず、撮像画像から検出された顔の画像データをPCA処理し、主成分を抽出する。そして、この顔画像の表情は、図10のPCA空間Spcaに示すように、PCA処理された顔画像ベクトル(入力顔画像ベクトル)の判別軸Adに対する射影成分として評価される。すなわち、表情評価値Eexpの演算は、入力顔画像ベクトルとフィッシャー・ベクトルとの内積により算出できる(式(5−1)参照)。
本実施の形態では、例として、サンプル画像のPCA処理結果に基づき、PCA空間における笑顔の顔画像および通常の表情の顔画像のそれぞれの分布の平均を求め、これらの平均の判別軸Adに対する射影点を決めておく。そして、各平均の射影点の中点を基準として表情評価値Eexpを数値に換算する。すなわち、図11のように、入力顔画像の判別軸に対する射影点と平均の射影点の中点との距離を表情評価値Eexpとし、笑顔のサンプル画像の分布している側を正の数値とする。これにより、検出された顔の画像が笑顔と通常の表情のどちらに近いかを連続的な数値として出力できるようになり、表情評価値Eexpが高いほど強い笑顔であると評価される。
図13は、本発明の第2の実施の形態に係る撮像装置の外観を示す図である。
本実施の形態では、表情評価値に応じた情報を、図1の構成の中のLED発光部21の一部を用いて被撮影者に報知する。図13に示した撮像装置110は、撮像レンズ111やフラッシュ発光部112などが搭載された面に、表情評価値に応じた情報を報知するための専用のLED発光部21aが設けられている。LED発光部21aには複数のLED21b〜21fが1つの線上に設けられており、それらの一方からのLEDの点灯数により、表情評価値に応じた情報(ここでは笑顔スコア)が被撮影者に通知される。このような構成により、表示面方向可変のディスプレイを持たないデジタルスチルカメラなどの撮像装置においても、表情評価値に応じた情報を被撮影者に報知して、適切な画像が記録されるように撮像動作を補助することができる。また、LEDなどの小型の発光デバイスを用いることで、撮像装置本体の大型化を最小限に留めることができる。
図14は、本発明の第3の実施の形態に係る撮像装置の外観を示す図である。
図14に示す撮像装置120では、撮像レンズ121やフラッシュ発光部122などが搭載された面に、1つのLEDのみを持つLED発光部21gが設けられている。このようなLED発光部21gにおいては、表情評価値に応じて、例えば、LEDの点滅速度を変える、LEDの輝度や色を変えることなどによって、笑顔スコアを被撮影者に報知することが可能である。例えば、表情評価値が大きくなるに連れて、LEDの色を赤、緑、青に徐々に変化させる、あるいは、LEDを徐々に明るくするなどの制御が可能である。このように、1つのLEDのみ用いることで、撮像装置本体の大型化をさらに顕著に阻止できる。
図15は、本発明の第4の実施の形態に係る撮像装置の外観を示す図である。
上記の各実施の形態では、表情評価値に応じた情報を視覚的に報知していた。これに対して、本実施の形態では、図2に示した音声出力部22を用いて、表情評価値に応じた情報を音声により報知する。図15に示した撮像装置130では、撮像レンズ131が搭載された側にスピーカ22aを設け、表情評価値に応じて異なる音声を再生出力させる。出力する音声としては、例えば、図5や図6に示した文字情報と同様、笑顔である度数が低いほどより強い笑顔にするように、被撮影者に対して促すような音声とする。この場合、撮像装置130は、再生すべき音声のデータを、表情評価値に対して段階的に対応付けてあらかじめ保持しておけばよい。また、表情評価値に応じて音の高さや出力間隔を変える手法や、表情評価値に応じて異なるメロディの音声を出力する手法などを採ってもよい。なお、音声による報知と、視覚的な情報による報知とが併用されてもよい。
図16は、本発明の第5の実施の形態に係るPC(パーソナルコンピュータ)の外観を示す図である。
Claims (13)
- 固体撮像素子を用いて画像を撮像する撮像装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
算出された前記表情評価値の大きさを視覚的に示す報知情報を報知する報知部と、
前記表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録する画像記録制御部と、
を有し、
前記報知部は、前記表情評価値に応じて変化する前記報知情報と、前記しきい値の位置を前記報知情報の変化に対応させて示すしきい値情報とを、視覚的な情報として報知することを特徴とする撮像装置。 - 前記表情評価部は、前記特定の表情に含まれると判断される複数の顔データに基づく第1の顔集合と、前記特定の表情以外の表情に含まれると判断される複数の顔データに基づく第2の顔集合との間において、前記第1の顔集合にどれだけ近いかの度合いを示す前記表情評価値を算出することを特徴とする請求項1記載の撮像装置。
- 前記表情評価部は、前記特定の表情として笑顔を適用し、検出された顔が笑顔にどれだけ近いかの度合いを前記表情評価値として算出することを特徴とする請求項1記載の撮像装置。
- 前記表情評価部は、前記特定の表情以外の表情として、通常の表情を適用することを特徴とする請求項3記載の撮像装置。
- 前記表情評価部は、前記特定の表情以外の表情として、笑顔以外の表情を適用することを特徴とする請求項3記載の撮像装置。
- 前記しきい値をユーザの入力操作に応じて変更可能であることを特徴とする請求項1記載の撮像装置。
- 前記報知部は、前記表情評価値の大きさをバーの長さで示すバー表示画像を表示装置に表示するとともに、前記しきい値の位置を示す位置表示画像を前記バー表示画像上に表示し、
ユーザによる入力操作に応じて前記しきい値が変更されるとともに、前記しきい値の変更に応じて前記バー表示画像上での前記位置表示画像の位置も変化することを特徴とする請求項1記載の撮像装置。 - 前記画像記録制御部は、ユーザによる画像記録操作を検出すると、一定時間後に前記表情評価部から前記表情評価値を取得し、当該表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録することを特徴とする請求項1記載の撮像装置。
- 前記報知部は、前記報知情報を被撮影者側に向けて報知することを特徴とする請求項1記載の撮像装置。
- 前記報知部は、前記表情評価値に応じた前記報知情報を撮像中の画像とともに表示装置に表示することを特徴とする請求項9記載の撮像装置。
- 前記報知部は、前記報知情報として、前記表情評価値の大きさをバーの長さで示すバー表示画像を前記表示装置に表示することを特徴とする請求項10記載の撮像装置。
- 前記報知部は、前記報知情報として、前記表情評価値の大きさに応じた異なる報知音声をさらに出力することを特徴とする請求項1記載の撮像装置。
- 固体撮像素子を用いて撮像された顔の表情を評価する表情評価装置において、
撮像によって得られた画像信号が記録媒体に記録されるまでの期間において、その画像信号から人物の顔を検出する顔検出部と、
検出された顔の表情を評価し、特定の表情とそれ以外の表情との間において、前記特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、
前記表情評価値が所定のしきい値を超えた場合に、撮像によって得られた画像信号を記録媒体に自動的に記録させる画像記録制御部と、
算出された前記表情評価値の大きさに応じて変化する報知情報と、前記しきい値の位置を前記報知情報の変化に対応させて示すしきい値情報とを、視覚的な情報として報知するための表示情報を生成する表示情報生成部と、
を有することを特徴とする表情評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008209119A JP4315234B2 (ja) | 2008-08-15 | 2008-08-15 | 撮像装置および表情評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008209119A JP4315234B2 (ja) | 2008-08-15 | 2008-08-15 | 撮像装置および表情評価装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006211000A Division JP4197019B2 (ja) | 2006-08-02 | 2006-08-02 | 撮像装置および表情評価装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008289189A JP2008289189A (ja) | 2008-11-27 |
JP4315234B2 true JP4315234B2 (ja) | 2009-08-19 |
Family
ID=40148407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008209119A Expired - Fee Related JP4315234B2 (ja) | 2008-08-15 | 2008-08-15 | 撮像装置および表情評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4315234B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010147808A (ja) * | 2008-12-18 | 2010-07-01 | Olympus Imaging Corp | 撮像装置および撮像装置における画像処理方法 |
JP5488961B2 (ja) * | 2009-07-27 | 2014-05-14 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5431083B2 (ja) * | 2009-09-16 | 2014-03-05 | オリンパスイメージング株式会社 | 撮影装置および撮影装置の制御方法 |
JP5381798B2 (ja) * | 2010-02-23 | 2014-01-08 | 株式会社デンソー | 車両用表示装置 |
KR101661657B1 (ko) * | 2010-05-14 | 2016-10-04 | 엘지이노텍 주식회사 | 인물 촬영 장치 및 방법 |
KR101659565B1 (ko) * | 2010-06-30 | 2016-09-23 | 엘지이노텍 주식회사 | 인물 촬영 장치 및 방법 |
JP2012053663A (ja) * | 2010-09-01 | 2012-03-15 | Honda Motor Co Ltd | 物体種別判定装置 |
JP2012216951A (ja) * | 2011-03-31 | 2012-11-08 | Toshiba Corp | 電子機器およびインジケータの制御方法 |
DE112016002564T5 (de) * | 2015-06-08 | 2018-03-22 | Sony Corporation | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm |
US11191341B2 (en) | 2018-01-11 | 2021-12-07 | Casio Computer Co., Ltd. | Notification device, notification method, and storage medium having program stored therein |
JP7225749B2 (ja) * | 2018-01-11 | 2023-02-21 | カシオ計算機株式会社 | 報知装置、報知方法及びプログラム |
CN114173061B (zh) * | 2021-12-13 | 2023-09-29 | 深圳万兴软件有限公司 | 一种多模态摄像控制方法、装置、计算机设备及存储介质 |
-
2008
- 2008-08-15 JP JP2008209119A patent/JP4315234B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008289189A (ja) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4197019B2 (ja) | 撮像装置および表情評価装置 | |
JP4315234B2 (ja) | 撮像装置および表情評価装置 | |
JP4973098B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5251547B2 (ja) | 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム | |
KR101795601B1 (ko) | 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체 | |
US8350918B2 (en) | Image capturing apparatus and control method therefor | |
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
KR101537948B1 (ko) | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 | |
JP2007304280A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP2008205650A (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
JP5106355B2 (ja) | 表情判定装置、その制御方法、撮像装置及びプログラム | |
US20130235228A1 (en) | Image processing apparatus and method, and program | |
JP4891674B2 (ja) | カメラ | |
JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
JP2008167028A (ja) | 撮像装置 | |
JP2006340281A (ja) | 画像撮像装置 | |
KR101474304B1 (ko) | 얼굴 표정을 인식하는지에 따라 얼굴 영역을 상이하게가리키는 디지털 영상 처리 장치의 제어 방법 및 상기방법을 실행하는 디지털 영상 처리 장치 | |
JP2009302835A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4315234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |