JP5106355B2 - Facial expression determination device, control method thereof, imaging device, and program - Google Patents
Facial expression determination device, control method thereof, imaging device, and program Download PDFInfo
- Publication number
- JP5106355B2 JP5106355B2 JP2008291494A JP2008291494A JP5106355B2 JP 5106355 B2 JP5106355 B2 JP 5106355B2 JP 2008291494 A JP2008291494 A JP 2008291494A JP 2008291494 A JP2008291494 A JP 2008291494A JP 5106355 B2 JP5106355 B2 JP 5106355B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- facial expression
- face
- facial
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、表情判定装置、その制御方法、撮像装置及びプログラムに関する。 The present invention relates to a facial expression determination device, a control method thereof, an imaging device, and a program.
従来から、人物が撮影された画像データから顔領域を検出し、検出された顔領域に含まれる顔の表情が笑顔に代表される特定の表情であるか否かを判定する方法が知られている。撮影された画像データの中の顔から特定の表情として笑顔を判定する方法は大別すると２つある。 Conventionally, there has been known a method for detecting a face area from image data obtained by photographing a person and determining whether a facial expression included in the detected face area is a specific expression represented by a smile. Yes. There are roughly two methods for determining a smile as a specific expression from a face in captured image data.
１つ目の表情判定方法は、図１１（ａ）に示すように、１枚の画像Ｇ１に写っている顔から判定する方法である。この方法では、検出すべき特定の表情である笑顔の特徴量を含む笑顔データＤ１と照合することによって、画像Ｇ１に写っている顔が笑顔であるか否かを判定する。 The first expression determination method is a method for determining from a face shown in one image G1, as shown in FIG. In this method, it is determined whether or not the face shown in the image G1 is a smile by collating it with smile data D1 including a feature amount of a smile that is a specific facial expression to be detected.
２つ目の表情判定方法は、予め特定の表情の顔が写った画像を登録しておき、その登録された画像と判定したい顔が写った画像とを比較することで、その差分や類似度から特定の表情を判定する方法である。具体的には、図１１（ｂ）に示すように、予め登録された画像Ｇ２と、笑顔であるか否かを判定したい顔が写った画像Ｇ３の差分から笑顔の判定を行う。この方法では、事前に人物の無表情の顔を撮影して画像Ｇ２として登録しておく。そして、登録した画像Ｇ２と画像Ｇ３とを比較し、目尻や口角付近の変化量からその顔が笑顔であるか否かを判定する。 The second facial expression determination method registers an image in which a face with a specific facial expression is recorded in advance, and compares the registered image with an image in which a face to be determined is captured, so that the difference or similarity It is a method of determining a specific facial expression from Specifically, as shown in FIG. 11B, smile determination is performed from a difference between an image G2 registered in advance and an image G3 in which a face to be determined whether or not it is a smile. In this method, an expressionless face of a person is photographed in advance and registered as an image G2. Then, the registered image G2 is compared with the image G3, and it is determined whether or not the face is a smile from the amount of change near the corners of the eyes and the mouth corners.
また、特許文献１には、類似度から特定の表情を判定する技術が開示されている。具体的には、予め特定の表情をした人物の画像を登録しておき、登録された画像及び人物の表情を検出する検出対象の画像から顔部品の輪郭を示す特徴点を抽出する。そして、抽出された特徴点の類似度から検出対象の画像の写った人物が特定の表情に類似しているか否かを検出する。
上述した１つ目の判定方法では、１枚の画像から判定を行うため検出速度は速いが、表情の変化が乏しい人であり、笑顔になったときの表情の変化が少ない人の場合は検出が困難となるため検出精度が低いという特徴がある。また、上述した２つ目の判定方法では、２枚の画像から判定を行うため検出速度が遅く、予め特定の表情をした人物の画像を登録する手間がかかるが、微少な変化であっても検出できるため検出精度が高いという特徴がある。 In the first determination method described above, the detection speed is fast because the determination is performed from one image, but detection is performed for a person who has a small change in facial expression and a small change in facial expression when smiling. Therefore, the detection accuracy is low. Further, in the second determination method described above, since the determination is performed from two images, the detection speed is slow, and it takes time to register a person image with a specific facial expression in advance. Since it can detect, it has the feature that detection accuracy is high.
しかしながら、上記従来技術は、２つの表情判定方法を切り替えて行う仕組みが存在しておらず、状況に応じてそれぞれの特徴を生かすことができないため、使い勝手が悪いものであった。 However, the above prior art does not have a mechanism for switching between the two facial expression determination methods, and cannot use each feature according to the situation, so it is inconvenient.
本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、２つの表情判定方法を切り替え可能な表情判定装置、その制御方法及びプログラムの提供を目的とする。 The present invention has been made for the purpose of solving such problems of the prior art. An object of the present invention is to provide an expression determination device capable of switching between two expression determination methods, a control method thereof, and a program.
上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出された顔が所定の表情であるか否かを判定する表情判定装置であって、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出手段と、前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、前記表情判定手段において前記第１の判定モード、又は、前記第２の判定モードのいずれによって表情判定するかを、予め定められた判定条件に応じて前記表情判定手段に設定する制御手段と、を備え、前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置によって達成される。 The above object has a detection means for detecting a face of a person from the input image data, the detected face is a determining expression determination device whether or not the predetermined expression, was the detected face fEATURES amount of the face parts constituting the extraction means for extracting for each relevant face part, based on the feature amount of each extracted facial components by the extraction unit, a first determination mode, or the first determination in either determination mode different from the second determination mode, the and the detected face is determined facial expression determination unit configured to determine whether the a predetermined expression, you have to first to the facial expression determination unit mode, or one by one expression determines the second judgment mode, and a control means for setting the facial expression determination unit according to a predetermined judgment condition, the first determination mode, Face part extracted by the extraction means A determination mode for determining whether or not the detected face is the predetermined facial expression based on a correlation between a feature amount for each and a reference value indicating the predetermined facial expression, Is determined based on the difference between the feature quantity for each facial part extracted by the extracting means and the feature quantity for each facial part constituting the face of the reference expression stored in advance. face Oh Ru in determination mode whether the a predetermined expression is achieved by the facial expression determination apparatus characterized by.
また、上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置の制御方法であって、抽出手段が、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出工程と、表情判定手段が、前記抽出工程において抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、制御手段が、前記表情判定工程で用いる判定モードを、予め定められた判定条件に応じて、前記第１の判定モード及び前記第２の判定モードのいずれかに設定する制御工程と、を有し、前記第１の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、前記第２の判定モードは、前記抽出手段において抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置の制御方法によっても達成される。 The above-described object includes a detection means for detecting a face of a person from the input image data, the detected face is a control method for determining the facial expression determination unit whether a predetermined expression, extraction means a feature amount of the face part constituting the detected face, an extraction step of extracting for each relevant face part, facial expression determination means, the feature amount of each Oite extracted face parts in the extraction step A facial expression determination that determines whether the detected face is the predetermined facial expression in either the first determination mode or a second determination mode that is different from the first determination mode a step, control means, a determination mode used in the facial expression determination step, a control step in response to a predetermined determination condition, any crab set of the first determination mode and the second determination mode, has the first determination mode, the Whether or not the detected face is the predetermined facial expression is determined based on the correlation between the feature amount of each facial part extracted in the exiting step and the reference value indicating the predetermined facial expression. A determination mode, wherein the second determination mode is a difference between a feature amount for each facial part extracted by the extracting means and a feature amount for each facial part constituting a face of a facial expression serving as a reference stored in advance. based on the detected face Oh Ru in determination mode whether the a predetermined expression is achieved by the control method of the facial expression determination apparatus characterized by.
本発明によれば、２つの表情判定方法を切り替えることができる。 According to the present invention, two facial expression determination methods can be switched.
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments. Further, the embodiment of the present invention shows the most preferable mode of the invention, and does not limit the scope of the invention.
［第１の実施形態］
第１の実施形態では、人物の表情を検出する表情判定装置の例として、笑顔であるか否かを判定する撮像装置の構成を例示して説明する。図１は、第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
[First Embodiment]
In the first embodiment, as an example of a facial expression determination apparatus that detects a facial expression of a person, a configuration of an imaging apparatus that determines whether or not a smile is illustrated will be described. FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus according to the first embodiment.
図１に示すように、撮像装置１００では、レンズ系１によって被写体像を表す光線が集光され、ＣＣＤなどの撮像素子２に入射する。撮像素子２は、レンズ系１によって集光された被写体像を光電変換してアナログ映像信号を出力する。撮像素子２から出力されたアナログ映像信号はアナログ信号処理部３に入力される。アナログ信号処理部３は、入力されたアナログ映像信号に相関二重サンプリング等のアナログ信号処理を施す。アナログ信号処理の後、アナログ信号処理部３から出力されたアナログ映像信号は、Ａ／Ｄ変換部４においてデジタル映像信号に変換され、制御回路１１及びデジタル信号処理部５に入力される。
As shown in FIG. 1, in the
デジタル信号処理部５は、入力されたデジタル映像信号にガンマ補正、ホワイトバランス処理などのデジタル信号処理を施す。デジタル信号処理の後、デジタル信号処理部５から出力されたデジタル映像信号はメモリ７を介して表示部１０に送られる。なお、後述する笑顔判定処理モードが設定されている場合、デジタル信号処理部５は、デジタル信号処理後のデジタル映像信号を表情判定処理部６にも出力する。表情判定処理部６は、入力されたデジタル映像信号における画像から人物の顔領域を検出し、その検出された顔領域に含まれる顔の表情を判定する。なお、表情判定処理部６における判定処理の詳細は後述する。
The digital signal processing unit 5 performs digital signal processing such as gamma correction and white balance processing on the input digital video signal. After the digital signal processing, the digital video signal output from the digital signal processing unit 5 is sent to the
メモリ７は、デジタル信号処理部５から出力されたデジタル映像信号などのデータを一時的に記憶するＲＡＭなどである。記憶制御部８は、メモリカードなどの外部メモリ９と着脱可能に接続するインターフェイス（図示しない）を介し、外部メモリ９へのデータの記録や外部メモリ９からのデータの読み出しを制御する。例えば、撮像素子２で被写体像を撮像してメモリ７に一時的に記憶された画像データは、記憶制御部８によりメモリ７から読み出されて、外部メモリ９に記録される。
The
表示部１０は、ＬＣＤなどであり入力されたデジタル映像信号に基づいた画像を表示する。具体的には、表示部１０は、撮像素子２で被写体像を撮像し、デジタル信号処理部５から出力されたデジタル映像信号により、表示画面上に被写体像を表示する。したがって、撮像装置１００は、撮像素子２で逐次撮像した被写体像を表示部１０の表示画面上に表示することで、電子ビューファインダ（ＥＶＦ）機能を提供する。
The
制御回路１１は、撮像装置１００の動作を中央制御する。具体的には、制御回路１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有しており、ＣＰＵがＲＯＭに記憶されたプログラムデータをＲＡＭの作業領域に展開して順次実行し、撮像装置１００の各部に制御信号を出力して各部を制御している。なお、制御回路１１が行う処理動作の詳細については後述する。また、制御回路１１は、Ａ／Ｄ変換部４から出力されたデジタル映像信号の輝度値やコントラスト値に基づいて、焦点調整を行うためにレンズ系１を駆動させるモータ（図示しない）の制御や、撮像素子２の露光時間を制御する。
The
操作部１２は、ユーザからの指示を受け付ける操作ボタンなどであり、操作指示に応じた信号を制御回路１１に出力する。具体的には、操作部１２は、撮影指示を受け付けるシャッターボタン、レンズ系１の動作モードに関する指示を受け付ける動作モードボタン、各種設定を受け付ける設定ボタンなどがある。例えば、操作部１２のシャッターボタンが押下された場合は、制御回路１１の制御の下、撮像素子２で被写体像が撮影されてメモリ７に撮影した画像データが一時記憶される。次いで、メモリ７に一時記憶された画像データは、記憶制御部８によって読み出され、外部メモリ９に記録されることとなる。
The operation unit 12 is an operation button or the like that receives an instruction from the user, and outputs a signal corresponding to the operation instruction to the
次に、制御回路１１の制御の下で行われる撮像装置１００の処理動作について説明する。以下で説明する処理動作は、操作部１２のシャッターボタンの押下に応じて開始される撮影動作である。すなわち、撮影動作では、制御手段としての制御回路１１の制御の下、Ｓ３６における笑顔判定に応じたＳ３７において、撮像手段としての撮像素子２での撮影と、その撮影した画像データの記録手段としての外部メモリ９への記録が行われることとなる。なお、上述した処理動作は、表示手段としての表示部１０でＥＶＦ表示を行っている際などに開始されてもよい。この場合は、制御手段としての制御回路１１の制御の下、Ｓ３６における笑顔判定に応じたＳ３７において、笑顔判定に応じた判定結果が表示部１０に表示出力されることとなる。図２は、撮像装置１００の処理動作を示すフローチャートである。
Next, the processing operation of the
図２に示すように、処理が開始されると、制御回路１１は、操作部１２の動作モードボタンなどにより笑顔判定モードに設定されているか否かを判定する（Ｓ３０）。笑顔判定モードに設定されていない場合は、通常の撮影モードとしての処理が行われて処理動作が終了する。具体的には、制御回路１１は、Ｓ３７に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。
As shown in FIG. 2, when the process is started, the
Ｓ３０で笑顔判定モードに設定されている場合、Ｓ３１で制御回路１１は、笑顔判定用の画像を撮像素子２で撮影して取得する。次いで、Ｓ３２において、表情判定処理部６は、Ｓ３１で取得した画像から人物の顔を検出する顔検出処理を行う。
When the smile determination mode is set in S30, the
Ｓ３２における顔検出処理では、撮影した画像から人物の顔領域を検出し、検出した一つ又は複数の顔情報（顔領域の位置、そのサイズ、信頼度など）が取得される。人物の顔検出方法は、公知の技術を適用可能であり、本発明とは直接関係しないため、詳細な説明は省略する。なお、公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的には、これらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開２００２−２５１３８０号公報に記載されるような、ウエーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。 In the face detection process in S32, a human face area is detected from the captured image, and one or more pieces of detected face information (face area position, size, reliability, etc.) are acquired. Since a known technique can be applied to the person face detection method and it is not directly related to the present invention, a detailed description thereof will be omitted. It should be noted that as a known face detection technique, a method based on learning using a neural network or the like, template matching is used to search a part having features in the shape of eyes, nose, mouth, etc. from an image. There is a method to consider that. In addition, many other methods have been proposed, such as a method that detects image feature amounts such as skin color and eye shape and uses statistical analysis. In general, a plurality of these methods are combined to improve face detection accuracy. As a specific example, there is a method of detecting a face using wavelet transform and image feature amount as described in JP-A-2002-251380.
次いで、Ｓ３３において、表情判定処理部６は、Ｓ３２で人物の顔が検出されたか否かを判定して判定結果を制御回路１１へ出力する。人物の顔が検出された場合にはＳ３４に処理が進み、制御回路１１は、表情判定処理部６で笑顔判定を行う際の笑顔判定方法（判定モード）を、メモリなどに予め設定された判定条件に従って選択する。具体的には、制御回路１１は、判定速度が速く判定精度が低い第１の判定モード、判定速度が遅く判定精度が高い第２の判定モードのうち、いずれか１つの判定モードを選択し、表情判定処理部６における判定モードの設定を行う。例えば、制御回路１１は、予め設定された判定条件が判定速度を優先する場合は第１の判定モードを設定し、その判定条件が判定精度を優先する場合は第２の判定モードを設定する。人物の顔が検出されなかった場合には、処理がＳ３１に戻って、新しい笑顔判定用の画像を撮像素子２で撮影して取得され、再びＳ３２で人物の顔の検出処理が行われることとなる。
Next, in S33, the facial expression determination processing unit 6 determines whether or not a human face has been detected in S32, and outputs the determination result to the
本実施形態において、Ｓ３４では、１枚の画像に写っている顔から笑顔を判定する第１の判定モード、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像との差分から笑顔を判定する第２の判定モードの２種類のうちの一方に設定される。なお、表情判定処理部６が行う笑顔判定方法の選択の詳細については後述する。 In the present embodiment, in S34, a first determination mode for determining a smile from a face shown in one image, a difference between an image showing an expressionless face and an image showing a face for which a smile is to be determined Is set to one of the two types of the second determination mode for determining smile. Details of selection of the smile determination method performed by the facial expression determination processing unit 6 will be described later.
次いで、Ｓ３５において、制御回路１１は、Ｓ３４で選択された笑顔判定方法を用いて、Ｓ３１で取得された画像に含まれる人物の顔が笑顔であるか否かの判定処理を表情判定処理部６で行わせる。具体的には、Ｓ３５では、Ｓ３２で取得された顔情報と選択された笑顔判定方法とが表情判定処理部６に通知され、デジタル信号処理部５から出力されたデジタル映像信の画像に含まれる人物の顔についての判定処理が表情判定処理部６で行われる。次いで、Ｓ３６において、制御回路１１は、表情判定処理部６における判定処理の結果が笑顔であるか否かを判定する。Ｓ３６において笑顔である場合、制御回路１１は、Ｓ３７に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。Ｓ３６において笑顔でない場合、制御回路１１は、Ｓ３１に処理を戻し、再び笑顔判定用の画像の取得を行わせる。
Next, in S35, the
ここで、制御回路１１の選択に応じて表情判定処理部６が行う２種類の笑顔判定方法について、詳細に説明する。１つ目の方法（第１の判定モード）は、１枚の画像に写っている顔から、その顔が笑顔であるか否かを判定する方法である。この方法では、判定対象の画像における顔を構成する顔部品の輪郭を表す特徴量を抽出するとともに、笑顔を一般化して定義した基準値との相関を表す指標値を算出し、この指標値の大小に基づいて、判定対象の顔画像が、笑顔に類似した顔かどうかを判定する。なお、笑顔を一般化して定義した基準は、多量の笑顔の画像を分析して、笑顔における顔部品の輪郭を表す特徴量のデータベースを作成することによって求めることができる。
Here, two types of smile determination methods performed by the facial expression determination processing unit 6 according to the selection of the
図３は、１枚の画像に写っている顔から笑顔判定を行う処理動作を示すフローチャートである。図３に示すように、Ｓ４０において、表情判定処理部６には笑顔判定用の顔を含む顔画像が入力される。次いで、Ｓ４１において、抽出手段としての表情判定処理部６は、入力された顔画像から顔を構成する顔部品の輪郭を表す特徴量を抽出する。 FIG. 3 is a flowchart showing a processing operation for determining smile from a face shown in one image. As shown in FIG. 3, in S <b> 40, a facial image including a smile determination face is input to the facial expression determination processing unit 6. Next, in S <b> 41, the facial expression determination processing unit 6 serving as an extraction unit extracts a feature amount that represents the contour of a facial part constituting the face from the input face image.
次いで、Ｓ４２において、表情判定処理部６は、Ｓ４１で抽出した特徴量により、笑顔を一般化して定義した基準との相関を表す指標値を算出する。次いで、表情判定処理部６は、Ｓ４３において、Ｓ４２で算出された指標値の大小に基づいて顔画像に含まれた顔が笑顔であるか否かを判定して制御回路１１へ出力する。
Next, in S42, the facial expression determination processing unit 6 calculates an index value representing a correlation with a standard defined by generalizing a smile based on the feature amount extracted in S41. Next, in S43, the facial expression determination processing unit 6 determines whether the face included in the face image is a smile based on the magnitude of the index value calculated in S42, and outputs it to the
２つ目の方法（第２の判定モード）は、無表情の顔（基準となる表情）が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する方法である。この方法では、人物の無表情の顔を予め撮影して登録しておき、その登録された画像における顔を構成する顔部品の輪郭を表す特徴量を抽出する。次いで、笑顔判定対象の顔画像における顔を構成する顔部品の輪郭を表す特徴量を抽出し、その特徴量が無表情の顔の特徴量と比較して、どの程度変化したかに基づいて笑顔を判定する。 The second method (second determination mode) is a method of determining from the difference between an image showing an expressionless face (reference expression) and an image showing a face on which a smile is to be determined. In this method, an expressionless face of a person is photographed and registered in advance, and a feature amount representing the contour of a facial part constituting the face in the registered image is extracted. Next, feature values representing the contours of the facial parts constituting the face in the face image of the smile determination target are extracted, and smiles are made based on how much the feature values have changed compared to the feature values of the expressionless face. Determine.
図４は、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像と、の差分から笑顔判定を行う処理動作を示すフローチャートである。図４に示すように、Ｓ５１において、表情判定処理部６は、人物の無表情の顔が予め登録されているか否かを判定する。Ｓ５１において無表情の顔が予め登録されている場合、表情判定処理部６はＳ５２へ処理を進める。また、Ｓ５１において登録されていない場合、表情判定処理部６はＳ５６へ処理を進める。 FIG. 4 is a flowchart showing a processing operation for performing smile determination based on a difference between an image showing an expressionless face and an image showing a face whose smile is to be determined. As shown in FIG. 4, in S <b> 51, the facial expression determination processing unit 6 determines whether or not a person's expressionless face is registered in advance. When an expressionless face is registered in advance in S51, the facial expression determination processing unit 6 advances the process to S52. If it is not registered in S51, the facial expression determination processing unit 6 advances the process to S56.
Ｓ５６では、制御回路１１の制御の下、無表情顔を撮影する撮影処理が行われ、人物の無表情の顔が撮影される。具体的には、制御回路１１の制御の下、表示部１０に無表情顔を撮影する旨のガイダンス表示などを行って人物の無表情顔の撮影を促し、操作部１２のシャッターボタンの操作に応じた撮影が行われる。あるいは、所定期間その人物の顔の画像を連続して撮影し、得られた顔の中から最も表情の小さいと思われる顔を無表情顔として登録するようにしてもよい。次いで、Ｓ５７ではＳ５６で撮影された人物の無表情の顔が表情判定処理部６に登録される。次いで、Ｓ５８では、その登録された表情の顔画像における顔を構成する顔部品の輪郭を表す特徴量が表情判定処理部６で抽出され、Ｓ５２に処理が進む。
In S56, under the control of the
Ｓ５２において、表情判定処理部６には笑顔判定用の顔を含む顔画像が入力される。次いで、Ｓ５３において、表情判定処理部６は、入力された顔画像から顔を構成する顔部品の輪郭を表す特徴量を抽出する。次いで、Ｓ５４において、表情判定処理部６は、Ｓ５３で笑顔判定用の顔を含む顔画像から抽出された特徴量と、予め登録されている無表情の顔の特徴量とを比較して、どの程度変化したかを示す変化量を算出する。次いで、Ｓ５５において、表情判定処理部６は、Ｓ５４で算出された変化量をもとに、顔画像に含まれた顔が笑顔であるか否かを判定して制御回路１１へ出力する。
In S <b> 52, a facial image including a smile determination face is input to the facial expression determination processing unit 6. Next, in S <b> 53, the facial expression determination processing unit 6 extracts a feature amount representing the outline of the facial part that constitutes the face from the input face image. Next, in S54, the facial expression determination processing unit 6 compares the feature amount extracted from the face image including the face for smile determination in S53 with the feature amount of the expressionless face registered in advance. A change amount indicating whether or not the degree has changed is calculated. Next, in S55, the facial expression determination processing unit 6 determines whether or not the face included in the face image is a smile based on the amount of change calculated in S54, and outputs it to the
次に、Ｓ３４において制御回路１１が行う笑顔判定方法の選択について詳細に説明する。前述した１枚の画像に写っている顔から判定する１つ目の方法では、判定速度は速いが、笑顔になったときの表情の変化が少ない人の場合は判定が困難であり、判定精度が低くなるという特徴がある。また、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する２つ目の方法では、判定精度は上がるが、無表情の顔の登録が面倒であることや、判定速度が遅くなるという特徴がある。以上のような、それぞれの笑顔判定方法の特徴をもとに、制御回路１１がどのように選択するかの選択例を以下に述べる。
Next, the selection of the smile determination method performed by the
例えば、撮影画像からＳ３２で顔検出を行った際に、複数の顔が検出された場合には、どの顔が登録されている無表情の顔に対応しているのか判断が困難であり、処理時間がかかるため、１枚の画像に写っている顔から判定する１つ目の方法を選択する。したがって、撮像画像から検出された顔の数を判定条件とし、複数の顔が検出された場合は第１の判定モードで表情判定を行う。具体的には、表情判定処理部６により複数の顔情報が検出された場合、制御回路１１は表情判定処理部６の笑顔判定方法を１つ目の方法に設定することで、判定時間を短縮させる。
For example, if a plurality of faces are detected when face detection is performed in S32 from the photographed image, it is difficult to determine which face corresponds to the registered expressionless face, Since it takes time, the first method for judging from the face shown in one image is selected. Therefore, the number of faces detected from the captured image is used as a determination condition, and when a plurality of faces are detected, facial expression determination is performed in the first determination mode. Specifically, when a plurality of pieces of face information are detected by the facial expression determination processing unit 6, the
また、検出された顔の位置が枚フレーム毎に大きく変化していて、被写体の動きが激しいと判断される場合には、時間がたつと、被写体がフレームアウトしたり、横や後ろを向いて顔検出できなくなる可能性が高い。したがって、Ｓ３２における顔検出を逐次行って、上述したケースを検出した場合には、笑顔判定をできるだけ速く行う必要があるため、１枚の画像に写っている顔から判定する１つ目の方法を選択する。したがって、逐次検出された顔の動き量の大きさを判定条件とし、その動き量が予め設定された基準の動き量より大きい場合は第１の判定モードで表情判定を行う。具体的には、動作検出手段としての表情判定処理部６により逐次入力された画像データに基づいて顔領域の動き量を検出し、その動き量が予め設定された閾値（基準動き量）より大きい場合、制御回路１１は表情判定処理部６の笑顔判定方法を１つ目の方法に設定する。よって、撮像装置１００は、被写体の動きに応じて判定モードを切り替えることができ、例え激しく動く被写体であっても的確な笑顔判定を行うことができる。
Also, if the detected face position varies greatly from frame to frame and it is determined that the subject is moving rapidly, the subject may go out of the frame or turn sideways or backwards over time. There is a high possibility that face detection will not be possible. Therefore, when the face detection in S32 is sequentially performed and the above-described case is detected, it is necessary to perform smile determination as fast as possible. Therefore, the first method for determining from the face shown in one image is as follows. select. Therefore, the size of the detected face motion amount is used as a determination condition, and facial expression determination is performed in the first determination mode when the amount of motion is larger than a preset reference motion amount. Specifically, the amount of motion of the face area is detected based on the image data sequentially input by the facial expression determination processing unit 6 as the motion detection means, and the amount of motion is greater than a preset threshold (reference motion amount). In this case, the
また、ユーザそれぞれで笑顔の程度は異なるのが実情である。同じ笑顔でも、口を閉じて微笑むユーザもいれば、口を大きく開けて歯が見えるくらいの笑顔をするユーザもいる。前者のようなユーザの場合、１枚の画像に写っている顔から判定する方法では、笑顔基準データとの相関がほとんど無く、笑顔と判定される可能性が低くなる。よって、この場合は、無表情の顔が写った画像と、笑顔を判定したい顔が写った画像の差分から判定する２つ目の方法を選択する。すなわち、逐次入力された複数の画像データに亘る顔部品ごとの特徴量の変化量の大きさを判定条件とし、その変化量が予め設定された基準の変化量より小さい場合は第２の判定モードで表情判定を行う。この方法では、無表情の顔との差分が少しでもあると検出できるため、笑顔のときに表情の変化が少ないユーザであっても、笑顔を検出することができる。具体的には、変化量検出手段としての表情判定処理部６により逐次入力された画像データに亘って抽出された顔部品ごとの特徴量の変化量を検出し、制御回路１１は検出された変化量から人物の表情がどの程度変化するかを監視する。そして、制御回路１１は、検出された変化量が予め設定された閾値（基準変化量）より小さく、表情の変化が少ない人物の場合は表情判定処理部６の笑顔判定方法を判定精度の高い２つ目の方法に設定する。よって、撮像装置１００は、人物の表情の変化に応じて判定モードを切り替えることができ、例え表情の変化が乏しい人物であっても的確な笑顔判定を行うことができる。
The actual situation is that each user has a different degree of smile. Some users smile with their mouths closed even with the same smile, while others smile as much as they can open their mouths and see their teeth. In the case of a user like the former, the method of determining from a face reflected in one image has little correlation with smile reference data, and the possibility of determining a smile is low. Therefore, in this case, a second method is selected that is determined from the difference between an image showing an expressionless face and an image showing a face whose smile is to be determined. That is, when the change amount of the feature amount for each face part over a plurality of sequentially input image data is used as a determination condition, and the change amount is smaller than a preset reference change amount, the second determination mode Perform facial expression determination with. In this method, since it is possible to detect that there is even a slight difference from an expressionless face, even a user who has little change in facial expression when smiling, can detect a smile. Specifically, the
なお、上述した選択については、操作部１２の動作モードボタンなどによりユーザが自由に選択できるようにしてもよい。すなわち、ユーザから判定モードを指定する入力を操作部１２で受け付け、その入力内容を判定条件とし、上述した２種類の判定モードのうち、ユーザが所望する判定モードで人物の顔の笑顔判定が行われてもよい。その場合、笑顔を速く検出したいと思うユーザや、無表情の顔を予め登録しておくのが面倒だと感じるユーザは、１つ目の方法が設定されるため、その要求を満たすことができる。また、笑ってもあまり表情が変化しない人で判定を行う場合や、絶対に笑顔を撮り逃したくないと思われるシーンで判定精度を上げたい場合には２つ目の方法が設定されるため、その要求を満たすことができる。 Note that the above-described selection may be freely selected by the user using an operation mode button or the like of the operation unit 12. That is, the operation unit 12 accepts an input specifying a determination mode from the user, and the input content is used as a determination condition, and the smile determination of a person's face is performed in the determination mode desired by the user among the above-described two types of determination modes. It may be broken. In that case, the user who wants to detect a smile quickly or the user who feels troublesome to register an expressionless face in advance can satisfy the request because the first method is set. . In addition, the second method is set when the determination is made by a person whose facial expression does not change much even when laughing, or when it is desired to improve the determination accuracy in a scene where you do not want to miss a smile. The demand can be satisfied.
［第２の実施形態］
第２の実施形態では、笑顔以外の顔パターンとして、目を瞑っている人物の顔であるか否かを判定する処理動作を例示して説明する。なお、本実施形態における撮像装置の構成などについては、前述した第１の実施形態と同様であり、表情判定処理部６の判定処理が目瞑り状態の顔を判定することが異なる。図５は、第２の実施形態に係る撮像装置１００の処理動作を示すフローチャートである。
[Second Embodiment]
In the second embodiment, a processing operation for determining whether a face pattern other than a smile is the face of a person who is meditating on eyes will be described as an example. The configuration of the imaging apparatus in the present embodiment is the same as that of the first embodiment described above, except that the determination process of the facial expression determination processing unit 6 determines a face in a closed state. FIG. 5 is a flowchart illustrating the processing operation of the
図６に示すように、処理が開始されると、制御回路１１は、操作部１２の動作モードボタンなどにより目瞑り判定モードに設定されているか否かを判定する（Ｓ６０）。目瞑り判定モードに設定されていない場合は、通常の撮影モードとしての処理が行われて処理動作が終了する。具体的には、制御回路１１は、Ｓ６９に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。
As shown in FIG. 6, when the process is started, the
Ｓ６０で目瞑り判定モードに設定されている場合、Ｓ６１で制御回路１１は、目瞑り判定用の画像を撮像素子２で撮影して取得する。次いで、Ｓ６２において、表情判定処理部６は、Ｓ６１で取得した画像から人物の顔を検出する顔検出処理をＳ３２と同様に行う。
When the eye meditation determination mode is set in S60, the
次いで、Ｓ６３において、制御回路１１は、Ｓ６２で人物の顔が検出されたか否かを判定してその判定結果を１１へ出力する。人物の顔が検出された場合にはＳ６４に処理が進み、制御回路１１は、表情判定処理部６で目瞑り判定を行う際の判定方法（判定モード）を前述した判定条件に従って選択する。人物の顔が検出されなかった場合には、制御回路１１は処理動作を終了する。
Next, in S63, the
Ｓ６４では、１枚の画像に写っている顔から判定する第１の判定モード、目が開いたときの顔が写った画像と、目を瞑っているかどうかを判定したい顔が写った画像との差分から判定する第２の判定モードの２種類のうち、どちらか一方の方法が選択される。なお、制御回路１１が行う判定方法の選択の詳細については後述する。
In S64, a first determination mode for determining from a face shown in one image, an image showing a face when the eyes are opened, and an image showing a face for which it is determined whether the eyes are meditated One of the two methods of the second determination mode determined from the difference is selected. Details of selection of the determination method performed by the
次いで、Ｓ６５において、制御回路１１は、Ｓ６４で選択された目瞑り判定方法を用いて、Ｓ６１で取得された画像に含まれる人物の顔が目を瞑っているか否かの判定処理を表情判定処理部６で行わせる。次いで、Ｓ６６において、制御回路１１は、表情判定処理部６における判定処理の結果が目を瞑っているか否かを判定する。Ｓ６６において目を瞑っていない場合、制御回路１１は、Ｓ６４に処理を進め、撮像素子２で撮影した画像データを外部メモリ９に記録させて処理動作を終了する。Ｓ６６において目を瞑っている場合、制御回路１１は、撮像素子２で撮影した画像データの消去、又は、表示部１０に警告を表示出力させて、ユーザへの警告を行う。
Next, in S65, the
ここで、制御回路１１の選択に応じて表情判定処理部６が行う２種類の目瞑り判定方法について説明する。１つめの方法（第１の判定モード）は、前述した笑顔判定方法の１つ目の方法と同様、１枚の画像に写っている顔からその顔が目瞑り状態であるか否かを判定する方法である。この方法では、検出された顔の画像において、縦方向に伸びる中心軸を中心とした両側であって、目が存在すべきと考えられる２つの領域が検出される。次いで、検出された２つの領域内における黒色の割合（黒目の大きさ）が算出される。そして、算出された黒色の割合が所定以上の割合であれば、目が開いていると判断され、所定未満の割合であれば、目を瞑っていると判定される。
Here, two types of eye-meditation determination methods performed by the facial expression determination processing unit 6 according to the selection of the
２つ目の方法（第２の判定モード）は、前述した笑顔判定方法の２つ目の方法と同様、目が開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する方法である。この方法では、人物の目が開いたときの顔を予め撮影して登録しておき、１つ目の方法と同様に、目が存在すべきと考えられる２つの領域における黒色の割合を算出する。次いで、算出された黒色の割合と、目が開いたときの黒色の割合とを比較して、どの程度変化したかに基づいて、目瞑りを判定する。 In the second method (second determination mode), as in the second method of the smile determination method described above, an image showing the face when the eyes are opened and the face for which the eyes are to be determined are shown. This is a method of determining from image differences. In this method, a face when a person's eyes are opened is photographed and registered in advance, and the ratio of black in two regions where the eyes should be present is calculated as in the first method. . Next, the calculated ratio of black and the ratio of black when the eyes are opened are compared, and based on how much the eye has changed, eye-meditation is determined.
次に、Ｓ６４において制御回路１１が行う目瞑り判定方法の選択について詳細に説明する。前述した１枚の画像に写っている顔から判定する１つ目の方法では、検出速度は速いが、目が開いているときと、目を瞑ったときとの変化が少ない人の場合は判定が困難であり、判定精度が低くなるという特徴がある。また、目が開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する２つ目の方法では、判定精度は上がるが、目が開いたときの顔の登録が面倒であることや、判定速度も遅くなるという特徴がある。以上のような、それぞれの目瞑り判定方法の特徴をもとに、制御回路１１がどのように選択するかの選択例を以下に述べる。
Next, selection of the eye-meditation determination method performed by the
例えば、撮影画像からＳ６２で顔検出を行った際に複数の顔が検出された場合は、どの顔が登録されている目が開いたときの顔に対応しているのか判断が困難であり、処理時間がかかるため、１つ目の方法を選択して設定する。よって、撮像装置１００では、撮像画像に複数の顔が含まれる場合であっても、笑顔判定にかかる判定時間の増加を防止できる。
For example, when a plurality of faces are detected when face detection is performed in S62 from the photographed image, it is difficult to determine which face corresponds to the face when the registered eyes are open, Since processing time is required, the first method is selected and set. Therefore, the
また、もともと目が細い人のように、目が開いているときと、目を瞑ったときとの変化が少ない人の場合は、目を開いたときの顔が写った画像と、目瞑りを判定したい顔が写った画像の差分から判定する２つ目の方法を選択して設定する。この方法では、目を開いたときの顔との差分が少しでもあると検出できるため、目が細い人物であっても、目瞑りを検出することができる。よって、撮像装置１００では、撮像画像に目が細い人物の顔が含まれる場合であっても、的確な目瞑り判定を行うことができる。
Also, for people who originally had narrow eyes, such as those with narrow eyes, when there is little change between when the eyes are closed and when the eyes are meditated, images with the face when the eyes are opened A second method for judging from the difference between images showing the face to be judged is selected and set. In this method, since it can be detected that there is even a slight difference from the face when the eyes are opened, it is possible to detect eye meditation even for a person with thin eyes. Therefore, the
なお、上述した判定条件については、操作部１２の動作モードボタンなどによりユーザが自由に選択できるようにしてもよい。すなわち、ユーザから判定モードを指定する入力を操作部１２で受け付け、上述した２種類の目瞑り判定モードのうち、ユーザが所望する判定モードで人物の顔の目瞑り判定を行うようにしてよい。その場合、目瞑りを速く検出したいと思うユーザや、目が開いたときの顔を予め登録しておくのが面倒だと感じるユーザは、１つ目の方法が設定されるため、その要求を満たすことができる。また、目の細い人で判定を行う場合や、絶対に目瞑りを見逃したくないと思われるシーンで判定精度を上げたい場合には２つ目の方法が設定されるため、その要求を満たすことができる。 Note that the determination condition described above may be freely selected by the user using an operation mode button or the like of the operation unit 12. That is, an input for designating a determination mode from the user may be received by the operation unit 12, and the eye face mediting determination of the person's face may be performed in the determination mode desired by the user among the two types of eye meditation determination modes described above. In that case, the user who wants to detect eye meditation quickly, or the user who feels it is troublesome to register the face when the eyes are opened in advance, the first method is set. Can be satisfied. In addition, the second method is set when the judgment is performed by a person with narrow eyes, or when it is desired to improve the judgment accuracy in a scene that you do not want to miss your eyes. Can do.
以上のように、撮像装置１００は、撮影した画像から笑顔などの表情を判定する際に、２つの表情判定方法を切り替えて行うことができるため、状況に応じてそれぞれの表情判定方法が有する特徴を生かすことができる。
As described above, the
［第３の実施形態］
次に、第３の実施形態について説明する。本実施形態に係る撮像装置は、表情判定処理部の構成以外、前述した第１、第２の実施形態と同一である。以下の説明では、前述した実施形態と異なる表情判定処理部について詳細に述べる。図６は、第３の実施形態に係る表情判定処理部６ａの概略構成を示すブロック図である。
[Third Embodiment]
Next, a third embodiment will be described. The imaging apparatus according to the present embodiment is the same as the first and second embodiments described above except for the configuration of the facial expression determination processing unit. In the following description, a facial expression determination processing unit different from the above-described embodiment will be described in detail. FIG. 6 is a block diagram illustrating a schematic configuration of the facial expression determination processing unit 6a according to the third embodiment.
図６に示すように、表情判定処理部６ａは、画像入力部６１より入力されたデジタル映像信号における画像から人物の顔領域を検出し、その検出された顔領域に含まれる顔の表情を判定して、その判定結果を結果出力部６９より出力している。顔検出部６２は、画像入力部６１により入力された画像に含まれる人物の顔の位置やサイズを検出する。顔検出部６２における顔検出は、前述した既知の方法で行われる。
As shown in FIG. 6, the facial expression determination processing unit 6a detects a human face area from an image in the digital video signal input from the
シーン変化検出部６３は、顔検出部６２により検出された顔の位置やサイズにより、入力された画像のシーンが変化したか否かを検出し、変化したと判定した場合には後述する記憶部６６に記憶された無表情画像の特徴量を消去する。本実施形態では、シーン変化検出部６３は、逐次入力された画像から検出された顔の位置やサイズにより、特に表情検出の対象とする人物が変わった場合をシーン変化として検出する。
The scene
顔検出部６２により検出された顔について、特徴量抽出部６４は、顔を構成する顔部品（目、鼻、口の位置など表情により変化する部位）の輪郭を表す特徴量を抽出し、抽出した特徴量を記憶部６６に記憶させる。例えば、特徴量抽出部６４は、図７（ａ）、図７（ｂ）に示したように、顔Ｆａ、Ｆｂの各パーツ（目、鼻、口など）の輪郭を抽出し、その輪郭に沿った位置の特徴点Ｆ１〜Ｆ２３を抽出する。
With respect to the face detected by the
表情判定処理部６ａでは、特徴量抽出部６４により抽出された特徴量を用いて人物の顔の表情を判定するが、表情判定は制御部６０により制御される。制御部６０は、無表情判定部６５において、上記抽出した人物の顔が無表情であるか否かを判定させ、無表情である場合はその特徴量を記憶部６６に記憶させる。無表情判定部６５では、抽出した人物の顔の顔部品ごとの特徴量が、無表情の顔の顔部品ごとの特徴量を示す基準データに類似する場合であり、抽出した人物の顔と基準データが示す無表情の顔の輪郭が類似する場合に無表情であると判定する。また、記憶部６６には、基準となる表情の顔を構成する顔部品ごとの特徴量を示す、例えば笑顔を一般化して定義した基準値が予め記憶されている。したがって、記憶部６６は、基準となる表情の顔を構成する顔部品ごとの特徴量を予め記憶するとともに、抽出した無表情の顔の特徴量を記憶する基準表情記憶手段である。
The facial expression determination processing unit 6 a determines the facial expression of a person using the feature amount extracted by the feature
次に、制御部６０は、記憶部６６に無表情画像の特徴量が記憶されていない場合、特徴量抽出部６４で抽出された特徴量と、記憶部６６に予め記憶された笑顔を一般化して定義した基準値とに基づいた表情判定を第１表情判定部６７で実施させる。第１表情判定部６７は、現時点で検出された顔の特徴量のみを用いた表情の判定、すなわち、第１の実施形態における１つ目の方法による表情判定を行う。
Next, when the feature amount of the expressionless image is not stored in the
また、制御部６０は、記憶部６６に無表情画像の特徴量が記憶されている場合、その無表情画像の特徴量と、特徴量抽出部６４で検出されて記憶部６６に記憶された特徴量とに基づいた表情判定を第２表情判定部６８で実施させる。第２表情判定部６８では、無表情画像の特徴量と現時点で検出された顔の特徴量とを用いたその差分による表情判定、すなわち、第１の実施形態における２つ目の方法による表情判定を行う。結果出力部６９は、第１表情判定部６７又は第２表情判定部６８の判定結果を出力する。表情判定処理部６ａでは、画像入力部６１へ順次入力される画像について、上述した処理を繰り返して行うことで、表情判定を継続して行う。
When the feature amount of the expressionless image is stored in the
次に、表情判定処理部６ａの処理動作を図８を参照してさらに詳細に説明する。図８に示すように、表情判定処理部６ａは、Ｓ８１において、画像入力部６１より表情判定を行う画像を入力する。次いで、表情判定処理部６ａは、Ｓ８２において、入力された画像に含まれる人物の顔を顔検出部６２により検出する。
Next, the processing operation of the facial expression determination processing unit 6a will be described in more detail with reference to FIG. As shown in FIG. 8, the facial expression determination processing unit 6a inputs an image for facial expression determination from the
次いで、表情判定処理部６ａは、Ｓ８３において、判別手段としてのシーン変化検出部６３で、別人物の顔に切り替わったか否かのシーン変化の検出を以下のように行う。今回検出した顔の大きさＳｉ及び位置（Ｐｘ，Ｐｙ）と、その直前に検出した顔の大きさＳｉ’及び位置（Ｐｘ’，Ｐｙ’）と、予め設定された閾値ＴＨｓ及びＴＨｐとを次式のように比較する。
｜Ｓｉ−Ｓｉ’｜＜ＴＨｓ
かつ
（Ｐｘ−Ｐｘ’）２＋（Ｐｙ−Ｐｙ）２＜ＴＨｐ
Next, in S83, the facial expression determination processing unit 6a uses the scene
| Si-Si '| <THs
And (Px−Px ′) 2 + (Py−Py) 2 <THp
上式が満たされる場合、表情判定処理部６ａは、逐次入力された画像において、顔のサイズの変化も少なく（ＴＨｓ未満）、顔の位置の変化も少ない（ＴＨｐ未満）ことから、同一人物の顔であると判定し、シーン変化がなかったものと判定する。また、上式が満たされない場合、表情判定処理部６ａは、逐次入力された画像において、顔のサイズの変化が大きく、顔の位置の変化が大きいことから、シーン変化があったと判定する。シーン変化があったと判定した場合、表情判定処理部６ａは、記憶部６６に記憶されている無表情顔の特徴量を消去する。したがって、表情判定処理部６ａでは、シーン変化を判定することにより、別人の無表情顔と表情を比較して表情を誤判定することを避けることが可能となる。
When the above equation is satisfied, the facial expression determination processing unit 6a has little change in the size of the face (less than THs) and little change in the position of the face (less than THp) in the sequentially input images. It is determined that the face is present, and it is determined that the scene has not changed. If the above equation is not satisfied, the facial expression determination processing unit 6a determines that there has been a scene change because the face size change is large and the face position change is large in the sequentially input images. When it is determined that the scene has changed, the facial expression determination processing unit 6a deletes the feature amount of the expressionless face stored in the
次いで、表情判定処理部６ａは、Ｓ８４において、顔検出部６２で検出された人物の顔について、その特徴量を特徴量抽出部６４で検出する。次いで、表情判定処理部６ａは、Ｓ８５において、顔検出部６２で検出された人物の顔が無表情であるか否かを無表情判定部６５により次のように判定する。
Next, the facial expression determination processing unit 6a detects the feature amount of the person's face detected by the
図７（ａ）と図７（ｂ）との比較により明らかなように、笑顔である顔Ｆｂでは、口角にあたる特徴点Ｆ６、７が上がる、目尻にあたる特徴点Ｆ８、Ｆ１４が下がるといった特徴がある。また、人物の顔において、特徴点Ｆ４と特徴点Ｆ１０（又は特徴点Ｆ１２）とは比較的表情による変化が小さい特徴がある。したがって、比較的表情による変化が小さい特徴点Ｆ４と特徴点Ｆ１０（又は特徴点Ｆ１２）の距離、特徴点Ｆ６と特徴点Ｆ８（又は特徴点Ｆ７と特徴点Ｆ１４）の距離の比を見ることで表情（笑顔）の判定が可能である。例えば、上記比が所定範囲内であれば無表情との判定が可能である。その他、怒った顔などの他の表情に特徴的な部分についても同様な判定を行い、全ての判定において、比較的表情による変化が小さい部分と大きい部分との比が所定範囲内である場合に無表情の判定を行ってもよい。このように全ての表情判定で無表情である場合に、無表情とすることで、無表情判定の精度を向上することができる。無表情であると判定された場合には、無表情と判定された特徴量を記憶部６６に記憶する。
As is clear from a comparison between FIG. 7A and FIG. 7B, the smiling face Fb has features such that the feature points F6 and F7 corresponding to the corner of the mouth are raised and the feature points F8 and F14 corresponding to the corners of the eyes are lowered. . Further, in the face of a person, the feature point F4 and the feature point F10 (or the feature point F12) have a feature that changes relatively little by facial expressions. Therefore, by looking at the ratio of the distance between the feature point F4 and the feature point F10 (or the feature point F12) and the distance between the feature point F6 and the feature point F8 (or the feature point F7 and the feature point F14) that change relatively little by the expression. A facial expression (smile) can be determined. For example, if the ratio is within a predetermined range, it can be determined that there is no expression. In addition, the same determination is made for other facial features characteristic of an angry face, etc., and the ratio of the portion with relatively small change due to facial expression is within a predetermined range in all the determinations. An expressionless expression may be determined. In this way, when all facial expressions are expressionless, expressionlessness can be improved by making expressionless. When it is determined that there is no expression, the feature amount determined as expressionless is stored in the
次いで、表情判定処理部６ａは、Ｓ１６において、無表情画像の特徴量が記憶部６６に記憶されているか否かを制御部６０で判定し、無表情画像の特徴量が記憶されている場合、Ｓ１８に処理を進める。Ｓ１８では、無表情画像の特徴量と今回検出した顔の特徴量とを用いた表情判定を第２表情判定部６８により行う。例えば、口角の位置（図７（ａ）、（ｂ）の特徴点Ｆ６、Ｆ７）が無表情時の特徴量と比較して上方に移動している。且つ、目尻の位置（図７（ａ）、（ｂ）の特徴点Ｆ８、Ｆ１４）が無表情時の特徴量と比較して下方に移動している。上記の条件を満たす場合は笑顔であると判定する。
Next, the facial expression determination processing unit 6a determines in S16 whether or not the feature amount of the expressionless image is stored in the
また、Ｓ１６において無表情画像の特徴量が記憶されていない場合、表情判定処理部６ａは、Ｓ１９に処理を進め、今回取得した顔の特徴量のみを用いた表情判定を第１表情判定部６７により行う。例えば、上記無表情の判定と同様に、比較的表情による変化が小さい特徴点Ｆ４と特徴点Ｆ１０（又はＦ１２）の距離、特徴点Ｆ６と特徴点Ｆ８（又は特徴点Ｆ７と特徴点Ｆ１４）の距離の比を算出する。そして、算出された距離の比が所定値以上であれば笑顔であると判定する。次いで、表情判定処理部６ａは、Ｓ２０において、第１表情判定部６７又は第２表情判定部６８の判定結果を結果出力部６９より出力する。
If the feature amount of the expressionless image is not stored in S16, the facial expression determination processing unit 6a proceeds to S19, and the facial expression determination using only the facial feature amount acquired this time is the first facial
したがって、第３の実施形態では、順次入力された画像から無表情画像の取得ができているか否かを判定し、無表情画像の取得ができていない場合は第１表情判定部６７が無表情画像を用いないで表情判定を行う。また、無表情画像の取得ができている場合は第２表情判定部６８が無表情画像を用いて表情判定を行う。したがって、撮像装置１００では、無表情画像が取得できていないときにも第１の判定モードによる表情判定が可能であり、また、無表情画像が取得できている場合には、その無表情画像との差分による精度の高い表情判定を行うことが可能である。
Therefore, in the third embodiment, it is determined whether or not an expressionless image can be acquired from sequentially input images. If no expressionless image can be acquired, the first
［第４の実施形態］
次に、前述した第３の実施形態を変形した第４の実施形態について説明する。第３の実施形態において、表情判定処理部は２つの異なる表情判定部を有する構成であった。第４の実施形態では、標準無表情特徴量を導入することで、表情判定処理部における表情判定部を１つで構成したものである。
[Fourth Embodiment]
Next, a fourth embodiment obtained by modifying the above-described third embodiment will be described. In the third embodiment, the facial expression determination processing unit has two different facial expression determination units. In the fourth embodiment, the standard expressionless feature quantity is introduced, so that the expression determination unit in the expression determination processing unit is configured as one.
図９に第４の実施形態に係る表情判定処理部６ｂの概略構成を示す。図９に示すように、表情判定処理部６ｂは、第３の実施形態における表情判定処理部６ａ比較して、１つの表情判定部６７ａと標準無表情特徴量が予め記憶されたメモリ７０とを有する構成であり、他の部分は同一な構成である。以下の説明では、前述した第３の実施形態と異なる部分についてのみ説明する。
FIG. 9 shows a schematic configuration of the facial expression
図１０に表情判定処理部６ｂの処理動作を示す。図１０のフローチャートにおいて、Ｓ９１〜Ｓ９６までの処理動作は第３の実施形態のＳ８１〜Ｓ８６と同じである。Ｓ９６において無表情画像の特徴量が取得できていた場合、表情判定処理部６ｂは、Ｓ９７に処理を進め、取得している無表情画像の特徴量を表情判定用の比較データとして設定する。また、Ｓ９６において無表情画像の特徴量が取得できていない場合、表情判定処理部６ｂは、Ｓ９８に処理を進め、メモリ７０に予め記憶された標準無表情特徴量を表情判定用の比較データとして設定する。
FIG. 10 shows the processing operation of the facial expression
標準無表情特徴量は、複数人の無表情画像から特徴量を取得して算出された平均値であり、平均的な無表情の特徴量である。したがって、表情判定部６７ａは、順次入力された画像から無表情画像の特徴量が取得できていない場合であっても、比較データとして標準無表情特徴量が設定されるため、無表情画像との差分による高精度で、万人に対して平均的な表情判定を実施できる。
The standard expressionless feature value is an average value calculated by acquiring feature values from a plurality of expressionless images, and is an average expressionless feature value. Therefore, the facial
次いで、表情判定処理部６ｂは、Ｓ９９において、設定された比較用の特徴量と今回取得した特徴量を用いて、第３の実施形態における第２表情判定部６８と同様な表情判定を表情判定部６７ａにより行う。具体的には、表情判定部６７ａにおいて、予め記憶された標準無表情特徴量を表情判定用の比較データとして設定された場合には、標準無表情特徴量と今回取得した特徴量を用いた判定方法（第１の判定モード）で表情判定が行われる。また、Ｓ９６において取得した無表情画像の特徴量を表情判定用の比較データとして設定された場合には、その取得した無表情画像の特徴量と今回取得した特徴量を用いた判定方法（第２の判定モード）で表情判定が行われる。次いで、表情判定処理部６ｂは、Ｓ１００において、表情判定部６７ａの判定結果を結果出力部６９より出力する。
Next, in S99, the facial expression
以上のとおり、第４の実施形態では、順次入力される画像から無表情の特徴量が取得できた場合、その無表情の特徴量との差分による表情判定を行うことができ、本人の無表情な顔との比較による精度の高い表情判定を行うことが可能となる。また、無表情の特徴量が取得できない場合であっても、平均的な無表情の特徴量が表情判定部６７ａに設定されるため、現時点で検出された顔の特徴量のみを用いた表情判定を行う、表情判定部６７ａと異なる表情判定部を用意する必要がない。
As described above, in the fourth embodiment, when an expressionless feature amount can be acquired from sequentially input images, an expression determination based on a difference from the expressionless feature amount can be performed. It is possible to perform facial expression determination with high accuracy by comparison with a simple face. Even if the expressionless feature value cannot be acquired, the average expressionless feature value is set in the
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。 Note that the description in the above-described embodiment shows an example, and the present invention is not limited to this. The configuration and operation in the embodiment described above can be changed as appropriate.
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
(Other embodiments)
The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.). Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。 The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto. A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。 As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code. Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers. That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。 In addition, a storage medium in which the computer program for realizing the above-described embodiment is encrypted and distributed is distributed, and key information for decrypting is supplied to a user who satisfies a predetermined condition, and the user's computer Installation may be allowed. The key information can be supplied by being downloaded from a homepage via the Internet, for example. Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer. Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.
１００ 撮像装置
１ レンズ系
２ 撮像素子
３ アナログ信号処理部
４ Ａ／Ｄ変換部
５ デジタル信号処理部
６、６ａ、６ｂ 表情判定処理部
７ メモリ
８ 記憶制御部
９ 外部メモリ
１０ 表示部
１１ 制御回路
１２ 操作部
DESCRIPTION OF
Claims (13)
前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出手段と、
前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、
前記表情判定手段において前記第１の判定モード、又は、前記第２の判定モードのいずれによって表情判定するかを、予め定められた判定条件に応じて前記表情判定手段に設定する制御手段と、
を備え、
前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、
前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置。 Has a detection means for detecting a face of a person from the input image data, the detected face is a determining expression determination device whether or not the predetermined expression,
FEATURES amount of the face part constituting the detected face, extraction means for extracting for each relevant face part,
Based on the feature amount for each face part extracted by the extraction unit, the detected face is detected in either the first determination mode or the second determination mode different from the first determination mode. Facial expression determination means for determining whether or not a predetermined facial expression;
The facial expression determination unit to your stomach the first determination mode, or a control means for setting one by one expression determines the second judgment mode, the facial expression determination unit according to a predetermined determination condition ,
Equipped with a,
In the first determination mode, the detected face is detected based on a correlation between a feature amount for each facial part extracted by the extraction unit and a reference value indicating the predetermined facial expression. It is a judgment mode that determines whether or not it is a facial expression,
The second determination mode is based on a difference between a feature amount for each facial part extracted by the extraction unit and a feature amount for each facial part constituting a facial expression that is a reference stored in advance. Oh Ru in the detected face determination mode whether the a predetermined expression, facial expression determination apparatus characterized by.
前記判定条件が前記顔の動き量の大きさであって、前記制御手段は、前記動作検出手段により検出された動き量が予め設定された基準動き量より大きい場合は前記第１の判定モードを設定することを特徴とする請求項１に記載の表情判定装置。 Further comprising motion detection means for detecting the amount of movement of the face based on the plurality of image data sequentially input,
If the determination condition is the magnitude of the amount of movement of the face, and the amount of movement detected by the motion detection unit is greater than a preset reference movement amount, the control unit sets the first determination mode. The facial expression determination device according to claim 1 , wherein the facial expression determination device is set.
前記判定条件が前記特徴量の変化量の大きさであって、前記制御手段は、前記変化量検出手段により検出された変化量が予め設定された基準変化量より小さい場合は前記第２の判定モードへ切り替えることを特徴とする請求項１に記載の表情判定装置。 It further comprises a change amount detection means for detecting a change amount of the feature amount for each face part extracted by the extraction means over the plurality of image data sequentially input.
When the determination condition is the magnitude of the change amount of the feature amount and the change amount detected by the change amount detection unit is smaller than a preset reference change amount, the second determination The facial expression determination device according to claim 1 , wherein the facial expression determination device is switched to a mode.
前記判定条件が前記操作手段で受け付けた入力の内容であり、前記制御手段は、前記操作手段が受け付けた入力で指定された判定モードを前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。 An operation means for receiving an input for designating the determination mode from a user;
A content of the input to the determination condition accepted by said operation means, the control means, according to claim 1, characterized in that sets a determination mode in which the operating means is specified by the accepted input to the facial expression determination unit The facial expression determination apparatus described in 1.
前記判定条件が前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記検出手段で検出された顔について前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。 Of the feature quantities of the facial parts detected by the detection means, the feature quantities of the facial parts constituting the reference facial expression among the feature quantities of the facial parts extracted by the extraction means from the sequentially input image data. And a reference facial expression storage means for storing as a feature quantity for each facial part constituting the reference facial expression,
The determination condition is whether or not a feature amount for each facial part constituting the face of the reference facial expression is stored in the reference facial expression storage unit, and the control unit is configured to detect the face detected by the detection unit. When the feature quantity for each facial part constituting the face of the reference facial expression is not stored in the reference facial expression storage means, the first determination mode is entered, and the reference facial expression face is stored in the reference facial expression storage means. The facial expression determination apparatus according to claim 1 , wherein the second determination mode is set in the facial expression determination unit when a feature amount for each facial part that constitutes is stored.
前記第１の判定モードで用いる前記基準値は、前記基準表情記憶手段に予め記憶された前記基準となる表情の顔を構成する顔部品ごとの特徴量であり、
前記第２の判定モードで用いる前記予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量は、前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量であって、
前記判定条件が前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。 The feature amount for each facial part constituting the face of the reference facial expression is stored in advance, and the feature amount for each facial part extracted by the extraction unit from the sequentially input image data is used as the reference facial expression. A reference facial expression storage means for storing the feature quantity of each extracted facial part when the face data is similar to the reference data indicating the correlation of the feature quantity of each facial part constituting the face,
Wherein the reference value used in the first determination mode is a feature amount of each face part constituting the facial expressions of the previously stored the criteria before Symbol reference facial expression storing means,
Characteristic quantity of each of the feature amounts of each facial components forming the face of the expressions to be pre-stored reference used in the second determination mode pre Symbol reference facial expression the extracted face parts stored in the storage means Because
The determination condition is whether or not the feature value for each extracted facial part is stored in the reference facial expression storage means, and the control means is a feature for each facial part extracted in the reference facial expression storage means. When the amount is not stored, the first determination mode is selected. When the feature value for each of the extracted facial parts is stored in the reference facial expression storage means, the second determination mode is selected. The facial expression determination device according to claim 1, wherein the facial expression determination device is set in a means.
前記制御手段は、前記判別手段により別人物の顔に切り替わったと判別された場合は前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量を消去することを特徴とする請求項７又は８に記載の表情判定装置。 It is determined whether or not the detected face has been switched to another person's face according to the amount of change in the feature amount for each facial part extracted by the extracting means over the plurality of image data that are sequentially input. Further comprising a determining means for
The control means erases the feature amount for each extracted facial part stored in the reference facial expression storage means when it is determined by the determination means that the face has been switched to another person's face. The facial expression determination apparatus according to 7 or 8.
表示手段と、
前記撮像手段により撮影された画像データを記録する記録手段と、
前記撮像手段により撮影された画像データから人物の顔を検出する検出手段を有し、検出された顔が所定の表情であるか否かを判定する請求項１乃至１０のいずれか一項に記載の表情判定装置と、
前記表情判定装置の判定結果に応じて、前記撮影された画像データの前記記録手段への記録、又は、当該判定結果の前記表示手段への表示出力を制御する出力制御手段と、
を備えることを特徴とする撮像装置。 Imaging means;
Display means;
Recording means for recording image data taken by the imaging means;
It has a detection means for detecting a human face from the photographed image data by the image pickup means, detected face according to any one of claims 1 to 10 determines whether a predetermined expression Facial expression determination device,
According to the determination result of the facial expression determination unit, the captured recording to the recording means of the image data, or an output control means for controlling a display output to the display unit of the determination result,
An imaging apparatus comprising:
抽出手段が、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出工程と、
表情判定手段が、前記抽出工程において抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、
制御手段が、前記表情判定工程で用いる判定モードを、予め定められた判定条件に応じて、前記第１の判定モード及び前記第２の判定モードのいずれかに設定する制御工程と、
を有し、
前記第１の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、
前記第２の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置の制御方法。 A control method for a facial expression determination apparatus that includes detection means for detecting a human face from input image data and determines whether or not the detected face is a predetermined facial expression,
Extraction means, a feature amount of the face part constituting the detected face, an extraction step of extracting for each relevant face part,
Facial expression determination unit, based on the feature amount of each Oite extracted face parts in the extraction step, the first determination mode, or in one of the first determination mode is different from the second determination mode, A facial expression determination step for determining whether or not the detected face is the predetermined facial expression;
Control means, and a control step of the determination mode used in the facial expression determination step, according to a predetermined determination condition, any crab set of the first determination mode and the second determination mode,
Have
In the first determination mode, the detected face is detected based on the correlation between the feature amount of each facial part extracted in the extraction step and a reference value indicating the predetermined facial expression. It is a judgment mode that determines whether or not it is a facial expression,
The second determination mode is based on a difference between a feature amount for each facial part extracted in the extraction step and a feature amount for each facial part constituting a facial expression serving as a reference stored in advance. Oh Ru in the detected face determination mode whether the a predetermined expression, the control method of the facial expression determination apparatus characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008291494A JP5106355B2 (en) | 2008-11-13 | 2008-11-13 | Facial expression determination device, control method thereof, imaging device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008291494A JP5106355B2 (en) | 2008-11-13 | 2008-11-13 | Facial expression determination device, control method thereof, imaging device, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010117948A JP2010117948A (en) | 2010-05-27 |
| JP2010117948A5 JP2010117948A5 (en) | 2012-01-05 |
| JP5106355B2 true JP5106355B2 (en) | 2012-12-26 |
Family
ID=42305579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008291494A Expired - Fee Related JP5106355B2 (en) | 2008-11-13 | 2008-11-13 | Facial expression determination device, control method thereof, imaging device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5106355B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013021434A (en) * | 2011-07-08 | 2013-01-31 | Nec Saitama Ltd | Imaging apparatus, imaging control method, and program |
| JP5828722B2 (en) * | 2011-09-07 | 2015-12-09 | キヤノン株式会社 | Imaging apparatus, control method therefor, program, and storage medium |
| JP2013132011A (en) * | 2011-12-22 | 2013-07-04 | Canon Inc | Imaging device, imaging method, and program |
| JP5906817B2 (en) * | 2012-03-02 | 2016-04-20 | 株式会社ニコン | Image processing device |
| JP2013186512A (en) | 2012-03-06 | 2013-09-19 | Sony Corp | Image processing apparatus and method, and program |
| JP6202882B2 (en) * | 2013-05-28 | 2017-09-27 | 大和ハウス工業株式会社 | Facial expression detection system and facial expression detection method |
| KR101802062B1 (en) * | 2016-03-14 | 2017-11-27 | 한국과학기술원 | Method and system to measure stereoscopic 3d content-induced visual discomfort based facial expression recognition for sensitivity tv |
| CN105975935B (en) * | 2016-05-04 | 2019-06-25 | 腾讯科技（深圳）有限公司 | A kind of face image processing process and device |
| KR102564855B1 (en) | 2018-01-08 | 2023-08-08 | 삼성전자주식회사 | Device and method to recognize object and face expression, and device and method to train obejct and face expression robust to facial change |
| JP7080212B2 (en) | 2019-12-27 | 2022-06-03 | グリー株式会社 | Computer programs, server devices and methods |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4013684B2 (en) * | 2002-07-23 | 2007-11-28 | オムロン株式会社 | Unauthorized registration prevention device in personal authentication system |
| JP4743823B2 (en) * | 2003-07-18 | 2011-08-10 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
| JP2005293539A (en) * | 2004-03-08 | 2005-10-20 | Matsushita Electric Works Ltd | Facial expression recognizing device |
| JP2007067559A (en) * | 2005-08-29 | 2007-03-15 | Canon Inc | Image processing method, image processing apparatus, and control method of imaging apparatus |
| JP2008123399A (en) * | 2006-11-15 | 2008-05-29 | Seiko Epson Corp | Feeling recognition device, electronic equipment, feeling recognizing method, control program and recording medium |
| JP4884251B2 (en) * | 2007-02-09 | 2012-02-29 | 富士フイルム株式会社 | Imaging apparatus, method, and program |
| JP4789825B2 (en) * | 2007-02-20 | 2011-10-12 | キヤノン株式会社 | Imaging apparatus and control method thereof |
-
2008
- 2008-11-13 JP JP2008291494A patent/JP5106355B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010117948A (en) | 2010-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5106355B2 (en) | Facial expression determination device, control method thereof, imaging device, and program | |
| JP4519708B2 (en) | Imaging apparatus and method, and program | |
| JP5055166B2 (en) | Eye open / closed degree determination device, method and program, and imaging device | |
| KR101539043B1 (en) | Image photography apparatus and method for proposing composition based person | |
| JP4182117B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4197019B2 (en) | Imaging apparatus and facial expression evaluation apparatus | |
| US8488847B2 (en) | Electronic camera and image processing device | |
| CN101753822B (en) | Imaging apparatus and image processing method used in imaging device | |
| JP4110178B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| KR101795601B1 (en) | Apparatus and method for processing image, and computer-readable storage medium | |
| JP4999570B2 (en) | Facial expression recognition apparatus and method, and imaging apparatus | |
| JP4702418B2 (en) | Imaging apparatus, image region existence determination method and program | |
| JP4431547B2 (en) | Image display control device, control method therefor, and control program therefor | |
| US8077216B2 (en) | Image pickup apparatus with a human face detecting function, method and program product for detecting a human face | |
| JP4315234B2 (en) | Imaging apparatus and facial expression evaluation apparatus | |
| US20120275648A1 (en) | Imaging device and imaging method and program | |
| JP5129683B2 (en) | Imaging apparatus and control method thereof | |
| KR20090098505A (en) | Media signal generating method and apparatus using state information | |
| JP2008035125A (en) | Image pickup device, image processing method, and program | |
| KR100816949B1 (en) | Optimal-state image pickup camera | |
| US20180260650A1 (en) | Imaging device and imaging method | |
| JP5157761B2 (en) | Electronic still camera | |
| JP5434096B2 (en) | Digital camera | |
| KR101276724B1 (en) | Method for controlling digital photographing apparatus, and digital photographing apparatus adopting the method | |
| JP6511780B2 (en) | Image acquisition apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120903 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121002 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5106355 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |