JP2005234686A - Expression recognition device, expression recognition method and program - Google Patents

Expression recognition device, expression recognition method and program Download PDF

Info

Publication number
JP2005234686A
JP2005234686A JP2004040159A JP2004040159A JP2005234686A JP 2005234686 A JP2005234686 A JP 2005234686A JP 2004040159 A JP2004040159 A JP 2004040159A JP 2004040159 A JP2004040159 A JP 2004040159A JP 2005234686 A JP2005234686 A JP 2005234686A
Authority
JP
Japan
Prior art keywords
facial expression
image
information
identification information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004040159A
Other languages
Japanese (ja)
Inventor
Yoshiharu Hibi
吉晴 日比
Shinichi Uchiumi
慎一 内海
Shigemoto Washino
滋基 鷲野
Shinichi Kobayashi
慎一 小林
Taketoshi Yamashita
武利 山下
Erika Tani
エリカ 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2004040159A priority Critical patent/JP2005234686A/en
Publication of JP2005234686A publication Critical patent/JP2005234686A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate the classification of an image focusing on facial expression by generating an index indicating facial expression on the image. <P>SOLUTION: An expression recognition device comprises an image acquisition part 11 for acquiring an image, a face area extraction part 12 for extracting a face area on the image, a mouth area extraction part 13 for extracting a mouth area in the face area, a mouth area analysis part 14 for analyzing the mouth area to compute the outside diameter and inside diameter of a lip area, the area of the mouth area and the area of a tooth area, an information generation part 15 for computing the degree of mouth opening and the degree of tooth exposure from the information and generating expression identification information from the computations, and an information addition part 16 for adding the average of such expression identification information divided by the number of subjects, or a correspondence between each subject ID and the expression identification information about the subject, to the image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、写真等の画像上の顔の表情を認識する表情認識装置等に関する。   The present invention relates to a facial expression recognition device that recognizes facial expressions on images such as photographs.

近年、我々の周りには写真等の画像が溢れている。その要因の１つとして、デジタルカメラ(いわゆるカメラ付き携帯電話を含む)の急速な普及が挙げられる。
銀塩カメラでは、感光剤としてハロゲン化銀を用いたフィルムに画像を記録するため、一旦撮影した画像を後で削除することはできない。これに対し、デジタルカメラでは、デジタルデータとして画像を記録するため、撮影に失敗する可能性があったとしてもとりあえず撮影しておき、失敗であれば後から削除するということも可能である。また、永久保存するかどうか判断に迷う画像については、とりあえずＰＣ(Personal Computer)等に移しておき、後で削除するか保存するかを判断することもよくある。このように我々の意識も銀塩カメラを用いる場合とは大きく異なってきており、その結果、多くの画像がデジタルカメラの中、記録媒体の中、ＰＣのハードディスクの中等に散乱する状況が生じているのである。 In recent years, images such as photographs are overflowing around us. One of the factors is the rapid spread of digital cameras (including so-called camera-equipped mobile phones).
In a silver salt camera, since an image is recorded on a film using silver halide as a photosensitive agent, an image once taken cannot be deleted later. On the other hand, since a digital camera records an image as digital data, even if there is a possibility of shooting failure, it is possible to take a picture for the time being and delete it later if it fails. In addition, images that are confused about whether to permanently store them are often transferred to a PC (Personal Computer) or the like for the time being, and it is often determined whether to delete or save them later. In this way, our consciousness is also very different from the case of using a silver halide camera. As a result, many images are scattered in the digital camera, in the recording medium, in the PC hard disk, etc. It is.

ところで、このように画像が散乱してくると、その整理を行う必要が出て来る。その場合、例えば、失敗した画像は削除し、残った画像の中から特によく撮れているものをピックアップして電子アルバムに含める等の作業が行われる。
ところが、このような作業では、散乱している多数の画像の中から電子アルバムに含めるものを１つ１つ確認しながら決めていかなればならない。画像をデジタルデータとして扱えることによる利点は大きいが、画像を閲覧するために時間がかかってしまうのは、デジタルデータとして扱うことによりもたらされる不利益な点である。
そこで、多数の画像の中から電子アルバムに含める画像をピックアップする等の画像分類作業を効率的に行えるようにするために、画像に対しその画像に関する所定の付帯情報を付加し、その付帯情報を用いて画像を自動分類することが行われていた(例えば、特許文献１、特許文献２参照。)。 By the way, when images are scattered like this, it becomes necessary to organize them. In that case, for example, a failed image is deleted, and a work that is particularly well taken from the remaining images is picked up and included in an electronic album.
However, in such a work, it is necessary to determine each of the scattered images to be included in the electronic album while checking each one. Although the advantages of being able to handle images as digital data are great, it takes a long time to view images, which is a disadvantage brought about by handling them as digital data.
Therefore, in order to efficiently perform an image classification operation such as picking up an image to be included in an electronic album from a large number of images, predetermined incidental information about the image is added to the image, and the incidental information is It has been used to automatically classify images (see, for example, Patent Document 1 and Patent Document 2).

特開平７−１２３３０７号公報(第６、７頁、第１０−２３図)JP-A-7-123307 (6th, 7th page, FIG. 10-23) 特開２００２−３４４８６７号公報(第６−８頁、第２、３図)JP 2002-344867 (page 6-8, FIGS. 2, 3)

しかしながら、特許文献１の発明は、撮影年、撮影月、撮影日、撮影時刻等を、特許文献２記載の発明は、位置情報や被写体情報等を、それぞれ、付帯情報として画像に付加するものであり、画像上の顔の表情を示す指標を付帯情報として画像に付加するものではなかった。従って、顔の表情に着目した画像の分類が行えないという問題点があった。
例えば、電子アルバムに含める画像については、一般に、暗い表情をしたものよりも、明るい表情をしたもの(例えば、笑顔)を選びたいという欲求があるが、従来、多くの画像の中から笑顔で写っている画像を選び出す作業には多大な労力を要していた。 However, the invention of Patent Document 1 adds a shooting year, a shooting month, a shooting date, a shooting time, and the like, and the invention of Patent Document 2 adds position information, subject information, and the like to the image as supplementary information. Yes, an index indicating facial expression on the image is not added to the image as supplementary information. Therefore, there is a problem that it is not possible to classify images focusing on facial expressions.
For example, for images to be included in electronic albums, there is generally a desire to select a bright expression (for example, a smile) rather than a dark expression. It took a great deal of work to select the images that were present.

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、画像上の顔の表情を表す指標を生成することにある。
また本発明の他の目的は、画像上の顔の表情に着目した画像の分類を容易に行えるようにすることにある。 The present invention has been made to solve the above technical problems, and an object thereof is to generate an index representing a facial expression on an image.
Another object of the present invention is to make it easy to classify images focusing on facial expressions on images.

かかる目的のもと、本発明は、画像を解析することで被写体の顔の表情を表す情報(以下、「表情識別情報」という)を自動生成するようにしている。即ち、本発明の第１の表情認識装置は、画像上の被写体の唇の領域および/または歯の領域を特定する口領域解析部と、この口領域解析部により特定された唇および/または歯の領域の情報に基づき、被写体の表情を示す表情識別情報を生成する情報生成部とを備えている。ここで、情報生成部は、唇の領域の情報に基づき、口が開いている度合いを求め、その度合いを表情識別情報とすることが可能である。また、歯の領域の情報に基づき、歯が見えている度合いを求め、その度合いを表情識別情報としてもよい。さらに、唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、この第１のパラメータと第２のパラメータとから表情識別情報を決定するように構成することも可能である。   For this purpose, the present invention automatically generates information representing the facial expression of the subject (hereinafter referred to as “expression identification information”) by analyzing the image. That is, the first facial expression recognition device of the present invention includes a mouth region analysis unit that identifies a lip region and / or a tooth region of a subject on an image, and a lip and / or tooth identified by the mouth region analysis unit. And an information generation unit that generates facial expression identification information indicating the facial expression of the subject based on the information of the area. Here, the information generation unit can obtain the degree of opening of the mouth based on the information on the lip region, and can use the degree as facial expression identification information. Further, the degree of visible teeth may be obtained based on the tooth area information, and the degree may be used as facial expression identification information. Further, based on the information on the lip area, a first parameter indicating the degree of opening of the mouth is obtained, and on the basis of the information on the tooth area, a second parameter indicating the degree of visibility of the tooth is obtained. The facial expression identification information may be determined from the first parameter and the second parameter.

また、本発明では、生成された表情識別情報を、電子アルバムの作成等の際に画像と同時に読み込めるような構成も提案している。即ち、第一に、画像上の複数の被写体のそれぞれについて情報生成部が表情識別情報として生成した複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加する情報付加部を備えた構成である。また、第二に、画像上の複数の被写体のそれぞれについて情報生成部が表情識別情報として生成した複数の数値を、対応する被写体との関係が分かる形式で画像に付加する情報付加部を備えた構成である。   Further, the present invention also proposes a configuration in which the generated facial expression identification information can be read simultaneously with the image when creating an electronic album. That is, first, an information addition unit that calculates one eigenvalue for an image from a plurality of numerical values generated as facial expression identification information by the information generation unit for each of a plurality of subjects on the image, and adds the eigenvalue to the image. It is the structure provided with. Secondly, an information adding unit is provided for adding a plurality of numerical values generated as expression identification information by the information generating unit for each of a plurality of subjects on the image in a format in which the relationship with the corresponding subject can be understood. It is a configuration.

さらに、本発明は、画像を解析することで被写体の顔の表情を表す表情識別情報を自動生成する方法として捉えることも可能である。その場合、本発明の表情認識方法は、画像上の被写体の唇および歯の領域を特定するステップと、特定された唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めるステップと、特定された歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求めるステップと、第１のパラメータと第２のパラメータとに基づき被写体の表情を示す表情識別情報を決定するためのテーブルを所定の記憶装置から読み出すステップと、読み出されたテーブルを参照することにより、表情識別情報を決定するステップとを含んでいる。   Furthermore, the present invention can also be understood as a method of automatically generating facial expression identification information representing facial expressions of a subject by analyzing an image. In this case, the facial expression recognition method according to the present invention includes the step of specifying the lip and tooth regions of the subject on the image, and the first parameter that is the degree to which the mouth is open based on the information on the specified lip region. Showing the facial expression of the subject based on the first parameter and the second parameter, the step of obtaining the second parameter, which is the degree to which the tooth is visible, based on the information on the identified tooth region It includes a step of reading a table for determining facial expression identification information from a predetermined storage device and a step of determining facial expression identification information by referring to the read table.

また、本発明では、生成された表情識別情報を、電子アルバムの作成等の際に画像と同時に読み込めるようにするための方法も提案している。即ち、第一に、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加するステップをさらに含んだ方法である。また、第二に、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で画像に付加するステップをさらに含んだ構成である。   In addition, the present invention also proposes a method for enabling the generated facial expression identification information to be read simultaneously with an image when creating an electronic album. That is, first, a method further includes a step of calculating one eigenvalue for an image from a plurality of numerical values generated as facial expression identification information for each of a plurality of subjects on the image, and adding the eigenvalue to the image. It is. Secondly, the image processing apparatus further includes a step of adding a plurality of numerical values generated as facial expression identification information for each of a plurality of subjects on the image to the image in a form in which the relationship with the corresponding subject can be understood.

一方、本発明は、所定の機能をコンピュータに実現させるためのコンピュータプログラムとして捉えることもできる。その場合、本発明のプログラムは、コンピュータに、顔の画像上で唇の領域および/または歯の領域を特定する機能と、特定された唇および/または歯の領域の情報に基づき、顔の表情を示す表情識別情報を生成する機能とを実現させるものである。ここで、表情識別情報を生成する機能は、唇の領域の情報に基づき、口が開いている度合いを求め、その度合いを表情識別情報とする機能であってよい。また、歯の領域の情報に基づき、歯が見えている度合いを求め、その度合いを表情識別情報とする機能であってもよい。さらに、唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、この第１のパラメータと第２のパラメータとから表情識別情報を決定する機能であってもよい。   On the other hand, the present invention can also be understood as a computer program for causing a computer to realize a predetermined function. In that case, the program of the present invention causes the computer to perform facial expression based on the function of identifying the lip area and / or tooth area on the face image and the information on the identified lip and / or tooth area. And a function of generating facial expression identification information indicating the above. Here, the function of generating facial expression identification information may be a function of obtaining the degree of opening of the mouth based on information on the lip area and using the degree as facial expression identification information. Moreover, the function which calculates | requires the degree which the tooth | gear is visible based on the information of a tooth | gear area | region, and makes the degree the expression identification information may be sufficient. Further, based on the information on the lip area, a first parameter indicating the degree of opening of the mouth is obtained, and on the basis of the information on the tooth area, a second parameter indicating the degree of visibility of the tooth is obtained. A function of determining facial expression identification information from the first parameter and the second parameter may be used.

また、コンピュータに、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加する機能をさらに実現させるようにしてもよいし、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で画像に付加する機能をさらに実現させるようにしてもよい。   Further, the computer further realizes a function of calculating one eigenvalue for the image from a plurality of numerical values generated as facial expression identification information for each of a plurality of subjects on the image and adding the eigenvalue to the image. Alternatively, a function of adding a plurality of numerical values generated as facial expression identification information for each of a plurality of subjects on the image to the image in a form in which the relationship with the corresponding subject can be understood may be further realized. .

本発明によれば、画像上の顔の表情を表す指標を生成することが可能となる。   According to the present invention, it is possible to generate an index representing a facial expression on an image.

以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態におけるデジタルカメラのハードウェア構成の一例を示した図である。このデジタルカメラは、コントローラ１０と、レンズ２０と、撮像素子３０と、Ａ/Ｄ変換回路４０と、液晶ディスプレイ５０と、操作キー６０と、内蔵メモリ７０と、補助記憶装置８０とから構成される。なお、この図は、概略を示したものであり、一般にデジタルカメラに必要な構成であっても、本発明に直接関係しないものについては、省略している場合がある。 The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating an example of a hardware configuration of a digital camera according to the present embodiment. The digital camera includes a controller 10, a lens 20, an image sensor 30, an A / D conversion circuit 40, a liquid crystal display 50, operation keys 60, a built-in memory 70, and an auxiliary storage device 80. . Note that this diagram is an outline, and even a configuration generally required for a digital camera may be omitted for components that are not directly related to the present invention.

コントローラ１０は、ＣＰＵ(Central Processing Unit)を有しており、Ａ/Ｄ変換回路４０からの信号入力制御、液晶ディスプレイ５０への表示制御、操作キー６０からの入力制御、内蔵メモリ７０への出力制御、補助記憶装置８０への出力制御等の各種制御を行う部分である。
レンズ２０は、被写体を撮像素子３０の上に結像するものである。撮像素子３０は、レンズ２０を通して入って来た光を電気信号に変換する素子であり、例えば、ＣＣＤ(Charge Coupled Diode)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)である。また、Ａ/Ｄ変換回路４０は、アナログ信号として入力される画像データの信号をデジタル信号に変換するための回路である。 The controller 10 has a CPU (Central Processing Unit) and controls signal input from the A / D conversion circuit 40, display control on the liquid crystal display 50, input control from the operation keys 60, and output to the built-in memory 70. This is a part that performs various controls such as control and output control to the auxiliary storage device 80.
The lens 20 forms an image of the subject on the image sensor 30. The imaging element 30 is an element that converts light that has entered through the lens 20 into an electrical signal, and is, for example, a CCD (Charge Coupled Diode) or a CMOS (Complementary Metal Oxide Semiconductor). The A / D conversion circuit 40 is a circuit for converting a signal of image data input as an analog signal into a digital signal.

液晶ディスプレイ５０は、内蔵メモリ７０に格納された画像や、デジタルカメラに対し各種設定を行うためのメニュー画面を表示するためのディスプレイである。操作キー６０は、デジタルカメラに対し各種設定操作を行うためのキーである。また、内蔵メモリ７０は、撮影した画像や、各種設定を行うためのデータ等を格納するメモリである。補助記憶装置８０は、撮影した画像を記録するための記録媒体であり、例えば、フラッシュメモリである。なお、通常、補助記憶装置８０はデジタルカメラ本体から着脱可能に構成されるが、図１においては、便宜上、コントローラ１０と結線された形で示している。   The liquid crystal display 50 is a display for displaying an image stored in the built-in memory 70 and a menu screen for performing various settings for the digital camera. The operation key 60 is a key for performing various setting operations on the digital camera. The built-in memory 70 is a memory for storing captured images, data for performing various settings, and the like. The auxiliary storage device 80 is a recording medium for recording captured images, and is, for example, a flash memory. Normally, the auxiliary storage device 80 is configured to be detachable from the digital camera body, but in FIG. 1, for convenience, the auxiliary storage device 80 is shown in a form connected to the controller 10.

次に、図２を参照して、コントローラ１０の機能構成を説明する。
図２に示すように、コントローラ１０は、画像取得部１１と、顔領域抽出部１２と、口領域抽出部１３と、口領域解析部１４と、情報生成部１５と、情報付加部１６とを備える。
画像取得部１１は、Ａ/Ｄ変換回路４０、内蔵メモリ７０、または、補助記憶装置８０から画像データを取得する部分である。顔領域抽出部１２は、画像上の顔に相当する領域(以下、「顔領域」という)を抽出する部分であり、口領域抽出部１３は、顔領域内で口に相当する領域(以下、「口領域」という)を抽出する部分である。なお、口領域の抽出は、口の輪郭である唇に相当する領域(以下、「唇領域」という)を検出することにより行う。
口領域解析部１４は、口領域を解析して表情識別情報の生成に用いる値を取り出す部分である。また、情報生成部１５は、表情識別情報を生成する部分であり、情報付加部１６は、表情識別情報を画像データに付加する部分である。 Next, the functional configuration of the controller 10 will be described with reference to FIG.
As shown in FIG. 2, the controller 10 includes an image acquisition unit 11, a face region extraction unit 12, a mouth region extraction unit 13, a mouth region analysis unit 14, an information generation unit 15, and an information addition unit 16. Prepare.
The image acquisition unit 11 is a part that acquires image data from the A / D conversion circuit 40, the built-in memory 70, or the auxiliary storage device 80. The face area extracting unit 12 is a part that extracts an area corresponding to a face on the image (hereinafter referred to as “face area”), and the mouth area extracting unit 13 is an area corresponding to the mouth within the face area (hereinafter referred to as “face area”). This is a part for extracting “mouth area”. Note that the extraction of the mouth region is performed by detecting a region corresponding to the lips that is the contour of the mouth (hereinafter referred to as “lip region”).
The mouth area analysis unit 14 is a part that analyzes the mouth area and extracts a value used to generate facial expression identification information. The information generation unit 15 is a part that generates facial expression identification information, and the information addition unit 16 is a part that adds facial expression identification information to image data.

なお、これらの各機能部は、ハードウェアのみによっても実現可能であるが、ハードウェアとソフトウェアの組み合わせによっても実現可能である。後者の場合は、コントローラ１０の図示しないＣＰＵ(Central Processing Unit)が、例えば、内蔵メモリ７０に記憶されたプログラムを読み込んで実行することにより各機能が実現される。
また、このプログラムは、コントローラ１０を含むデジタルカメラの出荷時に予めインストールされているものであってもよいし、出荷後に有線または無線の通信手段を用いてダウンロードされインストールされたものであってもよい。 Each of these functional units can be realized only by hardware, but can also be realized by a combination of hardware and software. In the latter case, each function is realized by a CPU (Central Processing Unit) (not shown) of the controller 10 reading and executing a program stored in the built-in memory 70, for example.
The program may be installed in advance at the time of shipment of the digital camera including the controller 10, or may be downloaded and installed using a wired or wireless communication unit after shipment. .

本実施の形態は、このような構成を備えたデジタルカメラにおいて、画像データに対し表情識別情報を付加するものである。なお、表情識別情報は、撮影直後に自動的に付加してもよいし、撮影後の任意の時点における利用者の指示により付加してもよい。
ところで、電子アルバムに含める画像を選択する場合には、表情が笑顔の画像を優先的に選択したいという欲求が一般に認められる。従って、ここでは、表情識別情報として、表情が笑顔であるほど数値が大きくなるような指数(以下、「笑顔指数」という)を付加することを前提に、具体的な実施の形態について説明する。 In the present embodiment, expression identification information is added to image data in a digital camera having such a configuration. The facial expression identification information may be automatically added immediately after shooting, or may be added according to a user instruction at an arbitrary time after shooting.
By the way, when selecting an image to be included in an electronic album, a desire to preferentially select an image with a smiling expression is generally recognized. Therefore, a specific embodiment will be described on the premise that an index (hereinafter referred to as “smile index”) is added as facial expression identification information so that the numerical value increases as the facial expression smiles.

(第１の実施の形態)
第１の実施の形態では、図３に示すように、画像データに対し、付帯情報として、ファイル名、撮影日時等の情報に加え、その画像データの固有値としての笑顔指数を付加する。そのような笑顔指数を撮影時に付加する場合、コントローラ１０は、撮像素子３０からＡ/Ｄ変換回路４０を介して取得した画像データに直接、または、内蔵メモリ７０に格納した後に、笑顔指数を付加して補助記憶装置８０に記憶する。また、そのような笑顔指数を撮影後の任意の時点で付加する場合、コントローラ１０は、補助記憶装置８０から画像データを読み出し、笑顔指数を付加して補助記憶装置８０に書き戻す。 (First embodiment)
In the first embodiment, as shown in FIG. 3, a smile index as an eigenvalue of the image data is added to the image data as supplementary information in addition to information such as a file name and a shooting date. When adding such a smile index at the time of shooting, the controller 10 adds the smile index directly to the image data acquired from the image sensor 30 via the A / D conversion circuit 40 or after storing it in the built-in memory 70. And stored in the auxiliary storage device 80. Further, when adding such a smile index at an arbitrary time after shooting, the controller 10 reads the image data from the auxiliary storage device 80, adds the smile index, and writes it back to the auxiliary storage device 80.

以下、本実施の形態におけるコントローラ１０の動作について説明する。
図４は、コントローラ１０内の画像取得部１１、顔領域抽出部１２、口領域抽出部１３の動作を示すフローチャートである。
まず、画像取得部１１が、Ａ/Ｄ変換回路４０、内蔵メモリ７０、または、補助記憶装置８０から画像データを取得する(ステップ１０１)。
次に、顔領域抽出部１２が、その画像データのサイズを正規化する(ステップ１０２)。具体的には、その画像データの画素数を、顔領域や口領域を抽出するのに適切な画素数として予め設定された画素数となるように変換を行う。 Hereinafter, the operation of the controller 10 in the present embodiment will be described.
FIG. 4 is a flowchart showing operations of the image acquisition unit 11, the face region extraction unit 12, and the mouth region extraction unit 13 in the controller 10.
First, the image acquisition unit 11 acquires image data from the A / D conversion circuit 40, the built-in memory 70, or the auxiliary storage device 80 (step 101).
Next, the face area extraction unit 12 normalizes the size of the image data (step 102). Specifically, the conversion is performed so that the number of pixels of the image data becomes a number of pixels set in advance as an appropriate number of pixels for extracting the face area and the mouth area.

また、顔領域抽出部１２は、この正規化された画像データを輝度・色差信号に変換する(ステップ１０３)。Ａ/Ｄ変換回路４０で変換されたままの画像データはＲＧＢ座標系により表されている。しかし、ＲＧＢ座標系のままでは、顔領域や口領域の抽出は行えないので、色相、彩度、明度を表すＨＳＶ座標系に変換する必要がある。このステップは、そのＨＳＶ座標系への変換を行うための前ステップである。
そして、ＨＳＶ座標系への変換を行い、各画素に対し、明度、色相が、それぞれ、予め定義した一定の範囲内にあるものを肌色と判断し、そのような画素を肌色画素として特定する(ステップ１０４)。なお、色相のみを用いても、肌色らしい部分を抽出することはできるが、肌色を暗くしたような色の部分(例えば、木の幹等)も一緒に抽出されてしまう虞があるので、明度も用いるようにする。
さらに、顔領域抽出部１２は、肌色画素を連結させて顔領域を特定し、ラベリング処理を行うと共に、連結させても顔領域とはならない小領域については、それらを除去する処理を行う(ステップ１０５)。 The face area extraction unit 12 converts the normalized image data into luminance / color difference signals (step 103). The image data as it is converted by the A / D conversion circuit 40 is represented by the RGB coordinate system. However, since the face area and the mouth area cannot be extracted with the RGB coordinate system, it is necessary to convert to an HSV coordinate system representing hue, saturation, and brightness. This step is a previous step for performing conversion to the HSV coordinate system.
Then, conversion to the HSV coordinate system is performed, and for each pixel, the lightness and the hue are determined to be flesh color within a predetermined range, and such a pixel is specified as a flesh color pixel ( Step 104). Even if only the hue is used, it is possible to extract the part that seems to be skin tone, but there is a possibility that the part of the color that darkens the skin color (for example, the trunk of the tree) may be extracted together. Also use it.
Furthermore, the face area extraction unit 12 connects the skin color pixels to identify the face area, performs a labeling process, and performs a process of removing those small areas that do not become a face area even if they are connected (step). 105).

次に、口領域抽出部１３は、ステップ１０５で特定された顔領域内の各画素に対し、明度、色相が、それぞれ、予め定義した一定の範囲内にあるものを唇色と判断し、そのような画素を唇色画素として特定する(ステップ１０６)。なお、色相のみを用いても、唇色らしい部分を抽出することはできるが、唇色を暗くしたような色の部分も一緒に抽出されてしまう虞があるので、明度も用いるようにする。
さらに、口領域抽出部１３は、唇色画素を連結させて唇領域を特定し、ラベリング処理を行うと共に、連結させても唇領域とはならない小領域については、それらを除去する処理を行う(ステップ１０７)。 Next, the mouth area extraction unit 13 determines that each pixel in the face area specified in step 105 has a brightness and a hue that are within a predetermined range as a lip color. Such a pixel is specified as a lip color pixel (step 106). Even if only the hue is used, a lip-colored portion can be extracted. However, since there is a possibility that a lip-colored color portion may be extracted together, the lightness is also used.
Further, the mouth area extracting unit 13 connects the lip color pixels to identify the lip area, performs a labeling process, and performs a process of removing small areas that do not become a lip area even if connected. Step 107).

図５は、コントローラ１０内の口領域解析部１４、情報生成部１５、情報付加部１６の動作を示したフローチャートである。
ここでは、図６(ａ)、(ｂ)に示すような画像の口領域が、口領域抽出部１３により抽出されているものとする。図中、唇に相当する領域(図６において黒で塗りつぶした領域)を上述した通り「唇領域」と呼び、歯に相当する領域(図６において白地のままになっている領域)を「歯領域」と呼ぶこととする。 FIG. 5 is a flowchart showing operations of the mouth area analysis unit 14, the information generation unit 15, and the information addition unit 16 in the controller 10.
Here, it is assumed that the mouth area of the image as shown in FIGS. 6A and 6B is extracted by the mouth area extracting unit 13. In the figure, the region corresponding to the lips (the region painted in black in FIG. 6) is referred to as the “lip region” as described above, and the region corresponding to the teeth (the region that remains white in FIG. 6) is referred to as “the tooth. It will be referred to as “region”.

まず、口領域解析部１４は、唇領域の外径ｄ１と内径ｄ２と口領域の面積ｓ１と歯領域の面積ｓ２とを求める(ステップ２０１)。唇領域の外径ｄ１および内径ｄ２としては、例えば、図６(ａ)に示す部分の長さを採用することができる。即ち、唇領域に外接する矩形の高さを外径ｄ１とし、唇領域に内接する矩形の高さを内径ｄ２とすることができる。また、口領域の面積ｓ１および歯領域の面積ｓ２としては、図６(ｂ)に示す領域の面積を採用する。即ち、黒で塗りつぶした領域、白地のままになっている領域、斜線を施した領域の面積の合計を口領域の面積ｓ１とし、白地のままになっている領域の面積を歯領域の面積ｓ２とする。 First, the mouth area analysis unit 14 obtains the outer diameter d 1 and inner diameter d 2 of the lip area, the area s 1 of the mouth area, and the area s 2 of the tooth area (step 201). The outer diameter d 1 and an inside diameter d 2 of the lip region, for example, may be employed a length of the portion shown in Figure 6 (a). That is, the height of the rectangle circumscribing the lip region to the outside diameter d 1, the height of the rectangle inscribed in the lip region may be an inner diameter d 2. Further, as the area s 1 of the mouth region and the area s 2 of the tooth region, the area of the region shown in FIG. 6B is adopted. That is, the total area of the black area, the white area, and the hatched area is the area s 1 of the mouth area, and the area of the white area is the area of the tooth area. and s 2.

次に、情報生成部１５は、ｄ２をｄ１で除することにより、口の開き具合を示すパラメータ(以下、「パラメータＡ」という)を求める(ステップ２０２)。また、ｓ２をｓ１で除することにより、歯の見え具合を示すパラメータ(以下、「パラメータＢ」という)を求める(ステップ２０３)。
そして、情報生成部１５は、内蔵メモリ７０に記憶された笑顔指数テーブルを参照し、笑顔指数を求める(ステップ２０４)。図７に、笑顔指数テーブルの一例を示す。図７の笑顔指数テーブルでは、パラメータＡについては閾値ＴｈＡを、パラメータＢについては閾値ＴｈＢを設け、パラメータＡがＴｈＡ以下の場合、パラメータＢがＴｈＢ以下の場合は、ともに笑顔指数には「笑顔ではない」ことを示す値(例えば、「０」)が設定されるような定義となっている。また、パラメータＡがＴｈＡより大きく、かつ、パラメータＢがＴｈＢより大きい場合は、それぞれのパラメータの値により、笑顔指数に「笑顔らしさ大」または「笑顔らしさ小」を示す値が設定されるような定義となっている。 Next, the information generating unit 15 obtains a parameter indicating the mouth opening degree (hereinafter referred to as “parameter A”) by dividing d 2 by d 1 (step 202). Further, by dividing s 2 by s 1 , a parameter indicating the appearance of the teeth (hereinafter referred to as “parameter B”) is obtained (step 203).
Then, the information generation unit 15 refers to the smile index table stored in the built-in memory 70 and obtains the smile index (step 204). FIG. 7 shows an example of the smile index table. In the smile index table of FIG. 7, a threshold value ThA is set for parameter A, and a threshold value ThB is set for parameter B. When parameter A is equal to or less than ThA, parameter B is equal to or less than ThB, The definition is such that a value (for example, “0”) indicating “not present” is set. Further, when the parameter A is larger than ThA and the parameter B is larger than ThB, a value indicating “high smile-likeness” or “small smile-likeness” is set to the smile index depending on the value of each parameter. It is a definition.

但し、図７の笑顔指数テーブルはあくまで一例であり、パラメータＡとパラメータＢについての刻み幅をもっと細かく設定し、笑顔らしさをよりきめ細かく判定するようにしてもよい。
また、笑顔指数を、パラメータＡ、パラメータＢを変数とする関数と捉え、テーブルを参照するのではなく、計算により笑顔指数を求めるようにしてもよい。
なお、画像上に複数の被写体が存在し、口領域も複数存在する場合は、各口領域について以上の処理を行い、口領域の数だけの笑顔指数を求める。 However, the smile index table in FIG. 7 is merely an example, and the step size for parameter A and parameter B may be set more finely to determine the smile-likeness more finely.
Further, the smile index may be regarded as a function having the parameters A and B as variables, and the smile index may be obtained by calculation instead of referring to the table.
When there are a plurality of subjects on the image and a plurality of mouth areas, the above processing is performed for each mouth area, and smile indexes corresponding to the number of mouth areas are obtained.

そして、情報付加部１６が、笑顔指数を口領域の数(顔の数)で除して平均値を求め(ステップ２０５)、画像データの固有値としての笑顔指数として付加する(ステップ２０６)。   Then, the information adding unit 16 divides the smile index by the number of mouth areas (the number of faces) to obtain an average value (step 205), and adds it as a smile index as an eigenvalue of the image data (step 206).

本実施の形態では、笑顔指数を生成して画像に付加するようにしたことにより、被写体が笑顔かどうかに着目した画像の分類を容易に行うことが可能となる。また、画像上に複数の被写体が存在する場合に全ての被写体についての笑顔指数の平均を付加するようにしたことにより、画像全体として笑顔の度合いが高いかどうか、つまり、和やかなムードで撮影された画像かどうか等も分かり、画像の分類の効率向上が図れる。   In this embodiment, the smile index is generated and added to the image, so that it is possible to easily classify the image focusing on whether or not the subject is smiling. Also, when there are multiple subjects on the image, the average smile index for all subjects is added, so that the whole image is shot with a high degree of smile, that is, with a gentle mood. It is possible to improve the efficiency of image classification.

なお、本実施の形態では、複数の被写体についての笑顔指数の平均を画像に付加するようにしたが、笑顔指数の最大値、最頻値、中央値等の如何なる統計量を付加するようにしてもよい。   In the present embodiment, the average smile index for a plurality of subjects is added to the image, but any statistic such as the maximum value, mode value, or median value of the smile index is added. Also good.

(第２の実施の形態)
第２の実施の形態では、図８に示すように、画像データに対し、付帯情報として、ファイル名、撮影日時等の情報に加え、その画像データに含まれる被写体の数だけ、被写体ＩＤと笑顔指数との対応関係を付加する。そのような笑顔指数を撮影時に付加する場合、コントローラ１０は、撮像素子３０からＡ/Ｄ変換回路４０を介して取得した画像データに直接、または、内蔵メモリ７０に格納した後に、笑顔指数を付加して補助記憶装置８０に記憶する。また、そのような笑顔指数を撮影後の任意の時点で付加する場合、コントローラ１０は、補助記憶装置８０から画像データを読み出し、笑顔指数を付加して補助記憶装置８０に書き戻す。 (Second embodiment)
In the second embodiment, as shown in FIG. 8, in addition to the information such as the file name and the shooting date and time as supplementary information for the image data, the subject ID and the smile are as many as the number of subjects included in the image data. Add a correspondence with the index. When adding such a smile index at the time of shooting, the controller 10 adds the smile index directly to the image data acquired from the image sensor 30 via the A / D conversion circuit 40 or after storing it in the built-in memory 70. And stored in the auxiliary storage device 80. Further, when adding such a smile index at an arbitrary time after shooting, the controller 10 reads the image data from the auxiliary storage device 80, adds the smile index, and writes it back to the auxiliary storage device 80.

以下、本実施の形態におけるコントローラ１０の動作について説明する。
コントローラ１０内の画像取得部１１、顔領域抽出部１２、口領域抽出部１３の動作については、図４に示したものと同様である。
コントローラ１０内の口領域解析部１４、情報生成部１５、情報付加部１６の動作については、図９に示す。
まず、口領域解析部１４は、唇領域の外径ｄ１と内径ｄ２と口領域の面積ｓ１と歯領域の面積ｓ２とを求める(ステップ３０１)。唇領域の外径ｄ１および内径ｄ２としては、例えば、図６(ａ)に示す部分の長さを採用することができる。即ち、唇領域に外接する矩形の高さを外径ｄ１とし、唇領域に内接する矩形の高さを内径ｄ２とすることができる。また、口領域の面積ｓ１および歯領域の面積ｓ２としては、図６(ｂ)に示す領域の面積を採用する。即ち、黒で塗りつぶした領域、白地のままになっている領域、斜線を施した領域の面積の合計を口領域の面積ｓ１とし、白地のままになっている領域の面積を歯領域の面積ｓ２とする。 Hereinafter, the operation of the controller 10 in the present embodiment will be described.
The operations of the image acquisition unit 11, the face region extraction unit 12, and the mouth region extraction unit 13 in the controller 10 are the same as those shown in FIG.
The operations of the mouth area analysis unit 14, the information generation unit 15, and the information addition unit 16 in the controller 10 are shown in FIG.
First, the mouth area analysis unit 14 obtains the outer diameter d 1 and inner diameter d 2 of the lip area, the area s 1 of the mouth area, and the area s 2 of the tooth area (step 301). The outer diameter d 1 and an inside diameter d 2 of the lip region, for example, may be employed a length of the portion shown in Figure 6 (a). That is, the height of the rectangle circumscribing the lip region to the outside diameter d 1, the height of the rectangle inscribed in the lip region may be an inner diameter d 2. Further, as the area s 1 of the mouth region and the area s 2 of the tooth region, the area of the region shown in FIG. 6B is adopted. That is, the total area of the black area, the white area, and the hatched area is the area s 1 of the mouth area, and the area of the white area is the area of the tooth area. and s 2.

次に、情報生成部１５は、ｄ２をｄ１で除することにより、口の開き具合を示すパラメータ(以下、「パラメータＡ」という)を求める(ステップ３０２)。また、ｓ２をｓ１で除することにより、歯の見え具合を示すパラメータ(以下、「パラメータＢ」という)を求める(ステップ３０３)。そして、情報生成部１５は、図７に示した笑顔指数テーブルを参照し、笑顔指数を求める(ステップ３０４)。
なお、画像上に複数の被写体が存在し、口領域も複数存在する場合は、各口領域について以上の処理を行い、口領域の数(顔の数)だけの笑顔指数を求める。その際、本実施の形態では、各笑顔指数に対し、対応する被写体を一意に識別する被写体ＩＤを対応付けておく。なお、被写体ＩＤとしては、顔領域抽出部１２、口領域抽出部１３、または、口領域解析部１４が、自動的に採番するようにしてもよいが、利用者に入力を促してもよい。特に、画像を被写体により分類する場合は、その分類の際に用いる被写体ＩＤと、笑顔指数に対応付ける被写体ＩＤとを同じ体系のものにしておくことにより、特定の被写体が笑顔であるかどうかに着目した画像の分類も可能となる。 Next, the information generating unit 15 obtains a parameter indicating the mouth opening degree (hereinafter referred to as “parameter A”) by dividing d 2 by d 1 (step 302). Further, by dividing s 2 by s 1 , a parameter indicating the appearance of teeth (hereinafter referred to as “parameter B”) is obtained (step 303). Then, the information generation unit 15 refers to the smile index table shown in FIG. 7 and obtains a smile index (step 304).
If there are a plurality of subjects on the image and a plurality of mouth areas, the above processing is performed for each mouth area, and smile indexes corresponding to the number of mouth areas (the number of faces) are obtained. At this time, in this embodiment, each smile index is associated with a subject ID that uniquely identifies the corresponding subject. As the subject ID, the face region extraction unit 12, the mouth region extraction unit 13, or the mouth region analysis unit 14 may automatically assign a number, but may prompt the user to input the subject ID. . In particular, when classifying images by subject, pay attention to whether or not a specific subject is a smile by using the same system for the subject ID used for the classification and the subject ID associated with the smile index. It is also possible to classify the selected images.

そして、情報付加部１６が、１つの被写体ＩＤと笑顔指数との対応を画像データに付加し(ステップ３０５)、他に被写体があるかどうかを判断する(ステップ３０６)。ここで、被写体があれば、ステップ３０５の処理を繰り返すが、被写体がなければ、処理を終了する。   Then, the information adding unit 16 adds the correspondence between one subject ID and the smile index to the image data (step 305), and determines whether there is another subject (step 306). If there is a subject, the process of step 305 is repeated, but if there is no subject, the process ends.

本実施の形態では、笑顔指数を生成して画像に付加するようにしたことにより、被写体が笑顔かどうかに着目した画像の分類を容易に行うことが可能となる。また、画像上に複数の被写体が存在する場合に各被写体の被写体ＩＤと笑顔指数との対応関係を付加するようにしたことにより、笑顔かどうかに着目した画像の分類を被写体ごとに行うことが容易になる。   In this embodiment, the smile index is generated and added to the image, so that it is possible to easily classify the image focusing on whether or not the subject is smiling. In addition, when there are a plurality of subjects on the image, the correspondence between the subject ID of each subject and the smile index is added, so that the image can be classified for each subject focusing on whether or not it is a smile. It becomes easy.

なお、以上述べた実施の形態においては、デジタルカメラにおいて笑顔指数を生成し画像に付加することとしたが、同様の処理は、ＰＣ等の一般のコンピュータにおいて行うことも可能である。また、この場合においても、図１に示した各機能部が、そのコンピュータ内で実現される。具体的には、コンピュータのＣＰＵ(Central Processing Unit)が、所定の記憶装置に記憶されたプログラムをメインメモリに読み込んで実行することにより実現される。
また、このプログラムは、コンピュータの出荷時に予めインストールされているものであってもよいし、出荷後に有線または無線の通信手段を用いてダウンロードされインストールされたものであってもよい。
さらに、デジタルカメラ、コンピュータのいずれで実現する場合においても、算出された笑顔指数は、画像に対し付加せずに、別の記憶領域に記憶したり、出力装置に出力したりするように構成することも可能である。 In the embodiment described above, the smile index is generated and added to the image by the digital camera, but the same processing can be performed by a general computer such as a PC. Also in this case, each functional unit shown in FIG. 1 is realized in the computer. Specifically, it is realized by a CPU (Central Processing Unit) of a computer reading a program stored in a predetermined storage device into a main memory and executing it.
Further, this program may be installed in advance at the time of shipment of the computer, or may be downloaded and installed using wired or wireless communication means after shipment.
Further, in the case of realizing with either a digital camera or a computer, the calculated smile index is configured to be stored in another storage area or output to an output device without being added to the image. It is also possible.

本発明の実施の形態が適用されるデジタルカメラのハードウェア構成を示したブロック図である。It is the block diagram which showed the hardware constitutions of the digital camera with which embodiment of this invention is applied. 本発明の実施の形態におけるコントローラの機能構成を示したブロック図である。It is the block diagram which showed the function structure of the controller in embodiment of this invention. 本発明の第１の実施の形態における笑顔指数付加後の画像データの構造を示した図である。It is the figure which showed the structure of the image data after the smile index addition in the 1st Embodiment of this invention. 本発明の第１および第２の実施の形態における画像取得、顔領域抽出、口領域抽出の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of the image acquisition in the 1st and 2nd embodiment of this invention, face area extraction, and mouth area | region extraction. 本発明の第１の実施の形態における口領域解析、情報生成、情報付加の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of mouth area | region analysis in the 1st Embodiment of this invention, information generation, and information addition. 本発明の第１および第２の実施の形態における口領域の解析について説明するための図である。It is a figure for demonstrating the analysis of the mouth area | region in the 1st and 2nd embodiment of this invention. 本発明の第１および第２の実施の形態で参照する笑顔指数テーブルの一例を示した図である。It is the figure which showed an example of the smile index table referred in the 1st and 2nd embodiment of this invention. 本発明の第２の実施の形態における笑顔指数付加後の画像データの構造を示した図であるIt is the figure which showed the structure of the image data after the smile index addition in the 2nd Embodiment of this invention. 本発明の第２の実施の形態における口領域解析、情報生成、情報付加の動作を示したフローチャートである。It is the flowchart which showed the operation | movement of mouth area | region analysis in the 2nd Embodiment of this invention, information generation, and information addition.

符号の説明Explanation of symbols

１０…コントローラ、１１…画像取得部、１２…顔領域抽出部、１３…口領域抽出部、１４…口領域解析部、１５…情報生成部、１６…情報付加部、２０…レンズ、３０…撮像素子、４０…Ａ/Ｄ変換回路、５０…液晶ディスプレイ、６０…操作キー、７０…内蔵メモリ、８０…補助記憶装置 DESCRIPTION OF SYMBOLS 10 ... Controller, 11 ... Image acquisition part, 12 ... Face area extraction part, 13 ... Mouth area extraction part, 14 ... Mouth area analysis part, 15 ... Information generation part, 16 ... Information addition part, 20 ... Lens, 30 ... Imaging Elements 40 ... A / D conversion circuit 50 ... Liquid crystal display 60 ... Operation keys 70 ... Built-in memory 80 ... Auxiliary storage device

Claims (15)

画像上の被写体の唇の領域および/または歯の領域を特定する口領域解析部と、
前記口領域解析部により特定された前記唇および/または歯の領域の情報に基づき、前記被写体の表情を示す表情識別情報を生成する情報生成部と
を備えたことを特徴とする表情認識装置。 A mouth region analysis unit for identifying the lip region and / or the tooth region of the subject on the image;
An expression recognition device comprising: an information generation unit that generates expression identification information indicating the expression of the subject based on information on the lip and / or tooth region specified by the mouth region analysis unit. 前記情報生成部は、前記唇の領域の情報に基づき、口が開いている度合いを求め、当該度合いを前記表情識別情報とすることを特徴とする請求項１記載の表情認識装置。   2. The facial expression recognition apparatus according to claim 1, wherein the information generation unit obtains a degree of opening of the mouth based on information on the lip region, and uses the degree as the facial expression identification information. 前記情報生成部は、前記歯の領域の情報に基づき、歯が見えている度合いを求め、当該度合いを前記表情識別情報とすることを特徴とする請求項１記載の表情認識装置。   The facial expression recognition device according to claim 1, wherein the information generation unit obtains a degree of visibility of teeth based on information on the tooth region, and uses the degree as the facial expression identification information. 前記情報生成部は、前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、当該第１のパラメータと当該第２のパラメータとから前記表情識別情報を決定することを特徴とする請求項１記載の表情認識装置。   The information generation unit obtains a first parameter that is a degree of opening of the mouth based on information on the lip area, and a second that is a degree of visibility of the tooth based on information on the tooth area. The facial expression recognition apparatus according to claim 1, wherein the facial expression identification information is determined from the first parameter and the second parameter. 画像上の複数の被写体のそれぞれについて前記情報生成部が前記表情識別情報として生成した複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加する情報付加部を備えたことを特徴とする請求項１記載の表情認識装置。   An information adding unit that calculates one eigenvalue for the image from a plurality of numerical values generated as the facial expression identification information by the information generation unit for each of a plurality of subjects on the image, and adds the eigenvalue to the image. The facial expression recognition device according to claim 1, wherein: 画像上の複数の被写体のそれぞれについて前記情報生成部が前記表情識別情報として生成した複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加する情報付加部を備えたことを特徴とする請求項１記載の表情認識装置。   An information adding unit for adding a plurality of numerical values generated as the facial expression identification information by the information generating unit for each of a plurality of subjects on the image to the image in a form in which the relationship with the corresponding subject can be understood. The facial expression recognition device according to claim 1. 画像上の被写体の唇および歯の領域を特定するステップと、
特定された前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めるステップと、
特定された前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求めるステップと、
前記第１のパラメータと前記第２のパラメータとに基づき前記被写体の表情を示す表情識別情報を決定するためのテーブルを所定の記憶装置から読み出すステップと、
読み出された前記テーブルを参照することにより、前記表情識別情報を決定するステップと
を含むことを特徴とする表情認識方法。 Identifying the area of the subject's lips and teeth on the image;
Obtaining a first parameter that is a degree to which the mouth is open based on information on the identified lip region;
Obtaining a second parameter that is a degree of visibility of the tooth based on the information of the identified tooth region;
Reading out a table for determining facial expression identification information indicating the facial expression of the subject based on the first parameter and the second parameter from a predetermined storage device;
A facial expression recognition method comprising: determining the facial expression identification information by referring to the read table. 画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加するステップをさらに含むことを特徴とする請求項７記載の表情認識方法。   The method further includes a step of calculating one eigenvalue for the image from a plurality of numerical values generated as the facial expression identification information for each of a plurality of subjects on the image, and adding the eigenvalue to the image. The facial expression recognition method according to claim 7. 画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加するステップをさらに含むことを特徴とする請求項７記載の表情認識方法。   8. The method of claim 7, further comprising the step of adding a plurality of numerical values generated as the facial expression identification information for each of a plurality of subjects on the image to the image in a form in which the relationship with the corresponding subject can be understood. Facial expression recognition method. コンピュータに、
顔の画像上で唇の領域および/または歯の領域を特定する機能と、
特定された前記唇および/または歯の領域の情報に基づき、前記顔の表情を示す表情識別情報を生成する機能と
を実現させるためのプログラム。 On the computer,
The ability to identify lip and / or tooth areas on facial images;
And a function of generating facial expression identification information indicating the facial expression based on the specified information on the lip and / or tooth region. 前記表情識別情報を生成する機能は、前記唇の領域の情報に基づき、口が開いている度合いを求め、当該度合いを前記表情識別情報とする機能であることを特徴とする請求項１０記載のプログラム。   The function of generating the facial expression identification information is a function of obtaining a degree of opening of the mouth based on information on the lip region and using the degree as the facial expression identification information. program. 前記表情識別情報を生成する機能は、前記歯の領域の情報に基づき、歯が見えている度合いを求め、当該度合いを前記表情識別情報とする機能であることを特徴とする請求項１０記載のプログラム。   The function of generating the facial expression identification information is a function of obtaining a degree of visibility of teeth based on information on the tooth region and using the degree as the facial expression identification information. program. 前記表情識別情報を生成する機能は、前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、当該第１のパラメータと当該第２のパラメータとから前記表情識別情報を決定する機能であることを特徴とする請求項１０記載のプログラム。   The function of generating the facial expression identification information is to obtain a first parameter that is a degree of opening of the mouth based on the information of the lip area, and a degree of visibility of the tooth based on the information of the tooth area. The program according to claim 10, wherein the second parameter is a function for determining the facial expression identification information from the first parameter and the second parameter. コンピュータに、
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加する機能をさらに実現させることを特徴とする請求項１０記載のプログラム。 On the computer,
A function of calculating one eigenvalue for the image from a plurality of numerical values generated as the facial expression identification information for each of a plurality of subjects on the image and further adding a function of adding the eigenvalue to the image is provided. The program according to claim 10. コンピュータに、
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加する機能をさらに実現させることを特徴とする請求項１０記載のプログラム。 On the computer,
11. The function of adding a plurality of numerical values generated as the facial expression identification information for each of a plurality of subjects on an image to the image in a format that can understand the relationship with the corresponding subject is further realized. The listed program.
JP2004040159A 2004-02-17 2004-02-17 Expression recognition device, expression recognition method and program Pending JP2005234686A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004040159A JP2005234686A (en) 2004-02-17 2004-02-17 Expression recognition device, expression recognition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004040159A JP2005234686A (en) 2004-02-17 2004-02-17 Expression recognition device, expression recognition method and program

Publications (1)

Publication Number Publication Date
JP2005234686A true JP2005234686A (en) 2005-09-02

Family

ID=35017607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004040159A Pending JP2005234686A (en) 2004-02-17 2004-02-17 Expression recognition device, expression recognition method and program

Country Status (1)

Country Link
JP (1) JP2005234686A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033491A (en) * 2007-07-27 2009-02-12 Olympus Imaging Corp Imaging apparatus and imaging method
WO2009125733A1 (en) * 2008-04-09 2009-10-15 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
WO2010007865A1 (en) * 2008-07-17 2010-01-21 日本電気株式会社 Imaging device, imaging method and program
JP2010035813A (en) * 2008-08-05 2010-02-18 Fujishoji Co Ltd Game machine
JP2010177811A (en) * 2009-01-27 2010-08-12 Nikon Corp Digital camera
US7840035B2 (en) 2006-03-02 2010-11-23 Fuji Xerox, Co., Ltd. Information processing apparatus, method of computer control, computer readable medium, and computer data signal
JP2010267278A (en) * 2010-06-22 2010-11-25 Seiko Epson Corp Image processor, digital camera, image data structure, printer with automatic color correction function, method for creating photographic image with face object information, and method for correcting color
WO2012036669A1 (en) * 2010-09-13 2012-03-22 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
KR101145672B1 (en) 2011-09-20 2012-05-24 원광대학교산학협력단 A smile analysis system for smile self-training
JP2012155631A (en) * 2011-01-27 2012-08-16 Fujitsu Ltd Facial expression determining program and facial expression determining device
JP2013157030A (en) * 2013-05-07 2013-08-15 Olympus Corp Imaging method and imaging apparatus
JP2015064881A (en) * 2014-10-14 2015-04-09 オリンパスイメージング株式会社 Image display device, image display method and image display program
JP2016502157A (en) * 2012-09-18 2016-01-21 チョル キム，サン Lip shape changing device and method based on automatic word translation

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840035B2 (en) 2006-03-02 2010-11-23 Fuji Xerox, Co., Ltd. Information processing apparatus, method of computer control, computer readable medium, and computer data signal
JP2009033491A (en) * 2007-07-27 2009-02-12 Olympus Imaging Corp Imaging apparatus and imaging method
WO2009125733A1 (en) * 2008-04-09 2009-10-15 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US9258482B2 (en) 2008-04-09 2016-02-09 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US9147107B2 (en) 2008-04-09 2015-09-29 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
US8780221B2 (en) 2008-04-09 2014-07-15 Canon Kabushiki Kaisha Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
JP5482654B2 (en) * 2008-07-17 2014-05-07 日本電気株式会社 Imaging apparatus, imaging method, and program
WO2010007865A1 (en) * 2008-07-17 2010-01-21 日本電気株式会社 Imaging device, imaging method and program
JP2010035813A (en) * 2008-08-05 2010-02-18 Fujishoji Co Ltd Game machine
JP2010177811A (en) * 2009-01-27 2010-08-12 Nikon Corp Digital camera
JP2010267278A (en) * 2010-06-22 2010-11-25 Seiko Epson Corp Image processor, digital camera, image data structure, printer with automatic color correction function, method for creating photographic image with face object information, and method for correcting color
US8983202B2 (en) 2010-09-13 2015-03-17 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
WO2012036669A1 (en) * 2010-09-13 2012-03-22 Hewlett-Packard Development Company, L.P. Smile detection systems and methods
JP2012155631A (en) * 2011-01-27 2012-08-16 Fujitsu Ltd Facial expression determining program and facial expression determining device
KR101145672B1 (en) 2011-09-20 2012-05-24 원광대학교산학협력단 A smile analysis system for smile self-training
JP2016502157A (en) * 2012-09-18 2016-01-21 チョル キム，サン Lip shape changing device and method based on automatic word translation
JP2013157030A (en) * 2013-05-07 2013-08-15 Olympus Corp Imaging method and imaging apparatus
JP2015064881A (en) * 2014-10-14 2015-04-09 オリンパスイメージング株式会社 Image display device, image display method and image display program

Similar Documents

Publication Publication Date Title
US10157325B2 (en) Image capture device with contemporaneous image correction mechanism
CN110248098B (en) Image processing method, image processing device, storage medium and electronic equipment
JP5818799B2 (en) Estimating the aesthetic quality of digital images
JP4519708B2 (en) Imaging apparatus and method, and program
JP4574249B2 (en) Image processing apparatus and method, program, and imaging apparatus
JP4078334B2 (en) Image processing apparatus and image processing method
US8055067B2 (en) Color segmentation
US8760551B2 (en) Systems and methods for image capturing based on user interest
JP2005086516A (en) Imaging device, printer, image processor and program
JP5949331B2 (en) Image generating apparatus, image generating method, and program
CN101753822A (en) Imaging apparatus and image processing method used in imaging device
CN101753814A (en) Filming device, illumination processing device and illumination processing method
JP2005234686A (en) Expression recognition device, expression recognition method and program
JP2008035149A (en) Video recording and reproducing system and video recording and reproducing method
JP5272775B2 (en) Electronic still camera
JP2010092094A (en) Image processing apparatus, image processing program, and digital camera
JP2010198110A (en) Image processor and electronic still camera
JP5453796B2 (en) Image processing apparatus, electronic camera, and image processing program
JP6099973B2 (en) Subject area tracking device, control method thereof, and program
JP4632417B2 (en) Imaging apparatus and control method thereof
JP2010200270A (en) Image processing device, camera, and program
JP6776532B2 (en) Image processing equipment, imaging equipment, electronic devices and image processing programs
JP5995610B2 (en) Subject recognition device and control method therefor, imaging device, display device, and program
JP2005057360A (en) Picture photographing apparatus and program
JP2009042989A (en) Image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100202