JP2013132013A - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP2013132013A
JP2013132013A JP2011282000A JP2011282000A JP2013132013A JP 2013132013 A JP2013132013 A JP 2013132013A JP 2011282000 A JP2011282000 A JP 2011282000A JP 2011282000 A JP2011282000 A JP 2011282000A JP 2013132013 A JP2013132013 A JP 2013132013A
Authority
JP
Japan
Prior art keywords
image
evaluation value
facial expression
expression evaluation
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011282000A
Other languages
Japanese (ja)
Other versions
JP5930703B2 (en
JP2013132013A5 (en
Inventor
Genshiro Shibaue
玄志郎 芝上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011282000A priority Critical patent/JP5930703B2/en
Publication of JP2013132013A publication Critical patent/JP2013132013A/en
Publication of JP2013132013A5 publication Critical patent/JP2013132013A5/en
Application granted granted Critical
Publication of JP5930703B2 publication Critical patent/JP5930703B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a photographer to select a best image that the photographer wants to keep, by suppressing variations in expression evaluation value of each image.SOLUTION: Images to be recorded can be selected appropriately among the images captured continuously by providing face detection means for detecting the face among the images captured continuously, expression evaluation value detection means for detecting the expression evaluation value on the basis of the expression of face detected by the face detection means, image expression evaluation value setting means for setting an image expression evaluation value which imparts an expression evaluation value to an image by detecting the same image a predetermined number of times while changing the parameters of a detected face, for a region of the face being used for calculation of the expression evaluation value, and image selection means for selecting the image to be recorded using the image expression evaluation value imparted to each image by the image expression evaluation value setting means.

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、最良画像を記録するために用いて好適な技術に関する。   The present invention relates to an imaging apparatus and an imaging apparatus control method, and more particularly to a technique suitable for use in recording the best image.

従来、連続的に撮影された画像の中から、撮影者が残したい良い表情の顔が撮影された画像が自動的に記録されるような画像処理技術が望まれていた。良い表情とは、例えば、目を瞑っていない表情であり、良い笑顔の表情のことである。   Conventionally, there has been a demand for an image processing technique in which an image in which a face with a good expression that the photographer wants to leave is automatically recorded from images continuously shot. A good facial expression is, for example, a facial expression that does not meditate, or a good facial expression.

最良画像を記録するための技術として、例えば、（特許文献１）では、連続して複数の画像を得る撮像手段があり、それらの画像における人物顔の状態などから撮影画像の順位づけを行う、という方法が提案されている。   As a technique for recording the best image, for example, in (Patent Document 1), there is an imaging unit that obtains a plurality of images in succession, and ranking of captured images is performed based on the state of a person's face in these images. This method has been proposed.

また、逐次出力する画像に基づいて、それぞれ顔を検出し、その顔の評価値を求め、所定の表情であるか評価する評価手段において、顔の評価値に応じて所定の表情として認識する顔の評価値を変更する。そして、その評価値を用いて本画像を取得するか否かを判断するという方法が提案されている（例えば、特許文献２）。   Further, a face that is detected as a predetermined expression according to the evaluation value of the face in the evaluation means that detects each face based on the sequentially output images, obtains an evaluation value of the face, and evaluates whether the expression is a predetermined expression Change the evaluation value of. And the method of determining whether to acquire this image using the evaluation value is proposed (for example, patent document 2).

特開２００９−２７２７４０号公報JP 2009-272740 A 特開２０１０−２２０２０１号公報JP 2010-220201 A

しかしながら、顔の状態や、表情評価値は、撮影した画像に対し、その画像から検出された顔領域において、顔の状態や表情評価値を算出するため、検出される顔領域がバラつくと、算出される顔の状態や表情評価値にもバラつきが発生するという問題点があった。   However, since the facial state and facial expression evaluation value are calculated with respect to the captured image in the facial region detected from the image, the facial state and facial expression evaluation value are calculated. There is a problem that the calculated facial state and facial expression evaluation value also vary.

このため、前述の特許文献に開示された従来技術では、人物顔の状態や表情評価値にバラつきがあると、順位づけ及び本画像を取得するか否かの判断を適切に行うことが困難となっていた。
本発明は前述の問題点に鑑み、表情評価値のバラつきを抑え、撮影者が残したい最良画像を選択できるようにすることを目的とする。 For this reason, in the prior art disclosed in the above-mentioned patent document, it is difficult to appropriately rank and determine whether to acquire the main image if there are variations in the state of the human face and the expression evaluation value. It was.
SUMMARY OF THE INVENTION In view of the above-described problems, an object of the present invention is to suppress variations in facial expression evaluation values so that a photographer can select the best image that the photographer wants to leave.

本発明の撮像装置は、連続して撮影した画像の中から記録する画像を選択する撮像装置であって、前記連続して撮影した画像の中から顔検出を行う顔検出手段と、前記顔検出手段により検出された顔の表情に基づいて表情評価値を検出する表情評価値検出手段と、前記表情評価値の算出に用いる顔の領域を、前記検出された顔のパラメータを変更し、同一の画像に対して所定回数の検出を行い、前記表情評価値を画像に付与する画像表情評価値を設定する画像表情評価値設定手段と、前記画像表情評価値設定手段により各画像に付与された画像表情評価値を用いて、前記記録する画像を選択する画像選択手段とを有することを特徴とする。   An imaging apparatus according to the present invention is an imaging apparatus that selects an image to be recorded from continuously captured images, and includes face detection means for detecting a face from the continuously captured images, and the face detection A facial expression evaluation value detecting means for detecting a facial expression evaluation value based on a facial expression detected by the means, and a facial region used for calculation of the facial expression evaluation value by changing the detected facial parameters, Image facial expression evaluation value setting means for setting an image facial expression evaluation value for detecting the image a predetermined number of times and assigning the facial expression evaluation value to the image, and an image assigned to each image by the image facial expression evaluation value setting means And image selection means for selecting the image to be recorded using a facial expression evaluation value.

本発明によれば、各画像における表情評価値のバラつきを抑えることが可能となり、撮影者が残したい良い表情の顔が撮影された最良画像を選択することができる。   According to the present invention, it is possible to suppress variation in facial expression evaluation values in each image, and it is possible to select the best image in which a face with a good facial expression that the photographer wants to leave is captured.

実施形態の撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device of an embodiment. 実施形態の撮像装置の画像選択処理の全体を説明するフローチャートである。It is a flowchart explaining the whole image selection process of the imaging device of an embodiment. 実施形態の画像表情評価値設定処理の手順を説明するフローチャートである。It is a flowchart explaining the procedure of the image expression evaluation value setting process of embodiment. 実施形態の撮像装置の画像選択処理の手順を説明するフローチャートである。It is a flowchart explaining the procedure of the image selection process of the imaging device of embodiment. 実施形態を示し、撮影画像から表情評価値算出する様子を説明する図である。It is a figure which shows embodiment and demonstrates a mode that facial expression evaluation value calculation from a picked-up image.

以下、図面を参照しながら本発明の実施形態を説明する。図１は、本発明を適用した撮像装置１００の構成例を示すブロック図である。
図１において、１０１はズーム機構、フォーカスレンズ機構、絞りシャッター機構を含む撮影レンズである。１０２は被写体からの反射光を電気信号に変換する光電変換を行い、電気信号を出力する撮像素子である。１０３は撮像素子１０２の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 100 to which the present invention is applied.
In FIG. 1, reference numeral 101 denotes a photographing lens including a zoom mechanism, a focus lens mechanism, and an aperture shutter mechanism. Reference numeral 102 denotes an image sensor that performs photoelectric conversion for converting reflected light from a subject into an electrical signal and outputs the electrical signal. Reference numeral 103 denotes an A / D conversion unit including a CDS circuit for removing output noise of the image sensor 102 and a non-linear amplification circuit performed before A / D conversion.

１０４は画像処理部である。この画像処理部１０４にて、輝度に関する特定周波数帯域の信号成分を抽出し、被写体のピント状態を検出することも可能である。１０５はフォーマット変換部である。１０６は高速な内蔵メモリ(例えば、ランダムアクセスメモリなど、以下ＤＲＡＭと記す)である。１０７はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。   Reference numeral 104 denotes an image processing unit. The image processing unit 104 can extract a signal component in a specific frequency band related to luminance and detect the focus state of the subject. Reference numeral 105 denotes a format conversion unit. Reference numeral 106 denotes a high-speed built-in memory (for example, a random access memory or the like, hereinafter referred to as DRAM). An image recording unit 107 includes a recording medium such as a memory card and its interface.

１０８は、撮影シーケンスなどシステムを制御するシステム制御部（ＣＰＵ）である。１０９はカメラを外部から操作するための操作部である。１１０は顔検出モードをＯＮまたはＯＦＦに切り替える等の設定を行う撮影モードスイッチである。１１１はシステムに電源を投入するためのメインスイッチ、１１２はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ(以下ＳＷ１と記す)である。１１３はＳＷ１の操作後、実際に撮影を行うための撮影スイッチ(以下、ＳＷ２と記す)である。   Reference numeral 108 denotes a system control unit (CPU) that controls the system such as an imaging sequence. Reference numeral 109 denotes an operation unit for operating the camera from the outside. Reference numeral 110 denotes a photographing mode switch for performing settings such as switching the face detection mode to ON or OFF. Reference numeral 111 denotes a main switch for turning on the power to the system, and reference numeral 112 denotes a switch (hereinafter referred to as SW1) for performing a shooting standby operation such as AF or AE. Reference numeral 113 denotes a photographing switch (hereinafter referred to as SW2) for actually photographing after the operation of SW1.

１１４は画像処理部１０４で処理された画像信号を用いて顔検出を行い、検出した一つまたは複数の顔情報（位置・大きさ・信頼度）をシステム制御部１０８に送る顔検出モジュールである。   A face detection module 114 detects a face using the image signal processed by the image processing unit 104 and sends one or more pieces of detected face information (position / size / reliability) to the system control unit 108. .

顔検出モジュール１１４は、画像処理部１０４から送られる画像データに対して公知の顔検出処理を施し、撮像素子１０２の撮像画像内に含まれる人物の顔領域を検出する。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。顔検出モジュール１１４では、画像における顔の領域や、顔の位置を検出することができる。   The face detection module 114 performs a known face detection process on the image data sent from the image processing unit 104 and detects a human face area included in the captured image of the image sensor 102. As a known face detection process, for example, a skin color region is extracted from the gradation color of each pixel represented by image data, and a face is detected with a matching degree with a face contour plate prepared in advance. Are known. Also disclosed is a method of performing face detection by extracting facial feature points such as eyes, nose and mouth using a well-known pattern recognition technique. The face detection module 114 can detect the face area and the face position in the image.

笑顔検出モジュール１１５は、顔検出モジュール１１４が検出した顔領域について、顔の笑顔レベルを算出する。具体的には、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、笑顔度の算出に必要な特徴量を取得する。   The smile detection module 115 calculates a face smile level for the face area detected by the face detection module 114. Specifically, it is necessary to calculate the degree of smile, such as the contours of facial components such as eyes, nose and mouth that make up the face, and the positions of facial components such as the positions of the eyes, corners of the eyes, nose, mouth corners and lips. Get feature values.

ここで、特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法を用いることができる。または、顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法を用いることができる。笑顔検出モジュール１１５は、前述したような手法を用いて取得した特徴量に基づいて、顔が笑顔である度合を示す笑顔度を算出する。   Here, as a technique for acquiring the feature amount, a technique based on template matching using a template of each face component can be used. Alternatively, a method using a discriminator for each face component obtained by machine learning learning using a large number of sample images of the face component can be used. The smile detection module 115 calculates a smile level indicating the degree to which the face is smiling based on the feature amount acquired using the method described above.

目領域検出モジュール１１６は、顔検出モジュール１１４が検出した顔領域から目の存在する目領域を検出する。目開き検出モジュール１１７は、目領域検出モジュール１１６が検出した目領域内のヒストグラムから、黒目に相当する輝度の領域の面積を検出する。そして、黒目に相当する輝度の領域の面積と目領域の大きさとの割合に応じて、どの程度目が開いているかの度数を示す目開き度を算出する。   The eye area detection module 116 detects an eye area where an eye exists from the face area detected by the face detection module 114. The eye opening detection module 117 detects the area of the luminance region corresponding to the black eye from the histogram in the eye region detected by the eye region detection module 116. Then, according to the ratio between the area of the luminance area corresponding to the black eye and the size of the eye area, the degree of opening indicating the degree of opening is calculated.

なお、顔検出、笑顔レベル算出、目開きレベル算出の手法については、前述した手法に限定されるものではなく、公知の種々の手法を用いることができる。また、この笑顔検出モジュール１１５や、目開き検出モジュール１１７にて算出される笑顔度、目開き度は、顔検出モジュール１１４が検出する顔領域のバラつきにより、値がバラつきを持つ。本実施形態においては、後述処理を行うことにより、各画像における笑顔度、目開き度の値のバラつきを抑え、撮影者が残したい良い表情の顔が選択されるようにしている。   Note that the methods of face detection, smile level calculation, and opening level calculation are not limited to the above-described methods, and various known methods can be used. Further, the smile degree and the degree of opening calculated by the smile detection module 115 and the opening detection module 117 have different values due to variations in the face area detected by the face detection module 114. In the present embodiment, the processing described later is performed to suppress variations in the values of the smile level and the degree of openness in each image, and a face with a good expression that the photographer wants to leave is selected.

ＤＲＡＭ１０６は、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。操作部１０９は、例えば次のようなものが含まれる。撮像装置１００の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。   The DRAM 106 is used as a high-speed buffer as temporary image storage means or a working memory for image compression / decompression. The operation unit 109 includes the following, for example. These include a menu switch for performing various settings such as a shooting function of the image pickup apparatus 100 and a setting at the time of image reproduction, a zoom lever for instructing a zoom operation of the photographing lens, and an operation mode switching switch between a photographing mode and a reproduction mode.

(全体動作)
次に、図２〜図４のフローチャート、及び図５を参照しながら、本発明の実施形態における撮像装置１００で行なわれる画像選択動作について説明する。図２〜図４のフローチャートの各処理は、図示しないＲＯＭに記録されたプログラムを、ワークメモリとして機能する図示しないＲＡＭに展開してシステム制御部１０８が実行することで実現する。
まず、Ｓ２０１にて、撮影待機中に撮像された画像から顔検出処理を実行する。
Ｓ２０２では、Ｓ２０１において検出した顔から目開き度、笑顔度を検出する。つまり、Ｓ２０２においては、表情評価値検出処理を行う。
Ｓ２０３では、標準顔パラメータを算出する。本実施形態においては、検出された顔のサイズ、顔位置を加算平均していくことで標準顔パラメータ算出処理を行う。 (Overall operation)
Next, an image selection operation performed by the imaging apparatus 100 according to the embodiment of the present invention will be described with reference to the flowcharts of FIGS. 2 to 4 and FIG. Each process of the flowcharts in FIGS. 2 to 4 is realized by developing a program recorded in a ROM (not shown) in a RAM (not shown) that functions as a work memory and executing the program by the system control unit 108.
First, in S201, face detection processing is executed from an image captured during shooting standby.
In S202, the degree of opening and the degree of smile are detected from the face detected in S201. That is, in S202, facial expression evaluation value detection processing is performed.
In S203, standard face parameters are calculated. In this embodiment, the standard face parameter calculation process is performed by averaging the detected face size and face position.

Ｓ２０４では、標準表情評価値計算処理を行う。標準表情評価値は、表情評価値を加算平均した値から、所定範囲内にある値を加算平均していくことで計算する。これにより、通常顔、つまり、目を開いていて、笑顔ではない時の標準となる表情評価値を取得することができ、取得した表情評価値を記憶しておく。本実施形態において、標準となる目開き度を、標準目開き度、標準となる笑顔度を、標準笑顔度とする。   In S204, standard facial expression evaluation value calculation processing is performed. The standard facial expression evaluation value is calculated by averaging the values within a predetermined range from the value obtained by averaging the facial expression evaluation values. As a result, it is possible to acquire a standard facial expression evaluation value when a normal face, that is, eyes are open and not smiling, and the acquired facial expression evaluation value is stored. In this embodiment, the standard opening degree is defined as the standard opening degree, and the standard smile degree is defined as the standard smile degree.

Ｓ２０５では、撮影開始処理が行われたかを判断する処理を行う。撮影開始処理が行われていれば、Ｓ２０６に移る。行われていなければ、Ｓ２０１の顔検出へ戻る。
Ｓ２０６では、画像撮影を行い、Ｓ２０７では、所定枚数撮影を行ったかを判断する。本実施形態では、所定枚数を３枚とする。 In S205, a process is performed to determine whether the shooting start process has been performed. If photographing start processing has been performed, the process proceeds to S206. If not, the process returns to S201 face detection.
In S206, image shooting is performed. In S207, it is determined whether a predetermined number of images have been shot. In the present embodiment, the predetermined number is three.

撮影枚数は、あらかじめ決められた数値でもよいし、撮影状況により変更してもよい。撮影の状況により変更とは、例えば検出された顔が画面内で移動している場合に、顔が停止するまで撮影を連続して行うようにする方法がある。所定枚数撮影が完了すると、Ｓ２０８にて、撮影した画像から顔検出を行う。   The number of shots may be a predetermined value or may be changed depending on the shooting situation. For example, when the detected face is moving within the screen, the change depending on the shooting situation includes a method in which shooting is continuously performed until the face stops. When the predetermined number of shots are completed, face detection is performed from the shot image in S208.

次に、Ｓ２０９にて、撮影した画像から検出した顔領域と、撮影待機中に記憶された顔領域との比較を行う。本実施形態では領域を比較しているが、領域の比較に加えて位置を比較してもよい。
顔領域の差分が所定以内であれば、Ｓ２１０にて、撮影待機中に記憶された顔の標準パラメータを使用するように設定し、次に、Ｓ２１１にて、設定された顔領域にて表情評価値を検出する。次に、Ｓ２１６にて、所定枚数の処理が完了したか否かの判断を行う。 Next, in S209, the face area detected from the photographed image is compared with the face area stored during photographing standby. In the present embodiment, the areas are compared, but the positions may be compared in addition to the comparison of the areas.
If the difference between the face areas is within a predetermined range, in S210, the face standard parameters stored during shooting standby are set to be used. Next, in S211, facial expression evaluation is performed in the set face area. Detect value. Next, in S216, it is determined whether or not a predetermined number of processes have been completed.

Ｓ２０９における比較の結果、顔領域の差分が所定以上あれば、Ｓ２１２にて、撮影画像から検出された顔領域を使用するように設定する。本実施形態では、この標準顔と比較する際の所定量を顔の検出サイズのバラつき量とする。顔の検出サイズバラつき量は、予め決められていてもよいし、撮影待機中に検出された顔領域のバラつきから求めてもよい。   As a result of the comparison in S209, if the difference between the face areas is greater than or equal to a predetermined value, the face area detected from the captured image is set to be used in S212. In the present embodiment, the predetermined amount when compared with the standard face is set as the variation amount of the face detection size. The amount of variation in the detected size of the face may be determined in advance, or may be obtained from the variation in the face area detected during shooting standby.

Ｓ２１３にて、設定された顔領域にて表情評価値を検出する。次に、Ｓ２１４にて、設定された顔領域を所定倍し、Ｓ２１５にて、処理を行う所定回数の検出が完了したかの確認を行う。所定回数が完了していなければ、Ｓ２１３に戻り、所定倍された顔領域での表情評価値を検出する。本実施形態では、所定回数を、３回とする。   In S213, a facial expression evaluation value is detected in the set face area. Next, in step S214, the set face area is multiplied by a predetermined number, and in step S215, it is confirmed whether or not a predetermined number of detections to be processed have been completed. If the predetermined number of times has not been completed, the process returns to S213, and the facial expression evaluation value in the face region multiplied by the predetermined number is detected. In the present embodiment, the predetermined number of times is three.

ここで、図５を用いて、表情評価値を同一の画像に対して表情評価値算出処理を複数回行う様子を説明する。５００は撮影画像である。５０１は検出された顔領域である。まず、検出された顔領域５０１に所定倍をかける。本実施形態では、０．９倍をかける。それが５０２で示す領域である。この領域５０２において、撮影画像５００から表情評価値を計算する。次に、検出された顔領域５０１と等倍の領域５０３にて、表情評価値を計算する。最後に顔領域を１．１倍した領域５０４において、撮影画像５００から表情評価値を計算する。これらの表情評価値を、それぞれ記憶しておく。なお、表情評価値算出に用いる領域が、検出可能領域を超える場合は、検出可能領域までとする。   Here, the manner in which the facial expression evaluation value calculation process is performed a plurality of times on an image having the same facial expression evaluation value will be described with reference to FIG. Reference numeral 500 denotes a photographed image. Reference numeral 501 denotes a detected face area. First, the detected face area 501 is multiplied by a predetermined value. In this embodiment, 0.9 times is applied. This is the area indicated by 502. In this area 502, a facial expression evaluation value is calculated from the captured image 500. Next, a facial expression evaluation value is calculated in a region 503 that is the same size as the detected face region 501. Finally, a facial expression evaluation value is calculated from the photographed image 500 in an area 504 obtained by multiplying the face area by 1.1. Each of these facial expression evaluation values is stored. In addition, when the area | region used for facial expression evaluation value calculation exceeds a detectable area | region, it is set as the detectable area | region.

Ｓ２１５の確認の結果、所定階数完了していれば、Ｓ２１６にて、撮影した所定枚数の処理が完了したか否かの判断を行う。所定枚数の処理が完了していなければ、Ｓ２０８に戻り、次の撮影画像に対して、顔検出を行う。   As a result of the confirmation in S215, if the predetermined number of floors has been completed, it is determined in S216 whether or not the processing of the predetermined number of shots has been completed. If the predetermined number of processes has not been completed, the process returns to S208, and face detection is performed on the next photographed image.

所定枚数の処理が完了していれば、Ｓ２１７にて、記憶された表情評価値を用い、それぞれの画像に付与する画像表情評価値を設定する。画像に付与する表情評価値のことを、画像表情評価値とする。各画像に付与する画像表情評価値設定処理に関しては、図３を用いて後述する。   If the predetermined number of processes have been completed, in step S217, the stored facial expression evaluation value is used to set an image facial expression evaluation value to be assigned to each image. The expression evaluation value assigned to the image is set as the image expression evaluation value. The image expression evaluation value setting process to be given to each image will be described later with reference to FIG.

次に、Ｓ２１８にて、各画像に付与された画像表情評価値を用いて、記録する画像を選択する。記録する画像を選択する方法に関しては、図４を用いて後述する。
次にＳ２１９にて選択された画像を記録媒体に記録して、処理を終了する。 Next, in S218, an image to be recorded is selected using the image expression evaluation value assigned to each image. A method for selecting an image to be recorded will be described later with reference to FIG.
Next, the image selected in S219 is recorded on the recording medium, and the process is terminated.

（画像表情評価値設定処理の概要）
図３は、図２のＳ２１７にて行なわれる画像表情評価値設定処理の手順を説明するフローチャートである。
まず、Ｓ３０１にて、標準目開き度と、画像から検出された目開き度を比較する。目開き度は、左右の目二つの値が出てくるが、それぞれで比較を行う。 (Overview of image facial expression evaluation value setting process)
FIG. 3 is a flowchart for explaining the procedure of the image expression evaluation value setting process performed in S217 of FIG.
First, in S301, the standard opening degree is compared with the opening degree detected from the image. As for the degree of opening, there are two values for the left and right eyes.

次に、Ｓ３０２にて、全ての目開き度の計算が完了したか否かの判断を行い、計算が完了していれば、Ｓ３０３に進み、計算が完了していなければＳ３０１に戻り、差分の計算を続ける。全ての目開き度とは、各画像に対して、顔領域を変更しながら検出した目開き度のことである。   Next, in S302, it is determined whether or not the calculation of all the opening degrees has been completed. If the calculation has been completed, the process proceeds to S303. If the calculation has not been completed, the process returns to S301, and the difference is calculated. Continue the calculation. The degree of opening of all eyes is the degree of opening detected while changing the face area for each image.

差分の計算が完了したら、Ｓ３０３にて、その差分を用いて、画像の目開き度が、標準目開き度に対して、数値が高い方のみ、もしくは低い方のみに分布しているか否かの判断を行う。数値が高い方のみ、もしくは低い方のみに分布しているのは、表情が変化したと考えられる場合である。   When the calculation of the difference is completed, whether or not the degree of opening of the image is distributed only to the higher or lower value of the standard opening degree using the difference in S303. Make a decision. Only when the numerical value is high or low is distributed only when the expression is considered to have changed.

Ｓ３０３の判断の結果、数値が高い方のみ、もしくは低い方のみに分布していると判断された場合は、Ｓ３０５にて、画像から検出された目開き度の中央値を選択する。中央値とは、複数ある数値の中間に位置する数値のこととする。数値が高い方のみ、もしくは低い方のみに分布していないと判断された場合は、Ｓ３０４にて、標準値を選択する。Ｓ３０５またはＳ３０４の処理を終了したら、Ｓ３０６にて、標準笑顔度と、画像から検出された笑顔度を比較する。   As a result of the determination in S303, if it is determined that the numerical value is distributed only to the higher one or the lower one, the median of the degree of opening detected from the image is selected in S305. The median is a numerical value located in the middle of a plurality of numerical values. If it is determined that the numerical value is not distributed only to the higher one or the lower one, a standard value is selected in S304. When the processing of S305 or S304 is completed, the standard smile level is compared with the smile level detected from the image in S306.

次に、Ｓ３０７にて、全ての笑顔度の計算が完了したか否かの判断を行い、計算が完了していれば、Ｓ３０８に進み、計算が完了していなければＳ３０６に戻り、差分の計算を続ける。全ての笑顔度とは、各画像に対して、顔領域を変更しながら検出した笑顔度のことである。   Next, in S307, it is determined whether or not all smile levels have been calculated. If calculation has been completed, the process proceeds to S308, and if calculation has not been completed, the process returns to S306 to calculate the difference. Continue. All smile levels are the smile levels detected while changing the face area for each image.

差分の計算が完了したら、Ｓ３０８にて、その差分を用いて、画像の笑顔度が、標準笑顔度に対して、片方に分布しているか否かの判断を行う。片方に分布しているとは、差分の数値が、全てプラスの数値、もしくはマイナスの数値となっており、表情が変化したと考えられる場合である。   When the calculation of the difference is completed, it is determined in step S308 whether or not the smile level of the image is distributed to one side with respect to the standard smile level. “Distributed to one side” means that the numerical values of the differences are all positive values or negative values, and the expression is considered to have changed.

片方に分布していると判断された場合は、Ｓ３１０にて、画像から検出された笑顔度の中央値を選択する。中央値とは、複数ある数値の中間に位置する数値のこととする。
数値が高い方のみ、もしくは低い方のみに分布していないと判断された場合は、Ｓ３０９にて、標準値を選択する。 If it is determined that the image is distributed on one side, in S310, the median smile level detected from the image is selected. The median is a numerical value located in the middle of a plurality of numerical values.
If it is determined that the numerical value is not distributed only to the higher one or the lower one, a standard value is selected in S309.

本実施形態では、標準値を用いない場合は、画像から検出された評価値の中央値を取るとしたが、予め撮影待機中に 表情が変化した場合の標準値も記憶しておき、それらの数値とも比較し選択する、という方法も考えられる。
表情が変化した場合の標準値とは、撮影待機中に、瞬きで目を瞑った時の目開き度を加算平均し記憶した目瞑り変化標準値や、笑顔になった時の笑顔度を加算平均し記憶した笑顔変化標準値である。 In this embodiment, when the standard value is not used, the median value of the evaluation values detected from the image is taken. However, the standard value when the facial expression changes in advance during shooting standby is also stored, A method of selecting by comparing with a numerical value is also conceivable.
The standard value when the facial expression changes is the average value of the eye meditation change that was memorized by averaging the degree of eye opening when the eyes were meditated while blinking during shooting standby, and the degree of smile when smiling It is the average value of smile change averaged and memorized.

画像から検出された目開き度と目開き標準値と比較し、目瞑り側、つまり数値が低い側に分布し、かつ、画像から検出された目開き度が、目瞑り変化標準値と比較し、その周りに存在している場合は、目瞑り変化標準値を使用する。また、画像から検出された笑顔度と標準笑顔度と比較し、笑顔側、つまり数値が高い側に分布し、かつ、画像から検出された笑顔度が、笑顔変化標準値と比較し、その周りに存在している場合は、笑顔変化標準値を使用する。   The degree of opening detected from the image is compared with the standard value of the opening of the eyes. If there is around, use the standard value of eye meditation change. In addition, the smile level detected from the image is compared with the standard smile level, and the smile level, that is, the higher value is distributed, and the smile level detected from the image is compared with the smile change standard value. If it exists, the smile change standard value is used.

(画像選択処理の概要)
次に、図２のＳ２１８で行なわれる画像選択処理の手順を、図４のフローチャートを参照しながら説明する。
まず、Ｓ４０１にて、評価対象画像が目瞑り画像か否かの判断を行う。目瞑り画像か否かの判断は、撮影された全画像における目開き度を参照し、目瞑り判断基準値を作成する。その目瞑り判断基準値より、目開き度が所定以上低ければ、目瞑り画像であると判断する。ただし、目瞑り画像と判断された画像が、笑顔画像である、とも判断される場合は、目瞑り画像とはしないこととする。 (Overview of image selection process)
Next, the procedure of the image selection process performed in S218 of FIG. 2 will be described with reference to the flowchart of FIG.
First, in S401, it is determined whether the evaluation target image is an eye-meditation image. To determine whether or not the image is an eye-meditation image, the eye-meditation determination reference value is created by referring to the degree of opening in all the captured images. If the degree of opening of the eyes is lower than a predetermined value by the eye meditation determination reference value, it is determined that the image is an eye meditation image. However, if it is determined that the image determined to be an eye-meditation image is a smile image, it is not determined to be an eye-meditation image.

笑顔画像か否かの判断は、撮影された全画像における笑顔度を参照し、笑顔基準値を作成し、その笑顔基準値よりも笑顔度が高い場合は、笑顔画像であると判断する。目瞑り画像だと判断された場合は、Ｓ４０２にて評価対象画像を保存候補から外す。目瞑り画像ではないと判断された場合には、Ｓ４０３に進む。   Whether or not the image is a smile image is determined by referring to the smile level in all the captured images and creating a smile standard value. If the smile level is higher than the smile standard value, the smile image is determined. If it is determined that the image is an eye-meditation image, the image to be evaluated is removed from the storage candidates in S402. If it is determined that the image is not an eye-meditation image, the process proceeds to S403.

Ｓ４０３では、撮影された画像、全ての判断が完了したか否かの判断を行う。全ての画像の確認が完了していなければ、Ｓ４０１に戻る。全ての画像の確認が完了していれば、次に、保存候補となっている画像に対して、Ｓ４０４にて、最良の笑顔画像か否かの判断を行う。具体的には、Ｓ４０４にて評価対象画像の笑顔度が、最大値であるか否かの判断をする。評価対象画像の笑顔度が最大であれば、Ｓ４０５にて、その画像を最終保存候補とする。一方、Ｓ４０４にて、笑顔度が最大ではないと判断された場合は、Ｓ４０６に進む。   In S403, it is determined whether or not all of the captured images have been determined. If the confirmation of all images has not been completed, the process returns to S401. If all the images have been confirmed, it is next determined whether or not the image is a candidate for storage in S404. Specifically, in S404, it is determined whether or not the smile level of the evaluation target image is the maximum value. If the smile level of the evaluation target image is maximum, the image is set as a final storage candidate in S405. On the other hand, if it is determined in S404 that the smile level is not the maximum, the process proceeds to S406.

次に、Ｓ４０６にて、保存候補画像の判断が全て完了したか否かの判断を行う。保存候補画像の判断が全て完了していなければ、Ｓ４０４に戻り、笑顔の判断を行う。保存候補画像の判断が全て完了していれば、処理を完了する。   Next, in S406, it is determined whether or not all the storage candidate images have been determined. If the determination of all the storage candidate images has not been completed, the process returns to S404 and smile determination is performed. If all the storage candidate images have been determined, the process is completed.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (computer program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various computer-readable storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program.

１００ 撮像装置、１０１ 撮影レンズ、１０２ 撮像素子、１０３ Ａ／Ｄ変換部 、１０４ 画像処理部、１０５ フォーマット変換部、１０６ ＤＲＡＭ、１０７ 画像記録部、１０８ システム制御部、１０９ 操作部、１１０ 撮影モードスイッチ、１１１ メインスイッチ、１１２ 撮影スタンバイスイッチ（ＳＷ１）、１１３ 撮影スイッチ（ＳＷ２）、１１４ 顔検出モジュール、１１５ 笑顔検出モジュール、１１６ 目領域検出モジュール、１１７ 目開き検出モジュール DESCRIPTION OF SYMBOLS 100 Image pick-up device, 101 Shooting lens, 102 Image pick-up element, 103 A / D conversion part, 104 Image processing part, 105 Format conversion part, 106 DRAM, 107 Image recording part, 108 System control part, 109 Operation part, 110 Shooting mode switch , 111 main switch, 112 shooting standby switch (SW1), 113 shooting switch (SW2), 114 face detection module, 115 smile detection module, 116 eye area detection module, 117 eye opening detection module

Claims (16)

連続して撮影した画像の中から記録する画像を選択する撮像装置であって、
前記連続して撮影した画像の中から顔検出を行う顔検出手段と、
前記顔検出手段により検出された顔の表情に基づいて表情評価値を検出する表情評価値検出手段と、
前記表情評価値の算出に用いる顔の領域を、前記検出された顔のパラメータを変更し、同一の画像に対して所定回数の検出を行い、前記表情評価値を画像に付与する画像表情評価値を設定する画像表情評価値設定手段と、
前記画像表情評価値設定手段により各画像に付与された画像表情評価値を用いて、前記記録する画像を選択する画像選択手段とを有することを特徴とする撮像装置。 An imaging device that selects an image to be recorded from images taken continuously,
Face detection means for performing face detection from the continuously photographed images;
A facial expression evaluation value detecting means for detecting a facial expression evaluation value based on the facial expression detected by the face detecting means;
The facial expression area used for calculation of the facial expression evaluation value is an image facial expression evaluation value that changes the detected facial parameters, detects the same image a predetermined number of times, and assigns the facial expression evaluation value to the image. Image facial expression evaluation value setting means for setting,
An image pickup apparatus comprising: an image selection unit that selects an image to be recorded using an image expression evaluation value assigned to each image by the image expression evaluation value setting unit. 前記撮影した画像における表情評価値は、同一の画像に対して複数回行われた表情評価値算出にて求められた表情評価値と、撮影待機中の画像から検出された表情評価値とから選択することを特徴とする請求項１に記載の撮像装置。   The facial expression evaluation value in the photographed image is selected from the facial expression evaluation value obtained by calculating the facial expression evaluation value performed a plurality of times on the same image and the facial expression evaluation value detected from the image waiting for photographing The imaging apparatus according to claim 1, wherein: 前記表情評価値の算出に用いる領域が、検出可能領域を超える場合は、検出可能領域までとすることを特徴とする請求項１または２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein when an area used for calculating the facial expression evaluation value exceeds a detectable area, the imaging apparatus includes the detectable area. 前記表情評価値とは、目が開いている度数を示す目開き度であることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。   The imaging apparatus according to any one of claims 1 to 3, wherein the facial expression evaluation value is an eye opening degree indicating a degree of eye opening. 前記表情評価値とは、笑顔である度数を示す笑顔度であることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the facial expression evaluation value is a smile level indicating a frequency of smile. 前記顔のパラメータとは、顔のサイズであることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the face parameter is a face size. 前記顔のパラメータとは、顔の位置であることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the face parameter is a face position. 連続して撮影した画像の中から記録する画像を選択する撮像装置の制御方法であって、
前記連続して撮影した画像の中から顔検出を行う顔検出工程と、
前記顔検出工程において検出された顔の表情に基づいて表情評価値を検出する表情評価値検出工程と、
前記表情評価値の算出に用いる顔の領域を、前記検出された顔のパラメータを変更し、同一の画像に対して所定回数の検出を行い、前記表情評価値を画像に付与する画像表情評価値を設定する画像表情評価値設定工程と、
前記画像表情評価値設定工程において各画像に付与された画像表情評価値を用いて、前記記録する画像を選択する画像選択工程とを有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus that selects an image to be recorded from images continuously shot,
A face detection step of performing face detection from the continuously photographed images;
A facial expression evaluation value detection step for detecting a facial expression evaluation value based on the facial expression detected in the face detection step;
The facial expression area used for calculation of the facial expression evaluation value is an image facial expression evaluation value that changes the detected facial parameters, detects the same image a predetermined number of times, and assigns the facial expression evaluation value to the image. Image facial expression evaluation value setting step for setting,
A control method for an imaging apparatus, comprising: an image selection step of selecting the image to be recorded using an image facial expression evaluation value assigned to each image in the image facial expression evaluation value setting step. 前記撮影した画像における表情評価値は、同一の画像に対して複数回行われた表情評価値算出にて求められた表情評価値と、撮影待機中の画像から検出された表情評価値とから選択することを特徴とする請求項８に記載の撮像装置の制御方法。   The facial expression evaluation value in the photographed image is selected from the facial expression evaluation value obtained by calculating the facial expression evaluation value performed a plurality of times on the same image and the facial expression evaluation value detected from the image waiting for photographing The method of controlling an imaging apparatus according to claim 8. 前記表情評価値の算出に用いる領域が、検出可能領域を超える場合は、検出可能領域までとすることを特徴とする請求項８または９に記載の撮像装置の制御方法。   The method for controlling an imaging apparatus according to claim 8 or 9, wherein when the area used for calculating the facial expression evaluation value exceeds the detectable area, the area is set to the detectable area. 前記表情評価値とは、目が開いている度数を示す目開き度であることを特徴とする請求項８〜１０の何れか１項に記載の撮像装置の制御方法。   The method of controlling an imaging apparatus according to any one of claims 8 to 10, wherein the facial expression evaluation value is an eye opening degree indicating a degree of eye opening. 前記表情評価値とは、笑顔である度数を示す笑顔度であることを特徴とする請求項８〜１１の何れか１項に記載の撮像装置の制御方法。   The method of controlling an imaging apparatus according to claim 8, wherein the facial expression evaluation value is a smile degree indicating a degree of smile. 前記顔のパラメータとは、顔のサイズであることを特徴とする請求項８〜１２の何れか１項に記載の撮像装置の制御方法。   The method of controlling an imaging apparatus according to claim 8, wherein the face parameter is a face size. 前記顔のパラメータとは、顔の位置であることを特徴とする請求項８〜１２の何れか１項に記載の撮像装置の制御方法。   The method of controlling an imaging apparatus according to claim 8, wherein the face parameter is a face position. 連続して撮影した画像の中から記録する画像を選択する撮像装置の制御方法の各工程をコンピュータに実行させるプログラムであって、
前記連続して撮影した画像の中から顔検出を行う顔検出工程と、
前記顔検出工程において検出された顔の表情に基づいて表情評価値を検出する表情評価値検出工程と、
前記表情評価値の算出に用いる顔の領域を、前記検出された顔のパラメータを変更し、同一の画像に対して所定回数の検出を行い、前記表情評価値を画像に付与する画像表情評価値を設定する画像表情評価値設定工程と、
前記画像表情評価値設定工程において各画像に付与された画像表情評価値を用いて、前記記録する画像を選択する画像選択工程とをコンピュータに実行させることを特徴とするプログラム。 A program that causes a computer to execute each step of a control method of an imaging apparatus that selects an image to be recorded from images that are continuously captured,
A face detection step of performing face detection from the continuously photographed images;
A facial expression evaluation value detection step for detecting a facial expression evaluation value based on the facial expression detected in the face detection step;
The facial expression area used for calculation of the facial expression evaluation value is an image facial expression evaluation value that changes the detected facial parameters, detects the same image a predetermined number of times, and assigns the facial expression evaluation value to the image. Image facial expression evaluation value setting step for setting,
A program causing a computer to execute an image selection step of selecting an image to be recorded using an image facial expression evaluation value given to each image in the image facial expression evaluation value setting step. 請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 15.
JP2011282000A 2011-12-22 2011-12-22 Image processing apparatus, imaging apparatus, and image processing method Expired - Fee Related JP5930703B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011282000A JP5930703B2 (en) 2011-12-22 2011-12-22 Image processing apparatus, imaging apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011282000A JP5930703B2 (en) 2011-12-22 2011-12-22 Image processing apparatus, imaging apparatus, and image processing method

Publications (3)

Publication Number Publication Date
JP2013132013A true JP2013132013A (en) 2013-07-04
JP2013132013A5 JP2013132013A5 (en) 2015-02-19
JP5930703B2 JP5930703B2 (en) 2016-06-08

Family

ID=48909231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011282000A Expired - Fee Related JP5930703B2 (en) 2011-12-22 2011-12-22 Image processing apparatus, imaging apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP5930703B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169975A (en) * 2009-04-24 2009-07-30 Toshiba Corp Facial image processing device
JP2009272740A (en) * 2008-05-01 2009-11-19 Nikon Corp Imaging device, image selection method, and image selection program
JP2010500687A (en) * 2006-08-11 2010-01-07 フォトネーション ビジョン リミテッド Real-time face detection in digital image acquisition device
JP2010122994A (en) * 2008-11-20 2010-06-03 Panasonic Electric Works Co Ltd Face authentication system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010500687A (en) * 2006-08-11 2010-01-07 フォトネーション ビジョン リミテッド Real-time face detection in digital image acquisition device
JP2009272740A (en) * 2008-05-01 2009-11-19 Nikon Corp Imaging device, image selection method, and image selection program
JP2010122994A (en) * 2008-11-20 2010-06-03 Panasonic Electric Works Co Ltd Face authentication system
JP2009169975A (en) * 2009-04-24 2009-07-30 Toshiba Corp Facial image processing device

Also Published As

Publication number Publication date
JP5930703B2 (en) 2016-06-08

Similar Documents

Publication Publication Date Title
US9060158B2 (en) Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
US8879802B2 (en) Image processing apparatus and image processing method
US7756408B2 (en) Focus control amount determination apparatus, method, and imaging apparatus
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
JP6267502B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
US7868915B2 (en) Photographing apparatus, method and computer program product
JP2008035415A (en) Imaging device and method for controlling the same
JP5804138B1 (en) Detection apparatus, detection method, and program
KR20100055946A (en) Method and apparatus for generating thumbnail of moving picture
JP6472183B2 (en) Image processing apparatus, control method thereof, and program
JP2010068128A (en) Image capturing apparatus, existence or nonexistence decision method of image area, and program
US9591210B2 (en) Image processing face detection apparatus, method for controlling the same, and program
KR20120025341A (en) Digital photographing apparatus and control method thereof
JP6320053B2 (en) Image processing apparatus, image processing method, and computer program
JP5956844B2 (en) Image processing apparatus and control method thereof
JP2014225763A (en) Imaging apparatus, control method of the same, program, and storage medium
JP5930703B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR20100098122A (en) Image processing method and apparatus, and digital photographing apparatus using thereof
JP2013157675A (en) Imaging device, method for controlling the same, program, and storage medium
WO2023106119A1 (en) Control device, control method, information processing device, generation method, and program
JP2013012993A (en) Image processing device, imaging device, and image processing program
US11711619B2 (en) Controlling exposure based on inverse gamma characteristic
JP2012124715A (en) Imaging apparatus and imaging apparatus control method
JP2009130840A (en) Imaging apparatus, control method thereof ,and program
JP2012034276A (en) Imaging apparatus and image processing method, and image processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160426

R151 Written notification of patent or utility model registration

Ref document number: 5930703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees