JP2010177811A - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP2010177811A
JP2010177811A JP2009015858A JP2009015858A JP2010177811A JP 2010177811 A JP2010177811 A JP 2010177811A JP 2009015858 A JP2009015858 A JP 2009015858A JP 2009015858 A JP2009015858 A JP 2009015858A JP 2010177811 A JP2010177811 A JP 2010177811A
Authority
JP
Japan
Prior art keywords
facial expression
folder
image data
level
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009015858A
Other languages
Japanese (ja)
Other versions
JP5200959B2 (en
Inventor
Koichi Toyama
光市 戸山
Masanaga Nakamura
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009015858A priority Critical patent/JP5200959B2/en
Publication of JP2010177811A publication Critical patent/JP2010177811A/en
Application granted granted Critical
Publication of JP5200959B2 publication Critical patent/JP5200959B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily retrieve and extract subject image data on face expressions of the same level. <P>SOLUTION: A face expression determination unit 23 detects a predetermined face expression of a subject person from a photographed subject image, compares the face expression of the subject person with face expression level data in a face expression level data storage unit 26 to determine the degree of the face expression, and generates a determination signal corresponding to the face expression level. A file storage instruction unit 30 generates an instruction signal for saving subject images by every face expression level in a predetermined folder provided in a memory 16a of an image recording unit 16 according to the determination signal. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、被写体の顔の表情を認識して顔表情の評価値を判定する機能を有するデジタルカメラに関する。   The present invention relates to a digital camera having a function of recognizing a facial expression of a subject and determining an evaluation value of the facial expression.

従来、メモリに一時的に記憶されている撮影画像データから複数の人物の顔画像を検出し、各人物の顔表情の評価値を算出し、その評価値が所定値以上である人物画像を抽出し、こうして抽出された複数の人物画像を合成処理する技術が知られている（例えば、特許文献１参照）。   Conventionally, face images of a plurality of persons are detected from captured image data temporarily stored in a memory, an evaluation value of each person's facial expression is calculated, and a person image whose evaluation value is equal to or greater than a predetermined value is extracted. A technique for synthesizing a plurality of person images thus extracted is known (see, for example, Patent Document 1).

特開２００７−２９９２９７号公報JP 2007-299297 A

しかしながら、引用文献１の技術にあっては、顔表情が所定の顔表情評価値である人物の画像を再度利用したい場合には、多数の撮影画像の中からその人物画像を抽出しなければならず、検索作業に手間がかかるという問題がある。   However, in the technique of the cited document 1, when a person image whose facial expression is a predetermined facial expression evaluation value is to be used again, the person image must be extracted from a large number of photographed images. However, there is a problem that it takes time to search.

（１）請求項１の発明によるデジタルカメラは、被写体像を撮像して、画像データを出力する撮像手段と、少なくとも第１のフォルダ及び第２のフォルダが設けられた記憶手段と、画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、判定手段が第１の顔表情レベルと判定した画像データを第１のフォルダに、第２の顔表情レベルと判定した画像データを第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とする。
（２）請求項６の発明によるデジタルカメラは、被写体像を撮像して、画像データを出力する撮像手段と、画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、画像データと判定手段の判定した顔表情レベルに関するレベル情報とを互いに関連付けて記憶する第１の記憶手段と、少なくとも第１のフォルダ及び第２のフォルダが設けられた第２の記憶手段と、表示手段と、第1の記憶手段から画像データを読み出して表示手段に表示する再生手段と、再生手段によって読み出された画像データについて、そのレベル情報に基づき、判定手段が第１の顔表情レベルと判定した画像データを第１のフォルダに、第２の顔表情レベルと判定した画像データを第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とする。 (1) A digital camera according to a first aspect of the present invention is an image pickup means for picking up a subject image and outputting the image data; a storage means provided with at least a first folder and a second folder; Determination means for determining whether the degree of facial expression of the subject person corresponds to at least one of the first facial expression level and the second facial expression level, and image data determined by the determination means to be the first facial expression level Is stored in the first folder, and the image data determined to be the second facial expression level is stored in the second folder, respectively.
(2) According to a sixth aspect of the present invention, there is provided a digital camera that captures a subject image and outputs image data, and the degree of facial expression of the subject person in the image data is at least a first facial expression level and a first facial expression level. Determination means for determining which one of the two facial expression levels corresponds to, first storage means for storing image data and level information relating to the facial expression level determined by the determination means in association with each other, and at least a first Second storage means provided with a folder and a second folder, display means, reproduction means for reading out image data from the first storage means and displaying it on the display means, and image data read by the reproduction means , Based on the level information, the image data determined by the determining means as the first facial expression level is stored in the first folder and the image data determined as the second facial expression level. Storing means for automatically storing each of them in the second folder.

本発明のデジタルカメラによれば、被写体画像データを被写体人物の顔表情の度合い毎に所定のフォルダに自動的に格納するようにしたので、これらの画像データを検索して抽出する作業が容易となる。   According to the digital camera of the present invention, the subject image data is automatically stored in a predetermined folder for each degree of facial expression of the subject person, so that it is easy to search and extract these image data. Become.

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which concerns on embodiment of this invention. 第１の実施の形態に係るデジタルカメラのメモリ１６ａのフォルダ構成を模式的に示す図である。It is a figure which shows typically the folder structure of the memory 16a of the digital camera which concerns on 1st Embodiment. 画像ファイル５０の構成を模式的に示す図である。3 is a diagram schematically showing a configuration of an image file 50. FIG. 第１の実施の形態に係るデジタルカメラのメモリ１６ａの他のフォルダ構成を模式的に示す図である。It is a figure which shows typically the other folder structure of the memory 16a of the digital camera which concerns on 1st Embodiment. 第２の実施の形態に係るデジタルカメラのメモリ１６ａのフォルダ構成を模式的に示す図である。It is a figure which shows typically the folder structure of the memory 16a of the digital camera which concerns on 2nd Embodiment.

以下、本発明の実施の形態によるデジタルカメラについて、図１〜５を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。 Hereinafter, a digital camera according to an embodiment of the present invention will be described with reference to FIGS.
-First embodiment-
FIG. 1 is a block diagram showing a configuration of a digital camera according to an embodiment of the present invention.

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、顔データ記憶部２２、顔表情判定部２３、顔表情データ記憶部２４、顔表情レベルデータ記憶部２６、表示制御部２７および液晶ディスプレイ２８を備える。さらに、デジタルカメラは、ファイル格納指示部３０、画像再生部３１を備える。   As shown in FIG. 1, the digital camera includes a photographic lens 11, an aperture 12, an image sensor 13, a buffer memory 14, an image processing unit 15, an image recording unit 16, and a control unit 20. The digital camera also includes a face detection unit 21, a face data storage unit 22, a facial expression determination unit 23, a facial expression data storage unit 24, a facial expression level data storage unit 26, a display control unit 27, and a liquid crystal display 28. Further, the digital camera includes a file storage instruction unit 30 and an image reproduction unit 31.

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。   The photographing lens 11 includes a plurality of lenses including a zoom lens and a focus lens, and forms a subject image on the image sensor 13. In FIG. 1, for the sake of simplicity, the taking lens 11 is shown as a single lens. The imaging element 13 generates an image signal by photoelectrically converting the subject light L1 from the photographing lens 11.

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２８に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。   The image signal output from the image pickup device 13 is sent to the image processing unit 15 via the buffer memory 14, where predetermined various image processing is performed. At the stage before the start of shooting, the image signal from the image sensor 13 is sent to the liquid crystal display 28 via the buffer memory 14, the image processing unit 15, and the control unit 20, and displayed as a through image. At the photographing stage, the image signal from the image sensor 13 is recorded in the image recording unit 16 via the buffer memory 14 and the image processing unit 15.

画像記録部１６はメモリ（記憶媒体）１６ａを有し、メモリ１６ａには、後述するように、複数のフォルダが階層的に設けられている。撮影された被写体画像（以下、撮影画像という）の画像データは、これらのフォルダのいずれかに振り分けられて記録される。
このような被写体画像データの各フォルダへの振り分けは、後述のファイル格納指示部３０の出力に基づき、画像記録部１６内の図示なき制御回路によって行われる。また、撮影画像データを格納する際には、画像情報にテキストまたは記号などの付加情報（例えばタグ情報（ＥＸＩＦ））を付加して格納する。 The image recording unit 16 includes a memory (storage medium) 16a, and a plurality of folders are hierarchically provided in the memory 16a as described later. Image data of a photographed subject image (hereinafter referred to as a photographed image) is distributed and recorded in one of these folders.
Such distribution of subject image data to each folder is performed by a control circuit (not shown) in the image recording unit 16 based on an output of a file storage instruction unit 30 described later. Further, when storing the photographed image data, additional information such as text or symbols (for example, tag information (EXIF)) is added to the image information and stored.

顔検出部２１は、撮影画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、撮影画像中の被写体人物の顔を検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。   The face detection unit 21 inputs photographed image data and compares it with face data stored in advance in the face data storage unit 22 to detect the face of the subject person in the photographed image. The detected face area image is sent from the face detection unit 21 to the control unit 20. The face data storage unit 22 stores, for example, feature point data relating to the shape of eyebrows, eyes, nose, and lips.

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。   For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。   As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.

顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、笑顔データを含む複数の顔表情のデータを記憶している。   The facial expression determination unit 23 inputs the face area image detected by the face detection unit 21 via the control unit 20, and the facial expression of the facial area image is stored in the facial expression data storage unit 24 in advance. By comparing with the predetermined facial expression data, it is detected that the facial expression of the subject person in the face area image corresponds to the predetermined facial expression data. There are various types of facial expressions such as a smiling face, a crying face, an angry face, a surprised face, and a sleeping face, and the facial expression data storage unit 24 stores a plurality of facial expression data including smile data.

顔表情判定部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。   When the facial expression determination unit 23 detects a facial expression of an image in the face area, a detection method disclosed in Japanese Patent Laid-Open No. 2008-42319 can be used. In this detection method, for example, in order to detect a smile, the type of facial expression is determined based on whether the face of the detected image is close to the two facial expressions of a smile and a normal face. .

また、顔表情判定部２３は、顔表情の検出だけではなく、顔表情の度合い（表情レベル）を検出する。すなわち、顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合いを顔表情レベルデータ記憶部２６に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情レベルデータのいずれに対応するかを判定することができる。顔表情判定部２３は、被写体人物の顔表情レベルに対応する判定信号を制御部２０へ出力する。   In addition, the facial expression determination unit 23 detects not only the detection of a facial expression but also the degree of facial expression (expression level). That is, the facial expression determination unit 23 inputs an image of the face area detected by the face detection unit 21 from the control unit 20, and the facial expression level data storage unit 26 stores the degree of expression of the facial area image in advance. By comparing with the predetermined facial expression level data, it can be determined which of the predetermined facial expression level data the facial expression level of the subject person in the face area image corresponds to. The facial expression determination unit 23 outputs a determination signal corresponding to the facial expression level of the subject person to the control unit 20.

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。   As a method for determining the degree of smile, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-46591 can be used. This determination method evaluates the degree of smile for the smile of the input partial image, and calculates a smile evaluation value. When evaluating smiles, calculate the evaluation points for the shape of each element of the eyebrows, pupils, and lips by referring to the smile data stored in advance. Value.

顔表情レベルデータ記憶部２６は、複数の顔表情のそれぞれについて、顔表情の度合い（顔表情レベル）として、例えば、レベル１からレベル５まで５段階で、各顔表情レベル毎に顔表情レベルデータを記憶している。具体的には、顔表情レベルデータ記憶部２６は、笑顔レベル１，笑顔レベル２，笑顔レベル３，笑顔レベル４，及び笑顔レベル５にそれぞれ相当する笑顔レベルデータや、泣き顔レベル１，泣き顔レベル２，泣き顔レベル３，泣き顔レベル４，及び泣き顔レベル５にそれぞれ相当する泣き顔レベルデータを記憶している。なお、笑顔レベルは、レベル値が大きくなるにつれて、顔表情は微笑表情から大笑い表情へとその笑顔の度合いが大きくなってゆく。   The facial expression level data storage unit 26 stores the facial expression level data for each facial expression level, for example, in five levels from level 1 to level 5 as the degree of facial expression (facial expression level) for each of the plurality of facial expressions. Is remembered. Specifically, the facial expression level data storage unit 26 stores smile level data corresponding to smile level 1, smile level 2, smile level 3, smile level 4, and smile level 5, respectively, and crying face level 1 and crying face level 2. Cry face level data corresponding to cry face level 3, cry face level 4 and cry face level 5. The smile level increases as the level value increases, and the degree of smile increases from a smile expression to a big smile expression.

表示制御部２７は、液晶ディスプレイ２８による表示を制御する。すなわち、表示制御部２７は、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された撮影画像の再生表示を行なう時の表示態様を制御する。   The display control unit 27 controls display on the liquid crystal display 28. That is, the display control unit 27 controls the display mode when displaying the captured image temporarily recorded in the buffer memory 14 and reproducing and displaying the captured image stored in the memory 16 a of the image recording unit 16.

液晶ディスプレイ２８は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の表示を行い、また、表示制御部２７の指令により、撮影画像に関連する付加情報の表示などを行う。   The liquid crystal display 28 displays a through image, a captured image temporarily recorded in the buffer memory 14, and a captured image stored in the memory 16a. In addition, according to a command from the display control unit 27, the captured image is displayed. Display related additional information.

ファイル格納指示部３０は、顔表情判定部２３からの顔表情レベルに対応する判定信号に基づき、その撮影画像データをメモリ１６ａのいずれのフォルダに格納するかを自動的に決定し、指示信号を出力する。
その指示信号がファイル格納指示部３０から制御部２０を介して画像記録部１６へ送出されると、画像記録部１６は、その撮影画像データを所定のフォルダに格納する。この自動格納の際には、例えば、撮影画像が笑顔レベル３の笑顔画像であれば、笑顔レベル３を表すレベル情報をその画像データに関連付けて格納する。 Based on the determination signal corresponding to the facial expression level from the facial expression determination unit 23, the file storage instruction unit 30 automatically determines in which folder of the memory 16a the captured image data is to be stored, and determines the instruction signal. Output.
When the instruction signal is sent from the file storage instruction unit 30 to the image recording unit 16 via the control unit 20, the image recording unit 16 stores the captured image data in a predetermined folder. In this automatic storage, for example, if the photographed image is a smile image of smile level 3, level information representing smile level 3 is stored in association with the image data.

画像再生部３１は、画像記録部１６に記録されている撮影画像などの情報の検索や再生を行う操作部である。   The image reproduction unit 31 is an operation unit that searches and reproduces information such as a captured image recorded in the image recording unit 16.

以上のように構成されたデジタルカメラは、次のように動作する。
撮影が行われ、撮像素子１３が被写体人物の撮影画像データを出力すると、顔検出部２１がこの撮影画像データの被写体人物画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔画像を検出する。顔表情判定部２３は、この顔検出部２１が検出した顔画像を顔表情データ記憶部２４の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等を検出する。ここでは、顔表情判定部２３は、「笑顔」を検出したとする。 The digital camera configured as described above operates as follows.
When photographing is performed and the image sensor 13 outputs photographed image data of the subject person, the face detection unit 21 compares the subject person image of the photographed image data with the face data stored in the face data recording unit 22, and the subject Detect human face images. The facial expression determination unit 23 compares the facial image detected by the face detection unit 21 with the facial expression data in the facial expression data storage unit 24 to detect the facial expression of the subject person as “smile”, “crying face”, or the like. . Here, it is assumed that the facial expression determination unit 23 detects “smile”.

顔表情判定部２３は、更に、この被写体人物画像の笑顔を顔表情レベルデータ記憶部２６に記憶された笑顔レベルデータと比較して、この笑顔の度合いがどの笑顔レベルに相当するかを判定し、その判定した笑顔レベルを表す判定信号を出力する。ここでは、笑顔レベル１に相当すると判定したとする。   The facial expression determination unit 23 further compares the smile of the subject person image with the smile level data stored in the facial expression level data storage unit 26 to determine which smile level the smile level corresponds to. Then, a determination signal representing the determined smile level is output. Here, it is assumed that it corresponds to smile level 1.

ファイル格納指示部３０は、この笑顔レベル１の判定信号に基づき、当該撮影画像データを図２のフォルダ構成における「笑顔レベル１」のフォルダに格納することを指示する指示信号を発生する。画像記録部１６は、この指示信号に基づき、当該撮影画像データと笑顔レベル１を表すレベル情報とを関連付け、画像ファイルとして「笑顔レベル１」のフォルダに格納する。   Based on the smile level 1 determination signal, the file storage instructing unit 30 generates an instruction signal instructing to store the photographed image data in the “smile level 1” folder in the folder configuration of FIG. Based on this instruction signal, the image recording unit 16 associates the captured image data with level information representing smile level 1, and stores the image file in an “smile level 1” folder.

図３は、この画像ファイル５０の構成を模式的に示したもので、この画像ファイル５０のタグ領域５１には、笑顔レベル１を表すレベル情報が書き込まれると共に、撮影画像データとそれのサムネイル画像データが、画像領域５２とサムネイル画像領域５３にそれぞれ格納される。   FIG. 3 schematically shows the configuration of the image file 50. Level information representing smile level 1 is written in the tag area 51 of the image file 50, and the captured image data and its thumbnail image are also shown. Data is stored in the image area 52 and the thumbnail image area 53, respectively.

新たな撮影画像が取得されると、以上の動作と同様に、それが笑顔レベル２の笑顔画像であれば、そのレベル情報と共に「笑顔レベル２」のフォルダに格納され、また、笑顔レベル３の画像であれば、そのレベル情報と共に「笑顔レベル３」のフォルダに格納され、笑顔レベル４の笑顔画像であれば、そのレベル情報と共に「笑顔レベル４」のフォルダに格納される。更に、その撮影画像が、泣き顔レベル１の泣き顔画像であれば、そのレベル情報と共に「泣き顔レベル１」の泣き顔フォルダに格納される。   When a new photographed image is acquired, if it is a smile level 2 smile image, it is stored in the “smile level 2” folder together with the level information, and the smile level 3 If it is an image, it is stored in the “smile level 3” folder together with the level information. If it is a smile level 4 smile image, it is stored in the “smile level 4” folder together with the level information. Further, if the captured image is a crying face level 1 crying face image, it is stored in the “crying face level 1” crying face folder together with the level information.

次に、操作者が画像再生部３１を操作して、「笑顔レベル１」のフォルダを開くと、そこに格納されていた笑顔レベル１の笑顔画像が液晶ディスプレイ２８にサムネイル一覧表示される。同様に、画像再生部３１によって、「笑顔レベル２」のフォルダが開かれると、笑顔レベル２の笑顔画像がサムネイル一覧表示される。また、画像再生部３１によって、或る泣き顔レベルのフォルダが開かれると、その泣き顔レベルの泣き顔画像がサムネイル一覧表示される。   Next, when the operator operates the image playback unit 31 to open the “smile level 1” folder, smile level 1 smile images stored therein are displayed as a thumbnail list on the liquid crystal display 28. Similarly, when the “smile level 2” folder is opened by the image playback unit 31, smile images of smile level 2 are displayed as a thumbnail list. Also, when a folder of a certain crying face level is opened by the image reproducing unit 31, crying face images of that crying face level are displayed as a thumbnail list.

このサムネイル一覧表示画面から所望のサムネイル画像を選択すると、その画像が拡大表示される。このサムネイル一覧表示及び所望の画像の拡大表示において、液晶ディスプレイ２８には、画像の表示に加えて、画像ファイル５０のタグ領域５１に記録されていたレベル情報も表示される。
このレベル情報の表示は、例えば「笑顔レベル１」や「笑顔レベル２０％」等の文字情報でもよいし、その笑顔レベルを表す笑顔マークを用いることもできる。 When a desired thumbnail image is selected from the thumbnail list display screen, the image is enlarged and displayed. In the thumbnail list display and the desired image enlarged display, the liquid crystal display 28 displays the level information recorded in the tag area 51 of the image file 50 in addition to the image display.
The level information may be displayed as text information such as “smile level 1” or “smile level 20%”, or a smile mark representing the smile level may be used.

また、画像再生部３１によって、笑顔レベル優先再生モードを選択すると、笑顔レベルの最高レベルのフォルダが開かれ、所定時間後に、順次、第２位、第３位、第４位、第５位の笑顔レベルのフォルダが次々に開かれて、それぞれサムネイル画像の一覧表示などが行われる。画像再生部３１によって、泣き顔レベル優先再生モードを選択した場合にも、同様に泣き顔レベルの第１位から順次、第５位までのフォルダが次々に開かれて、サムネイル画像の一覧表示等が行われる。   When the smile level priority playback mode is selected by the image playback unit 31, the folder with the highest smile level is opened, and the second, third, fourth, and fifth ranks are sequentially opened after a predetermined time. Smile level folders are opened one after another, and a list of thumbnail images is displayed. Similarly, when the image playback unit 31 selects the crying face level priority playback mode, folders from the first to the fifth in order of the crying face level are opened one after another, and a list of thumbnail images is displayed. Is called.

図４は、別のフォルダ構成を示したもので、笑顔レベル１、笑顔レベル２などの各笑顔レベルフォルダには、被写体別のサブフォルダが設けられている。そして、「笑顔レベル１」のフォルダの「被写体Ａ」のサブフォルダには、笑顔レベル１の被写体人物Ａの撮影画像が格納される。「被写体Ｂ」のサブフォルダには、笑顔レベル１の被写体人物Ｂの撮影画像が格納される。その他のサブフォルダも同様である。
このような被写体別サブフォルダへの撮影画像データの格納は、図３のタグ領域に被写体人物の情報を書き込んでおくことによって簡単に達成される。 FIG. 4 shows another folder structure. Each smile level folder such as smile level 1 and smile level 2 is provided with a subfolder for each subject. Then, in the sub-folder of “Subject A” in the “Smile Level 1” folder, a photographed image of the subject person A of Smile Level 1 is stored. In the sub-folder “Subject B”, a photographed image of the subject person B with smile level 1 is stored. The same applies to other subfolders.
The storage of the captured image data in the subject-specific subfolder is easily achieved by writing the subject person information in the tag area of FIG.

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）撮影画像データを笑顔レベル情報とともに、その笑顔レベルに対応する所定のフォルダに自動格納するので、同一レベルの笑顔画像データを検索して抽出する作業が容易となる。
（２）撮影画像データを笑顔レベル情報とともに、その笑顔レベルのフォルダの中の被写体別のサブフォルダに自動格納するので、同一被写体人物の同一レベルの笑顔画像データを検索して抽出する作業が容易となる。 The digital camera according to the present embodiment has the following operational effects.
(1) Since the photographed image data is automatically stored in the predetermined folder corresponding to the smile level together with the smile level information, it is easy to search and extract smile image data of the same level.
(2) Since the captured image data is automatically stored together with smile level information in a subfolder for each subject in the smile level folder, it is easy to search and extract smile image data of the same subject person at the same level. Become.

−第２の実施の形態−
次に、本発明の第２の実施の形態のデジタルカメラについて説明する。
以下の説明では、第１の実施の形態との相違点を主に説明する。第１の実施の形態では、撮影画像が取得されると、撮影画像データは、そのレベル情報とともに所定のフォルダに格納されるものであったが、第２の実施の形態では、撮影画像データはすべて、そのレベル情報とともに一つのフォルダに格納され、このフォルダを開いて画像を再生するときに所定のフォルダに振り分けられるというものである。以下、詳述する。 -Second Embodiment-
Next, a digital camera according to a second embodiment of the present invention will be described.
In the following description, differences from the first embodiment will be mainly described. In the first embodiment, when a photographed image is acquired, the photographed image data is stored in a predetermined folder together with the level information. In the second embodiment, the photographed image data is All of them are stored together with the level information in one folder, and when this folder is opened and an image is reproduced, it is distributed to a predetermined folder. Details will be described below.

図１において、撮像素子１３からの複数の撮影画像データは、順次、顔表情判定部２３からの顔表情レベルのレベル情報と共に、メモリ１６ａに記録される。具体的には、撮影画像データとそのレベル情報とは、メモリ１６ａに設けられた図５のメインフォルダに格納される。その後に、画像再生部３１によって、メインフォルダが開かれると、メインフォルダ内の全画像データが読み出され、液晶ディスプレイ２８にサムネイル一覧表示される。この読み出された画像ファイルは、そのレベル情報に応じた笑顔レベル又は泣き顔レベルのフォルダ等に再格納される。   In FIG. 1, a plurality of captured image data from the image sensor 13 is sequentially recorded in the memory 16 a together with level information of the facial expression level from the facial expression determination unit 23. Specifically, the captured image data and its level information are stored in the main folder of FIG. 5 provided in the memory 16a. After that, when the main folder is opened by the image reproduction unit 31, all image data in the main folder is read and displayed as a thumbnail list on the liquid crystal display 28. The read image file is re-stored in a smile level folder or a crying face level folder corresponding to the level information.

その後に、画像再生部３１によって、例えば図５の「笑顔レベル１」のフォルダを開くと、笑顔レベル１の笑顔画像がサムネイル一覧表示される。勿論、「泣き顔レベル１」のフォルダを開けば、泣き顔レベル１の泣き顔画像がサムネイル一覧表示される。   Thereafter, when the image playback unit 31 opens, for example, the “smile level 1” folder in FIG. 5, smile level 1 smile images are displayed in a thumbnail list. Of course, if the “crying face level 1” folder is opened, the crying face image of the crying face level 1 is displayed as a thumbnail list.

なお、メインフォルダに格納した画像データ及びレベル情報などは、メモリ１６ａ以外の記憶媒体に記録することもできる。この場合には、この記憶媒体から画像データとレベル情報とを読み出して、それらをメモリ１６ａの各笑顔レベルフォルダや泣き顔レベルフォルダに格納することになる。
第２の実施の形態でも、第１の実施の形態のデジタルカメラと同様の作用効果を奏する。 The image data and level information stored in the main folder can also be recorded on a storage medium other than the memory 16a. In this case, image data and level information are read from the storage medium and stored in each smile level folder and crying face level folder of the memory 16a.
Also in the second embodiment, the same operational effects as the digital camera of the first embodiment can be obtained.

上記の実施の形態では、デジタルカメラについて説明したが、本発明は、アプリケーションソフトウエア（画像閲覧編集ソフト）にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。 In the above embodiment, the digital camera has been described, but the present invention can also be applied to application software (image browsing / editing software).
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.

１６：画像記録部 １６ａ：メモリ
２０：制御部 ２３：顔表情判定部
２４：顔表情データ記憶部 ２６：顔表情レベルデータ記憶部
３０：ファイル格納指示部 ３１：画像再生部
５０：画像ファイル 16: Image recording unit 16a: Memory 20: Control unit 23: Facial expression determination unit 24: Facial expression data storage unit 26: Facial expression level data storage unit 30: File storage instruction unit 31: Image playback unit 50: Image file

Claims (7)

被写体像を撮像して、画像データを出力する撮像手段と、
少なくとも第１のフォルダ及び第２のフォルダが設けられた記憶手段と、
前記画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、
前記判定手段が第１の顔表情レベルと判定した前記画像データを前記第１のフォルダに、第２の顔表情レベルと判定した前記画像データを前記第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とするデジタルカメラ。 Imaging means for capturing a subject image and outputting image data;
Storage means provided with at least a first folder and a second folder;
Determination means for determining whether the facial expression level of the subject person in the image data corresponds to at least one of the first facial expression level and the second facial expression level;
The image data determined by the determination means as the first facial expression level is automatically stored in the first folder, and the image data determined as the second facial expression level is automatically stored in the second folder. And a storage means. 請求項１に記載のデジタルカメラにおいて、
前記格納手段は、前記画像データの自動格納の際に、前記判定手段の判定した前記顔表情レベルに関するレベル情報を前記画像データに関連付けて格納することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
The digital camera according to claim 1, wherein the storage unit stores level information related to the facial expression level determined by the determination unit in association with the image data when the image data is automatically stored. 請求項２に記載のデジタルカメラにおいて、
前記レベル情報は、文字とマークとの少なくとも一方であることを特徴とするデジタルカメラ。 The digital camera according to claim 2,
The digital camera according to claim 1, wherein the level information is at least one of a character and a mark. 請求項１に記載のデジタルカメラにおいて、
前記第１のフォルダ及び第２のフォルダは、それぞれ前記被写体人物毎のサブフォルダを備え、
前記サブフォルダは、同一被写体人物の画像データを格納することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
Each of the first folder and the second folder includes a subfolder for each subject person,
The digital camera according to claim 1, wherein the subfolder stores image data of the same subject person. 請求項１に記載のデジタルカメラにおいて、
表示手段と、
前記画像データを再生して前記表示手段に表示する再生手段と、を更に備え、
前記再生手段は、前記第１のフォルダと前記第２のフォルダのうち、顔表情レベルの高い方のフォルダの画像データを優先して再生することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
Display means;
Replaying means for replaying the image data and displaying it on the display means,
The digital camera preferentially reproduces image data of a folder having a higher facial expression level out of the first folder and the second folder. 被写体像を撮像して、画像データを出力する撮像手段と、
前記画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、
前記画像データと前記判定手段の判定した前記顔表情レベルに関するレベル情報とを互いに関連付けて記憶する第１の記憶手段と、
少なくとも第１のフォルダ及び第２のフォルダが設けられた第２の記憶手段と、
表示手段と、
前記第1の記憶手段から前記画像データを読み出して前記表示手段に表示する再生手段と、
前記再生手段によって読み出された画像データについて、そのレベル情報に基づき、前記判定手段が第１の顔表情レベルと判定した前記画像データを前記第１のフォルダに、第２の顔表情レベルと判定した前記画像データを前記第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とするデジタルカメラ。 Imaging means for capturing a subject image and outputting image data;
Determination means for determining whether the facial expression level of the subject person in the image data corresponds to at least one of the first facial expression level and the second facial expression level;
First storage means for storing the image data and level information related to the facial expression level determined by the determination means in association with each other;
Second storage means provided with at least a first folder and a second folder;
Display means;
Reproducing means for reading out the image data from the first storage means and displaying it on the display means;
Based on the level information of the image data read by the reproducing means, the image data determined by the determining means as the first facial expression level is determined as the second facial expression level in the first folder. And a storage means for automatically storing the image data in the second folder, respectively. 請求項６に記載のデジタルカメラにおいて、
前記第１の記憶手段と前記第２の記憶手段は、同一の記憶媒体であることを特徴とするデジタルカメラ。 The digital camera according to claim 6, wherein
The digital camera according to claim 1, wherein the first storage means and the second storage means are the same storage medium.
JP2009015858A 2009-01-27 2009-01-27 Digital camera Expired - Fee Related JP5200959B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009015858A JP5200959B2 (en) 2009-01-27 2009-01-27 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009015858A JP5200959B2 (en) 2009-01-27 2009-01-27 Digital camera

Publications (2)

Publication Number Publication Date
JP2010177811A true JP2010177811A (en) 2010-08-12
JP5200959B2 JP5200959B2 (en) 2013-06-05

Family

ID=42708360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009015858A Expired - Fee Related JP5200959B2 (en) 2009-01-27 2009-01-27 Digital camera

Country Status (1)

Country Link
JP (1) JP5200959B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169819A (en) * 2011-02-14 2012-09-06 Nikon Corp Image display device and image display program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (en) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc Picture evaluation device
JP2005148900A (en) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> Image classification device, image classification method, and program
JP2005174308A (en) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd Method and apparatus for organizing digital media by face recognition
JP2005234686A (en) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd Expression recognition device, expression recognition method and program
JP2007060562A (en) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp Unit, method, and program for image processing
JP2007233709A (en) * 2006-03-01 2007-09-13 Fujifilm Corp Apparatus and method for setting degree of category importance, apparatus and method for setting degree of image importance, and program
JP2007299297A (en) * 2006-05-02 2007-11-15 Fujifilm Corp Image composition device and control method thereof
JP2008084213A (en) * 2006-09-28 2008-04-10 Sony Corp Image processor, imaging apparatus, image processing method, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046591A (en) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc Picture evaluation device
JP2005148900A (en) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> Image classification device, image classification method, and program
JP2005174308A (en) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd Method and apparatus for organizing digital media by face recognition
JP2005234686A (en) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd Expression recognition device, expression recognition method and program
JP2007060562A (en) * 2005-08-26 2007-03-08 Fujifilm Holdings Corp Unit, method, and program for image processing
JP2007233709A (en) * 2006-03-01 2007-09-13 Fujifilm Corp Apparatus and method for setting degree of category importance, apparatus and method for setting degree of image importance, and program
JP2007299297A (en) * 2006-05-02 2007-11-15 Fujifilm Corp Image composition device and control method thereof
JP2008084213A (en) * 2006-09-28 2008-04-10 Sony Corp Image processor, imaging apparatus, image processing method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012169819A (en) * 2011-02-14 2012-09-06 Nikon Corp Image display device and image display program

Also Published As

Publication number Publication date
JP5200959B2 (en) 2013-06-05

Similar Documents

Publication Publication Date Title
JP4241709B2 (en) Image processing device
US8218833B2 (en) Image capturing apparatus, method of determining presence or absence of image area, and recording medium
US20140153900A1 (en) Video processing apparatus and method
KR20090055516A (en) Recording device and method, program, and reproducing device and method
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
KR20070102404A (en) Image display control device, control method and program thereof
JP5304294B2 (en) Electronic still camera
JP6081788B2 (en) Moving image processing apparatus and moving image processing method
JP5157704B2 (en) Electronic still camera
JP2013121097A (en) Imaging apparatus, imaging method, image generating apparatus, image generating method and program
AU2016277643A1 (en) Using face detection metadata to select video segments
JP5272797B2 (en) Digital camera
JP2010176224A (en) Image processor and digital camera
JP5200959B2 (en) Digital camera
JP2010237911A (en) Electronic apparatus
JP5157761B2 (en) Electronic still camera
JP5293223B2 (en) Digital camera
JP2010171849A (en) Image reproducing apparatus and electronic camera
JP2009087004A (en) Image retrieval device and image retrieval method
JP5434096B2 (en) Digital camera
JP2010068297A (en) Digital camera
JP5453820B2 (en) Digital camera
JP2005057623A (en) Image data processor
JP2012015912A (en) Electronic device
JP2010039795A (en) Data generation device and electronic camera for recognition, data generation program for recognition, and data generation method for recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130128

R150 Certificate of patent or registration of utility model

Ref document number: 5200959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees