JP5272789B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5272789B2
JP5272789B2 JP2009036664A JP2009036664A JP5272789B2 JP 5272789 B2 JP5272789 B2 JP 5272789B2 JP 2009036664 A JP2009036664 A JP 2009036664A JP 2009036664 A JP2009036664 A JP 2009036664A JP 5272789 B2 JP5272789 B2 JP 5272789B2
Authority
JP
Japan
Prior art keywords
face
area
unit
image
unsupported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009036664A
Other languages
Japanese (ja)
Other versions
JP2010191784A (en
Inventor
享永 千田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009036664A priority Critical patent/JP5272789B2/en
Publication of JP2010191784A publication Critical patent/JP2010191784A/en
Application granted granted Critical
Publication of JP5272789B2 publication Critical patent/JP5272789B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for shortening a time until processing a face. <P>SOLUTION: An imaging device 1 includes: an imaging part 20 for picking up a subject image to generate an image; a face area detecting part 40 for detecting an face area of a person from the image picked up by the imaging part; a storage part 10 for storing area information indicating the face area detected by the face area detecting part 40 from the through image picked up by the imaging part 20; an unsupported face estimation area selecting part 50 for selecting an unsupported face estimation area not corresponding to the face area detected when picking up the image, out of a face estimation area estimated with the presence of the face area in the image, based on the area information stored in the storage part 10, when the image is picked up by the imaging part 20; and an image processing part 90 for performing image processing to the unsupported face estimation area selected by the unsupported face estimation area selecting part 50. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、撮像装置に関するものである。   The present invention relates to an imaging apparatus.

現在、動画像（スルー画像とも称する）において、人物の顔領域を検出する技術が知られている（例えば、特許文献１参照）。また、顔領域に種々の処理（例えば、赤目補正、肌色補正、逆光補正。以下、「顔処理」という）を施す技術も知られている。   Currently, a technique for detecting a human face area in a moving image (also referred to as a through image) is known (see, for example, Patent Document 1). There is also known a technique for performing various processes (for example, red-eye correction, skin color correction, backlight correction, hereinafter referred to as “face processing”) on a face area.

特許文献１に記載の装置は、静止画像（本画像とも称する）を撮像後、本画像の撮像前に撮像したスルー画像に基づいて絞り込んだ領域から顔領域を検出する。   The apparatus described in Patent Document 1 detects a face area from an area narrowed down based on a through image captured before capturing a main image after capturing a still image (also referred to as a main image).

特開２００７−４２０７２号公報JP 2007-42072 A

しかしながら、特許文献１に記載の装置は、本画像の撮像後に顔領域を検出するため、顔処理を施す迄に時間を要するという問題がある。本発明は、このような事情に鑑みてなされたものであり、顔処理を施す迄の時間を短縮する技術を提供することを目的とする。   However, the apparatus described in Patent Document 1 has a problem in that it takes time to perform face processing because the face area is detected after the main image is captured. The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for shortening the time until face processing is performed.

上記問題を解決するために、本発明の一態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、前記検出失敗確率に応じた拡縮率によって前記未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部とを備えることを特徴とする。 In order to solve the above problems, an imaging device according to one embodiment of the present invention includes an imaging unit that captures a subject image and generates an image, and a face that detects a human face area from the image captured by the imaging unit An area detection unit, a storage unit that stores region information indicating a face region detected by the face region detection unit from a through image captured by the imaging unit, and a main image captured by the imaging unit. Based on the area information stored in the storage unit, an unsupported face estimation area that does not correspond to the face area detected at the time of capturing the main image is selected from the face estimation areas estimated to have a face area in the main image. and unsupported face estimation region selection unit for selecting the image processing section the image processing to the unsupported face estimation region selected by the unsupported face estimation region selection unit performs, the face area detection unit the unsupported face estimate region A detection failure probability calculation unit that calculates a detection failure probability that is a probability that face area detection has failed, and an unsupported face estimation region expansion / contraction that expands / contracts the unsupported face estimation region according to a scaling rate according to the detection failure probability And a section .

上記問題を解決するために、本発明の他の態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、前記未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部とを備え、前記パラメータ設定部は、前記検出失敗確率が高ければ高いほどより弱い強度を示す前記パラメータを設定し、前記画像処理部は、前記パラメータの強度に応じて未対応顔推定領域に画像処理を施すことを特徴とする。 In order to solve the above problem, an imaging apparatus according to another aspect of the present invention detects an image of a subject by capturing an image of a subject and generating a human face area from the image captured by the imaging unit. A face area detection unit; a storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit; and a main image captured by the imaging unit. The uncorresponding face estimation area that does not correspond to the face area detected at the time of capturing the main image from among the face estimation areas estimated that the face area exists in the main image based on the area information stored in the storage unit A non-corresponding face estimation region selection unit that selects the image, an image processing unit that performs image processing on the uncorresponding face estimation region selected by the uncorresponding face estimation region selection unit, and the face region detection unit Estimator A detection failure probability calculation unit that calculates a detection failure probability that is a probability that face area detection has failed, and a parameter setting unit that sets a parameter indicating strength when image processing is performed on the unsupported face estimation region The parameter setting unit sets the parameter indicating a weaker strength as the detection failure probability is higher, and the image processing unit performs image processing on the unsupported face estimation region according to the strength of the parameter. It is characterized by that.

上記問題を解決するために、本発明の他の態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部とを備え、前記未対応顔推定領域選択部は、複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を前記顔推定領域とすることを特徴とする。 In order to solve the above problem, an imaging apparatus according to another aspect of the present invention detects an image of a subject by capturing an image of a subject and generating a human face area from the image captured by the imaging unit. A face area detection unit; a storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit; and a main image captured by the imaging unit. The uncorresponding face estimation area that does not correspond to the face area detected at the time of capturing the main image from among the face estimation areas estimated that the face area exists in the main image based on the area information stored in the storage unit and unsupported face estimation region selector for selecting the unsupported face estimation region e Bei and an image processing section performing image processing on the selected the unsupported face estimation region by the selection unit, the unsupported face estimation region selection Department When the position of the face region in the number of the through image is moving in a certain direction, characterized in that a region including all the face areas in a plurality of through-image and the face estimation region.

本発明によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。   According to the present invention, the image processing is performed on the non-corresponding face estimation area without detecting the face area after the main image is captured, so that the time until the face processing is performed can be shortened.

本発明の第１の実施形態に係る撮像装置１の構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of an imaging apparatus 1 according to a first embodiment of the present invention. 顔領域検出部４０の動作を説明するための説明図である。6 is an explanatory diagram for explaining an operation of a face area detection unit 40. FIG. 顔領域情報記憶部１０に記憶される顔領域情報の一例を示す図である。FIG. 4 is a diagram illustrating an example of face area information stored in a face area information storage unit 10. 未対応顔推定領域選択部５０の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of an unsupported face estimation region selection unit 50. 未対応顔推定領域選択部５０の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of an unsupported face estimation region selection unit 50. 未対応顔推定領域選択部５０の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of an unsupported face estimation region selection unit 50. 未対応顔推定領域選択部５０の動作を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining an operation of an unsupported face estimation region selection unit 50. 撮像装置１の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the imaging apparatus 1. 本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device 2 which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device 2 which concerns on the 2nd Embodiment of this invention. 撮像装置３の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the imaging apparatus 3.

[第１の実施の形態]
以下、本発明の第１の実施形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置１の構成例を示すブロック図である。図２は、顔領域検出部４０の動作を説明するための説明図である。図３は、顔領域情報記憶部１０に記憶される顔領域情報の一例を示す図である。図４〜図７は、未対応顔推定領域選択部５０の動作を説明するための説明図である。撮像装置１は、図１に示すように、顔領域情報記憶部１０、画像記憶部１２、撮像部２０、表示制御部３０、顔領域検出部４０、未対応顔推定領域選択部５０および画像処理部９０を備える。 [First embodiment]
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 1 according to the first embodiment of the present invention. FIG. 2 is an explanatory diagram for explaining the operation of the face area detection unit 40. FIG. 3 is a diagram illustrating an example of face area information stored in the face area information storage unit 10. 4-7 is explanatory drawing for demonstrating operation | movement of the uncorresponding face estimation area | region selection part 50. FIG. As illustrated in FIG. 1, the imaging device 1 includes a face area information storage unit 10, an image storage unit 12, an imaging unit 20, a display control unit 30, a face region detection unit 40, an unsupported face estimation region selection unit 50, and image processing. Part 90 is provided.

撮像部２０は、光を集光するレンズ（非図示）、光電変換をする撮像素子（非図示）および電気信号から画像（スルー画像および本画像）を生成する画像生成部（非図示）などを備えるが、既知の技術であるため詳細は省略する。撮像部２０は、撮像時において、レリーズ信号を取得していないときは、所定のタイミング（例えば、３０コマ／秒）でスルー画像を生成する。撮像部２０は、スルー画像を生成する都度、生成したスルー画像を表示制御部３０および顔領域検出部４０に供給する。また、撮像部２０は、撮像時において、レリーズ信号を取得したときは、本画像を生成する。撮像部２０は、本画像を生成した場合、生成した本画像を表示制御部３０、顔領域検出部４０および画像処理部９０に供給する。   The imaging unit 20 includes a lens (not shown) that collects light, an imaging element (not shown) that performs photoelectric conversion, an image generation unit (not shown) that generates an image (through image and main image) from an electrical signal, and the like. However, details are omitted because it is a known technique. The imaging unit 20 generates a through image at a predetermined timing (for example, 30 frames / second) when a release signal is not acquired during imaging. The imaging unit 20 supplies the generated through image to the display control unit 30 and the face area detection unit 40 every time a through image is generated. The imaging unit 20 generates a main image when a release signal is acquired during imaging. When the main image is generated, the imaging unit 20 supplies the generated main image to the display control unit 30, the face area detection unit 40, and the image processing unit 90.

顔領域検出部４０は、撮像部２０からスルー画像および本画像を取得する。顔領域検出部４０は、スルー画像を取得した場合、スルー画像から人物の顔領域を検出する。例えば、顔領域検出部４０は、図２（ａ）に示すスルー画像Ｇｎを取得した場合、顔領域Ａｎと顔領域Ｂｎを検出する。本画像を取得した場合も同様である。   The face area detection unit 40 acquires a through image and a main image from the imaging unit 20. When acquiring the through image, the face area detection unit 40 detects a human face area from the through image. For example, when acquiring the through image Gn shown in FIG. 2A, the face area detection unit 40 detects the face area An and the face area Bn. The same applies when the main image is acquired.

顔領域検出部４０は、スルー画像から顔領域を検出した場合、スルー画像から検出した顔領域を示す領域情報（以下、「顔領域情報」という）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。例えば、顔領域検出部４０は、ある時刻Ｔｎに撮像された図２（ａ）に示すスルー画像Ｇｎから顔領域Ａｎと顔領域Ｂｎを検出した場合、スルー画像Ｇｎを識別するスルー画像識別情報「Ｇｎ」（例えば、時刻「Ｔｎ」、撮像順序「ｎ」）、顔領域Ａｎを示す顔領域情報（ＰＡｎ、ＬＡｎｘ、ＬＡｎｙ）、および、顔領域Ｂｎを示す顔領域情報（ＰＢｎ、ＬＢｎｘ、ＬＢｎｙ）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。同様に、顔領域検出部４０は、時刻Ｔｎより１スルー画像撮像時間後の時刻Ｔｎ＋１に撮像された図２（ｂ）に示すスルー画像Ｇｎ＋１から顔領域Ｂｎ＋1を検出した場合には、スルー画像識別情報「Ｇｎ＋１」、および、顔領域Ｂｎ＋1を示す顔領域情報（ＰＢｎ＋１、ＬＢｎ+１ｘ、ＬＢｎ+１ｙ）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。なお、「ＰＡｎ」はスルー画像Ｇｎにおける顔領域Ａｎの左上の座標、「ＬＡｎｘ」はスルー画像Ｇｎにおける顔領域Ａｎの横方向（Ｘ軸方向）の長さ、「ＬＡｎｙ」はスルー画像Ｇｎにおける顔領域Ａｎの縦方向（Ｙ軸方向）の長さである。「ＰＢｎ」はスルー画像Ｇｎにおける顔領域Ｂｎの左上の座標、「ＬＢｎｘ」はスルー画像Ｇｎにおける顔領域Ｂｎの横方向（Ｘ軸方向）の長さ、「ＬＢｎｙ」はスルー画像Ｇｎにおける顔領域Ｂｎの縦方向（Ｙ軸方向）の長さである。「ＰＢｎ＋１」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の左上の座標、「ＬＢｎ＋１ｘ」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の横方向（Ｘ軸方向）の長さ、「ＬＢｎ＋１ｙ」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の縦方向（Ｙ軸方向）の長さである。なお、顔領域検出部４０は、スルー画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を表示制御部３０に供給する。   When the face area detection unit 40 detects a face area from the through image, the face area detection unit 40 supplies area information indicating the face area detected from the through image (hereinafter referred to as “face area information”) to the display control unit 30 and the face area information. Is stored in the face area information storage unit 10. For example, when the face area An and the face area Bn are detected from the through image Gn shown in FIG. 2A captured at a certain time Tn, the face area detection unit 40 identifies the through image identification information “ Gn ”(for example, time“ Tn ”, imaging order“ n ”), face area information indicating the face area An (PAn, LAnx, LAny), and face area information indicating the face area Bn (PBn, LBnx, LBny) And the face area information is stored in the face area information storage unit 10. Similarly, when the face area detection unit 40 detects the face area Bn + 1 from the through image Gn + 1 shown in FIG. 2B captured at time Tn + 1, which is one through image imaging time after time Tn, the through image identification is performed. Information “Gn + 1” and face area information (PBn + 1, LBn + 1x, LBn + 1y) indicating the face area Bn + 1 are supplied to the display control unit 30 and the face area information is stored in the face area information storage unit 10. “PAn” is the upper left coordinate of the face area An in the through image Gn, “LAnx” is the length of the face area An in the through image Gn in the horizontal direction (X-axis direction), and “LAny” is the face in the through image Gn. This is the length in the vertical direction (Y-axis direction) of the region An. “PBn” is the upper left coordinate of the face area Bn in the through image Gn, “LBnx” is the length in the horizontal direction (X-axis direction) of the face area Bn in the through image Gn, and “LBny” is the face area Bn in the through image Gn. In the vertical direction (Y-axis direction). “PBn + 1” is the upper left coordinate of the face area Bn + 1 in the through image Gn + 1, “LBn + 1x” is the length in the horizontal direction (X-axis direction) of the face area Bn + 1 in the through image Gn + 1, and “LBn + 1y” is the face area Bn + 1 in the through image Gn + 1 In the vertical direction (Y-axis direction). If the face area cannot be detected from the through image, the face area detection unit 40 supplies the display control unit 30 with face area information (for example, null) that does not specify the face area.

図３は、スルー画像Ｇｎから顔領域Ａｎと顔領域Ｂｎを検出し、スルー画像Ｇｎ＋１から顔領域Ｂｎ＋1を検出した場合に顔領域情報記憶部１０に記憶される顔領域情報である。上記の場合、顔領域情報記憶部１０には、スルー画像識別情報「Ｇｎ」に対応付けて顔領域情報（ＰＡｎ、ＬＡｎｘ、ＬＡｎｙ）と顔領域情報（ＰＢｎ、ＬＢｎｘ、ＬＢｎｙ）、スルー画像識別情報「Ｇｎ＋１」に対応付けて顔領域情報（ＰＢｎ＋１、ＬＢｎ＋１ｘ、ＬＢｎ＋１ｙ）が記憶される。なお、顔領域検出部４０は、顔領域の基準座標（左上）、顔領域の横方向（Ｘ軸方向）の長さ、顔領域の縦方向（Ｙ軸方向）の長さから構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶することに代えて、他の形式から構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶してもよい。例えば、顔領域検出部４０は、顔領域の２つの基準座標（例えば、左上および右下）から構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶してもよい。   FIG. 3 shows the face area information stored in the face area information storage unit 10 when the face area An and the face area Bn are detected from the through image Gn and the face area Bn + 1 is detected from the through image Gn + 1. In the above case, the face area information storage unit 10 stores the face area information (PAn, LAnx, LAny), the face area information (PBn, LBnx, LBny) and the through image identification information in association with the through image identification information “Gn”. The face area information (PBn + 1, LBn + 1x, LBn + 1y) is stored in association with “Gn + 1”. Note that the face area detection unit 40 is a face composed of the reference coordinates (upper left) of the face area, the length of the face area in the horizontal direction (X-axis direction), and the length of the face area in the vertical direction (Y-axis direction). Instead of supplying the area information to the display control unit 30 and storing the face area information in the face area information storage unit 10, the face area information configured in another format is supplied to the display control unit 30 and the face area is stored. Information may be stored in the face area information storage unit 10. For example, the face area detection unit 40 supplies face area information composed of two reference coordinates (for example, upper left and lower right) of the face area to the display control unit 30 and transmits the face area information to the face area information storage unit 10. May be stored.

顔領域検出部４０は、本画像から顔領域を検出した場合、本画像から検出した顔領域情報を未対応顔推定領域選択部５０に供給する。なお、顔領域検出部４０は、スルー画像から顔領域を検出した場合に顔領域情報記憶部１０に記憶する形式の顔領域情報と同一の形式の顔領域情報を未対応顔推定領域選択部５０に供給することが好ましい。なお、顔領域検出部４０は、本画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を未対応顔推定領域選択部５０に供給する。   When the face area detection unit 40 detects a face area from the main image, the face area detection unit 40 supplies the face area information detected from the main image to the unsupported face estimation area selection unit 50. The face area detection unit 40 detects the face area information in the same format as the face area information stored in the face area information storage unit 10 when a face area is detected from the through image. It is preferable to supply to. When the face area cannot be detected from the main image, the face area detection unit 40 supplies face area information (for example, null) that does not specify the face area to the uncorresponding face estimation area selection unit 50.

表示制御部３０は、撮像部２０からスルー画像または本画像を取得する。また、表示制御部３０は、顔領域検出部４０からスルー画像に係る顔領域情報を取得する。表示制御部３０は、スルー画像および顔領域情報を取得した場合には、スルー画像とともに（スルー画像に重畳させて）、当該顔領域情報により示される領域を表す情報（例えば、枠）を表示部（非図示）に表示する。表示制御部３０は、本画像を取得した場合には、本画像を表示部に表示する。   The display control unit 30 acquires a through image or a main image from the imaging unit 20. Further, the display control unit 30 acquires face area information related to the through image from the face area detection unit 40. When the display control unit 30 acquires the through image and the face area information, the display unit 30 displays information (for example, a frame) representing the area indicated by the face area information together with the through image (superimposed on the through image). (Not shown). When acquiring the main image, the display control unit 30 displays the main image on the display unit.

未対応顔推定領域選択部５０は、撮像部２０によって本画像が撮像された場合に、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて本画像に顔領域が存在すると推定した領域（以下、「顔推定領域」という）のなかから、本画像の撮像時に検出された顔領域に対応しない領域（以下、「未対応顔推定領域」という）を選択する。以下、詳細に説明する。   The uncorresponding face estimation area selection unit 50 estimates that a face area exists in the main image based on the face area information stored in the face area information storage unit 10 when the main image is captured by the imaging unit 20. From the areas (hereinafter referred to as “face estimation areas”), areas not corresponding to the face areas detected when the main image is captured (hereinafter referred to as “unsupported face estimation areas”) are selected. Details will be described below.

未対応顔推定領域選択部５０は、本画像が撮像されたと判断した場合、まず、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｒに撮像された図４（ｆ）に示す本画像Ｇｒから検出された顔領域情報Ａｒを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、時刻Ｔｒより１スルー画像撮像時間前の時刻Ｔｒ−１に撮像された図４（ｅ）に示すスルー画像Ｇｒ−１から検出された顔領域情報Ａｒ−１、時刻Ｔｒ−１より１スルー画像撮像時間前の時刻Ｔｒ−２に撮像された図４（ｄ）に示すスルー画像Ｇｒ−２から検出された顔領域情報Ａｒ−２、時刻Ｔｒ−２より１スルー画像撮像時間前の時刻Ｔｒ−３に撮像された図４（ｃ）に示すスルー画像Ｇｒ−３から検出された顔領域情報Ａｒ−３、時刻Ｔｒ−３より１スルー画像撮像時間前の時刻Ｔｒ−４に撮像された図４（ｂ）に示すスルー画像Ｇｒ−４から検出された顔領域情報Ａｒ−４、および、時刻Ｔｒ−４より１スルー画像撮像時間前の時刻Ｔｒ−５に撮像された図４（ａ）に示すスルー画像Ｇｒ−５から検出された顔領域情報Ａｒ−５が記憶されているときは、顔領域情報Ａｒ−５、顔領域情報Ａｒ−４、顔領域情報Ａｒ−３、顔領域情報Ａｒ−２および顔領域情報Ａｒ−１の位置の変化に基づいて、図４（ｇ）に示すように、時刻Ｔｒにおいて顔領域が存在すると推定される領域Ａｘを顔推定領域として抽出する。   When it is determined that the main image has been captured, the uncorresponding face estimation area selection unit 50 first extracts a face estimation area based on the face area information stored in the face area information storage unit 10. For example, when the uncorresponding face estimation area selection unit 50 acquires the face area information Ar detected from the main image Gr shown in FIG. Face area information Ar-1 detected from the through image Gr-1 shown in FIG. 4E captured at time Tr-1 one time before the through image imaging time in the area information storage unit 10 and time Tr 4 is captured at the time Tr-2 one time before the through-image capturing time from -1, and the face area information Ar-2 detected from the through-image Gr-2 shown in FIG. Face area information Ar-3 detected from the through image Gr-3 shown in FIG. 4C, which was imaged at time Tr-3 before time, time Tr-4 one time before the through image imaging time from time Tr-3 The through image Gr− shown in FIG. Detected from the face region information Ar-4 and the face detected from the through image Gr-5 shown in FIG. 4A captured at time Tr-5 one imaging time before the time Tr-4. When the area information Ar-5 is stored, the positions of the face area information Ar-5, the face area information Ar-4, the face area information Ar-3, the face area information Ar-2, and the face area information Ar-1 are stored. Based on the change, as shown in FIG. 4G, an area Ax where a face area is estimated to exist at time Tr is extracted as a face estimation area.

また、未対応顔推定領域選択部５０は、ある時刻Ｔｓに撮像された図５（ｆ）に示す本画像Ｇｓから検出された顔領域情報Ａｓを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、図５（ａ）〜図５（ｅ）に示す、時刻Ｔｓ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇs−ｎ（ｎ＝５，４，３，２，１）から検出された各顔領域情報Ａｓ−ｎ（ｎ＝５，４，３，２，１）が記憶されているときは、各顔領域情報Ａｓ−ｎ（ｎ＝５，４，３，２，１）の位置および大きさの変化に基づいて、図５（ｇ）に示すように、時刻Ｔｓにおいて顔領域が存在すると推定される領域Ａｘを顔推定領域として抽出する。   Further, the uncorresponding face estimation area selection unit 50 acquires the face area information As detected from the main image Gs shown in FIG. 5F captured at a certain time Ts from the face area detection unit 40. Each through image Gs-n (n) captured at time Ts-n (n = 5, 4, 3, 2, 1) shown in FIGS. 5A to 5E in the area information storage unit 10. When each face area information As-n (n = 5, 4, 3, 2, 1) detected from = 5, 4, 3, 2, 1) is stored, each face area information As-n Based on the change in position and size of (n = 5, 4, 3, 2, 1), as shown in FIG. 5G, face estimation is performed on an area Ax that is estimated to have a face area at time Ts. Extract as a region.

即ち、未対応顔推定領域選択部５０は、過去（本画像撮像前）のスルー画像の顔領域の位置および大きさから本画像の顔領域を推測し、顔推定領域として抽出する。なお、図４は、例えば、静止した人物に対して撮像装置１の位置が上に移動する状況若しくは角度（アングル）が上に移動する状況における撮像、または、固定した撮像装置１に対して人物が下に移動する状況における撮像である。また、図５は、例えば、静止した人物に対して撮像装置１の位置が前に移動する状況（被写体への接近）における撮像、固定した撮像装置１に対して人物が前に移動する状況（被写体の接近）における撮像、または、静止した人物かつ固定した撮像装置１において被写体サイズを拡大（ズームイン）させる撮像である。また、図４および図５の例では、５枚のスルー画像を参照して顔推定領域を抽出しているが、参照するスルー画像の枚数は５枚に限定されない。   In other words, the uncorresponding face estimation area selection unit 50 estimates the face area of the main image from the position and size of the face area of the previous through image (before capturing the main image), and extracts it as the face estimation area. Note that FIG. 4 illustrates, for example, imaging in a situation where the position of the imaging apparatus 1 moves up with respect to a stationary person or an angle (angle) moves up, or a person relative to a fixed imaging apparatus 1 It is an imaging in a situation in which moves downward. FIG. 5 illustrates, for example, a situation in which the position of the imaging device 1 moves forward with respect to a stationary person (approach to the subject), and a situation in which a person moves forward with respect to the fixed imaging device 1 ( Imaging in the approach of the subject) or imaging in which the subject size is enlarged (zoomed in) in the stationary imaging device 1 that is stationary. 4 and 5, the face estimation area is extracted with reference to five through images, but the number of through images to be referred to is not limited to five.

なお、未対応顔推定領域選択部５０は、複数のスルー画像における顔領域の位置が一定方向に移動している場合には、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、図４（ａ）〜図４（ｅ）に示すように、各顔領域Ａｒ−ｎ（ｎ＝５，４，３，２，１）の位置が一定方向に移動しているときは、図４（ｈ）に示すように顔領域Ａｒ−１を一定方向に拡大させた領域Ａｘを顔推定領域として抽出してもよい。なお、未対応顔推定領域選択部５０は、一定方向に移動する移動量に応じて一定方向に拡大させる拡大量を算出してもよい。また、未対応顔推定領域選択部５０は、上記場合に、複数のスルー画像における各顔領域を全て含む領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、各顔領域Ａｒ−ｎ（ｎ＝５，４，３，２，１）を全て含む図４（ｉ）に示す領域Ａｘを顔推定領域として抽出してもよい。   Note that the unsupported face estimation area selection unit 50 enlarges the face area detected from the latest through image in a certain direction when the position of the face area in the plurality of through images moves in a certain direction. An area may be extracted as a face estimation area. For example, as shown in FIGS. 4A to 4E, the unsupported face estimation area selection unit 50 determines the position of each face area Ar-n (n = 5, 4, 3, 2, 1). When moving in a certain direction, an area Ax obtained by enlarging the face area Ar-1 in a certain direction may be extracted as a face estimation area as shown in FIG. Note that the unsupported face estimation region selection unit 50 may calculate an enlargement amount that is enlarged in a certain direction in accordance with a movement amount that moves in a certain direction. Further, in the above case, the uncorresponding face estimation area selection unit 50 may extract an area including all the face areas in the plurality of through images as the face estimation area. For example, the unsupported face estimation area selection unit 50 extracts the area Ax shown in FIG. 4 (i) including all the face areas Ar-n (n = 5, 4, 3, 2, 1) as the face estimation area. May be.

更に、未対応顔推定領域選択部５０は、複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さい場合には、最新のスルー画像から検出された顔領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｔに撮像された図６（ｆ）に示す本画像Ｇｔから検出された顔領域情報Ａｔを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、図６（ａ）〜図６（ｅ）に示す、時刻Ｔｔ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇｔ−ｎ（ｎ＝５，４，３，２，１）から検出された各顔領域情報Ａｔ−ｎ（ｎ＝５，４，３，２，１）が記憶され、かつ、重心が顔領域Ａｔ−１の重心Ｑと同一であってＸ軸方向およびＹ軸方向の長さが顔領域Ａｔ−１のＸ軸方向およびＹ軸方向の長さの２倍（所定の閾値）である矩形領域Ｋに、他の顔領域Ａｔ−ｎ（ｎ＝２，３，４，５）の全てが含まれているときは、図６（ｇ）に示すように、顔領域Ａｔ−１を顔推定領域Ａｘとして抽出してもよい。   Furthermore, when the change in the position of the face area in the plurality of through images is smaller than a predetermined threshold, the unsupported face estimation area selection unit 50 extracts the face area detected from the latest through image as the face estimation area. May be. For example, when the uncorresponding face estimation area selection unit 50 acquires the face area information At detected from the main image Gt shown in FIG. 6F captured at a certain time Tt from the face area detection unit 40, Each through image Gt-n (n) captured at the time Tt-n (n = 5, 4, 3, 2, 1) shown in FIGS. 6A to 6E in the region information storage unit 10. = 5, 4, 3, 2, 1), each face area information At-n (n = 5, 4, 3, 2, 1) is stored, and the center of gravity of the face area At-1 is stored A rectangular region K that is the same as Q and has a length in the X-axis direction and the Y-axis direction that is twice the length of the face region At-1 in the X-axis direction and the Y-axis direction (predetermined threshold value) When all of the face area At-n (n = 2, 3, 4, 5) is included, as shown in FIG. 6G, the face area At-1 is set as the face estimation area Ax. It may put.

なお、未対応顔推定領域選択部５０は、本画像の撮像前一定時間内に撮像された全スルー画像から顔領域（顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域）が検出できなかった場合でも、所定の割合以上のスルー画像から当該顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。例えば、所定の割合が８０％である場合、未対応顔推定領域選択部５０は、本画像の撮像前１秒内に撮像された３０枚のスルー画像のうち２４枚以上のスルー画像から顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。   Note that the unsupported face estimation area selection unit 50 estimates a face area (a face area related to the same face from the position and size of the face area) from all through images captured within a certain time before the main image is captured. Even if the face area) cannot be detected, if the face area can be detected from through images of a predetermined ratio or more, the face estimation area may be extracted based on the face area. For example, when the predetermined ratio is 80%, the non-corresponding face estimation region selecting unit 50 determines the face region from 24 or more through images out of 30 through images captured within 1 second before capturing the main image. Can be detected, the face estimation area may be extracted based on the face area.

顔推定領域を抽出した未対応顔推定領域選択部５０は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｕに撮像された図７（ａ）に示す本画像Ｇｕから検出された顔領域情報Ｂｕ、Ｃｕを顔領域検出部４０から取得し、図７（ｄ）〜図７（ｈ）に示す、時刻Ｔｕ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇｕ−ｎ（ｎ＝５，４，３，２，１）から各顔領域情報Ａｕ−ｎ（ｎ＝５，４，３，２，１）、Ｂｕ−ｎ（ｎ＝５，４，３，２，１）およびＣｕ−ｎ（ｎ＝５，４，３，２，１）の位置および大きさの変化に基づいて図７（ｂ）に示す顔推定領域Ａｘ、Ｂｘ、Ｃｘを抽出した場合、図７（ｃ）に示すように、顔推定領域Ａｘ、Ｂｘ、Ｃｘのうち本画像Ｇｕ上に対応する顔領域が存在しない顔推定領域Ａｘを未対応顔推定領域Ｘとして選択する。なお、未対応顔推定領域選択部５０は、顔推定領域と本画像の顔領域の位置および大きさが概ね一致している場合（例えば、両領域の位置の差が所定の範囲内であって、かつ、両領域の大きさの差が所定の範囲内である場合）に、両領域は対応すると判断する。   The unsupported face estimation region selection unit 50 that has extracted the face estimation region selects an unsupported face estimation region that does not correspond to the face region detected from the main image from the face estimation regions. For example, the unsupported face estimation area selection unit 50 acquires the face area information Bu and Cu detected from the main image Gu shown in FIG. 7A captured at a certain time Tu from the face area detection unit 40, and 7 (d) to 7 (h), each through image Gu-n (n = 5, 4, 3, 2) captured at time Tu-n (n = 5, 4, 3, 2, 1). , 1) to each face area information Au-n (n = 5, 4, 3, 2, 1), Bu-n (n = 5, 4, 3, 2, 1) and Cu-n (n = 5, When the face estimation regions Ax, Bx, and Cx shown in FIG. 7B are extracted based on the change in position and size of 4, 3, 2, 1), face estimation is performed as shown in FIG. Of the areas Ax, Bx, and Cx, a face estimation area Ax that does not have a corresponding face area on the main image Gu is selected as an unsupported face estimation area X. The uncorresponding face estimation area selection unit 50 determines that the position and size of the face estimation area and the face area of the main image are substantially the same (for example, the difference between the positions of both areas is within a predetermined range). When the difference in size between the two areas is within a predetermined range), it is determined that the two areas correspond to each other.

なお、未対応顔推定領域選択部５０は、全ての顔推定領域が本画像から検出された顔領域に対応する場合、未対応顔推定領域を選択しない。例えば、未対応顔推定領域選択部５０は、顔領域情報Ｂｕ、Ｃｕを取得し、顔推定領域Ｂｘ、Ｃｘのみを抽出した場合には、未対応顔推定領域を選択しない。また、未対応顔推定領域選択部５０は、本画像から顔領域を検出しなかったが、顔推定領域を抽出した場合、全ての顔推定領域を未対応顔推定領域として選択する。例えば、未対応顔推定領域選択部５０は、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得し、顔推定領域Ａｘ、Ｂｘ、Ｃｘを抽出した場合には、顔推定領域Ａｘ、Ｂｘ、Ｃｘを未対応顔推定領域Ｘとして選択する。   Note that the unsupported face estimation region selection unit 50 does not select the unsupported face estimation region when all the face estimation regions correspond to the face regions detected from the main image. For example, the unsupported face estimation region selection unit 50 does not select the unsupported face estimation region when acquiring the face region information Bu and Cu and extracting only the face estimation regions Bx and Cx. In addition, the unsupported face estimation area selection unit 50 does not detect a face area from the main image, but when the face estimation area is extracted, selects all face estimation areas as unsupported face estimation areas. For example, when the unsupported face estimation area selection unit 50 acquires face area information (for example, null) that does not specify a face area and extracts the face estimation areas Ax, Bx, and Cx, the face estimation areas Ax, Bx, Cx is selected as the unsupported face estimation region X.

未対応顔推定領域選択部５０は、未対応顔推定領域を選択した場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。未対応顔推定領域選択部５０は、未対応顔推定領域を抽出しなかった場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給する。   When the unsupported face estimation area selection unit 50 selects the unsupported face estimation area, the face area information acquired from the face area detection unit 40 (face area information detected from the main image) and the unsupported face estimation area Is supplied to the image processing unit 90. When the uncorresponding face estimation area selection unit 50 does not extract the uncorresponding face estimation area, the face area information acquired from the face area detection unit 40 (face area information detected from the main image) is sent to the image processing unit 90. Supply.

画像処理部９０は、撮像部２０から本画像を取得する。また、画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を取得する。画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）のみを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域に画像処理（顔処理）を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、顔処理を施さない。画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）と未対応顔推定領域を示す顔領域情報とを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。   The image processing unit 90 acquires the main image from the imaging unit 20. Further, the image processing unit 90 acquires face area information (face area information detected from the main image) and face area information indicating the unsupported face estimation area from the unsupported face estimation area selection unit 50. When only the face area information (face area information detected from the main image) is acquired from the unsupported face estimation area selection unit 50, the image processing unit 90 applies the face to the main image acquired from the imaging unit 20. Image processing (face processing) is performed on the face area indicated by the area information (face area information detected from the main image) and stored in the image storage unit 12. However, when face area information (for example, null) that does not specify a face area is acquired, face processing is not performed. When the image processing unit 90 acquires the face region information (face region information detected from the main image) and the face region information indicating the unsupported face estimation region from the unsupported face estimation region selection unit 50, the image processing unit 90 The main image acquired from 20 is subjected to face processing on the face area indicated by the face area information (face area information detected from the main image) and the uncorresponding face estimation area, and stored in the image storage unit 12. However, when face area information (for example, null) that does not specify a face area is acquired, face processing is performed only on the unsupported face estimation area.

図８は、撮像装置１の動作の一例を示すフローチャートである。具体的には、図８のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。   FIG. 8 is a flowchart illustrating an example of the operation of the imaging apparatus 1. Specifically, the flowchart of FIG. 8 is a flowchart for explaining an operation of performing face processing on the main image captured while capturing a through image.

顔領域検出部４０は、撮像部２０からスルー画像を取得する（ステップＳ１００）。撮像部２０は、生成したスルー画像を顔領域検出部４０に供給する。撮像部２０からスルー画像を取得した顔領域検出部４０は、スルー画像から顔領域を検出する（ステップＳ１１０）。スルー画像から顔領域を検出した顔領域検出部４０は、顔領域を示す顔領域情報を顔領域情報記憶部１０に記憶する（ステップＳ１２０）。   The face area detection unit 40 acquires a through image from the imaging unit 20 (step S100). The imaging unit 20 supplies the generated through image to the face area detection unit 40. The face area detection unit 40 that has acquired the through image from the imaging unit 20 detects the face area from the through image (step S110). The face area detection unit 40 that has detected the face area from the through image stores the face area information indicating the face area in the face area information storage unit 10 (step S120).

顔領域検出部４０は、撮像部２０から本画像を取得したか否かを判断する（ステップＳ１３０）。顔領域検出部４０は、撮像部２０から本画像を取得していないと判断した場合（ステップＳ１３０：Ｎｏ）、撮像部２０から本画像を取得したと判断する迄（ステップＳ１３０：Ｙｅｓ）、顔領域検出部４０はステップＳ１００からステップＳ１２０を繰り返し実行する。   The face area detection unit 40 determines whether the main image has been acquired from the imaging unit 20 (step S130). When it is determined that the main image is not acquired from the imaging unit 20 (step S130: No), the face area detection unit 40 determines that the main image is acquired from the imaging unit 20 (step S130: Yes). The area detection unit 40 repeatedly executes steps S100 to S120.

一方、顔領域検出部４０は、撮像部２０から本画像を取得したと判断した場合（ステップＳ１３０：Ｙｅｓ）、本画像から顔領域を検出する（ステップＳ１４０）。本画像から顔領域を検出した顔領域検出部４０は、顔領域を示す顔領域情報を未対応顔推定領域選択部５０に供給する。   On the other hand, when it is determined that the main image has been acquired from the imaging unit 20 (step S130: Yes), the face area detection unit 40 detects the face area from the main image (step S140). The face area detection unit 40 that has detected the face area from the main image supplies the face area information indicating the face area to the unsupported face estimation area selection unit 50.

ステップＳ１４０に続いて、未対応顔推定領域選択部５０は、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する（ステップＳ１５０）。顔推定領域を抽出した未対応顔推定領域選択部５０は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する（ステップＳ１５５）。未対応顔推定領域を選択した未対応顔推定領域選択部５０は、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。   Subsequent to step S140, the unsupported face estimation area selection unit 50 extracts a face estimation area based on the face area information stored in the face area information storage unit 10 (step S150). The unsupported face estimation region selection unit 50 that has extracted the face estimation region selects an unsupported face estimation region that does not correspond to the face region detected from the main image from the face estimation regions (step S155). The unsupported face estimation region selection unit 50 that has selected the unsupported face estimation region indicates the face region information (face region information detected from the main image) acquired from the face region detection unit 40 and the unsupported face estimation region. The face area information is supplied to the image processing unit 90.

画像処理部９０は、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部１２に記憶する（ステップＳ１９０）。そして本フローチャートは終了する。   The image processing unit 90 performs face processing on the face area indicated by the face area information (face area information detected from the main image) and the uncorresponding face estimation area with respect to the main image acquired from the imaging unit 20. It memorize | stores in the memory | storage part 12 (step S190). And this flowchart is complete | finished.

[第２の実施の形態]
以下、本発明の第２の実施形態について図面を参照して詳細に説明する。図９は、本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。図１および図９に示すように、撮像装置２は、撮像装置１と未対応顔推定領域選択部５２および検出失敗確率算出部６０および未対応顔推定領域拡縮部７０以外は同様である。従って、未対応顔推定領域選択部５２および検出失敗確率算出部６０および未対応顔推定領域拡縮部７０に関して説明する。 [Second Embodiment]
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 9 is a block diagram illustrating a configuration example of the imaging apparatus 2 according to the second embodiment of the present invention. As shown in FIG. 1 and FIG. 9, the imaging device 2 is the same except for the imaging device 1, the unsupported face estimation region selection unit 52, the detection failure probability calculation unit 60, and the unsupported face estimation region expansion / contraction unit 70. Therefore, the unsupported face estimation region selection unit 52, the detection failure probability calculation unit 60, and the unsupported face estimation region enlargement / reduction unit 70 will be described.

未対応顔推定領域選択部５２は、撮像装置１の未対応顔推定領域選択部５０と同様に、未対応顔推定領域を抽出する。未対応顔推定領域選択部５２は、未対応顔推定領域を抽出した場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部６０に供給する。未対応顔推定領域選択部５２は、未対応顔推定領域を抽出しなかった場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給する。   The unsupported face estimation region selection unit 52 extracts an unsupported face estimation region, similarly to the unsupported face estimation region selection unit 50 of the imaging device 1. When the unsupported face estimation region selection unit 52 extracts the unsupported face estimation region, the unsupported face estimation region selection unit 52 supplies the face processing unit 90 with the face region information acquired from the face region detection unit 40 (face region information detected from the main image). Then, the face area information indicating the unsupported face estimation area is supplied to the detection failure probability calculation unit 60. If the uncorresponding face estimation area selection unit 52 does not extract the uncorresponding face estimation area, the face area information acquired from the face area detection unit 40 (face area information detected from the main image) is sent to the image processing unit 90. Supply.

検出失敗確率算出部６０は、未対応顔推定領域おいて顔領域の検出に失敗した確率（以下、「検出失敗確率」という）を算出する。具体的には、検出失敗確率算出部６０は、未対応顔推定領域選択部５２から未対応顔推定領域を示す顔領域情報を取得した場合、顔領域情報記憶部１０に記憶されている顔領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち未対応顔推定領域に対応する顔領域が検出できたスルー画像の割合を検出失敗確率として算出する。例えば、検出失敗確率算出部６０は、本画像の撮像前１秒内に撮像された３０枚のスルー画像のうち一の未対応顔推定領域（顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域）に対応する顔領域が検出できなかったスルー画像が３枚であるときは、検出失敗確率を１０％と算出する。検出失敗確率算出部６０は、検出失敗確率を算出した場合、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部７０に供給する。   The detection failure probability calculation unit 60 calculates a probability that face area detection has failed in the unsupported face estimation area (hereinafter referred to as “detection failure probability”). Specifically, when the detection failure probability calculation unit 60 acquires face region information indicating an unsupported face estimation region from the unsupported face estimation region selection unit 52, the face region stored in the face region information storage unit 10 With reference to the information, the ratio of the through image in which the face region corresponding to the unsupported face estimation region among the plurality of through images captured within the predetermined time before the capturing of the main image can be detected is calculated as the detection failure probability. For example, the detection failure probability calculation unit 60 relates to one uncorresponding face estimation area (the face corresponding to the same face from the position and size of the face area) among 30 through images captured within 1 second before the main image is captured. When there are three through images in which the face area corresponding to the face area estimated as the face area) cannot be detected, the detection failure probability is calculated as 10%. When the detection failure probability calculation unit 60 calculates the detection failure probability, the face failure information indicating the unsupported face estimation region acquired from the unsupported face estimation region selection unit 52 and the calculated detection failure probability are used as the unsupported face estimation. It supplies to the area expansion / contraction part 70.

未対応顔推定領域拡縮部７０は、検出失敗確率算出部６０から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得する。未対応顔推定領域拡縮部７０は、未対応顔推定領域拡縮部７０から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した場合、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる。例えば、未対応顔推定領域拡縮部７０は、検出失敗確率が高ければ高いほど大きな拡大率によって未対応顔推定領域を拡大させる。未対応顔推定領域拡縮部７０は、未対応顔推定領域を拡縮させた場合、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。なお、未対応顔推定領域拡縮部７０は、未対応顔推定領域を拡縮させなかった場合、検出失敗確率算出部６０から取得した未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。   The uncorresponding face estimation region enlargement / reduction unit 70 acquires face region information indicating a non-corresponding face estimation region and detection failure probability from the detection failure probability calculation unit 60. When the uncorresponding face estimation region enlargement / reduction unit 70 acquires the face region information indicating the unsupported face estimation region and the detection failure probability from the unsupported face estimation region enlargement / reduction unit 70, the uncorresponding face is determined according to the enlargement / reduction rate according to the detection failure probability Scale the estimated area. For example, the unsupported face estimation region enlargement / reduction unit 70 enlarges the unsupported face estimation region with a larger enlargement ratio as the detection failure probability is higher. When the unsupported face estimation area is enlarged or reduced, the unsupported face estimation area enlargement / reduction unit 70 supplies face area information indicating the unsupported face estimation area after enlargement / reduction to the image processing unit 90. If the unsupported face estimation area enlargement / reduction unit 70 does not scale the unsupported face estimation area, the unsupported face estimation area enlargement / reduction unit 70 supplies face area information indicating the unsupported face estimation area acquired from the detection failure probability calculation unit 60 to the image processing unit 90. To do.

なお、画像処理部９０は、未対応顔推定領域選択部５２から顔領域情報（本画像から検出された顔領域情報）を取得し、未対応顔推定領域拡縮部７０から未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）を示す顔領域情報を取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）に顔処理を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。   Note that the image processing unit 90 acquires face region information (face region information detected from the main image) from the unsupported face estimation region selection unit 52 and receives an unsupported face estimation region ( When face area information indicating unextended or expanded unsupported face estimation area) is acquired, face area information (face area information detected from the main image) is acquired for the main image acquired from the imaging unit 20. Is subjected to face processing and stored in the image storage unit 12. However, when face area information (for example, null) that does not specify a face area is acquired, face processing is performed only on the unsupported face estimation area.

[第３の実施の形態]
以下、本発明の第３の実施形態について図面を参照して詳細に説明する。図１０は、本発明の第３の実施形態に係る撮像装置３の構成例を示すブロック図である。図１、図９および図１０に示すように、撮像装置３は、撮像装置１または撮像装置２と検出失敗確率算出部６２、パラメータ設定部８０および画像処理部９２以外は同様である。従って、検出失敗確率算出部６２、パラメータ設定部８０および画像処理部９２に関して説明する。 [Third embodiment]
Hereinafter, a third embodiment of the present invention will be described in detail with reference to the drawings. FIG. 10 is a block diagram illustrating a configuration example of the imaging apparatus 3 according to the third embodiment of the present invention. As shown in FIGS. 1, 9, and 10, the imaging device 3 is the same except for the imaging device 1 or the imaging device 2, the detection failure probability calculation unit 62, the parameter setting unit 80, and the image processing unit 92. Therefore, the detection failure probability calculation unit 62, the parameter setting unit 80, and the image processing unit 92 will be described.

検出失敗確率算出部６２は、撮像装置２の検出失敗確率算出部６０と同様に、検出失敗確率を算出する。検出失敗確率算出部６２は、検出失敗確率を算出した場合、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部７０に供給するとともに、算出した検出失敗確率をパラメータ設定部８０に供給する。   The detection failure probability calculation unit 62 calculates the detection failure probability similarly to the detection failure probability calculation unit 60 of the imaging device 2. When the detection failure probability calculation unit 62 calculates the detection failure probability, the face failure information indicating the unsupported face estimation region acquired from the unsupported face estimation region selection unit 52 and the calculated detection failure probability are unsupported face estimation. While supplying to the area expansion / contraction part 70, the calculated detection failure probability is supplied to the parameter setting part 80.

パラメータ設定部８０は、検出失敗確率算出部６２から検出失敗確率を取得する。パラメータ設定部８０は、検出失敗確率算出部６２から検出失敗確率を取得した場合、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する。具体的には、パラメータ設定部８０は、検出失敗確率が高ければ高いほど弱い強度を示すパラメータを設定（決定）する。パラメータ設定部８０は、パラメータを設定した場合、設定したパラメータを画像処理部９２に供給する。   The parameter setting unit 80 acquires the detection failure probability from the detection failure probability calculation unit 62. When the detection failure probability is acquired from the detection failure probability calculation unit 62, the parameter setting unit 80 sets a parameter indicating the strength when image processing is performed on the unsupported face estimation region. Specifically, the parameter setting unit 80 sets (determines) a parameter indicating a weaker strength as the detection failure probability is higher. When the parameter setting unit 80 sets a parameter, the parameter setting unit 80 supplies the set parameter to the image processing unit 92.

画像処理部９２は、撮像部２０から本画像を取得する。画像処理部９２は、未対応顔推定領域選択部５２から顔領域情報（本画像から検出された顔領域情報）を取得する。また、画像処理部９２は、未対応顔推定領域拡縮部７０から未対応顔推定領域を示す顔領域情報を取得する。また、画像処理部９２は、パラメータ設定部８０からパラメータを取得する。   The image processing unit 92 acquires the main image from the imaging unit 20. The image processing unit 92 acquires face area information (face area information detected from the main image) from the unsupported face estimation area selection unit 52. Further, the image processing unit 92 acquires face area information indicating an unsupported face estimation area from the unsupported face estimation area enlargement / reduction unit 70. Further, the image processing unit 92 acquires parameters from the parameter setting unit 80.

画像処理部９２は、顔領域情報（本画像から検出された顔領域情報）のみを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域に画像処理（顔処理）を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、顔処理を施さない。画像処理部９２は、顔領域情報（本画像から検出された顔領域情報）と未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）を示す顔領域情報とパラメータとを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）に顔処理を施して（未対応顔推定領域には、パラメータの強度に応じた顔処理を施して）、画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。なお、画像処理部９２が強い強度の顔処理を施した場合には、弱い強度の顔処理を施した場合に比べ、顔処理による変化が大きくなったり、顔処理が適用される領域（画素）が多くなったりする。即ち、画像処理部９２は、検出失敗確率が高ければ高いほど、顔処理による変化が小さくなったり、顔処理が適用される領域（画素）が少なくなったりする。   When only the face area information (face area information detected from the main image) is acquired, the image processing unit 92 performs face area information (detected from the main image) on the main image acquired from the imaging unit 20. Image processing (face processing) is performed on the face area indicated by (face area information) and stored in the image storage unit 12. However, when face area information (for example, null) that does not specify a face area is acquired, face processing is not performed. The image processing unit 92 has acquired face area information (face area information detected from the main image), face area information indicating an unsupported face estimation area (unexpanded or expanded unsupported face estimation area), and parameters. In this case, the face area indicated by the face area information (face area information detected from the main image) and the unsupported face estimation area (unexpanded or unsupported after expansion) with respect to the main image acquired from the imaging unit 20 (Face estimation area) is subjected to face processing (the unsupported face estimation area is subjected to face processing according to the intensity of the parameter) and stored in the image storage unit 12. However, when face area information (for example, null) that does not specify a face area is acquired, face processing is performed only on the unsupported face estimation area. Note that when the image processing unit 92 performs face processing with high intensity, the change due to face processing becomes larger or the area (pixel) to which face processing is applied than when face processing with low intensity is performed. There will be more. In other words, the higher the detection failure probability, the smaller the change due to face processing, and the smaller the area (pixel) to which the face processing is applied.

図１１は、撮像装置３の動作の一例を示すフローチャートである。具体的には、図１１のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。なお、図１１に示すステップＳ２００からステップＳ２４０は、図８に示すステップＳ１００からステップＳ１４０と同様であるので、ステップＳ２５０からステップＳ２９０に関して説明する。   FIG. 11 is a flowchart illustrating an example of the operation of the imaging apparatus 3. Specifically, the flowchart of FIG. 11 is a flowchart for explaining an operation of performing face processing on the main image captured while capturing a through image. Since steps S200 to S240 shown in FIG. 11 are the same as steps S100 to S140 shown in FIG. 8, only steps S250 to S290 will be described.

未対応顔推定領域選択部５２は、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する（ステップＳ２５０）。顔推定領域を抽出した未対応顔推定領域選択部５２は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する（ステップＳ２５５）。未対応顔推定領域を選択した未対応顔推定領域選択部５２は、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部６２に供給する。   The uncorresponding face estimation area selection unit 52 extracts a face estimation area based on the face area information stored in the face area information storage unit 10 (step S250). The unsupported face estimation region selection unit 52 that has extracted the face estimation region selects an unsupported face estimation region that does not correspond to the face region detected from the main image from the face estimation regions (step S255). The unsupported face estimation region selection unit 52 that has selected the unsupported face estimation region supplies the face region information (face region information detected from the main image) acquired from the face region detection unit 40 to the image processing unit 90, and Face area information indicating the corresponding face estimation area is supplied to the detection failure probability calculation unit 62.

未対応顔推定領域を示す顔領域情報を取得した検出失敗確率算出部６２は、検出失敗確率を算出する（ステップＳ２６０）。検出失敗確率を算出した検出失敗確率算出部６２は、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、検出失敗確率を未対応顔推定領域拡縮部７０に供給するとともに、検出失敗確率をパラメータ設定部８０に供給する。   The detection failure probability calculation unit 62 that has acquired the face area information indicating the unsupported face estimation area calculates the detection failure probability (step S260). The detection failure probability calculation unit 62 that has calculated the detection failure probability includes the face region information indicating the unsupported face estimation region acquired from the unsupported face estimation region selection unit 52 and the detection failure probability as the unsupported face estimation region enlargement / reduction unit 70. And the detection failure probability is supplied to the parameter setting unit 80.

未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した未対応顔推定領域拡縮部７０は、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる（ステップＳ２７０）。未対応顔推定領域を拡縮させた未対応顔推定領域拡縮部７０は、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部９２に供給する。   The unsupported face estimation region enlargement / reduction unit 70 that has acquired the face region information indicating the unsupported face estimation region and the detection failure probability expands / contracts the unsupported face estimation region by the enlargement / reduction ratio according to the detection failure probability (step S270). The unsupported face estimation region enlargement / reduction unit 70 that has expanded and reduced the unsupported face estimation region supplies the image processing unit 92 with face region information indicating the unsupported face estimation region after the enlargement / reduction.

検出失敗確率を取得したパラメータ設定部８０は、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する（ステップＳ２８０）。パラメータを設定したパラメータ設定部８０は、設定したパラメータを画像処理部９２に供給する。   The parameter setting unit 80 that has acquired the detection failure probability sets a parameter indicating the strength when image processing is performed on the unsupported face estimation region (step S280). The parameter setting unit 80 that has set the parameters supplies the set parameters to the image processing unit 92.

未対応顔推定領域を示す顔領域情報を取得した画像処理部９２は、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して（未対応顔推定領域には、パラメータの強度に応じた顔処理を施して）、画像記憶部１２に記憶する（ステップＳ２９０）。そして本フローチャートは終了する。   The image processing unit 92 that has acquired the face region information indicating the uncorresponding face estimation region has the face region indicated by the face region information (face region information detected from the main image) with respect to the main image acquired from the imaging unit 20. Then, face processing is performed on the unsupported face estimation area (the unsupported face estimation area is subjected to face processing according to the intensity of the parameter) and stored in the image storage unit 12 (step S290). And this flowchart is complete | finished.

以上、本実施形態によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。   As described above, according to the present embodiment, the image processing is performed on the unsupported face estimation area without detecting the face area after the main image is captured, so that the time until the face processing is performed can be shortened.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

１、２、３ 撮像装置 １０ 顔領域情報記憶部 １２ 画像記憶部 ２０ 撮像部 ３０ 表示制御部 ４０ 顔領域検出部 ５０、５２ 未対応顔推定領域選択部 ６０、６２ 検出失敗確率算出部 ７０ 未対応顔推定領域拡縮部 ８０ パラメータ設定部 ９０、９２ 画像処理部   1, 2 and 3 Imaging device 10 Face region information storage unit 12 Image storage unit 20 Imaging unit 30 Display control unit 40 Face region detection unit 50, 52 Unsupported face estimation region selection unit 60, 62 Detection failure probability calculation unit 70 Unsupported Face estimation area enlargement / reduction unit 80 Parameter setting unit 90, 92 Image processing unit

Claims (6)

被写体像を撮像して画像を生成する撮像部と、
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、
前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記検出失敗確率に応じた拡縮率によって前記未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部と
を備えることを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
An image processing unit that performs image processing on the unsupported face estimation region selected by the unsupported face estimation region selection unit ;
A detection failure probability calculation unit that calculates a detection failure probability that is a probability that the face region detection unit failed to detect a face region in the unsupported face estimation region;
An imaging apparatus , comprising: an unsupported face estimation area enlargement / reduction unit that enlarges / reduces the unsupported face estimation area according to an enlargement / reduction ratio corresponding to the detection failure probability . 被写体像を撮像して画像を生成する撮像部と、
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、
前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部と
を備え、
前記パラメータ設定部は、
前記検出失敗確率が高ければ高いほどより弱い強度を示す前記パラメータを設定し、
前記画像処理部は、
前記パラメータの強度に応じて未対応顔推定領域に画像処理を施すことを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
An image processing unit that performs image processing on the unsupported face estimation region selected by the unsupported face estimation region selection unit ;
A detection failure probability calculation unit that calculates a detection failure probability that is a probability that the face region detection unit failed to detect a face region in the unsupported face estimation region;
A parameter setting unit for setting a parameter indicating intensity when image processing is performed on the unsupported face estimation region;
With
The parameter setting unit
The higher the detection failure probability is, the more the parameter indicating the weaker intensity is set,
The image processing unit
An image pickup apparatus that performs image processing on an unsupported face estimation area according to the intensity of the parameter . 請求項１または請求項２の何れか１項に記載の撮像装置において、
前記検出失敗確率算出部は、
前記記憶部に記憶されている前記領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち前記未対応顔推定領域に対応する顔領域が検出でなかったスルー画像の割合を前記検出失敗確率として算出することを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The detection failure probability calculation unit
A through area in which a face area corresponding to the unsupported face estimation area was not detected among a plurality of through images captured within a certain period of time before imaging of the main image with reference to the area information stored in the storage unit An imaging apparatus, wherein a ratio of images is calculated as the detection failure probability. 請求項１または請求項２の何れか１項に記載の撮像装置において、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さいときは、最新のスルー画像から検出された顔領域を前記顔推定領域とすることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The unsupported face estimation region selection unit
An imaging apparatus, wherein when a change in position of a face area in a plurality of through images is smaller than a predetermined threshold, a face area detected from the latest through image is set as the face estimation area. 請求項１または請求項２の何れか１項に記載の撮像装置において、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を前記顔推定領域とすることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The unsupported face estimation region selection unit
When the position of the face area in a plurality of through images is moving in a certain direction, an area obtained by enlarging the face area detected from the latest through image in a certain direction is set as the face estimation area. Imaging device. 被写体像を撮像して画像を生成する撮像部と、
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と
を備え、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を前記顔推定領域とすることを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
E Bei and an image processing unit that performs the unsupported face estimation region image processing in the unsupported face estimated area selected by the selection unit,
The unsupported face estimation region selection unit
An imaging apparatus characterized in that when the positions of face areas in a plurality of through images are moving in a certain direction, an area including all the face areas in the plurality of through images is set as the face estimation area .
JP2009036664A 2009-02-19 2009-02-19 Imaging device Expired - Fee Related JP5272789B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009036664A JP5272789B2 (en) 2009-02-19 2009-02-19 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036664A JP5272789B2 (en) 2009-02-19 2009-02-19 Imaging device

Publications (2)

Publication Number Publication Date
JP2010191784A JP2010191784A (en) 2010-09-02
JP5272789B2 true JP5272789B2 (en) 2013-08-28

Family

ID=42817748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009036664A Expired - Fee Related JP5272789B2 (en) 2009-02-19 2009-02-19 Imaging device

Country Status (1)

Country Link
JP (1) JP5272789B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709932B (en) * 2015-11-12 2020-12-04 创新先进技术有限公司 Face position tracking method and device and electronic equipment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195582A (en) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc Device and method for detecting image, device and system for three-dimensional display, display controller, and program storage medium
JP2008263478A (en) * 2007-04-13 2008-10-30 Fujifilm Corp Imaging apparatus

Also Published As

Publication number Publication date
JP2010191784A (en) 2010-09-02

Similar Documents

Publication Publication Date Title
TWI425828B (en) Image capturing apparatus, method for determing image area ,and computer-readable recording medium
JP5699432B2 (en) Image processing device
JP2014123261A (en) Information processor and recording medium
JP5171468B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2013135341A5 (en)
JP2008117305A (en) Image processor
CN106210699B (en) Information processing unit, the control method of information processing unit and image processing system
JP5272789B2 (en) Imaging device
JP6104066B2 (en) Image processing apparatus and image processing method
JP6406044B2 (en) Camera calibration unit, camera calibration method, and camera calibration program
JP6241107B2 (en) Gaze direction detection device and gaze direction detection method
JP7030427B2 (en) Imaging device with line-of-sight detection function
JP2010081357A (en) Image processing apparatus, image processing method, image processing program, and imaging device
JP2015018084A5 (en) Imaging apparatus, camera system, and image processing method
JP2013005002A (en) Imaging apparatus
JP2011096134A (en) Moving image forming device and moving image forming method
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6327892B2 (en) Imaging apparatus and control method thereof
JP6033044B2 (en) Image display apparatus, control method thereof, control program, and imaging apparatus
JP2008287648A (en) Mobile body detection method and device, and monitoring device
JP2009290816A (en) Camera
JP5718502B2 (en) Image creating apparatus and image creating method
JP2009027437A (en) Image processor, image processing method and imaging device
JP2008211528A (en) Imaging apparatus and control method
JP6619217B2 (en) Microscope system and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130429

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5272789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees