JP5272789B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5272789B2 JP5272789B2 JP2009036664A JP2009036664A JP5272789B2 JP 5272789 B2 JP5272789 B2 JP 5272789B2 JP 2009036664 A JP2009036664 A JP 2009036664A JP 2009036664 A JP2009036664 A JP 2009036664A JP 5272789 B2 JP5272789 B2 JP 5272789B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- area
- unit
- image
- unsupported
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置に関するものである。 The present invention relates to an imaging apparatus.
現在、動画像(スルー画像とも称する)において、人物の顔領域を検出する技術が知られている(例えば、特許文献1参照)。また、顔領域に種々の処理(例えば、赤目補正、肌色補正、逆光補正。以下、「顔処理」という)を施す技術も知られている。 Currently, a technique for detecting a human face area in a moving image (also referred to as a through image) is known (see, for example, Patent Document 1). There is also known a technique for performing various processes (for example, red-eye correction, skin color correction, backlight correction, hereinafter referred to as “face processing”) on a face area.
特許文献1に記載の装置は、静止画像(本画像とも称する)を撮像後、本画像の撮像前に撮像したスルー画像に基づいて絞り込んだ領域から顔領域を検出する。
The apparatus described in
しかしながら、特許文献1に記載の装置は、本画像の撮像後に顔領域を検出するため、顔処理を施す迄に時間を要するという問題がある。本発明は、このような事情に鑑みてなされたものであり、顔処理を施す迄の時間を短縮する技術を提供することを目的とする。
However, the apparatus described in
上記問題を解決するために、本発明の一態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、前記検出失敗確率に応じた拡縮率によって前記未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部とを備えることを特徴とする。 In order to solve the above problems, an imaging device according to one embodiment of the present invention includes an imaging unit that captures a subject image and generates an image, and a face that detects a human face area from the image captured by the imaging unit An area detection unit, a storage unit that stores region information indicating a face region detected by the face region detection unit from a through image captured by the imaging unit, and a main image captured by the imaging unit. Based on the area information stored in the storage unit, an unsupported face estimation area that does not correspond to the face area detected at the time of capturing the main image is selected from the face estimation areas estimated to have a face area in the main image. and unsupported face estimation region selection unit for selecting the image processing section the image processing to the unsupported face estimation region selected by the unsupported face estimation region selection unit performs, the face area detection unit the unsupported face estimate region A detection failure probability calculation unit that calculates a detection failure probability that is a probability that face area detection has failed, and an unsupported face estimation region expansion / contraction that expands / contracts the unsupported face estimation region according to a scaling rate according to the detection failure probability And a section .
上記問題を解決するために、本発明の他の態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、前記未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部とを備え、前記パラメータ設定部は、前記検出失敗確率が高ければ高いほどより弱い強度を示す前記パラメータを設定し、前記画像処理部は、前記パラメータの強度に応じて未対応顔推定領域に画像処理を施すことを特徴とする。 In order to solve the above problem, an imaging apparatus according to another aspect of the present invention detects an image of a subject by capturing an image of a subject and generating a human face area from the image captured by the imaging unit. A face area detection unit; a storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit; and a main image captured by the imaging unit. The uncorresponding face estimation area that does not correspond to the face area detected at the time of capturing the main image from among the face estimation areas estimated that the face area exists in the main image based on the area information stored in the storage unit A non-corresponding face estimation region selection unit that selects the image, an image processing unit that performs image processing on the uncorresponding face estimation region selected by the uncorresponding face estimation region selection unit, and the face region detection unit Estimator A detection failure probability calculation unit that calculates a detection failure probability that is a probability that face area detection has failed, and a parameter setting unit that sets a parameter indicating strength when image processing is performed on the unsupported face estimation region The parameter setting unit sets the parameter indicating a weaker strength as the detection failure probability is higher, and the image processing unit performs image processing on the unsupported face estimation region according to the strength of the parameter. It is characterized by that.
上記問題を解決するために、本発明の他の態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部とを備え、前記未対応顔推定領域選択部は、複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を前記顔推定領域とすることを特徴とする。 In order to solve the above problem, an imaging apparatus according to another aspect of the present invention detects an image of a subject by capturing an image of a subject and generating a human face area from the image captured by the imaging unit. A face area detection unit; a storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit; and a main image captured by the imaging unit. The uncorresponding face estimation area that does not correspond to the face area detected at the time of capturing the main image from among the face estimation areas estimated that the face area exists in the main image based on the area information stored in the storage unit and unsupported face estimation region selector for selecting the unsupported face estimation region e Bei and an image processing section performing image processing on the selected the unsupported face estimation region by the selection unit, the unsupported face estimation region selection Department When the position of the face region in the number of the through image is moving in a certain direction, characterized in that a region including all the face areas in a plurality of through-image and the face estimation region.
本発明によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。 According to the present invention, the image processing is performed on the non-corresponding face estimation area without detecting the face area after the main image is captured, so that the time until the face processing is performed can be shortened.
[第1の実施の形態]
以下、本発明の第1の実施形態について図面を参照して詳細に説明する。図1は、本発明の第1の実施形態に係る撮像装置1の構成例を示すブロック図である。図2は、顔領域検出部40の動作を説明するための説明図である。図3は、顔領域情報記憶部10に記憶される顔領域情報の一例を示す図である。図4〜図7は、未対応顔推定領域選択部50の動作を説明するための説明図である。撮像装置1は、図1に示すように、顔領域情報記憶部10、画像記憶部12、撮像部20、表示制御部30、顔領域検出部40、未対応顔推定領域選択部50および画像処理部90を備える。
[First embodiment]
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration example of an
撮像部20は、光を集光するレンズ(非図示)、光電変換をする撮像素子(非図示)および電気信号から画像(スルー画像および本画像)を生成する画像生成部(非図示)などを備えるが、既知の技術であるため詳細は省略する。撮像部20は、撮像時において、レリーズ信号を取得していないときは、所定のタイミング(例えば、30コマ/秒)でスルー画像を生成する。撮像部20は、スルー画像を生成する都度、生成したスルー画像を表示制御部30および顔領域検出部40に供給する。また、撮像部20は、撮像時において、レリーズ信号を取得したときは、本画像を生成する。撮像部20は、本画像を生成した場合、生成した本画像を表示制御部30、顔領域検出部40および画像処理部90に供給する。
The
顔領域検出部40は、撮像部20からスルー画像および本画像を取得する。顔領域検出部40は、スルー画像を取得した場合、スルー画像から人物の顔領域を検出する。例えば、顔領域検出部40は、図2(a)に示すスルー画像Gnを取得した場合、顔領域Anと顔領域Bnを検出する。本画像を取得した場合も同様である。
The face
顔領域検出部40は、スルー画像から顔領域を検出した場合、スルー画像から検出した顔領域を示す領域情報(以下、「顔領域情報」という)を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶する。例えば、顔領域検出部40は、ある時刻Tnに撮像された図2(a)に示すスルー画像Gnから顔領域Anと顔領域Bnを検出した場合、スルー画像Gnを識別するスルー画像識別情報「Gn」(例えば、時刻「Tn」、撮像順序「n」)、顔領域Anを示す顔領域情報(PAn、LAnx、LAny)、および、顔領域Bnを示す顔領域情報(PBn、LBnx、LBny)を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶する。同様に、顔領域検出部40は、時刻Tnより1スルー画像撮像時間後の時刻Tn+1に撮像された図2(b)に示すスルー画像Gn+1から顔領域Bn+1を検出した場合には、スルー画像識別情報「Gn+1」、および、顔領域Bn+1を示す顔領域情報(PBn+1、LBn+1x、LBn+1y)を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶する。なお、「PAn」はスルー画像Gnにおける顔領域Anの左上の座標、「LAnx」はスルー画像Gnにおける顔領域Anの横方向(X軸方向)の長さ、「LAny」はスルー画像Gnにおける顔領域Anの縦方向(Y軸方向)の長さである。「PBn」はスルー画像Gnにおける顔領域Bnの左上の座標、「LBnx」はスルー画像Gnにおける顔領域Bnの横方向(X軸方向)の長さ、「LBny」はスルー画像Gnにおける顔領域Bnの縦方向(Y軸方向)の長さである。「PBn+1」はスルー画像Gn+1における顔領域Bn+1の左上の座標、「LBn+1x」はスルー画像Gn+1における顔領域Bn+1の横方向(X軸方向)の長さ、「LBn+1y」はスルー画像Gn+1における顔領域Bn+1の縦方向(Y軸方向)の長さである。なお、顔領域検出部40は、スルー画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報(例えばnull)を表示制御部30に供給する。
When the face
図3は、スルー画像Gnから顔領域Anと顔領域Bnを検出し、スルー画像Gn+1から顔領域Bn+1を検出した場合に顔領域情報記憶部10に記憶される顔領域情報である。上記の場合、顔領域情報記憶部10には、スルー画像識別情報「Gn」に対応付けて顔領域情報(PAn、LAnx、LAny)と顔領域情報(PBn、LBnx、LBny)、スルー画像識別情報「Gn+1」に対応付けて顔領域情報(PBn+1、LBn+1x、LBn+1y)が記憶される。なお、顔領域検出部40は、顔領域の基準座標(左上)、顔領域の横方向(X軸方向)の長さ、顔領域の縦方向(Y軸方向)の長さから構成される顔領域情報を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶することに代えて、他の形式から構成される顔領域情報を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶してもよい。例えば、顔領域検出部40は、顔領域の2つの基準座標(例えば、左上および右下)から構成される顔領域情報を表示制御部30に供給するとともに顔領域情報を顔領域情報記憶部10に記憶してもよい。
FIG. 3 shows the face area information stored in the face area
顔領域検出部40は、本画像から顔領域を検出した場合、本画像から検出した顔領域情報を未対応顔推定領域選択部50に供給する。なお、顔領域検出部40は、スルー画像から顔領域を検出した場合に顔領域情報記憶部10に記憶する形式の顔領域情報と同一の形式の顔領域情報を未対応顔推定領域選択部50に供給することが好ましい。なお、顔領域検出部40は、本画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報(例えばnull)を未対応顔推定領域選択部50に供給する。
When the face
表示制御部30は、撮像部20からスルー画像または本画像を取得する。また、表示制御部30は、顔領域検出部40からスルー画像に係る顔領域情報を取得する。表示制御部30は、スルー画像および顔領域情報を取得した場合には、スルー画像とともに(スルー画像に重畳させて)、当該顔領域情報により示される領域を表す情報(例えば、枠)を表示部(非図示)に表示する。表示制御部30は、本画像を取得した場合には、本画像を表示部に表示する。
The
未対応顔推定領域選択部50は、撮像部20によって本画像が撮像された場合に、顔領域情報記憶部10に記憶されている顔領域情報に基づいて本画像に顔領域が存在すると推定した領域(以下、「顔推定領域」という)のなかから、本画像の撮像時に検出された顔領域に対応しない領域(以下、「未対応顔推定領域」という)を選択する。以下、詳細に説明する。
The uncorresponding face estimation
未対応顔推定領域選択部50は、本画像が撮像されたと判断した場合、まず、顔領域情報記憶部10に記憶されている顔領域情報に基づいて顔推定領域を抽出する。例えば、未対応顔推定領域選択部50は、ある時刻Trに撮像された図4(f)に示す本画像Grから検出された顔領域情報Arを顔領域検出部40から取得した場合に、顔領域情報記憶部10に、時刻Trより1スルー画像撮像時間前の時刻Tr−1に撮像された図4(e)に示すスルー画像Gr−1から検出された顔領域情報Ar−1、時刻Tr−1より1スルー画像撮像時間前の時刻Tr−2に撮像された図4(d)に示すスルー画像Gr−2から検出された顔領域情報Ar−2、時刻Tr−2より1スルー画像撮像時間前の時刻Tr−3に撮像された図4(c)に示すスルー画像Gr−3から検出された顔領域情報Ar−3、時刻Tr−3より1スルー画像撮像時間前の時刻Tr−4に撮像された図4(b)に示すスルー画像Gr−4から検出された顔領域情報Ar−4、および、時刻Tr−4より1スルー画像撮像時間前の時刻Tr−5に撮像された図4(a)に示すスルー画像Gr−5から検出された顔領域情報Ar−5が記憶されているときは、顔領域情報Ar−5、顔領域情報Ar−4、顔領域情報Ar−3、顔領域情報Ar−2および顔領域情報Ar−1の位置の変化に基づいて、図4(g)に示すように、時刻Trにおいて顔領域が存在すると推定される領域Axを顔推定領域として抽出する。
When it is determined that the main image has been captured, the uncorresponding face estimation
また、未対応顔推定領域選択部50は、ある時刻Tsに撮像された図5(f)に示す本画像Gsから検出された顔領域情報Asを顔領域検出部40から取得した場合に、顔領域情報記憶部10に、図5(a)〜図5(e)に示す、時刻Ts−n(n=5,4,3,2,1)に撮像された各スルー画像Gs−n(n=5,4,3,2,1)から検出された各顔領域情報As−n(n=5,4,3,2,1)が記憶されているときは、各顔領域情報As−n(n=5,4,3,2,1)の位置および大きさの変化に基づいて、図5(g)に示すように、時刻Tsにおいて顔領域が存在すると推定される領域Axを顔推定領域として抽出する。
Further, the uncorresponding face estimation
即ち、未対応顔推定領域選択部50は、過去(本画像撮像前)のスルー画像の顔領域の位置および大きさから本画像の顔領域を推測し、顔推定領域として抽出する。なお、図4は、例えば、静止した人物に対して撮像装置1の位置が上に移動する状況若しくは角度(アングル)が上に移動する状況における撮像、または、固定した撮像装置1に対して人物が下に移動する状況における撮像である。また、図5は、例えば、静止した人物に対して撮像装置1の位置が前に移動する状況(被写体への接近)における撮像、固定した撮像装置1に対して人物が前に移動する状況(被写体の接近)における撮像、または、静止した人物かつ固定した撮像装置1において被写体サイズを拡大(ズームイン)させる撮像である。また、図4および図5の例では、5枚のスルー画像を参照して顔推定領域を抽出しているが、参照するスルー画像の枚数は5枚に限定されない。
In other words, the uncorresponding face estimation
なお、未対応顔推定領域選択部50は、複数のスルー画像における顔領域の位置が一定方向に移動している場合には、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部50は、図4(a)〜図4(e)に示すように、各顔領域Ar−n(n=5,4,3,2,1)の位置が一定方向に移動しているときは、図4(h)に示すように顔領域Ar−1を一定方向に拡大させた領域Axを顔推定領域として抽出してもよい。なお、未対応顔推定領域選択部50は、一定方向に移動する移動量に応じて一定方向に拡大させる拡大量を算出してもよい。また、未対応顔推定領域選択部50は、上記場合に、複数のスルー画像における各顔領域を全て含む領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部50は、各顔領域Ar−n(n=5,4,3,2,1)を全て含む図4(i)に示す領域Axを顔推定領域として抽出してもよい。
Note that the unsupported face estimation
更に、未対応顔推定領域選択部50は、複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さい場合には、最新のスルー画像から検出された顔領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部50は、ある時刻Ttに撮像された図6(f)に示す本画像Gtから検出された顔領域情報Atを顔領域検出部40から取得した場合に、顔領域情報記憶部10に、図6(a)〜図6(e)に示す、時刻Tt−n(n=5,4,3,2,1)に撮像された各スルー画像Gt−n(n=5,4,3,2,1)から検出された各顔領域情報At−n(n=5,4,3,2,1)が記憶され、かつ、重心が顔領域At−1の重心Qと同一であってX軸方向およびY軸方向の長さが顔領域At−1のX軸方向およびY軸方向の長さの2倍(所定の閾値)である矩形領域Kに、他の顔領域At−n(n=2,3,4,5)の全てが含まれているときは、図6(g)に示すように、顔領域At−1を顔推定領域Axとして抽出してもよい。
Furthermore, when the change in the position of the face area in the plurality of through images is smaller than a predetermined threshold, the unsupported face estimation
なお、未対応顔推定領域選択部50は、本画像の撮像前一定時間内に撮像された全スルー画像から顔領域(顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域)が検出できなかった場合でも、所定の割合以上のスルー画像から当該顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。例えば、所定の割合が80%である場合、未対応顔推定領域選択部50は、本画像の撮像前1秒内に撮像された30枚のスルー画像のうち24枚以上のスルー画像から顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。
Note that the unsupported face estimation
顔推定領域を抽出した未対応顔推定領域選択部50は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する。例えば、未対応顔推定領域選択部50は、ある時刻Tuに撮像された図7(a)に示す本画像Guから検出された顔領域情報Bu、Cuを顔領域検出部40から取得し、図7(d)〜図7(h)に示す、時刻Tu−n(n=5,4,3,2,1)に撮像された各スルー画像Gu−n(n=5,4,3,2,1)から各顔領域情報Au−n(n=5,4,3,2,1)、Bu−n(n=5,4,3,2,1)およびCu−n(n=5,4,3,2,1)の位置および大きさの変化に基づいて図7(b)に示す顔推定領域Ax、Bx、Cxを抽出した場合、図7(c)に示すように、顔推定領域Ax、Bx、Cxのうち本画像Gu上に対応する顔領域が存在しない顔推定領域Axを未対応顔推定領域Xとして選択する。なお、未対応顔推定領域選択部50は、顔推定領域と本画像の顔領域の位置および大きさが概ね一致している場合(例えば、両領域の位置の差が所定の範囲内であって、かつ、両領域の大きさの差が所定の範囲内である場合)に、両領域は対応すると判断する。
The unsupported face estimation
なお、未対応顔推定領域選択部50は、全ての顔推定領域が本画像から検出された顔領域に対応する場合、未対応顔推定領域を選択しない。例えば、未対応顔推定領域選択部50は、顔領域情報Bu、Cuを取得し、顔推定領域Bx、Cxのみを抽出した場合には、未対応顔推定領域を選択しない。また、未対応顔推定領域選択部50は、本画像から顔領域を検出しなかったが、顔推定領域を抽出した場合、全ての顔推定領域を未対応顔推定領域として選択する。例えば、未対応顔推定領域選択部50は、顔領域を特定しない顔領域情報(例えばnull)を取得し、顔推定領域Ax、Bx、Cxを抽出した場合には、顔推定領域Ax、Bx、Cxを未対応顔推定領域Xとして選択する。
Note that the unsupported face estimation
未対応顔推定領域選択部50は、未対応顔推定領域を選択した場合、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)、および、未対応顔推定領域を示す顔領域情報を画像処理部90に供給する。未対応顔推定領域選択部50は、未対応顔推定領域を抽出しなかった場合、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)を画像処理部90に供給する。
When the unsupported face estimation
画像処理部90は、撮像部20から本画像を取得する。また、画像処理部90は、未対応顔推定領域選択部50から顔領域情報(本画像から検出された顔領域情報)、および、未対応顔推定領域を示す顔領域情報を取得する。画像処理部90は、未対応顔推定領域選択部50から顔領域情報(本画像から検出された顔領域情報)のみを取得した場合には、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域に画像処理(顔処理)を施して画像記憶部12に記憶する。但し、顔領域を特定しない顔領域情報(例えばnull)を取得した場合には、顔処理を施さない。画像処理部90は、未対応顔推定領域選択部50から顔領域情報(本画像から検出された顔領域情報)と未対応顔推定領域を示す顔領域情報とを取得した場合には、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部12に記憶する。但し、顔領域を特定しない顔領域情報(例えばnull)を取得した場合には、未対応顔推定領域のみ顔処理を施す。
The
図8は、撮像装置1の動作の一例を示すフローチャートである。具体的には、図8のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。
FIG. 8 is a flowchart illustrating an example of the operation of the
顔領域検出部40は、撮像部20からスルー画像を取得する(ステップS100)。撮像部20は、生成したスルー画像を顔領域検出部40に供給する。撮像部20からスルー画像を取得した顔領域検出部40は、スルー画像から顔領域を検出する(ステップS110)。スルー画像から顔領域を検出した顔領域検出部40は、顔領域を示す顔領域情報を顔領域情報記憶部10に記憶する(ステップS120)。
The face
顔領域検出部40は、撮像部20から本画像を取得したか否かを判断する(ステップS130)。顔領域検出部40は、撮像部20から本画像を取得していないと判断した場合(ステップS130:No)、撮像部20から本画像を取得したと判断する迄(ステップS130:Yes)、顔領域検出部40はステップS100からステップS120を繰り返し実行する。
The face
一方、顔領域検出部40は、撮像部20から本画像を取得したと判断した場合(ステップS130:Yes)、本画像から顔領域を検出する(ステップS140)。本画像から顔領域を検出した顔領域検出部40は、顔領域を示す顔領域情報を未対応顔推定領域選択部50に供給する。
On the other hand, when it is determined that the main image has been acquired from the imaging unit 20 (step S130: Yes), the face
ステップS140に続いて、未対応顔推定領域選択部50は、顔領域情報記憶部10に記憶されている顔領域情報に基づいて顔推定領域を抽出する(ステップS150)。顔推定領域を抽出した未対応顔推定領域選択部50は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する(ステップS155)。未対応顔推定領域を選択した未対応顔推定領域選択部50は、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)、および、未対応顔推定領域を示す顔領域情報を画像処理部90に供給する。
Subsequent to step S140, the unsupported face estimation
画像処理部90は、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部12に記憶する(ステップS190)。そして本フローチャートは終了する。
The
[第2の実施の形態]
以下、本発明の第2の実施形態について図面を参照して詳細に説明する。図9は、本発明の第2の実施形態に係る撮像装置2の構成例を示すブロック図である。図1および図9に示すように、撮像装置2は、撮像装置1と未対応顔推定領域選択部52および検出失敗確率算出部60および未対応顔推定領域拡縮部70以外は同様である。従って、未対応顔推定領域選択部52および検出失敗確率算出部60および未対応顔推定領域拡縮部70に関して説明する。
[Second Embodiment]
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 9 is a block diagram illustrating a configuration example of the
未対応顔推定領域選択部52は、撮像装置1の未対応顔推定領域選択部50と同様に、未対応顔推定領域を抽出する。未対応顔推定領域選択部52は、未対応顔推定領域を抽出した場合、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)を画像処理部90に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部60に供給する。未対応顔推定領域選択部52は、未対応顔推定領域を抽出しなかった場合、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)を画像処理部90に供給する。
The unsupported face estimation
検出失敗確率算出部60は、未対応顔推定領域おいて顔領域の検出に失敗した確率(以下、「検出失敗確率」という)を算出する。具体的には、検出失敗確率算出部60は、未対応顔推定領域選択部52から未対応顔推定領域を示す顔領域情報を取得した場合、顔領域情報記憶部10に記憶されている顔領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち未対応顔推定領域に対応する顔領域が検出できたスルー画像の割合を検出失敗確率として算出する。例えば、検出失敗確率算出部60は、本画像の撮像前1秒内に撮像された30枚のスルー画像のうち一の未対応顔推定領域(顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域)に対応する顔領域が検出できなかったスルー画像が3枚であるときは、検出失敗確率を10%と算出する。検出失敗確率算出部60は、検出失敗確率を算出した場合、未対応顔推定領域選択部52から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部70に供給する。
The detection failure
未対応顔推定領域拡縮部70は、検出失敗確率算出部60から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得する。未対応顔推定領域拡縮部70は、未対応顔推定領域拡縮部70から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した場合、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる。例えば、未対応顔推定領域拡縮部70は、検出失敗確率が高ければ高いほど大きな拡大率によって未対応顔推定領域を拡大させる。未対応顔推定領域拡縮部70は、未対応顔推定領域を拡縮させた場合、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部90に供給する。なお、未対応顔推定領域拡縮部70は、未対応顔推定領域を拡縮させなかった場合、検出失敗確率算出部60から取得した未対応顔推定領域を示す顔領域情報を画像処理部90に供給する。
The uncorresponding face estimation region enlargement /
なお、画像処理部90は、未対応顔推定領域選択部52から顔領域情報(本画像から検出された顔領域情報)を取得し、未対応顔推定領域拡縮部70から未対応顔推定領域(未拡張若しくは拡張後の未対応顔推定領域)を示す顔領域情報を取得した場合には、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域および未対応顔推定領域(未拡張若しくは拡張後の未対応顔推定領域)に顔処理を施して画像記憶部12に記憶する。但し、顔領域を特定しない顔領域情報(例えばnull)を取得した場合には、未対応顔推定領域のみ顔処理を施す。
Note that the
[第3の実施の形態]
以下、本発明の第3の実施形態について図面を参照して詳細に説明する。図10は、本発明の第3の実施形態に係る撮像装置3の構成例を示すブロック図である。図1、図9および図10に示すように、撮像装置3は、撮像装置1または撮像装置2と検出失敗確率算出部62、パラメータ設定部80および画像処理部92以外は同様である。従って、検出失敗確率算出部62、パラメータ設定部80および画像処理部92に関して説明する。
[Third embodiment]
Hereinafter, a third embodiment of the present invention will be described in detail with reference to the drawings. FIG. 10 is a block diagram illustrating a configuration example of the
検出失敗確率算出部62は、撮像装置2の検出失敗確率算出部60と同様に、検出失敗確率を算出する。検出失敗確率算出部62は、検出失敗確率を算出した場合、未対応顔推定領域選択部52から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部70に供給するとともに、算出した検出失敗確率をパラメータ設定部80に供給する。
The detection failure
パラメータ設定部80は、検出失敗確率算出部62から検出失敗確率を取得する。パラメータ設定部80は、検出失敗確率算出部62から検出失敗確率を取得した場合、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する。具体的には、パラメータ設定部80は、検出失敗確率が高ければ高いほど弱い強度を示すパラメータを設定(決定)する。パラメータ設定部80は、パラメータを設定した場合、設定したパラメータを画像処理部92に供給する。
The
画像処理部92は、撮像部20から本画像を取得する。画像処理部92は、未対応顔推定領域選択部52から顔領域情報(本画像から検出された顔領域情報)を取得する。また、画像処理部92は、未対応顔推定領域拡縮部70から未対応顔推定領域を示す顔領域情報を取得する。また、画像処理部92は、パラメータ設定部80からパラメータを取得する。
The
画像処理部92は、顔領域情報(本画像から検出された顔領域情報)のみを取得した場合には、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域に画像処理(顔処理)を施して画像記憶部12に記憶する。但し、顔領域を特定しない顔領域情報(例えばnull)を取得した場合には、顔処理を施さない。画像処理部92は、顔領域情報(本画像から検出された顔領域情報)と未対応顔推定領域(未拡張若しくは拡張後の未対応顔推定領域)を示す顔領域情報とパラメータとを取得した場合には、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域および未対応顔推定領域(未拡張若しくは拡張後の未対応顔推定領域)に顔処理を施して(未対応顔推定領域には、パラメータの強度に応じた顔処理を施して)、画像記憶部12に記憶する。但し、顔領域を特定しない顔領域情報(例えばnull)を取得した場合には、未対応顔推定領域のみ顔処理を施す。なお、画像処理部92が強い強度の顔処理を施した場合には、弱い強度の顔処理を施した場合に比べ、顔処理による変化が大きくなったり、顔処理が適用される領域(画素)が多くなったりする。即ち、画像処理部92は、検出失敗確率が高ければ高いほど、顔処理による変化が小さくなったり、顔処理が適用される領域(画素)が少なくなったりする。
When only the face area information (face area information detected from the main image) is acquired, the
図11は、撮像装置3の動作の一例を示すフローチャートである。具体的には、図11のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。なお、図11に示すステップS200からステップS240は、図8に示すステップS100からステップS140と同様であるので、ステップS250からステップS290に関して説明する。
FIG. 11 is a flowchart illustrating an example of the operation of the
未対応顔推定領域選択部52は、顔領域情報記憶部10に記憶されている顔領域情報に基づいて顔推定領域を抽出する(ステップS250)。顔推定領域を抽出した未対応顔推定領域選択部52は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する(ステップS255)。未対応顔推定領域を選択した未対応顔推定領域選択部52は、顔領域検出部40から取得した顔領域情報(本画像から検出された顔領域情報)を画像処理部90に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部62に供給する。
The uncorresponding face estimation
未対応顔推定領域を示す顔領域情報を取得した検出失敗確率算出部62は、検出失敗確率を算出する(ステップS260)。検出失敗確率を算出した検出失敗確率算出部62は、未対応顔推定領域選択部52から取得した未対応顔推定領域を示す顔領域情報、および、検出失敗確率を未対応顔推定領域拡縮部70に供給するとともに、検出失敗確率をパラメータ設定部80に供給する。
The detection failure
未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した未対応顔推定領域拡縮部70は、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる(ステップS270)。未対応顔推定領域を拡縮させた未対応顔推定領域拡縮部70は、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部92に供給する。
The unsupported face estimation region enlargement /
検出失敗確率を取得したパラメータ設定部80は、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する(ステップS280)。パラメータを設定したパラメータ設定部80は、設定したパラメータを画像処理部92に供給する。
The
未対応顔推定領域を示す顔領域情報を取得した画像処理部92は、撮像部20から取得した本画像に対して、顔領域情報(本画像から検出された顔領域情報)により示される顔領域および未対応顔推定領域に顔処理を施して(未対応顔推定領域には、パラメータの強度に応じた顔処理を施して)、画像記憶部12に記憶する(ステップS290)。そして本フローチャートは終了する。
The
以上、本実施形態によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。 As described above, according to the present embodiment, the image processing is performed on the unsupported face estimation area without detecting the face area after the main image is captured, so that the time until the face processing is performed can be shortened.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
1、2、3 撮像装置 10 顔領域情報記憶部 12 画像記憶部 20 撮像部 30 表示制御部 40 顔領域検出部 50、52 未対応顔推定領域選択部 60、62 検出失敗確率算出部 70 未対応顔推定領域拡縮部 80 パラメータ設定部 90、92 画像処理部
1, 2 and 3
Claims (6)
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、
前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記検出失敗確率に応じた拡縮率によって前記未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部と
を備えることを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
An image processing unit that performs image processing on the unsupported face estimation region selected by the unsupported face estimation region selection unit ;
A detection failure probability calculation unit that calculates a detection failure probability that is a probability that the face region detection unit failed to detect a face region in the unsupported face estimation region;
An imaging apparatus , comprising: an unsupported face estimation area enlargement / reduction unit that enlarges / reduces the unsupported face estimation area according to an enlargement / reduction ratio corresponding to the detection failure probability .
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と、
前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部と
を備え、
前記パラメータ設定部は、
前記検出失敗確率が高ければ高いほどより弱い強度を示す前記パラメータを設定し、
前記画像処理部は、
前記パラメータの強度に応じて未対応顔推定領域に画像処理を施すことを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
An image processing unit that performs image processing on the unsupported face estimation region selected by the unsupported face estimation region selection unit ;
A detection failure probability calculation unit that calculates a detection failure probability that is a probability that the face region detection unit failed to detect a face region in the unsupported face estimation region;
A parameter setting unit for setting a parameter indicating intensity when image processing is performed on the unsupported face estimation region;
With
The parameter setting unit
The higher the detection failure probability is, the more the parameter indicating the weaker intensity is set,
The image processing unit
An image pickup apparatus that performs image processing on an unsupported face estimation area according to the intensity of the parameter .
前記検出失敗確率算出部は、
前記記憶部に記憶されている前記領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち前記未対応顔推定領域に対応する顔領域が検出でなかったスルー画像の割合を前記検出失敗確率として算出することを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The detection failure probability calculation unit
A through area in which a face area corresponding to the unsupported face estimation area was not detected among a plurality of through images captured within a certain period of time before imaging of the main image with reference to the area information stored in the storage unit An imaging apparatus, wherein a ratio of images is calculated as the detection failure probability.
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さいときは、最新のスルー画像から検出された顔領域を前記顔推定領域とすることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The unsupported face estimation region selection unit
An imaging apparatus, wherein when a change in position of a face area in a plurality of through images is smaller than a predetermined threshold, a face area detected from the latest through image is set as the face estimation area.
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を前記顔推定領域とすることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2 ,
The unsupported face estimation region selection unit
When the position of the face area in a plurality of through images is moving in a certain direction, an area obtained by enlarging the face area detected from the latest through image in a certain direction is set as the face estimation area. Imaging device.
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と
を備え、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を前記顔推定領域とすることを特徴とする撮像装置。 An imaging unit that captures a subject image and generates an image;
A face area detection unit that detects a human face area from an image captured by the imaging unit;
A storage unit that stores area information indicating a face area detected by the face area detection unit from a through image captured by the imaging unit;
When the main image is picked up by the image pickup unit, it is detected at the time of picking up the main image from the face estimation regions that are estimated to exist in the main image based on the region information stored in the storage unit. A non-corresponding face estimation region selection unit that selects an uncorresponding face estimation region that does not correspond to the face region that has been made,
E Bei and an image processing unit that performs the unsupported face estimation region image processing in the unsupported face estimated area selected by the selection unit,
The unsupported face estimation region selection unit
An imaging apparatus characterized in that when the positions of face areas in a plurality of through images are moving in a certain direction, an area including all the face areas in the plurality of through images is set as the face estimation area .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009036664A JP5272789B2 (en) | 2009-02-19 | 2009-02-19 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009036664A JP5272789B2 (en) | 2009-02-19 | 2009-02-19 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010191784A JP2010191784A (en) | 2010-09-02 |
JP5272789B2 true JP5272789B2 (en) | 2013-08-28 |
Family
ID=42817748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009036664A Expired - Fee Related JP5272789B2 (en) | 2009-02-19 | 2009-02-19 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5272789B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709932B (en) * | 2015-11-12 | 2020-12-04 | 创新先进技术有限公司 | Face position tracking method and device and electronic equipment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195582A (en) * | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | Device and method for detecting image, device and system for three-dimensional display, display controller, and program storage medium |
JP2008263478A (en) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | Imaging apparatus |
-
2009
- 2009-02-19 JP JP2009036664A patent/JP5272789B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010191784A (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI425828B (en) | Image capturing apparatus, method for determing image area ,and computer-readable recording medium | |
JP5699432B2 (en) | Image processing device | |
JP2014123261A (en) | Information processor and recording medium | |
JP5171468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2013135341A5 (en) | ||
JP2008117305A (en) | Image processor | |
CN106210699B (en) | Information processing unit, the control method of information processing unit and image processing system | |
JP5272789B2 (en) | Imaging device | |
JP6104066B2 (en) | Image processing apparatus and image processing method | |
JP6406044B2 (en) | Camera calibration unit, camera calibration method, and camera calibration program | |
JP6241107B2 (en) | Gaze direction detection device and gaze direction detection method | |
JP7030427B2 (en) | Imaging device with line-of-sight detection function | |
JP2010081357A (en) | Image processing apparatus, image processing method, image processing program, and imaging device | |
JP2015018084A5 (en) | Imaging apparatus, camera system, and image processing method | |
JP2013005002A (en) | Imaging apparatus | |
JP2011096134A (en) | Moving image forming device and moving image forming method | |
JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP6327892B2 (en) | Imaging apparatus and control method thereof | |
JP6033044B2 (en) | Image display apparatus, control method thereof, control program, and imaging apparatus | |
JP2008287648A (en) | Mobile body detection method and device, and monitoring device | |
JP2009290816A (en) | Camera | |
JP5718502B2 (en) | Image creating apparatus and image creating method | |
JP2009027437A (en) | Image processor, image processing method and imaging device | |
JP2008211528A (en) | Imaging apparatus and control method | |
JP6619217B2 (en) | Microscope system and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130429 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5272789 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |