JP4219521B2 - マッチング方法および装置並びに記録媒体 - Google Patents
マッチング方法および装置並びに記録媒体 Download PDFInfo
- Publication number
- JP4219521B2 JP4219521B2 JP2000028520A JP2000028520A JP4219521B2 JP 4219521 B2 JP4219521 B2 JP 4219521B2 JP 2000028520 A JP2000028520 A JP 2000028520A JP 2000028520 A JP2000028520 A JP 2000028520A JP 4219521 B2 JP4219521 B2 JP 4219521B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- template
- matching
- area
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、人物の顔を含む画像とテンプレートとのテンプレートマッチングを行うマッチング方法および装置、これらの方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
ネガフイルムやリバーサルフイルムなどを用いて人物像を撮影することにより得られた写真などの画像において、最も注目される部位は人物の顔である。したがって、画像の見えをよくするためには人物の顔が適正な色、濃度および階調となるように画像に対して画像処理を施す必要がある。一方、人物の顔が適正な色、濃度および階調となるように画像処理を施すためには、画像から人物の顔領域を適切に抽出する必要がある。このため、例えば人物を含む画像中から肌色領域の候補を抽出し、各候補のクロマや輝度のヒストグラムに基づいて肌色の色空間を定義して肌色領域を決定し、この肌色領域を顔領域とする方法(特開平6−309433号)、複数の顔テンプレートを用意し、この顔テンプレートと画像とのテンプレートマッチングを行って顔領域候補を抽出した後に、顔領域候補内における肌色の分布に基づいて顔領域を抽出する方法(特開平8−63597号)等により画像から顔領域を抽出して、画像処理を施すことが提案されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記特開平6−309433号に記載された方法は、予め定められた肌色空間にある領域を肌色領域として抽出するものである。したがって、顔画像のコントラストが大きいと顔画像中の肌色の濃度が広範囲に亘って分布するため、定義された肌色空間に含まれない肌色を有する領域が顔領域に存在する可能性が高くなり、その結果顔の領域を全て抽出することができない場合がある。また、定義された肌色空間に顔の背景の色が含まれる場合には、顔画像とともに背景も抽出されてしまう。一方、上記特開平8−63597号に記載された方法は、顔テンプレートを用いたテンプレートマッチングによりある程度の顔の領域を定めることができるものの、抽出された顔領域候補から肌色の分布に基づいて顔領域を抽出する際に、上記特開平6−309433号に記載された方法と同様の問題が生じる。
【0004】
本発明は上記事情に鑑みなされたものであり、顔画像に含まれる顔のコントラストを考慮して、顔領域を適切に抽出するための情報を得ることができるマッチング方法および装置、このマッチング方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
本発明によるマッチング方法は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするものである。
【0006】
ここで、「顔テンプレート」とは、人間の顔について顔の輪郭、目、口、鼻および耳等の顔の構成部品を含むものであり、顔の種類、顔の向きおよび顔に照射される光源の方向を少なくとも変更することにより得られるものである。本発明における「顔テンプレート」においては、顔の向きが変わることにより、顔の輪郭の形状および顔の構成部品の配置位置が異なるものとなる。また、光源の方向が変わることにより、顔の輪郭に囲まれる領域の濃度分布が異なるものとなる。例えば、光源方向が顔の正面であれば濃度分布は均一なものとなるが、光源方向がテンプレートに向かって右側であれば、顔の輪郭に囲まれる領域の右側が明るく、左側が暗い濃度分布となる。なお、この「顔テンプレート」としては、顔を3次元的に表したものであっても2次元的に表したものであってもよい。また、「顔の種類」としては、大人、子供、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。なお、顔の種類、顔の向きおよび光源の方向に加えて、顔のサイズが異なる顔テンプレートを用いてもよい。
【0007】
なお、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。したがって、「顔の向きに関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔の輪郭形状および顔の構成部品の位置に関する情報のことをいう。
【0008】
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。したがって、「光源の方向に関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔領域の濃度分布に関する情報のことをいう。
【0009】
なお、本発明によるマッチング方法においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
該顔領域候補内において前記テンプレートマッチングを行うことが好ましい。
【0010】
ここで、「顔領域を含む所定範囲の領域」は、顔画像をモニタなどの表示手段に表示して顔領域を矩形、円形等の領域で囲むことにより設定してもよく、顔画像を予め複数の領域に分割し、分割された領域から顔領域を含む領域を抽出することにより設定してもよい。
【0011】
また、本発明によるマッチング方法においては、前記複数の顔テンプレートを予め作成してもよい。
【0012】
さらに、前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成し、
該顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うようにしてもよい。
【0013】
さらにまた、本発明によるマッチング方法においては、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことが好ましい。
【0014】
ここで、「階層的にマッチング度を求める」とは、顔の種類、顔の向きおよび光源の方向の3要素のうち、2要素(例えば顔の向きおよび光源の方向)を固定して1要素(顔の種類)を変数とし、1要素のみを変更することによりテンプレートマッチングを行うことをいう。例えば、変数とする1要素を顔の種類とした場合、まず顔の種類についてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類が決定される。次いで、顔の種類を固定し、他の1要素(例えば顔の向き)を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類および顔の方向が決定される。そして、顔の種類および顔の向きを固定し、さらに他の1要素(光源の方向)を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔画像における顔の種類、顔の方向および光源の方向が決定される。
【0015】
本発明による画像処理方法は、本発明によるマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
該濃度分布に基づいて前記顔画像における肌色空間を定義し、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とするものである。
【0016】
ここで、「顔の向きおよび光源の方向に関する情報に基づいて、顔領域における肌色の濃度分布を求める」とは、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得ることをいう。
【0017】
また、「濃度分布に基づいて肌色空間を定義する」とは、濃度分布に基づいて顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定めることをいう。
【0018】
なお、本発明による画像処理方法においては、前記肌色領域に対して所定の画像処理を施すことが好ましい。
【0019】
ここで、「画像処理」としては、肌色領域を所望とする肌色に変換する色変換処理、顔領域の階調を変換する階調変換処理、シャープネス強調処理等の種々の処理を用いることができる。
【0020】
本発明によるマッチング装置は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするものである。
【0021】
なお、本発明によるマッチング装置においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることが好ましい。
【0022】
また、本発明によるマッチング装置においては、前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えるようにしてもよい。
【0023】
さらに、本発明によるマッチング装置においては、前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備えるようにし、
前記テンプレートマッチング手段を、該テンプレート作成手段により作成された前記顔の向きおよび前記光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段としてもよい。
【0024】
さらにまた、本発明によるマッチング装置においては、前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることが好ましい。
【0025】
本発明による画像処理装置は、本発明によるマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とするものである。
【0026】
なお、本発明による画像処理装置においては、前記肌色領域に対して所定の画像処理を施す手段をさらに備えることが好ましい。
【0027】
なお、本発明によるマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0028】
【発明の効果】
本発明によるマッチング方法および装置によれば、複数の顔テンプレートと顔画像とのテンプレートマッチングを行って、顔画像に含まれる顔領域と最もマッチング度が高い顔テンプレートを決定し、この顔テンプレートに基づいて、顔画像上の顔領域における顔の向きおよび顔に照射される光源の方向に関する情報を取得するようにしたものである。ここで、顔の向きに関する情報から顔の輪郭の形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光源の方向に応じて変動する顔領域の濃度分布を知ることができる。したがって、顔の向きおよび光源の方向に関する情報を用いることにより、肌色領域の抽出や、顔の構成部品の抽出などの種々の処理を行い易くすることができる。
【0029】
また、顔画像において顔領域を含む所定範囲の領域を顔領域候補として設定し、この顔領域候補内においてテンプレートマッチングを行うことにより、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。
【0030】
さらに、複数の顔テンプレートを予め作成しておくことにより、顔テンプレートに何ら手を加えることなく、各顔テンプレートを順次使用するのみでテンプレートマッチングを行うことができる。
【0031】
さらにまた、予め作成された基準テンプレートにおける顔の向きおよび光源の方向を変更することにより複数の顔テンプレートを作成し、顔の向きおよび光源の方向を変更しつつテンプレートマッチングを行うことにより、保存しておくテンプレートの数を少なくすることができ、これによりテンプレートを記憶する記憶手段の容量を低減することができる。
【0032】
また、階層的にマッチング度を求めることにより、全ての顔テンプレートについてテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングのための演算を高速に行うことができる。
【0033】
本発明による画像処理方法および装置においては、本発明によるマッチング方法および装置により抽出された顔の向きおよび光源の方向に関する情報に基づいて、顔画像中の顔領域における肌色の濃度分布が求められる。すなわち、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得、これが肌色の濃度分布として得られる。この濃度分布は、顔領域における高濃度域および低濃度域がどのように分布して顔の領域のコントラストを形成しているかを表す情報であり、この濃度分布に基づいて、顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間が定義される。このため、顔領域のコントラストが大きくても顔領域の肌色が全て抽出されるように肌色空間を定義することができ、これにより顔画像から肌色領域を正確に抽出することができる。
【0034】
また、抽出された肌色領域に対して画像処理を施すことにより、顔画像中の顔領域を所望とする画像処理が施されたものとすることができる。
【0035】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0036】
図1は本発明の実施形態によるマッチング装置を適用した画像処理装置の構成を示す概略ブロック図である。図1に示すように本実施形態による画像処理装置は、デジタルカメラにより撮像された、あるいはスキャナにより読取られた人物の顔を含む画像を表す画像データS0に対して処理を施して処理済み画像データS1を得るものであり、画像データS0が記録されたメディアから画像データS0を読み出す、あるいはネットワークを介して転送された画像データS0を読み出す読出手段1と、読み出した画像データS0により表される画像から人物の顔を抽出する顔抽出手段2と、画像データS0に対して画像処理を施して処理済み画像データS1を得る画像処理手段3と、処理済み画像データS1をプリンタ、ネットワーク、記録媒体、モニタ等に出力する出力手段4と、画像データS0等を表示するモニタ5と、顔抽出手段2、画像処理手段3および出力手段4に対して種々の入力を行うためのキーボード、マウス等からなる入力手段6とを備える。
【0037】
顔抽出手段2は、画像データS0により表される画像に後述する顔領域候補Fを指定する領域指定手段11と、領域指定手段11において指定された顔領域候補Fを抽出する領域抽出手段12と、複数のテンプレートTを表すテンプレートデータTDを記憶したテンプレート記憶手段13と、テンプレートTと領域抽出手段12において抽出された顔領域候補Fとのテンプレートマッチングを行って顔領域候補Fにおける顔の向きおよび光源の方向に関する情報Iを求めるマッチング手段14と、マッチング手段14において求められた情報Iに基づいて、顔領域候補Fから肌色領域Hを抽出する肌色領域抽出手段15とを備える。
【0038】
領域指定手段11は、画像データS0をモニタ5に表示し、モニタ5に表示された画像(以下画像についてもS0で表すものとする)S0に対して入力手段6からの指示により、例えば図2に示すように顔を含む領域を顔領域候補Fとして指定するものである。なお、顔領域候補Fは矩形に限定されるものではなく、円形あるいは楕円形であってもよい。また、画像S0を複数の領域に分割して各領域を指定する番号を付与し、顔を含む領域の番号を指定することにより顔領域候補Fを指定してもよい。例えば図3に示すように、画像S0を5×5の領域に分割した場合、顔領域候補Fの番号は22となる。
【0039】
なお、画像データS0を取得した際に顔領域候補Fを予め設定しておき、設定された顔領域候補Fの情報(例えば顔領域候補の位置、顔を含む領域の番号)をタグ情報として画像データS0に予め付加しておいてもよい。これにより、領域指定手段11においては、入力手段6からの指示がなくても、画像データS0のタグ情報に基づいて、顔領域候補Fが指定された画像S0をモニタ5に表示することができる。
【0040】
領域抽出手段12は、領域指定手段11において指定された顔領域候補Fを抽出するものであるが、抽出の際には顔領域候補Fにおいて顔領域以外の領域ができるだけ少なくなるように、領域指定手段11において指定された顔領域候補Fの大きさを多少変更してもよい。なお、領域抽出手段12において顔領域候補Fを抽出することにより、モニタ5には抽出された顔領域候補Fのみを表示してもよいが、図2に示すように画像S0上に顔領域候補Fの境界を表示してもよい。
【0041】
テンプレート記憶手段13には、複数種類の顔について、大きさ、向きおよび照射される光源の方向を異なるものとした複数のテンプレートTを表すテンプレートデータTDが、実写あるいはコンピュータグラフィックスによって作成されて記憶されている。ここで、コンピュータグラフィックスによりテンプレートデータTDを作成すれば、テンプレートTがノイズや撮影時のぶれによる影響を受けないため、より好ましいものである。なお、テンプレートTには、顔の種類、大きさおよび向きに応じた顔の輪郭および目、鼻、眉毛等の顔の構成部品が含まれる。
【0042】
ここで、顔の種類としては、大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。また、顔の向きを異なるものとするためには、例えば例えば顔が正面を向いた状態を0度とし、0〜360度まで15度毎に異なる顔の向きに応じて、顔の輪郭および構成部品の配置を変更してテンプレートTとすればよい。また、光源の方向を異なるものとするためには、光源が顔の正面にある状態を0度とし、上下左右および斜め方向の合計4方向について、±90度の範囲で15度毎に異なる方向から顔に向けて光を照射した状態の顔の画像をテンプレートTとすればよい。なお、顔の大きさを考慮することなくテンプレートデータTDを作成してもよい。この場合、後述するマッチング手段14においては、顔領域候補FとテンプレートTとが正規化されてマッチングが行われることとなる。
【0043】
また、テンプレートデータTDは、階層化してテンプレート記憶手段13に記憶することが好ましい。例えば、図4に示すように、赤ちゃんの顔の下位の階層に顔の向きが異なる赤ちゃんの顔を対応付け、さらに個々の顔の向きにおける下位の階層に、顔上の影の位置すなわち光源の位置が異なる赤ちゃんの顔を対応付けておくことが好ましい。このように、テンプレートデータTDを階層化して記憶しておくことにより、まず顔の種類が決定された後、その種類に応じた顔の向きを決定し、さらにその後光源の方向を決定するよう階層的にテンプレートマッチングを行うことができる。したがって、全てのテンプレートTを用いてテンプレートマッチングを行う場合と比較して、マッチング手段14における顔領域候補FとテンプレートTとのテンプレートマッチングを効率よく行うことができる。
【0044】
なお、複数種類の顔を表す実写あるいはコンピュータグラフィックスの3次元形状モデルをテンプレートデータTDとして記憶してもよい。図5は男性の顔の3次元形状モデルを表すテンプレートデータTDを示す図である。このようにテンプレートデータTDを3次元形状モデルとした場合、3次元形状モデルをモニタ5に表示して入力手段6により顔の向きおよび照射される光源の方向を種々変更して後述するマッチング手段4において顔領域候補Fとのテンプレートマッチングを行うことができる。このように、テンプレートデータTDを3次元形状モデルとし、このテンプレートデータTDにより表されるテンプレートTにおける顔の向きおよび光源の方向を変更して顔領域候補Fとのテンプレートマッチングを行うことにより、テンプレート記憶手段13に記憶するテンプレートデータTDを少なくすることができ、これによりテンプレート記憶手段13の容量を低減することができる。
【0045】
また、この場合においても階層的に顔の向きおよび照射される光源の方向を変更してテンプレートマッチングを行うことができ、これにより顔領域候補FとテンプレートTとのテンプレートマッチングを効率よく行うことができる。
【0046】
また、テンプレートデータTDとしては2値化したテンプレートTを表すものであってもよい。
【0047】
マッチング手段14は、領域抽出手段12において抽出された顔領域候補Fを表すデータが入力されると、テンプレート記憶手段13からテンプレートデータTDを順次読み出して、顔領域候補FとテンプレートTとのテンプレートマッチングを行うものである。具体的には、顔領域候補FおよびテンプレートTを2値化し、2値化した顔領域候補FおよびテンプレートTとのマッチング度を求める。なおテンプレートTが2値化されている場合には、テンプレートTをそのまま用いる。そして、マッチング度が最大となるテンプレートTにおける顔の向きおよび光源の方向を、顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iとして求めるものである。具体的には、2値化した顔領域候補FにおけるデータをF′、2値化したテンプレートTのデータをTD′とすると、テンプレートTの位置および種類を変更する毎に下記の式(1)に示すように、データF′とデータTD′とのマッチング度Mを算出する。
【0048】
M=(Σ|Fij′−TDij′|)/n (1)
但し、Fij′:データF′により表される画像の画素値
TDij′:データF′と対応するデータTD′により表される画像の画素値
n:データFij′またはデータTDij′により表される画像の画素数
そして、算出されたマッチング度Mが最大となったテンプレートTにおける顔の向きおよび光源の方向を、顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iとして求めるものである。なお、テンプレートTおよび顔領域候補Fを2値化することなくテンプレートマッチングを行ってもよい。
【0049】
ここで、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。したがって、顔の向きに関する情報とは、マッチング度が最も高いテンプレートTにおける顔の輪郭形状、目、鼻などの顔の構成部品の位置に関する情報のことをいう。
【0050】
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。したがって、光源の方向に関する情報とは、マッチング度が最も高いテンプレートTにおける顔の濃度分布に関する情報のことをいう。
【0051】
なお、テンプレート記憶手段13においてテンプレートデータTDが図4に示すように階層化されている場合、顔の種類のマッチング後は、マッチングされた種類の顔の下位階層において顔の向きについてのみのマッチングを行えばよく、さらに顔の向きのマッチング後は、顔の向きの下位階層において光源の方向についてのみマッチングを行えばよい。
【0052】
また、領域指定手段11における領域指定時に、画像S0に含まれる顔の種類(例えば女性の顔である、赤ちゃんの顔である等)を予め入力しておくことにより、マッチング手段14において、入力された種類の顔を表すテンプレートTを優先的にマッチングに使用することができ、これによってもテンプレートマッチングを効率よく行うことができる。
【0053】
さらに、顔領域候補FおよびテンプレートTをLog-Polar変換して、テンプレートマッチングを行ってもよい。ここで、人間の顔は円形に近い形状をなしているため、例えば図6に示すような右90度の方向から光が照射された顔画像を、顔画像の中心を極とするとともに、図6におけるY軸を基準としてLog-Polar変換すると、顔の輪郭は図7に示すように、極座標上において略水平方向に延在するものとなる。したがって、顔領域候補FおよびテンプレートTをLog-Polar変換することにより、円形に近い形状を有する領域同士をテンプレートマッチングする場合と比較して、テンプレートマッチングを行い易くすることができる。
【0054】
肌色領域抽出手段15は、マッチング手段14において得られた顔領域候補Fにおける顔の向きおよび光源方向を表す情報Iに基づいて、顔領域候補Fを明るい領域すなわち低濃度域および暗い領域すなわち高濃度域に領域分割し、各領域毎に肌色空間を定義して肌色領域を抽出する。この肌色領域Hの抽出は以下のようにして行う。まず、顔の向きに関する情報から顔領域候補Fにおける顔の輪郭を知ることができ、さらに光源方向を表す情報から輪郭により囲まれる領域内における明るい領域および暗い領域の分布すなわち濃度分布を知ることができる。またこの際、顔の向きに関する情報から顔の構成部品の位置を知ることができるが、とくに鼻および目の位置に関する情報に基づいて、顔において他の領域よりも明るくなる鼻および目の下にある頬の位置を知ることができる。そして、濃度分布および鼻、頬の位置に基づいて肌色空間を定義して肌色領域Hを抽出する。
【0055】
具体的には、図6に示すように正面を向いた顔の右側から光が照射されている場合、顔の右半分の領域(以下右領域とする)は明るいが左半分の領域(以下左領域とする)は暗いものとなる。また、人間の顔においては鼻および頬が突出しているため、右領域においては鼻の右側および頬が他の領域より明るくなる。また、左領域においても鼻および頬の部分が他の領域より明るくなる。
【0056】
したがって、右領域については最も明るい部分すなわち鼻の右側と頬の部分を含むように肌色空間を定義して、顔の右半分の領域を抽出する。一方、顔の左半分についても鼻の左側と頬の部分を含むように肌色空間を定義して、顔の左半分の領域を抽出する。
【0057】
画像処理手段3は、抽出された肌色領域Hが所望とする濃度および色となるように、この肌色領域Hの画像データS0に対して階調処理や色変換処理さらにはシャープネス処理等の画像処理を施して処理済み画像データS1を得る。なお、肌色領域H以外の領域について画像処理を施してもよい。ここで、シャープネス処理としては、肌色領域Hの大きさすなわち顔の大きさに応じて、顔が大きい場合にはシャープネス強調の程度を弱くし、顔が小さい場合にはシャープネス強調の程度を大きくするように処理を施すことができる。
【0058】
次いで、本実施形態の動作について説明する。図8は本実施形態の動作を示すフローチャートである。まず、読出手段1において画像データS0が読み出されて(ステップS1)、顔領域抽出手段2に入力される。画像データS0はモニタ5に表示され(ステップS2)、入力手段6からの入力により顔領域候補Fが指定される(ステップS3)。そして、領域抽出手段12において顔領域候補Fが抽出される(ステップS4)。抽出された顔領域候補Fはマッチング手段14に入力され、ここでテンプレート記憶手段13に記憶されたテンプレートデータTDを用いて、テンプレートデータTDにより表されるテンプレートTと顔領域候補Fとのテンプレートマッチングが行われる(ステップS5)。そしてテンプレートマッチングが終了すると、マッチング度が最も大きいテンプレートTに基づいて顔の向きおよび光源の方向を表す情報Iが生成される(ステップS6)。
【0059】
肌色領域抽出手段15は情報Iに基づいて、上述したように顔領域候補Fから肌色領域Hを抽出する(ステップS7)。そして、画像処理手段3において画像データS0により表される画像における肌色領域Hに対して階調処理、色変換処理、シャープネス処理等の画像処理が施されて処理済み画像データS1が得られる(ステップS8)。そして、処理済み画像データS1は出力手段4において出力され(ステップS9)、処理を終了する。
【0060】
このように、本実施形態においては、顔領域候補Fを複数のテンプレートTによりテンプレートマッチングして顔領域候補Fにおける顔の向きおよび光源の方向を表す情報Iを得るようにしたため、顔の向きに関する情報から顔の輪郭形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光の方向に応じて変動する顔領域候補Fの濃度分布を知ることができる。そして、情報Iのうち顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔の輪郭内における濃度分布が得られる。したがって、この濃度分布に基づいて、顔領域候補Fにおける顔の輪郭内の領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定義することにより、顔領域のコントラストが大きくとも顔領域候補Fの肌色が全て抽出されるように肌色空間を定義することができ、これにより肌色領域Hを正確に抽出することができる。
【0061】
また、領域指定手段11において顔を含む所定範囲の領域を顔領域候補Fとして設定し、この設定された顔領域候補Fにおいてテンプレートマッチングを行うようにしたため、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。
【0062】
なお、上記実施形態においては、情報Iとして顔の向きに関する情報および光源の方向に関する情報を得、これらに基づいて肌色領域Hを抽出しているが、情報Iに基づいて顔領域候補Fから目、鼻などの顔の構成部品の位置を知ることができ、これにより情報Iを用いて顔領域候補Fからの顔の構成部品の抽出を簡易に行うことができる。
【図面の簡単な説明】
【図1】本発明の実施形態による画像処理装置の構成を示すブロック図
【図2】顔領域候補Fの指定を説明するための図
【図3】顔領域候補Fの指定を説明するための図
【図4】階層化されたテンプレートを示す図
【図5】3次元テンプレートの例を示す図
【図6】肌色領域の抽出を説明するための図
【図7】 Log-Polar変換した顔領域候補を示す図
【図8】本実施形態の動作を示すフローチャート
【符号の説明】
1 読出手段
2 顔抽出手段
3 画像処理手段
4 出力手段
5 モニタ
6 入力手段
11 領域指定手段
12 領域抽出手段
13 テンプレート記憶手段
14 マッチング手段
15 肌色領域抽出手段
Claims (33)
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするマッチング方法。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項1記載のマッチング方法。 - 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項1または2記載のマッチング方法。
- 請求項1から3のいずれか1項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
該濃度分布に基づいて前記顔画像における肌色空間を定義し、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。 - 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項4記載の画像処理方法。
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段と、
該テンプレート作成手段により作成された前記顔の種類、前記顔の向きおよび前記光源の方向が異なる複数の顔テンプレートを取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするマッチング装置。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項6記載のマッチング装置。 - 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項6または7記載のマッチング装置。
- 請求項6から8のいずれか1項記載のマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。 - 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項9記載の画像処理装置。
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順とを有するマッチング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、
前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項11記載のコンピュータ読取り可能な記録媒体。 - 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項11または12記載のコンピュータ読取り可能な記録媒体。
- 請求項1から3のいずれか1項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手順と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。 - 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項14記載のコンピュータ読取り可能な記録媒体。
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得し、
該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
該濃度分布に基づいて前記顔画像における肌色空間を定義し、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項16記載の画像処理方法。 - 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項16または17記載の画像処理方法。
- 前記複数の顔テンプレートが、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成され、
前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うことを特徴とする請求項16または17記載の画像処理方法。 - 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項16から19のいずれか1項記載の画像処理方法。
- 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項16から20のいずれか1項記載の画像処理方法。
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段と、
該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項22記載の画像処理装置。 - 前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えたことを特徴とする請求項22または23記載の画像処理装置。
- 前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備え、
前記テンプレートマッチング手段は、該テンプレート作成手段により作成された前記顔の向きおよび光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段であることを特徴とする請求項22または23記載の画像処理装置。 - 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項22から25のいずれか1項記載の画像処理装置。
- 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項22から26のいずれか1項記載の画像処理装置。
- 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順と、
該顔領域における肌色の濃度分布を求める手順と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 - 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、
前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項28記載のコンピュータ読取り可能な記録媒体。 - 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項28または29記載のコンピュータ読取り可能な記録媒体。
- 前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成する手順をさらに有し、
前記テンプレートマッチングを行う手順は、前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行う手順であることを特徴とする請求項28または29記載のコンピュータ読取り可能な記録媒体。 - 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項28から31のいずれか1項記載のコンピュータ読取り可能な記録媒体。
- 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項28から32のいずれか1項記載のコンピュータ読取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028520A JP4219521B2 (ja) | 2000-02-07 | 2000-02-07 | マッチング方法および装置並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028520A JP4219521B2 (ja) | 2000-02-07 | 2000-02-07 | マッチング方法および装置並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001216518A JP2001216518A (ja) | 2001-08-10 |
JP4219521B2 true JP4219521B2 (ja) | 2009-02-04 |
Family
ID=18553909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000028520A Expired - Fee Related JP4219521B2 (ja) | 2000-02-07 | 2000-02-07 | マッチング方法および装置並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4219521B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4578000B2 (ja) * | 2001-01-29 | 2010-11-10 | 株式会社バンダイナムコゲームス | パターン認識処理装置、方法および情報記憶媒体 |
JP3999091B2 (ja) * | 2002-09-25 | 2007-10-31 | 富士フイルム株式会社 | 画像補正処理装置及びプログラム |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7706601B2 (en) * | 2003-08-29 | 2010-04-27 | Nec Corporation | Object posture estimation/correlation system using weight information |
CN1860501A (zh) * | 2004-03-24 | 2006-11-08 | 三菱电机株式会社 | 特定部分姿势推测装置、特定部分姿势推测方法及特定部分姿势推测程序 |
JP2005316581A (ja) * | 2004-04-27 | 2005-11-10 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
JP4574249B2 (ja) * | 2004-06-29 | 2010-11-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、撮像装置 |
US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
CN101010698A (zh) * | 2005-06-30 | 2007-08-01 | 奥林巴斯株式会社 | 标记指定装置及标记指定方法 |
KR101303877B1 (ko) | 2005-08-05 | 2013-09-04 | 삼성전자주식회사 | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 |
JP2007052547A (ja) * | 2005-08-16 | 2007-03-01 | Kddi Corp | 顔検出装置 |
JP2007220004A (ja) | 2006-02-20 | 2007-08-30 | Funai Electric Co Ltd | テレビおよび認証装置 |
KR100776880B1 (ko) * | 2006-08-31 | 2007-11-19 | 미쓰비시덴키 가부시키가이샤 | 특정 부분 자세 추정 장치, 특정 부분 자세 추정 방법 및특정 부분 자세 추정 프로그램 |
JP4999731B2 (ja) * | 2008-02-29 | 2012-08-15 | セコム株式会社 | 顔画像処理装置 |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
-
2000
- 2000-02-07 JP JP2000028520A patent/JP4219521B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001216518A (ja) | 2001-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4219521B2 (ja) | マッチング方法および装置並びに記録媒体 | |
US8290279B2 (en) | Method, a system, and a computer program product for processing images | |
Benson et al. | Synthesising continuous-tone caricatures | |
US7082211B2 (en) | Method and system for enhancing portrait images | |
KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
JP4574249B2 (ja) | 画像処理装置及びその方法、プログラム、撮像装置 | |
TWI421781B (zh) | Make-up simulation system, make-up simulation device, make-up simulation method and make-up simulation program | |
US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
JP2008234342A (ja) | 画像処理装置及び画像処理方法 | |
JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
JP2002245471A (ja) | 被写体内容に基づく修正を有する第2プリントを伴うダブルプリントの写真仕上げサービス | |
CN111243051B (zh) | 基于肖像照片的简笔画生成方法、***及存储介质 | |
US6975763B2 (en) | Shade component removing apparatus and shade component removing method for removing shade in image | |
JP2005222152A (ja) | 画像補正装置 | |
KR102009130B1 (ko) | 실시간 메이크업 진단 및 질의응답 서비스 제공 시스템 | |
JP2004030007A (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
CN116681579A (zh) | 一种实时视频人脸替换方法、介质及*** | |
KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
JP2014102713A (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
KR20010102873A (ko) | 정형 이미지 템플릿을 이용한 실사 아바타 생성 방법 및시스템 | |
KR100618493B1 (ko) | 3차원 영상 자동 생성 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050912 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081112 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4219521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |