JP2004005167A - 目位置特定方法および装置 - Google Patents

目位置特定方法および装置 Download PDF

Info

Publication number
JP2004005167A
JP2004005167A JP2002159546A JP2002159546A JP2004005167A JP 2004005167 A JP2004005167 A JP 2004005167A JP 2002159546 A JP2002159546 A JP 2002159546A JP 2002159546 A JP2002159546 A JP 2002159546A JP 2004005167 A JP2004005167 A JP 2004005167A
Authority
JP
Japan
Prior art keywords
eye position
eye
iris
image
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002159546A
Other languages
English (en)
Inventor
Takeshi Ishihara
石原 健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002159546A priority Critical patent/JP2004005167A/ja
Publication of JP2004005167A publication Critical patent/JP2004005167A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】認証時の目画像獲得において、高い精度で目位置を特定する。
【解決手段】認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目画像から瞳孔と虹彩のそれぞれの中心と径を検出し(S11、S12)、前記瞳孔の中心が前記虹彩の径に含まれ(S13)、かつ前記虹彩の中心が前記瞳孔の径に含まれる(S14)ことを目位置を特定するための条件にする。この構成により、目以外の誤った画像を認証処理の対象とすることがなくなり、高い精度で目位置を特定することができる。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は、虹彩を利用した認証装置や網膜を利用した認証装置など(以下、虹彩認証装置と記す)で必要とされる目画像獲得を行うための目位置特定方法および装置に関するものである。
【0002】
【従来の技術】
従来、この種の虹彩認証装置は、ユーザの意思あるいは自動フォーカス機能によって目の位置を合わせて、連続的に画像を取り込み、所定のフォーカス判定値以上の値が検出された時の画像を確定データとして、認証する機能を備えていた。
【0003】
【発明が解決しようとする課題】
しかし、このような従来の虹彩認証装置では、目のみならず、眼鏡、眉毛、鼻などにフォーカスが合うことも多く、また目の位置に対するフォーカスが不十分であり、目とは異なる画像を獲得することが多いという問題があった。さらに、取り込まれた目画像全体に対し、画像処理により目の位置を特定する際、睫毛などの影響により目の位置を正確に検出特定しづらいという問題があった。また、複雑な目位置特定のための演算処理を実行するために、目位置特定の時間が長くなり、また、目位置特定後に行われる認証処理を含めた全体の時間が長くなるという問題があった。
【0004】
本発明の目位置特定方法および装置は、目位置特定に関する上記問題点を解決するためになされたもので、認証時の目画像獲得において、高い精度で目位置を特定することを目的とするものである。また、目位置特定の時間や、処理全体の時間を短縮することを目的とするものである。
【0005】
【課題を解決するための手段】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目画像から瞳孔と虹彩のそれぞれの中心と径を検出し、前記瞳孔の中心が前記虹彩の径に含まれ、かつ前記虹彩の中心が前記瞳孔の径に含まれることを目位置を特定するための条件にする。
【0006】
上記構成により、瞳孔および虹彩の有無に加え、虹彩領域内に存在する瞳孔の位置関係を判定することで、目以外の誤った画像を認証処理の対象とすることがなくなり、高い精度で目位置を特定することができる。
【0007】
本発明の目位置特定方法は、請求項1記載の目位置特定方法において、前記瞳孔の中心が前記虹彩の径に含まれ、かつ前記瞳孔の円周上の任意点が前記虹彩の径の内側に含まれることを目位置を特定するための条件にする。
【0008】
上記構成により、瞳孔および虹彩の有無、虹彩領域内に存在する瞳孔の位置関係の判定に加え、瞳孔円周上の任意点が虹彩円内に存在するかを判定することで、さらに高い精度で目位置を特定することができる。
【0009】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度差および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度差を条件にして目位置を特定するための条件にする。
【0010】
上記構成により、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値との間の輝度差および虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値との間の輝度差に基づき生体眼としての瞳孔および虹彩の有無を判定することで、目以外の誤った画像を認証処理の対象と認識することがなくなり、高い精度で目位置を特定することができる。
【0011】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度変化率および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度変化率を条件にして目位置を特定するための条件にする。
【0012】
上記構成により、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値との間の輝度変化率および虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値との間の輝度変化率に基づき生体眼としての瞳孔および虹彩の有無を判定するため、目以外の誤った画像を認証処理の対象とすることがなくなり、高い精度で目位置を特定することができる。
【0013】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、瞳孔の中心が虹彩の右半径から左半径に含まれ、虹彩の中心が瞳孔の右半径から左半径に含まれ、瞳孔の右半径が虹彩の右半径より小さく、瞳孔の左半径が虹彩の左半径より小さく、瞳孔の上半径が虹彩の上半径より小さく、瞳孔の下半径が虹彩の下半径より小さいことの少なくとも1つを目位置を特定するための条件にする。
【0014】
上記構成により、瞳孔および虹彩の有無に加え、虹彩領域内に存在する瞳孔の位置関係が適正であるかを判定するため、目以外の誤った画像を認証処理の対象とすることがなくなり、高い精度で目位置を特定することができるる。
【0015】
本発明の目位置特定方法は、請求項1から6のいずれか1項記載の目位置特定方法において、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目画像を複数の短冊状に分解し、各短冊毎に抽出した画像中心座標に基づいて真の画像中心を抽出し目位置を特定する。
【0016】
上記構成により、正確な画像中心を抽出するため、以降の目位置特定処理において高い精度で目位置の特定を行うことができる。
【0017】
本発明の目位置特定方法は、請求項1記載の目位置特定方法において、強膜の領域を検出することを生体眼としての目位置を特定する条件にする。
【0018】
上記構成により、瞳孔および虹彩の有無、虹彩領域内に存在する瞳孔の位置関係の判定に加え、強膜(白目)の領域の有無を判定する機能を備えるため、さらに高い精度で目位置を特定することができる。
【0019】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目位置の画像を、獲得する目画像の範囲を変えて行う複数回の処理により特定する。
【0020】
上記構成により、範囲を変えて複数回の目位置特定を行うため、さらに高い精度で目位置を特定することができる。
【0021】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目位置の画像の欠落領域の第1の境界線を検出し、前記第1の境界線が虹彩領域あるいは瞳孔領域と重なる領域の第2の境界線を仮想生成し、前記第2の境界線と虹彩領域の境界線とで画定される有効領域が認証可能な面積かを判定する。
【0022】
上記構成により、反射光や雑音等により目画像の一部が欠落して認証処理が困難な場合は、認証処理の対象となる目画像を特定する前に、予め認証可能かを判定し、必要であれば再度目画像獲得処理を促すことで、認証不能な目画像に基づいて認証を行うことがなくなり、認証時間を短縮することができる。
【0023】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、瞳孔および虹彩を中心とする領域に限定したフォーカス判定を行った後、前記目画像を獲得する。
【0024】
上記構成により、フォーカス判定の対象を瞳孔および虹彩を中心とする領域に限定することで、認証処理に不要な目以外の領域の画像を獲得することがなくなり、また、瞳孔および虹彩を中心としたフォーカス判定を行うことができるため、高い精度で目位置を特定することができる。
【0025】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目画像に対し、隣合う画素の輝度値の変化率を用いて検出した境界線に基づいて瞳孔および虹彩の有無を検出する。
【0026】
上記構成により、隣合う画素の輝度値の変化率を用いて瞳孔と虹彩との境界あるいは虹彩と強膜(白目)との境界を検出することで、座標演算を行うことなく瞳孔および虹彩の有無を判定することができるため、目位置特定の時間を短縮することができる。
【0027】
本発明の目位置特定方法は、認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、前記目画像に対して、予め目の形状に合わせて用意した特定のテンプレートを目位置を中心に配置し、該テンプレート領域外をマスクする。
【0028】
上記構成により、目の形状に合わせたテンプレートを用いて獲得した画像からテンプレート領域外をマスクすることで、目の周辺に位置する雑音成分の原因となる睫毛等を除去して、瞳孔および虹彩の位置検出の精度を向上させ、高い精度で目位置を特定することができる。
【0029】
本発明の認証装置は、請求項1から14のいずれか1項記載の目位置特定方法を用いて特定した目位置の画像に対して認証を行う。この構成により、高い精度で特定した目位置に対して認証処理を行うことで、認証精度が向上する。また、目位置特定の時間が短縮されるため、認証処理を含めた処理全体の時間を短縮することができる。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
図1は本発明の第1の実施形態の目位置特定方法における目画像のイメージを示す図、図2は目画像の座標を示す図である。図1および図2に示すように、目画像獲得は、人の目に対して特定した瞳孔中心座標(x_p0,y_p0)1、虹彩中心座標(x_i0,y_i0)2、瞳孔円周上の任意点座標(x_p,y_p)3および虹彩円周上の任意点座標(x_i,y_i)4に基づいて行う。図3は、第1の実施形態の目位置特定方法を行うための虹彩認証装置の構成を示す図、図4は目位置特定方法の処理の流れを示す図である。
【0031】
図3に示すように、レンズ11および撮像素子12により取り込まれた画像データは、画像処理部13で認証処理の対象となる目画像決定処理が行われ、その後、認証処理部18で虹彩解析または瞳孔解析に基づく認証処理が行われる。画像処理部13は、フォーカス判定部14、画像獲得部15、瞳孔と虹彩のそれぞれの中心位置と径を検出する機能を有する目位置特定部16および認証処理の対象となる画像を決定する認証処理画像決定部17で構成される。目位置特定部16は、上記機能に加えて以降の実施形態に記載された機能を有し、第1の実施形態では瞳孔と虹彩のそれぞれの中心位置と径を比較する機能を有する。
【0032】
図4に示すように、目位置特定部16の処理は、瞳孔中心座標(x_p,y_p)および径(rp)の検出(S11)および虹彩中心座標(x_i,y_i)および径(ri)の検出(S12)を行い、その後、瞳孔中心が虹彩の径に含まれるかを判断し(x_i0−ri<x_p0<x_i0+ri,y_i0−ri<y_p0<y_i0+ri)(S13)、虹彩中心が瞳孔の径に含まれるかを判断する(x_p0−rp<x_i0<x_p0+rp,y_p0−rp<y_i0<y_p0+rp)(S14)。瞳孔中心が虹彩の径に含まれ、かつ虹彩中心が瞳孔の径に含まれることを目位置を特定するための条件とする。
【0033】
図1に示したように、人の目画像であると認識するためには、虹彩領域内に瞳孔が位置している必要があるが、第1の実施形態によれば、目位置特定部16において、瞳孔および虹彩の有無に加え、虹彩領域内に存在する瞳孔の位置関係を判定する機能を備えるため、目以外の誤った画像を認証処理の対象とすることがなくなる。
【0034】
図5は本発明の第2の実施形態の目位置特定方法の処理の流れを示す図である。第2の実施形態では、第1の実施形態の処理に加え、瞳孔円周上の任意点が虹彩円内に存在するかを判定する(S15)。この判定は、瞳孔中心と瞳孔円周上の任意点との距離aと、虹彩中心と虹彩円周上の任意点との距離bとを比較し、a<bの関係にあることを条件に行う。ここで、a=√((x_p−x_p0)+(y_p−y_p0))、b=√((x_i−x_i0)+(y_i−y_i0))である。
【0035】
図1に示すように、人の目画像であると認識するためには、虹彩領域内に瞳孔が位置している必要があるが、第2の実施形態によれば、目位置特定部16において、瞳孔および虹彩の有無、虹彩領域内に存在する瞳孔の位置関係の判定に加え、瞳孔円周上の任意点が虹彩円内に存在するかを判定する機能を備えるため、さらに高い精度で目画像を認識することができる。
【0036】
図6は本発明の第3の実施形態の目位置特定方法の処理の流れを示す図である。第3の実施形態では、瞳孔中心座標(x_p,y_p)および径(rp)を検出して瞳孔領域の抽出(S16)および虹彩中心座標(x_i,y_i)および径(ri)を検出して虹彩領域の抽出(S17)を行う。その後、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値とを比較し、輝度差が所定の範囲内かの判定を行い(S18)、虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値とを比較し、輝度差が所定の範囲内かの判定を行う(S19)。
【0037】
図1に示すように、人の目画像であると認識するためには、強膜(白目)領域と虹彩との間に輝度差があり、かつ虹彩と瞳孔との間に輝度差がある必要があるが、第3の実施形態によれば、目位置特定部16において、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値との間の輝度差および虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値との間の輝度差に基づき生体眼としての瞳孔および虹彩の有無を判定する機能を備えるため、目以外の誤った画像を認証処理の対象とすることがなくなる。
【0038】
図7は本発明の第4の実施形態の目位置特定方法の処理の流れを示す図である。第4の実施形態では、瞳孔中心座標(x_p,y_p)および径(rp)を検出して瞳孔領域の抽出(S16)および虹彩中心座標(x_i0,y_i0)および径(ri)を検出して虹彩領域の抽出(S17)を行う。その後、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値とを比較し、輝度変化率が所定の範囲内かの判定を行い(S18)、虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値とを比較し、輝度変化率が所定の範囲内かの判定を行う(S19)。
【0039】
図1に示すように、人の目画像であると認識するためには、強膜(白目)領域と虹彩との間の輝度差および虹彩と瞳孔との間の輝度差があり、かつこられの輝度差が所定の変化率である必要があるが、第4の実施形態によれば、目位置特定部16において、瞳孔領域内の任意点の輝度値と虹彩領域内の輝度値との間の輝度変化率および虹彩領域内の任意点の輝度値と強膜(白目)領域の輝度値との間の輝度変化率に基づき生体眼としての瞳孔および虹彩の有無を判定する機能を備えるため、目以外の誤った画像を認証処理の対象とすることがなくなる。
【0040】
図8は本発明の第5の実施形態の目位置特定方法における目画像の座標を示す図である。図8に示すように、目画像獲得は、人の目に対して特定した瞳孔中心座標(x_p0,y_p0)1、虹彩中心座標(x_i0,y_i0)2に加え、瞳孔水平右半径(rp_r)19、瞳孔水平左半径(rp_l)20、虹彩水平右半径(ri_r)21、虹彩水平左半径(ri_l)22、瞳孔垂直上半径(rp_u)23、瞳孔垂直下半径(rp_d)24、虹彩垂直上半径(ri_u)25および虹彩垂直下半径(ri_d)26に基づいて行う。図9は、第5の実施形態の目位置特定方法の処理の流れを示す図である。ここで、瞳孔半径rp=rp_r+rp_l(rp_u+rp_d)、虹彩半径ri=ri_r+ri_l(ri_u+ri_d)である。
【0041】
図9に示すように、第5の実施形態では、瞳孔中心座標(x_p,y_p)および瞳孔水平右半径(rp_r)、瞳孔水平左半径(rp_l)、瞳孔垂直上半径(rp_u)、瞳孔垂直下半径(rp_d)の検出(S22)ならびに虹彩中心座標(x_i,y_i)および虹彩水平右半径(ri_r)、虹彩水平左半径(ri_l)、虹彩垂直上半径(ri_u)、虹彩垂直下半径(ri_d)の検出(S23)を行い、その後、瞳孔中心が虹彩水平右半径から左半径に含まれるかを判断し(x_i0−ri<x_p0<x_i0+ri,y_i0−ri<y_p0<y_i0+ri)(S24)、虹彩中心が瞳孔水平右半径から左半径に含まれるかを判断し(x_p0−rp<x_i0<x_p0+rp,y_p0−rp<y_i0<y_p0+rp)(S25)、瞳孔水平右半径が虹彩水平右半径より小さく(rp_r<ri_r)、瞳孔水平左半径が虹彩水平左半径より小さく(rp_l<ri_l)、かつ瞳孔垂直上半径が虹彩垂直上半径より小さく(rp_u<ri_u)、瞳孔垂直下半径が虹彩垂直下半径より小さいかを判断する(rp_d<ri_d)(S26)。瞳孔中心が虹彩水平右半径から左半径に含まれ、虹彩中心が瞳孔水平右半径から左半径に含まれ、かつ瞳孔水平右半径が虹彩水平右半径より小さく、瞳孔水平左半径が虹彩水平左半径より小さく、瞳孔垂直上半径が虹彩垂直上半径より小さく、瞳孔垂直下半径が虹彩垂直下半径より小さいことを条件に虹彩領域内に瞳孔があると判定し、このときの目画像を認証処理の対象とする。
【0042】
図1に示したように、人の目画像であると認識するためには、虹彩領域内に瞳孔が位置している必要があるが、第5の実施形態によれば、目位置特定部16において、瞳孔および虹彩の有無に加え、虹彩領域内に存在する瞳孔の位置関係が適正であるかを判定する機能を備えるため、目以外の誤った画像を認証処理の対象とすることがなくなる。
【0043】
図10は本発明の第6の実施形態の目位置特定方法における目画像のイメージを示す図である。図10に示すように、目画像獲得は、人の目に対して特定した瞳孔中心座標(x_p0,y_p0)、虹彩中心座標(x_i0,y_i0)、瞳孔円周上の任意点座標および虹彩円周上の任意点座標に加え、雑音成分を除去するために複数の短冊状に分割した検出範囲27に基づいて行う。図11は、第6の実施形態の目位置特定方法の処理の流れを示す図である。
【0044】
図11に示すように、第6の実施形態では、瞳孔中心座標((x_p,y_p))および径(rp)の検出(S11)および虹彩中心座標(x_i,y_i)および径(ri)の検出(S12)を行う前に、画像を短冊状に分解する(S27)。その後、各短冊毎に抽出した画像中心座標に基づいて真の画像中心を抽出し(S28)、目位置を特定する(S29)。例えば、各短冊毎に抽出した複数の画像中心から多数決で決定した画像中心を真の画像中心とする。
【0045】
第6の実施形態によれば、目位置特定部16において、正確な画像中心を抽出する機能を備えるため、以降の目位置特定処理において精度の高い検出が可能となる。
【0046】
図12は本発明の第7の実施形態の目位置特定方法の処理の流れを示す図である。第7の実施形態では、第1の実施形態に加え、強膜(白目)の領域の有無を判定する(S30)。
【0047】
第7の実施形態によれば、目位置特定部16において、瞳孔および虹彩の有無、虹彩領域内に存在する瞳孔の位置関係の判定に加え、強膜(白目)の領域の有無を判定する機能を備えるため、さらに高い精度で目画像を認識することができる。
【0048】
図13は本発明の第8の実施形態の目位置特定方法の処理の流れを示す図である。第8の実施形態では、目位置特定部16において、瞳孔あるいは虹彩のそれぞれの中心と位置の検出結果に基づき、獲得する目画像の範囲を変えて複数回の目位置特定処理を行う(S31、S32、S33)。この場合、眉毛やほくろなど明らかに目画像とは異なる画像が含まれている場合は、これらの画像を使用せずに認証処理画像を決定する。
【0049】
第8の実施形態によれば、目位置特定部16において、範囲を変えて複数回の目位置特定を行う機能を備えるため、さらに高い精度で目画像を認識することができる。
【0050】
図14は本発明の第9の実施形態の目位置特定方法における目画像のイメージを示す図、図15は目画像の座標を示す図、図16は目位置特定方法の処理の流れを示す図である。図14および図15に示すように、第9の実施形態では、虹彩あるいは瞳孔における反射光や雑音等により目画像の一部が欠落したときの目位置特定を行う。図14において、目画像の欠落領域は、目画像のうちの瞳孔領域および虹彩領域の一部に存在し、図15の座標において、欠落領域の境界線Ia、欠落領域と虹彩領域あるいは瞳孔領域と重なる領域の境界線Ib、虹彩領域の境界線Icで示される。
【0051】
図16に示すように、目位置を特定した目画像に対して、反射光などにより欠落した領域の境界線Iaを検出し(S34)、境界線Iaが虹彩領域あるいは瞳孔領域と重なる領域の境界線Ibを仮想生成する(S35)。境界線Ibと虹彩領域の境界線Icとで画定される有効領域が認証可能な面積かを判定する(S36)。認証可能な面積と判定した場合は、このときの目画像を認証処理の対象とする。認証可能な面積は、要求される認証精度に応じて変わり、低い認証精度の場合は虹彩領域を完全に特定できなくてもよいため、認証可能な面積は小さい。一方、高い認証精度の場合は虹彩領域をほぼ完全に特定する必要があるため、認証可能な面積は大きい。また、誤認識を許容できる範囲に認証可能な面積を設定するようにしてもよい。
【0052】
第9の実施形態によれば、反射光や雑音等により目画像の一部が欠落して認証処理が困難な場合は、目位置特定部16において、認証処理の対象となる目画像を特定する前に、予め認証可能かを判定し、必要であれば再度目画像獲得処理を促す機能を備えることで、不要な認証を行うことがなくなる。
【0053】
図17は本発明の第10の実施形態の目位置特定方法における目画像のイメージを示す図である。第10の実施形態では、フォーカス判定部14において、瞳孔および虹彩を中心とする領域(フォーカス判定エリア29)に限定したフォーカス演算を行い、フォーカス判定を行う。
【0054】
第10の実施形態によれば、フォーカス判定部14において、フォーカス判定の対象を瞳孔および虹彩を中心とする領域に限定すること、認証処理に不要な目以外の領域の画像を獲得することがなくなり、また、瞳孔および虹彩を中心としたフォーカス判定を行うことができる。
【0055】
図18は第11の実施形態の目位置特定方法の目画像の座標を示す図、図19は目位置特定方法の処理の流れを示す図である。第11の実施形態では、隣合う画素の輝度値の変化率を用いて獲得した画像の中から瞳孔と虹彩との境界あるいは虹彩と強膜(白目)との境界を検出する。
【0056】
図19に示すように、目位置特定部16の処理は、まず、隣合う画素の輝度値の変化率を用いて、獲得した画像の中から境界線を検出し(S37)、検出した境界線が弧状であれば瞳孔と虹彩との境界線と判断する(S38)。次に、隣合う画素の輝度値の変化率を用いて、獲得した画像の中から境界線を検出し(S39)、検出した境界線が弧状であれば虹彩と強膜(白目)との境界線と判断する(S40)。輝度値の変化率は、瞳孔と虹彩および虹彩と強膜(白目)のそれぞれの境界線を検出するために予め設定される。
【0057】
第11の実施形態によれば、目位置特定部16において、隣合う画素の輝度値の変化率を用いて瞳孔と虹彩との境界あるいは虹彩と強膜(白目)との境界を検出する機能を備えることで、座標演算を行うことなく瞳孔および虹彩の有無を判定することができる。
【0058】
図20は第12の実施形態の目位置特定方法の目画像のイメージを示す図である。第12の実施形態では、予め目の形状に合わせて用意した特定のテンプレート32を、獲得した画像に対して目位置を中心に配置しテンプレート領域外をマスクする。
【0059】
第12の実施形態によれば、目位置特定部16において、目の形状に合わせたテンプレートを用いて獲得した画像からテンプレート領域外をマスクする機能を備えることで、目の周辺に位置する雑音成分の原因となる睫毛等を除去して、瞳孔および虹彩の位置検出の精度を向上させ、高い精度で目画像を認識することができる。
【0060】
図21は本発明の第13の実施形態の目位置特定方法を行うための虹彩認証装置の構成を示している。第13の実施形態では、目位置特定部16で特定した目位置情報をフォーカス判定部14へフィードバックする。
【0061】
第13の実施形態に示した虹彩認証装置を適用することで、フォーカス判定部14でのフォーカス判定精度が向上するため、瞳孔および虹彩の位置検出精度が向上する。従って、高い精度で瞳孔および虹彩の有無の判定、位置関係の判定、生体眼の検出を行うことができ、目以外の誤った画像を認証処理の対象と認識することがなくなる。
【0062】
【発明の効果】
以上説明したように、本発明は、瞳孔および虹彩の有無に加え、虹彩領域内に存在する瞳孔の位置関係を判定することで、目以外の誤った画像を認証処理の対象とすることがなくなり、高い精度で目位置を特定することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の目位置特定方法における目画像のイメージ。
【図2】本発明の第1の実施形態の目位置特定方法における目画像の座標。
【図3】本発明の第1の実施形態の目位置特定方法を行うための認証装置。
【図4】本発明の第1の実施形態の目位置特定方法を示すフローチャート。
【図5】本発明の第2の実施形態の目位置特定方法を示すフローチャート。
【図6】本発明の第3の実施形態の目位置特定方法を示すフローチャート。
【図7】本発明の第4の実施形態の目位置特定方法を示すフローチャート。
【図8】本発明の第5の実施形態の目位置特定方法における目画像のイメージ。
【図9】本発明の第5の実施形態の目位置特定方法を示すフローチャート。
【図10】本発明の第6の実施形態の目位置特定方法における目画像のイメージ。
【図11】本発明の第6の実施形態の目位置特定方法を示すフローチャート。
【図12】本発明の第7の実施形態の目位置特定方法を示すフローチャート。
【図13】本発明の第8の実施形態の目位置特定方法を示すフローチャート。
【図14】本発明の第9の実施形態の目位置特定方法における目画像のイメージ。
【図15】本発明の第9の実施形態の目位置特定方法における目画像の座標。
【図16】本発明の第9の実施形態の目位置特定方法を示すフローチャート。
【図17】本発明の第10の実施形態の目位置特定方法における目画像のイメージ。
【図18】本発明の第11の実施形態の目位置特定方法における目画像のイメージ。
【図19】本発明の第11の実施形態の目位置特定方法を示すフローチャート。
【図20】本発明の第12の実施形態の目位置特定方法における目画像のイメージ。
【図21】本発明の第13の実施形態の認証装置。
【符号の説明】
1  瞳孔中心座標
2  虹彩中心座標
3  瞳孔円周上の任意点座標
4  虹彩円周上の任意点座標
5  強膜(白目)
8  睫毛
9  上瞼
10 下瞼
11 レンズ
12 撮像素子
13 画像処理部
14 フォーカス判定部
15 画像獲得部
16 目位置特定部
17 認証処理画像決定部
18 認証処理部
19 瞳孔水平右半径
20 瞳孔水平左半径
21 虹彩水平右半径
22 虹彩水平左半径
23 瞳孔垂直上半径
24 瞳孔垂直下半径
25 虹彩垂直上半径
26 虹彩垂直下半径
27 検出範囲
28 反射光による目画像の欠落領域
29 フォーカス判定エリア
31 画素
32 テンプレート

Claims (29)

  1. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目画像から瞳孔と虹彩のそれぞれの中心と径を検出し、前記瞳孔の中心が前記虹彩の径に含まれ、かつ前記虹彩の中心が前記瞳孔の径に含まれることを目位置を特定するための条件にすることを特徴とする目位置特定方法。
  2. 前記瞳孔の中心が前記虹彩の径に含まれ、かつ前記瞳孔の円周上の任意点が前記虹彩の径の内側に含まれることを目位置を特定するための条件にすることを特徴とする請求項1記載の目位置特定方法。
  3. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度差および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度差を条件にして目位置を特定するための条件にすることを特徴とする目位置特定方法。
  4. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度変化率および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度変化率を条件にして目位置を特定するための条件にすることを特徴とする目位置特定方法。
  5. 前記目位置が生体眼としての目位置であることを特徴とする請求項3または4記載の目位置特定方法。
  6. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    瞳孔の中心が虹彩の右半径から左半径に含まれ、虹彩の中心が瞳孔の右半径から左半径に含まれ、瞳孔の右半径が虹彩の右半径より小さく、瞳孔の左半径が虹彩の左半径より小さく、瞳孔の上半径が虹彩の上半径より小さく、瞳孔の下半径が虹彩の下半径より小さいことの少なくとも1つを目位置を特定するための条件にすることを特徴とする目位置特定方法。
  7. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目画像を複数の短冊状に分解し、各短冊毎に抽出した画像中心座標に基づいて真の画像中心を抽出し目位置を特定することを特徴とする請求項1から6のいずれか1項記載の目位置特定方法。
  8. 強膜の領域を検出することを生体眼としての目位置を特定する条件にすることを特徴とする請求項1記載の目位置特定方法。
  9. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目位置の画像を、獲得する目画像の範囲を変えて行う複数回の処理により特定することを特徴とする目位置特定方法。
  10. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目位置の画像の欠落領域の第1の境界線を検出し、前記第1の境界線が虹彩領域あるいは瞳孔領域と重なる領域の第2の境界線を仮想生成し、前記第2の境界線と虹彩領域の境界線とで画定される有効領域が認証可能な面積かを判定することを特徴とする目画像特定方法。
  11. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    瞳孔および虹彩を中心とする領域に限定したフォーカス判定を行った後、前記目画像を獲得することを特徴とする目位置特定方法。
  12. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目画像に対し、隣合う画素の輝度値の変化率を用いて検出した境界線に基づいて瞳孔および虹彩の有無を検出することを特徴とする目位置特定方法。
  13. 前記境界線が弧状であるときに前記瞳孔および虹彩の有無を検出することを特徴とする請求項12記載の目位置特定方法。
  14. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定方法において、
    前記目画像に対して、予め目の形状に合わせて用意した特定のテンプレートを目位置を中心に配置し、該テンプレート領域外をマスクすることを特徴とする目位置特定方法。
  15. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目画像から瞳孔と虹彩のそれぞれの中心と径を検出し、前記瞳孔の中心が前記虹彩の径に含まれ、かつ前記虹彩の中心が前記瞳孔の径に含まれることを条件にして目位置を特定する目位置特定手段を備えることを特徴とする目位置特定装置。
  16. 前記目位置特定手段が、前記瞳孔の中心が虹彩の径に含まれ、かつ前記瞳孔の円周上の任意点が虹彩の径の内側に含まれることを条件にすることを特徴とする請求項15記載の目位置特定装置。
  17. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度差および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度差を条件にして目位置を特定する目位置特定手段を備えることを特徴とする目位置特定装置。
  18. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    瞳孔領域の任意点の輝度値と虹彩領域の任意点の輝度値との所定の輝度変化率および前記虹彩領域の任意点の輝度値と強膜領域の任意点の輝度値との所定の輝度変化率を条件にして目位置を特定する目位置特定手段を備えることを特徴とする目位置特定装置。
  19. 前記目位置が生体眼としての目位置であることを特徴とする請求項17または18記載の目位置特定装置。
  20. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    瞳孔の中心が虹彩の右半径から左半径に含まれ、虹彩の中心が瞳孔の右半径から左半径に含まれ、瞳孔の右半径が虹彩の右半径より小さく、瞳孔の左半径が虹彩の左半径より小さく、瞳孔の上半径が虹彩の上半径より小さく、瞳孔の下半径が虹彩の下半径より小さいことの少なくとも1つを条件にして目位置を特定する目位置を特定する目位置特定手段を備えることを特徴とする目位置特定装置。
  21. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目位置特定手段が、前記目画像を複数の短冊状に分解し、各短冊毎に抽出した画像中心座標に基づいて真の画像中心を抽出し目位置を特定することを特徴とする請求項15から20のいずれか1項記載の目位置特定装置。
  22. 前記目位置特定手段が、強膜の領域を検出することを条件にして生体眼としての目位置を特定することを特徴とする請求項13記載の目位置特定装置。
  23. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目位置の画像を、獲得する目画像の範囲を変えて行う複数回の処理により特定する手段を備えることを特徴とする目位置特定装置。
  24. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目位置の画像の欠落領域の第1の境界線を検出し、前記第1の境界線が虹彩領域あるいは瞳孔領域と重なる領域の第2の境界線を仮想生成し、前記第2の境界線と虹彩領域の境界線とで画定される有効領域が認証可能な面積かを判定する手段を備えることを特徴とする目画像特定装置。
  25. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    瞳孔および虹彩を中心とする領域に限定したフォーカス判定を行い目画像を獲得するフォーカス判定手段を備えることを特徴とする目位置特定装置。
  26. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目画像に対し、隣合う画素の輝度値の変化率を用いて検出した境界線に基づいて瞳孔および虹彩の有無を検出する目位置特定手段を備えることを特徴とする目位置特定装置。
  27. 前記境界線が弧状であるときに前記瞳孔および虹彩の有無を検出することを特徴とする請求項26記載の目位置特定装置。
  28. 認証のために獲得した目画像に対して認証対象となる目位置の画像を特定する目位置特定装置において、
    前記目画像に対して、予め目の形状に合わせて用意した特定のテンプレートを目位置を中心に配置し、該テンプレート領域外をマスクする目位置特定手段を備えることを特徴とする目位置特定装置。
  29. 請求項1から14のいずれか1項記載の目位置特定方法を用いて特定した目位置の画像に対して認証を行う認証装置。
JP2002159546A 2002-05-31 2002-05-31 目位置特定方法および装置 Pending JP2004005167A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002159546A JP2004005167A (ja) 2002-05-31 2002-05-31 目位置特定方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002159546A JP2004005167A (ja) 2002-05-31 2002-05-31 目位置特定方法および装置

Publications (1)

Publication Number Publication Date
JP2004005167A true JP2004005167A (ja) 2004-01-08

Family

ID=30429279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002159546A Pending JP2004005167A (ja) 2002-05-31 2002-05-31 目位置特定方法および装置

Country Status (1)

Country Link
JP (1) JP2004005167A (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
US7761453B2 (en) 2005-01-26 2010-07-20 Honeywell International Inc. Method and system for indexing and searching an iris image database
US7933507B2 (en) 2006-03-03 2011-04-26 Honeywell International Inc. Single lens splitter camera
US8045764B2 (en) 2005-01-26 2011-10-25 Honeywell International Inc. Expedient encoding system
US8050463B2 (en) 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8085993B2 (en) 2006-03-03 2011-12-27 Honeywell International Inc. Modular biometrics collection system architecture
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
KR101164769B1 (ko) * 2011-12-13 2012-07-12 한국 한의학 연구원 눈 특징점 검출장치 및 방법
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8285005B2 (en) 2005-01-26 2012-10-09 Honeywell International Inc. Distance iris recognition
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
CN108288248A (zh) * 2018-01-02 2018-07-17 腾讯数码(天津)有限公司 一种眼部图像融合方法及其设备、存储介质、终端
WO2018220963A1 (ja) * 2017-06-02 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10417494B2 (en) 2015-09-30 2019-09-17 Fujitsu Limited Line-of-sight detection method and device
CN113032017A (zh) * 2019-12-25 2021-06-25 大众问问(北京)信息科技有限公司 一种设备唤醒方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787510A (ja) * 1993-07-19 1995-03-31 Sharp Corp 特徴領域抽出方法及び特徴領域抽出回路
JP2000036036A (ja) * 1998-07-17 2000-02-02 Media Technology:Kk アイリス情報取得装置およびアイリス識別装置
JP2001184483A (ja) * 1999-12-22 2001-07-06 Oki Electric Ind Co Ltd 個人識別装置及び個人識別方法
JP2001522679A (ja) * 1997-11-14 2001-11-20 ブラウン、スチュアート 自動光反射スクリーニング
JP2002125142A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787510A (ja) * 1993-07-19 1995-03-31 Sharp Corp 特徴領域抽出方法及び特徴領域抽出回路
JP2001522679A (ja) * 1997-11-14 2001-11-20 ブラウン、スチュアート 自動光反射スクリーニング
JP2000036036A (ja) * 1998-07-17 2000-02-02 Media Technology:Kk アイリス情報取得装置およびアイリス識別装置
JP2001184483A (ja) * 1999-12-22 2001-07-06 Oki Electric Ind Co Ltd 個人識別装置及び個人識別方法
JP2002125142A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US7761453B2 (en) 2005-01-26 2010-07-20 Honeywell International Inc. Method and system for indexing and searching an iris image database
US8045764B2 (en) 2005-01-26 2011-10-25 Honeywell International Inc. Expedient encoding system
US8050463B2 (en) 2005-01-26 2011-11-01 Honeywell International Inc. Iris recognition system having image quality metrics
US8488846B2 (en) 2005-01-26 2013-07-16 Honeywell International Inc. Expedient encoding system
US8285005B2 (en) 2005-01-26 2012-10-09 Honeywell International Inc. Distance iris recognition
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US8761458B2 (en) 2006-03-03 2014-06-24 Honeywell International Inc. System for iris detection, tracking and recognition at a distance
US8085993B2 (en) 2006-03-03 2011-12-27 Honeywell International Inc. Modular biometrics collection system architecture
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US7933507B2 (en) 2006-03-03 2011-04-26 Honeywell International Inc. Single lens splitter camera
JP2007272435A (ja) * 2006-03-30 2007-10-18 Univ Of Electro-Communications 顔特徴抽出装置及び顔特徴抽出方法
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
KR101164769B1 (ko) * 2011-12-13 2012-07-12 한국 한의학 연구원 눈 특징점 검출장치 및 방법
US10417494B2 (en) 2015-09-30 2019-09-17 Fujitsu Limited Line-of-sight detection method and device
WO2018220963A1 (ja) * 2017-06-02 2018-12-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11080888B2 (en) 2017-06-02 2021-08-03 Sony Corporation Information processing device and information processing method
CN108288248A (zh) * 2018-01-02 2018-07-17 腾讯数码(天津)有限公司 一种眼部图像融合方法及其设备、存储介质、终端
CN113032017A (zh) * 2019-12-25 2021-06-25 大众问问(北京)信息科技有限公司 一种设备唤醒方法、装置及电子设备
CN113032017B (zh) * 2019-12-25 2024-02-02 大众问问(北京)信息科技有限公司 一种设备唤醒方法、装置及电子设备

Similar Documents

Publication Publication Date Title
JP2004005167A (ja) 目位置特定方法および装置
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
US7197166B2 (en) Iris extraction method capable of precisely determining positions and sizes of irises in a digital face image
CN107438854B (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的***和方法
US9971920B2 (en) Spoof detection for biometric authentication
US9733703B2 (en) System and method for on-axis eye gaze tracking
US9361681B2 (en) Quality metrics for biometric authentication
US20160019420A1 (en) Multispectral eye analysis for identity authentication
US20160019421A1 (en) Multispectral eye analysis for identity authentication
WO2016010721A1 (en) Multispectral eye analysis for identity authentication
JP2002056394A (ja) 眼位置検出方法および眼位置検出装置
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
KR20080025610A (ko) 홍채 검출 방법 및 이를 위한 장치
JP2004021406A (ja) 目位置特定方法及び認証装置
WO2006035890A1 (ja) 視線検出方法
JP2007272435A (ja) 顔特徴抽出装置及び顔特徴抽出方法
JPH08238222A (ja) 視線認識装置
CN105259729B (zh) 一种af快速对焦方法
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN1567377B (zh) 数字图像的红眼处理方法
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP2007236668A (ja) 撮影装置および認証装置ならびに撮影方法
KR101548625B1 (ko) 글린트 제거방법과 이를 이용한 홍채 인식 제어장치
CN107223255A (zh) 一种基于虹膜识别的图像预览方法及装置
JP2013029996A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050509

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071114

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080521

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080924