JP6526494B2 - 情報処理プログラム及び情報処理装置 - Google Patents

情報処理プログラム及び情報処理装置 Download PDF

Info

Publication number
JP6526494B2
JP6526494B2 JP2015127421A JP2015127421A JP6526494B2 JP 6526494 B2 JP6526494 B2 JP 6526494B2 JP 2015127421 A JP2015127421 A JP 2015127421A JP 2015127421 A JP2015127421 A JP 2015127421A JP 6526494 B2 JP6526494 B2 JP 6526494B2
Authority
JP
Japan
Prior art keywords
information
points
point
feature
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015127421A
Other languages
English (en)
Other versions
JP2017010419A (ja
Inventor
梅崎 太造
太造 梅崎
政大 保黒
政大 保黒
公央亮 服部
公央亮 服部
雄平 原田
雄平 原田
健滋 三吉野
健滋 三吉野
徳田 清仁
清仁 徳田
達樹 吉嶺
達樹 吉嶺
祐平 丹羽
祐平 丹羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DDS KK
Original Assignee
DDS KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DDS KK filed Critical DDS KK
Priority to JP2015127421A priority Critical patent/JP6526494B2/ja
Publication of JP2017010419A publication Critical patent/JP2017010419A/ja
Application granted granted Critical
Publication of JP6526494B2 publication Critical patent/JP6526494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像を解析して、生体情報の照合に用いられる照合情報を作成する情報処理プログラム及び情報処理装置に関する。
近年、スマートフォン及びノートパソコンのようなモバイル機器に搭載可能な、指紋認証装置が種々検討されている。例えば、特許文献1には、指紋画像を周波数スペクトル変換した情報を照合に用いる照合情報とすることで、指紋センサーに対する指の傾き等の外乱の影響を受けにくい個人識別装置が開示されている。
特許第3057590号明細書
モバイル機器に搭載される指紋センサーの小型化に伴い、取得される指紋の画像は従来に比べ小さくなっている。ユーザーは指紋の入力操作を行う場合、モバイル機器を所持した側の手の指を、モバイル機器に搭載された指紋センサーに接触させることが多い。この場合、ユーザーは指を不自然な向きに移動させなければならないので、指紋の入力操作は不安定になりやすい。つまり、登録時とは位置及び角度が異なる条件で取得された画像が取得されやすい。したがって、従来に比べ画像の大きさが小さい場合であっても、生体情報の取得条件の影響を受けにくい照合情報を作成する技術が要求されている。
本発明の目的は、生体情報を表す画像の大きさが従来に比べ小さい場合であっても、生体情報の取得条件の影響を受けにくい照合情報を作成可能な情報処理プログラム及び情報処理装置を提供することである。
本発明の第1態様に係る情報処理プログラムは、プロセッサと、記憶手段とを備えたコンピュータに、画像を取得する画像取得ステップと、前記画像取得ステップで取得された前記画像を解析して、特徴点を抽出する抽出ステップと、前記抽出ステップで抽出された前記特徴点を3つ取得する特徴点取得ステップと、前記特徴点取得ステップで取得された3つの前記特徴点によって表される三角形の幾何学的特徴量を算出する特徴量算出ステップと、前記特徴点取得ステップで取得された前記3つの特徴点の中から、2つの特徴点をそれぞれ注目点として選択する選択ステップと、前記選択ステップで選択された2つの前記注目点を結ぶ線分上の点であって、前記幾何学的特徴量に基づき決定された点である第1参照点の位置に対応する第1情報を、互いに位置が異なる複数の前記第1参照点のそれぞれについて取得する参照点取得ステップと、前記参照点取得ステップで取得された複数の前記第1情報のそれぞれについて、前記第1情報に対応する前記第1参照点を中心とする所定半径の円の周上の点であって、前記幾何学的特徴量に基づき決定された点である第2参照点に対応する色情報と、前記第2参照点の位置に対応する第2情報とを対応づけた情報であるサンプルを、互いに位置が異なる複数の前記第2参照点のそれぞれについて取得し、取得された複数の前記サンプルと、前記第1情報とを対応づけた情報をサンプル情報とする処理を行うサンプル情報取得ステップと、前記サンプル情報取得ステップで取得された前記サンプル情報に基づき、前記複数の第1参照点のそれぞれについて、前記第2情報に対する前記色情報の変化の周波数成分を算出し、前記複数の第1参照点のそれぞれについて算出された前記周波数成分を前記第1情報と対応づけた情報である周波数情報を取得する周波数情報取得ステップと、前記サンプル情報及び前記周波数情報を、前記幾何学的特徴量と対応づけた情報を、生体情報の照合に用いる照合情報として前記記憶手段に記憶させる記憶制御ステップとを実行させるためのプログラムである。
第1態様の情報処理プログラムに基づき照合情報を生成すれば、画像から抽出された特徴点に基づきサンプル情報及び周波数情報を含む照合情報が取得される。サンプル情報及び周波数情報は、抽出された特徴点の中から選択された2つの注目点を結ぶ線分の周囲の点の色情報の変化を表す情報である。このため、画像から抽出された特徴点の数が少ない場合にも、精度よく照合可能な情報を生成することができる。サンプル情報及び周波数情報は、幾何学的特徴量に基づき決定された点について取得された情報である。したがって、本プログラムに基づき照合情報を生成すれば、幾何学的特徴量が考慮されない点について情報が取得された場合に比べ、画像によって表される情報(例えば、指紋画像又は静脈画像によって表される生体情報)が基準に対して回転したり、移動したりした影響が低減された照合情報を生成することができる。
第1態様の情報処理プログラムの前記選択ステップは、前記3つの特徴点の全ての2点の組み合わせに対応する3組の前記2つの注目点のそれぞれを選択してもよい。この場合の情報処理プログラムに基づき照合情報が生成されれば、1組の2つの注目点が選択される場合に比べ、多くの照合情報が生成される。
第1態様の情報処理プログラムは、照合の対象となるテスト用の前記照合情報と、前記記憶手段に記憶された参照用の前記照合情報と照合する照合ステップを備えてもよい。この場合の情報処理プログラムに基づき生体情報の照合が実行されれば、画像から抽出された特徴点に基づきサンプル情報及び周波数情報を取得するため、画像から抽出された特徴点の数が少ない場合にも、精度よく照合可能である。サンプル情報及び周波数情報は、幾何学的特徴量に基づき決定された点について取得された情報である。したがって、本プログラムに基づき照合すれば、幾何学的特徴量が考慮されない点について情報が取得された場合に比べ、生体情報が基準に対して回転したり、移動したりした影響が低減された、精度のよい照合結果を得ることができる。
第1態様の情報処理プログラムの前記特徴点取得ステップは、前記抽出ステップで抽出された複数の前記特徴点のうち、前記所定半径に基づき決定された所定範囲内にある複数の特徴点から前記3つの特徴点を選択する場合の、全ての組み合わせに対応する複数組の前記3つの特徴点を取得し、前記選択ステップは、前記特徴点取得ステップで取得された前記複数組の3つの特徴点のうち、前記特徴量算出ステップで算出された前記幾何学的特徴量に基づき、前記三角形の面積が所定値以上となる前記3つの特徴点について、前記2つの注目点を選択する処理を実行し、前記照合ステップは、前記テスト用の照合情報で表されるテスト用の前記三角形と、前記参照用の照合情報で表される参照用の前記三角形とのそれぞれの前記幾何学的特徴量を、前記三角形の面積が大きい順に比較して、類似度が閾値以下となる、前記テスト用の三角形と、前記参照用の三角形とのペアを抽出するペア抽出ステップと、前記ペア抽出ステップで抽出された前記テスト用の三角形に対応する前記サンプル情報及び前記周波数情報と、前記参照用の三角形に対応する前記サンプル情報及び前記周波数情報とを照合する抽出後照合ステップとを備えてもよい。
特徴点取得ステップで取得された3つの特徴点のそれぞれの位置が互いに近接し、3つの特徴点で表される三角形の面積が所定値未満の場合には、三角形の面積が所定値以上の場合に比べ、サンプル情報が示す色情報の変化が少ない。このため、この場合の情報処理プログラムに基づき生体情報の照合が実行されれば、3つの特徴点で表される三角形の面積が所定値未満の場合には、それら3つの特徴点に基づき、照合情報は取得されない。したがって本発明のプログラムによれば、三角形の面積が所定値未満となる3つの特徴点に基づき照合情報が生成される場合に比べ、照合情報を用いた照合の精度を高めることができる。
本発明の第2態様に係る情報処理装置は、情報を記憶する記憶手段と、画像を取得する画像取得手段と、前記画像取得手段によって取得された前記画像を解析して、特徴点を抽出する抽出手段と、前記抽出手段によって抽出された前記特徴点を3つ取得する特徴点取得手段と、前記特徴点取得手段によって取得された3つの前記特徴点によって表される三角形の幾何学的特徴量を算出する特徴量算出手段と、前記特徴点取得手段によって取得された前記3つの特徴点の中から、2つの特徴点をそれぞれ注目点として選択する選択手段と、前記選択手段によって選択された2つの前記注目点を結ぶ線分上の点であって、前記幾何学的特徴量に基づき決定された点である第1参照点の位置に対応する第1情報を、互いに位置が異なる複数の前記第1参照点のそれぞれについて取得する参照点取得手段と、前記参照点取得手段によって取得された複数の前記第1情報のそれぞれについて、前記第1情報に対応する前記第1参照点を中心とする所定半径の円の周上の点であって、前記幾何学的特徴量に基づき決定された点である第2参照点に対応する色情報と、前記第2参照点の位置に対応する第2情報とを対応づけた情報であるサンプルを、互いに位置が異なる複数の前記第2参照点のそれぞれについて取得し、取得した複数の前記サンプルと、前記第1情報とを対応づけた情報をサンプル情報とする処理を行うサンプル情報取得手段と、前記サンプル情報取得手段によって取得された前記サンプル情報に基づき、前記複数の第1参照点のそれぞれについて、前記第2情報に対する前記色情報の変化の周波数成分を算出し、前記複数の第1参照点のそれぞれについて算出された前記周波数成分を前記第1情報と対応づけた情報である周波数情報を取得する周波数情報取得手段と、前記サンプル情報及び前記周波数情報を、前記幾何学的特徴量と対応づけた情報を、生体情報の照合に用いる照合情報として前記記憶手段に記憶させる記憶制御手段と
を備える。
第2態様の情報処理装置は、画像から抽出された特徴点に基づきサンプル情報及び周波数情報を取得するため、画像から抽出された特徴点の数が少ない場合にも、精度よく照合可能な照合情報を生成することができる。サンプル情報及び周波数情報は、幾何学的特徴量に基づき決定された点について取得された情報である。したがって、情報処理装置は、幾何学的特徴量が考慮されない点について情報が取得された場合に比べ、画像によって表される情報(例えば、指紋画像又は静脈画像によって表される生体情報)が基準に対して回転したり、移動したりした影響が低減された照合情報を生成することができる。
情報処理装置10のブロック図である。 情報処理装置10の機能ブロック図である。 照合情報処理のフローチャートである。 図3の照合情報処理で実行される画像解析処理のフローチャートである。 生体情報取得装置8から取得された参照用の生体情報を表す画像41である。 図5の画像41から特徴点P1からP11を抽出する過程を説明する図である。 図4の画像解析処理で実行される。照合情報取得処理のフローチャートである。 局所座標系60の説明図である。 第1参照点及び第2参照点の設定方法の説明図である。 サンプル71,サンプルデータ72及びサンプル情報73の説明図である。 2つの注目点毎に取得された、サンプル情報、サンプル画像、周波数情報、及び周波数画像を含む参照用の照合情報75の説明図である。 サンプルデータによって表される、第2情報に対する色情報の変化に基づき周波数成分を算出する過程の説明図である。 DB28に登録される照合情報の説明図である。 テスト用の画像51と、画像51に含まれる特徴点PT1からPT3を示す図である。 画像51について、2つの注目点毎に取得された、サンプル情報、サンプル画像、周波数情報、及び周波数画像を含むテスト用の照合情報85の説明図である。 図3の照合情報処理で実行される照合処理のフローチャートである。 テスト用の照合情報と、参照用の照合情報とを照合する過程の説明図である。 テスト用の周波数情報と、参照用の周波数情報との類似度を算出する過程の説明図である。 テスト用の周波数情報と、参照用の周波数情報との類似度を算出する過程の説明図である。 テスト用の周波数情報と、参照用の周波数情報との類似度を算出する過程の説明図である。 テスト用のサンプル情報と、参照用のサンプル情報との類似度を算出する過程の説明図である。 テスト用のサンプル情報と、参照用のサンプル情報との類似度を算出する過程の説明図である。 テスト用のサンプル情報と、参照用のサンプル情報との類似度を算出する過程の説明図である。
本発明の一実施形態について、図面を参照して説明する。以下の実施形態において例示した具体的な複数の数値は一例であり、本発明はこれらの複数の数値に限定されない。以下の説明では、画像データを単に「画像」という。
図1を参照して、情報処理装置10について説明する。情報処理装置10は、生体情報によってユーザーを認証する機能を備えた電子機器である。生体情報は、例えば、顔画像、指紋、静脈、及び虹彩のような種々の生体情報から選択される。本実施形態の生体情報は指紋である。本実施形態において、情報処理装置10は、周知のスマートフォンである。情報処理装置10は、指紋を撮影した画像を解析して、指紋を用いた照合に必要な参照用の照合情報を生成し、情報処理装置10のフラッシュメモリ4に記憶されたデータベース(DB)28に記憶する機能を備える。情報処理装置10は、指紋を撮影した画像を解析して、指紋を用いた照合に必要なテスト用の照合情報を生成し、生成されたテスト用の照合情報と、DB28に記憶された参照用の照合情報とを照合する機能を備える。
図1に示すように、情報処理装置10は、CPU1,ROM2,RAM3,フラッシュメモリ4,通信I/F5,表示部6,タッチパネル7,及び生体情報取得装置8を備える。CPU1は、情報処理装置10の制御を行うプロセッサである。CPU1は、ROM2,RAM3,フラッシュメモリ4,通信I/F5,表示部6,タッチパネル7,及び生体情報取得装置8と電気的に接続する。ROM2は、BIOS,ブートプログラム、及び初期設定値を記憶する。RAM3は、種々の一時データを記憶する。フラッシュメモリ4は、CPU1が情報処理装置10を制御するために実行するプログラム、OS(Operating System)、及びDB28を記憶する。通信I/F5は、外部の機器と通信を実行するためのコントローラである。表示部6は、液晶ディスプレイである。タッチパネル7は、表示部6の表面に設けられる。生体情報取得装置8は、生体情報を撮影した画像を取得する。本実施形態の生体情報取得装置8は、静電容量方式のエリア型センサーである。詳細には、生体情報取得装置8は、マトリクス状の表面電極の電荷量から指紋の凹凸を判定するセンサーであり、1ピクセル毎に色情報を256階調の諧調値で表す。色情報は、色を表す情報である。解像度は、例えば、508dpi(dots per inch)である。
図2を参照して、情報処理装置10の機能の概要について説明する。情報処理装置10は、生体情報取得装置8,画像取得部21,特徴点抽出部22,幾何学的特徴量算出部23,サンプル情報取得部24,周波数情報取得部25,照合部27,登録部26,及びDB28を有し、それぞれの機能ブロックに対応する処理を、CPU1(図1参照)によって実行する。
生体情報取得装置8は、画像取得部21に画像を出力する。画像取得部21は、生体情報取得装置8から出力された画像を取得する。特徴点抽出部22は、画像取得部21から取得された画像に基づき、画像座標系の特徴点の二次元座標を抽出する。本実施形態の画像座標系の二次元座標は、画像中のピクセルの位置に基づき、ピクセル単位で設定される座標であるとする。画像座標系の二次元座標については後述する。特徴点は、例えば、マニューシャの抽出方法(例えば、特許第1289457号明細書参照)に従って抽出された点及びSIFT(Scale−Invariant Feature Transform)(例えば、米国特許第6,711,293号明細書参照)に従って抽出された点の少なくともいずれかである。本実施形態の特徴点は、特許第1289457号明細書に記載のマニューシャの抽出方法に従って抽出される。
幾何学的特徴量算出部23は、特徴点抽出部22が抽出した複数の特徴点のうち、所定の範囲内の特徴点の座標を取得する。幾何学的特徴量算出部23は、座標が取得された複数の特徴点の中から3つの特徴点を選択し、選択された3つの特徴点によって表される三角形の幾何学的特徴量を算出する。幾何学的特徴量は、例えば、3つの特徴点の座標、3つの特徴点の中から選択された2つの注目点で表される線分の傾き(ベクトル)、三角形の辺の長さ、三角形の内角、及び三角形の面積の中から適宜選択される。3つの特徴点の座標は、画像座標系の絶対座標又は相対座標で表される。本実施形態の幾何学的特徴量算出部23は、選択された3つの特徴点について、画像座標系の座標に加え、局所座標系を設定し、局所座標系の座標でも3つの特徴点の座標を表す。局所座標系については後述する。本実施形態の幾何学的特徴量算出部23は、所定範囲内にある複数の特徴点から3つの特徴点を選択する場合の、全ての組み合わせに対応する複数組の3つの特徴点を取得し、それぞれについて幾何学的特徴を算出する。
サンプル情報取得部24は、幾何学的特徴量算出部23が取得した3つの特徴点の幾何学的特徴量と所定の取得条件とに基づき、サンプル情報を取得する。サンプル情報は、色情報を、色情報の取得条件を示す位置に対応する情報(第1情報及び第2情報)と対応づけた情報である。サンプル情報は、例えば、以下の手順で取得される。3つの特徴点の中から、2つの特徴点がそれぞれ注目点として選択される。本実施形態のサンプル情報取得部24は、幾何学的特徴量算出部23によって取得された複数組の3つの特徴点のうち、幾何学的特徴量に基づき、3つの特徴点によって表される三角形の面積が所定値以上となる3つの特徴点について、2つの注目点を選択する処理を実行する。サンプル情報取得部24は、選択された2つの注目点を結ぶ線分上の点であって、幾何学的特徴量に基づき決定された点を第1参照点として決定する。互いに位置が異なる複数の第1参照点のそれぞれについて、第1情報が取得される。第1情報は、第1参照点の位置に対応する情報である。第1情報は、基準に対する第1参照点の位置を規定する情報であればよく、例えば、絶対座標(例えば、画像座標系の座標)、相対座標(例えば、局所座標系の座標)、及び基準に対する角度などでもよい。第1参照点の取得順序が、基準に対して決められている場合には、第1情報は第1参照点の取得順序でもよい。取得された複数の第1情報のそれぞれについて、複数のサンプルが取得される。サンプルは、第2参照点に対応する色情報と、第2情報とを対応づけた情報である。第2参照点は、第1情報に対応する第1参照点を中心とする所定半径の円の周上の点であって、幾何学的特徴量に基づき決定された点である。第2情報は、第2参照点の位置に対応する情報である。第2情報は、基準に対する第2参照点の位置を規定する情報であればよく、例えば、絶対座標(例えば、画像座標系の座標)、相対座標(例えば、局所座標系の座標)、及び基準に対する角度などでもよい。第2参照点の取得順序が、基準に対して決められている場合には、第2情報は第2参照点の取得順序でもよい。複数のサンプルは、互いに位置が異なる複数の第2参照点のそれぞれについて取得されたサンプルである。取得された複数のサンプルと、第1情報とを対応づけた情報がサンプル情報とされる。
周波数情報取得部25は、サンプル情報取得部24から取得されたサンプル情報に基づき、周波数情報を取得する。周波数情報は、複数の第1参照点のそれぞれについて、第2情報に対する色情報の変化の周波数成分を算出し、複数の第1参照点のそれぞれについて算出された周波数成分を第1情報と対応づけた情報である。本実施形態の周波数成分は、公知の方法(特許第3057590号明細書及び特許第3799057号明細書参照)に従って算出された一次元群遅延スペクトルである。
登録部26は、生体情報の照合に用いる参照用の照合情報をDB28に記憶させる。照合情報は、サンプル情報及び周波数情報を、幾何学的特徴量と対応づけた情報である。本実施形態では、有効な特徴点の中から選択された全ての組み合わせの3つの特徴点のそれぞれについて、照合情報が記憶される。照合部27は、テスト用の照合情報を、DB28に記憶された参照用の照合情報と照合する。より詳細には、照合部27は、テスト用の照合情報で表されるテスト用の三角形と、参照用の照合情報で表される参照用の三角形とのそれぞれの幾何学的特徴量を、三角形の面積が大きい順に比較して、類似度が閾値以下となる、テスト用の三角形と、参照用の三角形とのペアを抽出する。照合部27は、抽出されたテスト用の三角形に対応するサンプル情報及び周波数情報と、参照用の三角形に対応するサンプル情報及び周波数情報とを照合する。
1.登録時の処理
図3を参照して、情報処理装置10で実行される照合情報処理について、照合情報を登録する場合を例に説明する。照合情報処理は、ユーザーが開始指示を入力した場合に開始される。開始指示には、画像から取得した照合情報を参照用の照合情報としてDB28に登録するのか、それとも、照合情報をDB28に登録された参照用の照合情報と照合するのかに関する指示を含む。情報処理装置10のCPU1は、照合情報処理の開始指示の入力を検知すると、フラッシュメモリ4に記憶された照合情報処理を実行するための情報処理プログラムをRAM3に読み出し、情報処理プログラムに含まれる指示に従って、以下に説明する各ステップの処理を実行する。本実施形態では、特徴点を抽出する要件(例えば、画像の鮮明さ)を満たす生体情報が取得されるまで、再入力を促すフィードバック処理が実行される。照合情報処理で取得される生体情報は、生体情報からアルゴリズムを用いて照合情報を抽出する要件を満たすものとする。処理の過程で取得されたり、生成されたりした情報及びデータは、適宜RAM3に記憶されるものとする。処理に必要な各種設定値は、予めフラッシュメモリ4に記憶されている。以下、ステップを「S」と略記する。
図3に示すように、CPU1は画像解析処理を実行する(S1)。図4を参照して画像解析処理について説明する。生体情報取得装置8は、指の接触を検知した場合、指紋を撮影した画像を特定可能な信号をCPU1に出力する。CPU1は、生体情報取得装置8から出力される信号を受信する。図4に示すように、CPU1は、受信した信号に基づいて、画像を取得する(S11)。S11では、例えば、図5に示す画像41が取得される。画像41には、図5のXp,Ypで示す画像座標系の二次元座標が設定される。画像41の左上の画素の位置を、画像座標系の二次元座標45(図6参照)の原点とする。二次元座標45の原点からXpプラス方向にx画素分離隔し、原点からYpプラス方向にy画素分離隔した画素の位置を、座標(x,y)と表記する。画像41は、1cm角の正方形の撮影範囲を表す、Xp方向(左右方向)が192ピクセル、Yp方向(上下方向)が192ピクセルの正方形の画像である。画像座標系の二次元座標45では、点P1からP11のそれぞれは画像41の大きさを表す範囲43内にある。図示しないが、S11で取得された画像に対して適宜公知の前処理が実行される。
CPU1は、S11で取得された画像から特徴点を抽出する(S12)。本実施形態のCPU1は、公知の方法に従って(例えば、特許第1289457号明細書参照)、指紋の凸部の連なりである隆線の行き止まりの端点を表す点、及び2つに分かれる分岐点を表す点のそれぞれを特徴点として抽出する。図6に示すように、画像41からは円42で囲んだ端点を表す点及び分岐点を表す点のそれぞれが特徴点として抽出される。図41から抽出された11の特徴点を点P1からP11とする。
CPU1は、S12で抽出された特徴点のうち、有効な特徴点を抽出し、有効な特徴点の数J(Jは0以上の整数)を取得する処理を実行する(S13からS16)。本実施形態のCPU1は、範囲44内にある特徴点を有効な特徴点とし、範囲44外にある特徴点を無効な特徴点とする。範囲44は、画像41の大きさを表す範囲43を示す矩形よりも四方が15ピクセル内側となる矩形範囲である。範囲44内にある特徴点を有効な特徴点とするのは、後述する第2参照点を範囲43内に設定可能な特徴点を取得するためである。範囲44を特定するための情報は、後述する第2参照点の取得条件に基づき予め定められ、フラッシュメモリ4に記憶されている。
具体的には、CPU1は、S12で抽出された特徴点の中から、S13の処理を実行されていない特徴点の座標を1つ取得する(S13)。CPU1は、S13で取得した座標が、範囲44内にあるか否かを判断する(S14)。CPU1は、範囲44の境界線の内側及び範囲44の境界線上の点を、範囲44内とする。座標が範囲44内にある場合(S14:YES)、CPU1は、S13で取得した座標で示される特徴点を有効な特徴点とし、数Jを1だけインクリメントする(S15)。数Jの初期値は0である。具体例の点P1からP11は全て、範囲44内にある(S14:YES)。したがって、具体例での数Jは、最終的に11となる。座標が範囲44外にある場合(S14:NO)、又はS15の次に、CPU1はS12で抽出された特徴点の全てについて、S13の処理を実行したか否かを判断する(S16)。S13の処理で座標を取得されていない特徴点がある場合(S16:NO)、CPU1は処理をS13に戻す。S12で抽出された特徴点の全てについて、S13の処理が実行された場合(S16:YES)、CPU1は数Jが2より大きいか否かを判断する(S17)。数Jが2以下の場合(S17:NO)、CPU1は、画像解析処理を終了し、処理を図3の照合情報処理に戻す。
具体例の数Jは11であり、2より大きい(S17:YES)。この場合CPU1は、数Jの有効な特徴点の中から、3つの特徴点を選ぶ場合の全ての組み合わせを算出する(S18)。具体例では数Jが11であり、CPU1は、11の165個の組み合わせを算出する。CPU1は、S18で算出された組み合わせの中からS19が実行されていない1つの組み合わせを選択し、選択された組み合わせで示される3つの特徴点の座標を取得する(S19)。CPU1が、3つの特徴点として、図6の点P1,P4,及びP8のそれぞれについて画像座標系の二次元座標を取得した場合を具体例として説明する。CPU1は、S19で取得された座標に基づき、3つの特徴点を結ぶ三角形の面積を算出する(S20)。CPU1は、S20で算出された面積が閾値よりも大きいか否かを判断する(S21)。S20及びS21は、後述の照合情報取得処理を実行する対象となる3つの特徴点を抽出する処理である。S19で取得される3つの特徴点が、例えば、点P1,P2,及びP3のように互いに比較的近い位置にある場合がある。点P1,P2,及びP4のように、ほぼ同じ直線上にある場合がある。これらの場合、後述する手順で照合情報を取得した場合、サンプル数が少なくなったり、同じようなサンプルが複数取得されたりして、照合に適した照合情報が得られない可能性がある。このため本実施形態のCPU1は、三角形の面積が閾値以下となる場合には、それら3つの特徴点の座標に基づき照合情報を取得しない。面積が閾値以下の場合(S21:NO)、CPU1はS19で座標を取得した3つの特徴点の組み合わせを破棄し(S24)、後述のS25の処理を実行する。
具体例では面積が閾値よりも大きいと判断され(S21:YES)、CPU1は照合情報取得処理を実行する(S22)。照合情報取得処理は、S19で取得した3つの特徴点の座標に基づき、生体情報の照合に用いる照合情報を取得する処理である。図7に示すように、照合情報取得処理ではまず、CPU1は図4のS19で取得した座標に基づき、3つの特徴点の中に含まれる2点間の距離dをそれぞれ計算する(S32)。距離dは、3つの特徴点で表される三角形の各辺の長さである。具体例では、点P1と点P4との間の距離、点P4と点P8との間の距離、点P8と点P1との間の距離がそれぞれ計算される。
CPU1はS32の計算結果に基づき、局所座標系を設定する(S33)。局所座標系は、S19で取得された3つの特徴点の座標に基づき、三角形毎に設定される相対座標である。具体的には、CPU1は、S32で計算された3つの距離dのうち、最も距離が長い2点を結ぶ線分上に局所座標系のXk軸を設定する。CPU1は、残りの1点がある側をYk軸正の向きとし、Xk軸上の2点の内、左側にある点を原点とする。具体例では、点P1,P4及びP8について、図8に示すように局所座標系60が設定される。点P1,P4及びP8がなす三角形TRRに含まれる辺LA,LB,及びLCの内、辺LAが最も長い。つまり、点P4と点P8との間の距離が最も長い。したがって、辺LA上にXk軸が設定され、辺LAに対して点P1がある側がYk軸正の向きとされ、点P4と点P8との内、左側にある点P8が原点とされる。
CPU1は3つの特徴点の中から、S34で取得されていない組み合わせの2つの特徴点をそれぞれ注目点として取得する(S34)。CPU1は、局所座標系で底辺をなす2点(Xk軸上の2点)をまず取得し、以降は時計回りで2点の組み合わせを取得する。具体例では、CPU1は、点P4及び点P8の組み合わせ、点P8及び点P1の組み合わせ、点P1及び点P4の組み合わせの順に、2つの注目点を取得する。CPU1はS34で取得した2つの注目点のうちの一方を始点、他方を終点とし、始点から終点に向かう方向ベクトルVを算出する(S35)。CPU1は、3つの特徴点がなす三角形の辺を時計回りにたどっていく場合の上流側にある点を始点、下流側にある点を終点とする。CPU1は、画像座標系の二次元座標で方向ベクトルVを算出する。本実施形態のCPU1は、P4及び点P8の組み合わせでは、点P4から点P8に向かうベクトルVA,点P8及び点P1の組み合わせでは、点P8から点P1に向かうベクトルVB,点P1及び点P4の組み合わせでは、点P1から点P4に向かうベクトルVCをそれぞれ算出する(S35)。
CPU1は、値Lを算出する(S36)。値Lは、S34で取得した2つの注目点間の距離dの小数点以下を切り捨てた正の整数である。CPU1は、三角形の幾何学的特徴量に基づき第1参照点を決定し、設定された第1参照点の座標を算出する(S37)。第1参照点の座標は、画像座標系の二次元座標で取得される。本実施形態のCPU1は、S34で取得した2つの注目点を結ぶ線分上に、(L+1)個の第1参照点を設定する。(L+1)個の第1参照点は、2つの注目点を結ぶ線分の両端(つまり、2つの注目点)、及び2つの注目点を間隔Uで等分割する点である。間隔Uは、2つの注目点の距離dを数Lで割った値である。本実施形態では間隔Uはほぼ1になる。CPU1は、S35で算出された方向ベクトルと、始点の座標を用い、2つの注目点を結ぶ線分の始点から終点に向かって、間隔Uの等間隔でi番目の第1参照点を順に設定する。iは1から(L+1)までの自然数である。
CPU1は、サンプル情報を取得する(S38)。本実施形態のCPU1は、図4のS18で算出された全ての組み合わせの3つの特徴点のそれぞれについて、2つの注目点毎にサンプル情報を取得する。具体例を用いて、サンプル情報の取得方法を説明する。CPUI1は、S37で取得された第1参照点の座標に基づき、第2参照点を複数設定し、設定した複数の第2参照点の座標をそれぞれ算出する。本実施形態では、第1参照点を中心とする半径15ピクセルの円の周上に、128個の第2参照点を等間隔で設定する。円の半径R及び第2参照点の数Nは、画像の大きさ、解像度、認証精度、及び処理速度等を考慮して適宜設定されればよい。第2参照点の数Nは、後述する周波数情報を取得する観点から、2のべき乗に設定されることが好ましい。
本実施形態のCPU1は、次のようにi番目の第1参照点に対応するj番目の第2参照点の座標を算出する。jは1から128(N)の自然数である。jが1の点を始点SPという。図9に示すように、2つの注目点が点P4,P8である場合、第1参照点P4に対しては、点P4を中心とする半径Rの円C1上にあり、第1参照点P4に対してベクトルVA方向にある点Q11が、始点SPとして設定される。第1参照点P8に対しては、点P8を中心とする半径Rの円C2上にあり、第1参照点P8に対してベクトルVA方向にある点Q12が、始点SPとして設定される。2つの注目点が点P8,P1である場合、第1参照点P8に対しては、円C2上にあり、第1参照点P8に対してベクトルVB方向にある点Q21が、始点SPして設定される。第1参照点P1に対しては、点P1を中心とする半径Rの円C3上にあり、第1参照点P1に対してベクトルVB方向にある点Q22が、始点SPとして設定される。2つの注目点が点P1,P4である場合、第1参照点P1に対しては、円C3上にあり、第1参照点P1に対してベクトルVC方向にある点Q31が、始点SPとして設定される。第1参照点P4に対しては、円C1上にあり、第1参照点P4に対してベクトルVC方向にある点Q32が、始点SPとして設定される。jが2以降の第2参照点は、始点SPから反時計回りにサンプリング間隔毎に設定される。本実施形態のサンプリング間隔を円に対する角度で表すと、360度(2πラジアン)を128で割った角度となる。
CPU1は、複数の第2参照点のそれぞれについて、サンプルを取得する。サンプルの取得方法について図10を参照して説明する。本実施形態のCPU1は、色情報として、第2参照点で表されるピクセルの諧調値を取得する。第2参照点の座標が、サブピクセル単位の場合(絶対座標が整数ではない場合)、CPU1は、周知のバイリニア補間法によって第2参照点の近傍4つのピクセルの諧調値を用いて、第2参照点の色情報を算出する。CPU1は、1つの第2参照点について取得された色情報を、第2参照点に対応する第2情報と対応づけた情報をサンプル71とする。本実施形態の第2情報は、始点SPに対する第2参照点の位置に対応する取得順序を表すjである。つまり、本実施形態の第2情報は、1から128の自然数で表される。
図10に模式的に示すように、CPU1は、1つの第1参照点について取得された複数のサンプル71を、第1情報と対応付けてサンプルデータ72とする。CPU1は、1組の2つの注目点について設定された(L+1)個の第1参照点のそれぞれについて、以上の処理を行い、サンプル情報73を取得する。つまり、サンプル情報73は、(L+1)個の第1参照点のそれぞれについて算出された、(L+1)個のサンプルデータ72を含む。各サンプルデータ72は、N個の第2参照点のそれぞれについて取得された、N個のサンプル71を含む。サンプル情報73は、2つの注目点毎に取得される。具体例では、図11に示すように、具体例では、点P4,P8についてサンプル情報SDR1が取得され、点P8,P1についてサンプル情報SDR2が取得され、点P1,P4についてサンプル情報SDR3が取得される。
CPU1は、取得されたサンプル情報に基づき、サンプル画像を生成する(S39)。具体例では、3組の2つの注目点のそれぞれについて、図11で示すサンプル画像76から78がそれぞれ生成される。サンプル画像76から78の長手方向はそれぞれ第1情報に対応し、短手方向はそれぞれ第2情報に対応する。サンプル画像76から78の各ピクセルの色は、第1情報及び第2情報の組み合わせに対応する画素の色情報を表す。
CPU1は、S38で取得されたサンプル情報に基づき、周波数情報を取得する(S40)。本実施形態のCPU1は、前述の公知の方法に従って、第1情報毎に第2情報に対する色情報の変化の一次元群遅延スペクトルを周波数情報として算出する。群遅延スペクトル(GDS)は、パワー伝達関数における位相スペクトルの周波数微分として定義されるものである。図12に例示するように、サンプル情報82に基づき算出されるGDS83は、サンプル情報82の周波数スペクトルの個々のピークを分離し強調する。GDSの配列の要素数は位相スペクトルの要素数から1を減じたものとなる。具体的にはCPU1は、LPC係数に重みづけしたものを高速フーリエ変換して得られたパワースペクトルの位相微分をとることによりGDSを算出し、算出されたGDSを周波数成分とする。具体例では、図11に示すように、点P4,P8について周波数情報FDR1が取得され、点P8,P1について周波数情報FDR2が取得され、点P1,P4について周波数情報FDR3が取得される。
CPU1は、取得された周波数情報に基づき、周波数画像を生成する(S41)。具体例では、図11で示す周波数画像79から81がそれぞれ生成される。CPU1は、GDS強度が小さいピクセルを淡く(諧調値を小さく)する。具体例では、周波数画像79から81の短手方向は要素数に対応し、長手方向は第2情報に対応する。周波数画像79から81の各ピクセルの色は、要素数及び第2情報の組み合わせに対応する画素のGDS強度を表す。CPU1は、GDS強度が比較的大きいピクセルを濃く(諧調値を大きく)する。CPU1は、GDS強度が比較的小さいピクセルを淡く(諧調値を小さく)する。
CPU1は、サンプル情報及び周波数情報を、幾何学的特徴量と対応づけた情報を、生体情報の照合に用いる照合情報としてRAM3に記憶させる(S42)。図11に示すように、具体例では、サンプル情報SDR1からSDR3及び周波数情報FDR1からFDR3が、幾何学的特徴量GDRと対応づけられた照合情報75がRAM3に記憶される。幾何学的特徴量GDRは、S20で算出された面積、S32で算出された距離、S33で設定された局所座標系の座標、S35で算出された方向ベクトルV及び三角形の内角を含む。本実施形態の照合情報75には、図7のS39で生成されたサンプル画像及びS41で生成された周波数画像も含まれる。CPU1は照合情報取得処理を終了し、処理を図4に示す画像解析処理に戻す。
図3に示すようにS22の次に、CPU1は、S18で算出された全ての組み合わせの3つの特徴点がS19の処理で取得されたか否かを判断する(S25)。取得されていない組み合わせがある場合(S25:NO)、CPU1は処理をS19に戻す。全ての組み合わせの3つの特徴点がS19の処理で取得された場合(S25:YES)、CPU1は、画像解析処理を終了し、処理を図3の照合情報処理に戻す。
CPU1は、S1で照合情報が取得されたか否かを判断する(S2)。照合情報が取得されていない場合(S2:NO)、CPU1はエラー通知を行う(S6)。CPU1は、例えば、表示部6にエラーメッセージを表示する。照合情報が取得された場合(S2:YES)、S1で取得された照合情報を参照用の照合情報としてDB28(図2参照)に登録するか否かを判断する(S3)。登録するか否か情報は、例えば、開始指示に含まれる。具体例では登録すると判断され(S3:YES)、CPU1は、S1で取得した照合情報をフラッシュメモリ4のDB28に記憶する。本実施形態では、図4のS18で算出された全ての組み合わせの3つの特徴点のうち、S21の要件を満たす組み合わせについて、照合情報が取得される。具体例では図13で示すように、3つの特徴点が点P1,P4及びP8である場合の照合情報75を含む複数個の照合情報がDB28に登録される。登録しない場合(S3:NO)、CPU1は、S1で取得された照合情報は照合の対象となるテスト用の照合情報とする照合処理を実行する(S5)。S4,S5,及びS6のいずれかの次に、CPU1は照合情報処理を終了する。
2.照合時の処理
参照用の照合情報として図5の画像41から抽出された照合情報が用いられ、照合対象となるテスト用の画像として図14の画像51が取得される場合を例に、照合時の照合情報処理について説明する。照合時の照合情報処理では、登録時の照合情報処理と同様に、S1が実行される。例えば、図4のS19において3つの特徴点として図14の点PT1,PT2,及びPT3が取得された場合、図7のS38では図15のサンプル情報SDT1からSDT3が取得され、S39ではサンプル画像86から88が生成される。S40では周波数情報FDT1からFDT3が取得され、S41では周波数画像89から91が生成される。S42では、照合情報85が記憶される。
S2では、照合情報が取得されたと判断され(S2:YES)、開始指示に基づき登録しないと判断される(S3:NO)。CPU1は照合処理を実行する(S5)。図14に示すように、照合処理では、CPU1は複数組の3つの特徴点のそれぞれに対応する照合情報を、照合情報に含まれる三角形の面積Sに基づきソートし、面積Sが大きい順に照合情報を並べ替える(S51)。CPU1は、DB28に記憶されている参照用の照合情報と、図3のS1で取得されたテスト用の照合情報とのそれぞれについて、S51の処理を実行する。DB28に記憶されている参照用の照合情報が、予めソートされている場合、CPU1は図3のS1で取得されたテスト用の照合情報のみソートする。S51の処理によって、図17に模式的に示すように、テスト用の照合情報と、参照用の照合情報とのそれぞれについて、照合情報に含まれる複数組の3つの特徴点が、3つの特徴点がなす三角形の面積Sが大きい順にソートされる。
CPU1は、テスト用の照合情報に含まれる複数組の3つの特徴点の中から、面積Sが大きい順に、1組の3つの特徴点を選択する(S52)。CPU1は、参照用の照合情報に含まれる複数組の3つの特徴点の中から、面積Sが大きい順に、1組の3つの特徴点を選択する(S53)。CPU1は、S52で取得されたテスト用の3つの特徴点に対応づけられた幾何学的特徴量と、S53で取得された参照用の3つの特徴点に対応づけられた幾何学的特徴量との差を算出する(S54)。S54の処理は、S52で取得されたテスト用の3つの特徴点がなす三角形(以下、「テスト用三角形」という。)と、S53で取得された参照用の3つの特徴点がなす三角形(以下、「参照用三角形」という)とが類似するか否かを判断する処理である。本実施形態では、S54における幾何学的特徴量として、局所座標系の座標と、三角形の内角とが用いられる。
CPU1は、S54で算出された幾何学的特徴量の差が閾値より小さいか否かを判断する(S55)。3つの特徴点のそれぞれについての局所座標系の座標の差が閾値以上である場合、及び三角形の内角の差が閾値以上である場合の少なくともいずれかの場合(S55:NO)、CPU1は幾何学的特徴量に基づきテスト用三角形と参照用三角形とが類似しない場合の処理を行う。具体的には、CPU1はテスト用三角形について、3つの辺のうち、1番目に長い辺と、2番目に長い辺との長さの差が閾値よりも大きいか否かを判断する(S63)S63の処理は、テスト用の3つの特徴点が表す三角形が、1番目に長い辺と、2番目に長い辺との長さの差が閾値以下になる二等辺三角形に近い三角形である場合を考慮した処理である。図17の点PK1,PK2,及びPK3がなす三角形TRKのように、1番目に長い辺LK1と、2番目に長い辺LK2との長さの差が閾値以下になる場合(S63:NO)、CPU1はテスト用の3つの特徴点に関する局所座標系の座標を再設定する(S64)。具体的には、CPU1は、2番目に長い辺LK2をXk軸上に配置し、点PK2がある側をYk軸プラス側とする局所座標系61を設定する(S64)。CPU1は、S54に処理を戻す。
1番目に長い辺と、2番目に長い辺との長さの差が閾値よりも大きい場合(S63:YES)、CPU1は、S53で選択された参照用の3つの特徴点が読み出し順序が最後の3つの特徴点であるか否かを判断する(S65)。本実施形態のCPU1は、参照用の照合情報の中から三角形の面積Sが大きい順に3つの特徴点を読み出している。読み出し順序が最後ではない場合(S65:NO)、CPU1は処理をS53に戻す。読み出し順序が最後である場合(S65:YES)、CPU1はS52で選択されたテスト用の3つの特徴点を破棄する(S66)。CPU1はS52で選択されたテスト用の3つの特徴点が、読み出し順序が最後の特徴点か否かを判断する(S67)。本実施形態のCPU1は、テスト用の照合情報の中から三角形の面積Sが大きい順に3つの特徴点を読み出している。読み出し順序が最後ではない場合(S67:NO)、CPU1は処理をS52に戻す。読み出し順序が最後である場合(S67:YES)、CPU1は認証失敗と判定する(S68)。CPU1は照合処理を終了し、処理を図3の照合情報処理に戻す。CPU1は、S5の次に照合情報処理を終了する。
S55において、3つの特徴点のそれぞれについての局所座標系の座標の差が閾値より小さく、かつ三角形の内角の差が閾値より小さい場合(S55:YES)、CPU1は周波数情報の類似度を算出する(S58)。具体的には、CPU1は、S52で選択されたテスト用の3つの特徴点に関して取得された周波数情報と、S53で選択された参照用の3つの特徴点に関して取得された周波数情報との類似度を算出する。類似度の算出方法は、公知の方法が適宜用いられればよい。本実施形態のCPU1は、公知のDPマッチングを用い、類似度として距離値を算出する。本実施形態のCPU1は、3つの特徴点の中から選択される3組の2つの注目点のそれぞれについて周波数情報の距離値を算出する。
具体的には、図17に示すように、参照用三角形が三角形TRRであり、テスト用三角形が三角形TRTである場合、参照用の周波数情報は図11の周波数情報FDR1からFDR3であり、テスト用の周波数情報は図15の周波数情報FDT1からFDT3である。この場合、図18に模式的に示すように、CPU1は、周波数画像79と周波数画像89とをDPマッチングに供し、距離値DF1を得る。本実施形態では、ノイズを排除するために低次の成分を優先して選択された1から14に対応する14個の成分に基づき、マッチングコストを求める。図18において、テスト用の周波数情報FDT1を表す周波数画像89は上側に示されている。図18において、参照用の周波数情報FDR1を表す周波数画像79は、周波数画像89と対応する向きで左側に示されている。周波数画像89と対応する向きは、周波数画像79を周波数画像の下端について反転させたのち、反転させた周波数画像79の上左端を起点に、反転させた周波数画像79を90度時計回りに回転させることにより得られる。CPU1は、左上の対応点からパス探索を始め、隣接する対応点のうち、マッチングコストが最小の対応点を辿り、右下の対応点へと至るパスを探索する。図18において、パスは、左上から右下へと略直線状に延びる太線95で示されている。以下のDPマッチングを模式的に示す図でも同様である。図19に模式的に示すように、CPU1は、周波数画像80と周波数画像90とをDPマッチングに供し、距離値DF2を得る。図20に模式的に示すように、CPU1は、周波数画像81と周波数画像91とをDPマッチングに供し、距離値DF3を得る。CPU1は、算出された3つの距離値に基づき標準化された距離値DFDを算出する。
DFD=(DF−DFH)/DFS ・・・式(1)
式(1)において、DFは、周波数情報のDPマッチングにより得られた実際の距離値(DF1からDF3のいずれか)である。DFHは、周波数情報のDPマッチングにより得られる距離値の平均値である。DSSは、周波数情報のDPマッチングにより得られる距離値の標準偏差である。本実施形態のDFH及びDFSは、複数の周波数情報のDPマッチング結果に基づき予め設定された値である。式(1)に基づき、距離値DF1からDF3から、標準化された距離値DFD1からDFD3が算出される。距離値DFDは、値が大きいほど、値が小さい場合に比べ、類似度が小さい。
CPU1はサンプル情報の類似度を算出する(S59)。具体的には、CPU1は、S52で選択されたテスト用の3つの特徴点に関して取得されたサンプル情報と、S53で選択された参照用の3つの特徴点に関して取得されたサンプル情報との類似度を算出する。類似度の算出方法は、公知の方法が適宜選択されればよい。本実施形態では、周波数情報の場合と同様に、公知のDPマッチングを用い、類似度として距離値を算出する。CPU1は、3つの特徴点の中から選択される3組の2つの注目点のそれぞれについてサンプル情報の距離値を算出する。具体例では、参照用のサンプル情報は図11のサンプル情報SDR1からSDR3であり、テスト用のサンプル情報は図15のサンプル情報SDT1からSDT3である。この場合、図21に模式的に示すように、CPU1は、サンプル画像76とサンプル画像86をDPマッチングに供し、距離値DS1を得る。図22に模式的に示すように、CPU1は、サンプル画像77とサンプル画像87をDPマッチングに供し、距離値DS2を得る。図23に模式的に示すように、CPU1は、サンプル画像78とサンプル画像88をDPマッチングに供し、距離値DS3を得る。CPU1は、算出された3つの距離値のそれぞれについて次の式(2)に従って標準化された距離値DSDを算出する。
DSD=(DS−DSH)/DSS ・・・式(2)
式(2)において、DSは、サンプル情報のDPマッチングにより得られた実際の距離値(DS1からDS3のいずれか)である。DSHは、サンプル情報のDPマッチングにより得られる距離値の平均値である。DSSは、DPマッチングにより得られる距離値の標準偏差である。本実施形態のDSH及びDSSは、複数のサンプル情報のDPマッチング結果に基づき予め設定された値である。式(2)に基づき、距離値DS1からDS3から、標準化された距離値DSD1からDSD3が算出される。距離値DSDは、値が大きいほど、値が小さい場合に比べ、類似度が小さい。
CPU1は、S58で算出された周波数情報の類似度と、S59で算出されたサンプル情報の類似度とに基づき、照合に用いる類似度Dを算出する(S60)。具体的には、CPU1は、S58で算出された周波数情報の類似度と、S59で算出されたサンプル情報の類似度とのそれぞれに係数を乗じた値を足し合わせる。係数は認証結果を考慮して予め設定される。本実施形態のCPU1は、式(3)に従って類似度Dを算出する。ただし、Bは0以上1以下の数である。類似度Dは、2つの注目点毎に算出される。例えば、点P4及びP8について、類似度D1がB×DSD1+(1−B)×DFD1に基づき算出される。
D=B×DSD+(1−B)×DFD ・・・式(3)
CPU1は、類似度DRが閾値よりも小さいか否かを判断する(S61)。本実施形態では、S60で2つの注目点毎に算出された3つの類似度Dの代表値を、S61の比較に用いる類似度DRとする。類似度DRは、例えば、3つの類似度の平均値、最小値、中間値、及び最大値のいずれかである。S61の閾値は代表値に応じて適宜設定される。類似度DRが閾値よりも小さい場合(S61:YES)、CPU1は認証成功と判定する(S62)。類似度が閾値以上の場合(S61:NO)、CPU1は認証失敗と判定する(S68)。S62又はS68の処理の次に、CPU1は、照合処理を終了し、処理を図3の照合情報処理に戻す。CPU1は、以上で照合情報処理を終了する。図示しないが、本実施形態の照合情報を用いた認証実験と、従来の方法で行った認証実験を行ったところ、本実施形態の照合情報処理によって従来と同等以上の認証精度が確認された。
情報処理装置10において、CPU1は本発明のプロセッサに相当する。RAM3及びフラッシュメモリ4は、本発明の記憶手段に相当する。図4のS11の処理は、本発明の画像取得ステップに相当する。S11において画像取得部21として機能するCPU1は、本発明の画像取得手段に相当する。S12の処理は、本発明の抽出ステップに相当する。S12において特徴点抽出部22として機能するCPU1は、本発明の抽出手段に相当する。S19の処理は、本発明の特徴点取得ステップに相当する。S19の処理を実行するCPU1は、本発明の特徴点取得手段として機能する。S20,図7のS32,及びS35の処理は、本発明の特徴量算出ステップに相当する。S20,図7のS32,及びS35において幾何学的特徴量算出部23として機能するCPU1は、本発明の特徴量算出手段に相当する。S34の処理は、本発明の選択ステップに相当する。S34の処理を実行するCPU1は、本発明の選択手段として機能する。S37の処理は、本発明の参照点取得ステップに相当する。S37の処理を実行するCPU1は、本発明の参照点取得手段として機能する。S38の処理は、本発明のサンプル情報取得ステップに相当する。S38の処理を実行するCPU1は、本発明のサンプル情報取得手段として機能する。S40の処理は、本発明の周波数情報取得ステップに相当する。S40の処理を実行するCPU1は、本発明の周波数情報取得手段として機能する。S42及びS4は本発明の記憶制御ステップに相当する。S42及びS4の処理を実行するCPU1は、本発明の記憶制御手段として機能する。S5の処理は、本発明の照合ステップに相当する。S52からS55の処理は、本発明のペア抽出ステップに相当する。S58からS62及びS68は本発明の抽出後照合ステップに相当する。
本実施形態の情報処理プログラムを実行する情報処理装置10は、画像から抽出された特徴点に基づきサンプル情報及び周波数情報を取得する(S38,S40)。サンプル情報及び周波数情報は、画像から抽出された3つの特徴点が表す幾何学的特徴量に基づき決定された第2参照点について取得された情報である。例えば、図5に示す画像41に基づき、3つの特徴点P1,P4及びP8に関して、図11のサンプル情報SDR1からSDR3が取得される。図14に示す画像51に基づき、3つの特徴点PT1,PT2及びPT3に関して、図15のサンプル情報SDT1からSDT3が取得される。画像51は、画像41に対し、生体情報が移動及び回転された状態で撮影された画像である。サンプル情報SDR1からSDR3から生成されるサンプル画像76から78と、サンプル情報SDT1からSDT3から生成されるサンプル画像86から88とは、同様の縞模様のパターンを表す。つまり、本実施形態の照合情報では生体情報が基準に対して回転したり、移動したりした影響が低減されている。このように、情報処理プログラムに基づき照合情報を生成すれば、幾何学的特徴量が考慮されない点について情報が取得された場合に比べ、画像によって表される生体情報が基準に対して回転したり、移動したりした影響が低減された照合情報を生成することができる。
3つの特徴点に基づき取得されるサンプル情報及び周波数情報は、2つの注目点周辺のピクセルの色情報の変化パターンが、情報処理プログラムが規定する条件に従って効率的・効果的に取得された情報である。例えば、第2参照点が、第1参照点を基準として配置される正方形の辺上に設定されるとすると、正方形の辺が配置される向きによっては、隆線と辺とが略平行に配置されることがある。このような場合には、第2参照点が配置される図形を円から正方形に変えて、本実施形態と同様な処理を行ったとしても、CPU1は特徴的な生体情報の変化を表す色情報を取得できない。これに対し、CPU1は、第2参照点を、第1参照点を中心と半径Rの円の周上に設定することで、第1参照点の周囲のピクセルの色情報の特徴的な変化を取得しやすい。このため情報処理装置10は、画像から抽出された特徴点の数が比較的少ない場合にも、精度よく照合可能な照合情報を生成することができる。
サンプル画像は画像に含まれる色情報を、プログラムで規定する条件に従って再配置した画像であり、実空間の情報を表すといえる。これに対し、周波数画像は、実空間の情報を周波数空間の情報に変換したものである。このため、サンプル情報と、周波数情報とは、異なる意味を持つと考えられる。本実施形態の情報処理装置10は、サンプル情報と、周波数情報との双方を含む照合情報を生成する。したがって、サンプル情報と、周波数情報とのいずれかを含む場合に比べ、情報量を多くすることできる。つまり、本実施形態の照合情報を用いて照合を行うことにより、サンプル情報と、周波数情報とのいずれかのみを含む情報を用いる場合に比べ、より多くの観点から類似しているか否かを適切に判定することができる。本実施形態では、サンプル情報と、周波数情報とのそれぞれを標準化した上で、係数(寄与率)を乗じて類似度Dを算出する。このため、意味が互いに異なるサンプル情報と、周波数情報とを用いて、比較的簡単な計算によって類似度Dを求めることができる。
本実施形態のCPU1は、3つの特徴点から2つの特徴点を選択する場合の全ての組み合わせのそれぞれに対応する3組の2つの注目点について、サンプル情報及び周波数情報を取得する。1組の2つの注目点が選択される場合に比べ、取得されるサンプル情報及び周波数情報の数が多くなるので、画像から抽出された特徴点の数が少ない場合にも、精度よく照合可能な情報を生成することができる。
情報処理装置10は、照合情報を用いて生体情報の照合を行うため、画像から抽出された特徴点の数が少ない場合にも、精度よく照合可能である。サンプル情報及び周波数情報は、幾何学的特徴量に基づき決定された点について取得された情報である。したがって、情報処理装置10は、幾何学的特徴量が考慮されない点について情報が取得された場合に比べ、生体情報が基準に対して回転したり、移動したりした影響が低減された、精度のよい照合結果を得ることができる。
特徴点取得ステップで取得された3つの特徴点のそれぞれの位置が互いに近接し、3つの特徴点で表される三角形の面積が所定値未満の場合には、三角形の面積が所定値以上の場合に比べ、サンプル情報が示す色情報の変化が少ない。このため、情報処理装置10は、3つの特徴点で表される三角形の面積が所定値未満の場合には、それら3つの特徴点に基づき、照合情報を取得しない(S24)。したがって情報処理装置10は、三角形の面積が所定値未満となる3つの特徴点に基づき照合情報が生成される場合に比べ、照合情報を用いた照合の精度を高めることができる。
CPU1は、局所座標系の座標を設定することによって、テスト用の三角形と類似する参照用の三角形を抽出する処理を簡略化することができる。結果としてCPU1は、照合に要する処理時間を短縮できる。
本実施形態のCPU1は、特に面積が大きい場合を優先して、照合に用いる照合情報を選択している。つまりCPU1は、画像に基づき取得された照合情報の中から、情報量の多い照合情報を優先して照合に用いることで、照合に要する処理時間を短縮しつつ、照合精度をさらに向上できる。
本発明の情報処理プログラム及び情報処理装置は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更が加えられてもよい。例えば、以下の(A)から(C)までの変形が適宜加えられてもよい。
(A)情報処理装置10の構成は適宜変更してよい。例えば、情報処理装置10は、スマートフォンである場合に限定されず、例えば、ノートPC,タブレットPC,及び携帯電話のようなモバイル機器であってもよいし、現金自動預け払い機(ATM)及び入退室管理装置のような機器であってもよい。生体情報取得装置8は、情報処理装置10とは別体に設けられてもよい。その場合、生体情報取得装置8と、情報処理装置10とは、接続ケーブルで接続されていてもよいし、Bluetooth(登録商標)及びNFC(Near Field Communication)のように無線で接続されていてもよい。生体情報取得装置8の検出方式は静電容量方式に限定されず、他の方式(例えば、電界式、圧力式、光学式)であってもよい。生体情報取得装置8は面型に限定されず、線型であってもよい。生体情報取得装置8が生成する画像の大きさ、色情報及び解像度は、適宜変更されてよい。したがって、例えば、色情報は白黒画像に対応する情報の他、カラー画像に対応する情報でもよい。
(B)情報処理プログラムは、情報処理装置10がプログラムを実行するまでに、情報処理装置10の記憶機器に記憶されればよい。したがって、情報処理プログラムの取得方法、取得経路及び情報処理プログラムを記憶する機器の各々は適宜変更されてよい。情報処理装置10のプロセッサが実行する情報処理プログラムは、ケーブル又は無線通信を介して、他の装置から受信し、フラッシュメモリ等の記憶装置に記憶されてもよい。他の装置は、例えば、PC(パーソナルコンピュータ)、及びネットワーク網を介して接続されるサーバを含む。
(C)図3の照合情報処理の各ステップは、CPU1によって実行される例に限定されず、一部又は全部が他の電子機器(例えば、ASIC)によって実行されてもよい。上記処理の各ステップは、複数の電子機器(例えば、複数のCPU)によって分散処理されてもよい。上記実施形態の照合情報処理の各ステップは、必要に応じて順序の変更、ステップの省略、及び追加が可能である。情報処理装置10のCPU1からの指令に基づき、情報処理装置10上で稼動しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行い、その処理によって上記実施形態の機能が実現される場合も本開示の範囲に含まれる。例えば、照合情報処理に以下の(C−1)から(C−6)の変更が適宜加えられてもよい。
(C−1)S11で取得された画像に対して、適宜前処理が実行されてもよい。例えば、画像の高周波成分をノイズとして除去するためのフィルタリング処理が実行されてもよい。フィルタリング処理が実行されることによって、画像のエッジ部分の濃淡変化は緩やかになる。フィルタリング処理に用いられるフィルタとして、周知のローパスフィルタ、ガウシアンフィルタ、移動平均フィルタ、メディアンフィルタ、平均化フィルタのいずれかが用いられてもよい。他の例では、特定の周波数帯成分のみを抽出するためのフィルタリング処理がS11で取得された画像に対して実行されてもよい。特定の周波数帯域として、指紋の凹凸の周期を含む帯域が選択されてもよい。この場合の、フィルタリング処理に用いられるフィルタとしては、周知のバンドパスフィルタが挙げられる。
(C−2)図4のS21における、照合情報を取得する対象となる3つの特徴点を抽出する条件は、適宜変更されてよい。例えば、CPU1は、3点のなす三角形の面積の他、最大内角の値が所定の範囲内かどうかに基づき照合情報を取得するか否かを判定してもよい。CPU1は、S21の処理を省略し、S18で算出された全ての組み合わせに対応する3つの特徴点のそれぞれについて、照合情報を取得してもよい。CPU1は、面積が大きい順に所定組の3つの特徴点について照合情報を取得してもよい。
(C−3)S58において、周波数情報の類似度の算出方法は適宜変更されてよい。例えば、周波数成分として本実施形態と同様の一次元群遅延スペクトルが用いられる場合、高次の成分にはノイズ成分が強く表れることがある。このような場合を考慮して、低次の成分を優先して選択された所定個の成分を含む周波数情報に基づき、周波数情報が選択されてもよい。所定個は、サンプル数、及び認証精度等を考慮して予め定められればよく、例えば、1つの第1参照点について取得されるサンプルの数Nが128である場合、所定個は10から63のいずれかに設定される。好ましくは、所定個は12から20のいずれかに設定される。サンプル数Nの場合、所定個は、好ましくは(サンプル数N/10)から(サンプル数N/5)に設定される。
(C−4)周波数成分は、一次元群遅延スペクトルに限定されない。例えば、周波数成分としてはLPCスペクトル、群遅延スペクトル、LPCケプストラム、ケプストラム、自己相関関数、及び相互相関関数など、他の公知の周波数成分が用いられてもよい。
(C−5)公知の照合情報と組み合わせて、照合が実行されてもよい。例えば、公知のマニューシャ法により照合結果と、本発明の照合情報方法を用いた照合結果とを組み合わせて、最終的な判定が実行されてもよい。このようにすれば、多様な観点から照合が実行され、照合精度が向上することが期待される。
(C−6)第1参照点及び第2参照点の設定条件(例えば、数、間隔、及び取得順序等)は適宜変更されてよい。三角形が有する三辺のうち、一辺又は二辺について、サンプル情報及び周波数情報が取得されてもよい。S35の方向ベクトルは、1つの三角形について1つ算出されてもよい。この場合、三角形が有する三辺のうち、複数の辺についてサンプル情報及び周波数情報が取得される場合には、共通の方向ベクトルに基づき始点SPが決められてもよい。三角形が有する三辺のそれぞれについて算出された3つのサンプル情報は、適宜結合され、1つのサンプル情報として取り扱われてもよい。同様に三角形が有する三辺のそれぞれについて算出された3つの周波数情報は、適宜結合され、1つの周波数情報として取り扱われてもよい。このようにした場合には、三辺のそれぞれについて算出された3つのサンプル情報及び3つ周波数情報を全て用いて照合することができる。サンプル画像を生成する処理及び周波数画像を生成する処理は、適宜省略されてよい。幾何学的特徴量、第1情報及び第2情報は適宜変更されてよい。
1 CPU
2 ROM
3 RAM
4 フラッシュメモリ
10 情報処理装置
21 画像取得部
22 特徴点抽出部
23 幾何学的特徴量算出部
24 サンプル情報取得部
25 周波数情報取得部
26 登録部
27 照合部
28 DB

Claims (5)

  1. プロセッサと、記憶手段とを備えたコンピュータに、
    画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された前記画像を解析して、特徴点を抽出する抽出ステップと、
    前記抽出ステップで抽出された前記特徴点を3つ取得する特徴点取得ステップと、
    前記特徴点取得ステップで取得された3つの前記特徴点によって表される三角形の幾何学的特徴量を算出する特徴量算出ステップと、
    前記特徴点取得ステップで取得された前記3つの特徴点の中から、2つの特徴点をそれぞれ注目点として選択する選択ステップと、
    前記選択ステップで選択された2つの前記注目点を結ぶ線分上の点であって、前記幾何学的特徴量に基づき決定された点である第1参照点の位置に対応する第1情報を、互いに位置が異なる複数の前記第1参照点のそれぞれについて取得する参照点取得ステップと、
    前記参照点取得ステップで取得された複数の前記第1情報のそれぞれについて、
    前記第1情報に対応する前記第1参照点を中心とする所定半径の円の周上の点であって、前記幾何学的特徴量に基づき決定された点である第2参照点に対応する色情報と、前記第2参照点の位置に対応する第2情報とを対応づけた情報であるサンプルを、互いに位置が異なる複数の前記第2参照点のそれぞれについて取得し、
    取得された複数の前記サンプルと、前記第1情報とを対応づけた情報をサンプル情報とする処理を行うサンプル情報取得ステップと、
    前記サンプル情報取得ステップで取得された前記サンプル情報に基づき、前記複数の第1参照点のそれぞれについて、
    前記第2情報に対する前記色情報の変化の周波数成分を算出し、
    前記複数の第1参照点のそれぞれについて算出された前記周波数成分を前記第1情報と対応づけた情報である周波数情報を取得する周波数情報取得ステップと、
    前記サンプル情報及び前記周波数情報を、前記幾何学的特徴量と対応づけた情報を、生体情報の照合に用いる照合情報として前記記憶手段に記憶させる記憶制御ステップと
    を実行させるための情報処理プログラム。
  2. 前記選択ステップは、前記3つの特徴点の全ての2点の組み合わせに対応する3組の前記2つの注目点のそれぞれを選択することを特徴とする請求項1に記載の情報処理プログラム。
  3. 照合の対象となるテスト用の前記照合情報と、前記記憶手段に記憶された参照用の前記照合情報と照合する照合ステップをさらに備えることを特徴とする請求項1又は2に記載の情報処理プログラム。
  4. 前記特徴点取得ステップは、前記抽出ステップで抽出された複数の前記特徴点のうち、前記所定半径に基づき決定された所定範囲内にある複数の特徴点から前記3つの特徴点を選択する場合の、全ての組み合わせに対応する複数組の前記3つの特徴点を取得し、
    前記選択ステップは、前記特徴点取得ステップで取得された前記複数組の3つの特徴点のうち、前記特徴量算出ステップで算出された前記幾何学的特徴量に基づき、前記三角形の面積が所定値以上となる前記3つの特徴点について、前記2つの注目点を選択する処理を実行し、
    前記照合ステップは、
    前記テスト用の照合情報で表されるテスト用の前記三角形と、前記参照用の照合情報で表される参照用の前記三角形とのそれぞれの前記幾何学的特徴量を、前記三角形の面積が大きい順に比較して、類似度が閾値以下となる、前記テスト用の三角形と、前記参照用の三角形とのペアを抽出するペア抽出ステップと、
    前記ペア抽出ステップで抽出された前記テスト用の三角形に対応する前記サンプル情報及び前記周波数情報と、前記参照用の三角形に対応する前記サンプル情報及び前記周波数情報とを照合する抽出後照合ステップと
    を備えることを特徴とする請求項3に記載の情報処理プログラム。
  5. 情報を記憶する記憶手段と、
    画像を取得する画像取得手段と、
    前記画像取得手段によって取得された前記画像を解析して、特徴点を抽出する抽出手段と、
    前記抽出手段によって抽出された前記特徴点を3つ取得する特徴点取得手段と、
    前記特徴点取得手段によって取得された3つの前記特徴点によって表される三角形の幾何学的特徴量を算出する特徴量算出手段と、
    前記特徴点取得手段によって取得された前記3つの特徴点の中から、2つの特徴点をそれぞれ注目点として選択する選択手段と、
    前記選択手段によって選択された2つの前記注目点を結ぶ線分上の点であって、前記幾何学的特徴量に基づき決定された点である第1参照点の位置に対応する第1情報を、互いに位置が異なる複数の前記第1参照点のそれぞれについて取得する参照点取得手段と、
    前記参照点取得手段によって取得された複数の前記第1情報のそれぞれについて、
    前記第1情報に対応する前記第1参照点を中心とする所定半径の円の周上の点であって、前記幾何学的特徴量に基づき決定された点である第2参照点に対応する色情報と、前記第2参照点の位置に対応する第2情報とを対応づけた情報であるサンプルを、互いに位置が異なる複数の前記第2参照点のそれぞれについて取得し、
    取得した複数の前記サンプルと、前記第1情報とを対応づけた情報をサンプル情報とする処理を行うサンプル情報取得手段と、
    前記サンプル情報取得手段によって取得された前記サンプル情報に基づき、前記複数の第1参照点のそれぞれについて、
    前記第2情報に対する前記色情報の変化の周波数成分を算出し、
    前記複数の第1参照点のそれぞれについて算出された前記周波数成分を前記第1情報と対応づけた情報である周波数情報を取得する周波数情報取得手段と、
    前記サンプル情報及び前記周波数情報を、前記幾何学的特徴量と対応づけた情報を、生体情報の照合に用いる照合情報として前記記憶手段に記憶させる記憶制御手段と
    を備えることを特徴とする情報処理装置。
JP2015127421A 2015-06-25 2015-06-25 情報処理プログラム及び情報処理装置 Active JP6526494B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015127421A JP6526494B2 (ja) 2015-06-25 2015-06-25 情報処理プログラム及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015127421A JP6526494B2 (ja) 2015-06-25 2015-06-25 情報処理プログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2017010419A JP2017010419A (ja) 2017-01-12
JP6526494B2 true JP6526494B2 (ja) 2019-06-05

Family

ID=57763703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015127421A Active JP6526494B2 (ja) 2015-06-25 2015-06-25 情報処理プログラム及び情報処理装置

Country Status (1)

Country Link
JP (1) JP6526494B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207571A1 (ja) 2017-05-09 2018-11-15 株式会社ディー・ディー・エス 認証情報処理プログラム及び認証情報処理装置
WO2018207573A1 (ja) * 2017-05-09 2018-11-15 株式会社ディー・ディー・エス 認証情報処理プログラム及び認証情報処理装置
WO2018207572A1 (ja) 2017-05-09 2018-11-15 株式会社ディー・ディー・エス 認証情報処理プログラム及び認証情報処理装置
JP6981249B2 (ja) 2017-12-28 2021-12-15 富士通株式会社 生体認証装置、生体認証プログラム、及び生体認証方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3980464B2 (ja) * 2002-11-06 2007-09-26 株式会社国際電気通信基礎技術研究所 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置
JP3719435B2 (ja) * 2002-12-27 2005-11-24 セイコーエプソン株式会社 指紋照合方法及び指紋照合装置
JP3952293B2 (ja) * 2003-01-06 2007-08-01 ソニー株式会社 指紋照合装置および方法、記録媒体、並びに、プログラム

Also Published As

Publication number Publication date
JP2017010419A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
EP2833294B1 (en) Device to extract biometric feature vector, method to extract biometric feature vector and program to extract biometric feature vector
US10740589B2 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
JP6526494B2 (ja) 情報処理プログラム及び情報処理装置
EP3361413B1 (en) Method and apparatus of selecting candidate fingerprint image for fingerprint recognition
WO2009158700A1 (en) Assessing biometric sample quality using wavelets and a boosted classifier
CN110738222B (zh) 图像匹配方法、装置、计算机设备和存储介质
EP3617993B1 (en) Collation device, collation method and collation program
KR102205495B1 (ko) 지문 인식 방법 및 장치
KR102558736B1 (ko) 지문 인식 방법 및 장치
US10740590B2 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
US10430629B2 (en) Non-transitory computer-readable medium storing information processing program and information processing device
JP6879524B2 (ja) 認証情報処理プログラム及び認証情報処理装置
JP6894102B2 (ja) 認証情報処理プログラム及び認証情報処理装置
JP6448253B2 (ja) データ作成プログラム、データ作成方法、及び、データ作成装置
JP6366420B2 (ja) データ作成プログラム、データ作成方法、及び、データ作成装置
US11495049B2 (en) Biometric feature reconstruction method, storage medium and neural network
KR102189610B1 (ko) 정보 처리 프로그램 및 정보 처리 장치
JP6927534B2 (ja) 認証情報処理プログラム及び認証情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190508

R150 Certificate of patent or registration of utility model

Ref document number: 6526494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350