JP4720707B2 - Personal authentication device - Google Patents

Personal authentication device Download PDF

Info

Publication number
JP4720707B2
JP4720707B2 JP2006272859A JP2006272859A JP4720707B2 JP 4720707 B2 JP4720707 B2 JP 4720707B2 JP 2006272859 A JP2006272859 A JP 2006272859A JP 2006272859 A JP2006272859 A JP 2006272859A JP 4720707 B2 JP4720707 B2 JP 4720707B2
Authority
JP
Japan
Prior art keywords
image
imaging
light source
subject
lighting pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006272859A
Other languages
Japanese (ja)
Other versions
JP2008090719A (en
Inventor
恒次 阪田
卓志 前田
雅仁 松下
耕一 笹川
恵美子 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006272859A priority Critical patent/JP4720707B2/en
Publication of JP2008090719A publication Critical patent/JP2008090719A/en
Application granted granted Critical
Publication of JP4720707B2 publication Critical patent/JP4720707B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Description

この発明は、指の光学特性を検出することで個人認証を行う個人認証装置に関するものである。   The present invention relates to a personal authentication device that performs personal authentication by detecting optical characteristics of a finger.

従来の個人認証装置として、指の上部に光源を設置し、爪側から光を照射し、指内部を透過した光を撮像して指紋画像を得る方式がある(例えば、特許文献1参照。)。また、光源を指の両側面に設置して静脈画像を得る方式が提案されている(例えば、特許文献2参照。)。
装置の小型化、利便性からは、光源を指の両側面に設置する後者の方式が望ましいが、側面から光を照射すると、指部分のうち、光源側の画像は飽和して白くなり、反対側は暗くなるなど、均一な明度で鮮明な画像を得ることが難しい。
そこで、特許文献2では、指の両側面に配置した光源を、それぞれ片方ずつタイミングをずらして点灯させ、指側面の飽和領域が順次一方だけに現れるようにすると共に、各光源の点灯タイミングで撮像した画像に対し、それぞれ、指の撮像画像における飽和領域のない半面だけを切り出し、切り出した2枚の画像を1枚に合成することで、飽和領域のない指画像を得ている。
また、適切な明るさの画像を得るために、パワートランジスタを用いたPWM等の高速なスイッチング制御を利用して、電力量を変えて連続撮影している。
また、指の太さを計測するセンサを追加し、太さと最適光量との関係を予め計算することで撮像枚数を減らしている。
As a conventional personal authentication device, there is a method of obtaining a fingerprint image by installing a light source on the upper part of a finger, irradiating light from the nail side, and imaging light transmitted through the inside of the finger (see, for example, Patent Document 1). . In addition, a method of obtaining a vein image by installing light sources on both sides of a finger has been proposed (see, for example, Patent Document 2).
The latter method, in which the light source is installed on both sides of the finger, is desirable for downsizing and convenience of the device, but when the light is irradiated from the side, the image on the light source side of the finger part becomes saturated and white, and the opposite It is difficult to obtain a clear image with uniform brightness, for example, the side becomes dark.
Therefore, in Patent Document 2, the light sources arranged on both sides of the finger are turned on by shifting the timing one by one so that the saturated area on the side of the finger appears sequentially only on one side and imaging is performed at the lighting timing of each light source. For each of the images, only a half surface without a saturated region in the captured image of the finger is cut out, and the two images cut out are combined into one to obtain a finger image without a saturated region.
In addition, in order to obtain an image with appropriate brightness, high-speed switching control such as PWM using a power transistor is used to continuously capture images while changing the amount of power.
Further, a sensor for measuring the thickness of the finger is added, and the number of images is reduced by calculating in advance the relationship between the thickness and the optimum light amount.

特開2003−85538号公報JP 2003-85538 A 特開2004−265269号公報(第7〜8頁)JP-A-2004-265269 (pages 7-8)

上記のような従来の個人認証装置において、第1の問題点は、合成する2枚の画像を撮像する際、合成の境界線付近(指中央部分)が飽和しないように撮像すると、指の側面付近が暗くなり、逆に側面が十分明るいように撮像すると、中央部分が飽和してしまう点である。これは特に太い指で顕著に現れる。
第2の問題点は、最適な光量を探すために電力量を変えて連続撮影しており、撮像時間およびメモリ使用量が大きくなる点である。また、指の太さ計測にセンサを追加する場合、コストが増加する。
第3の問題点は、2枚の画像を合成する際、お互いの画像の明度が同じであるとは限らないため、合成の境界線で輝度が急激に変化し、境界線が目立つ場合がある点である。これは後の画像処理において悪影響を及ぼす。
また、境界線を目立たないようにするために平滑化処理をしているが、その場合、画像がぼやけてしまい、指紋・静脈パターンなどの情報が失われてしまう。
In the conventional personal authentication device as described above, the first problem is that when capturing two images to be combined, if the image is captured so that the vicinity of the boundary line of the combination (finger center portion) is not saturated, the side surface of the finger If the image is taken so that the vicinity becomes dark and the side surface is sufficiently bright, the central portion is saturated. This is particularly noticeable with thick fingers.
The second problem is that continuous shooting is performed by changing the amount of electric power in order to search for the optimum light amount, and the imaging time and the memory usage amount are increased. In addition, when a sensor is added to the finger thickness measurement, the cost increases.
The third problem is that when two images are combined, the brightness of each image is not always the same, so the brightness changes abruptly at the boundary of the combination and the boundary may be noticeable. Is a point. This adversely affects subsequent image processing.
Also, smoothing processing is performed to make the boundary lines inconspicuous, but in that case, the image is blurred and information such as fingerprints and vein patterns is lost.

本発明は上記のような問題点を解決するためになされたものであり、どのような大きさの指であっても、少ない撮像回数で、指全体に亘って明るく鮮明な画像を得ることができる、認証率の高い個人認証装置を提供することを目的としている。
また、撮像した複数の画像を合成して1枚の画像にする際に、指紋・静脈パターン等の情報を失うことなく、境界線の自然な合成画像を得ることができる、認証率の高い個人認証装置を提供することを目的としている。
The present invention has been made to solve the above-described problems, and a bright and clear image can be obtained over the entire finger with a small number of times of imaging, regardless of the size of the finger. An object of the present invention is to provide a personal authentication device with a high authentication rate.
In addition, when a plurality of captured images are combined into a single image, an individual with a high authentication rate can obtain a natural composite image of the border line without losing information such as fingerprints and vein patterns. The object is to provide an authentication device.

この発明に係る個人認証装置は、被写体を撮像面において相対向する2方向より照射する光源、上記被写体を撮像する撮像手段、上記光源の点灯タイミングを制御し、上記被写体を上記2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する点灯パターンとでそれぞれ上記被写体を照射する光源制御部、上記点灯パターン毎にそれぞれ撮像した撮像画像を用いて1枚の合成画像を得る画像合成処理部、上記合成画像より特徴情報を抽出する画像処理部、および上記特徴情報を用いて個人認証を行う照合処理部を備えた個人認証装置であって、上記光源制御部は上記光源の上記点灯タイミングと上記光源の光量制御量を制御し、撮像制御部は上記撮像手段の撮像パラメータを制御し、上記画像合成処理部は、予め決められた複数の組合せの上記光量制御量・上記撮像パラメータで、上記点灯パターン毎にそれぞれ撮像した複数の撮像画像より、上記点灯パターン毎に、合成に必要な必要領域が飽和せずかつ最も明るい画像をそれぞれ選択し、選択した3枚の画像を合成して1枚の合成画像を得るものである。

The personal authentication device according to the present invention controls a light source that irradiates a subject from two opposite directions on the imaging surface, an imaging unit that images the subject, lighting timing of the light source, and unidirectionally moves the subject from the two directions. A light source control unit that irradiates the subject with a lighting pattern that irradiates the subject one by one and a lighting pattern that irradiates the subject simultaneously from the two directions, and a single composite image using captured images captured for each of the lighting patterns. A personal authentication apparatus comprising: an obtained image composition processing unit; an image processing unit that extracts feature information from the synthesized image; and a collation processing unit that performs personal authentication using the feature information , wherein the light source control unit includes the light source The lighting timing and the light amount control amount of the light source are controlled, the imaging control unit controls imaging parameters of the imaging unit, and the image composition processing unit From the plurality of captured images captured for each of the lighting patterns with the light quantity control amount and the imaging parameters of a plurality of predetermined combinations, the necessary area necessary for composition is not saturated and most Each of the bright images is selected, and the three selected images are combined to obtain one combined image .

この発明は、どのような大きさの指であっても、少ない撮像回数で、指全体に亘って明るく鮮明な画像が得られるため、高い認証率で個人認証が行える。   According to the present invention, since a bright and clear image can be obtained over the entire finger with a small number of times of imaging for any size finger, personal authentication can be performed with a high authentication rate.

実施の形態1.
図1は本発明の実施の形態1による個人認証装置を示す構成図であり、被写体1である指を右側面および左側面より照らすように、被写体設置個所の両側面にそれぞれ設置された光源2r、2l(総称する場合は2と記す。)、被写体1を、被写体1の腹側より撮像するカメラ(撮像手段)3、撮像した画像を記憶する画像記憶部4、光源2の点灯タイミング、および光源2に供給する電力量(光量制御量)を制御する光源制御部5、カメラ3のゲイン(撮像パラメータ)を制御するカメラ制御部(撮像制御部)6、撮像した複数の画像を合成して1枚の画像を得る画像合成処理部7、合成した画像を画像処理し、特徴情報を抽出する画像処理部8、並びに抽出した特徴情報を用いて個人認証を行う照合処理部9から構成される。
本実施の形態では、光源制御部5により、光源2の点灯タイミングを制御し、被写体1を右側面と左側面との2方向より片方向ずつ照射する点灯パターンと、被写体1を上記2方向より同時に照射する点灯パターンとでそれぞれ被写体1を照射する。画像合成処理部7では、右側の光源2rのみ照射して撮像した画像と、左側の光源2lのみ照射して撮像した画像と、両側の光源2r、2lを同時に照射して撮像した画像とを用い、これら3枚の画像を合成して1枚の画像を合成する。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a personal authentication device according to Embodiment 1 of the present invention. Light sources 2r respectively installed on both sides of a subject installation location so that a finger as a subject 1 is illuminated from the right side and the left side. 2l (generally referred to as 2), a camera (imaging means) 3 that captures the subject 1 from the ventral side of the subject 1, an image storage unit 4 that stores the captured image, lighting timing of the light source 2, and A light source control unit 5 that controls the amount of power (light quantity control amount) supplied to the light source 2, a camera control unit (imaging control unit) 6 that controls the gain (imaging parameter) of the camera 3, and a plurality of captured images are synthesized. An image composition processing unit 7 that obtains one image, an image processing unit 8 that performs image processing on the synthesized image and extracts feature information, and a matching processing unit 9 that performs personal authentication using the extracted feature information .
In the present embodiment, the light source control unit 5 controls the lighting timing of the light source 2 to illuminate the subject 1 in one direction from the two directions of the right side and the left side, and the subject 1 from the two directions. The subject 1 is irradiated with the lighting pattern to be irradiated simultaneously. The image composition processing unit 7 uses an image captured by irradiating only the right light source 2r, an image captured by irradiating only the left light source 21, and an image captured by irradiating both the light sources 2r and 21 simultaneously. These three images are combined to form a single image.

指1の両側に配置した光源2を、それぞれ片方ずつタイミングをずらして点灯させ、得られた2枚の画像を用い、それぞれ飽和領域のない半面、例えば、照射光源側とは反対側の側面だけを切り出して1枚の画像を合成しようとした場合、指中央部分が飽和しないように撮像すると、合成に用いる照射光源側とは反対側の側面付近の画像は暗くなってしまい、逆に照射光源側とは反対側の側面が十分明るいように撮像すると、指中央部分の画像が飽和してしまう問題がでてくる。これは特に太い指で顕著に現れる。
これに対して、本実施の形態では、両側の光源2を片方ずつ照射して撮像した画像に加え、さらに両側の光源2を同時に照射して中央部分が明るく鮮明な画像を撮像し、得られた3枚の画像より1枚の画像を合成する。これにより、片側の各光源のみを照射させて撮像する場合に、指中央部分の輝度を気にすることなく、側面付近のみが明るく鮮明に写るように撮像できる。その結果、従来、明るく鮮明な画像を合成することが難しかった太い指であっても、指全体に亘って、輝度不足、輝度過剰等の無い明るく鮮明な画像が得られ、良質の合成画像が得られるので、高い認証率で個人認証が行える。
The light sources 2 arranged on both sides of the finger 1 are lit at different timings one by one, and the obtained two images are used, each having no saturation region, for example, only the side opposite to the irradiation light source side When one image is to be combined and one image is combined, if the image is taken so that the center of the finger is not saturated, the image near the side opposite to the irradiation light source used for combining will be dark, and conversely the irradiation light source When imaging is performed so that the side surface opposite to the side is sufficiently bright, there is a problem that the image of the finger central portion is saturated. This is particularly noticeable with thick fingers.
On the other hand, in the present embodiment, in addition to the image picked up by illuminating the light sources 2 on both sides one by one, the light sources 2 on both sides are simultaneously radiated to pick up a bright and clear image at the center. One image is synthesized from the three images. As a result, when imaging is performed by irradiating only one light source on one side, imaging can be performed so that only the vicinity of the side surface is bright and clear, without worrying about the luminance of the central portion of the finger. As a result, even with a thick finger that has conventionally been difficult to synthesize a bright and clear image, a bright and clear image with insufficient brightness, excessive brightness, etc. can be obtained over the entire finger, and a high-quality composite image can be obtained. As a result, personal authentication can be performed at a high authentication rate.

図2は、本発明の実施の形態1による個人認証装置の動作を示すフローチャートであり、画像の撮像から合成、照合までの処理の主な流れを示す。   FIG. 2 is a flowchart showing the operation of the personal authentication apparatus according to the first embodiment of the present invention, and shows the main flow of processing from image capturing to composition and verification.

まず、図2の撮像処理(ステップS1)について説明する。本実施の形態1では、カメラゲインおよび光源2に供給する電力量は予め決められた値のみを使用する。予め決められた複数の組合せのゲイン・電力量で、右側光源2rのみ照射して複数の画像を撮像し(ステップS101)、次に予め決められた複数の組合せのゲイン・電力量で、左側光源2lのみ照射して複数の画像を撮像する(ステップS102)。さらに、予め決められた複数の組合せのゲイン・電力量で、両側の光源2より指を照射して複数の画像を撮像する(ステップS103)。   First, the imaging process (step S1) of FIG. 2 will be described. In the first embodiment, only predetermined values are used for the camera gain and the amount of power supplied to the light source 2. Only the right light source 2r is irradiated with a plurality of predetermined combinations of gain and power, and a plurality of images are captured (step S101). Next, the left light source with a plurality of predetermined combinations of gain and power Only 2l is irradiated and a plurality of images are taken (step S102). Further, a plurality of images are picked up by irradiating a finger from the light sources 2 on both sides with a predetermined combination of gain and power (step S103).

次に、最適画像の選択処理(ステップS2)では、左右および両側より光を照射して撮像された複数の画像の中から、点灯パターン毎に、合成に必要な必要領域が飽和せずかつ最も明るい画像を選択し、合成に用いる画像とする。以下に、合成に必要な領域が飽和せずかつ最も明るい画像を選ぶ方法について説明する。
図3は本実施の形態に係わる最適画像の選択処理(ステップS2)の詳細な動作を示すフローチャートであり、図4は、各光源照射時に撮像された画像における必要領域を示す説明図である。なお、この選択処理は画像合成処理部7にて行われる。
Next, in the optimum image selection process (step S2), the necessary area necessary for composition is not saturated and is the highest among the plurality of images picked up by irradiating light from the left and right and both sides. A bright image is selected and used as a composite image. In the following, a method for selecting the brightest image in which the area necessary for synthesis is not saturated will be described.
FIG. 3 is a flowchart showing the detailed operation of the optimum image selection process (step S2) according to the present embodiment, and FIG. 4 is an explanatory diagram showing a necessary area in the image taken at the time of each light source irradiation. This selection process is performed by the image composition processing unit 7.

図4の一点鎖線により囲まれた領域が必要領域であり、各点灯パターンで撮像された撮像画像における必要領域は予め決められている。ステップS101で得られた複数の撮像画像に対しては、図4(a)に示すように、左側の所定領域が必要領域とされる。また、ステップS102得られた複数の撮像画像に対しては、図4(c)に示すように、右側の所定領域が必要領域とされる。さらに、ステップS103で得られた複数の撮像画像に対しては、図4(b)に示すように、指中央部分の所定領域が必要領域とされる。   A region surrounded by a one-dot chain line in FIG. 4 is a necessary region, and a necessary region in a captured image captured with each lighting pattern is determined in advance. For a plurality of captured images obtained in step S101, a predetermined area on the left side is a necessary area as shown in FIG. Further, for the plurality of captured images obtained in step S102, the predetermined area on the right side is a necessary area as shown in FIG. 4C. Furthermore, for the plurality of captured images obtained in step S103, a predetermined area at the center of the finger is set as a necessary area as shown in FIG. 4B.

図3のステップS202では、点灯パターン(右側照射、左側照射、両側照射)毎に得られた複数の撮像画像に対して、それぞれの必要領域を切り出し、各必要領域内の濃度ヒストグラムh(i)をそれぞれ計算する。濃度ヒストグラムh(i)は、必要領域における各輝度値(i=0〜255)の頻度を表しており、画像は256階調の濃淡画像を想定している。   In step S202 of FIG. 3, each necessary area is cut out from a plurality of captured images obtained for each lighting pattern (right side illumination, left side illumination, and both side illumination), and a density histogram h (i) in each necessary area is obtained. Respectively. The density histogram h (i) represents the frequency of each luminance value (i = 0 to 255) in the necessary area, and the image is assumed to be a grayscale image with 256 gradations.

得られた濃度ヒストグラムh(i)において、所定の輝度値i0(例えば253)を超える輝度値の累積頻度を飽和量Hと定義し、ステップS203では、上記飽和量H In the obtained density histogram h (i), the cumulative frequency of luminance values exceeding a predetermined luminance value i 0 (for example, 253) is defined as a saturation amount H. In step S203, the saturation amount H

Figure 0004720707
Figure 0004720707

を計算する。図5はこの飽和量Hを示す説明図である。横軸は輝度値(i)、縦軸は頻度(h)であり、i=0〜i=255に対する累積頻度は1である。 Calculate FIG. 5 is an explanatory diagram showing the saturation amount H. The horizontal axis represents the luminance value (i), the vertical axis represents the frequency (h), and the cumulative frequency for i = 0 to i = 255 is 1.

次に、ステップS204では、得られた濃度ヒストグラムにおいて、最大輝度値ipを計算する。図6は最大輝度値を示す説明図である。濃度ヒストグラムにおいて、輝度値255から順番に階調数を下げ、その輝度値の頻度を累積していき、累積頻度がある一定の割合(例えば10%)に達した時点の輝度値を必要領域の最大輝度値ipとする。すなわち、ステップS204において、 Next, in step S204, the maximum luminance value i p is calculated in the obtained density histogram. FIG. 6 is an explanatory diagram showing the maximum luminance value. In the density histogram, the number of gradations is decreased in order from the luminance value 255, and the frequency of the luminance value is accumulated. The luminance value at the time when the accumulated frequency reaches a certain ratio (for example, 10%) Let it be the maximum luminance value i p . That is, in step S204,

Figure 0004720707
Figure 0004720707

を満たす最も大きな輝度値を最大輝度値ipとする。 The largest luminance value satisfying the condition is defined as the maximum luminance value i p .

ステップS201では、点灯パターン毎に得られた全ての撮像画像の必要領域に対して、それぞれ飽和量Hおよび最大輝度値ipを計算したか否かを判定し、計算していなければ、ステップS202〜S204を繰り返し、全ての撮像画像の必要領域に対し、飽和量Hおよび最大輝度値ipを計算している場合は、点灯パターン毎に得られた複数の撮像画像の内、計算した飽和量Hが所定の値(例えば1%)以下で、かつ最大輝度値ipが最も高い画像を最適画像として選択する。具体的には、ステップS205において、点灯パターン毎に、最大輝度値の降順で複数の画像を並べ替え、ステップS206で、並べ替えた複数の画像を最大輝度値の高い順に、その飽和量Hを所定値H0(例えば0.01)と比較し、飽和量Hが所定値H0より小さい時、その画像を最適画像として選択する。飽和量Hが所定値H0以上であれば、ステップS207で、次に最大輝度値の小さい画像を選び、ステップS206を繰り返す。 In step S201, it is determined whether or not the saturation amount H and the maximum luminance value i p have been calculated for the necessary areas of all captured images obtained for each lighting pattern. If not, step S202 is performed. Repeat ~S204, to require regions of all of the captured image, if the calculated saturation amount H and the maximum luminance value i p, of the plurality of captured images obtained for each lighting pattern, calculated saturation amount An image with H being a predetermined value (for example, 1%) or less and the highest maximum luminance value i p is selected as the optimum image. Specifically, in step S205, for each lighting pattern, a plurality of images are rearranged in descending order of the maximum luminance value, and in step S206, the plurality of rearranged images are assigned their saturation amounts H in descending order of the maximum luminance value. When the saturation amount H is smaller than the predetermined value H 0 compared with a predetermined value H 0 (for example, 0.01), the image is selected as the optimum image. If the saturation amount H is greater than or equal to the predetermined value H 0 , in step S207, the next image with the smallest maximum luminance value is selected, and step S206 is repeated.

次に、図2のステップS3では、点灯パターン毎に取得した複数の撮像画像の中からそれぞれステップS2で選択した3枚の選択画像を合成して1枚の画像に合成する。合成処理について以下に説明する。
図7は合成処理の概略を示す説明図、図8は合成処理を示すフローチャートである。図8のステップS301では、ステップS2で最適画像として選択された右側照射時選択画像Ir、左側照射時選択画像Il、および両側照射時選択画像Idに対し、それぞれ、x方向で異なる値を示す合成重みWr(x)、Wl(x)、およびWd(x)を与える。なお、x軸は撮像画像における座標であり、2つの光源2を結ぶ方向にとる。
ステップS302では、次式にしたがって、3つの選択画像Ir,Il,Idにおける各画素値(輝度値)Ir(x,y),Il(x,y),Id(x,y)に対し、それぞれ上記合成重みWr(x)、Wl(x)、Wd(x)により重み付けを行うと共に、重み付けした画像の和をとる。
Next, in step S3 of FIG. 2, the three selected images respectively selected in step S2 from the plurality of captured images acquired for each lighting pattern are combined and combined into one image. The synthesis process will be described below.
FIG. 7 is an explanatory diagram showing an outline of the synthesis process, and FIG. 8 is a flowchart showing the synthesis process. In step S301 of FIG. 8, different values in the x-direction are obtained for the right irradiation selection image I r , the left irradiation selection image I l , and the both-side irradiation selection image I d selected as the optimum images in step S2. Are given composite weights W r (x), W l (x), and W d (x). The x-axis is a coordinate in the captured image and is taken in the direction connecting the two light sources 2.
In step S302, according to the following equation, the pixel values (luminance values) I r (x, y), I l (x, y), I d (x, x) in the three selected images I r , I l , I d y) is weighted by the combined weights W r (x), W l (x), and W d (x), respectively, and the sum of the weighted images is taken.

Figure 0004720707
Figure 0004720707

得られた画像を合成画像Icとする(ステップS303)。 The obtained image is defined as a composite image I c (step S303).

上記ステップS301で与える合成重みWr(x)、Wl(x)、およびWd(x)としては、合成した場合の境界線(合成軸)で輝度が急に変化して境目が目立つことがないように、合成軸付近で滑らかに変化する重み関数を用いる。ここでは、例えばシグモイド関数を利用した重み関数を用いる。 As the synthesis weights W r (x), W l (x), and W d (x) given in step S301, the brightness changes suddenly at the boundary line (synthesis axis) when they are synthesized, and the boundary is conspicuous. A weight function that smoothly changes in the vicinity of the composite axis is used so that there is no occurrence. Here, for example, a weight function using a sigmoid function is used.

図9にシグモイド関数を示す。シグモイド関数は、
Y=1.0/(1.0+exp(X))
で表され、Y=0およびY=1を漸近線に持ち、X=0のときY=1/2を通る。また、図9から分かるように、滑らかに0〜1.0の間で変化する。
このシグモイド関数に、滑らかさを表すパラメータαを導入して、各画像に対する重み関数Wr(x)、Wl(x)、およびWd(x)を以下のように作成する。
合成軸のx座標をT1(右側照射時撮像画像の必要領域と両側照射時撮像画像の必要領域との境界領域近傍に設定)、およびT2(左側照射時撮像画像の必要領域と両側照射時撮像画像の必要領域との境界領域近傍に設定)とすると、
左側照射時選択画像Ilに対する重み関数は、
FIG. 9 shows the sigmoid function. The sigmoid function is
Y = 1.0 / (1.0 + exp (X))
Y = 0 and Y = 1 are asymptotic lines, and when X = 0, Y = 1/2 is passed. Further, as can be seen from FIG. 9, it smoothly changes between 0 and 1.0.
A parameter α representing smoothness is introduced into the sigmoid function, and weight functions W r (x), W l (x), and W d (x) for each image are created as follows.
The x-coordinate of the composite axis is set to T 1 (set near the boundary area between the required area of the captured image during right-side irradiation and the required area of the captured image during both-side irradiation), and T 2 (required area of the captured image during left-side irradiation and both-side irradiation) Set near the boundary area with the required area of the captured image)
The weighting function for the left irradiation selected image I l is

Figure 0004720707
Figure 0004720707

右側照射時選択画像Irに対する重み関数は、 The weight function for the right irradiation selected image I r is

Figure 0004720707
Figure 0004720707

両側照射時選択画像Idに対する重み関数は、両者を組み合わせて、 The weighting function for the selected image I d at the time of both-side irradiation is a combination of both.

Figure 0004720707
Figure 0004720707

となる。
図10にこれらの重み関数を示す。
It becomes.
FIG. 10 shows these weight functions.

このように合成軸付近で滑らかに変化する重み関数を用いることで、合成の境界線における指紋や静脈といった情報を失うことなく自然な合成を行うことができる。
なお、ここでは、シグモイド関数を利用したが、各座標において重みの和が1になるようにすればどのような関数でも良い。
また、合成軸(x=T1,T2)は固定である必要はなく、指の置き方が変動することを考慮して、エッジ抽出処理などを利用して指の形状を計算し、それに合わせて合成軸を設定しても良い。その場合、指の形状に合わせて必要領域の位置・大きさを変えても良い。
In this way, by using a weight function that smoothly changes in the vicinity of the synthesis axis, natural synthesis can be performed without losing information such as fingerprints and veins on the synthesis boundary line.
Although the sigmoid function is used here, any function may be used as long as the sum of the weights is 1 at each coordinate.
In addition, the composite axis (x = T 1 , T 2 ) does not need to be fixed, and the finger shape is calculated using an edge extraction process or the like in consideration of the way the finger is placed. A composite axis may also be set. In that case, the position and size of the necessary area may be changed according to the shape of the finger.

次に、図2のステップS4においては、ステップS3で得られた合成画像に対して画像処理を施し、指紋・静脈パターン等の特徴情報を抽出する。この画像処理としては、例えば、特開平10−334237号公報に記載されるような方法を用い、二値化、細線化などの画像処理を施すとよい。
次に、図2のステップS5においては、ステップS4で処理された処理画像より得られた特徴情報と、事前に登録された特徴情報との照合を行ない、個人認証を行う。
Next, in step S4 of FIG. 2, image processing is performed on the composite image obtained in step S3, and feature information such as a fingerprint / vein pattern is extracted. As this image processing, for example, a method as described in JP-A-10-334237 may be used to perform image processing such as binarization and thinning.
Next, in step S5 of FIG. 2, the feature information obtained from the processed image processed in step S4 is collated with the feature information registered in advance to perform personal authentication.

なお、上記実施の形態では、右側照射時撮像画像の必要領域、および左側照射時撮像画像の必要領域は光の照射側と反対側であったが、照射側と同じ側が飽和状態とならず、明るく鮮明な画像が得られるように、ゲイン・電力量の組み合わせが設定されている場合は、照射側と同じ側を必要領域として切り出すようにしてもよい。   In the above embodiment, the necessary area of the right side captured image and the necessary area of the left side captured image are opposite to the light irradiation side, but the same side as the irradiation side is not saturated, When a combination of gain and electric energy is set so that a bright and clear image can be obtained, the same side as the irradiation side may be cut out as a necessary region.

実施の形態2.
図11は本発明の実施の形態2による個人認証装置を示す構成図であり、実施の形態1の構成に加えて、カメラ3の撮像パラメータ(ゲイン)を計算するカメラ制御量計算部(撮像制御量計算部)61を備えている。
実施の形態2においては、撮像処理(図2のステップS1)に際し、画像を本番撮像(ステップS101〜S103)する前に、点灯パターン毎に所定のゲインで試し撮像し、得られた試し画像を用いて、点灯パターン毎に、合成に必要な領域が飽和せずかつ明るい画像が得られるゲインをカメラ制御量計算部61で計算し、計算された各ゲインで、点灯パターン毎にそれぞれ本番撮像を行う。
本番撮像された3枚の撮像画像に対して、実施の形態1と同様にして合成処理(図2のステップS3)を行い、さらに画像処理(図2のステップS4)および照合処理(図2のステップS5)を行う。
Embodiment 2. FIG.
FIG. 11 is a block diagram showing a personal authentication device according to the second embodiment of the present invention. In addition to the configuration of the first embodiment, a camera control amount calculation unit (imaging control) that calculates the imaging parameter (gain) of the camera 3 is shown. A quantity calculation unit) 61.
In the second embodiment, during the imaging process (step S1 in FIG. 2), the trial image is obtained with a predetermined gain for each lighting pattern before the image is actually captured (steps S101 to S103). For each lighting pattern, the camera control amount calculation unit 61 calculates a gain that does not saturate a region necessary for synthesis and obtains a bright image, and performs actual imaging for each lighting pattern with each calculated gain. Do.
Similar to the first embodiment, the composition processing (step S3 in FIG. 2) is performed on the three actually captured images, and further the image processing (step S4 in FIG. 2) and the collation processing (in FIG. 2). Step S5) is performed.

実施の形態2における撮像処理のフローチャートを図12に示す。実施の形態2では電力量は一定(例えばMAX)とする。
まず、ステップS11において、右側照射時撮像画像の必要領域、左側照射時撮像画像の必要領域、および両側照射時撮像画像の必要領域として、例えば図3に示す必要領域を設定する。
ステップS12では、カメラ制御部6により、カメラ3のゲインとして所定のゲイン(例えば1)を基準ゲインとして与え、被写体1を右側照射、左側照射、および両側照射して、点灯パターン毎に被写体1を撮像して画像を得る(試し画像)。
ステップS13では、カメラ制御量計算部61で、本番撮像時におけるカメラ3のゲイン(本番撮像ゲイン)を、試し画像における最大輝度値を元に次式で計算する。上記最大輝度値は、実施の形態1で説明した最大輝度値と同様、各撮像画像の必要領域における濃度ヒストグラムを用いて計算する。
本番撮像ゲイン=基準ゲイン×(目標最大輝度値/最大輝度値)
ここで目標最大輝度値とは、最大輝度値の目標となる値であり、予め与えられる値(例えば250)である。
ステップS101〜S103では、点灯パターン毎に得られた本番撮像ゲインで、それぞれ本番撮像を行う。
FIG. 12 shows a flowchart of the imaging process in the second embodiment. In the second embodiment, the electric energy is constant (for example, MAX).
First, in step S11, for example, the necessary areas shown in FIG. 3 are set as necessary areas for the right-side illuminated captured image, left-side illuminated captured image, and both-side illuminated captured image.
In step S12, the camera controller 6 gives a predetermined gain (for example, 1) as the gain of the camera 3 as a reference gain, irradiates the subject 1 on the right side, on the left side, and on both sides. Take an image to obtain an image (trial image).
In step S13, the camera control amount calculation unit 61 calculates the gain of the camera 3 at the time of actual imaging (the actual imaging gain) based on the maximum luminance value in the test image by the following equation. The maximum luminance value is calculated using a density histogram in a necessary area of each captured image, similarly to the maximum luminance value described in the first embodiment.
Production imaging gain = reference gain x (target maximum brightness value / maximum brightness value)
Here, the target maximum luminance value is a target value of the maximum luminance value, and is a value given in advance (for example, 250).
In steps S101 to S103, the actual imaging is performed with the actual imaging gain obtained for each lighting pattern.

ここまでは、各点灯パターンに対し、基準ゲインを1つだけ設定し、点灯パターン毎にそれぞれ1枚の試し画像を得、1枚の試し画像だけから本番撮像のゲインを計算したが、基準ゲインが1つだけでは、計算した本番撮像ゲインが本当に明るく鮮明な画像を撮像できる値ではない場合がある。例えば、基準ゲインが低く設定されていた場合に太い指を試し撮像すると、全体的に暗すぎて本番撮像ゲインが適切に計算されない。また逆に、基準ゲインが高く設定されていた場合に細い指を試し撮像すると、全体的に明るすぎて適切に計算することができない。
そこで、基準ゲインを幾つかの値(例えば1、2、4)で設定して試し撮像を行う。点灯パターン毎に、複数の基準ゲインで撮像された複数の試し画像の必要領域において、飽和量が少なくかつ明るい試し画像を選び、その試し画像撮像時の基準ゲインを、カメラ制御量計算部61で計算に使用する基準ゲインとする。飽和量が少なくかつ明るい試し画像を選択するには、実施の形態1の選択処理で説明した方法と同様に、高いゲインで撮像した試し画像から順に(ゲインが高ければそれだけ明るい画像が得られるので最大輝度値が高い順に並べる代わりに高いゲインの順にならべる)必要領域における飽和量を計算し、飽和量が一定値(例えば1%)以下となる画像を選択する。
Up to this point, only one reference gain is set for each lighting pattern, one trial image is obtained for each lighting pattern, and the gain of actual imaging is calculated from only one trial image. If there is only one, the calculated actual imaging gain may not be a value that can capture a really bright and clear image. For example, if a thick finger is subjected to trial imaging when the reference gain is set low, the actual imaging gain is not properly calculated because it is too dark as a whole. On the other hand, if the reference gain is set to be high and a trial image of a thin finger is taken, it is too bright as a whole and cannot be calculated appropriately.
Therefore, trial imaging is performed by setting a reference gain with several values (for example, 1, 2, and 4). For each lighting pattern, in a necessary region of a plurality of trial images captured with a plurality of reference gains, a trial image with a small saturation amount and a light brightness is selected, and the reference gain at the time of the trial image imaging is calculated by the camera control amount calculation unit 61. The reference gain used for calculation is used. In order to select a bright trial image with a small amount of saturation, as in the method described in the selection process of the first embodiment, a brighter image is obtained in order from a trial image captured with a higher gain (if the gain is higher, The saturation amount in the necessary area is calculated instead of arranging the maximum luminance values in the order of higher gain (in order of higher gain), and an image in which the saturation amount is a certain value (eg, 1%) or less is selected.

これによって、最適な明るさの画像を撮像するために連続撮像する必要がなくなり、画像の撮像時間の短縮と、複数枚の画像を保持するためのメモリ使用量の低減ができる。また、どのような太さの指であっても、少ない撮像回数で、明るく鮮明な画像を得ることができるため、認証精度の高精度化が可能となる。   This eliminates the need for continuous imaging in order to capture an image with optimal brightness, thereby shortening the imaging time of the image and reducing the amount of memory used to hold a plurality of images. In addition, a finger with any thickness can obtain a bright and clear image with a small number of times of imaging, so that the authentication accuracy can be increased.

実施の形態3.
図13は本発明の実施の形態3による個人認証装置を示す構成図であり、実施の形態1の構成に加えて、光源2に供給する光量制御量(電力量)を計算する光量制御量計算部51を備えている。
実施の形態3においては、撮像処理(図2のステップS1)に際し、画像を本番撮像(ステップS101〜S103)する前に、点灯パターン毎に所定の電力量(光量制御量)を光源に与えて試し撮像し、その試し画像を用いて、点灯パターン毎に、合成に必要な領域が飽和せず、かつ明るい画像が得られる電力量(光量制御量)を光量制御量計算部51で計算し、計算された各電力量で、点灯パターン毎にそれぞれ本番撮像を行う。
また、本番撮像された3枚の撮像画像に対して、実施の形態1と同様にして合成処理(図2のステップS3)を行い、さらに画像処理(図2のステップS4)および照合処理(図2のステップS5)を行う。
Embodiment 3 FIG.
FIG. 13 is a block diagram showing a personal authentication device according to Embodiment 3 of the present invention. In addition to the configuration of Embodiment 1, FIG. 13 shows light amount control amount calculation for calculating a light amount control amount (power amount) supplied to the light source 2. A unit 51 is provided.
In the third embodiment, during the imaging process (step S1 in FIG. 2), a predetermined power amount (light quantity control amount) is given to the light source for each lighting pattern before the image is actually captured (steps S101 to S103). Trial imaging is performed, and for each lighting pattern, a power amount (light amount control amount) for obtaining a bright image without saturation of a region necessary for synthesis is calculated by the light amount control amount calculation unit 51 for each lighting pattern. Production imaging is performed for each lighting pattern with each calculated power amount.
Further, the composite processing (step S3 in FIG. 2) is performed on the three captured images that are actually captured in the same manner as in the first embodiment, and further image processing (step S4 in FIG. 2) and collation processing (FIG. 2). 2 step S5).

実施の形態3における撮像処理のフローチャートを図14に示す。実施の形態3では、ゲインは一定(例えば1)とする。
まず、ステップS11において、右側照射時撮像画像の必要領域、左側照射時撮像画像の必要領域、および両側照射時撮像画像の必要領域として、例えば図3に示す必要領域を設定する。
ステップS14では、光源制御部5により、各光源2の電力量として、所定の電力量を基準電力量として与え、被写体1を右側照射、左側照射、および両側照射して、点灯パターン毎に被写体1を撮像して画像を得る(試し画像)。
ステップS15では、光量制御量計算部51で、本番撮像時における各光源2の電力量(本番撮像電力量)を、試し画像における最大輝度値を元に次式で計算する。上記最大輝度値は、実施の形態1で説明した最大輝度値と同様、各撮像画像の必要領域における濃度ヒストグラムを用いて計算する。
本番撮像電力量=基準電力量×(目標最大輝度値/最大輝度値)
ここで目標最大輝度値とは、最大輝度値の目標となる値で予め与えられる値(例えば250)である。
ステップS101〜S103では、点灯パターン毎に得られた本番撮像電力量で、それぞれ本番撮像を行う。
FIG. 14 shows a flowchart of the imaging process in the third embodiment. In the third embodiment, the gain is constant (for example, 1).
First, in step S11, for example, the necessary areas shown in FIG. 3 are set as necessary areas for the right-side illuminated captured image, left-side illuminated captured image, and both-side illuminated captured image.
In step S14, the light source controller 5 gives a predetermined power amount as the reference power amount as the power amount of each light source 2, and subject 1 is irradiated on the right side, left side, and both sides, and subject 1 is turned on for each lighting pattern. To obtain an image (trial image).
In step S15, the light amount control amount calculation unit 51 calculates the power amount of each light source 2 at the time of actual imaging (the actual imaging power amount) based on the maximum luminance value in the test image by the following equation. The maximum luminance value is calculated using a density histogram in a necessary area of each captured image, similarly to the maximum luminance value described in the first embodiment.
Production imaging energy = reference energy x (target maximum luminance value / maximum luminance value)
Here, the target maximum luminance value is a value (for example, 250) given in advance as a target value of the maximum luminance value.
In steps S101 to S103, actual imaging is performed with the actual imaging power amount obtained for each lighting pattern.

実施の形態3においても実施の形態2と同様に、基準電力量を幾つかの値で設定して試し撮像を行い、点灯パターン毎に、複数の基準電力量で撮像された複数の試し画像の必要領域において、飽和量が少なくかつ明るい試し画像を選び、その試し画像撮像時の基準電力量を、光量制御量計算部51で計算に使用する基準電力量とするとよい。飽和量が少なくかつ明るい試し画像を選択するには、実施の形態1の選択処理で説明した方法と同様に、高い電力量で撮像した試し画像から順に(電力量が高ければそれだけ明るい画像が得られるので最大輝度値が高い順に並べる代わりに高い電力量の順にならべる)必要領域における飽和量を計算し、飽和量が一定値(例えば1%)以下となる画像を選択する。   Also in the third embodiment, as in the second embodiment, the reference power amount is set with some values and trial imaging is performed, and a plurality of trial images captured with a plurality of reference power amounts for each lighting pattern. It is preferable to select a bright trial image with a small saturation amount in the necessary region and use the reference power amount at the time of capturing the trial image as the reference power amount used in the calculation by the light amount control amount calculation unit 51. In order to select a bright trial image with a small amount of saturation, as in the method described in the selection process of the first embodiment, a brighter image is obtained in order from a trial image captured with a higher amount of power (if the power amount is higher, Therefore, the saturation amount in the necessary area is calculated, and an image in which the saturation amount is a certain value (for example, 1%) or less is selected.

これによって、最適な明るさの画像を撮像するために連続撮像する必要がなくなり、画像の撮像時間の短縮と、複数枚の画像を保持するためのメモリ使用量の低減ができる。また、どのような太さの指であっても、少ない撮像回数で、明るく鮮明な画像を得ることができるため、認証精度の高精度化が可能となる。   This eliminates the need for continuous imaging in order to capture an image with optimal brightness, thereby shortening the imaging time of the image and reducing the amount of memory used to hold a plurality of images. In addition, a finger with any thickness can obtain a bright and clear image with a small number of times of imaging, so that the authentication accuracy can be increased.

実施の形態4.
図15は本発明の実施の形態4による個人認証装置を示す構成図であり、実施の形態1の構成に加えて、カメラ3の撮像パラメータ(ゲイン)を計算するカメラ制御量計算部(撮像制御量計算部)61、光源2に供給する光量制御量(電力量)を計算する光量制御量計算部51、および合成画像における合成軸の数と、上記合成軸により分割された領域の画像を得るために必要な必要領域を決定する分割量計算部71を備えている。
実施の形態4においては、左右の光源への電力量を制御して、左右の光量のバランスをとり、合成軸を3本以上、すなわち指の分割領域を4分割以上に設定して、どのような指の大きさでも指画像全面に亘って輝度が均一な画像を合成できるようにしたものである。
Embodiment 4 FIG.
FIG. 15 is a block diagram showing a personal authentication apparatus according to Embodiment 4 of the present invention. In addition to the configuration of Embodiment 1, FIG. 15 shows a camera control amount calculation unit (imaging control) that calculates imaging parameters (gains) of camera 3. (Quantity calculation unit) 61, a light amount control amount calculation unit 51 for calculating a light amount control amount (power amount) to be supplied to the light source 2, and the number of composite axes in the composite image and an image of the region divided by the composite axis are obtained. For this purpose, a division amount calculation unit 71 that determines a necessary area is provided.
In the fourth embodiment, the amount of power to the left and right light sources is controlled to balance the left and right light amounts, and the composite axis is set to 3 or more, that is, the divided region of the finger is set to 4 or more. This makes it possible to synthesize an image with uniform brightness over the entire finger image even with a large finger size.

図16は、本発明の実施の形態4による個人認証装置の動作を示すフローチャートである。
本実施の形態では、画像を撮像する前に、分割量計算部71で指画像の合成軸の数および必要領域を決定する(分割処理)。
ステップS16の分割処理について述べる。
まず、ステップS161では、適当な電力量とゲインで、片方の光源、または両方の光源2を用いて指画像を1枚撮像し、その画像からエッジ抽出処理などにより、指と背景との分離を行い、指の幅を計算する。計算された指幅に応じて、合成軸数を決定する。例えば、太い場合は4つあるいは5つなど多くの合成軸とし、細い場合は2つなど少ない合成軸とする。
ステップS162では、必要領域を設定する。必要領域の設定方法を図17に示す。分割数をn、合成軸数をn−1(n≧4)、指画像の横幅をMx画素、縦幅をMy画素とする。合成軸は、Mx/n間隔で設定する。
画像の両端における必要領域の設定(図17(a))は、上下に画像縦幅に対して例えば15%のマージン(0.15×My)をとり、左右に対しては、画像の端側は合成軸間隔の10%(0.1×Mx/n)のマージンをとり、反対側(合成軸側)は合成軸を端側のマージンと同じ量超えて設定される。
また、その他の部分の必要領域の設定(図17(b))は、上下は両端部分と同様であり、左右は、合成軸に対して合成軸間隔の10%(0.1×Mx/n)分超えて設定される。なお、上記マージンの数値はこの値に限定しない。
FIG. 16 is a flowchart showing the operation of the personal authentication device according to the fourth embodiment of the present invention.
In the present embodiment, before the image is captured, the division amount calculation unit 71 determines the number of finger image synthesis axes and the necessary area (division processing).
The division process in step S16 will be described.
First, in step S161, one finger image is picked up using one light source or both light sources 2 with an appropriate electric energy and gain, and the finger and the background are separated from the image by edge extraction processing or the like. Do and calculate the finger width. The number of composite axes is determined according to the calculated finger width. For example, when the thickness is thick, the number of synthetic axes is four or five, and when the thickness is thin, the number of synthetic axes is small, such as two.
In step S162, a necessary area is set. FIG. 17 shows a necessary area setting method. The division number n, the number of synthetic axial n-1 (n ≧ 4) , M x pixels the width of the finger image, the vertical width and M y pixels. The composite axis is set at M x / n intervals.
Setting required areas at both ends of the image (FIG. 17 (a)) may take for example, 15% of the margin for the image vertical width in the vertical (0.15 × M y), for the left and right, edge of the image The side has a margin of 10% (0.1 × M x / n) of the composite axis interval, and the opposite side (composite axis side) is set to exceed the composite axis by the same amount as the margin on the end side.
In addition, the setting of the necessary areas in the other portions (FIG. 17B) is the same as the both end portions, and the left and right portions are 10% (0.1 × M x / n) Set beyond minutes. The numerical value of the margin is not limited to this value.

次に、撮像処理(ステップS1)について述べる。本実施の形態における撮像処理は、図18に示すフローで行われる。
まず、ステップS16、S17では、光量制御量計算部51において、左側光源2lと右側光源2rとにそれぞれ供給する電力量(光量制御量)を計算する。合成軸数がn−1個とすると、合成するためにはn枚の画像が必要となる。従って、n回の撮像処理を行うが、得られるn枚の撮像画像は、被写体を2方向より片方向ずつ照射して撮像した2枚の撮像画像と、上記2方向からの光量のバランスを(n−2)段階で変化させて、被写体を上記2方向より同時に照射して撮像した(n−2)枚の撮像画像とからなる。n回の撮像処理において、左側光源2lと右側光源2rとにそれぞれ供給する電力量(光量制御量)は以下の光量制御量表に示された数式となる。なお、左側光源2lおよび右側光源2rのMAXの値は予め設定された所定の値とする。
Next, the imaging process (step S1) will be described. The imaging process in the present embodiment is performed according to the flow shown in FIG.
First, in steps S16 and S17, the light amount control amount calculation unit 51 calculates the amount of power (light amount control amount) supplied to the left light source 21 and the right light source 2r, respectively. If the number of combined axes is n-1, n images are required for combining. Therefore, the imaging process is performed n times. The obtained n captured images have a balance between the two captured images obtained by irradiating the subject one direction from two directions and the light quantity from the two directions ( It is made up of (n-2) captured images obtained by irradiating the subject simultaneously from the above two directions and changing the image in the (n-2) stage. In n times of imaging processing, the amount of power (light amount control amount) supplied to the left light source 21 and the right light source 2r is expressed by the equation shown in the following light amount control amount table. Note that the MAX values of the left light source 21 and the right light source 2r are predetermined values set in advance.

Figure 0004720707
Figure 0004720707

ステップS18では、左側光源2lと右側光源2rとにそれぞれ供給する電力量の計算値にしたがって、光源制御部5より各光源2に電力を供給し、被写体1を2方向より片方向ずつ照射する点灯パターンと、被写体1を上記2方向より同時に照射する際に、上記2方向からの光量のバランスが(n−2)段階で変化する点灯パターンとにより、n回の試し撮像を行う。なお、カメラ3のゲインは実施の形態2と同様、所定のゲイン(例えば1)を基準ゲインとして与え、撮像する。
ステップS19では、n回の試し撮像でそれぞれ得られた試し画像に対して、カメラ制御量計算部61において、実施の形態2で示した方法(図12のステップS13)と同様にして、点灯パターン毎に、各試し画像における必要領域が飽和せず、かつ明るい画像が得られるゲインをそれぞれ計算し、本番撮像時におけるカメラ3のゲイン(本番撮像ゲイン)を求める。
ステップS20では、n個の点灯パターン毎に得られた得られた本番撮像ゲインで、それぞれ本番撮像を行う。
In step S18, lighting is performed so that power is supplied to each light source 2 from the light source control unit 5 according to the calculated amount of power supplied to the left light source 21 and the right light source 2r, and the subject 1 is irradiated in one direction from two directions. When the subject 1 is irradiated from the two directions at the same time, trial imaging is performed n times using the lighting pattern in which the balance of the light quantity from the two directions changes in (n-2) stages. As in the second embodiment, the camera 3 gains a predetermined gain (for example, 1) as a reference gain for imaging.
In step S19, for the trial images obtained by each of the n trial imagings, the camera control amount calculation unit 61 performs the lighting pattern in the same manner as in the method shown in the second embodiment (step S13 in FIG. 12). Each time, a gain that does not saturate a necessary area in each test image and a bright image can be calculated, and a gain of the camera 3 during actual imaging (real imaging gain) is obtained.
In step S20, actual imaging is performed with the actual imaging gain obtained for each of the n lighting patterns.

次に、本番撮像されたn枚の撮像画像に対して、合成処理(図2のステップS3)を行い、さらに画像処理(図2のステップS4)および照合処理(図2のステップS5)を行う。   Next, composition processing (step S3 in FIG. 2) is performed on the n captured images that have been actually captured, and further image processing (step S4 in FIG. 2) and collation processing (step S5 in FIG. 2) are performed. .

図19は本実施の形態4に係わる合成処理の概略を示す説明図であり、合成処理に関しては実施の形態1で示した合成処理と同様にして1枚の合成画像Icを得る。
すなわち、各合成軸付近で滑らかに重みが変化するような重み関数(例えばシグモイド関数)Wr,Wd1,・・・,Wd(nー2),Wlを用いて、n枚の画像Ir,Id1,Id2,・・・,Id(nー2),Ilを、以下に示す式に従って合成する。
FIG. 19 is an explanatory diagram showing an outline of the composition processing according to the fourth embodiment. With respect to the composition processing, one composite image I c is obtained in the same manner as the composition processing shown in the first embodiment.
That is, n images are used by using weight functions (for example, sigmoid functions) W r , W d1 ,..., W d (n−2) , W l that smoothly change the weight in the vicinity of each composite axis. I r , I d1 , I d2 ,..., I d (n−2) , I l are synthesized according to the following equation.

Figure 0004720707
Figure 0004720707

以上の説明では、左右の光源2の電力量を変化させて、n回の試し撮像を行い、その後、カメラ制御量計算部61において各回の撮像時のゲインを計算して本番撮像を行ったが、カメラ制御量計算部61を設けず、予め決められた複数の組合せの電力量のMAX値・ゲインで、それぞれn回の撮像を行い、1回毎に複数の撮像画像を得、実施の形態1の選択処理(ステップS2)と同様の処理により、1回毎に複数の撮像画像から最適な画像を選択し、これら選択画像を用いて合成画像を得るようにしてもよい。   In the above description, the power amount of the left and right light sources 2 is changed to perform n trial imaging, and then the camera control amount calculation unit 61 calculates the gain at each imaging and performs the actual imaging. In this embodiment, the camera control amount calculation unit 61 is not provided, and n times of imaging are performed with MAX values and gains of a plurality of predetermined combinations of power amounts, and a plurality of captured images are obtained each time. It is also possible to select an optimal image from a plurality of picked-up images every time and to obtain a composite image using these selected images by the same processing as the first selection processing (step S2).

なお、上記各実施の形態では、2つの光源2が被写体1の両側面にそれぞれ配置されている場合について述べたが、各光源2の位置は被写体1の側面だけに限定されない。例えば、2つの光源2が被写体1に対し斜め上方向にあり、被写体1を撮像面において相対向する2方向(例えば前後、左右等)より照射するように設置してもよい。
また、被写体1として指を例に示したが、撮像対象は掌等、特に指にかぎらない。ただし、掌なら掌に合わせてハードウェアを構成し、例えば、光源は指を撮る場合よりも明るいものにするとよい。
In each of the above embodiments, the case where the two light sources 2 are arranged on both side surfaces of the subject 1 has been described. However, the position of each light source 2 is not limited to the side surface of the subject 1. For example, the two light sources 2 may be disposed so as to be obliquely upward with respect to the subject 1 and irradiate the subject 1 from two opposite directions (for example, front and rear, left and right) on the imaging surface.
In addition, although a finger is shown as an example of the subject 1, the imaging target is not limited to a finger such as a palm. However, in the case of a palm, hardware is configured according to the palm, and for example, the light source may be brighter than when a finger is taken.

本発明の実施の形態1による個人認証装置を示す構成図である。It is a block diagram which shows the personal authentication apparatus by Embodiment 1 of this invention. 本発明の実施の形態1による個人認証装置における撮像処理から照合処理までを示すメインフローチャートである。It is a main flowchart which shows from the imaging process to the collation process in the personal authentication device by Embodiment 1 of this invention. 本発明の実施の形態1に係わる最適画像の選択処理を示すフローチャートである。It is a flowchart which shows the selection process of the optimal image concerning Embodiment 1 of this invention. 本発明の実施の形態1に係わる必要領域を示す説明図である。It is explanatory drawing which shows the required area | region concerning Embodiment 1 of this invention. 本発明の実施の形態1に係わる飽和量を示す説明図である。It is explanatory drawing which shows the saturation amount concerning Embodiment 1 of this invention. 本発明の実施の形態1に係わる最大輝度値を示す説明図である。It is explanatory drawing which shows the maximum luminance value concerning Embodiment 1 of this invention. 本発明の実施の形態1に係わる合成処理の概略を示す説明図である。It is explanatory drawing which shows the outline of the synthetic | combination process concerning Embodiment 1 of this invention. 本発明の実施の形態1に係わる合成処理を示すフローチャートである。It is a flowchart which shows the synthetic | combination process concerning Embodiment 1 of this invention. シグモイド関数を示す説明図である。It is explanatory drawing which shows a sigmoid function. 本発明の実施の形態1に係わる合成処理における重み関数を示す説明図である。It is explanatory drawing which shows the weight function in the synthetic | combination process concerning Embodiment 1 of this invention. 本発明の実施の形態2による個人認証装置を示す構成図である。It is a block diagram which shows the personal authentication apparatus by Embodiment 2 of this invention. 本発明の実施の形態2に係わる撮像処理を示すフローチャートである。It is a flowchart which shows the imaging process concerning Embodiment 2 of this invention. 本発明の実施の形態3による個人認証装置を示す構成図である。It is a block diagram which shows the personal authentication apparatus by Embodiment 3 of this invention. 本発明の実施の形態3に係わる撮像処理を示すフローチャートである。It is a flowchart which shows the imaging process concerning Embodiment 3 of this invention. 本発明の実施の形態4による個人認証装置を示す構成図である。It is a block diagram which shows the personal authentication apparatus by Embodiment 4 of this invention. 本発明の実施の形態4による個人認証装置における撮像処理から照合処理までを示すメインフローチャートである。It is a main flowchart which shows from the imaging process to the collation process in the personal authentication device by Embodiment 4 of this invention. 本発明の実施の形態4に係わる必要領域の設定方法を示す説明図である。It is explanatory drawing which shows the setting method of the required area | region concerning Embodiment 4 of this invention. 本発明の実施の形態4に係わる撮像処理を示すフローチャートである。It is a flowchart which shows the imaging process concerning Embodiment 4 of this invention. 本発明の実施の形態4に係わる合成処理の概略を示す説明図である。It is explanatory drawing which shows the outline of the synthetic | combination process concerning Embodiment 4 of this invention.

符号の説明Explanation of symbols

1 被写体、2 光源、2r 右側光源、2l 左側光源、3 カメラ、4 画像記憶部、5 光源制御部、6 カメラ制御部、7 画像合成処理部、8 画像処理部、9 照合処理部、51 光量制御量計算部、61 カメラ制御量計算部、71 分割量計算部。   1 subject, 2 light source, 2r right light source, 2l left light source, 3 camera, 4 image storage unit, 5 light source control unit, 6 camera control unit, 7 image composition processing unit, 8 image processing unit, 9 collation processing unit, 51 light quantity Control amount calculation unit, 61 Camera control amount calculation unit, 71 Division amount calculation unit.

Claims (7)

被写体を撮像面において相対向する2方向より照射する光源、
上記被写体を撮像する撮像手段、
上記光源の点灯タイミングを制御し、上記被写体を上記2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する点灯パターンとでそれぞれ上記被写体を照射する光源制御部、
上記点灯パターン毎にそれぞれ撮像した撮像画像を用いて1枚の合成画像を得る画像合成処理部、
上記合成画像より特徴情報を抽出する画像処理部、
および上記特徴情報を用いて個人認証を行う照合処理部を備えた個人認証装置であって、
上記光源制御部は上記光源の上記点灯タイミングと上記光源の光量制御量を制御し、
撮像制御部は上記撮像手段の撮像パラメータを制御し、
上記画像合成処理部は、予め決められた複数の組合せの上記光量制御量・上記撮像パラメータで、上記点灯パターン毎にそれぞれ撮像した複数の撮像画像より、上記点灯パターン毎に、合成に必要な必要領域が飽和せずかつ最も明るい画像をそれぞれ選択し、選択した3枚の画像を合成して1枚の合成画像を得ることを特徴とする個人認証装置。
A light source that irradiates a subject from two opposite directions on the imaging surface;
Imaging means for imaging the subject;
A light source control unit that controls the lighting timing of the light source and irradiates the subject with a lighting pattern that irradiates the subject one direction from the two directions and a lighting pattern that simultaneously irradiates the subject from the two directions;
An image composition processing unit that obtains one composite image using captured images captured for each of the lighting patterns;
An image processing unit for extracting feature information from the composite image;
And a personal authentication apparatus having a matching processing unit that performs personal authentication by using the feature information,
The light source control unit controls the lighting timing of the light source and the light amount control amount of the light source,
The imaging control unit controls the imaging parameters of the imaging means,
The image composition processing unit is necessary for composition for each lighting pattern from a plurality of captured images captured for each lighting pattern with a predetermined combination of the light amount control amount and the imaging parameter. A personal authentication apparatus characterized by selecting a brightest image in which a region is not saturated and synthesizing three selected images to obtain one synthesized image.
被写体を撮像面において相対向する2方向より照射する光源、A light source that irradiates a subject from two opposite directions on the imaging surface;
上記被写体を撮像する撮像手段、Imaging means for imaging the subject;
上記光源の点灯タイミングを制御し、上記被写体を上記2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する点灯パターンとでそれぞれ上記被写体を照射する光源制御部、A light source control unit that controls the lighting timing of the light source and irradiates the subject with a lighting pattern that irradiates the subject one direction from the two directions and a lighting pattern that simultaneously irradiates the subject from the two directions;
上記点灯パターン毎にそれぞれ撮像した撮像画像を用いて1枚の合成画像を得る画像合成処理部、An image composition processing unit that obtains one composite image using captured images captured for each of the lighting patterns;
上記合成画像より特徴情報を抽出する画像処理部、An image processing unit for extracting feature information from the composite image;
および上記特徴情報を用いて個人認証を行う照合処理部を備えた個人認証装置であって、And a personal authentication device including a verification processing unit that performs personal authentication using the feature information,
撮像制御部は上記撮像手段の撮像パラメータを制御し、The imaging control unit controls the imaging parameters of the imaging means,
撮像制御量計算部は、基準となる上記撮像パラメータで、上記点灯パターン毎にそれぞれ試し撮像した撮像画像より、上記点灯パターン毎に、合成に必要な必要領域が飽和せずかつ明るい画像が得られる上記撮像パラメータを計算し、The imaging control amount calculation unit obtains a bright image in which the necessary area necessary for synthesis is not saturated for each lighting pattern from the captured images obtained by trial imaging for each lighting pattern using the imaging parameters as a reference. Calculate the above imaging parameters,
上記画像合成処理部は、計算された上記各撮像パラメータで、上記点灯パターン毎にそれぞれ撮像した3枚の撮像画像を用いて1枚の合成画像を得ることを特徴とする個人認証装置。The personal image authentication apparatus, wherein the image composition processing unit obtains one composite image using the three captured images captured for each lighting pattern with the calculated imaging parameters.
被写体を撮像面において相対向する2方向より照射する光源、A light source that irradiates a subject from two opposite directions on the imaging surface;
上記被写体を撮像する撮像手段、Imaging means for imaging the subject;
上記光源の点灯タイミングを制御し、上記被写体を上記2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する点灯パターンとでそれぞれ上記被写体を照射する光源制御部、A light source control unit that controls the lighting timing of the light source and irradiates the subject with a lighting pattern that irradiates the subject one direction from the two directions and a lighting pattern that simultaneously irradiates the subject from the two directions;
上記点灯パターン毎にそれぞれ撮像した撮像画像を用いて1枚の合成画像を得る画像合成処理部、An image composition processing unit that obtains one composite image using captured images captured for each of the lighting patterns;
上記合成画像より特徴情報を抽出する画像処理部、An image processing unit for extracting feature information from the composite image;
および上記特徴情報を用いて個人認証を行う照合処理部を備えた個人認証装置であって、And a personal authentication device including a verification processing unit that performs personal authentication using the feature information,
上記光源制御部は上記光源の上記点灯タイミングと上記光源の光量制御量とを制御し、The light source control unit controls the lighting timing of the light source and the light amount control amount of the light source,
光量制御量計算部は、基準となる上記光量制御量で、上記点灯パターン毎にそれぞれ試し撮像した撮像画像より、上記点灯パターン毎に、合成に必要な必要領域が飽和せずかつ明るい画像が得られる上記光量制御量を計算し、The light amount control amount calculation unit obtains a bright image without saturation of the necessary area necessary for each lighting pattern from the captured images obtained by trial shooting for each lighting pattern with the light amount control amount serving as a reference. Calculate the amount of light control
上記画像合成処理部は、計算された上記各光量制御量で、上記点灯パターン毎にそれぞれ撮像した3枚の撮像画像を用いて1枚の合成画像を得ることを特徴とする個人認証装置。The personal authentication apparatus, wherein the image composition processing unit obtains one composite image by using the three captured images captured for each lighting pattern with the calculated light quantity control amounts.
被写体を撮像面において相対向する2方向より照射する光源、A light source that irradiates a subject from two opposite directions on the imaging surface;
上記被写体を撮像する撮像手段、Imaging means for imaging the subject;
上記光源の点灯タイミングを制御し、上記被写体を上記2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する点灯パターンとでそれぞれ上記被写体を照射する光源制御部、A light source control unit that controls the lighting timing of the light source and irradiates the subject with a lighting pattern that irradiates the subject one direction from the two directions and a lighting pattern that simultaneously irradiates the subject from the two directions;
上記点灯パターン毎にそれぞれ撮像した撮像画像を用いて1枚の合成画像を得る画像合成処理部、An image composition processing unit that obtains one composite image using captured images captured for each of the lighting patterns;
上記合成画像より特徴情報を抽出する画像処理部、An image processing unit for extracting feature information from the composite image;
および上記特徴情報を用いて個人認証を行う照合処理部を備えた個人認証装置であって、And a personal authentication device including a verification processing unit that performs personal authentication using the feature information,
分割量計算部は上記合成画像における合成軸の数(n−1)(n≧4)を決定し、The division amount calculation unit determines the number (n−1) (n ≧ 4) of composite axes in the composite image,
上記光源制御部は、上記光源の上記点灯タイミングと上記光源の光量制御量を制御し、被写体を2方向より片方向ずつ照射する点灯パターンと、上記被写体を上記2方向より同時に照射する際に、上記2方向からの光量のバランスが(n−2)段階で変化する点灯パターンとでそれぞれ上記被写体を照射し、The light source control unit controls the lighting timing of the light source and the light amount control amount of the light source, and a lighting pattern for irradiating the subject one direction at a time from two directions, and simultaneously irradiating the subject from the two directions, Irradiate the subject with a lighting pattern in which the balance of the amount of light from the two directions changes in (n-2) stages,
光量制御量計算部は上記被写体を2方向より同時に照射する際の各段階の上記光源の上記光量制御量を計算し、The light amount control amount calculation unit calculates the light amount control amount of the light source at each stage when the subject is irradiated simultaneously from two directions,
上記画像合成処理部は、上記点灯パターン毎にそれぞれ撮像したn枚の撮像画像を用いて1枚の合成画像を得ることを特徴とする個人認証装置。The personal authentication apparatus, wherein the image composition processing unit obtains one composite image using n captured images captured for each of the lighting patterns.
合成画像における合成軸の数(n−1)(n≧4)を決定すると共に、
上記合成軸により分割された領域の画像を得るために必要な必要領域を決定する分割量計算部、
撮像手段の撮像パラメータを制御する撮像制御部、
および基準となる撮像パラメータで、点灯パターン毎にそれぞれ試し撮像した撮像画像より、上記点灯パターン毎に、合成に必要な上記必要領域が飽和せずかつ明るい画像が得られる撮像パラメータを計算する撮像制御量計算部を備え、
画像合成処理部は、計算された各撮像パラメータで、上記点灯パターン毎にそれぞれ撮像したn枚の撮像画像を用いて1枚の合成画像を得ることを特徴とする請求項記載の個人認証装置。
Determining the number of composite axes (n−1) (n ≧ 4) in the composite image;
A division amount calculation unit for determining a necessary area necessary for obtaining an image of the area divided by the composite axis;
An imaging controller for controlling imaging parameters of the imaging means;
Imaging control that calculates imaging parameters for obtaining a bright image without saturation of the necessary area necessary for synthesis for each lighting pattern, based on a captured image obtained by trial imaging for each lighting pattern with reference imaging parameters With a quantity calculator
5. The personal authentication device according to claim 4 , wherein the image composition processing unit obtains one composite image by using each of the n captured images captured for each of the lighting patterns with each of the calculated imaging parameters. .
画像合成処理部は、合成画像の各合成軸付近で滑らかに変化する重み関数を用い、合成に用いる複数の画像の各画素の輝度値に対し、それぞれ重み付けを行い、重み付けした画像の和をとることにより1枚の合成画像を得ることを特徴とする請求項1〜のいずれかに記載の個人認証装置。 The image composition processing unit uses a weight function that smoothly changes in the vicinity of each composition axis of the composition image, weights each pixel brightness value of the plurality of images used for composition, and calculates the sum of the weighted images. personal identification device according to any one of claims 1 to 5, characterized in that to obtain one composite image by. 重み関数は、シグモイド関数であり、各画素に対する重みの総和が常に1になるようにしたことを特徴とする請求項記載の個人認証装置。 7. The personal authentication apparatus according to claim 6 , wherein the weight function is a sigmoid function, and the sum of weights for each pixel is always 1.
JP2006272859A 2006-10-04 2006-10-04 Personal authentication device Expired - Fee Related JP4720707B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006272859A JP4720707B2 (en) 2006-10-04 2006-10-04 Personal authentication device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006272859A JP4720707B2 (en) 2006-10-04 2006-10-04 Personal authentication device

Publications (2)

Publication Number Publication Date
JP2008090719A JP2008090719A (en) 2008-04-17
JP4720707B2 true JP4720707B2 (en) 2011-07-13

Family

ID=39374774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006272859A Expired - Fee Related JP4720707B2 (en) 2006-10-04 2006-10-04 Personal authentication device

Country Status (1)

Country Link
JP (1) JP4720707B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009150735A1 (en) * 2008-06-12 2014-06-05 バイオニクス株式会社 Biometric authentication device
KR101918032B1 (en) * 2012-06-29 2018-11-13 삼성전자주식회사 Apparatus and method for generating depth image using transition of light source

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265269A (en) * 2003-03-04 2004-09-24 Hitachi Ltd Personal identification device
JP2005195394A (en) * 2004-01-05 2005-07-21 Toyota Central Res & Dev Lab Inc Device for identifying using condition of seat in cabin
JP2005202798A (en) * 2004-01-16 2005-07-28 Mitsubishi Electric Corp Fingerprint reader and fingerprint matching device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242487A (en) * 2002-02-15 2003-08-29 Canon Inc Image recognizing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265269A (en) * 2003-03-04 2004-09-24 Hitachi Ltd Personal identification device
JP2005195394A (en) * 2004-01-05 2005-07-21 Toyota Central Res & Dev Lab Inc Device for identifying using condition of seat in cabin
JP2005202798A (en) * 2004-01-16 2005-07-28 Mitsubishi Electric Corp Fingerprint reader and fingerprint matching device

Also Published As

Publication number Publication date
JP2008090719A (en) 2008-04-17

Similar Documents

Publication Publication Date Title
CN111385482B (en) Image processing apparatus, control method thereof, and machine-readable medium
JP6312924B2 (en) IMAGING DEVICE AND METHOD, OPERATION DEVICE AND METHOD, PROGRAM, AND RECORDING MEDIUM
US20140267883A1 (en) Method of selecting a subset from an image set for generating high dynamic range image
JP4783331B2 (en) Face recognition device
JP2012094052A (en) Fingerprint authentication device and program for fingerprint authentication
CN1501325A (en) Intelligent traffic system
WO2016068326A1 (en) Image processing device, character recognition device, image processing method, and program
JP4720707B2 (en) Personal authentication device
JP2007080087A (en) Facial parts extraction method and face authentication device
JP2008283573A (en) Image processor
CN114132449B (en) Cabin light control method, device, equipment and storage medium
JP5264956B2 (en) Two-dimensional code reading apparatus and method
JP2009050035A (en) Image processing method, image processing system, and image processing program
CN113132617B (en) Image jitter judgment method and device and image identification triggering method and device
JP7302410B2 (en) Image recognition device, image recognition system, image recognition method and program
JP2007243987A (en) Image processing method, image processing system, and image processing program
JP2014098859A (en) Imaging apparatus and imaging method
CN113706402A (en) Neural network training method and device and electronic equipment
JP4636314B2 (en) Image processing apparatus and method, recording medium, and program
WO2023281746A1 (en) Control device, control method, and recording medium
JP5093540B2 (en) Eye position detection method and detection system
CN114363525B (en) HDR fast automatic imaging method, structured light camera, electronic device, and storage medium
CN113436106B (en) Underwater image enhancement method and device and computer storage medium
JP4831361B2 (en) Eye position detection method and detection system
JP2012079244A (en) Vein pattern detection device, vein authentication device, and vein pattern detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees