JP6629150B2 - Palm detection device, palm print authentication device, palm detection method, and program - Google Patents
Palm detection device, palm print authentication device, palm detection method, and program Download PDFInfo
- Publication number
- JP6629150B2 JP6629150B2 JP2016158119A JP2016158119A JP6629150B2 JP 6629150 B2 JP6629150 B2 JP 6629150B2 JP 2016158119 A JP2016158119 A JP 2016158119A JP 2016158119 A JP2016158119 A JP 2016158119A JP 6629150 B2 JP6629150 B2 JP 6629150B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- edge
- image
- palm
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、手のひら検知装置、掌紋認証装置、手のひら検知方法、及びプログラムに関する。 An embodiment of the present invention relates to a palm detection device, a palm print authentication device, a palm detection method, and a program.
利用者の身体の特徴を事前に採取登録し、認証するときにセンサで取得した情報と比較することで認証を行う生体認証が知られている。例えば、身体の特徴として、指紋、顔、虹彩、静脈、声、掌紋等が使用される。
生体認証に関して、第1−第3のインスタンスの生体情報を取得し、第2および第3のインスタンスの生体情報から照合用の認証特徴を抽出し、第1のインスタンスの生体情報を利用して、第2および第3のインスタンスの認証特徴の相対位置を正規化し、正規化された第2および第3のインスタンスの認証特徴の相対位置関係を示す相対特徴を抽出する技術が知られている(例えば、特許文献1参照)。この技術では、指先と手のひらをそれぞれ分けて撮影し、手のひらの画像を元に指先情報を正規化する。手のひら画像中の各指の付け根付近の輪郭から、各指の方向となる直線を抽出しそれらの2直線がなす角度θだけ一方の指紋画像を回転させる。
2. Description of the Related Art Biometric authentication is known in which a user's body characteristics are collected and registered in advance, and authentication is performed by comparing information obtained by a sensor when performing authentication. For example, fingerprints, faces, irises, veins, voices, palm prints, and the like are used as body characteristics.
Regarding biometric authentication, the biometric information of the first to third instances is acquired, the authentication feature for matching is extracted from the biometric information of the second and third instances, and the biometric information of the first instance is used. A technique for normalizing the relative positions of the authentication features of the second and third instances and extracting a relative feature indicating the normalized relative positional relationship between the authentication features of the second and third instances is known (for example, And Patent Document 1). In this technique, a fingertip and a palm are separately photographed, and fingertip information is normalized based on an image of the palm. A straight line in the direction of each finger is extracted from the contour near the base of each finger in the palm image, and one fingerprint image is rotated by an angle θ formed by the two straight lines.
また、様々なサイズのウィンドウで画面を走査し、各ウィンドウ内の画像に対して、手のひらの識別処理を行う技術が知られている(例えば、非特許文献1参照)。この技術では、各ウィンドウの識別処理については、ウィンドウ内の画像を部分領域に分割し、各部分の領域内で輝度勾配方向(各画素に対して、より高い輝度の画素が存在する方向)、及び相対色(基準色に対する各画素の色差)を算出する。次に、各部分領域での輝度勾配方向の共起、及び相対色の各出現頻度からヒストグラムを生成し、特徴ベクトルとする。多数の正解及び不正解サンプルの特徴ベクトルから、あらかじめ学習により求めておいた識別境界に基づき、どちらのサンプルに近いかを判定することで、手のひらかどうかを識別する。 In addition, a technique is known in which a screen is scanned with windows of various sizes, and palm identification processing is performed on an image in each window (for example, see Non-Patent Document 1). In this technique, regarding the identification processing of each window, an image in the window is divided into partial regions, and a luminance gradient direction (a direction in which a pixel with higher luminance exists for each pixel) within each partial region; And a relative color (color difference of each pixel with respect to the reference color) is calculated. Next, a histogram is generated from the co-occurrence in the luminance gradient direction in each partial region and the appearance frequency of each of the relative colors, and is used as a feature vector. From the feature vectors of a large number of correct and incorrect samples, it is determined which of the samples is closer to the palm based on the identification boundary obtained by learning in advance, thereby identifying the palm.
特許文献1に記載されている技術では、手のひら画像及び指先画像を別々に撮影するため、手のひら画像及び指先画像の各々を撮影する別々のハードウェアが必要である。さらに、手のひら画像を元に指先画像を正規化する処理にコストがかかる。
また、非特許文献1に記載されている技術では、様々なサイズのウィンドウを設定して画面を走査する必要があり、手をかざしてから画面上で認識するまでにCPUの処理時間がかかる。また、ウィンドウ内では算出した特徴ベクトルを分類器にかけ、手のひらかどうかを識別している。学習サンプルと類似性を評価するためには、膨大な数の手のひらのサンプルが必要となる。手のひら画像は生体情報という点を考慮すると、他社などが導入する際にも個人のプライバシーという観点から好ましくない。
In the technique described in Patent Literature 1, since the palm image and the fingertip image are separately captured, separate hardware for capturing each of the palm image and the fingertip image is required. Further, the cost of processing for normalizing the fingertip image based on the palm image is high.
Further, in the technique described in Non-Patent Document 1, it is necessary to set windows of various sizes and scan the screen, and it takes a processing time of the CPU from holding a hand to recognition on the screen. In the window, the calculated feature vector is applied to a classifier to identify whether it is a palm. A huge number of palm samples are needed to evaluate the training samples and similarity. Considering that the palm image is biometric information, it is not preferable from the viewpoint of personal privacy when introducing another company or the like.
本発明は、上記問題に鑑みて為されたものであり、専用のハードウェアを用いることなく手のひらを検出することができる手のひら検知装置を提供することを目的とする。 The present invention has been made in view of the above problems, and has as its object to provide a palm detecting device capable of detecting a palm without using dedicated hardware.
(1)本発明の一態様は、入力画像から、エッジを検出する特徴情報検出部と、前記特徴情報検出部によって検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択する選択部と、前記選択部が選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定する領域設定部と、前記入力画像のうち、前記領域設定部が設定した前記判定領域に含まれる画像情報を出力する出力部とを備える、手のひら検知装置である。 (1) One aspect of the present invention is a feature information detection unit that detects an edge from an input image, and a color difference signal at one or a plurality of positions of the edge based on the edge detected by the feature information detection unit. A selection unit for selecting an edge corresponding to between fingers, and a region for setting a determination region to be used for specifying a determination target from the input image based on the edge corresponding to between the fingers selected by the selection unit. A palm detection device, comprising: a setting unit; and an output unit that outputs image information included in the determination region set by the region setting unit in the input image.
(2)本発明の一態様は、上記(1)に記載の手のひら検知装置において、前記入力画像を平滑化する平滑化部と、前記平滑化部が平滑化した前記入力画像を閾値によって二値化する二値化部とを備え、前記特徴情報検出部は、前記二値化部によって二値化された前記入力画像からエッジを検出する、手のひら検知装置である。 (2) One aspect of the present invention is the palm detection device according to (1), wherein the smoothing unit smoothes the input image, and the input image smoothed by the smoothing unit is binary-coded using a threshold. A binarization unit that converts the input image into a binary image. The feature information detection unit is a palm detection device that detects an edge from the input image binarized by the binarization unit.
(3)本発明の一態様は、上記(1)又は上記(2)に記載の手のひら検知装置において、前記選択部は、前記特徴情報検出部によって検出された複数のエッジのうち、任意の2本のエッジの間の色差信号に基づいて、指間に対応するエッジを選択する、手のひら検知装置である。 ( 3 ) In one aspect of the present invention, in the palm detection device according to the above ( 1 ) or ( 2 ), the selection unit may select any two of the plurality of edges detected by the feature information detection unit. This is a palm detection device that selects an edge corresponding to between fingers based on a color difference signal between edges of a book.
(4)本発明の一態様は、上記(3)に記載の手のひら検知装置において、前記選択部は、前記特徴情報検出部によって検出された複数のエッジのうち、任意の2本のエッジの間の輝度に基づいて、指間に対応するエッジを選択する、手のひら検知装置である。 ( 4 ) In one aspect of the present invention, in the palm detection device according to the above ( 3 ), the selection unit may be configured to select between any two edges among the plurality of edges detected by the feature information detection unit. Is a palm detection device that selects an edge corresponding to between fingers based on the luminance of a palm.
(5)本発明の一態様は、上記(1)から上記(4)のいずれか一項に記載の手のひら検知装置において、前記選択部が選択した前記指間に対応するエッジの一端の位置を指の根元の位置となるように補正する、手のひら検知装置である。 ( 5 ) In one aspect of the present invention, in the palm detection device according to any one of ( 1 ) to ( 4 ), the position of one end of an edge corresponding to between the fingers selected by the selection unit is determined. This is a palm detection device that corrects the position of the base of the finger.
(6)本発明の一態様は、上記(2)に記載の手のひら検知装置において、前記平滑化部が平滑化した前記入力画像からノイズ成分を除去するノイズ除去部を備え、前記二値化部は、前記ノイズ除去部によってノイズ成分が除去された前記入力画像を前記閾値によって二値化する、手のひら検知装置である。 ( 6 ) One aspect of the present invention is the palm detection device according to (2 ), further including a noise removing unit that removes a noise component from the input image smoothed by the smoothing unit, and the binarizing unit. Is a palm detection device that binarizes the input image from which noise components have been removed by the noise removal unit using the threshold value.
(7)本発明の一態様は、上記(1)から上記(5)のいずれか一項に記載の手のひら検知装置において、前記領域設定部は、前記選択部によって選択された前記指間に対応するエッジに基づいて、前記判定領域の中心を設定する、手のひら検知装置である。 ( 7 ) In one aspect of the present invention, in the palm detection device according to any one of ( 1 ) to ( 5 ), the region setting unit may correspond to a position between the fingers selected by the selection unit. A palm detection device that sets a center of the determination area based on an edge to be performed.
(8)本発明の一態様は、上記(1)から上記(7)のいずれか一項に記載の手のひら検知装置において、前記特徴情報検出部は、人物の掌紋が表された位置に基づいて特徴情報を検出する、手のひら検知装置である。 ( 8 ) According to an aspect of the present invention, in the palm detection device according to any one of (1) to ( 7 ), the feature information detection unit may be configured to perform a determination based on a position where a palm print of a person is displayed. It is a palm detection device that detects characteristic information.
(9)本発明の一態様は、入力画像から、エッジを検出する特徴情報検出部と、前記特徴情報検出部によって検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択する選択部と、
前記選択部が選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定する領域設定部と、前記入力画像のうち、前記領域設定部が設定した前記判定領域に含まれる掌紋画像に基づいて、人物を特定する認証部とを備える、掌紋認証装置である。
( 9 ) One aspect of the present invention is a feature information detecting unit that detects an edge from an input image, and a color difference signal at one or a plurality of positions of the edge from the edge detected by the feature information detecting unit. A selection unit for selecting an edge corresponding to between fingers,
From the input image , based on an edge corresponding to between the fingers selected by the selection unit, from the input image, a region setting unit that sets a determination region used to specify a determination target, among the input image, the region setting unit A palmprint authentication device comprising: an authentication unit that specifies a person based on a palmprint image included in the set determination area.
(10)本発明の一態様は、入力画像から、エッジを検出するステップと、前記検出するステップで検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択するステップと、前記選択するステップで選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定するステップと、前記入力画像のうち、前記判定領域を設定するステップで設定した前記判定領域に含まれる画像情報を出力するステップとを有する、手のひら検知装置によって実行される手のひら検知方法である。 ( 10 ) One embodiment of the present invention is a step of detecting an edge from an input image, and detecting a distance between fingers based on a color difference signal at one or more positions of the edge from the edge detected in the detecting step. Selecting an edge corresponding to the finger, and setting a determination area to be used for specifying a determination target from the input image based on the edge corresponding to between the fingers selected in the selecting step; and Outputting the image information included in the determination area set in the step of setting the determination area in the image.
(11)本発明の一態様は、手のひら検知装置のコンピュータに、入力画像から、エッジを検出するステップと、前記検出するステップで検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択するステップと、
前記選択するステップで選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定するステップと、前記入力画像のうち、前記判定領域を設定するステップで設定した前記判定領域に含まれる画像情報を出力するステップとを実行させる、プログラムである。
( 11 ) One embodiment of the present invention provides a computer of a palm detection device, wherein an edge is detected from an input image, and a color difference at one or a plurality of positions of the edge is detected from the edge detected in the detecting step. Selecting an edge corresponding to between the fingers based on the signal;
Setting, from the input image, a determination area used for specifying a determination target based on an edge corresponding to the area between the fingers selected in the selecting step; and setting the determination area in the input image And outputting the image information included in the determination area set in the step.
本発明の実施形態によれば、専用のハードウェアを用いることなく手のひらを検出することができる。 According to the embodiment of the present invention, a palm can be detected without using dedicated hardware.
<実施形態>
<手のひら検知装置>
図1は、実施形態に係る手のひら検知装置の概要の一例を示す図である。
手のひら検知装置1は、撮像部200と、照射部300とを備える。
手のひら検知装置1の一例は、携帯電話、スマートフォン、タブレット型のパーソナルコンピュータ等の携帯型パーソナルコンピュータ、据え置き型のパーソナルコンピュータ等である。手のひら検知装置1が備える撮像部200の一例は、カメラである。また、手のひら検知装置1が備える照射部300の一例は、例えば、フラッシュである。
手のひら検知装置1は、照射部300から光が照射された状態又は照射されていない状態において、被写体TGを撮像し、生成された画像に基づいて、当該被写体TGが手のひらであるか否かを判定する。
以下、照射部300と、撮像部200との概要について説明する。
<Embodiment>
<Palm detection device>
FIG. 1 is a diagram illustrating an example of an outline of a palm detection device according to an embodiment.
The palm detection device 1 includes an imaging unit 200 and an irradiation unit 300.
An example of the palm detecting device 1 is a portable personal computer such as a mobile phone, a smartphone, a tablet personal computer, or a stationary personal computer. An example of the imaging unit 200 included in the palm detection device 1 is a camera. In addition, an example of the irradiation unit 300 included in the palm detection device 1 is, for example, a flash.
The palm detection device 1 captures an image of the subject TG in a state where light is irradiated from the irradiation unit 300 or in a state where the light is not irradiated, and determines whether or not the subject TG is a palm based on the generated image. I do.
Hereinafter, an outline of the irradiation unit 300 and the imaging unit 200 will be described.
照射部300は、被写体TGに光を照射する。照射部300が被写体TGに照射する光の一例は、例えば、フラッシュが照射する可視光の閃光である。
撮像部200は、被写体TGを撮像し、画像Pを生成する。具体的には、撮像部200は、照射部300から光が照射された被写体TG又は照射部300から光が照射されていない被写体TGを撮像し、画像Pを生成する。被写体TGの一例は、人間(人物)である。具体的には、図1に示されるように、被写体TGは人間の手のひらである。撮像部200は、被写体TGである手のひらを撮像し、画像Pを生成する。
The irradiation unit 300 irradiates light to the subject TG. An example of light emitted from the irradiation unit 300 to the subject TG is, for example, visible light flash emitted from a flash.
The imaging unit 200 captures an image of the subject TG and generates an image P. Specifically, the imaging unit 200 captures an image of the subject TG irradiated with light from the irradiation unit 300 or the subject TG not irradiated with light from the irradiation unit 300, and generates an image P. An example of the subject TG is a person (person). Specifically, as shown in FIG. 1, the subject TG is a human palm. The imaging unit 200 captures an image of a palm, which is the subject TG, and generates an image P.
<手のひら検知装置1の機能構成>
図2は、実施形態に係る手のひら検知装置の機能構成の一例を示す図である。
手のひら検知装置1は、制御部100と撮像部200と照射部300とを備える。
制御部100は、CPU(Central Processing Unit)を備えている。制御部100は、取得部102と撮像制御部104と照射制御部106と平滑化部108とノイズ除去部110と二値化部112とエッジ検出部114とラベリング処理部116とスコア演算部118とエッジ選択部119と補正部120と領域設定部122と出力部124を機能部として備える。
<Functional configuration of palm detection device 1>
FIG. 2 is a diagram illustrating an example of a functional configuration of the palm detection device according to the embodiment.
The palm detection device 1 includes a control unit 100, an imaging unit 200, and an irradiation unit 300.
The control unit 100 includes a CPU (Central Processing Unit). The control unit 100 includes an acquisition unit 102, an imaging control unit 104, an irradiation control unit 106, a smoothing unit 108, a noise removal unit 110, a binarization unit 112, an edge detection unit 114, a labeling processing unit 116, a score calculation unit 118, An edge selection unit 119, a correction unit 120, an area setting unit 122, and an output unit 124 are provided as functional units.
撮像制御部104は、撮像部200を制御する。撮像部200は、撮像制御部104の制御に基づいて、被写体TGを撮像し、生成した画像P0を制御部100へ出力する。撮像部200は、被写体TGである手のひらを撮像し、画像P0を生成する。画像P0の一例は、sRGB、Adobe RGB等の色空間で表現されている。 The imaging control unit 104 controls the imaging unit 200. The imaging unit 200 captures an image of the subject TG based on the control of the imaging control unit 104, and outputs the generated image P0 to the control unit 100. The imaging unit 200 captures an image of the palm that is the subject TG, and generates an image P0. An example of the image P0 is expressed in a color space such as sRGB, Adobe RGB, or the like.
照射制御部106は、照射部300を制御する。照射部300は、照射制御部106の制御に基づいて、被写体TGに光を照射する。
取得部102は、撮像部200が出力した画像P0を取得すると、取得した画像P0を、平滑化部108とスコア演算部118とへ出力する。
The irradiation control unit 106 controls the irradiation unit 300. The irradiation unit 300 irradiates the subject TG with light based on the control of the irradiation control unit 106.
Upon obtaining the image P0 output by the imaging unit 200, the obtaining unit 102 outputs the obtained image P0 to the smoothing unit 108 and the score calculation unit 118.
平滑化部108は、取得部102が出力した画像P0を取得すると、取得した画像P0をグレースケールの画像P1へ変換する。具体的には、平滑化部108は、画像P0の一画素を8ビットで表す。この8ビットには、色情報は含まれず、明るさ情報を含む。そして、画像P1では、濃淡を2の8乗(256)階調まで表す。例えば、画素値0が黒、画素値255が白となる。
そして、平滑化部108は、画像P1の平滑化を行う。平滑化部108は、移動平均フィルタ、ガウシアンフィルタ等の平滑化フィルタを使用して、画像P1の平滑化を行う。具体的には、平滑化部108は、移動平均フィルタを使用して、注目画素の輝度値と該注目画素の周辺の画素の輝度値とを平均し、処理後の画像の輝度値とすることによって、画像P1の平滑化を行う。また、平滑化部108は、移動平均フィルタを使用して、注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みが小さくなるようにガウス分布の関数を用いてレートを計算することによって、画像P1の平滑化を行う。平滑化部108は、画像P1の平滑化後の画像P2をノイズ除去部110へ出力する。
図3は、平滑化前後の画像の一例を示し、(1)は画像P1の一例を示し、(2)は画像P2の一例を示す。図2に戻り説明を続ける。
When acquiring the image P0 output by the acquiring unit 102, the smoothing unit 108 converts the acquired image P0 into a grayscale image P1. Specifically, the smoothing unit 108 represents one pixel of the image P0 with 8 bits. These 8 bits do not include color information but include brightness information. Then, in the image P1, the shading is expressed up to 2 to the eighth power (256) gradations. For example, the pixel value 0 is black and the pixel value 255 is white.
Then, the smoothing unit 108 smoothes the image P1. The smoothing unit 108 performs smoothing of the image P1 using a smoothing filter such as a moving average filter and a Gaussian filter. Specifically, the smoothing unit 108 uses a moving average filter to average the luminance value of the pixel of interest and the luminance values of pixels around the pixel of interest to obtain the luminance value of the processed image. Performs the smoothing of the image P1. Further, the smoothing unit 108 uses a moving average filter to increase the weight when calculating the average value as the pixel is closer to the pixel of interest, and use a Gaussian distribution function to reduce the weight as the distance increases. Is calculated to smooth the image P1. The smoothing unit 108 outputs the image P2 obtained by smoothing the image P1 to the noise removing unit 110.
3 shows an example of an image before and after smoothing, (1) shows an example of an image P1, and (2) shows an example of an image P2. Returning to FIG. 2, the description will be continued.
ノイズ除去部110は、平滑化部108が出力した画像P2を取得すると、画像P2に対して、ノイズ成分を除去する処理を行う。ノイズ除去部110は、画像P2を膨張させたり、収縮させたりした後に画像処理することによって、画像P2からノイズ成分を除去する処理を行う。具体的には、ノイズ除去部110は、グレースケールで表されている画像P2を膨張させた場合には注目画素の近傍の最大輝度値を注目画素の輝度値に置き換えることによってノイズ成分を除去する処理を行う。また、ノイズ除去部110は、グレースケールで表されている画像P2を収縮させた場合には注目画素の近傍の最大輝度値を注目画素の最小輝度値に置き換えることによってノイズ成分を除去する処理を行う。 When acquiring the image P2 output by the smoothing unit 108, the noise removing unit 110 performs a process of removing a noise component from the image P2. The noise removing unit 110 performs a process of removing a noise component from the image P2 by performing image processing after expanding or contracting the image P2. Specifically, when the image P2 represented in gray scale is expanded, the noise removing unit 110 removes a noise component by replacing the maximum luminance value near the target pixel with the luminance value of the target pixel. Perform processing. Further, when the image P2 represented in gray scale is contracted, the noise removing unit 110 replaces the maximum luminance value near the target pixel with the minimum luminance value of the target pixel to remove the noise component. Do.
図4(1)は、ノイズ除去部110によって画像P2の白の画素を膨張させたことによって得られる画像P3の一例を示す。図4(1)によれば、注目画素の近傍の最大輝度値が注目画素の輝度値に置き換えられているため、手のひらの輪郭部分が太く表されている。
図4(2)は、ノイズ除去部110によって画像P3の白の画素を収縮させたことによって得られる画像P4の一例を示す。図4(2)によれば、注目画素の近傍の最大輝度値が注目画素の最小輝度値に置き換えられているため、手のひらの輪郭部分が細く表されている。
図4(3)は、ノイズ除去部110によって画像P4の白の画素を膨張させたことによって得られる画像P5の一例を示す。図4(3)によれば、注目画素の近傍の最大輝度値が注目画素の輝度値に置き換えられているため、手のひらの輪郭部分が太く表されている。
ノイズ除去部110は、ノイズ成分を除去することによって得られる画像P5を二値化部112へ出力する。
FIG. 4A illustrates an example of an image P3 obtained by expanding the white pixels of the image P2 by the noise removing unit 110. According to FIG. 4A, since the maximum luminance value in the vicinity of the pixel of interest is replaced by the luminance value of the pixel of interest, the outline of the palm is shown thick.
FIG. 4B illustrates an example of an image P4 obtained by contracting white pixels of the image P3 by the noise removing unit 110. According to FIG. 4B, since the maximum luminance value in the vicinity of the target pixel has been replaced with the minimum luminance value of the target pixel, the outline of the palm is represented thin.
FIG. 4C shows an example of an image P5 obtained by expanding white pixels of the image P4 by the noise removing unit 110. According to FIG. 4C, since the maximum luminance value in the vicinity of the pixel of interest is replaced by the luminance value of the pixel of interest, the outline of the palm is shown thick.
The noise removing unit 110 outputs the image P5 obtained by removing the noise component to the binarizing unit 112.
二値化部112は、ノイズ除去部110が出力したグレースケールで表されている画像P5を取得すると、画像P5を白と黒の二階調に変換する。具体的には、二値化部112は、予め設定される画素値閾値に基づいて、各画素値が画素値閾値を上回っていれば白、下回っていれば黒に置き換えることによって、二値化する。
図4(4)は、図4(3)に示される画像P5を白と黒の二階調に変換した画像を示す。二値化部112は、画像P5を白と黒の二階調に変換した画像P6をエッジ検出部114へ出力する。
Upon acquiring the image P5 represented by the gray scale output by the noise removing unit 110, the binarizing unit 112 converts the image P5 into two gray levels of white and black. Specifically, the binarization unit 112 replaces the pixel value with white if the pixel value is higher than the pixel value threshold and black if the pixel value is lower than the pixel value threshold based on a preset pixel value threshold. I do.
FIG. 4D shows an image obtained by converting the image P5 shown in FIG. 4C into two gradations of white and black. The binarization unit 112 outputs an image P6 obtained by converting the image P5 into two gradations of white and black to the edge detection unit 114.
エッジ検出部114は、二値化部112が出力した画像P6を取得すると、画像P6からエッジ等の特徴情報を検出する。具体的には、エッジ検出部114は、画像P6の明るさ(輝度)が不連続に変化する部分を検出することによってエッジを検出する。エッジ検出部114は、画像P6にエッジ検出を施すことで、物体の境界を示す連続する曲線を取得する。エッジ検出部114は、画像P6からエッジを検出した結果を含む画像P7を、ラベリング処理部116へ出力する。 Upon acquiring the image P6 output by the binarizing unit 112, the edge detection unit 114 detects feature information such as edges from the image P6. Specifically, the edge detection unit 114 detects an edge by detecting a portion where the brightness (luminance) of the image P6 changes discontinuously. The edge detection unit 114 performs edge detection on the image P6 to obtain a continuous curve indicating the boundary of the object. The edge detection unit 114 outputs an image P7 including a result of detecting an edge from the image P6 to the labeling processing unit 116.
ラベリング処理部116は、エッジ検出部114が出力した画像P7を取得すると、画像P7に含まれるエッジにラベルを付与する。具体的には、ラベリング処理部116は、画像P7に含まれる白で表される画素のうち、曲線に含まれる複数の連続した画素を選択する。ここで、ラベリング処理部116は、曲線に曲率が曲率閾値以上の部分を含む場合には、曲率が最大となる点で曲線を分割する。これによって、ラベリング処理部116は、指先に該当する白で表される画素と指の側面とに該当する白で表される画素とが連続するために一本のエッジで表された場合でも、分割できる。また、ラベリング処理部116は、指の根元に該当する白で表される画素と該指の根元と連続する二本の指の側面の各々に該当する白で表される画素とが連続するために一本のエッジで表された場合でも、分割できる。そして、ラベリング処理部116は、分割した曲線の各々に異なるラベルを付与する。
図4(5)は、ラベリング処理部116によってラベルを付与したエッジの一例を示し、曲線の曲率に基づいて曲線を分離する前の状態について示す。なお、図4(5)では、ラベルを付与したエッジを見やすくするために、画像P7の二階調で表される画像の白と黒とを反転するとともに、異なる線種でエッジに付与したラベルを表した。
ラベリング処理部116は、スコア演算部118へ、ラベルを付与したエッジを含む画像P8を出力する。
When acquiring the image P7 output by the edge detection unit 114, the labeling processing unit 116 assigns a label to an edge included in the image P7. Specifically, the labeling processing unit 116 selects a plurality of continuous pixels included in the curve from the pixels represented in white included in the image P7. Here, when the curve includes a portion where the curvature is equal to or greater than the curvature threshold, the labeling processing unit 116 divides the curve at a point where the curvature is maximum. With this, the labeling processing unit 116 determines that even if the pixel represented by white corresponding to the fingertip and the pixel represented by white corresponding to the side surface of the finger are continuous and represented by one edge, Can be split. In addition, the labeling processing unit 116 determines that the pixel represented by white corresponding to the base of the finger and the pixel represented by white corresponding to each of the side surfaces of two fingers continuous with the base of the finger are continuous. Can be divided even if it is represented by one edge. Then, the labeling processing unit 116 assigns a different label to each of the divided curves.
FIG. 4 (5) shows an example of an edge to which a label is added by the labeling processing unit 116, and shows a state before the curve is separated based on the curvature of the curve. In FIG. 4 (5), in order to make it easier to see the edge with the label, the white and black of the image represented by the two gradations of the image P7 are inverted, and the label assigned to the edge with a different line type is added. expressed.
The labeling processing unit 116 outputs the image P8 including the edge with the label to the score calculation unit 118.
スコア演算部118は、取得部102が出力した画像P0とラベリング処理部116が出力した画像P8とを取得すると、画像P0と画像P8とに基づいて、被写体TGが手のひらであるか否かを判定する際に使用するエッジを選択するためのスコアを演算する。なお、画像P0は、sRGB、Adobe RGB等の色空間で表現されている。
スコア演算部118は、スコアの演算に先立って、画像P8に含まれるラベルが付与されたエッジのうち、特定のエッジを削除する。
When acquiring the image P0 output by the acquisition unit 102 and the image P8 output by the labeling processing unit 116, the score calculation unit 118 determines whether or not the subject TG is a palm based on the images P0 and P8. Calculate a score for selecting an edge to be used in the processing. Note that the image P0 is expressed in a color space such as sRGB, Adobe RGB, or the like.
Prior to the score calculation, the score calculation unit 118 deletes a specific edge from the labeled edges included in the image P8.
<エッジの削除方法(その1)>
スコア演算部118は、画像P8に含まれるエッジの長さがエッジ長閾値以上であれば残し、エッジ長閾値未満であれば削除する。
<エッジの削除方法(その2)>
スコア演算部118は、画像P8に含まれるエッジによって分離される二つの領域の各々の色差信号(Cr、Cb)の平均値を画像P0から演算し、色差信号(Cr、Cb)の平均値の差が第1の色差信号閾値以上であれば該エッジを削除し、第1の色差信号閾値未満であれば該エッジを残す。例えば、スコア演算部118は、画像P8に含まれるエッジによって分離される二つの領域の各々に含まれる所定の領域について、色差信号(Cr、Cb)の平均値を求める。
<エッジの削除方法(その3)>
スコア演算部118は、画像P8に含まれるエッジの一端を含む領域の色差信号(Cr、Cb)の平均値と他端を含む領域の色差信号(Cr、Cb)の平均値とを画像P1から演算し、色差信号(Cr、Cb)の平均値の差が第2の色差信号閾値以上であれば該エッジを削除し、第2の色差信号閾値未満であれば該エッジを残す。
<Edge deletion method (1)>
The score calculation unit 118 leaves the edge included in the image P8 if the length is equal to or longer than the edge length threshold, and deletes the edge if the length is shorter than the edge length threshold.
<Edge deletion method (2)>
The score calculation unit 118 calculates, from the image P0, the average value of the color difference signals (Cr, Cb) of the two regions separated by the edge included in the image P8, and calculates the average value of the color difference signals (Cr, Cb). If the difference is equal to or larger than the first color difference signal threshold, the edge is deleted, and if the difference is smaller than the first color difference signal threshold, the edge is left. For example, the score calculation unit 118 calculates an average value of the color difference signals (Cr, Cb) for a predetermined region included in each of two regions separated by the edge included in the image P8.
<Edge deletion method (3)>
The score calculation unit 118 calculates, from the image P1, the average value of the color difference signals (Cr, Cb) in the area including one end of the edge and the average value of the color difference signals (Cr, Cb) in the area including the other end of the image P8. The edge is deleted if the difference between the average values of the color difference signals (Cr, Cb) is equal to or larger than the second color difference signal threshold, and the edge is left if the difference is smaller than the second color difference signal threshold.
スコア演算部118は、<エッジの削除方法(その1)>−<エッジの削除方法(その3)>の少なくとも一つの処理を行うことによって、特定のエッジを削除した結果残ったエッジの数が、エッジ数閾値以上であればエッジ検出部114によるエッジの検出が成功であると判定し、エッジ閾値未満であればエッジ検出部114によるエッジの検出が失敗であると判定する。スコア演算部118は、エッジの検出が失敗であると判定した場合には、所定のエラー処理を行ってもよい。
スコア演算部118は、エッジ検出部114によるエッジの検出が成功であると判定した場合には、残ったエッジから、指間を示すエッジを選択する。具体的には、スコア演算部118は、人差し指と中指との間のエッジと、中指と薬指との間のエッジと、薬指と小指との間のエッジとを選択する。
スコア演算部118は、指間を示すエッジを選択するために、以下の(1)−(3)に示す演算処理を行うことによってスコアを求める。ここで、スコア演算部118は、取得部102が出力した画像P0の色空間をsRGBからYUVへ変換する。ここで、YUVは、輝度信号Yと、2つの色差信号を使って表現される色空間である。そして、スコア演算部118は、スコアに基づいて、指間を示すエッジを選択する。
The score calculation unit 118 performs at least one processing of <edge deletion method (part 1)>-<edge deletion method (part 3)> to reduce the number of edges remaining as a result of deleting a specific edge. If the number of edges is equal to or more than the threshold value, it is determined that the edge detection by the edge detection unit 114 is successful, and if it is less than the edge threshold value, it is determined that the edge detection by the edge detection unit 114 has failed. If the score calculation unit 118 determines that the edge detection has failed, the score calculation unit 118 may perform a predetermined error process.
When the score calculation unit 118 determines that the edge detection by the edge detection unit 114 is successful, the score calculation unit 118 selects an edge indicating a finger interval from the remaining edges. Specifically, the score calculation unit 118 selects an edge between the index finger and the middle finger, an edge between the middle finger and the ring finger, and an edge between the ring finger and the little finger.
The score calculation unit 118 obtains a score by performing the following calculation processes (1) to (3) in order to select an edge indicating the interval between fingers. Here, the score calculation unit 118 converts the color space of the image P0 output from the acquisition unit 102 from sRGB to YUV. Here, YUV is a color space expressed using the luminance signal Y and two color difference signals. Then, the score calculation unit 118 selects an edge indicating the distance between the fingers based on the score.
<スコア演算処理(その1)>
図5は、スコア演算部によって行われるスコア演算処理(その1)を示す図である。スコア演算部118は、複数の指の根元の位置の各々を含む領域の画素の色差信号(Cr、Cb)を画像P1から演算する。そして、スコア演算部118は、各色差信号(Cr、Cb)の差分を求める。
具体的には、スコア演算部118は、人差し指と中指との間のエッジの指の根元に対応する位置を含む領域の画素の色差信号をp1とする。また、スコア演算部118は、中指と薬指との間のエッジの指の根元に対応する位置を含む領域の画素の色差信号をp2とする。また、スコア演算部118は、薬指と子指との間のエッジの指の根元に対応する位置を含む領域の画素の色差信号をp3とする。スコア演算部118は、各色差信号(Cr、Cb)の差分(p1−p2)と(p2−p3)と(p3−p1)とを演算することによって第1のスコアを求める。
<Score calculation processing (1)>
FIG. 5 is a diagram illustrating a score calculation process (part 1) performed by the score calculation unit. The score calculation unit 118 calculates the color difference signals (Cr, Cb) of the pixels in the region including each of the base positions of the plurality of fingers from the image P1. Then, the score calculation unit 118 calculates the difference between the color difference signals (Cr, Cb).
Specifically, the score calculation unit 118 sets the color difference signal of the pixel in the area including the position corresponding to the base of the edge finger between the index finger and the middle finger as p1. Further, the score calculation unit 118 sets the color difference signal of the pixel in the region including the position corresponding to the base of the finger at the edge between the middle finger and the ring finger as p2. Further, the score calculation unit 118 sets the color difference signal of the pixel in the region including the position corresponding to the base of the finger at the edge between the ring finger and the child finger as p3. The score calculation unit 118 calculates the first score by calculating the differences (p1-p2), (p2-p3), and (p3-p1) of the color difference signals (Cr, Cb).
<スコア演算処理(その2)>
図6は、スコア演算部によって行われるスコア演算処理(その2)を示す図である。スコア演算部118は、複数のエッジの各々について、該エッジの一端である指の根元の位置を含む領域の画素の色差信号(Cr、Cb)と該エッジの中点を含む領域の画素の色差信号(Cr、Cb)とを求める。そして、スコア演算部118は、指の根元の位置を含む領域の画素の色差信号(Cr、Cb)とエッジの中点を含む領域の画素の色差信号(Cr、Cb)との間の差分を演算することによって第2のスコアを求める。
具体的には、スコア演算部118は、人差し指と中指との間のエッジの指の根元の位置を含む領域の画素の色差信号をs1とし、該エッジの中点を含む領域の画素の色差信号をs2とする。また、スコア演算部118は、中指と薬指との間のエッジの指の根元の位置を含む領域の画素の色差信号をs3とし、該エッジの中点を含む領域の画素の色差信号をs4とする。また、スコア演算部118は、薬指と子指との間のエッジの指の根元の位置を含む領域の画素の色差信号をs5とし、該エッジの中点を含む領域の画素の色差信号をs6とする。スコア演算部118は、各色差信号(Cr、Cb)の差分(s1−s2)と(s3−s4)と(s5−s6)とを演算することによって第2のスコアを求める。
<Score calculation process (2)>
FIG. 6 is a diagram illustrating a score calculation process (part 2) performed by the score calculation unit. For each of the plurality of edges, the score calculation unit 118 calculates a color difference signal (Cr, Cb) of a pixel in a region including the position of the root of the finger, which is one end of the edge, and a color difference signal of a pixel in a region including the midpoint of the edge. And signals (Cr, Cb). Then, the score calculation unit 118 calculates the difference between the color difference signal (Cr, Cb) of the pixel in the area including the position of the base of the finger and the color difference signal (Cr, Cb) in the area including the midpoint of the edge. The second score is obtained by the calculation.
Specifically, the score calculation unit 118 sets the color difference signal of the pixel in the region including the base position of the finger of the edge between the index finger and the middle finger to s1, and sets the color difference signal of the pixel in the region including the midpoint of the edge to s1. S2. Further, the score calculation unit 118 sets the color difference signal of the pixel in the region including the base position of the finger of the edge between the middle finger and the ring finger to s3, and sets the color difference signal of the pixel in the region including the midpoint of the edge to s4. I do. Further, the score calculation unit 118 sets the color difference signal of the pixel in the region including the base position of the finger of the edge between the ring finger and the child finger to s5, and sets the color difference signal of the pixel in the region including the midpoint of the edge to s6. And The score calculation unit 118 calculates a difference (s1-s2), (s3-s4), and (s5-s6) between the color difference signals (Cr, Cb) to obtain a second score.
<スコア演算処理(その3)>
図7は、スコア演算部によって行われるスコア演算処理(その3)を示す図である。スコア演算部118は、人差し指と中指との間のエッジ(line1)と中指と薬指との間のエッジ(line2)との間に両方のエッジと交わらない中間線を定義する。スコア演算部118は、中間線上の輝度Y及び色差信号(Cr、Cb)のいずれか又は両方のばらつきを演算する。また、スコア演算部118は、中指と薬指との間のエッジ(line2)と薬指と子指との間のエッジ(line3)との間に両方のエッジと交わらない中間線を定義する。スコア演算部118は、中間線上の輝度Yと色差信号(Cr、Cb)のばらつきを演算することによって第3のスコアを求める。
<Score calculation process (3)>
FIG. 7 is a diagram illustrating a score calculation process (part 3) performed by the score calculation unit. The score calculation unit 118 defines an intermediate line that does not intersect with both edges between the edge (line1) between the index finger and the middle finger and the edge (line2) between the middle finger and the ring finger. The score calculation unit 118 calculates a variation in one or both of the luminance Y and the color difference signals (Cr, Cb) on the intermediate line. The score calculation unit 118 also defines an intermediate line that does not intersect both edges between the edge (line2) between the middle finger and the ring finger and the edge (line3) between the ring finger and the child finger. The score calculation unit 118 calculates a third score by calculating the variation between the luminance Y and the color difference signals (Cr, Cb) on the intermediate line.
具体的には、スコア演算部118は、エッジ(line1)の一端を含む領域の画素の色差信号Pt1と他端を含む領域の画素の色差Pt2とし、中間線の一端を含む領域の画素の色差信号Pt1´と他端を含む領域の画素の色差信号Pt2´を、式(1)及び式(2)を演算することによって求める。
Pt1´=(line1のPt1+Line2のPt1)/2 (1)
Pt2´=(line1のPt2+Line2のPt2)/2 (2)
スコア演算部118は、Pt1´とPt2´とを結ぶ線分の一部を中間線とする。
また、スコア演算部118は、中指と薬指との間のエッジ(line2)と薬指と子指との間のエッジ(line3)との間に両方のエッジと交わらない中間線を定義し、前述した処理と同様の処理を行う。
スコア演算部118は、中間線上の輝度Y及び色差信号(Cr、Cb)のいずれか又は両方に基づいて、スコアを演算する。具体的には、スコア演算部118は、以下の式を演算することによって第3のスコアを演算する。
Specifically, the score calculation unit 118 calculates the color difference signal Pt1 of the pixel in the region including one end of the edge (line1) and the color difference Pt2 of the pixel in the region including the other end, and the color difference signal Pt2 of the pixel in the region including one end of the intermediate line. The color difference signal Pt2 'of the pixel in the area including the signal Pt1' and the other end is obtained by calculating Expressions (1) and (2).
Pt1 ′ = (Pt1 of line1 + Pt1 of Line2) / 2 (1)
Pt2 ′ = (Pt2 of line1 + Pt2 of Line2) / 2 (2)
The score calculation unit 118 sets a part of a line segment connecting Pt1 ′ and Pt2 ′ as an intermediate line.
In addition, the score calculation unit 118 defines an intermediate line that does not intersect with both edges between the edge (line 2) between the middle finger and the ring finger and the edge (line 3) between the ring finger and the child finger, as described above. The same processing as the processing is performed.
The score calculation unit 118 calculates a score based on one or both of the luminance Y and the color difference signals (Cr, Cb) on the intermediate line. Specifically, the score calculation unit 118 calculates the third score by calculating the following equation.
スコア演算部118は、第1のスコア、第2のスコア、及び第3のスコアのうち少なくとも一つのスコアに基づいて、総合スコアを演算する。そして、スコア演算部118は、総合スコアがスコア閾値以下である場合には被写体TGが手のひらでないと判定し、スコア閾値より大きい場合には被写体TGが手のひらであると判定する。
The score calculation unit 118 calculates a total score based on at least one of the first score, the second score, and the third score. Then, the score calculating unit 118 determines that the subject TG is not a palm when the total score is equal to or smaller than the score threshold, and determines that the subject TG is a palm when the total score is larger than the score threshold.
具体的には、スコア演算部118は、第1のスコアを総合スコアとした場合、各色差信号(Cr、Cb)の差分(p1−p2)、(p2−p3)、及び(p3−p1)のうち、値が小さいほどスコアが高いと判定し、値が大きいほどスコアが低いと判定する。指の根元の位置を含む領域の画素の色差信号(Cr、Cb)は、どの指であっても肌色であるため、色差信号(Cr、Cb)の差分は小さくなるため、スコア演算部118は、値が小さいほどスコアが高いと判定する。
また、スコア演算部118は、第2のスコアを総合スコアとした場合、エッジの指の根元の位置を含む領域の画素の色差信号と該エッジの中点を含む領域の画素の色差信号との間の差分(s1−s2)、(s3−s4)、及び(s5−s6)のうち、値が小さいほどスコアが高いと判定し、値が大きいほどスコアが低いと判定する。エッジの一端である指の根元の位置を含む領域の画素の色差信号(Cr、Cb)と該エッジの中点を含む領域の画素の色差信号(Cr、Cb)は、どの指であっても肌色であるため、色差信号(Cr、Cb)の差分は小さくなるため、スコア演算部118は、色差信号(Cr、Cb)の差分が小さいほどスコアが高いと判定する。
Specifically, when the first score is the total score, the score calculation unit 118 calculates the differences (p1-p2), (p2-p3), (p2-p3), and (p3-p1) of the color difference signals (Cr, Cb). Among them, the smaller the value, the higher the score is determined, and the larger the value, the lower the score. Since the color difference signal (Cr, Cb) of the pixel in the region including the base position of the finger is a flesh color for any finger, the difference between the color difference signals (Cr, Cb) is small. , The smaller the value, the higher the score.
When the second score is a total score, the score calculation unit 118 calculates the color difference signal of the pixel in the region including the root position of the finger of the edge and the color difference signal of the pixel in the region including the midpoint of the edge. Among the differences (s1-s2), (s3-s4), and (s5-s6), the smaller the value is, the higher the score is, and the larger the value is, the lower the score is. The color difference signals (Cr, Cb) of the pixels in the region including the root position of the finger, which is one end of the edge, and the color difference signals (Cr, Cb) of the pixels in the region including the midpoint of the edge, regardless of the finger Since the color difference is a flesh color, the difference between the color difference signals (Cr, Cb) is small. Therefore, the score calculation unit 118 determines that the smaller the difference between the color difference signals (Cr, Cb), the higher the score.
また、スコア演算部118は、第3のスコアを総合スコアとした場合、エッジ間に定義された中間線上の輝度Y及び色差信号(Cr、Cb)のいずれか又は両方のばらつきが小さいほどスコアが高いと判定し、ばらつきが大きいほどスコアが低いと判定する。指上に中間線が定義される場合、中間線上はほぼ肌色一色となるため、輝度Y及び色差信号(Cr、Cb)のいずれか又は両方のばらつきは小さくなるため、スコア演算部118はばらつきが小さいほどスコアが高いと判定する。
スコア演算部118は、被写体TGが手のひらであると判定した場合、第1のスコア、第2のスコア、及び第3のスコアのうち少なくとも一つのスコアをエッジ選択部119へ出力する。スコア演算部118は、被写体TGが手のひらでないと判定した場合、所定のエラー処理を行うようにしてもよい。
エッジ選択部119は、スコア演算部118が出力した第1のスコア、第2のスコア、及び第3のスコアのうち少なくとも一つのスコアを取得すると、該スコアに基づいて、三本のエッジを選択する。ここで、三本のエッジは、人差し指と中指との間のエッジ、中指と薬指との間のエッジ、及び薬指と子指との間のエッジである。スコア演算部118は、該スコアに基づいて選択した三本のエッジを含む画像P9を補正部120へ出力する。
In addition, when the third score is a total score, the score calculating unit 118 sets the score as the variation in one or both of the luminance Y and the color difference signals (Cr, Cb) on the intermediate line defined between the edges is smaller. The score is determined to be high, and the score is determined to be lower as the variation is larger. When the intermediate line is defined on the finger, the color of the intermediate line is almost a single skin color, and the variation in one or both of the luminance Y and the color difference signal (Cr, Cb) is small. It is determined that the smaller the score, the higher the score.
When determining that the subject TG is a palm, the score calculation unit 118 outputs at least one of the first score, the second score, and the third score to the edge selection unit 119. When determining that the subject TG is not a palm, the score calculation unit 118 may perform a predetermined error process.
When acquiring at least one of the first score, the second score, and the third score output by the score calculation unit 118, the edge selection unit 119 selects three edges based on the score. I do. Here, the three edges are an edge between the index finger and the middle finger, an edge between the middle finger and the ring finger, and an edge between the ring finger and the child finger. The score calculation unit 118 outputs the image P9 including the three edges selected based on the score to the correction unit 120.
図8は、補正部によって行われる補正処理を示す図である。補正部120は、スコア演算部118が出力した画像P9を取得すると、三本のエッジの各々について、指の根元の位置を検証し、必要に応じてエッジの長さの補正を行う。
具体的には、補正部120は、人差し指と中指との間のエッジと、該エッジの指の根元の位置と中指と薬指との間のエッジの指の根元の位置とを結んだ線分とのなす角度αが90度以内になるように、人差し指と中指との間のエッジの指の根元の位置を変更する。補正部120は、人差し指と中指との間のエッジを指先から手のひらの方向へ延長することによって、人差し指と中指との間のエッジの指の根元の位置を変更する。
また、補正部120は、薬指と子指との間のエッジと、該エッジの指の根元の位置と中指と薬指との間のエッジの指の根元の位置とを結んだ線分とのなす角度βが90度以内になるように、薬指と子指との間のエッジの指の根元の位置を変更する。補正部120は、薬指と子指との間のエッジを指先から手のひらの方向へ延長することによって、薬指と子指との間のエッジの指の根元の位置を変更する。
補正部120は、人差し指と中指との間のエッジと、中指と薬指との間のエッジと、薬指と子指との間のエッジとを示す情報を領域設定部122へ出力する。ここで、領域設定部122へ出力されるのは、指の根元の位置が変更された場合には、変更後のエッジを示す情報である。
FIG. 8 is a diagram illustrating a correction process performed by the correction unit. Upon acquiring the image P9 output by the score calculation unit 118, the correction unit 120 verifies the position of the base of the finger with respect to each of the three edges, and corrects the length of the edges as necessary.
Specifically, the correction unit 120 is an edge between the index finger and the middle finger, and a line segment connecting the position of the base of the finger of the edge and the position of the base of the finger of the edge between the middle finger and the ring finger. Is changed so that the angle α formed between the index finger and the middle finger is within 90 degrees. The correction unit 120 changes the position of the root of the edge between the index finger and the middle finger by extending the edge between the index finger and the middle finger in the direction of the palm from the fingertip.
In addition, the correction unit 120 forms an edge between the ring finger and the child finger, and a line segment connecting the position of the root of the finger of the edge and the position of the root of the finger of the edge between the middle finger and the ring finger. The position of the base of the finger of the edge between the ring finger and the child finger is changed so that the angle β is within 90 degrees. The correction unit 120 changes the position of the root of the finger of the edge between the ring finger and the child finger by extending the edge between the ring finger and the child finger in the direction of the palm from the fingertip.
The correction unit 120 outputs information indicating an edge between the index finger and the middle finger, an edge between the middle finger and the ring finger, and an edge between the ring finger and the child finger to the region setting unit 122. Here, when the position of the base of the finger is changed, the information indicating the changed edge is output to the area setting unit 122.
図9は、領域設定部によって行われる領域設定処理を示す図である。領域設定部122は、補正部120が出力した人差し指と中指との間のエッジと、中指と薬指との間のエッジと、薬指と子指との間のエッジとを示す情報を取得すると、判定対象の特定に使用する判定領域を設定する。
具体的には、領域設定部122は、人差し指と中指との間のエッジの指の根元の位置をQ1とする。また、領域設定部122は、中指と薬指との間のエッジの指の根元の位置をQ2とする。また、領域設定部122は、薬指と子指との間のエッジの指の根元の位置をQ3とする。領域設定部122は、人差し指と中指との間のエッジ、中指と薬指との間のエッジ、及び薬指と子指との間のエッジの三本のエッジの平均角度を求める。そして、領域設定部122は、Q2から該平均角度で一定の距離をとった点を判定領域(掌紋領域)の中心点とする。領域設定部122は、Q1とQ2との間の距離と、Q2とQ3との間の距離とを加算した値を2で除算した値を指の太さとし、該指の太さを二倍した距離を一定の距離とする。領域設定部122は、出力部124へ、判定領域に含まれる画像情報を出力する。該画像情報には、掌紋画像情報が含まれる。
FIG. 9 is a diagram illustrating an area setting process performed by the area setting unit. When acquiring the information indicating the edge between the index finger and the middle finger, the edge between the middle finger and the third finger, and the edge between the third finger and the second finger, the region setting unit 122 determines Set the judgment area used to identify the target.
Specifically, the region setting unit 122 sets the position of the root of the finger at the edge between the index finger and the middle finger as Q1. In addition, the region setting unit 122 sets the position of the root of the finger at the edge between the middle finger and the ring finger as Q2. In addition, the region setting unit 122 sets the position of the base of the finger at the edge between the ring finger and the child finger as Q3. The region setting unit 122 obtains an average angle of three edges of an edge between the index finger and the middle finger, an edge between the middle finger and the ring finger, and an edge between the ring finger and the child finger. Then, the area setting unit 122 sets a point at a certain distance from Q2 at the average angle as the center point of the determination area (palmprint area). The region setting unit 122 sets the value obtained by dividing the value obtained by adding the distance between Q1 and Q2 and the distance between Q2 and Q3 by 2 to the thickness of the finger, and doubles the thickness of the finger. Let the distance be a fixed distance. The region setting unit 122 outputs image information included in the determination region to the output unit 124. The image information includes palm print image information.
出力部124は、領域設定部122から判定領域に含まれる画像情報を取得すると、該画像情報を出力する。 When acquiring the image information included in the determination region from the region setting unit 122, the output unit 124 outputs the image information.
<手のひら検知装置の動作>
図10は、実施形態に係る手のひら検知装置の動作の一例を示すフローチャートである。
ステップS1002では、取得部102は、撮像部200から画像P0を取得し、取得した画像P0を、平滑化部108とスコア演算部118とへ出力する。平滑化部108は、取得部102が出力した画像P0を取得すると、取得した画像P0をグレースケールの画像P1へ変換する。平滑化部108は、画像P1の平滑化を行う。平滑化部108は、画像P1を平滑化した画像P2をノイズ除去部110へ出力する。ノイズ除去部110は、平滑化部108が出力した画像P2を取得すると、画像P2からノイズを除去する処理を行う。ノイズ除去部110は、ノイズを除去する処理を行ったことによって得られる画像P5を二値化部112へ出力する。二値化部112は、ノイズ除去部110が出力した画像P5を取得すると、画像P5を白と黒との二階調に変換する。二値化部112は、画像P5を白と黒との二階調に変換した画像P6をエッジ検出部114へ出力する。エッジ検出部114は、二値化部112が出力した画像P6を取得すると、画像P6からエッジ等の特徴情報を検出する。エッジ検出部114は、画像P6からエッジを検出した結果を含む画像P7を、ラベリング処理部116へ出力する。ラベリング処理部116は、エッジ検出部114が出力した画像P7を取得すると、画像P7に含まれるエッジにラベルを付与する。
<Operation of palm detection device>
FIG. 10 is a flowchart illustrating an example of the operation of the palm detection device according to the embodiment.
In step S1002, the acquisition unit 102 acquires the image P0 from the imaging unit 200, and outputs the acquired image P0 to the smoothing unit 108 and the score calculation unit 118. When acquiring the image P0 output by the acquiring unit 102, the smoothing unit 108 converts the acquired image P0 into a grayscale image P1. The smoothing unit 108 smoothes the image P1. The smoothing unit 108 outputs the image P2 obtained by smoothing the image P1 to the noise removing unit 110. When acquiring the image P2 output by the smoothing unit 108, the noise removing unit 110 performs a process of removing noise from the image P2. The noise removing unit 110 outputs an image P5 obtained by performing the process of removing noise to the binarizing unit 112. Upon acquiring the image P5 output by the noise removing unit 110, the binarizing unit 112 converts the image P5 into two gradations of white and black. The binarization unit 112 outputs an image P6 obtained by converting the image P5 into two gradations of white and black to the edge detection unit 114. Upon acquiring the image P6 output by the binarizing unit 112, the edge detection unit 114 detects feature information such as edges from the image P6. The edge detection unit 114 outputs an image P7 including a result of detecting an edge from the image P6 to the labeling processing unit 116. When acquiring the image P7 output by the edge detection unit 114, the labeling processing unit 116 assigns a label to an edge included in the image P7.
ステップS1004では、スコア演算部118は、スコアの演算に先立って、画像P8に含まれるエッジのうち、特定のエッジを削除する。
ステップS1006では、スコア演算部118は、特定のエッジを削除した結果残ったエッジの数が、エッジ数閾値以上であるか否かを判定する。
ステップS1008では、スコア演算部118は、特定のエッジを削除した結果残ったエッジの数が、ライン数閾値以下である場合、検出失敗であるとする。この場合、スコア演算部118は、所定のエラー処理を行ってもよい。
ステップS1010では、スコア演算部118は、特定のエッジを削除した結果残ったエッジの数が、ライン数閾値より大きい場合、スコアを演算する。
ステップS1012では、スコア演算部118は、スコアがスコア閾値よりも大きいか否かを判定する。
In step S1004, the score calculation unit 118 deletes a specific edge from the edges included in the image P8 before calculating the score.
In step S1006, the score calculation unit 118 determines whether or not the number of remaining edges as a result of deleting the specific edge is equal to or greater than an edge number threshold.
In step S1008, the score calculation unit 118 determines that the detection has failed if the number of remaining edges as a result of deleting the specific edge is equal to or less than the line number threshold. In this case, the score calculation unit 118 may perform a predetermined error process.
In step S1010, the score calculation unit 118 calculates a score when the number of remaining edges as a result of deleting the specific edge is larger than the line number threshold.
In step S1012, score calculation section 118 determines whether or not the score is greater than a score threshold.
ステップS1014では、スコア演算部118は、スコアがスコア閾値以下である場合、被写体TGが手のひらでないと判定する。スコア演算部118は、被写体TGが手のひらでないと判定した場合、所定のエラー処理を行うようにしてもよい。
ステップS1015では、スコア演算部118は、スコアがスコア閾値より大きい場合、被写体TGが手のひらであると判定する。この場合、エッジ選択部119は、スコアに基づいて、指間のエッジを選択する。
ステップS1016では、補正部120は、エッジ選択部119が出力した画像P9を取得すると、三本のエッジの各々について、指の根元の位置を検証し、必要に応じて指の根元の位置補正を行う。
ステップS1018では、領域設定部122は、補正部120が出力した人差し指と中指との間のエッジと、中指と薬指との間のエッジと、薬指と子指との間のエッジとを示す情報を取得すると、手のひらのうち、認証に使用する掌紋領域を設定する。
ステップS1020では、出力部124は、領域設定部122が出力する掌紋領域に含まれる画像情報を取得すると、該画像情報を出力する。
In step S1014, when the score is equal to or smaller than the score threshold, the score calculation unit 118 determines that the subject TG is not a palm. When determining that the subject TG is not a palm, the score calculation unit 118 may perform a predetermined error process.
In step S1015, when the score is larger than the score threshold, the score calculation unit 118 determines that the subject TG is a palm. In this case, the edge selection unit 119 selects an edge between the fingers based on the score.
In step S1016, when the correction unit 120 acquires the image P9 output by the edge selection unit 119, the correction unit 120 verifies the position of the root of the finger for each of the three edges, and corrects the position of the root of the finger as necessary. Do.
In step S1018, the region setting unit 122 outputs information indicating the edge between the index finger and the middle finger, the edge between the middle finger and the ring finger, and the edge between the ring finger and the child finger, output by the correction unit 120. Upon acquisition, a palm print area to be used for authentication is set in the palm.
In step S1020, when acquiring the image information included in the palm print area output by the area setting unit 122, the output unit 124 outputs the image information.
<実施形態に係る手のひら検知装置の利用例>
図11は、本実施形態に係る手のひら検知装置1の利用例を示す図である。図11に示される利用例では、手のひら検知装置1によって検知された掌紋領域に含まれる画像情報に基づいて、掌紋認証装置2は認証処理を行う。
手のひら検知装置1と掌紋認証装置2とはインターネット等の通信網50を介して接続される。
<Usage example of palm detection device according to embodiment>
FIG. 11 is a diagram illustrating a usage example of the palm detection device 1 according to the present embodiment. In the usage example shown in FIG. 11, the palmprint authentication device 2 performs an authentication process based on image information included in the palmprint region detected by the palm detection device 1.
The palm detection device 1 and the palm print authentication device 2 are connected via a communication network 50 such as the Internet.
<掌紋認証装置>
掌紋認証装置2は、制御部400と記憶部500とを備える。
制御部400は、CPUを備えている。制御部400は、入力部402と認証部404とを機能部として備える。
入力部402は、手のひら検知装置1から出力される画像情報を取得する。ここで、この画像情報は、手のひら検知装置1が判定領域に設定した領域に含まれる画像の画像情報である。入力部402は、該画像情報を認証部404へ出力する。
認証部404は、入力部402が出力する画像情報を取得すると、該画像(掌紋画像)の特徴情報に基づいて、認証を行う。具体的には、認証部404は、該画像と記憶部500に登録されている掌紋の登録画像とに基づいて、登録画像及び判定画像のそれぞれについて、同じような位置で対応点をとり、「位相限定相関法」によって「位相限定相関関数値」を得る。ここで、「位相限定相関法」とは、線等の形状がどれだけ類似しているかを算出する技術である。認証部404は、各対応点での相関を平均して、照合スコア等の目安となる値を算出し、該照合スコアが照合閾値よりも高ければ本人、低ければ他人と判定する。つまり、認証部404は、掌紋画像に基づいて、人物を特定する。
記憶部500は、掌紋の画像を登録する。
<Palm print authentication device>
The palm print authentication device 2 includes a control unit 400 and a storage unit 500.
The control unit 400 includes a CPU. The control unit 400 includes an input unit 402 and an authentication unit 404 as functional units.
The input unit 402 acquires image information output from the palm detection device 1. Here, the image information is image information of an image included in the area set by the palm detection device 1 as the determination area. The input unit 402 outputs the image information to the authentication unit 404.
Upon acquiring the image information output by the input unit 402, the authentication unit 404 performs authentication based on the characteristic information of the image (palmprint image). Specifically, based on the image and the registered image of the palm print registered in the storage unit 500, the authentication unit 404 obtains a corresponding point at a similar position for each of the registered image and the determination image. The “phase-only correlation function value” is obtained by the “phase-only correlation method”. Here, the “phase-only correlation method” is a technique for calculating how similar the shape of a line or the like is. The authentication unit 404 averages the correlation at each corresponding point to calculate a reference value such as a collation score. That is, the authentication unit 404 specifies a person based on the palm print image.
The storage unit 500 registers an image of a palm print.
<実施形態に係る手のひら検知装置の利用例の動作>
図12は、実施形態に係る手のひら検知装置の利用例の動作の一例を示すフローチャートである。
ステップS1202では、入力部402は、手のひら検知装置1が出力する画像情報を取得する。
ステップS1204では、認証部404は、入力部402から画像情報を取得すると、該画像の特徴情報に基づいて、認証を行う。
<Operation of Usage Example of Palm Detection Device According to Embodiment>
FIG. 12 is a flowchart illustrating an example of an operation of a usage example of the palm detection device according to the embodiment.
In step S1202, the input unit 402 acquires image information output by the palm detection device 1.
In step S1204, when acquiring the image information from the input unit 402, the authentication unit 404 performs authentication based on the feature information of the image.
前述した実施形態では、照射部300が被写体TGに照射する光が閃光である場合について説明したが、これに限られない。照射部300は、撮像部200が画像P0を生成することができれば、閃光が照射される時間よりも長い時間だけ被写体TGに光を照射してもよい。
前述した実施形態では、照射部300が被写体TGに照射する光が可視光である場合について説明したが、これに限られない。例えば、手のひら検知装置1は、可視光によるフラッシュの他、被写体TGに近赤外線等の可視光以外の光を照射する装置を、照射部300として備えていてもよい。
前述した実施形態では、撮像部200が撮像した画像に基づいて、被写体TGが手のひらであるか否かを判定する場合について説明したが、この例に限られない。例えば、手のひら検知装置1に記憶された画像が手のひらであるか否かを判定するようにしてもよい。
前述した実施形態では、ノイズ除去部110によって、画像P2の白の画像に対して、膨張、収縮、及び膨張を順次行う場合について説明したが、この例に限られない。例えば、ノイズ除去部110は、画像P2の白の画像に対して、膨張のみを行ってもよいし、収縮のみを行ってもよい。また、ノイズ除去部110は、画像P2の白の画素に対して、膨張を行う回数、及び収縮を行う回数を適宜設定できる。
In the above-described embodiment, the case where the light emitted from the irradiation unit 300 to the subject TG is a flash is described, but the invention is not limited to this. The irradiating unit 300 may irradiate the subject TG with light for a longer time than the flashing time, as long as the imaging unit 200 can generate the image P0.
In the above-described embodiment, a case has been described where the light emitted from the irradiation unit 300 to the subject TG is visible light, but the invention is not limited to this. For example, the palm detection device 1 may include, as the irradiation unit 300, a device that irradiates the subject TG with light other than visible light, such as near infrared light, in addition to a flash using visible light.
In the above-described embodiment, a case has been described in which it is determined whether or not the subject TG is a palm based on an image captured by the imaging unit 200. However, the present invention is not limited to this example. For example, it may be determined whether or not the image stored in the palm detection device 1 is a palm.
In the above-described embodiment, a case has been described in which the noise removal unit 110 sequentially performs expansion, contraction, and expansion on a white image of the image P2, but the present invention is not limited to this example. For example, the noise removing unit 110 may perform only expansion or only contraction on the white image of the image P2. In addition, the noise removing unit 110 can appropriately set the number of times of expansion and the number of times of contraction for white pixels of the image P2.
前述した実施形態では、スコア演算部118によって、複数のエッジの各々について、指の根元の位置を含む領域の画素の色差信号(Cr、Cb)とエッジの中点を含む領域の画素の色差信号(Cr、Cb)との間の差分を演算する場合について説明したが、この例に限られない。例えば、スコア演算部118が、複数のエッジの各々について、指先の位置を含む領域の画素の色差信号(Cr、Cb)とエッジの中点を含む領域の画素の色差信号(Cr、Cb)との間の差分を演算するようにしてもよい。
前述した実施形態では、スコア演算部118によって、人差し指と中指との間のエッジと中指と薬指との間のエッジとの間に両方のエッジと交わらない中間線を定義し、該中間線上の輝度Y及び色差信号(Cr、Cb)のいずれか又は両方のばらつきを演算する場合について説明したが、この例に限られない。例えば、スコア演算部118は、中間線を定義することなく、人差し指と中指との間のエッジと中指と薬指との間のエッジとの間の領域の輝度Y及び色差信号(Cr、Cb)のいずれか又は両方のばらつきを演算するようにしてもよい。中指と薬指との間のエッジと薬指と子指との間のエッジについても同様である。
In the above-described embodiment, for each of the plurality of edges, the color difference signal (Cr, Cb) of the pixel including the position of the base of the finger and the color difference signal of the pixel of the region including the midpoint of the edge are calculated by the score calculation unit 118. Although the case of calculating the difference between (Cr, Cb) and (Cr, Cb) has been described, the present invention is not limited to this example. For example, for each of the plurality of edges, the score calculation unit 118 calculates a color difference signal (Cr, Cb) of a pixel in a region including the position of the fingertip and a color difference signal (Cr, Cb) of a pixel in a region including a midpoint of the edge. May be calculated.
In the above-described embodiment, the score calculation unit 118 defines an intermediate line that does not intersect with both edges between the edge between the index finger and the middle finger and the edge between the middle finger and the ring finger, and sets the luminance on the intermediate line. Although the case has been described in which the variation of either or both of the Y and color difference signals (Cr, Cb) is calculated, the present invention is not limited to this example. For example, the score calculation unit 118 calculates the luminance Y and the color difference signal (Cr, Cb) of the region between the edge between the index finger and the middle finger and the edge between the middle finger and the ring finger without defining the intermediate line. Either or both variations may be calculated. The same applies to the edge between the middle finger and the ring finger and the edge between the ring finger and the child finger.
前述した実施形態では、スコア演算部118は、取得部102が出力した画像P0とラベリング処理部116が出力した画像P8とに基づいて、被写体TGが手のひらであるか否かを判定する際に使用するエッジを選択するためのスコアを演算する場合について説明したが、この例に限られない。例えば、平滑化部108は画像P0と画像P2とをノイズ除去部110へ出力し、ノイズ除去部110は画像P0と画像P5を二値化部112へ出力し、二値化部112は画像P0と画像P6をエッジ検出部114へ出力し、エッジ検出部114は画像P0と画像P7をラベリング処理部116へ出力し、ラベリング処理部116は画像P0と画像P8をスコア演算部118へ出力するようにしてもよい。そして、スコア演算部118は、ラベリング処理部116が出力した画像P0と画像P8とに基づいて、被写体TGが手のひらであるか否かを判定する際に使用するエッジを選択するためのスコアを演算するようにしてもよい。
前述した実施形態では、手のひら検知装置と掌紋認証装置とが通信網を介して接続される場合について説明したが、この例に限られない。例えば、手のひら検知装置と掌紋認証装置とが直接有線又は無線接続されてもよい。
前述した実施形態では、手のひら検知装置と掌紋認証装置とが異なる装置で構成される場合について説明したが、この例に限られない。例えば、手のひら検知装置と掌紋認証装置とを含む認証装置として構成してもよい。
In the above-described embodiment, the score calculation unit 118 is used to determine whether the subject TG is a palm based on the image P0 output from the acquisition unit 102 and the image P8 output from the labeling processing unit 116. Although the case where the score for selecting the edge to be calculated is described, the present invention is not limited to this example. For example, the smoothing unit 108 outputs the image P0 and the image P2 to the noise removing unit 110, the noise removing unit 110 outputs the image P0 and the image P5 to the binarizing unit 112, and the binarizing unit 112 outputs the image P0 And the image P6 to the edge detection unit 114, the edge detection unit 114 outputs the images P0 and P7 to the labeling processing unit 116, and the labeling processing unit 116 outputs the images P0 and P8 to the score calculation unit 118. It may be. Then, score calculating section 118 calculates a score for selecting an edge used when determining whether or not subject TG is a palm based on image P0 and image P8 output from labeling processing section 116. You may make it.
In the above-described embodiment, the case where the palm detection device and the palm print authentication device are connected via the communication network has been described, but the present invention is not limited to this example. For example, the palm detection device and the palm print authentication device may be directly connected by wire or wirelessly.
In the above-described embodiment, a case has been described in which the palm detection device and the palm print authentication device are configured by different devices, but the invention is not limited to this example. For example, it may be configured as an authentication device including a palm detection device and a palm print authentication device.
実施形態に係る手のひら検知装置1によれば、被写体TGの特徴情報に基づいて、該被写体が手のひらであるか否かを判定するので、専用のハードウェアを用いることなく判定対象が手のひらであるか否かを判定することができる。具体的には、手のひら画像及び指先画像の各々を撮影する別々のハードウェアを用いることなく、スマートフォン等の端末装置のカメラで撮像された被写体の画像に基づいて、該被写体が手のひらであるか否かを判定できる。
また、手のひら画像及び指先画像を別々に撮像しないため、手のひら画像を元に指先画像を正規化する処理のコストも不要である。また、一回の撮像で処理が行われるため、様々なサイズのウィンドウを設定して画面を走査する方法と比較して、手をかざしてから画面上で認識するまでのCPUの処理時間を短縮できる。また、被写体TGの特徴情報に基づいて、該被写体が手のひらであるか否かを判定するため、学習サンプルも不要である。また、RGB(sRGB)の画像データをYUVの画像データに変換してから、判定領域に含まれる判定画像の特徴情報に基づいて、認証を行うことで、照明変化にロバストに識別できる。
According to the palm detection device 1 according to the embodiment, whether or not the subject is a palm is determined based on the characteristic information of the subject TG. Therefore, the determination target is the palm without using dedicated hardware. Can be determined. Specifically, based on an image of a subject captured by a camera of a terminal device such as a smartphone, whether or not the subject is a palm, without using separate hardware for capturing each of a palm image and a fingertip image. Can be determined.
Further, since the palm image and the fingertip image are not separately captured, the cost of the process of normalizing the fingertip image based on the palm image is unnecessary. In addition, since the processing is performed by one image capture, the processing time of the CPU from holding the hand to recognizing on the screen is reduced compared to the method of setting various size windows and scanning the screen. it can. Further, since it is determined whether or not the subject is a palm based on the characteristic information of the subject TG, a learning sample is unnecessary. In addition, by converting RGB (sRGB) image data into YUV image data and then performing authentication based on the characteristic information of the determination image included in the determination area, it is possible to identify the illumination robustly to a change in illumination.
<変形例>
図13は、変形例に係る手のひら検知装置の一例を示す図である。
変形例に係る手のひら検知装置では、前述した撮像部200及び照射部300の処理をPC1が実行し、前述した制御部100、制御部400、及び記憶部500が行う処理をPC2が実行するようにしたものである。また、この一例では、PC1とPC2とは、情報の送受が可能なネットワークNを介して接続される。
PC1は、撮像部200と照射部300とを備える。PC1は、撮像部200が被写体TGを撮像し、画像P0を生成する。PC1は、画像P0の画像情報を、ネットワークNを介してPC2へ送信する。PC2はPC1から受信した画像P0の画像情報に基づいて、被写体TGが手のひらであるか否かを判定する。
<Modification>
FIG. 13 is a diagram illustrating an example of a palm detection device according to a modification.
In the palm detection device according to the modified example, the PC1 executes the processing of the imaging unit 200 and the irradiation unit 300 described above, and the PC2 executes the processing performed by the control unit 100, the control unit 400, and the storage unit 500 described above. It was done. In this example, PC1 and PC2 are connected via a network N capable of transmitting and receiving information.
The PC 1 includes an imaging unit 200 and an irradiation unit 300. In the PC 1, the imaging unit 200 captures an image of the subject TG, and generates an image P0. PC1 transmits the image information of the image P0 to PC2 via the network N. The PC 2 determines whether or not the subject TG is a palm based on the image information of the image P0 received from the PC 1.
ここで、PC1の一例は、現金自動預け払い機(ATM: Automated Teller Machine)である。また、PC2の一例は、ATMの集中監視装置である。つまり、変形例に係る手のひら検知装置は、PC1の一例であるATMと、PC2の一例である集中監視装置との構成において実施される。この場合、ATMの使用者の預貯金の預け払い等の認証に応じて当該使用者の生体認証を行う際に用いられる。
具体的には、PC1は、撮像部200と照射部300とによって、被写体TGであるATMの使用者の手のひらを撮像し、画像P0を生成する。PC1は、画像P0の画像情報を、PC2であるATMの集中監視装置へ送信する。PC2は、PC1から受信した画像P0に基づいて、当該画像P0が手のひらの画像であるか否かを判定する。具体的には、PC2は、当該画像P0が手のひらの画像であると判定した場合に、当該画像P0に基づいて、認証を行う。
Here, an example of the PC 1 is an automated teller machine (ATM). An example of the PC 2 is an ATM centralized monitoring device. That is, the palm detection device according to the modification is implemented in a configuration including an ATM that is an example of the PC1 and a centralized monitoring device that is an example of the PC2. In this case, it is used when performing the biometric authentication of the ATM user in accordance with the authentication of the ATM user such as deposit and deposit.
Specifically, the PC 1 uses the imaging unit 200 and the irradiation unit 300 to image the palm of the user of the ATM, which is the subject TG, and generates the image P0. The PC1 transmits the image information of the image P0 to the centralized monitoring device of the ATM, which is the PC2. The PC 2 determines whether or not the image P0 is a palm image based on the image P0 received from the PC1. Specifically, when the PC 2 determines that the image P0 is a palm image, the PC 2 performs authentication based on the image P0.
なお、変形例では、PC1がATMであり、PC2がATMの集中監視装置である場合について説明したが、これに限られない。例えば、PC1はPCであり、PC2は認証サーバであってもよい。これによって、PCの使用者がネットショッピングをし、その代金の決済を行う際に、認証サーバは、PCの使用者を認証することができる。また、PCの使用者がネットバンクへアクセスし、取引を行う場合に、認証サーバは、ネットバンクの使用者を認証することができる。 In the modified example, the case has been described in which the PC 1 is an ATM and the PC 2 is a centralized monitoring device of the ATM, but the present invention is not limited to this. For example, PC1 may be a PC and PC2 may be an authentication server. Thus, the authentication server can authenticate the user of the PC when the user of the PC does online shopping and settles the price. When the user of the PC accesses the net bank and conducts a transaction, the authentication server can authenticate the user of the net bank.
また、変形例では、PC1が撮像部200と照射部300とを備える場合について説明したが、これに限られない。撮像部200と照射部300とを、PC1とは別の装置に備えるようにしてもよい。この場合、PC1と撮像部200との間で、撮像部200が撮像することによって得られる画像P0を送受する機能を備えていてもよい。これにより、PC1は、撮像部200が被写体TGを撮像し、生成した画像P0を撮像部200から受信することができる。 Further, in the modified example, the case where the PC 1 includes the imaging unit 200 and the irradiation unit 300 has been described, but is not limited thereto. The imaging unit 200 and the irradiation unit 300 may be provided in a device different from the PC 1. In this case, a function of transmitting and receiving the image P0 obtained by the imaging unit 200 capturing an image may be provided between the PC 1 and the imaging unit 200. Thereby, the PC 1 can receive the image P0 generated from the imaging unit 200 by the imaging unit 200 capturing the subject TG.
以上、本発明の実施形態及びその変形を説明したが、これらの実施形態及びその変形は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 The embodiments of the present invention and the modifications thereof have been described above. However, these embodiments and the modifications thereof have been presented as examples, and are not intended to limit the scope of the invention. These embodiments and their modifications can be implemented in other various forms, and various omissions, replacements, changes, and combinations can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and their equivalents.
なお、実施形態及び変形例に係る手のひら検知装置、及び掌紋認証装置が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。なお、手のひら検知装置が備える各部は、メモリおよびCPU(中央演算装置)により構成され、手のひら検知装置、及び掌紋認証装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。また、手のひら検知装置、及び掌紋認証装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
Note that each unit included in the palm detection device and the palm print authentication device according to the embodiment and the modified example may be realized by dedicated hardware, or may be realized by a memory and a microprocessor. Is also good. Each unit included in the palm detection device is configured by a memory and a CPU (Central Processing Unit), and a program for realizing the functions of each unit included in the palm detection device and the palm print authentication device is loaded into the memory and executed. May realize the function. Further, a program for realizing the functions of each unit included in the palm detection device and the palm print authentication device is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read and executed by a computer system. Alternatively, the processing may be performed.
Here, the “computer system” includes an OS and hardware such as peripheral devices.
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
The “computer system” also includes a homepage providing environment (or a display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system. Further, a “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. In this case, it is also assumed that a program that holds a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case, is included. Further, the above-mentioned program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
なお、前述の装置は内部にコンピュータを有している。そして、前述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
The above-described device has a computer inside. The process of each process of each device described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by reading and executing the program by a computer. Here, the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. The computer program may be distributed to a computer via a communication line, and the computer that has received the distribution may execute the program. Further, the program may be for realizing a part of the functions described above.
Furthermore, what can realize the above-mentioned function in combination with a program already recorded in the computer system, that is, a so-called difference file (difference program) may be used.
前述した実施形態及び変形例において、エッジ検出部114は特徴情報検出部の一例であり、領域設定部122は領域設定部の一例であり、出力部124は出力部の一例であり、平滑化部108は平滑化部の一例であり、二値化部112は二値化部の一例である。また、エッジ選択部119は選択部の一例であり、ノイズ除去部110はノイズ除去部の一例であり、画像P0は入力画像の一例である。 In the above-described embodiments and modifications, the edge detecting unit 114 is an example of a feature information detecting unit, the area setting unit 122 is an example of an area setting unit, the output unit 124 is an example of an output unit, and the smoothing unit is an example. Reference numeral 108 denotes an example of a smoothing unit, and the binarization unit 112 is an example of a binarization unit. Further, the edge selecting unit 119 is an example of a selecting unit, the noise removing unit 110 is an example of a noise removing unit, and the image P0 is an example of an input image.
1…手のひら検知装置、2…掌紋認証装置、50…通信網、100…制御部、102…取得部、104…撮像制御部、106…照射制御部、108…平滑化部、110…ノイズ除去部、112…二値化部、114…エッジ検出部、116…ラベリング処理部、118…スコア演算部、120…補正部、122…領域設定部、124…出力部、200…撮像部、300…照射部、400…制御部、402…入力部、404…認証部、500…記憶部 DESCRIPTION OF SYMBOLS 1 ... Palm detection apparatus, 2 ... Palm print authentication apparatus, 50 ... Communication network, 100 ... Control part, 102 ... Acquisition part, 104 ... Imaging control part, 106 ... Irradiation control part, 108 ... Smoothing part, 110 ... Noise removal part Reference numeral 112, a binarization unit, 114, an edge detection unit, 116, a labeling processing unit, 118, a score calculation unit, 120, a correction unit, 122, an area setting unit, 124, an output unit, 200, an imaging unit, 300, irradiation Unit, 400 control unit, 402 input unit, 404 authentication unit, 500 storage unit
Claims (11)
前記特徴情報検出部によって検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択する選択部と、
前記選択部が選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定する領域設定部と、
前記入力画像のうち、前記領域設定部が設定した前記判定領域に含まれる画像情報を出力する出力部と
を備える、手のひら検知装置。 A feature information detection unit that detects an edge from the input image;
From the edge detected by the feature information detection unit, based on a color difference signal of one or more positions of the edge, a selection unit that selects an edge corresponding to between fingers,
Based on an edge corresponding to between the fingers selected by the selection unit, from the input image, an area setting unit that sets a determination area used to specify a determination target,
And an output unit that outputs image information included in the determination area set by the area setting unit in the input image.
前記平滑化部が平滑化した前記入力画像を閾値によって二値化する二値化部と
を備え、
前記特徴情報検出部は、前記二値化部によって二値化された前記入力画像からエッジを検出する、請求項1に記載の手のひら検知装置。 A smoothing unit for smoothing the input image,
A binarizing unit that binarizes the input image smoothed by the smoothing unit using a threshold.
The palm detection device according to claim 1, wherein the feature information detection unit detects an edge from the input image binarized by the binarization unit.
を備え、
前記二値化部は、前記ノイズ除去部によってノイズ成分が除去された前記入力画像を前記閾値によって二値化する、請求項2に記載の手のひら検知装置。 A noise removing unit that removes a noise component from the input image smoothed by the smoothing unit
With
The palm detection device according to claim 2, wherein the binarization unit binarizes the input image from which the noise component has been removed by the noise removal unit using the threshold .
前記特徴情報検出部によって検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択する選択部と、
前記選択部が選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定する領域設定部と、
前記入力画像のうち、前記領域設定部が設定した前記判定領域に含まれる掌紋画像に基づいて、人物を特定する認証部と
を備える、掌紋認証装置。 A feature information detection unit that detects an edge from the input image;
From the edge detected by the feature information detection unit, based on a color difference signal of one or more positions of the edge, a selection unit that selects an edge corresponding to between fingers,
Based on an edge corresponding to between the fingers selected by the selection unit, from the input image, an area setting unit that sets a determination area used to specify a determination target,
An authentication unit that specifies a person based on a palm print image included in the determination area set by the area setting unit in the input image;
A palm print authentication device comprising:
前記検出するステップで検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択するステップと、
前記選択するステップで選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定するステップと、
前記入力画像のうち、前記判定領域を設定するステップで設定した前記判定領域に含まれる画像情報を出力するステップと
を有する、手のひら検知装置によって実行される手のひら検知方法。 Detecting edges from the input image;
From the edge detected in the detecting step, based on a color difference signal of one or more positions of the edge, selecting an edge corresponding to between the fingers,
Based on the edge corresponding to between the fingers selected in the selecting step, from the input image, a step of setting a determination area used to specify a determination target,
Outputting, from the input image, image information included in the determination area set in the step of setting the determination area;
Palm detecting method performed by the having, palm sensing device.
入力画像から、エッジを検出するステップと、
前記検出するステップで検出された前記エッジから、前記エッジの一又は複数の位置の色差信号に基づいて、指間に対応するエッジを選択するステップと、
前記選択するステップで選択した前記指間に対応するエッジに基づいて、前記入力画像から、判定対象の特定に使用する判定領域を設定するステップと、
前記入力画像のうち、前記判定領域を設定するステップで設定した前記判定領域に含まれる画像情報を出力するステップと
を実行させる、プログラム。 In the computer of the palm detection device,
Detecting edges from the input image;
From the edge detected in the detecting step, based on a color difference signal of one or more positions of the edge, selecting an edge corresponding to between the fingers,
Based on the edge corresponding to between the fingers selected in the selecting step, from the input image, a step of setting a determination area used to specify a determination target,
Outputting, from the input image, image information included in the determination area set in the step of setting the determination area;
To run the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016158119A JP6629150B2 (en) | 2016-08-10 | 2016-08-10 | Palm detection device, palm print authentication device, palm detection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016158119A JP6629150B2 (en) | 2016-08-10 | 2016-08-10 | Palm detection device, palm print authentication device, palm detection method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018026012A JP2018026012A (en) | 2018-02-15 |
JP6629150B2 true JP6629150B2 (en) | 2020-01-15 |
Family
ID=61193835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016158119A Expired - Fee Related JP6629150B2 (en) | 2016-08-10 | 2016-08-10 | Palm detection device, palm print authentication device, palm detection method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6629150B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102513468B1 (en) * | 2021-12-03 | 2023-03-24 | 이상훈 | Non contacttype palm print recognition method using mobile device installed camera |
KR102648877B1 (en) * | 2023-11-01 | 2024-03-18 | 아메이투라 주식회사 | Electronic apparatus and the controlling method thereof for a user access authorization method based on palm print and vein pattern information |
KR102648878B1 (en) * | 2023-11-01 | 2024-03-18 | 아메이투라 주식회사 | System and the controlling method thereof applying a user access authorization method based on palm print and vein pattern information |
-
2016
- 2016-08-10 JP JP2016158119A patent/JP6629150B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018026012A (en) | 2018-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7242528B2 (en) | Systems and methods for performing fingerprint user authentication using images captured using mobile devices | |
US10339362B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
US11263432B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
Priesnitz et al. | An overview of touchless 2D fingerprint recognition | |
US10521643B2 (en) | Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices | |
JP2020074174A5 (en) | ||
JP6160148B2 (en) | Biological information input device, biometric information input program, and biometric information input method | |
JP2019048026A (en) | Biological information analysis device and hand skin analysis method | |
JP6629150B2 (en) | Palm detection device, palm print authentication device, palm detection method, and program | |
JP5556663B2 (en) | Verification device, verification method, and program | |
JP2017211938A (en) | Biological information processor, biological information processing method and biological information processing program | |
JP6075084B2 (en) | Image conversion apparatus, image conversion method, biometric authentication apparatus, biometric authentication method, and computer program for image conversion | |
JP2005259049A (en) | Face collation device | |
JP6798285B2 (en) | Biometric device, biometric method and program | |
KR101750897B1 (en) | A Biometric Method using Thumb feature | |
JP4900701B2 (en) | Authentication system | |
KR20210050649A (en) | Face verifying method of mobile device | |
JP6117988B2 (en) | Biometric authentication device, biometric authentication method, and program | |
KR20110067480A (en) | Sensor actuator node and method for conditions meeting using thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6629150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |