KR101083367B1 - Method and apparatus for user authentication using image - Google Patents

Method and apparatus for user authentication using image Download PDF

Info

Publication number
KR101083367B1
KR101083367B1 KR1020100007143A KR20100007143A KR101083367B1 KR 101083367 B1 KR101083367 B1 KR 101083367B1 KR 1020100007143 A KR1020100007143 A KR 1020100007143A KR 20100007143 A KR20100007143 A KR 20100007143A KR 101083367 B1 KR101083367 B1 KR 101083367B1
Authority
KR
South Korea
Prior art keywords
feature point
block
image
user
authentication
Prior art date
Application number
KR1020100007143A
Other languages
Korean (ko)
Other versions
KR20110087634A (en
Inventor
김점구
이인용
허승표
송인수
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020100007143A priority Critical patent/KR101083367B1/en
Publication of KR20110087634A publication Critical patent/KR20110087634A/en
Application granted granted Critical
Publication of KR101083367B1 publication Critical patent/KR101083367B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

영상을 이용한 사용자 인증 방법 및 장치가 개시된다. 인증 장치에서 사용자에 대해 인증하는 방법은, 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하고, 획득된 복수의 영상을 분석하여 특징점을 각각 추출하며, 영상을 m(임의의 자연수)개의 블록으로 각각 분할하여 추출된 특징점을 포함하는 각 영상의 블록 위치를 이진화하여 블록별 특징점 위치 정보를 생성하고, 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 사용자에 대해 인증을 수행할 수 있다.A user authentication method and apparatus using an image are disclosed. The authentication apparatus authenticates a user by obtaining a plurality of images photographing the user through a plurality of cameras, analyzing the obtained plurality of images, extracting feature points, respectively, and m (random number of natural) images. Binary block position of each image including feature points extracted by dividing each block into bins to generate feature point position information for each block, and perform authentication for a user by comparing feature point position information for each block and pre-stored feature point position information for each block. can do.

Figure R1020100007143
Figure R1020100007143

Description

영상을 이용한 사용자 인증 방법 및 장치{Method and apparatus for user authentication using image}Method and apparatus for user authentication using video {Method and apparatus for user authentication using image}

본 발명은 사용자 인증에 관한 것으로, 보다 상세하게 제한된 구역에서 카메라를 통해 획득된 영상을 분석하여 사용자를 인증하는 방법 및 장치에 관한 것이다.
The present invention relates to user authentication, and more particularly, to a method and apparatus for authenticating a user by analyzing an image acquired through a camera in a restricted area.

오늘날 정보화 시대에서 산업기술유출은 국가, 기업간 기술적, 경제적, 산업적 측면에서 매우 중요한 화제로 대두되고 있다. 산업기밀유출 방지를 위해 제한구역 및 비 인가자로부터 출입을 금지하기 위해 여러가지 인증 방법을 통해 인가자의 출입을 허용하고 있다. 단순한 화상인터폰에서부터 RFID카드 및 사람의 생체(바이오)정보 등이 주로 사용되고 있다.In today's information age, industrial technology spills are becoming a very important topic in terms of technology, economy and industry between countries and companies. In order to prevent the leakage of industrial confidentiality, permitting is permitted through various authentication methods to prohibit access from restricted areas and unauthorized persons. From simple video interphones, RFID cards and human biometric information are mainly used.

위의 예로 나열한 인증 방법들 중에 불편한 점들은 생체정보를 이용하는 것이다. 이는 개인정보노출에 민감한 사항에 될 수 있기 때문에 사용자들이 매우 꺼려한다는 점과 RFID카드를 이용하는 것은 RFID를 항상 소지해야 하기 때문에 불편함과 대체 인증이 가능한 단점이 있다.
One of the inconveniences of the authentication methods listed above is to use biometric information. This may be sensitive to personal information exposure, so users are very reluctant, and using an RFID card has disadvantages in that it is inconvenient and alternative authentication is possible because it must always carry RFID.

본 발명은 복수의 카메라를 이용하여 사용자를 촬영한 영상을 분석하여 사용자를인증하는 방법 및 장치를 제공하기 위한 것이다.The present invention provides a method and apparatus for authenticating a user by analyzing an image photographed by the user using a plurality of cameras.

또한, 본 발명은 사용자에 대한 영상을 통해 특징점을 추출하고, 추출된 특징점을 이용하여 사용자에 대해 인증을 수행함으로써 번거로운 생체인식 또는 RFID를 항상 소지해야 하는 불편함과 대체 인증의 문제점을 해소할 수 있는 영상을 이용한 사용자 인증 방법 및 장치를 제공하기 위한 것이다.In addition, the present invention can solve the inconvenience of having to carry the cumbersome biometrics or RFID at all times by extracting the feature point through the image of the user, and performing authentication for the user using the extracted feature point can be solved It is to provide a user authentication method and apparatus using an image present.

또한, 본 발명은 영상의 특징점 정보가 포함되어 있는 분할된 블록의 위치를 이용하여 사용자에 대해 인증을 수행하도록 하여 영상 인증에 따른 지연을 최소화할 수 있는 영상을 이용한 사용자 인증 방법 및 장치를 제공하기 위한 것이다.
In addition, the present invention provides a user authentication method and apparatus using an image that can minimize the delay due to image authentication by performing authentication for the user using the location of the divided block containing the feature point information of the image. It is for.

본 발명의 일 측면에 따르면, 사용자에 대해 인증하는 방법 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체가 제공된다.According to an aspect of the present invention, there is provided a recording medium recording a method for authenticating a user and a program for performing the method.

본 발명의 일 실시예에 따르면, 인증 장치에서 사용자에 대해 인증하는 방법에 있어서, (a) 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하는 단계; (b) 상기 획득된 복수의 영상을 분석하여 특징점을 각각 추출하는 단계; (c) 상기 영상을 m(임의의 자연수)개의 블록으로 각각 분할하는 단계; (d) 상기 추출된 특징점을 포함하는 각 영상의 블록 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 단계; 및 (e) 상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 단계를 포함하는 사용자 인증 방법이 제공될 수 있다.According to an embodiment of the present invention, a method for authenticating a user in an authentication apparatus includes: (a) acquiring a plurality of images photographing a user through a plurality of cameras; (b) extracting feature points by analyzing the obtained plurality of images; (c) dividing the image into m (random natural numbers) blocks, respectively; generating feature point position information for each block by binarizing a block position of each image including the extracted feature point; And (e) comparing the feature point position information for each block with the feature point position information for each block, and performing authentication for the user.

상기 카메라는 상기 사용자를 앞, 뒤, 좌, 우에서 촬영할 수 있도록 배치된다.The camera is arranged to photograph the user from the front, the back, the left and the right.

상기 (a) 단계는, 상기 사용자에 대해 앞, 뒤, 좌, 우 영상을 획득하는 단계일 수 있다.Step (a) may be a step of acquiring front, rear, left and right images of the user.

상기 (b) 단계는 상기 영상의 침식 및 팽창 과정을 통한 각 화소의 색상 정보를 이용하여 상기 영상에 대한 특징점을 추출할 수 있다.In the step (b), the feature point of the image may be extracted using color information of each pixel through the erosion and expansion of the image.

블록별 특징점 위치 정보는 프레임의 블록의 수에 따른 비트 수로 구성되며, 상기 (d) 단계는, 대상 프레임에서 상기 특징점을 포함하는 블록의 위치에 상응하는 비트의 비트값을 1로 설정하는 단계일 수 있다.The feature point position information for each block is composed of the number of bits according to the number of blocks of the frame. The step (d) may include setting the bit value of the bit corresponding to the position of the block including the feature point to 1 in a target frame. Can be.

상기 (c) 단계 이전에, 상기 영상을 그레이 영상으로 변환하는 단계를 더 포함한다. Prior to the step (c), the method may further include converting the image into a gray image.

상기 (e) 단계는, 블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보들을 순차적으로 비교하여 매칭 정도가 높은 프레임의 블록별 특징점 위치 정보를 임시 저장하는 단계; 상기 임시 저장된 블록별 특징점 위치 정보의 평균값을 산출하는 단계; 및 상기 평균값이 미리 설정된 임계치를 초과하는 경우, 상기 사용자에 대해 인증 성공으로 결정하는 단계를 포함할 수 있다.The step (e) may include sequentially storing the feature point position information of each block of a frame having a high matching degree by sequentially comparing the feature point position information of each block with previously stored feature point position information of each block; Calculating an average value of feature point location information for each temporarily stored block; And when the average value exceeds a preset threshold, determining that the authentication succeeds for the user.

상기 평균값이 미리 설정된 임계치 미만인 경우, 상기 사용자에 대해 인증 실패로 결정하는 단계를 더 포함할 수 있다.
If the average value is less than a preset threshold, it may further include determining that the authentication failure for the user.

본 발명의 다른 실시예에 따르면, 사용자 인증을 위한 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서, (a) 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하는 단계; (b) 상기 획득된 복수의 영상을 분석하여 특징점을 각각 추출하는 단계; (c) 상기 영상을 m(임의의 자연수)개의 블록으로 각각 분할하는 단계; (d) 상기 추출된 특징점을 포함하는 각 영상의 블록 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 단계; 및 (e) 상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 단계를 실행하는 프로그램을 기록한 기록매체가 제공될 수 있다.
According to another embodiment of the present invention, there is tangibly implemented a program of instructions executable by a digital processing apparatus to perform a method for user authentication, and recording a program that can be read by the digital processing apparatus. A medium, comprising: (a) acquiring a plurality of images photographing a user through a plurality of cameras; (b) extracting feature points by analyzing the obtained plurality of images; (c) dividing the image into m (random natural numbers) blocks, respectively; generating feature point position information for each block by binarizing a block position of each image including the extracted feature point; And (e) comparing the feature point position information for each block and the feature point position information for each block, and storing a program for executing the step of performing authentication for the user.

본 발명의 다른 측면에 따르면, 복수의 카메라와 연결되어 사용자에 대해 인증하는 인증 장치가 제공된다.According to another aspect of the present invention, there is provided an authentication device that is connected to a plurality of cameras to authenticate a user.

본 발명의 실시예에 따르면, 복수의 카메라와 연결되어 사용자에 대해 인증하는 인증 장치에 있어서, 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하여 수집하는 수집부; 상기 수집된 복수의 영상을 프레임 단위로 분석하여 특징점을 추출하고, 상기 복수의 영상을 m(자연수)개의 블록으로 분할하여 상기 추출된 특징점이 포함된 블록의 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 영상 처리부; 및 상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 인증부를 포함하는 인증 장치가 제공될 수 있다.According to an embodiment of the present invention, an authentication device connected to a plurality of cameras to authenticate a user, comprising: a collecting unit configured to acquire and collect a plurality of images photographing a user through a plurality of cameras; Feature points are extracted by analyzing the collected plurality of images on a frame-by-frame basis, the plurality of images are divided into m (natural numbers) blocks, and the position of the block including the extracted feature points is binarized to obtain feature point position information for each block. An image processor for generating; And an authentication unit configured to compare the feature point location information for each block and the feature point location information for each block, and perform authentication for the user.

상기 카메라는 상기 사용자를 앞, 뒤, 좌, 우에서 촬영할 수 있도록 배치된다.The camera is arranged to photograph the user from the front, the back, the left and the right.

상기 수집부는, 상기 사용자에 대해 앞, 뒤, 좌, 우 영상을 획득하여 수집할 수 있다.The collection unit may acquire and collect front, rear, left and right images of the user.

상기 영상 처리부는, 상기 복수의 영상을 각 프레임 단위로 분석하는 추출부; 상기 복수의 영상을 프레임 단위로 상기 m개의 블록으로 각각 분할하는 전처리부; 및 각 프레임 단위로 상기 추출된 특징점을 포함하는 블록의 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 후처리부를 포함할 수 있다.The image processor may include: an extractor configured to analyze the plurality of images in units of frames; A preprocessor dividing the plurality of images into the m blocks on a frame basis; And a post-processing unit for generating feature point position information for each block by binarizing the position of the block including the extracted feature point in each frame unit.

상기 추출부는 상기 특징점 추출 이전에 상기 영상을 그레이 영상으로 변환할 수 있다.The extractor may convert the image into a gray image before extracting the feature point.

상기 추출부는 상기 영상의 침식 및 팽창 과정을 통해 각 화소의 색상 정보를 이용하여 특징점을 추출을 추출할 수 있다.The extractor may extract feature points by using color information of each pixel through erosion and expansion of the image.

블록별 특징점 위치 정보는 프레임의 블록의 수에 따른 비트 수로 구성되며, 상기 후처리부는, 대상 프레임에서 상기 특징점을 포함하는 블록의 위치에 상응하는 비트의 비트값을 1로 설정할 수 있다.The feature point position information for each block includes a number of bits according to the number of blocks of the frame, and the post processor may set a bit value of a bit corresponding to a position of a block including the feature point to 1 in a target frame.

상기 인증부는, 블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보를 순차적으로 비교하여 매칭 정도가 높은 프레임의 블록별 특징점 위치 정보를 임시 저장하고, 상기 임시 저장된 블록별 특징점 위치 정보의 평균값을 산출하며, 상기 평균값이 미리 설정된 임계치를 초과하는 경우, 상기 사용자에 대해 인증 성공으로 결정하며, 상기 평균값이 미리 설정된 임계치 미만인 경우, 상기 사용자에 대해 인증 실패로 결정할 수 있다.
The authentication unit sequentially compares the feature point position information for each block with the prestored feature point position information for each block, temporarily storing the feature point position information for each block of a frame having a high matching degree, and calculates an average value of the feature point position information for each temporarily stored block. If the average value exceeds a preset threshold, the user may determine that the authentication succeeds. If the average value is less than the preset threshold, the user may determine that the user fails authentication.

본 발명에 따른 영상을 이용한 사용자 인증 방법 및 장치를 제공함으로써, 복수의 카메라를 이용하여 사용자를 촬영한 영상을 분석하여 사용자에 대해 인증할 수 있다.By providing a user authentication method and apparatus using an image according to the present invention, it is possible to authenticate the user by analyzing the image photographed by the user using a plurality of cameras.

또한, 본 발명은 사용자에 대한 영상을 통해 특징점을 추출하고, 추출된 특징점을 이용하여 사용자에 대해 인증을 수행함으로써 번거로운 생체인식 또는 RFID를 항상 소지해야 하는 불편함을 해소할 수 있다.In addition, the present invention can solve the inconvenience of having to carry a cumbersome biometrics or RFID by always extracting the feature point through the image of the user, and by using the extracted feature point to authenticate the user.

또한, 본 발명은 특징점이 추출된 블록의 위치를 이용하여 사용자에 대해 인증을 수행하도록 하여 영상 인증에 따른 지연을 최소화할 수 있다.
In addition, the present invention can minimize the delay due to image authentication by performing authentication for the user using the location of the block from which the feature point is extracted.

도 1은 본 발명의 실시예에 따른 사용자 인증을 위한 영상 인증 시스템의 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 실시예에 따른 인증 장치의 내부 구성을 개략적으로 도시한 블록도.
도 3은 본 발명의 실시예에 따른 영상 처리부의 내부 구성을 개략적으로 도시한 블록도.
도 4는 본 발명의 실시예에 따른 사용자 인증 방법을 나타낸 순서도.
도 5는 본 발명의 실시예에 따른 인증 장치에서 블록별 특징점 위치 정보를 비교하는 과정을 설명하기 위해 도시한 도면.1 is a block diagram schematically showing the configuration of a video authentication system for user authentication according to an embodiment of the present invention.
2 is a block diagram schematically showing an internal configuration of an authentication apparatus according to an embodiment of the present invention.
3 is a block diagram schematically illustrating an internal configuration of an image processor according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a user authentication method according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a process of comparing feature point position information for each block in the authentication apparatus according to an exemplary embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

[도 1 설명][Description of Fig. 1]

도 1은 본 발명의 실시예에 따른 사용자 인증을 위한 영상 인증 시스템에서의 카메라의 배치 위치를 설명하기 위해 도시한 도면이다.1 is a view illustrating an arrangement position of a camera in an image authentication system for user authentication according to an embodiment of the present invention.

본 실시예에 따른 영상 인증 시스템은 하기 도 2에 도시된 바와 같이, 복수의 카메라(110)와 인증 장치(120)를 포함하여 구성된다.As shown in FIG. 2, the image authentication system according to the present embodiment includes a plurality of cameras 110 and an authentication device 120.

카메라(110)는 객체를 촬상하여 영상을 인증 장치(120)로 출력한다. 카메라(110)는 도 1에 도시된 바와 같이, 특정한 구역을 기준으로 n(임의의 자연수)대가 설치된다.The camera 110 photographs an object and outputs an image to the authentication device 120. As shown in FIG. 1, the camera 110 is provided with n (random natural numbers) based on a specific area.

각각의 카메라는 특정한 구역에 객체가 위치되는 경우, 인증 장치(120)의 제어 신호에 따라 동시에 객체를 촬상하여 영상을 인증 장치(120)로 각각 전송할 수 있다.When an object is located in a specific area, each camera may simultaneously image an object and transmit an image to the authentication device 120 according to a control signal of the authentication device 120.

본 실시예에서는 이해와 설명의 편의를 도모하기 위해, 4대의 카메라가 배치되는 것을 가정하여 설명하기로 한다. 예를 들어, 카메라는 특정한 구역을 기준으로 객체의 앞, 뒤, 좌, 우를 촬영할 수 있도록 설치 또는 배치된다.In the present embodiment, for convenience of understanding and explanation, it will be described on the assumption that four cameras are arranged. For example, the camera is installed or arranged to photograph the front, rear, left and right of the object based on a specific area.

예를 들어, 사용자가 특정한 구역(또는 출입 장치가 부착된 출입구)에서 출입을 위해 미리 설정된 버튼을 누르거나 터치 스크린을 터치한 경우, 인증 장치(120)는 사용자의 인증을 위해 설치된 4대의 카메라로 촬상을 위한 제어 신호를 동시에 출력할 수 있다. 이에 따라, 각각의 카메라는 제어 신호에 따라 각각 객체(즉, 사용자)를 촬상하여 그 영상을 인증 장치(120)로 출력할 수 있다.For example, if a user presses a preset button or touches a touch screen for access in a specific area (or an entrance to which an access device is attached), the authentication device 120 is configured with four cameras installed for user authentication. The control signal for imaging can be output simultaneously. Accordingly, each camera may photograph an object (ie, a user) according to a control signal and output the image to the authentication device 120.

인증 장치(120)는 복수의 카메라와 연결되며, 복수의 카메라의 동작을 제어할 수 있다.The authentication device 120 may be connected to a plurality of cameras and control operations of the plurality of cameras.

본 실시예에서는 인증 장치(120)가 복수의 카메라의 동작을 제어하는 것을 가정하여 설명하였으나, 다른 예를 들어, 별도의 센서가 구비되어, 객체가 지정된 위치에 위치되는 것을 감지하여 카메라가 동작되도록 제어할 수도 있다.In the present embodiment, the authentication device 120 has been described on the assumption that the control of the plurality of cameras, but, for example, a separate sensor is provided, so that the camera is operated by detecting that the object is located at a specified position You can also control it.

또한, 인증 장치(120)는 복수의 카메라(110)로부터 각각 객체를 촬영한 영상을 수집하고, 수집된 영상을 분석하여 객체의 특징점을 추출한다. 이어, 인증 장치(120)는 추출된 특징점을 이용하여 객체를 인증하는 기능을 수행한다.In addition, the authentication device 120 collects images of the objects from the plurality of cameras 110, and extracts feature points of the objects by analyzing the collected images. Subsequently, the authentication device 120 performs a function of authenticating the object by using the extracted feature point.

이하, 인증 장치(120)의 구성 및 기능에 대해서는 하기에서 관련 도면을 참조하여 보다 상세히 설명하기로 한다.
Hereinafter, the configuration and function of the authentication device 120 will be described in more detail with reference to the accompanying drawings.

[도 2 - 도 3 설명]2-FIG. 3 Description

도 2는 본 발명의 실시예에 따른 인증 장치의 내부 구성을 개략적으로 도시한 블록도이며, 도 3은 본 발명의 실시예에 따른 영상 처리부의 내부 구성을 개략적으로 도시한 블록도이다.2 is a block diagram schematically illustrating an internal configuration of an authentication apparatus according to an embodiment of the present invention, and FIG. 3 is a block diagram schematically illustrating an internal configuration of an image processing unit according to an embodiment of the present invention.

도 2를 참조하면, 인증 장치(120)는 수집부(210), 영상 처리부(220), 등록부(230), 저장부(240), 인증부(250) 및 제어부(260)를 포함하여 구성된다.Referring to FIG. 2, the authentication device 120 includes a collector 210, an image processor 220, a register 230, a storage 240, an authenticator 250, and a controller 260. .

수집부(210)는 각각의 카메라(120)로부터 객체를 촬상한 영상을 수집하는 기능을 수행한다. 예를 들어, 수집부(210)는 4대의 카메라로부터 각각 객체(즉, 사용자)를 촬상한 영상을 수집하여 영상 처리부(220)로 출력할 수 있다.The collector 210 collects images of the objects from the respective cameras 120. For example, the collector 210 may collect an image of an object (that is, a user) from four cameras and output the captured image to the image processor 220.

영상 처리부(220)는 수집부(210)를 통해 The image processor 220 through the collector 210

수집된 객체에 대한 각 영상을 분석하여 특징점을 추출하고, 각 영상을 프레임화하여 미리 설정된 m(m은 임의의 자연수)개의 블록으로 조각화한다. 이어, 영상 처리부(220)는 특징점을 포함하는 블록의 위치에 상응하여 특징점 추출 위치 정보를 생성한다. 본 명세서에서는 이해와 설명의 편의를 도모하기 위해 특징점을 포함하여 블록의 위치에 상응하여 생성된 특징점 추출 위치 정보를 블록별 특징점 추출 위치 정보라 칭하기로 한다.Each image of the collected object is analyzed to extract feature points, and each image is framed and fragmented into m (m is an arbitrary natural number) blocks. Subsequently, the image processor 220 generates the feature point extraction position information corresponding to the position of the block including the feature point. In the present specification, for convenience of understanding and description, the feature point extraction position information generated corresponding to the position of the block including the feature point will be referred to as feature point extraction position information for each block.

예를 들어, 영상 처리부(220)는 영상의 각 화소에 대한 색상 정보를 이용하여 영상에 포함된 객체에 대한 특징점을 추출하고, 추출된 특징점에 상응하는 블록별 특징점 위치 정보를 생성하는 기능을 수행한다.For example, the image processor 220 extracts a feature point of an object included in the image by using color information of each pixel of the image, and generates feature point position information for each block corresponding to the extracted feature point. do.

도 3에 영상 처리부(220)의 내부 구성이 도시되어 있다. 이하, 도 3을 참조하여 영상 처리부(220)의 각각의 기능에 대해 보다 상세히 설명하기로 한다.3 illustrates an internal configuration of the image processor 220. Hereinafter, each function of the image processor 220 will be described in more detail with reference to FIG. 3.

도 3을 참조하면, 영상 처리부(220) 는 추출부(310), 전처리부(320), 추출부(320) 및 후처리부(330)를 포함하여 구성된다.Referring to FIG. 3, the image processor 220 includes an extractor 310, a preprocessor 320, an extractor 320, and a post processor 330.

추출부(310)는 수집부(210)를 통해 수집된 복수의 영상을 각각 프레임 단위로분석하여 특징점을 추출하는 수단이다. 전술한 바와 같이, 복수의 카메라를 통해 영상이 획득될 수 있다. 여기서, 각 카메라를 통해 획득된 영상은 하나의 프레임으로 구성될 수도 있으며, 복수의 프레임으로 구성될 수도 있다. The extractor 310 is a means for extracting feature points by analyzing a plurality of images collected by the collector 210 in units of frames. As described above, an image may be acquired through a plurality of cameras. Here, the image acquired through each camera may be composed of one frame or may be composed of a plurality of frames.

예를 들어, 추출부(310)는 수집된 영상의 각 화소에 대한 색상정보(예를 들어, RGB값을 분석하여 객체에 대한 특징점을 추출할 수 있다. For example, the extractor 310 may extract the feature points of the object by analyzing color information (eg, RGB values) for each pixel of the collected image.

이해와 설명의 편의를 도모하기 위해 객체가 사람인 경우를 가정하여 설명하기로 한다. 추출부(310)는 수집된 영상의 각 화소에 대한 색상정보(즉, RGB값)가 기설정된 허용 범위(예를 들어, 임계치)가 아닌 경우 노이즈로 간주하여 제거함으로써 각 화소의 색상 정보를 이용하여 얼굴 영역을 추출할 수 있다. For convenience of understanding and explanation, it will be assumed that the object is a human. The extraction unit 310 uses color information of each pixel by removing the color information (that is, RGB value) of each pixel of the collected image as noise and removing it if it is not a preset allowable range (for example, threshold value). To extract the face region.

또한, 추출부(310)는 획득한 영상의 침식 및 팽창 과정을 통해 노이즈 제거를 위한 사전 작업을 수행할 수 있다. In addition, the extractor 310 may perform a preliminary operation for removing noise through erosion and expansion of the acquired image.

본 실시예에서 영상의 침식은 수집된 오리지널 영상을 미리 설정된 크기에 상응하도록 작게 변형하여 각 화소의 색상 정보(즉, RGB값)가 허용 범위에 포함되지 않은 영역을 제거하는 과정으로 정의하기로 한다.In the present embodiment, the erosion of the image is defined as a process of removing a region in which the color information (ie, RGB value) of each pixel is not included in the allowable range by transforming the collected original image to correspond to a preset size. .

또한, 본 실시예에서 영상의 팽창은 수집된 오리지널 영상을 미리 설정된 크기에 상응하여 크게 변형하여 각 화소의 색상 정보(즉, RGB값)가 허용 범위에 포함되지 않은 영역을 제거하는 과정으로 정의하기로 한다.In addition, in the present embodiment, expansion of an image is defined as a process of removing a region in which color information (ie, RGB value) of each pixel is not included in an allowable range by greatly modifying the collected original image corresponding to a preset size. Shall be.

이와 같이, 추출부(310)는 영상의 침식 및 팽창 과정을 반복 수행하여 각 화소의 색상 정보를 이용하여 특징점을 추출할 수 있다.As such, the extractor 310 may extract the feature point by using the color information of each pixel by repeatedly performing the erosion and expansion of the image.

또한, 추출부(310)는 영상 분석을 통한 특징점이 추출되면, 해당 영상을 그레이 영상(gray image)으로 변환할 수 있다. 이로 인해, 이후 영상의 연산에 대한 처리 속도를 높일 수 있는 이점이 있다.In addition, when the feature point is extracted through image analysis, the extractor 310 may convert the corresponding image into a gray image. Therefore, there is an advantage that can increase the processing speed for the operation of the image later.

일반적으로, 영상의 색상 정보를 이용하여 특징점을 추출하는 방법은 조명과 같은 주변 환경에 의한 영향을 많이 받는다. 그러나, 본 실시예에 따라 수집되는 영상은 객체에 대한 특정 범위에 대해 획득된 영상으로 배경등과 같은 주변 환경에 의한 특징점 추출에 영향을 미치지 않는다.In general, a method of extracting feature points using color information of an image is greatly influenced by a surrounding environment such as lighting. However, the image collected according to the present embodiment is an image obtained for a specific range of an object and does not affect feature point extraction by the surrounding environment such as a background.

본 실시예에서는 이해와 설명의 편의를 도모하기 위해 영상의 색상 정보(RGB값)을 이용하여 특징점을 추출하는 것을 가정하여 설명하였으나, 기공지된 다양한 방법(예를 들어, 실시간 이미지 프로세싱에 중점을 둔 라이브러리인 OpenCV(Open Computer Vision)에 포함된 메소드를 이용하여 특징점을 추출-여기서, OpenCV는 인텔사의 실시간 컴퓨터 영상 프로그램 라이브러리로서 얼굴인식뿐만 아니라 행동 인식이 가능한 라이브러리임)을 이용하여 영상에서 특징점을 추출할 수 있다.In the present embodiment, it is assumed that feature points are extracted using color information (RGB value) of an image for convenience of understanding and explanation. However, various methods (for example, focusing on real-time image processing) are described. Extract feature points using methods included in the open library OpenCV (Open Computer Vision), where OpenCV is an Intel real-time computer image program library that can recognize not only face recognition but also behavior recognition. Can be extracted.

전처리부(320)는 추출부(310)를 통해 특징점이 추출된 복수의 영상을 m(임의의 자연수)개의 블록으로 조각화하는 기능을 수행한다. 여기서, 블록의 크기는 영상을 분할하는 개수에 따라 상이해질 수 있음은 당연하다. The preprocessing unit 320 performs a function of fragmenting the plurality of images from which feature points are extracted by the extracting unit 310 into m (arbitrary natural numbers) blocks. In this case, the size of the block may vary depending on the number of divisions of the image.

보다 상세하게 전처리부(320)는 제1 카메라, 제2 카메라, 제3 카메라, 제4 카메라를 통해 각각 수집된 영상을 미리 설정된 크기의 블록 단위로 m개로 조각화 분할한다.In more detail, the preprocessing unit 320 fragments and splits the images collected through the first camera, the second camera, the third camera, and the fourth camera into m pieces of blocks having a predetermined size.

예를 들어, 각각의 카메라로부터 수집된 영상을 이해와 설명의 편의를 도모하기 위해 C1, C2, …, Cn이라 칭하기로 한다. 본 실시예에서는 영상이 하나의 프레임으로 구성된 것을 가정하여 설명하나 프레임이 복수인 경우, 전처리부(320)는 영상을 각 프레임별로 분류할 수 있음은 당연하다. 즉, 각 영상이 복수의 프레임으로 구성된 경우, 전처리부(320)는 각각의 영상을 프레임 단위로 각각 분류할 수 있다. 이해와 설명의 편의를 도모하기 위해 각 영상에 대해 프레임 단위로 각각 분류된 것을 각각

Figure 112010005444204-pat00001
,
Figure 112010005444204-pat00002
, …,
Figure 112010005444204-pat00003
이라 칭하기로 한다. 이어, 전처리부(320)는 각 프레임을 m개로 블록으로 조각하여 분할한다. 이에 따라,
Figure 112010005444204-pat00004
을 m개의 블록으로 조각하여 분할하면, 분할된 각 조각은
Figure 112010005444204-pat00005
,
Figure 112010005444204-pat00006
, …,
Figure 112010005444204-pat00007
으로 표현할 수 있다. 또한,
Figure 112010005444204-pat00008
를 m개의 블록으로 조각하여 분할하면, 분할된 각 블록은
Figure 112010005444204-pat00009
,
Figure 112010005444204-pat00010
, …,
Figure 112010005444204-pat00011
으로 표현할 수 있다.For example, in order to facilitate the understanding and explanation of the images collected from the respective cameras, C 1 , C 2 ,. It will be referred to as C n . In the present embodiment, it is assumed that the image is composed of one frame. However, when there are a plurality of frames, the preprocessor 320 may classify the image for each frame. That is, when each image is composed of a plurality of frames, the preprocessor 320 may classify each image in units of frames. In order to facilitate understanding and explanation, each image is classified by frame unit.
Figure 112010005444204-pat00001
,
Figure 112010005444204-pat00002
,… ,
Figure 112010005444204-pat00003
This will be called. Subsequently, the preprocessor 320 divides each frame into m blocks and divides the frames. Accordingly,
Figure 112010005444204-pat00004
If you divide by dividing into m blocks, each slice
Figure 112010005444204-pat00005
,
Figure 112010005444204-pat00006
,… ,
Figure 112010005444204-pat00007
It can be expressed as Also,
Figure 112010005444204-pat00008
Is divided into m blocks and each block is divided into
Figure 112010005444204-pat00009
,
Figure 112010005444204-pat00010
,… ,
Figure 112010005444204-pat00011
It can be expressed as

마찬가지로,

Figure 112010005444204-pat00012
을 m개의 블록으로 조각하여 분할하면, 분할된 각 블록은
Figure 112010005444204-pat00013
,
Figure 112010005444204-pat00014
, ...,
Figure 112010005444204-pat00015
으로 표현할 수 있다. Likewise,
Figure 112010005444204-pat00012
Is divided into m blocks and each block is divided into
Figure 112010005444204-pat00013
,
Figure 112010005444204-pat00014
, ...,
Figure 112010005444204-pat00015
It can be expressed as

본 명세서에서는 임의의 대상 프레임(

Figure 112010005444204-pat00016
)을 m개의 블록으로 조각하여 분할한 경우, 대상 블록을 대상 프레임 블록이라 칭하여 설명하기로 한다.In this specification, any target frame (
Figure 112010005444204-pat00016
) Is carved into m blocks, the target block will be described as a target frame block.

후처리부(330)는 추출부(310)를 통해 추출된 특징점의 위치를 이진화하는 기능을 수행한다.The post processor 330 binarizes the positions of the feature points extracted by the extractor 310.

즉, 후처리부(330)는 추출부(310)를 통해 특징점이 추출된 프레임 블록의 위치를 이진화하여 수치처리한다. 예를 들어, 후처리부(330)는 특징점이 추출된 프레임의 블록은 1로 이진화할 수 있다. 본 실시예에서는 특징점이 추출된 프레임의 블록만 이진화하여 저장하는 것을 가정하여 설명하기로 한다. That is, the post processor 330 binarizes the position of the frame block from which the feature point is extracted through the extractor 310 and performs numerical processing. For example, the post processor 330 may binarize the block of the frame from which the feature point is extracted to one. In this embodiment, it will be described on the assumption that only the blocks of the frames from which the feature points are extracted are binarized and stored.

예를 들어, 임의의 프레임의 첫번째 블록에 특징점이 포함된 경우, 20번째 비트에 이진화된 값을 저장하고, 2번째 블록에 특징점이 포함된 경우, 21번째 비트에 이진화된 값을 저장하며, n번째 블록에 특징점에 포함된 경우, 2n번째 비트에 이진화된 값을 저장할 수 있다.For example, if the first block of any frame contains a feature point, store the binarized value in the 2 0 th bit; if the second block contains the feature point, store the binarized value in the 2 1st bit; When the n th block is included in the feature point, the binarized value may be stored in the 2 n th bit.

추출된 특징점은 하나의 프레임의 복수의 블록(또는 조각)에 포함될 수 있으며, 후처리부(330)는 특징점을 포함하는 블록(또는 조각)에 상응하는 비트에 이진화된 값을 저장하여 수치화할 수 있다. 이와 같이하여, 본 발명의 실시예에서는 프레임의 어느 부분에서 특징점이 존재하였는지를 저장할 수 있게 된다.The extracted feature point may be included in a plurality of blocks (or pieces) of one frame, and the post processor 330 may digitize the binary value by storing a binary value in a bit corresponding to the block (or piece) including the feature point. . Thus, in the embodiment of the present invention, it is possible to store in which part of the frame the feature point exists.

후처리부(330)는 각 프레임 단위로 특징점이 추출된 블록의 위치를 이진화하는 기능을 수행할 수 있다. 이와 같이 각 프레임 단위로 추출된 특징점을 포함하는 블록의 위치를 이진화한 정보를 본 실시예서는 블록별 특징점 위치 정보라 통칭하여 설명하기로 한다.The post processor 330 may perform a function of binarizing the position of the block from which the feature point is extracted in each frame unit. As described above, the information obtained by binarizing the position of the block including the feature point extracted in each frame unit will be described collectively as the feature point position information for each block.

전술한 바와 같이, 영상 처리부(220)는 복수의 카메라를 통해 수집된 영상을 프레임 단위로 분류하고, 영상 분석을 통해 특징점을 추출하며, 각 프레임을 m개의 블록으로 분할하고, 추출된 특징점이 존재하는 블록 위치를 이진화할 수 있다. 여기서, 추출된 특징점이 존재하는 위치는 해당 프레임의 블록의 위치일 수 있다.As described above, the image processor 220 classifies the images collected by the plurality of cameras in units of frames, extracts feature points through image analysis, divides each frame into m blocks, and has the extracted feature points. The block position can be binarized. Here, the position where the extracted feature point exists may be the position of a block of the frame.

다시 도 2를 참조하면, 등록부(230)는 사용자를 등록하는 기능을 수행한다.Referring back to FIG. 2, the registration unit 230 performs a function of registering a user.

등록부(230)는 사용자 등록을 위해 카메라를 통해 사용자에 대해 영상을 획득하고, 이를 전술한 영상 처리부(220)를 통해 영상 처리하여 특징점을 추출하고, 특징점이 추출된 영상을 m개의 블록으로 분할한 후 해당 특징점이 포함된 블록의 위치를 이진화하여 데이터베이스에 저장하고 등록할 수 있다. 영상 처리부(220)를 통해 영상 처리하는 과정은 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.The registration unit 230 obtains an image of a user through a camera for user registration, extracts a feature point by processing the image through the image processor 220 described above, and divides the image from which the feature point is extracted into m blocks. After that, the location of the block containing the feature point can be binarized and stored in the database. Since the process of processing the image through the image processor 220 is the same as described above, overlapping description will be omitted.

또한, 등록부(230)는 사용자의 식별정보, 권한 등급 등을 입력받고, 이를 데이터베이스에 이진화된 특징점에 대한 정보(즉, 블록별 특징점 위치 정보)과 함께 매핑하여 저장할 수 있다.In addition, the registration unit 230 may receive the user's identification information, the authority level, and the like, and may map and store the information together with the information on the binary feature points (that is, the feature point position information for each block) in the database.

저장부(240)는 본 발명의 실시예에 따른 인증 장치(120)를 운용하기 위한 알고리즘이 저장된다.The storage unit 240 stores an algorithm for operating the authentication device 120 according to an embodiment of the present invention.

인증부(250)는 인증받을 객체(즉, 사용자)에 상응하는 블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보들을 비교하여 객체에 대해 인증을 수행한다.The authentication unit 250 performs authentication on the object by comparing the feature point location information for each block corresponding to the object to be authenticated (that is, the user) and the previously stored block feature point location information.

이때, 인증부(250)는 슬라이드 윈도우 방식으로 순차적으로 각 프레임의 블록에 대한 특징점 위치 정보를 기저장된 블록별 특징점 위치 정보와 비교함으로써 인증을 수행할 수 있다.In this case, the authentication unit 250 may perform authentication by sequentially comparing the feature point position information of the blocks of each frame with the previously stored feature point position information of each block in a slide window method.

인증부(250)는 블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보들을 순차적으로 비교하여 가장 높은 매칭을 갖는 블록별 특징점 위치 정보를 저장한다. 그리고, 인증부(250)는 가장 높은 매칭에 상응하는 블록별 특징점 위치 정보의 평균값이 기설정된 임계치를 초과하는 경우, 객체(즉, 사용자)에 대해 인증이 성공한 것으로 간주한다. The authentication unit 250 sequentially stores the feature point position information for each block and the feature point position information for each block, and stores the feature point position information for each block having the highest match. When the average value of the feature point location information for each block corresponding to the highest match exceeds a preset threshold, the authenticator 250 considers that authentication is successful for the object (ie, the user).

그러나 만일 가장 높은 매칭에 상응하는 특징점 추출 위치 정보의 평균값이 기설정된 임계치 미만인경우, 인증부(250)는 객체(즉, 사용자)에 대해 인증이 실패한 것으로 간주한다.However, if the average value of the feature extraction position information corresponding to the highest match is less than the predetermined threshold, the authentication unit 250 considers that the authentication (that is, the user) for the object has failed.

만일 인증 성공인 경우, 해당 객체(즉, 사용자)가 해당 구역을 출입(또는 접근)할 수 있도록 할 수 있다. 그러나 만일 인증 실패인 경우에는 해당 사용자가 해당 구역을 출입(또는 접근)하지 못하도록 할 수 있다.If authentication is successful, the object (ie user) can be allowed to enter (or access) the area. However, if authentication fails, the user can be prevented from entering (or accessing) the area.

제어부(260)는 본 발명의 실시예에 따른 인증 장치의 내부 구성들(예를 들어, 수집부(210), 영상 처리부(220), 등록부(230), 저장부(240), 인증부(250) 등)을 제어하는 기능을 수행한다.The controller 260 may be configured to include internal components of the authentication apparatus according to an exemplary embodiment of the present invention (eg, the collector 210, the image processor 220, the registerer 230, the storage 240, and the authenticator 250). ), Etc.).

또한, 제어부(260)는 인증부(250)의 사용자의 인증 결과에 따라 임의의 구역의 출입 또는 접근을 허가 또는 제한하도록 제어할 수 있다.
In addition, the controller 260 may control to permit or restrict access or access to an arbitrary area according to the authentication result of the user of the authenticator 250.

[도 4 설명][Description of Fig. 4]

도 4는 본 발명의 실시예에 따른 사용자 인증 방법을 나타낸 순서도이다. 4 is a flowchart illustrating a user authentication method according to an embodiment of the present invention.

이하에서 설명되는 각각의 단계는 인증 장치(120)의 각각의 내부 구성 요소에 의해 수행되나 이해와 설명의 편의를 도모하기 위해 인증 장치로 통칭하여 설명하기로 한다.Each step described below is performed by each internal component of the authentication device 120, but will be collectively described as an authentication device for the convenience of understanding and explanation.

단계 410에서 인증 장치(120)는 복수의 카메라로부터 사용자를 촬영한 영상을 수집한다. 본 실시예에서는 인증 장치(120)는 4대의 카메라를 통해 사용자에 대한 앞, 뒤, 좌, 우 영상을 수집할 수 있다. 여기서, 각 카메라를 통해 수집되는 영상은 복수의 프레임으로 구성된다.In operation 410, the authentication apparatus 120 collects images of the user photographed from the plurality of cameras. In the present embodiment, the authentication device 120 may collect the front, rear, left and right images of the user through four cameras. Here, the image collected by each camera is composed of a plurality of frames.

단계 415에서 인증 장치(120)는 수집된 복수의 영상을 프레임 단위로 분석하여 특징점을 추출한다. 여기서, 인증 장치(120)가 특징점을 추출하는 방법은 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.In operation 415, the authentication apparatus 120 extracts a feature point by analyzing the collected plurality of images in units of frames. Here, the method of extracting the feature point by the authentication device 120 is the same as described above, and thus redundant description will be omitted.

또한, 전술한 바와 같이, 인증 장치(120)는 수집된 복수의 영상에 대해 특징점을 추출한 후 이후 과정에서의 연산 처리 속도를 향상시키기 위해 영상을 그레이 영상으로 변환하여 이후 과정을 수행할 수도 있다.단계 420에서 인증 장치(120)는 복수의 영상을 m개의 블록(조각)으로 분할한다. 여기서, m은 전술한 바와 같이 임의의 자연수이다. 본 실시예에서는 m이 9인 것을 가정하여 설명하기로 한다.In addition, as described above, the authentication apparatus 120 may extract a feature point for the plurality of collected images, and then convert the image into a gray image to perform a subsequent process in order to improve the processing speed in the subsequent process. In operation 420, the authentication apparatus 120 divides the plurality of images into m blocks (pieces). Where m is any natural number as described above. In the present embodiment, it is assumed that m is 9.

단계 425에서 인증 장치(120)는 대상 프레임에 대해 추출된 특징점을 포함하는 블록의 위치를 이진화하여 프레임에 대한 블록별 특징점 위치 정보를 생성할 수 있다.In operation 425, the authentication apparatus 120 may generate block-specific feature point position information for the frame by binarizing the position of the block including the feature point extracted for the target frame.

즉, 인증 장치(120)는 대상 프레임에서 특징점을 포함하는 블록의 위치에 따라 블록의 위치에 상응하는 비트의 비트값을 1로 이진화하여 대상 프레임에 대한 블록별 특징점 위치 정보를 생성할 수 있다.That is, the authentication device 120 may generate block-specific feature point position information for the target frame by binarizing a bit value of a bit corresponding to the position of the block to 1 according to the position of the block including the feature point in the target frame.

예를 들어, 대상 프레임의 첫번째 블록이 특징점을 포함하는 경우, 첫번째 블록의위치에 상응하여 제1 비트의 비트값(즉, 20비트의 비트값)을 1로 설정하고, 대상 프레임의 두번째 블록이 특징점을 포함하는 경우, 제2 비트의 비트값(21비트의 비트값)을 1로 설정할 수 있다. 이와 같은 방식으로 인증 장치(120)는 대상 프레임에서 특징점을 포함하는 복수의 블록에 대해 블록의 위치에 따른 비트의 비트값을 1로 설정하여 프레임에 대한 블록별 특징점 위치 정보를 출력할 수 있다.For example, when the first block of the target frame includes a feature point, the bit value of the first bit (that is, the bit value of 2 0 bits) is set to 1 corresponding to the position of the first block, and the second block of the target frame. When this feature point is included, the bit value (bit value of 2 1 bits) of the second bit can be set to one. In this manner, the authentication device 120 may output the feature point position information for each frame of the frame by setting the bit value of the bit according to the position of the block to 1 for a plurality of blocks including the feature point in the target frame.

블록별 특징점 위치 정보의 전체 비트는 블록의 개수와 동일하게 설정될 수 있다. 예를 들어, 대상 프레임이 9개의 블록으로 분할된 경우, 블록별 특징점 위치 정보는 9비트로 설정되고, 대상 프레임이 12개의 블록으로 분할된 경우, 블록별 특징점 위치 정보는 12비트로 설정될 수 있다.All bits of the feature point position information for each block may be set equal to the number of blocks. For example, when the target frame is divided into nine blocks, the feature point position information for each block may be set to 9 bits, and when the target frame is divided into 12 blocks, the feature point position information for each block may be set to 12 bits.

예를 들어, 대상 프레임이 9개의 블록으로 분할되어 있으며, 제1 블록, 제3 블록, 제5 블록이 특징점을 포함하고 있다고 가정하자. 이와 같은 경우, 하나의 프레임에 대한 블록별 특징점 위치 정보는 00010101과 같이 생성될 수 있다.For example, assume that the target frame is divided into nine blocks, and the first block, the third block, and the fifth block include feature points. In this case, block-specific feature point position information for one frame may be generated as shown in 00010101.

단계 430에서 인증 장치(120)는 블록별 특징점 위치 정보를 기저장된 블록별 특징점 위치 정보들과 비교하여 매칭 정도가 가장 높은 블록별 특징점 위치 정보를 임시 저장한다. 본 실시예에서는 매칭 정도가 가장 높은 블록별 특징점 위치 정보를 임시 저장하는 것을 가정하여 설명하나 구현 방법에 따라 해당 블록별 특징점 위치 정보를 선택하도록 할 수도 있음은 당연하다.In operation 430, the authentication apparatus 120 temporarily stores the feature point position information for each block having the highest matching degree by comparing the feature point position information for each block with previously stored feature point position information for each block. In the present embodiment, the description will be based on the assumption that the feature point location information for each block having the highest matching degree is temporarily stored.

단계 435에서 인증 장치(120)는 임시 저장된 블록별 특징점 위치 정보에 대한 평균값을 산출한다.In operation 435, the authentication apparatus 120 calculates an average value of the feature point location information for each temporarily stored block.

단계 440에서 인증 장치(120)는 산출된 평균값이 미리 설정된 임계치를 초과하는지 여부를 판단한다.In operation 440, the authentication apparatus 120 determines whether the calculated average value exceeds a preset threshold.

만일 산출된 평균값이 설정된 임계치를 초과하는 경우, 단계 445에서 인증 장치(120)는 해당 사용자에 대해 인증 성공으로 결정한다. 이에 따라 인증 장치(120)는 해당 사용자에 대해 해당 구역의 출입 또는 접근이 허용되도록 제어할 수 있다.If the calculated average value exceeds the set threshold, in step 445, the authentication device 120 determines that authentication is successful for the user. Accordingly, the authentication device 120 may control to allow access or access of the area to the user.

즉, 인증이 성공한 경우, 인증 장치(120)는 사용자에 대한 권한 정보(예를 들어, 출입 등급, 접근 권한 정보 등)을 추출하고, 이에 따라 사용자의 권한이 출입 또는 접근 가능한 경우 해당 구역의 출입 또는 접근이 가능하도록 제어할 수 있다. 만일 사용자의 권한이 출입 또는 접근 불가능한 경우, 인증 장치(120)는 미리 설정된 안내 메시지(예를 들어, 출입 불가능 지역입니다 또는 접근 불가능 지역입니다)를 추출하여 출력할 수 있다.That is, if authentication is successful, the authentication device 120 extracts authority information (for example, access level, access authority information, etc.) for the user, and accordingly, if the authority of the user is accessible or accessible, the access of the corresponding area is performed. Or it can be controlled to be accessible. If the user's authority is inaccessible or inaccessible, the authentication device 120 may extract and output a preset guidance message (eg, an inaccessible area or an inaccessible area).

그러나 만일 산출된 평균값이 설정된 임계치 미만이면, 단계 450에서 인증 장치(120)는 해당 사용자에 대해 인증 실패로 결정한다. 이에 따라 인증 장치(120)는 해당 사용자에 대해 해당 구역의 출입 또는 접근이 제한되도록 제어할 수 있다.
However, if the calculated average value is less than the set threshold, the authentication device 120 determines that authentication fails for the user in step 450. Accordingly, the authentication device 120 may control the access or access of the area to the user is restricted.

[도 5 설명][Description of Fig. 5]

도 5는 본 발명의 실시예에 따른 인증 장치에서 블록별 특징점 위치 정보를 비교하는 과정을 설명하기 위해 도시한 도면이다.5 is a diagram illustrating a process of comparing feature point position information for each block in the authentication apparatus according to an exemplary embodiment of the present invention.

도 5에 도시된 바와 같이, 각 사용자에 대해 등록 과정에서 복수의 카메라를 통해 촬영된 영상을 수집하여 특징점을 추출하고, 해당 각 영상을 m개의 블록으로 분할한 후 추출된 특징점이 포함된 블록의 위치에 상응하여 블록별 특징점 위치 정보를 데이터베이스에 등록할 수 있다.As shown in FIG. 5, a feature point is extracted by collecting images photographed through a plurality of cameras in a registration process for each user, and each of the images is divided into m blocks, Block-specific feature position information may be registered in a database corresponding to the position.

이해와 설명의 편의를 도모하기 위해 복수의 사용자에 대해 데이터베이스에 등록된 영상의 각 프레임을

Figure 112010005444204-pat00017
라 칭하기로 하자.
Figure 112010005444204-pat00018
프레임을 m개의 블록으로 분할한 후 각 블록은
Figure 112010005444204-pat00019
이라 칭하기로 하자. 도 5에 도시된 바와 같이, 각 사용자별 블록별 특징점 위치 정보가 각각 저장되어 있다. 여기서, 블록별 특징점 위치 정보는 전술한 바와 같이 이진화된 정보일 수 있다.For the convenience of understanding and explanation, each frame of the image registered in the database for a plurality of users
Figure 112010005444204-pat00017
Let's call it.
Figure 112010005444204-pat00018
After dividing the frame into m blocks, each block
Figure 112010005444204-pat00019
Let's call it. As shown in FIG. 5, feature point location information of each user block is stored. Here, the feature point position information for each block may be binarized information as described above.

인증할 사용자에 대해 카메라를 통해 수집된 영상의 임의의 프레임을

Figure 112010005444204-pat00020
라 칭하기로 하며, 이를 m개의 블록으로 분할한 임의의 조각을
Figure 112010005444204-pat00021
라 칭하기로 하자.Random frames of video collected by the camera for the user to be authenticated
Figure 112010005444204-pat00020
Let's call it an arbitrary piece that is divided into m blocks
Figure 112010005444204-pat00021
Let's call it.

이해와 설명의 편의를 도모하기 위해 각 프레임을 9개로 분할한 것을 가정하여 설명하기로 하자.For convenience of explanation and explanation, it is assumed that each frame is divided into nine parts.

이와 같은 경우, 인증 장치는 데이터베이스에 저장된 모든 사용자에 대한 블록별 특징점 위치 정보들을 순차적으로 1비트 단위씩 이동하면서 인증할 사용자에 대해 생성된 블록별 특징점 위치 정보를 비교하여 인증을 수행할 수 있다.
In this case, the authentication apparatus may perform authentication by comparing block-specific feature point position information generated for a user to be authenticated while sequentially moving block-specific feature point position information of all users stored in a database by 1 bit unit.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.

Claims (20)

인증 장치에서 사용자에 대해 인증하는 방법에 있어서,
(a) 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하는 단계;
(b) 상기 획득된 복수의 영상을 분석하여 특징점을 각각 추출하는 단계;
(c) 상기 영상을 m(임의의 자연수)개의 블록으로 각각 분할하는 단계;
(d) 상기 추출된 특징점을 포함하는 각 영상의 블록 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 단계-상기 블록별 특징점 위치 정보는 상기 영상의 분할된 블록의 수에 따른 비트 수임-; 및
(e) 상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 단계를 포함하는 사용자 인증 방법.
In a method for authenticating a user in an authentication device,
(a) acquiring a plurality of images photographing a user through a plurality of cameras;
(b) extracting feature points by analyzing the obtained plurality of images;
(c) dividing the image into m (random natural numbers) blocks, respectively;
(d) generating feature point position information for each block by binarizing block positions of each image including the extracted feature points, wherein the feature point position information for each block is the number of bits according to the number of divided blocks of the image; And
(e) comparing the feature point position information for each block and the feature point position information for each block, and performing authentication for the user.
제1 항에 있어서,
상기 카메라는 상기 사용자를 앞, 뒤, 좌, 우에서 촬영할 수 있도록 배치되는 것을 특징으로 하는 사용자 인증 방법.
The method according to claim 1,
The camera is a user authentication method, characterized in that arranged to be photographed from the front, back, left, right.
제2 항에 있어서,
상기 (a) 단계는,
상기 사용자에 대해 앞, 뒤, 좌, 우 영상을 획득하는 단계인 것을 특징으로 하는 사용자 인증 방법.
The method of claim 2,
In step (a),
And acquiring a front, back, left, and right image of the user.
제1 항에 있어서,
상기 (b) 단계는,
상기 영상의 침식 및 팽창 과정을 통한 각 화소의 색상 정보를 이용하여 상기 영상에 대한 특징점을 추출하는 사용자 인증 방법.
The method according to claim 1,
In step (b),
And extracting a feature point of the image using color information of each pixel through erosion and expansion of the image.
삭제delete 제1 항에 있어서,
상기 (d) 단계는,
상기 영상에서 상기 특징점을 포함하는 블록의 위치에 상응하는 비트의 비트값을 1로 설정하는 단계인 것을 특징으로 하는 사용자 인증 방법.
The method according to claim 1,
In step (d),
And setting a bit value of a bit corresponding to a position of a block including the feature point to 1 in the image.
제1 항에 있어서,
상기 (c) 단계 이전에,
상기 영상을 그레이 영상으로 변환하는 단계를 더 포함하는 사용자 인증 방법.
The method according to claim 1,
Before step (c),
And converting the image into a gray image.
제1 항에 있어서,
상기 (e) 단계는,
상기 블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보들을 순차적으로 비교하여 매칭 정도가 가장 높은 프레임의 특징점 추출 위치 정보를 선택하는 단계;
상기 선택된 블록별 특징점 위치 정보의 평균값을 산출하는 단계; 및
상기 평균값이 미리 설정된 임계치를 초과하는 경우, 상기 사용자에 대해 인증 성공으로 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.
The method according to claim 1,
In step (e),
Selecting feature point extraction position information of a frame having the highest matching degree by sequentially comparing the feature point position information for each block and prestored feature point position information for each block;
Calculating an average value of the feature point position information for each selected block; And
And determining the successful authentication for the user when the average value exceeds a preset threshold.
제8 항에 있어서,
상기 평균값이 미리 설정된 임계치 미만인 경우, 상기 사용자에 대해 인증 실패로 결정하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인증 방법.
The method of claim 8,
If the average value is less than a preset threshold, determining that the authentication failed for the user.
복수의 카메라와 연결되어 사용자에 대해 인증하는 인증 장치에 있어서,
복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하여 수집하는 수집부;
상기 수집된 복수의 영상을 프레임 단위로 분석하여 특징점을 추출하고, 상기 복수의 영상을 m(자연수)개의 블록으로 분할하여 상기 추출된 특징점이 포함된 블록의 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 영상 처리부-상기 블록별 특징점 위치 정보는 상기 영상의 분할된 블록의 수에 따른 비트 수임-; 및
상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 인증부를 포함하는 인증 장치.
An authentication device connected to a plurality of cameras to authenticate a user,
A collector configured to acquire and collect a plurality of images photographing the user through a plurality of cameras;
Feature points are extracted by analyzing the collected plurality of images on a frame-by-frame basis, the plurality of images are divided into m (natural numbers) blocks, and the position of the block including the extracted feature points is binarized to obtain feature point position information for each block. An image processing unit to generate, wherein the feature point position information for each block is a number of bits according to the number of divided blocks of the image; And
And an authentication unit configured to compare the feature point position information for each block and the feature point position information for each block to perform authentication for the user.
제10 항에 있어서,
상기 카메라는 상기 사용자를 앞, 뒤, 좌, 우에서 촬영할 수 있도록 배치되는 것을 특징으로 하는 인증 장치.
The method of claim 10,
And the camera is arranged to photograph the user from the front, the back, the left and the right.
제11 항에 있어서,
상기 수집부는, 상기 사용자에 대해 앞, 뒤, 좌, 우 영상을 획득하여 수집하는 것을 특징으로 하는 인증 장치.
The method of claim 11, wherein
The collection unit, the authentication device, characterized in that to obtain and collect the front, back, left, right images for the user.
제10 항에 있어서,
상기 영상 처리부는,
상기 복수의 영상을 각 프레임 단위로 분석하는 추출부;
상기 복수의 영상을 프레임 단위로 상기 m개의 블록으로 각각 분할하는 전처리부; 및
각 프레임 단위로 상기 추출된 특징점을 포함하는 블록의 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 후처리부를 포함하는 것을 특징으로 하는 인증 장치.
The method of claim 10,
Wherein the image processing unit comprises:
An extraction unit for analyzing the plurality of images in units of frames;
A preprocessor dividing the plurality of images into the m blocks on a frame basis; And
And a post-processing unit for generating the feature point position information for each block by binarizing the position of the block including the extracted feature point in each frame unit.
제13 항에 있어서,
상기 추출부는 상기 특징점 추출 이후에 상기 영상을 그레이 영상으로 변환하는 것을 특징으로 하는 인증 장치.
The method of claim 13,
And the extractor converts the image into a gray image after the feature point extraction.
제13 항에 있어서,
상기 추출부는 상기 영상의 침식 및 팽창 과정을 통해 각 화소의 색상 정보를 이용하여 특징점을 추출하는 것을 특징으로 하는 인증 장치.
The method of claim 13,
The extractor extracts a feature point by using color information of each pixel through erosion and expansion of the image.
삭제delete 제13 항에 있어서,
상기 후처리부는,
대상 프레임에서 상기 특징점을 포함하는 블록의 위치에 상응하는 비트의 비트값을 1로 설정하는 것을 특징으로 하는 인증 장치.
The method of claim 13,
The post-processing unit,
And a bit value of a bit corresponding to the position of the block including the feature point in the target frame is set to one.
제10 항에 있어서,
상기 인증부는,
블록별 특징점 위치 정보와 기저장된 블록별 특징점 위치 정보들을 순차적으로 비교하여 매칭 정도가 높은 프레임의 블록별 특징점 위치 정보를 임시 저장하고, 상기 임시 저장된 블록별 특징점 위치 정보의 평균값을 산출하며, 상기 평균값이 미리 설정된 임계치를 초과하는 경우, 상기 사용자에 대해 인증 성공으로 결정하는 것을 특징으로 하는 인증 장치.
The method of claim 10,
The authentication unit,
By sequentially comparing the feature point location information of each block with the previously stored feature point location information of each block, temporarily storing the feature point location information of each block of a frame having a high matching degree, calculating an average value of the feature point location information of each temporarily stored block, and the average value. And if the predetermined threshold is exceeded, determining that the authentication succeeds for the user.
제18 항에 있어서,
상기 인증부는,
상기 평균값이 미리 설정된 임계치 미만인 경우, 상기 사용자에 대해 인증 실패로 결정하는 것을 특징으로 하는 인증 장치.
The method of claim 18,
The authentication unit,
And determine the authentication failure for the user when the average value is less than a preset threshold.
사용자 인증을 위한 방법을 수행하기 위해 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체에 있어서,
(a) 복수의 카메라를 통해 사용자를 촬영한 복수의 영상을 획득하는 단계;
(b) 상기 획득된 복수의 영상을 분석하여 특징점을 각각 추출하는 단계;
(c) 상기 영상을 m(임의의 자연수)개의 블록으로 각각 분할하는 단계;
(d) 상기 추출된 특징점을 포함하는 각 영상의 블록 위치를 이진화하여 블록별 특징점 위치 정보를 생성하는 단계-상기 블록별 특징점 위치 정보는 상기 영상의 분할된 블록의 수에 따른 비트 수임-; 및
(e) 상기 블록별 특징점 위치 정보 및 기저장된 블록별 특징점 위치 정보들을 비교하여 상기 사용자에 대해 인증을 수행하는 단계를 실행하는 프로그램을 기록한 기록매체.

In the recording medium recording a program that can be read by the digital processing device is implemented programmatically implemented by the digital processing device to perform a method for user authentication,
(a) acquiring a plurality of images photographing a user through a plurality of cameras;
(b) extracting feature points by analyzing the obtained plurality of images;
(c) dividing the image into m (random natural numbers) blocks, respectively;
(d) generating feature point position information for each block by binarizing block positions of each image including the extracted feature points, wherein the feature point position information for each block is the number of bits according to the number of divided blocks of the image; And
(e) a recording medium for recording a program executing the step of performing authentication for the user by comparing the feature point position information for each block and prestored feature point position information for each block.

KR1020100007143A 2010-01-26 2010-01-26 Method and apparatus for user authentication using image KR101083367B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100007143A KR101083367B1 (en) 2010-01-26 2010-01-26 Method and apparatus for user authentication using image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100007143A KR101083367B1 (en) 2010-01-26 2010-01-26 Method and apparatus for user authentication using image

Publications (2)

Publication Number Publication Date
KR20110087634A KR20110087634A (en) 2011-08-03
KR101083367B1 true KR101083367B1 (en) 2011-11-14

Family

ID=44926351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100007143A KR101083367B1 (en) 2010-01-26 2010-01-26 Method and apparatus for user authentication using image

Country Status (1)

Country Link
KR (1) KR101083367B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331799A (en) * 2000-03-16 2001-11-30 Toshiba Corp Image processor and image processing method
JP2008197904A (en) * 2007-02-13 2008-08-28 Toshiba Corp Person retrieving device and person retrieving method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331799A (en) * 2000-03-16 2001-11-30 Toshiba Corp Image processor and image processing method
JP2008197904A (en) * 2007-02-13 2008-08-28 Toshiba Corp Person retrieving device and person retrieving method

Also Published As

Publication number Publication date
KR20110087634A (en) 2011-08-03

Similar Documents

Publication Publication Date Title
US9672406B2 (en) Touchless fingerprinting acquisition and processing application for mobile devices
CN109948408B (en) Activity test method and apparatus
CN106599772B (en) Living body verification method and device and identity authentication method and device
Stein et al. Fingerphoto recognition with smartphone cameras
KR102466997B1 (en) Liveness test method and apparatus
US8582833B2 (en) Method and apparatus for detecting forged face using infrared image
CN108563990B (en) Certificate authentication method and system based on CIS image acquisition system
WO2019033572A1 (en) Method for detecting whether face is blocked, device and storage medium
WO2018192448A1 (en) People-credentials comparison authentication method, system and camera
KR20040059313A (en) Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image
JP2009540403A (en) Person identification method and photographing apparatus
KR100824757B1 (en) Gait recognition method
KR101724971B1 (en) System for recognizing face using wide angle camera and method for recognizing face thereof
CN111079816A (en) Image auditing method and device and server
CN113642639B (en) Living body detection method, living body detection device, living body detection equipment and storage medium
CN106991448A (en) A kind of portrait compares processing method
KR100347058B1 (en) Method for photographing and recognizing a face
CN114387548A (en) Video and liveness detection method, system, device, storage medium and program product
KR20150069799A (en) Method for certifying face and apparatus thereof
JP2005259049A (en) Face collation device
CN112183167A (en) Attendance checking method, authentication method, living body detection method, device and equipment
JP7269897B2 (en) Data registration device, biometric authentication device, and data registration program
CN108875472B (en) Image acquisition device and face identity verification method based on image acquisition device
WO2023028947A1 (en) Palm vein non-contact three-dimensional modeling method and apparatus, and authentication method
KR101083367B1 (en) Method and apparatus for user authentication using image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee