KR102406363B1 - Apparatus and method for measuring security strength of lock pattern based on deep learning - Google Patents
Apparatus and method for measuring security strength of lock pattern based on deep learning Download PDFInfo
- Publication number
- KR102406363B1 KR102406363B1 KR1020210016948A KR20210016948A KR102406363B1 KR 102406363 B1 KR102406363 B1 KR 102406363B1 KR 1020210016948 A KR1020210016948 A KR 1020210016948A KR 20210016948 A KR20210016948 A KR 20210016948A KR 102406363 B1 KR102406363 B1 KR 102406363B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- safety
- safety measurement
- lock
- locking
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치 및 방법은, 잠금 패턴의 수치적 특징뿐만 아니라 인간의 시각적 인식을 반영하는 잠금 패턴의 시각적 특징을 이용하여 잠금 패턴의 안전성을 측정함으로써, 숄더 서핑 공격(shoulder-surfing attack)에 대한 잠금 패턴의 안전성을 보다 정확하게 측정할 수 있다.A deep learning-based locking pattern safety measuring apparatus and method according to a preferred embodiment of the present invention measures the safety of a locking pattern by using not only the numerical features of the locking pattern but also the visual features of the locking pattern that reflects human visual perception. , it is possible to measure the safety of the lock pattern against shoulder-surfing attack more accurately.
Description
본 발명은 딥러닝 기반 잠금 패턴 안전성 측정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 잠금 패턴의 안전성을 측정하는, 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for measuring the security of a lock pattern based on deep learning, and more particularly, to an apparatus and method for measuring the safety of a lock pattern.
스마트폰 잠금 패턴의 안전성을 측정하기 위해 다양한 방법이 제시되고 있다. 하지만, 기존의 측정 방법의 기준들은 모두 경험적으로(heuristic) 수립되었기 때문에 잠금 패턴의 안전성에 영향을 주는 일부 특징들을 반영하지 못하는 문제가 있다.Various methods have been proposed to measure the safety of the smartphone lock pattern. However, there is a problem in that some characteristics affecting the safety of the locking pattern cannot be reflected because all of the standards of the existing measurement methods are heuristically established.
숄더 서핑 공격(shoulder-surfing attack)은 잠금 패턴을 보고 외우는 과정을 거치므로 이러한 공격에 대한 안전성에 영향을 주는 특징들은 인간의 시각적 인식과 관련이 있으나, 기존의 측정 기준은 잠금 패턴에서 직접 추출 가능한 수치적 특징들만 활용하고 있고, 잠재적으로 표현되는 인간의 시각적 인식과 관련된 특징을 반영하지 않고 있다.Because shoulder-surfing attacks go through the process of seeing and memorizing the locking pattern, the features that affect the safety of these attacks are related to human visual perception, but the existing measurement standards can be extracted directly from the locking pattern. Only numerical features are used, and the potentially expressed features related to human visual perception are not reflected.
또한, 기존의 측정 방법은 특징들의 가중치를 인간의 관점과는 다르게 설정하고, 결과적으로 인간의 기준에서 더 복잡하고 어려운 패턴을 더 단순하고 쉬운 패턴으로 측정하는 비일관성의 오류가 발생되는 문제가 있다.In addition, the existing measurement method sets the weight of features differently from the human point of view, and as a result, there is a problem in that an error of inconsistency occurs in measuring a more complex and difficult pattern in a human standard as a simpler and easier pattern. .
본 발명이 이루고자 하는 목적은, 잠금 패턴의 수치적 특징뿐만 아니라 인간의 시각적 인식을 반영하는 잠금 패턴의 시각적 특징을 이용하여 잠금 패턴의 안전성을 측정하는, 딥러닝 기반 잠금 패턴 안전성 측정 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide a device and method for measuring the safety of a locking pattern based on deep learning, which measures the safety of a locking pattern by using not only the numerical features of the locking pattern but also the visual features of the locking pattern that reflects human visual perception. is to provide
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치는, 합성곱 신경망(Convolutional neural network, CNN)으로 이루어지며, 학습 데이터 세트를 구성하는 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 안전성 측정 네트워크를 학습하는 학습부; 및 안전성 측정 대상인 잠금 패턴을 상기 안전성 측정 네트워크에 입력하고, 상기 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정하는 안전성 측정부;를 포함한다.A deep learning-based locking pattern safety measuring apparatus according to a preferred embodiment of the present invention for achieving the above object is made of a convolutional neural network (CNN), and numerical values of locking patterns constituting a learning data set a learning unit for learning a safety measurement network that acquires the complexity of a locking pattern based on features and visual features; and a safety measurement unit that inputs a lock pattern, which is a safety measurement target, to the safety measurement network, and measures the safety of a safety measurement target lock pattern based on an output of the safety measurement network.
여기서, 상기 학습부는, 잠금 패턴의 수치적 특징을 추출하고, 상기 안전성 측정 네트워크의 합성곱 레이어(convolution layer)를 이용하여 잠금 패턴의 시각적 특징을 추출하는 특징 추출 모듈; 및 상기 안전성 측정 네트워크의 완전 연결 레이어(fully connected layer)를 이용하여 상기 특징 추출 모듈을 통해 추출된 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 선형 회귀 분석 모듈;을 포함할 수 있다.Here, the learning unit may include: a feature extraction module for extracting numerical features of the locking pattern and extracting visual features of the locking pattern using a convolution layer of the safety measurement network; and a linear regression analysis module for acquiring the complexity of the locking pattern based on the numerical and visual features of the locking pattern extracted through the feature extraction module using a fully connected layer of the safety measurement network. may include
여기서, 상기 합성곱 레이어의 가중치 및 상기 완전 연결 레이어의 가중치는, 상기 학습 데이터 세트를 이용한 학습 과정에서, 상기 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정될 수 있다.Here, the weight of the convolutional layer and the weight of the fully connected layer may be adjusted using a ground-truth label corresponding to the training data set in a learning process using the training data set.
여기서, 상기 학습 데이터 세트는, 조합 가능한 모든 잠금 패턴 각각에서 추출된 수치적 특징을 기반으로 조합 가능한 모든 잠금 패턴을 미리 설정된 유사 판단 기준에 따라 군집화(clustering)하고, 각 군집 마다 중심점(centroid)에 대응하는 잠금 패턴을 획득하며, 군집 각각에서 획득한 잠금 패턴으로 구성될 수 있다.Here, the training data set clusters all combinable lock patterns based on numerical features extracted from each of all combinable lock patterns according to a preset similarity determination criterion, and is located at a centroid for each cluster. A corresponding locking pattern is obtained, and may be configured with a locking pattern obtained from each cluster.
여기서, 상기 그라운드 트루스 레이블은, 실제 사용자를 대상으로 하는 설문을 통해, 상기 학습 데이터 세트를 구성하는 잠금 패턴 각각에 대해 획득될 수 있다.Here, the ground truth label may be obtained for each lock pattern constituting the learning data set through a questionnaire targeting real users.
여기서, 상기 설문은, 하나의 잠금 패턴에 대해, 답변 가능한 복잡도의 범위가 서로 동일한 복수개의 질문 항목으로 이루어지며, 하나의 잠금 패턴에 대한 상기 그라운드 트루스 레이블은, 상기 복수개의 질문 항목 각각에 대해 사용자가 답변한 복잡도를 기반으로 획득될 수 있다.Here, the questionnaire consists of a plurality of question items having the same range of complexity to answer for one lock pattern, and the ground truth label for one lock pattern is It can be obtained based on the complexity answered by .
여기서, 하나의 잠금 패턴에 대한 상기 그라운드 트루스 레이블은, 수학식 
여기서, 상기 잠금 패턴은, 이미지 형태로 이루어질 수 있다.Here, the lock pattern may be in the form of an image.
여기서, 상기 수치적 특징은, 방향(direction), 교차점(crosspoints), 선의 겹침(overlaps), 각도(angles), 회전(turns), 마코프(markov) 확률, 반복된 하위 패턴(subpatterns) 중 적어도 하나일 수 있다.Here, the numerical characteristic is at least one of a direction, crosspoints, overlaps of lines, angles, turns, markov probability, and repeated subpatterns. can be
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 방법은, 합성곱 신경망(Convolutional neural network, CNN)으로 이루어지며, 학습 데이터 세트를 구성하는 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 안전성 측정 네트워크를 학습하는 단계; 및 안전성 측정 대상인 잠금 패턴을 상기 안전성 측정 네트워크에 입력하고, 상기 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정하는 단계;를 포함한다.To achieve the above object, a deep learning-based locking pattern safety measurement method according to a preferred embodiment of the present invention is composed of a convolutional neural network (CNN), and numerical values of locking patterns constituting a learning data set Learning a safety measurement network to obtain the complexity of the lock pattern based on the features and visual features; and inputting a locking pattern, which is a safety measurement target, into the safety measurement network, and measuring the safety of a safety measurement target locking pattern based on an output of the safety measurement network.
여기서, 상기 학습 단계는, 잠금 패턴의 수치적 특징을 추출하고, 상기 안전성 측정 네트워크의 합성곱 레이어(convolution layer)를 이용하여 잠금 패턴의 시각적 특징을 추출하는 단계; 및 상기 안전성 측정 네트워크의 완전 연결 레이어(fully connected layer)를 이용하여 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 단계;를 포함할 수 있다.Here, the learning step may include: extracting the numerical features of the locking pattern, and extracting the visual features of the locking pattern by using a convolution layer of the safety measurement network; and obtaining the complexity of the locking pattern based on numerical and visual features of the locking pattern using a fully connected layer of the safety measurement network.
여기서, 상기 합성곱 레이어의 가중치 및 상기 완전 연결 레이어의 가중치는, 상기 학습 데이터 세트를 이용한 학습 과정에서, 상기 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정될 수 있다.Here, the weight of the convolutional layer and the weight of the fully connected layer may be adjusted using a ground-truth label corresponding to the training data set in a learning process using the training data set.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 딥러닝 기반 잠금 패턴 안전성 측정 방법 중 어느 하나를 컴퓨터에서 실행시킨다.A computer program according to a preferred embodiment of the present invention for achieving the above technical problem is stored in a computer-readable recording medium, and any one of the deep learning-based lock pattern safety measurement methods described above is executed on the computer.
본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치 및 방법에 의하면, 잠금 패턴의 수치적 특징뿐만 아니라 인간의 시각적 인식을 반영하는 잠금 패턴의 시각적 특징을 이용하여 잠금 패턴의 안전성을 측정함으로써, 숄더 서핑 공격(shoulder-surfing attack)에 대한 잠금 패턴의 안전성을 보다 정확하게 측정할 수 있다.According to the deep learning-based locking pattern safety measuring apparatus and method according to a preferred embodiment of the present invention, the safety of the locking pattern is measured using not only the numerical features of the locking pattern but also the visual features of the locking pattern that reflects human visual perception. By doing so, it is possible to more accurately measure the safety of the locking pattern against a shoulder-surfing attack.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치를 설명하기 위한 블록도이다.
도 2는 도 1에 도시한 학습부의 세부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 안전성 측정 네트워크의 학습 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 방법을 설명하기 위한 흐름도이다.
도 5는 도 4에 도시한 안전성 측정 네트워크 학습 단계의 세부 단계를 설명하기 위한 흐름도이다.1 is a block diagram for explaining a deep learning-based locking pattern safety measurement device according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of the learning unit shown in FIG. 1 .
3 is a diagram for explaining a learning process of a safety measurement network according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a deep learning-based lock pattern safety measurement method according to a preferred embodiment of the present invention.
5 is a flowchart for explaining the detailed steps of the safety measurement network learning step shown in FIG. 4 .
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments make the publication of the present invention complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.In the present specification, terms such as “first” and “second” are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In the present specification, identification symbols (eg, a, b, c, etc.) in each step are used for convenience of description, and identification symbols do not describe the order of each step, and each step is clearly Unless a specific order is specified, the order may differ from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this specification, expressions such as “have”, “may have”, “include” or “may include” indicate the existence of a corresponding feature (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.In addition, the term '~ unit' as used herein means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data structures and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, a preferred embodiment of a deep learning-based locking pattern safety measurement apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 1을 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치에 대하여 설명한다.First, a deep learning-based locking pattern safety measurement device according to a preferred embodiment of the present invention will be described with reference to FIG. 1 .
도 1은 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치를 설명하기 위한 블록도이다.1 is a block diagram for explaining a deep learning-based lock pattern safety measurement device according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 장치(이하 '잠금 패턴 안전성 측정 장치'라 한다)(100)는 잠금 패턴의 수치적 특징뿐만 아니라 인간의 시각적 인식을 반영하는 잠금 패턴의 시각적 특징을 이용하여 잠금 패턴의 안전성을 측정한다.Referring to FIG. 1 , a deep learning-based locking pattern safety measuring device (hereinafter referred to as a 'locking pattern safety measuring device') 100 according to a preferred embodiment of the present invention provides not only the numerical characteristics of the locking pattern but also human visual recognition. The safety of the locking pattern is measured using the visual characteristics of the locking pattern that reflects the
여기서, 잠금 패턴은 스마트폰, 태블릿 등의 전자 디바이스의 보안을 위해 사용자에 의해 설정되는 패턴으로, 서로 이격되어 있는 복수개의 점 중에서 일부의 점이나 전부의 점을 잇는 선으로 이루어질 수 있다.Here, the lock pattern is a pattern set by a user for security of an electronic device such as a smart phone or tablet, and may be formed of a line connecting some or all of the points from among a plurality of points spaced apart from each other.
그리고, 수치적 특징은 잠금 패턴의 형태로부터 획득되는 특징으로서, 방향(direction), 교차점(crosspoints), 선의 겹침(overlaps), 각도(angles), 회전(turns), 마코프(markov) 확률, 반복된 하위 패턴(subpatterns) 중 적어도 하나일 수 있다. 시각적 특징은 인간이 잠금 패턴을 시각적으로 인식하는 정도로부터 획득되는 잠재적 특징을 말한다.And, the numerical characteristics are characteristics obtained from the shape of the locking pattern, such as direction, crosspoints, overlaps of lines, angles, turns, markov probability, repeated It may be at least one of subpatterns. The visual characteristic refers to a potential characteristic obtained from the degree to which a human visually recognizes a lock pattern.
이때, 잠금 패턴 안전성 측정 장치(100)에 입력되는 잠금 패턴은 이미지 형태로 이루어질 수 있다.In this case, the lock pattern input to the lock pattern
이를 위해, 잠금 패턴 안전성 측정 장치(100)는 학습부(110) 및 안전성 측정부(130)를 포함할 수 있다.To this end, the locking pattern
학습부(110)는 학습 데이터 세트를 기반으로 안전성 측정 네트워크를 학습한다.The
여기서, 안전성 측정 네트워크는 합성곱 신경망(Convolutional neural network, CNN)으로 이루어지며, 학습 데이터 세트를 구성하는 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득한다.Here, the safety measurement network is composed of a convolutional neural network (CNN), and the complexity of the locking pattern is acquired based on the numerical and visual features of the locking pattern constituting the training data set.
안전성 측정부(130)는 학습부(110)를 통해 학습된 안전성 측정 네트워크를 이용하여 안전성 측정 대상인 잠금 패턴의 안전성을 측정한다.The safety measurement unit 130 measures the safety of the lock pattern, which is a safety measurement target, by using the safety measurement network learned through the
즉, 안전성 측정부(130)는 안전성 측정 대상인 잠금 패턴을 안전성 측정 네트워크에 입력하고, 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정한다.That is, the safety measurement unit 130 inputs the safety measurement target locking pattern to the safety measurement network, and measures the safety of the safety measurement target lockout pattern based on the output of the safety measurement network.
여기서, 안전성은 안전성 측정 네트워크의 출력인 복잡도를 미리 설정된 기준에 따라 분류하여 획득한 안전성 등급일 수 있다. 예컨대, 안전성 등급은 상/중/하 중 하나이거나, 별점 형태로 이루어지거나, 점수 형태로 이루어질 수 있다.Here, the safety may be a safety grade obtained by classifying complexity, which is an output of the safety measurement network, according to a preset criterion. For example, the safety rating may be in one of high/medium/low, in the form of a star rating, or in the form of a score.
그러면, 도 2 및 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 안전성 측정 네트워크의 학습 과정에 대하여 보다 자세하게 설명한다.Then, the learning process of the safety measurement network according to a preferred embodiment of the present invention will be described in more detail with reference to FIGS. 2 and 3 .
도 2는 도 1에 도시한 학습부의 세부 구성을 설명하기 위한 블록도이고, 도 3은 본 발명의 바람직한 실시예에 따른 안전성 측정 네트워크의 학습 과정을 설명하기 위한 도면이다.Figure 2 is a block diagram for explaining the detailed configuration of the learning unit shown in Figure 1, Figure 3 is a diagram for explaining the learning process of the safety measurement network according to a preferred embodiment of the present invention.
도 2를 참조하면, 학습부(110)는 특징 추출 모듈(111) 및 선형 회귀 분석 모듈(113)을 포함할 수 있다.Referring to FIG. 2 , the
즉, 학습부(110)는 도 3에 도시된 바와 같이, 안전성 측정 네트워크의 합성곱 레이어를 통해 잠금 패턴의 시각적 특징(즉, 잠재적 특징)을 추출하는 특징 추출(feature extraction) 단계를 수행한 다음, 이를 잠금 패턴의 수치적 특징과 결합하여 회귀 분석을 통해 잠금 패턴의 복잡도를 측정하는 선형 회귀 분석(linear regression) 단계를 수행할 수 있다.That is, as shown in FIG. 3 , the
특징 추출 모듈(111)은 잠금 패턴의 수치적 특징을 추출하고, 안전성 측정 네트워크의 합성곱 레이어(convolution layer)를 이용하여 잠금 패턴의 시각적 특징을 추출할 수 있다.The feature extraction module 111 may extract the numerical features of the locking pattern and extract the visual features of the locking pattern using a convolution layer of the safety measurement network.
즉, 특징 추출 모듈(111)은 잠금 패턴의 수치적 특징과 잠금 패턴에 잠재된 시각적 특징을 추출할 수 있다. 잠재된 시각적 특징은 인간의 시각적인 인식을 반영하지만, 이를 명확하게 설명할 수 없다는 특징을 가지고 있으며, 따라서 인간의 관점에서 이러한 특징을 추출하기 위해 합성곱 레이어(convolution layer)를 활용한다. 합성곱 레이어는 잠금 패턴 이미지를 입력 레이어로부터 입력받아 최종적으로 연속된 1차원 데이터들을 시각적 특징으로서 출력한다.That is, the feature extraction module 111 may extract numerical features of the lock pattern and visual features latent in the lock pattern. Although latent visual features reflect human visual perception, they have a feature that cannot be clearly explained. Therefore, a convolution layer is used to extract these features from a human point of view. The convolution layer receives the lock pattern image from the input layer and finally outputs continuous one-dimensional data as visual features.
이때, 잠금 패턴의 수치적 특징은 조합 가능한 모든 잠금 패턴 각각에 대하여 미리 수치적 특징을 추출하여 저장되어 있을 수 있다. 예컨대, 잠금 패턴이 일정한 간격을 두고 위치하는 9개의 점 상의 패턴인 경우, 조합 가능한 모든 389,112개의 잠금 패턴 각각에 대한 수치적 특징은 사전에 측정되어 저장되어 있을 수 있다.In this case, the numerical features of the locking pattern may be stored by extracting the numerical features in advance for each of all the combinable locking patterns. For example, when the locking pattern is a pattern on nine points positioned at regular intervals, numerical characteristics for each of all 389,112 locking patterns that can be combined may be measured and stored in advance.
선형 회귀 분석 모듈(113)은 안전성 측정 네트워크의 완전 연결 레이어(fully connected layer)를 이용하여 특징 추출 모듈(111)을 통해 추출된 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득할 수 있다.The linear regression analysis module 113 calculates the complexity of the lock pattern based on the numerical and visual features of the lock pattern extracted through the feature extraction module 111 using a fully connected layer of the safety measurement network. can be obtained
즉, 선형 회귀 분석 모듈(113)은 회귀 분석 결과를 나타내는 하나의 뉴런만 생성하는 완전 연결 레이어(fully connected layer)를 포함한다. 완전 연결 레이어는 잠금 패턴의 수치적 특징을 또 다른 입력 레이어로부터 입력받고, 동시에 합성곱 레이어에서 추출된 1차원 데이터 배열을 입력받는다.That is, the linear regression analysis module 113 includes a fully connected layer that generates only one neuron representing the regression analysis result. The fully connected layer receives the numerical characteristics of the lock pattern from another input layer, and at the same time receives the one-dimensional data array extracted from the convolutional layer.
그리고, 선형 회귀 분석 모듈(113)은 앞서 추출한 수치적 특징과 시각적 특징의 각 성분을 완전 연결 레이어의 뉴런과 가중치로서 연결함으로써 잠금 패턴의 최종 복잡도를 산출할 수 있다. 완전 연결 레이어의 단일 뉴런은 입력받은 데이터들과 각각에 대한 가중치로 연결되고, 별도의 활성화 함수를 거치지 않고 최종 복잡도를 산출한다.In addition, the linear regression analysis module 113 may calculate the final complexity of the lock pattern by connecting each component of the previously extracted numerical and visual features to neurons of the fully connected layer as weights. A single neuron of the fully connected layer is connected to the input data by weights for each, and the final complexity is calculated without going through a separate activation function.
예컨대, 잠금 패턴의 복잡도는 수학식 
여기서, 합성곱 레이어의 가중치 및 완전 연결 레이어의 가중치는 학습 데이터 세트를 이용한 학습 과정에서, 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정될 수 있다. 가중치 조정은 학습 데이터 세트를 구성하는 잠금 패턴의 그라운드 트루스 레이블에 대한 손실 함수(loss function)를 활용할 수 있다. 즉, 각 특징에 대한 가중치를 실제 사용자 설문을 통한 그라운드 트루스 레이블을 기반으로 학습하기 때문에 다양한 특징들의 숄더 서핑 공격에 대한 연관성을 복잡도에 충분히 반영할 수 있다.Here, the weight of the convolutional layer and the weight of the fully connected layer may be adjusted using a ground-truth label corresponding to the training data set in the learning process using the training data set. Weight adjustment may utilize a loss function for the ground truth label of the lock pattern constituting the training data set. That is, since the weight of each feature is learned based on the ground truth label through an actual user survey, the association of various features with the shoulder surfing attack can be sufficiently reflected in the complexity.
이때, 학습 데이터 세트는 조합 가능한 모든 잠금 패턴 각각에서 추출된 수치적 특징을 기반으로 조합 가능한 모든 잠금 패턴을 미리 설정된 유사 판단 기준에 따라 군집화(clustering)하고, 각 군집 마다 수치적 특징 벡터의 중심점(centroid)에 대응하는 잠금 패턴을 획득하며, 군집 각각에서 획득한 잠금 패턴으로 구성될 수 있다. 예컨대, 잠금 패턴이 일정한 간격을 두고 위치하는 9개의 점 상의 패턴인 경우, 조합 가능한 모든 389,112개의 잠금 패턴 각각에 대해 그라운드 트루스 레이블을 수집하는 것은 어려움이 있다. 따라서, 389,112개의 잠금 패턴을 대표하는 일부 잠금 패턴을 선정하고, 선정된 잠금 패턴에 대해서만 그라운드 트루스 레이블을 수집할 수 있다.At this time, the learning data set clusters all combinable locking patterns based on the numerical features extracted from each of all combinable locking patterns according to a preset similarity criterion, and for each cluster, the center point of the numerical feature vector ( centroid), and may be composed of a lock pattern obtained from each cluster. For example, when the locking pattern is a pattern on nine points positioned at regular intervals, it is difficult to collect ground truth labels for each of all 389,112 locking patterns that can be combined. Therefore, it is possible to select some lock patterns representing 389,112 lock patterns, and collect ground truth labels only for the selected lock patterns.
그리고, 그라운드 트루스 레이블은 실제 사용자를 대상으로 하는 설문을 통해, 학습 데이터 세트를 구성하는 잠금 패턴 각각에 대해 획득될 수 있다. 학습 데이터를 구성하는 잠금 패턴의 그라운드 트루스 레이블은 실제 사용자의 인식을 대표해야 하기 때문에 실제 사용자를 대상으로 해당 잠금 패턴의 복잡도에 대한 그라운드 트루스 레이블을 수집하여야 한다.In addition, the ground truth label may be obtained for each lock pattern constituting the learning data set through a questionnaire targeting real users. Since the ground truth label of the lock pattern constituting the learning data should represent the recognition of the real user, it is necessary to collect the ground truth label for the complexity of the lock pattern from the real user.
여기서, 설문은 하나의 잠금 패턴에 대해, 답변 가능한 복잡도의 범위가 서로 동일한 복수개의 질문 항목으로 이루어질 수 있다. 하나의 잠금 패턴에 대한 그라운드 트루스 레이블은 복수개의 질문 항목 각각에 대해 사용자가 답변한 복잡도를 기반으로 획득될 수 있다. 예컨대, 하나의 잠금 패턴에 대한 그라운드 트루스 레이블은 수학식 
그러면, 도 4 및 도 5를 참조하여 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 방법에 대하여 설명한다.Then, a deep learning-based locking pattern safety measurement method according to a preferred embodiment of the present invention will be described with reference to FIGS. 4 and 5 .
도 4는 본 발명의 바람직한 실시예에 따른 딥러닝 기반 잠금 패턴 안전성 측정 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a deep learning-based lock pattern safety measurement method according to a preferred embodiment of the present invention.
도 4를 참조하면, 잠금 패턴 안전성 측정 장치(100)는 합성곱 신경망으로 이루어지며, 학습 데이터 세트를 구성하는 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 안전성 측정 네트워크를 학습한다(S110).Referring to FIG. 4 , the locking pattern
이후, 잠금 패턴 안전성 측정 장치(100)는 안전성 측정 대상인 잠금 패턴을 안전성 측정 네트워크에 입력하고, 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정한다(S130).Thereafter, the locking pattern
도 5는 도 4에 도시한 안전성 측정 네트워크 학습 단계의 세부 단계를 설명하기 위한 흐름도이다.5 is a flowchart for explaining the detailed steps of the safety measurement network learning step shown in FIG. 4 .
도 5를 참조하면, 잠금 패턴 안전성 측정 장치(100)는 잠금 패턴의 수치적 특징을 추출하고, 안전성 측정 네트워크의 합성곱 레이어를 이용하여 잠금 패턴의 시각적 특징을 추출할 수 있다(S111).Referring to FIG. 5 , the locking pattern
이때, 잠금 패턴의 수치적 특징은 조합 가능한 모든 잠금 패턴 각각에 대하여 미리 수치적 특징을 추출하여 저장되어 있을 수 있다.In this case, the numerical features of the locking pattern may be stored by extracting the numerical features in advance for each of all the combinable locking patterns.
그런 다음, 잠금 패턴 안전성 측정 장치(100)는 안전성 측정 네트워크의 완전 연결 레이어를 이용하여 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득할 수 있다(S113).Then, the locking pattern
여기서, 합성곱 레이어의 가중치 및 완전 연결 레이어의 가중치는 학습 데이터 세트를 이용한 학습 과정에서, 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정될 수 있다.Here, the weight of the convolutional layer and the weight of the fully connected layer may be adjusted using a ground-truth label corresponding to the training data set in the learning process using the training data set.
이때, 학습 데이터 세트는 조합 가능한 모든 잠금 패턴 각각에서 추출된 수치적 특징을 기반으로 조합 가능한 모든 잠금 패턴을 미리 설정된 유사 판단 기준에 따라 군집화(clustering)하고, 각 군집 마다 수치적 특징 벡터의 중심점(centroid)에 대응하는 잠금 패턴을 획득하며, 군집 각각에서 획득한 잠금 패턴으로 구성될 수 있다.At this time, the learning data set clusters all combinable locking patterns based on the numerical features extracted from each of all combinable locking patterns according to a preset similarity criterion, and for each cluster, the center point of the numerical feature vector ( centroid), and may be composed of a lock pattern obtained from each cluster.
그리고, 그라운드 트루스 레이블은 실제 사용자를 대상으로 하는 설문을 통해, 학습 데이터 세트를 구성하는 잠금 패턴 각각에 대해 획득될 수 있다.In addition, the ground truth label may be obtained for each lock pattern constituting the learning data set through a questionnaire targeting real users.
여기서, 설문은 하나의 잠금 패턴에 대해, 답변 가능한 복잡도의 범위가 서로 동일한 복수개의 질문 항목으로 이루어질 수 있다. 하나의 잠금 패턴에 대한 그라운드 트루스 레이블은 복수개의 질문 항목 각각에 대해 사용자가 답변한 복잡도를 기반으로 획득될 수 있다. 예컨대, 하나의 잠금 패턴에 대한 그라운드 트루스 레이블은 수학식 
정리하면, 본 발명에 따른 잠금 패턴 안전성 측정 장치(100)는 수치적 특징뿐만 아니라 인간의 시각적 인식을 반영하는 잠재적 특징도 활용하고, 활용된 특징의 가중치를 정확하게 설정하기 위해 신뢰할 수 있는 레이블을 수집하여, 잠금 패턴의 안정성을 측정할 수 있다.In summary, the locking pattern
예컨대, 안드로이드 패턴 락(android pattern lock)은 안드로이드 사용자들로부터 널리 쓰이고 있는 인증 방법 중의 하나이다. 사용자는 패턴의 모양과 길이를 자유롭게 설정할 수 있지만, 단순한 모양과 짧은 길이의 패턴은 공격에 취약한 단점이 있다. 특히, 숄더 서핑 공격은 사용자의 근처에 있는 사람이라면 특별한 배경 지식이 없이도 공격자가 될 수 있으므로 인증 환경에 더 만연하다고 할 수 있다. 사용자는 편의성을 위해 단순한 모양의 패턴을 고르는 경향이 있으므로 이러한 공격으로부터 안전한 패턴을 선택하기 위한 유도 장치가 필요하다. 하지만, 현재까지의 기술은 이러한 목적을 달성하지 못하므로 정확한 안전성을 측정하기 위한 기술의 개발이 필요하다. 한편, 딥러닝(deep learning) 알고리즘은 복잡한 문제를 처리할 수 있으며 꾸준한 개발을 통해 다양한 분야에서 인간의 식별 능력과 비슷한 수준의 높은 성능을 나타내고 있다. 그 중에서도 합성곱 신경망(CNN)은 시각적인 데이터를 처리하는데 특화되어 있고, 합성곱 신경망이 인간과 비슷한 수준의 이미지 인식 능력을 가지고 있기 때문에 시각적인 데이터로 표현되는 패턴도 동일한 성능으로 인식할 것이며, 합성곱 신경망을 통해 기존의 활용된 수치적인 특징을 넘어 인간의 인식과 관련된 잠재적인 특징을 추출할 수 있고, 네트워크의 학습을 통해 이에 대한 가중치 또한 적절하게 설정할 수 있다. 안드로이드 잠금 패턴 또한 시각적인 데이터와 관련이 있기 때문에 해당 기술과 접목될 수 있다. 이와 같은 점에 착안하여, 본 발명에 따른 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 안전성 측정 네트워크를 도출하였다. 이때, 안전성 측정 네트워크의 안정적인 성능을 확보하기 위해 신뢰할 수 있는 레이블을 기반으로 하는 학습이 진행되어야 하며, 이를 위해 본 발명은 실제 사용자 설문을 통해 잠금 패턴에 대한 실제 사용자들의 인식에 대한 그라운드 트루스 레이블을 수집하고 이를 이용하여 안전성 측정 네트워크의 학습을 진행한다.For example, Android pattern lock is one of the authentication methods widely used by Android users. The user can freely set the shape and length of the pattern, but simple shapes and short-length patterns are vulnerable to attack. In particular, shoulder surfing attacks are more pervasive in authentication environments because anyone in the vicinity of the user can become an attacker without any special background knowledge. Users tend to choose patterns of simple shapes for convenience, so a guiding device is needed to select patterns that are safe from such attacks. However, the technology to date does not achieve this purpose, so it is necessary to develop a technology for accurately measuring safety. On the other hand, deep learning algorithms can handle complex problems, and through steady development, they show high performance comparable to human identification ability in various fields. Among them, the convolutional neural network (CNN) is specialized in processing visual data, and since the convolutional neural network has an image recognition ability similar to that of humans, it will recognize patterns expressed in visual data with the same performance, Through a convolutional neural network, potential features related to human recognition can be extracted beyond the existing numerical features, and weights can be appropriately set through network learning. Android lock patterns are also related to visual data, so they can be combined with that technology. Taking this into consideration, a safety measurement network for obtaining the complexity of the locking pattern was derived based on the numerical and visual features of the locking pattern according to the present invention. At this time, in order to secure the stable performance of the safety measurement network, learning based on a reliable label should be carried out. It collects and uses it to learn the safety measurement network.
즉, 본 발명은 딥러닝을 기반으로 다양한 특징을 활용하고 적절한 가중치를 설정하는 점에서 종래 기술과 차별성이 있다. 기존의 안드로이드 패턴 락의 안전성 측정 방식은 경험에 의거했기 때문에 활용된 특징이 부족했으며, 안전성에 주는 영향력 또한 잘못 고려되는 문제가 있다. 이에 반면, 본 발명은 딥러닝, 특히 합성곱 신경망을 활용함으로써 기존의 수치적 특징뿐만 아니라 인간의 인식을 반영하는 잠재적인 시각적 특징을 추출할 수 있고, 이러한 특징이 숄더 서핑 공격에 대한 안전성에 주는 가중치를 학습을 통해 적절하게 설정할 수 있다.That is, the present invention is different from the prior art in that it utilizes various features based on deep learning and sets appropriate weights. The existing Android pattern lock's safety measurement method was based on experience, so the utilized features were insufficient, and there is a problem that the influence on safety is also incorrectly considered. On the other hand, the present invention can extract potential visual features that reflect human perception as well as existing numerical features by utilizing deep learning, especially convolutional neural networks, and these features give safety to shoulder surfing attacks Weights can be appropriately set through learning.
그리고, 본 발명은 실제 사용자 설문을 통한 잠금 패턴에 대한 그라운드 트루스 레이블을 수집하는 점에서 종래 기술과 차별성이 있다. 측정 네트워크의 구조가 효과적이어도 학습이 철저하게 이루어지지 않으면 정확한 복잡도 측정이 불가능한 문제가 있다. 본 발명은 전체 잠금 패턴의 복잡도를 대표하는 설문 잠금 패턴을 선정하고, 실제 사용자들이 해당 잠금 패턴에 대해 답변한 그라운드 트루스 복잡도를 활용함으로써, 딥러닝 모델이 실제 사용자의 측정 기준을 반영하도록 할 수 있다.In addition, the present invention is different from the prior art in that the ground truth label for the lock pattern is collected through an actual user questionnaire. Even if the structure of the measurement network is effective, there is a problem in that it is impossible to accurately measure the complexity if learning is not performed thoroughly. The present invention selects a questionnaire lock pattern representing the complexity of the entire lock pattern and utilizes the ground truth complexity that real users answered for the lock pattern, so that the deep learning model reflects the actual user's measurement standard. .
또한, 본 발명은 잠금 패턴을 사용하는 사용자에게 높은 안전성을 제공할 수 있다. 본 발명을 통해 잠금 패턴의 안전성이 정확하게 측정된다면, 잠금 패턴은 지문, 얼굴 등을 템플릿으로서 저장하여야 하는 생체 인식보다 부담이 적은 인증 방법으로서, 널리 쓰일 가능성을 가지고 있다.In addition, the present invention can provide high safety to the user who uses the lock pattern. If the safety of the lock pattern is accurately measured through the present invention, the lock pattern has the potential to be widely used as an authentication method that is less burdensome than biometric recognition in which fingerprints, faces, etc. are stored as templates.
아울러, 본 발명은 잠금 해제뿐만 아니라 인증이 필요한 다양한 분야에 사용될 수 있다. 잠금 패턴이 사용되는 단계가 스마트폰 등과 같은 전자 디바이스의 잠금 해제가 대부분이지만, 전자 결제나 본인 인증과 같은 스마트폰 환경에서의 인증이 필요한 다양한 서비스에서도 적용이 가능해짐으로써, 해당 서비스의 사용을 촉진하는 계기를 마련할 수 있다.In addition, the present invention can be used in various fields requiring authentication as well as unlocking. Although most of the steps in which the lock pattern is used are unlocking of electronic devices such as smartphones, it can be applied to various services that require authentication in a smartphone environment, such as electronic payment or identity authentication, thereby facilitating the use of the service. can provide an opportunity to do so.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.Even though all the components constituting the embodiment of the present invention described above are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the functions combined in one or a plurality of hardware program modules It may be implemented as a computer program having In addition, such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., read and executed by a computer, thereby implementing an embodiment of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, and the like.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications, changes and substitutions within the scope without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100 : 잠금 패턴 안전성 측정 장치,
110 : 학습부,
111 : 특징 추출 모듈,
113 : 선형 회귀 분석 모듈,
130 : 안전성 측정부100: lock pattern safety measuring device;
110: learning department;
111: feature extraction module;
113: linear regression analysis module;
130: safety measurement unit
Claims (13)
안전성 측정 대상인 잠금 패턴을 상기 안전성 측정 네트워크에 입력하고, 상기 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정하는 안전성 측정부;
를 포함하며,
상기 학습부는, 잠금 패턴의 수치적 특징을 추출하고, 상기 안전성 측정 네트워크의 합성곱 레이어(convolution layer)를 이용하여 잠금 패턴의 시각적 특징을 추출하는 특징 추출 모듈; 및 상기 안전성 측정 네트워크의 완전 연결 레이어(fully connected layer)를 이용하여 상기 특징 추출 모듈을 통해 추출된 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 선형 회귀 분석 모듈;을 포함하고,
상기 합성곱 레이어의 가중치 및 상기 완전 연결 레이어의 가중치는, 상기 학습 데이터 세트를 이용한 학습 과정에서, 상기 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정되며,
상기 학습 데이터 세트는, 조합 가능한 모든 잠금 패턴 각각에서 추출된 수치적 특징을 기반으로 조합 가능한 모든 잠금 패턴을 미리 설정된 유사 판단 기준에 따라 군집화(clustering)하고, 각 군집 마다 중심점(centroid)에 대응하는 잠금 패턴을 획득하며, 군집 각각에서 획득한 잠금 패턴으로 구성되는,
딥러닝 기반 잠금 패턴 안전성 측정 장치.a learning unit configured with a convolutional neural network (CNN) and learning a safety measurement network that acquires the complexity of the locking pattern based on the numerical and visual features of the locking pattern constituting the training data set; and
a safety measurement unit for inputting a locking pattern, which is a safety measurement target, into the safety measurement network, and measuring the safety of a safety measurement target lockout pattern based on an output of the safety measurement network;
includes,
The learning unit may include: a feature extraction module for extracting numerical features of the locking pattern and extracting visual features of the locking pattern using a convolution layer of the safety measurement network; and a linear regression analysis module for acquiring the complexity of the locking pattern based on the numerical and visual features of the locking pattern extracted through the feature extraction module using a fully connected layer of the safety measurement network. including,
The weight of the convolutional layer and the weight of the fully connected layer are adjusted using a ground-truth label corresponding to the training data set in a learning process using the training data set,
The learning data set clusters all lock patterns that can be combined based on numerical features extracted from each lock pattern that can be combined according to a preset similarity criterion, and each cluster corresponds to a centroid. Acquire a lock pattern, consisting of a lock pattern obtained from each cluster,
Deep learning-based lock pattern safety measurement device.
상기 그라운드 트루스 레이블은,
실제 사용자를 대상으로 하는 설문을 통해, 상기 학습 데이터 세트를 구성하는 잠금 패턴 각각에 대해 획득되는,
딥러닝 기반 잠금 패턴 안전성 측정 장치.In claim 1,
The ground truth label is,
Obtained for each lock pattern constituting the learning data set through a questionnaire targeting real users,
Deep learning-based lock pattern safety measurement device.
상기 설문은,
하나의 잠금 패턴에 대해, 답변 가능한 복잡도의 범위가 서로 동일한 복수개의 질문 항목으로 이루어지며,
하나의 잠금 패턴에 대한 상기 그라운드 트루스 레이블은,
상기 복수개의 질문 항목 각각에 대해 사용자가 답변한 복잡도를 기반으로 획득되는,
딥러닝 기반 잠금 패턴 안전성 측정 장치.In claim 5,
The questionnaire is
For one lock pattern, it consists of a plurality of question items with the same range of possible answers,
The ground truth label for one lock pattern is,
Obtained based on the complexity of the user's answer to each of the plurality of question items,
Deep learning-based lock pattern safety measurement device.
하나의 잠금 패턴에 대한 상기 그라운드 트루스 레이블은,
수학식
딥러닝 기반 잠금 패턴 안전성 측정 장치.In claim 6,
The ground truth label for one lock pattern is,
formula
Deep learning-based lock pattern safety measurement device.
상기 잠금 패턴은,
이미지 형태로 이루어지는,
딥러닝 기반 잠금 패턴 안전성 측정 장치.In claim 1,
The lock pattern is
made in the form of an image,
Deep learning-based lock pattern safety measurement device.
상기 수치적 특징은,
방향(direction), 교차점(crosspoints), 선의 겹침(overlaps), 각도(angles), 회전(turns), 마코프(markov) 확률, 반복된 하위 패턴(subpatterns) 중 적어도 하나인,
딥러닝 기반 잠금 패턴 안전성 측정 장치.In claim 1,
The numerical characteristic is,
at least one of direction, crosspoints, overlaps of lines, angles, turns, markov probability, repeated subpatterns,
Deep learning-based lock pattern safety measurement device.
안전성 측정 대상인 잠금 패턴을 상기 안전성 측정 네트워크에 입력하고, 상기 안전성 측정 네트워크의 출력을 기반으로 안전성 측정 대상인 잠금 패턴의 안전성을 측정하는 단계;
를 포함하며,
상기 학습 단계는, 잠금 패턴의 수치적 특징을 추출하고, 상기 안전성 측정 네트워크의 합성곱 레이어(convolution layer)를 이용하여 잠금 패턴의 시각적 특징을 추출하는 단계; 및 상기 안전성 측정 네트워크의 완전 연결 레이어(fully connected layer)를 이용하여 잠금 패턴의 수치적 특징과 시각적 특징을 기반으로 잠금 패턴의 복잡도를 획득하는 단계;를 포함하고,
상기 합성곱 레이어의 가중치 및 상기 완전 연결 레이어의 가중치는, 상기 학습 데이터 세트를 이용한 학습 과정에서, 상기 학습 데이터 세트에 대응되는 그라운드 트루스(ground-truth) 레이블을 이용하여 조정되며,
상기 학습 데이터 세트는, 조합 가능한 모든 잠금 패턴 각각에서 추출된 수치적 특징을 기반으로 조합 가능한 모든 잠금 패턴을 미리 설정된 유사 판단 기준에 따라 군집화(clustering)하고, 각 군집 마다 중심점(centroid)에 대응하는 잠금 패턴을 획득하며, 군집 각각에서 획득한 잠금 패턴으로 구성되는,
딥러닝 기반 잠금 패턴 안전성 측정 방법.Learning a safety measurement network consisting of a convolutional neural network (CNN) and acquiring the complexity of the locking pattern based on the numerical and visual features of the locking pattern constituting the training data set; and
inputting a locking pattern, which is a safety measurement target, into the safety measurement network, and measuring the safety of a safety measurement target locking pattern based on an output of the safety measurement network;
includes,
The learning step may include: extracting the numerical features of the locking pattern, and extracting the visual features of the locking pattern using a convolution layer of the safety measurement network; and acquiring the complexity of the locking pattern based on numerical and visual features of the locking pattern using a fully connected layer of the safety measurement network.
The weight of the convolutional layer and the weight of the fully connected layer are adjusted using a ground-truth label corresponding to the training data set in a learning process using the training data set,
The learning data set clusters all lock patterns that can be combined based on numerical features extracted from each lock pattern that can be combined according to a preset similarity criterion, and each cluster corresponds to a centroid. Acquire a lock pattern, consisting of a lock pattern obtained from each cluster,
A deep learning-based locking pattern safety measurement method.
A computer program stored in a computer-readable recording medium to execute the deep learning-based lock pattern safety measurement method according to claim 10 in a computer.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200155318 | 2020-11-19 | ||
| KR20200155318 | 2020-11-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220068876A KR20220068876A (en) | 2022-05-26 |
| KR102406363B1 true KR102406363B1 (en) | 2022-06-08 |
Family
ID=81808358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210016948A KR102406363B1 (en) | 2020-11-19 | 2021-02-05 | Apparatus and method for measuring security strength of lock pattern based on deep learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102406363B1 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102110049B1 (en) * | 2018-05-10 | 2020-05-12 | 세종대학교산학협력단 | Neural network based pattern authentication method and device |
-
2021
- 2021-02-05 KR KR1020210016948A patent/KR102406363B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| Sungyup Nam et al., Recurrent GANs Password Cracker For IoT Password Security Enhancement, In Proceedings of the International Workshop on Information Security Applications, 1-19pages (2020. 5. 31.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220068876A (en) | 2022-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728209B (en) | Gesture recognition method and device, electronic equipment and storage medium | |
| Fong et al. | A biometric authentication model using hand gesture images | |
| Centeno et al. | Mobile based continuous authentication using deep features | |
| Damousis et al. | Four machine learning algorithms for biometrics fusion: A comparative study | |
| KR102483650B1 (en) | User verification device and method | |
| WO2018061786A1 (en) | Living body authentication device | |
| Stragapede et al. | IJCB 2022 mobile behavioral biometrics competition (MobileB2C) | |
| CN116665282B (en) | Face recognition model training method, face recognition method and device | |
| Schenkel et al. | A Comparative Study of Facial Recognition Techniques: With focus on low computational power | |
| Kuznetsov et al. | Biometric authentication using convolutional neural networks | |
| Stragapede et al. | Mobile passive authentication through touchscreen and background sensor data | |
| KR102406363B1 (en) | Apparatus and method for measuring security strength of lock pattern based on deep learning | |
| CN111914769A (en) | User validity judging method, device, computer readable storage medium and equipment | |
| CN111428643A (en) | Finger vein image recognition method and device, computer equipment and storage medium | |
| CN115880530A (en) | Detection method and system for resisting attack | |
| Vanthana et al. | Iris authentication using gray level co-occurrence matrix and Hausdorff dimension | |
| CN114627533A (en) | Face recognition method, face recognition device, face recognition equipment and computer-readable storage medium | |
| Cenys et al. | Genetic algorithm based palm recognition method for biometric authentication systems | |
| Kubanek et al. | Intelligent Identity Authentication, Using Face and Behavior Analysis | |
| KR102059511B1 (en) | User authentication system using eye response and user information | |
| KR102059520B1 (en) | User authentication system using low-resolution pupil reaction | |
| Alhamdi et al. | Iris Recognition Using Artificial Neural Network | |
| JP2021189792A (en) | Learning device, recognition device, learning method, recognition method, program, and recursive neural network | |
| Hidano et al. | A metric of identification performance of biometrics based on information content | |
| Sagiroglu et al. | Artificial neural network based automatic face parts prediction system from only fingerprints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |