KR102302234B1 - Apparatus and method for identifying individuals by performing discriminant analysis for various detection information - Google Patents

Apparatus and method for identifying individuals by performing discriminant analysis for various detection information Download PDF

Info

Publication number
KR102302234B1
KR102302234B1 KR1020190101807A KR20190101807A KR102302234B1 KR 102302234 B1 KR102302234 B1 KR 102302234B1 KR 1020190101807 A KR1020190101807 A KR 1020190101807A KR 20190101807 A KR20190101807 A KR 20190101807A KR 102302234 B1 KR102302234 B1 KR 102302234B1
Authority
KR
South Korea
Prior art keywords
unit
discriminant analysis
information
data
identifying
Prior art date
Application number
KR1020190101807A
Other languages
Korean (ko)
Other versions
KR102302234B9 (en
KR20210022375A (en
Inventor
최상일
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020190101807A priority Critical patent/KR102302234B1/en
Publication of KR20210022375A publication Critical patent/KR20210022375A/en
Application granted granted Critical
Publication of KR102302234B1 publication Critical patent/KR102302234B1/en
Publication of KR102302234B9 publication Critical patent/KR102302234B9/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 다양한 종류의 센서가 내장된 스마트 인솔을 이용하여 보행 정보를 수집하고, 센서 종류별로 판별 분석을 실시하며, 분석된 정보를 이용하여 개인을 식별하는 기술로서, 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 정보 수집부, 정보 수집부에서 수신된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 분류부를 포함한다.The present invention is a technology that collects gait information using a smart insole with various types of sensors, performs discriminative analysis for each sensor type, and identifies an individual using the analyzed information. A sensor for detecting movement information by walking The information collection unit that receives the user's gait data from the smart insole including It contains a classifier that identifies it.

Description

검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법 {APPARATUS AND METHOD FOR IDENTIFYING INDIVIDUALS BY PERFORMING DISCRIMINANT ANALYSIS FOR VARIOUS DETECTION INFORMATION}Apparatus and method for identifying individuals by performing discriminant analysis for each detection information {APPARATUS AND METHOD FOR IDENTIFYING INDIVIDUALS BY PERFORMING DISCRIMINANT ANALYSIS FOR VARIOUS DETECTION INFORMATION}

본 발명은 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법에 관한 것으로서, 보다 상세하게는 다양한 종류의 센서가 내장된 스마트 인솔을 이용하여 보행 정보를 수집하고, 센서 종류별로 판별 분석을 실시하며, 분석된 정보를 이용하여 개인을 식별하는 기술이다.The present invention relates to an apparatus and method for identifying an individual by performing discriminant analysis for each detection information, and more particularly, collects gait information using a smart insole equipped with various types of sensors, and performs discriminant analysis for each type of sensor. It is a technology that identifies individuals using the analyzed information.

보행(gait)의 패턴은 사람의 신체 활동에 대한 많은 정보를 담고 있다. 보행의 패턴에 문제가 발생 할 경우 관절의 변형 등의 근골격계 질환뿐만 아니라 지능 장애, 치매, 우울증 등의 정신적 질환까지 유발할 수 있기 때문에 보행패턴의 분석은 헬스케어, 스포츠 분석, 행동 분석 등의 다양한 응용 분야에서 많은 관심을 받고 있다.The gait pattern contains a lot of information about a person's physical activity. If a problem occurs in the gait pattern, it can cause not only musculoskeletal diseases such as joint deformation, but also mental diseases such as intellectual disability, dementia, and depression. There is a lot of interest in the field.

보행형태 분류시스템은 센서데이터를 취득하는 센서 모듈과 취득된 데이터를 기반으로 분류결과를 계산하는 어플리케이션 모듈로 구성된다. 보행분류에 이용되는 센서로는 주로 비디오 센서, EMG(electromyographic)센서, 족저압(plantar pressure)센서, 가속도센서, 자이로 센서 등이 있다. 하지만 대부분의 센서들은 센서의 크기, 설치의 불편함과 같은 제약으로 인해 제한된 환경에서만 보행데이터를 측정할 수밖에 없는 한계가 존재했다. 최근 웨어러블 센서 기술의 발전은 보행데이터의 측정에 사용할 장비의 경량화 및 간소화를 이끌어내었다.The walking type classification system consists of a sensor module that acquires sensor data and an application module that calculates classification results based on the acquired data. Sensors used for gait classification include a video sensor, an electromyographic (EMG) sensor, a plantar pressure sensor, an acceleration sensor, and a gyro sensor. However, most sensors have limitations in measuring gait data only in a limited environment due to limitations such as the size of the sensor and the inconvenience of installation. Recent developments in wearable sensor technology have led to weight reduction and simplification of equipment used to measure gait data.

다양한 종류의 센서를 이용하여 측정한 보행데이터를 바탕으로 보행의 패턴을 분석하는 방법들이 제안되어 왔다. 압력센서와 자이로스코프 센서를 이용하여 직선과 곡선의 보행을 구분하는 방법, 가속도 센서만을 사용해서 걷기, 옆으로 걷기, 뛰기에 대한 보행데이터를 수집한 후, 보행 횟수와 실제로 움직인 거리를 계산하는 방법이 제안되었다.Methods for analyzing gait patterns based on gait data measured using various types of sensors have been proposed. A method to distinguish between straight and curved gait using a pressure sensor and a gyroscope sensor. After collecting gait data on walking, sideways walking, and running using only the acceleration sensor, the number of steps and distance actually moved are calculated. A method has been proposed.

한편, 동일한 종류의 정상적인 보행에서도 개인에 따라 다른 특성을 나타내기 때문에 보행패턴은 얼굴인식, 지문인식 등과 같은 생체인식(biometrics) 용도로도 이용될 수 있다. 기존의 생체인식을 위한 보행의 분석들은 주로 비디오 시퀀스(sequence)로부터의 모션 분석에 의해 이루어져 왔다. 그러나 이러한 방법들은 보행자가 카메라 앞에 홀로 노출되어야 하고, 카메라의 각도에 따라 정확도가 달라질 수 있기 때문에 다양한 환경에서 사용자를 인식하는 위한 용도로 사용하기에는 여러 제약이 있다.On the other hand, since the same type of normal gait exhibits different characteristics depending on the individual, the gait pattern can also be used for biometrics such as face recognition and fingerprint recognition. Conventional gait analysis for biometric recognition has been mainly performed by motion analysis from a video sequence. However, there are several limitations in using these methods for recognizing users in various environments because the pedestrian must be exposed alone in front of the camera, and accuracy may vary depending on the angle of the camera.

등록특허공보 제10-1583369호Registered Patent Publication No. 10-1583369

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 다양한 종류의 센서가 내장된 스마트 인솔을 이용하여 보행 정보를 수집하고, 센서 종류별로 판별분석을 실시하며, 분석된 정보를 이용하여 개인을 식별하는 장치 및 방법을 제공하기 위한 것이다.Accordingly, the present invention has been proposed to solve the problems of the prior art, and an object of the present invention is to collect gait information using a smart insole equipped with various types of sensors, perform discriminant analysis for each type of sensor, , to provide an apparatus and method for identifying an individual using the analyzed information.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치는, 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 정보 수집부; 상기 정보 수집부에서 수신된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 상기 판별 분석 결과를 이용하여 상기 사용자의 신분을 식별하는 분류부를 포함하는 것을 특징으로 한다.In order to achieve the above object, an apparatus for identifying an individual by performing a discrimination analysis for each detection information according to the technical idea of the present invention receives the user's gait data from a smart insole including a sensor for detecting motion information by walking. information collection unit; and a classification unit that performs discriminant analysis for each type of sensor among the gait data received from the information collection unit and identifies the identity of the user using the discriminant analysis result.

또한, 상기 분류부는, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 특징 추출부; 상기 특징 추출부의 판별 분석 결과를 종합 분석하여 사용자의 신분을 식별하는 개인식별부를 포함하는 것을 특징으로 할 수 있다.In addition, the classification unit may include: a feature extracting unit for discriminating and analyzing the gait data received from the information collection unit for each sensor type; It may be characterized in that it comprises a personal identification unit for identifying the identity of the user by comprehensively analyzing the discrimination analysis result of the feature extraction unit.

또한, 상기 특징 추출부의 판별 분석은 NLDA(Null-space linear discriminant analysis) 방법인 것을 특징으로 할 수 있다.In addition, the discriminant analysis of the feature extraction unit may be characterized in that it is a null-space linear discriminant analysis (NLDA) method.

또한, 상기 특징 추출부는 센서 종류별 보행 데이터를 NLDA에 적용하여 단일 모달(single-modal) 특징을 추출하고, 상기 개인식별부는 상기 센서 종류별 단일 모달(single-modal) 특징의 분별력을 평가하여 사용자 식별에 이용될 결합된 특징을 생성하는 것을 특징으로 할 수 있다.In addition, the feature extraction unit applies gait data for each sensor type to NLDA to extract a single-modal feature, and the personal identification unit evaluates the discrimination power of the single-modal feature for each sensor type to identify the user. It can be characterized by creating a combined feature to be used.

또한, 상기 특징 추출부는 보행 데이터의 샘플

Figure 112019085471346-pat00001
에 대한 특징 벡터
Figure 112019085471346-pat00002
를In addition, the feature extracting unit is a sample of gait data
Figure 112019085471346-pat00001
feature vector for
Figure 112019085471346-pat00002
cast

Figure 112019085471346-pat00003
Figure 112019085471346-pat00003

으로 연산하는 것을 특징으로 할 수 있다(이때,

Figure 112019085471346-pat00004
는
Figure 112019085471346-pat00005
개의 투영벡터
Figure 112019085471346-pat00006
으로 구성된 투영행렬).It can be characterized by calculating with (at this time,
Figure 112019085471346-pat00004
Is
Figure 112019085471346-pat00005
dog projection vector
Figure 112019085471346-pat00006
projection matrix composed of ).

또한, 상기 개인식별부는 라플라시안 점수(laplacian score)를 이용하여 상기 단일 모달 특징의 분별력(discrimination)을 판단하는 것을 특징으로 할 수 있다.In addition, the personal identification unit may be characterized in that the discrimination (discrimination) of the single modal feature is determined by using a laplacian score.

또한, 상기 개인식별부는, 상기 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산하며, 상기 다중 모달 특징 벡터의 값을 이용하여 상기 사용자의 신분을 식별하는 것을 특징으로 할 수 있다.In addition, the personal identification unit calculates a multi-modal feature vector by inputting discrimination information in the order of a lot of discrimination information among the single modal features using the Laplacian score, and using the value of the multi-modal feature vector. Thus, it may be characterized in that the identity of the user is identified.

또한, 상기 개인식별부는 상기 다중 모달 특징 벡터를 One-NN 규칙(One-Nearest Neighborhood rule)에 입력하여 상기 사용자의 신분을 식별하는 것을 특징으로 할 수 있다.Also, the personal identification unit may input the multi-modal feature vector into a One-Nearest Neighborhood rule to identify the identity of the user.

또한, 상기 개인식별부의 One-NN 규칙은 거리 측정(distance measure)에 유클리디안 거리(Euclidean distance)를 이용하는 것을 특징으로 할 수 있다.In addition, the One-NN rule of the personal identification unit may be characterized by using a Euclidean distance for a distance measure.

또한, 상기 정보 수집부가 수신한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 전처리부를 더 포함하는 것을 특징으로 할 수 있다.In addition, the information collection unit defines a section of a unit step in the gait data received by dividing the data for each unit step, characterized in that it further comprises a preprocessor for normalizing the divided data so that the length is all the same can do.

또한, 상기 전처리부는 센서 종류별 단위 걸음에 대한 검출 값을 배열로 나타내고, 사전 순서 연산자(lexicographic ordering operator)를 이용하여 각 배열을 일렬의 정보로 변환하는 것을 특징으로 할 수 있다.In addition, the preprocessor may represent the detection values for each sensor type as an array, and convert each array into a line of information using a lexicographic ordering operator.

또한, 상기 전처리부는 0 내지 0.1 사이의 랜덤 넘버를 더해주는 정규화(regularization)를 수행함으로써 순위 부족으로 발생하는 고유값 분해(eigenvalue decomposition)의 불안정성 문제를 해결하는 것을 특징으로 할 수 있다.In addition, the preprocessor may be characterized in that it solves the problem of instability of eigenvalue decomposition caused by lack of rank by performing regularization by adding a random number between 0 and 0.1.

한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법은, 정보수집부가 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 단계; 전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 단계; 분류부가 정규화된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 단계를 포함하는 것을 특징으로 한다.On the other hand, in order to achieve the above object, the method of identifying an individual by performing a discrimination analysis for each detection information according to the technical idea of the present invention is the user's receiving gait data; dividing, by a preprocessing unit, a section of a unit step in the gait data, dividing the data for each unit step, and normalizing the divided data to have the same length; and performing discriminant analysis by the classification unit for each type of sensor among the normalized gait data, and identifying the user's identity using the discriminant analysis result.

또한, 상기 분류부가 정규화된 보행 데이터 중 센서의 종류별로 판별 분석을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 단계는, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계; 상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계를 포함하는 것을 특징으로 할 수 있다.In addition, the classification unit performs a discriminative analysis for each type of sensor among the normalized gait data, and the step of identifying the user's identity using the discriminant analysis result includes discriminating and analyzing the gait data received from the information collection unit for each sensor type. carrying out; It may be characterized in that it comprises the step of identifying the identity of the user by comprehensively analyzing the result of the discriminant analysis.

또한, 상기 판별 분석은 NLDA(Null-space linear discriminant analysis) 방법인 것을 특징으로 할 수 있다.In addition, the discriminant analysis may be characterized in that it is a null-space linear discriminant analysis (NLDA) method.

또한, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계는 센서 종류별 보행 데이터를 NLDA에 적용하여 단일 모달(single-modal) 특징을 추출하고, 상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는 상기 센서 종류별 단일 모달(single-modal) 특징의 분별력을 평가하여 사용자 식별에 이용될 결합된 특징을 생성하는 것을 특징으로 할 수 있다.In addition, in the step of performing discriminant analysis of the gait data received from the information collection unit for each sensor type, a single-modal feature is extracted by applying the gait data for each sensor type to NLDA, and the results of the discriminant analysis are synthesized. The analyzing and identifying the user's identity may include generating a combined feature to be used for user identification by evaluating the discrimination power of the single-modal feature for each sensor type.

또한, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계는, 보행 데이터의 샘플

Figure 112019085471346-pat00007
에 대한 특징 벡터
Figure 112019085471346-pat00008
를In addition, the step of discriminatively analyzing the gait data received by the information collection unit for each sensor type includes: a sample of the gait data
Figure 112019085471346-pat00007
feature vector for
Figure 112019085471346-pat00008
cast

Figure 112019085471346-pat00009
Figure 112019085471346-pat00009

으로 연산하는 것을 특징으로 할 수 있다(이때,

Figure 112019085471346-pat00010
는
Figure 112019085471346-pat00011
개의 투영벡터
Figure 112019085471346-pat00012
으로 구성된 투영행렬).It can be characterized by calculating with (at this time,
Figure 112019085471346-pat00010
Is
Figure 112019085471346-pat00011
dog projection vector
Figure 112019085471346-pat00012
projection matrix composed of ).

또한, 상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는, 라플라시안 점수(laplacian score)를 이용하여 상기 단일 모달 특징의 분별력(discrimination)을 판단하는 것을 특징으로 할 수 있다.In addition, the step of identifying the identity of the user by comprehensively analyzing the result of the discriminant analysis may be characterized in that the discrimination of the single modal feature is determined using a laplacian score.

또한, 상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는, 상기 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산하는 단계, 상기 다중 모달 특징 벡터의 값을 이용하여 상기 사용자의 신분을 식별하는 단계를 포함하는 것을 특징으로 할 수 있다.In addition, the step of identifying the user's identity by comprehensively analyzing the result of the discriminant analysis includes inputting the discrimination information in the order of the single modal features using the Laplacian score in the order of the most to obtain a multi-modal feature vector. , and identifying the identity of the user using the value of the multi-modal feature vector.

또한, 상기 전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 단계는, 센서 종류별 단위 걸음에 대한 검출 값을 배열로 나타내는 단계; 사전 순서 연산자(lexicographic ordering operator)를 이용하여 상기 각 배열을 일렬의 정보로 변환하는 단계를 포함하는 특징으로 할 수 있다.In addition, the step of the preprocessor defining a section of a unit step in the gait data, dividing the data for each unit step, and normalizing the divided data so that all lengths of the divided data are the same, the detection of the unit step for each sensor type representing the values as an array; It may be characterized by including converting each of the arrays into a series of information using a lexicographic ordering operator.

본 발명에 의한 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법에 따르면,According to the apparatus and method for identifying an individual by performing discriminant analysis for each detection information according to the present invention,

첫째, 본 발명은 발에 착용하는 웨어러블 센서를 이용하기 때문에 영상 분석을 이용하는 방법보다 사용 환경의 제약이 거의 없는 효과가 있다.First, since the present invention uses a wearable sensor worn on the feet, there is an effect that there are few restrictions on the use environment than the method using image analysis.

둘째, 본 발명이 이용하는 가속도 센서 등의 웨어러블 센서 데이터는 비디오 데이터에 비해 볼륨이 현저히 적기 때문에 보다 적은 컴퓨팅성능(computing power)으로도 실시간 인식이 가능한 효과가 있다.Second, since wearable sensor data such as an acceleration sensor used in the present invention has a significantly smaller volume than video data, real-time recognition is possible even with less computing power.

셋째, 본 발명은 판별 분석 기반의 특징 추출 방법을 이용함에 따라 대량의 데이터 확보가 필요한 심층학습 네트워크보다 적은 학습양으로 높은 분류율을 나타낼 수 있다.Third, the present invention can exhibit a high classification rate with a smaller learning amount than a deep learning network that requires a large amount of data by using a feature extraction method based on discriminant analysis.

넷째, 본 발명은 판별 분석 기반의 특징 추출 방법을 이용함에 따라 종래의 심층학습 네트워크보다 현저히 적은 컴퓨팅성능(computing power)으로도 개인 식별의 연산을 신속히 수행할 수 있는 효과가 있다.Fourth, the present invention has the effect of quickly performing the calculation of individual identification even with significantly less computing power than the conventional deep learning network by using the discriminant analysis-based feature extraction method.

도 1은 본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치의 구성도.
도 2는 스마트 인솔 FootLogger의 조립도.
도 3은 본 발명의 실시예가 보행 주기를 스탠스 단계와 스윙 단계로 구분한 것을 나타낸 도면.
도 4는 FootLogger 인솔을 이용하여 검출된 센서 값이 보행 패턴 분석 전 정렬되고, 정규화 및 규칙화되는 상태를 나타낸 도면.
도 5는 이 실시예의 전체 프로세스를 개략적으로 나타낸 도면.
도 6은 본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법의 순서도.
도 7은 S160 단계를 구체적으로 나타낸 순서도.
도 8은 스마트 인솔로 측정한 14명의 단위 걸음 데이터에 대해 입력 데이터 공간과 다중 모달 특징 공간에서 각 단계의 데이터 샘플을 2차원적으로 나타낸 도면.
도 9는 특징 공간의 다양한 차원에 대한 인식율을 나타낸 도면.
도 10은 압력 센서와 가속도 센서 각각의 단일 모달 특징과 다중 모달 특징의 k에 대한 인식률을 나타낸 도면.1 is a block diagram of an apparatus for identifying an individual by performing discriminative analysis for each detection information according to an embodiment of the present invention.
Figure 2 is an assembly view of the smart insole FootLogger.
3 is a view showing that the embodiment of the present invention divided the gait cycle into a stance phase and a swing phase.
4 is a view showing a state in which sensor values detected using FootLogger insole are aligned, normalized, and regularized before gait pattern analysis.
Fig. 5 schematically shows the overall process of this embodiment.
6 is a flowchart of a method for identifying an individual by performing discriminant analysis for each detection information according to an embodiment of the present invention.
7 is a flowchart specifically illustrating step S160.
8 is a diagram showing two-dimensional data samples of each step in an input data space and a multi-modal feature space for unit step data of 14 people measured with a smart insole.
9 is a diagram illustrating recognition rates for various dimensions of a feature space.
10 is a diagram illustrating a recognition rate for k of a single modal feature and a multi-modal feature, respectively, of a pressure sensor and an acceleration sensor.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.An apparatus and method for identifying an individual by performing discriminative analysis for each detection information according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not

본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법은 스마트 인솔(1)에 장착된 여러 종류의 센서 데이터를 이용하여 개인을 식별하는 방법을 제안한다. 종래 기술들은 보행 타입 분류를 위해 보행 영상을 분석하거나, 웨어러블 센서들을 다리, 허리 등에 부착하였지만, 본 발명의 실시예는 인솔의 웨어러블 센서 데이터에 대한 판별 분석을 통해 보행 데이터를 가지고 사용자를 식별하는 점에서 종래기술과 차별된다. 이 실시예는 웨어러블 센서를 사용하기 때문에 사용자가 군중 속에 있거나, 계측할 수 있는 지정된 장소에 있어야 하는 등의 사용 환경의 제약이 거의 없다. 또한, 가속도 센서 등의 웨어러블 센서 데이터는 비디오 데이터에 비해 용량이 적기 때문에 실시간 인식이 가능한 장점이 있다.An apparatus and method for identifying an individual by performing a discriminative analysis for each detection information according to an embodiment of the present invention proposes a method for identifying an individual using various types of sensor data mounted on the smart insole 1 . In the prior art, a gait image was analyzed for gait type classification or wearable sensors were attached to the leg, waist, etc., but the embodiment of the present invention identifies a user with gait data through discriminant analysis of the wearable sensor data of the insole. is differentiated from the prior art. Since this embodiment uses a wearable sensor, there are few restrictions on the usage environment, such as the user being in a crowd or having to be in a designated place to measure. In addition, since wearable sensor data such as an acceleration sensor has a smaller capacity than video data, real-time recognition is possible.

먼저, 스마트 인솔(1)의 센서에서 측정된 데이터가 사용자 식별을 위한 판별 분석에 적합한 형태로 전처리된다. 보행은 같은 사람이라도 당일의 컨디션과 걷는 당시의 상황에 따라 걷는 속도가 다르다. 이를 테면, 출근 시간과 산책 하는 동안의 보행 속도는 차이가 있을 수 있으며, 이러한 특성은 같은 클래스 내에서의 데이터 변이를 크게 만들어 사용자 식별 성능을 위한 보행 특징 추출을 어렵게 한다. 따라서 이 실시예의 전처리 과정에서는 연속적인 보행 데이터를 단위 걸음으로 분할하고 속도 변이의 영향을 없애기 위해 단위 걸음들을 동일한 길이로 정규화하였다. 또한, 특징 추출 과정에서 발생 할 수 있는 순위 부족(rank deficiency) 문제를 피하기 위해 랜덤 노이즈를 추가하는 규칙화(regularization) 과정을 더 수행하였다.First, the data measured by the sensor of the smart insole 1 is preprocessed in a form suitable for discriminant analysis for user identification. Even for the same person, walking speed differs depending on the condition of the day and the situation at the time of walking. For example, there may be a difference between the time to go to work and the gait speed during a walk, and this characteristic makes it difficult to extract gait features for user identification performance by creating large data variability within the same class. Therefore, in the preprocessing of this embodiment, continuous gait data is divided into unit steps and the unit steps are normalized to the same length in order to eliminate the influence of speed variation. In addition, in order to avoid the problem of rank deficiency that may occur in the feature extraction process, a regularization process of adding random noise was further performed.

전처리 과정에서는 연속적인 보행 데이터에서 보행 주기의 스윙 단계(swing phase)를 찾고 이를 기준으로 단위 걸음을 분할하였다. 전처리된 압력 센서 측정 데이터와 가속도 센서 측정 데이터는 사전편찬식 선호(lexicopraphic ordering)를 이용하여 각각 벡터 형태로 변환하였다.In the preprocessing process, the swing phase of the gait cycle was found in the continuous gait data, and unit steps were divided based on this. The preprocessed pressure sensor measurement data and acceleration sensor measurement data were each converted into a vector form using lexicopraphic ordering.

보행 패턴의 특징을 추출하기 위해 통계적 기반의 여러 차원 축소 방법을 적용할 수 있다. 각 센서는 10Hz의 샘플링율로 데이터를 측정하기 때문에 보행 데이터는 고차원의 데이터이다. 따라서 이 실시예는 판별 분석 기반의 특징 추출 방법들 중에서 영상 데이터와 같은 고차원 데이터에 효과적인 NLDA(Nullspace linear discriminant analysis)를 이용하여 사용자 식별에 유용한 판별 특징(discriminant feature)을 추출하였다. 이 실시예는 압력 센서와 가속도 센서 각각에 대해 NLDA를 적용하여 단일 모달(single-modal) 특징 공간을 구성하고, 압력 센서와 가속도 센서 각각의 특징벡터를 얻는다. 그런 다음, 특징벡터를 구성하는 모든 특징들은 판별거리 척도(FSDD)를 이용하여 특징들이 갖고 있는 분별 정보의 크기대로 재배열하여 사용자 식별을 위한 최종적인 다중 모달(multi-modal) 특징 벡터를 구성하였다.Several statistical-based dimensionality reduction methods can be applied to extract features of gait patterns. Since each sensor measures data at a sampling rate of 10 Hz, gait data is high-dimensional data. Therefore, in this embodiment, discriminant features useful for user identification were extracted by using nullspace linear discriminant analysis (NLDA), which is effective for high-dimensional data such as image data, among discriminant analysis-based feature extraction methods. In this embodiment, a single-modal feature space is constructed by applying NLDA to each of the pressure sensor and the acceleration sensor, and a feature vector of each of the pressure sensor and the acceleration sensor is obtained. Then, all features constituting the feature vector were rearranged according to the size of the discrimination information possessed by the features using the Discriminant Distance Scale (FSDD) to construct a final multi-modal feature vector for user identification. .

본 발명의 실시예는 각 구성이 하나의 컴퓨터장치에서 실행되거나, 네트워크로 연결된 복수의 컴퓨터장치에 분산되어 설치 및 실행되는 방법으로 실시될 수 있다. Embodiments of the present invention may be implemented in a way that each configuration is executed in one computer device, or distributed over a plurality of computer devices connected through a network, installed and executed.

20~30대 성인 14명이 스마트 깔창을 착용하고 3분간 걸으면서 데이터를 측정하였으며, 실험을 통해 제안한 방법이 우수하게 사용자를 식별하는 것을 확인하였다.14 adults in their 20s and 30s wore smart insoles and measured data while walking for 3 minutes.

도 1을 참조하면, 본 발명의 실시이예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치는, 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 정보 수집부(10)를 포함한다.Referring to FIG. 1 , an apparatus for identifying an individual by performing a discrimination analysis for each detection information according to an embodiment of the present invention collects information for receiving a user's gait data from a smart insole including a sensor for detecting motion information by walking includes part 10 .

또한, 정보 수집부(10)에서 수신된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 분류부(40)를 포함한다.In addition, a classification unit 40 that performs discriminant analysis for each type of sensor among the gait data received from the information collection unit 10 and identifies the user's identity using the discriminant analysis result is included.

또한, 정보 수집부(10)가 수신한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 전처리부(20)를 더 포함한다.In addition, the preprocessor 20 defines a section of a unit step in the gait data received by the information collection unit 10, divides the data for each unit step, and normalizes the divided data to have the same length. further includes

도 2를 참조하면, 이 실시예의 정보 수집부(10)가 보행 데이터를 수신하는 인솔(1)은 쓰리엘랩스(3L-Labs)에서 제작한 FootLogger라는 스마트 인솔(1)을 이용하였다. FootLogger는 8개의 압력 센서, 3축 가속도 센서 및 자이로 센서를 내장하고 있으며, 양 쪽 신발에 각각 장착된 깔창의 센서들은 동시에 100Hz의 샘플링율로 데이터를 측정한다. 압력 센서는 발바닥의 앞쪽 좌우에 3개씩, 뒤꿈치 쪽에 2개가 배치되어 있다. 압력 센서는 압력의 세기에 따라 0, 1, 2의 값으로 측정되며 0은 압력이 없는 상태, 즉 발이 지면에서 떨어진 상태를 의미하고, 1과 2는 스탠스 단계(stance phase)의 발이 지면을 디디고 있는 상태에서 센서가 위치한 부위에서의 압력의 세기를 의미한다.Referring to FIG. 2 , as the insole 1 through which the information collection unit 10 of this embodiment receives gait data, a smart insole 1 called FootLogger manufactured by 3L-Labs was used. FootLogger has built-in 8 pressure sensors, 3-axis accelerometer and gyro sensor, and the sensors on the insoles mounted on both shoes simultaneously measure data at a sampling rate of 100Hz. There are three pressure sensors on the front left and right sides of the sole and two on the heel. The pressure sensor measures 0, 1, and 2 values according to the strength of the pressure. 0 means no pressure, that is, the foot is off the ground, and 1 and 2 means the foot in the stance phase is on the ground It means the intensity of the pressure at the part where the sensor is located in the presence state.

이 실시예가 이용한 FootLogger는 스마트 인솔(1) 중 하나일 뿐이다. 본 발명은 다양한 센서를 포함하는 다른 스마트 인솔(1) 기성품이 이용되어도 되며, 신규하게 제작된 스마트 인솔(1)도 이용 가능하다.The FootLogger used in this embodiment is only one of the smart insoles 1 . In the present invention, other ready-made smart insoles 1 including various sensors may be used, and newly manufactured smart insoles 1 may also be used.

또한, 이 실시예는 두 종류의 센서(압력 센서, 가속도 센서)를 이용하는 것으로 설명하고 있으나, 자이로센서, 온도센서, 습도센서, 지자기센서 등 다른 종류의 센서를 이용하는 것도 충분히 가능하다. 또한, 이 실시예가 이용하는 스마트 인솔(1)은 압력 센서가 8개 설치되어 있으나, 본 발명이 센서의 수는 이것으로 한정되지 않는다.In addition, although this embodiment is described as using two types of sensors (pressure sensor and acceleration sensor), it is sufficiently possible to use other types of sensors, such as a gyro sensor, a temperature sensor, a humidity sensor, and a geomagnetic sensor. In addition, the smart insole 1 used in this embodiment has 8 pressure sensors installed, but the number of sensors in the present invention is not limited thereto.

도 3을 참조하면, 보행 데이터는 보행자가 걷는 동안 측정되는 일종의 시간 신호(time signal)이다. 보행은 일련의 동작이 반복되며 이루어지기 때문에, 이 실시예는 보행패턴의 특징을 반복되는 주기로부터 추출하였다. 보행에서 반복되는 최소 주기를 보행 주기라고 부르는데, 일반적으로 보행주기는 한쪽 발이 지면에 닿는 순간부터 지면에서 떨어졌다가 다시 지면에 닿기까지의 동작을 의미한다. 보행주기는 보통 한 쪽 발을 기준으로 했을 때, 다시 크게 발이 지면에 닿는 스탠스 단계(stance phase)와 발이 지면에서 떨어져 앞으로 움직이는 스윙 단계(swing phase)로 구분되며, 보다 구체적으로 7단계(heel strike, foot flat, mid stance, heel off, toe off, mid swing, late swing)로 구분하기도 한다.Referring to FIG. 3 , gait data is a kind of time signal measured while a pedestrian walks. Since gait is made by repeating a series of motions, in this example, the characteristics of the gait pattern were extracted from the repeated cycle. The minimum repeated cycle in gait is called the gait cycle. In general, the gait cycle refers to the movement from the moment one foot touches the ground to the moment it leaves the ground and then touches the ground again. The gait cycle is usually divided into a stance phase, in which the foot touches the ground again, and a swing phase, in which the foot moves forward away from the ground, when one foot is used as a standard. , foot flat, mid stance, heel off, toe off, mid swing, late swing).

먼저, 이 실시예에 따른 전처리부(20)의 걸음단위 설정부(22)는 보행이 시작하는 시점과 종료되는 시점을 찾기 위해, 한 쪽 발의 인솔에 장착된 모든 압력센서의 값이 0이 되는 스윙 단계(Swing phase)의 시작점을 기준으로 보행 주기를 검출하여 연속적으로 측정된 보행 데이터를 단위 걸음별로 분할한다.First, the step unit setting unit 22 of the pre-processing unit 20 according to this embodiment sets the value of all the pressure sensors mounted on the insole of one foot to 0 in order to find the starting and ending time of walking. The gait cycle is detected based on the starting point of the swing phase, and the gait data continuously measured is divided into unit steps.

도 4를 참조하면, 전처리부(20)의 정보 배열부(23)는 단위 걸음 데이터 샘플을 압력 센서 어레이, 가속도 센서 어레이 각각에 대해 양 쪽 발의 센서값들을 시간축(t)에 나란히 배열하여 2차원 행렬 형태로 저장한다. 행렬의 열(column)은 센서의 인덱스이고, 행(row)는 측정된 시점(time point)를 의미한다. 한 쪽 발당 8개의 센서로 구성된 압력 센서 어레이는 총 16열이고, 가속도 센서 어레이는 6열로 구성된다.Referring to FIG. 4 , the information arranging unit 23 of the preprocessing unit 20 arranges the sensor values of both feet for each of the pressure sensor array and the acceleration sensor array in a unit step data sample side by side on the time axis t, so that the two-dimensional Stored in matrix form. A column of the matrix is an index of a sensor, and a row means a measured time point. A total of 16 rows of pressure sensor arrays consist of 8 sensors per foot, and 6 rows of acceleration sensor arrays.

보행의 속도는 개인별로 다르기 때문에 사람을 구분 짓는 특성이 될 수도 있지만, 같은 사람이라도 시간과 상황에 따라 다른 속도로 걷기 때문에 데이터의 클래스 내 변동(within class variation)을 증가시키는 요인이 될 수 있다. 따라서 전처리부(20)의 정규화부(26)는 보행 측정 당시의 환경적 변수를 제거하기 위해 분할된 단위걸음의 시간 길이가 같도록 리사이징한다(t=63). 그 결과, 이 실시예는 압력 센서 어레이와 가속도 센서 어레이의 정규화된 단위 걸음에 대한 측정값은 각각 63×16, 63×3의 배열이 되었다.Since the walking speed is different for each individual, it can be a characteristic that distinguishes people, but since the same person walks at a different speed depending on the time and situation, it can be a factor that increases the within class variation of the data. Accordingly, the normalizer 26 of the preprocessor 20 resizes the divided unit steps to have the same time length in order to remove the environmental variable at the time of measuring the gait (t=63). As a result, in this embodiment, the measured values for the normalized unit steps of the pressure sensor array and the acceleration sensor array were 63×16 and 63×3, respectively.

한편, 대부분의 통계적 기반의 특징 추출 방법들은 데이터의 공분산 행렬 형태의 산란 행렬과 이를 이용한 목적함수를 정의한다. 따라서 이러한 방법들을 이용하기 위해, 정규화부(26)는 배열 형태의 각 센서 데이터를 사전 순서 연산자(lexicographic ordering operator)를 이용하여 일렬의 정보로 저장한다. 이 실시예는 압력 센서 어레이와 가속도 센서 어레이가 각각 1008×1, 378×1의 벡터(x)로 저장되었다.On the other hand, most statistical-based feature extraction methods define a scattering matrix in the form of a covariance matrix of data and an objective function using the same. Therefore, in order to use these methods, the normalizer 26 stores each sensor data in an array form as a line of information using a lexicographic ordering operator. In this embodiment, the pressure sensor array and the acceleration sensor array are stored as vectors (x) of 1008×1 and 378×1, respectively.

그런데, 모든 단위 걸음 샘플은 스윙 단계(swing phase)를 기준으로 분할되었기 때문에 모든 샘플의 특정 구간들이 0이 되어 공분산 행렬 연산과정에서 순위 부족(rank deficiency)이 발생할 수 있다. 따라서 정규화부(26)는 0 내지 0.1 사이의 랜덤 넘버를 더해주는 규칙화(regularization)를 수행함으로써 순위 부족으로 발생하는 고유값 분해(eigenvalue decomposition)의 불안정성 문제를 해결한다.However, since all unit step samples are divided based on the swing phase, certain sections of all samples become 0, and rank deficiency may occur in the covariance matrix calculation process. Accordingly, the regularization unit 26 solves the problem of instability of eigenvalue decomposition caused by lack of rank by performing regularization by adding a random number between 0 and 0.1.

한편, 이 실시예의 분류부(40)는 정보 수집부(10)에서 수신되고, 전처리부(20)에서 정규화된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 특징 추출부(42), 특징 추출부(42)의 판별 분석 결과를 종합 분석하여 사용자의 신분을 식별하는 개인식별부(45)를 포함한다.On the other hand, the classification unit 40 of this embodiment is a feature extraction unit 42, a feature extraction unit that is received by the information collection unit 10, and performs discriminative analysis on the gait data normalized by the preprocessor 20 for each sensor type. It includes a personal identification unit 45 that identifies the user's identity by comprehensively analyzing the discrimination analysis result of (42).

스마트 인솔(1)에 내장된 센서들은 0.01초 간격으로 데이터를 측정하기 때문에 보행 데이터는 고차원의 벡터로 기록된다. 따라서 특징 추출부(42)는 데이터 분류 목적으로 개발된 감독형 기계학습 기술(supervised machine learning technique)들 중 고차원 데이터를 다룰 때 발생하는 적은 샘플 크기 문제(small sample size problem)를 피할 수 있는 NLDA 방법을 이용하여 보행 데이터의 특징을 추출한다. NLDA 방법은 LDA(linear discriminant analysis) 방법을 변형(variant)한 것이다. NLDA는 클래스 내 산란 행렬의 빈 공간(Null space)에 보행 데이터의 샘플들을 투영함으로써 같은 클래스 내의 샘플들을 한 곳으로 모은 후, 다른 클래스의 샘플들의 평균 사이의 거리를 멀리 떨어뜨리는 특징 공간을 구성한다. NLDA는 클래스 내 산란 행렬의 빈 공간(Null space)을 충분히 확보할 수 있는 영상데이터와 같은 고차원 데이터에 효과적이다.Since the sensors built into the smart insole 1 measure data at 0.01 second intervals, the gait data is recorded as a high-dimensional vector. Therefore, the feature extraction unit 42 is an NLDA method that can avoid the small sample size problem that occurs when dealing with high-dimensional data among supervised machine learning techniques developed for the purpose of data classification. to extract the features of the gait data. The NLDA method is a variant of the linear discriminant analysis (LDA) method. NLDA collects samples within the same class by projecting samples of gait data onto the null space of a scattering matrix within a class, and then constructs a feature space that separates the distances between the averages of samples of different classes. . NLDA is effective for high-dimensional data such as image data that can sufficiently secure the null space of the scattering matrix within the class.

압력 센서와 가속도 센서를 통해 측정된 보행데이터는 각각 다른 속성을 가지고 있다. 각 센서는 측정의 내용이 다를 뿐만 아니라, 압력 센서는 3 양자화 레벨(quantization level)을 갖는 불연속 데이터(discrete data)인 반면, 가속도 센서 데이터는 연속적인 속성을 많이 포함하고 있다. 따라서 특징 추출부(42)는 압력 센서 데이터와 가속도 센서 데이터에 각각 NLDA를 적용하여 단일 모달(single-modal) 특징을 추출하고, 개인식별부(45)는 추출된 모든 특징들에 대한 분별력을 평가하여 최종 사용자 식별에 이용될 결합된 특징을 생성한다.The gait data measured by the pressure sensor and the acceleration sensor have different properties. Each sensor not only has different measurement contents, but the pressure sensor is discrete data having three quantization levels, whereas the acceleration sensor data includes many continuous properties. Therefore, the feature extraction unit 42 extracts a single-modal feature by applying NLDA to the pressure sensor data and the acceleration sensor data, respectively, and the personal identification unit 45 evaluates the discrimination power of all the extracted features. to create a combined feature that will be used for end-user identification.

분류할 사용자의 수를 C, 데이터 샘플의 차원이 n, 센서 검출 데이터가 S 일 때, 수학식1이 정의될 수 있다.When the number of users to be classified is C, the dimension of the data sample is n, and the sensor detection data is S, Equation 1 may be defined.

[수학식1]

Figure 112019085471346-pat00013
[Equation 1]
Figure 112019085471346-pat00013

이때, 센서 검출 데이터(S)는 압력센서 데이터(P) 또는 가속도센서 데이터(A)를 포함한다.At this time, the sensor detection data (S) includes the pressure sensor data (P) or the acceleration sensor data (A).

만약, 각 클래스에 속하는 샘플 수가

Figure 112019085471346-pat00014
면,
Figure 112019085471346-pat00015
는 수학식2와 같다.If the number of samples belonging to each class is
Figure 112019085471346-pat00014
noodle,
Figure 112019085471346-pat00015
is the same as Equation 2.

[수학식2]

Figure 112019085471346-pat00016
[Equation 2]
Figure 112019085471346-pat00016

이때,

Figure 112019085471346-pat00017
는 클래스
Figure 112019085471346-pat00018
에 속하는 j번째 샘플,
Figure 112019085471346-pat00019
는
Figure 112019085471346-pat00020
의 샘플 평균이다.At this time,
Figure 112019085471346-pat00017
is the class
Figure 112019085471346-pat00018
The jth sample belonging to
Figure 112019085471346-pat00019
Is
Figure 112019085471346-pat00020
is the sample mean of

또한, 클래스간 분산 행렬(inter-class scatter matrix)

Figure 112019085471346-pat00021
는 수학식3과 같다.Also, an inter-class scatter matrix
Figure 112019085471346-pat00021
is the same as Equation 3.

[수학식3]

Figure 112019085471346-pat00022
[Equation 3]
Figure 112019085471346-pat00022

이때,

Figure 112019085471346-pat00023
는 전체 샘플의 평균이다.At this time,
Figure 112019085471346-pat00023
is the average of all samples.

Figure 112019085471346-pat00024
과
Figure 112019085471346-pat00025
를 이용하는 판별 분석에서, 분류
Figure 112019085471346-pat00026
의 빈 공간(Null space)은 같은 클래스에 속한 모든 샘플들을 한 점으로 모으기 때문에 차별적 일률(discriminative power)이 매우 높은 공간이다. 특징 추출부(42)의 NLDA는 클래스 간의 판별력을 최대화하기 위해
Figure 112019085471346-pat00027
의 빈(null) 공간에 샘플들을 투영시킨 후, 각 클래스의 평균들 간의 분산이 최대가 되는 특징 공간을 찾는다. 이를 위해, 수학식4와 같은 목적함수를 정의하고 이를 만족시키는 투영 벡터들을 구한다.
Figure 112019085471346-pat00024
class
Figure 112019085471346-pat00025
In discriminant analysis using
Figure 112019085471346-pat00026
The null space of is a space with very high discriminative power because all samples belonging to the same class are gathered into one point. The NLDA of the feature extraction unit 42 is used to maximize discriminant power between classes.
Figure 112019085471346-pat00027
After projecting the samples to the null space of , find the feature space in which the variance between the means of each class is maximized. To this end, an objective function as in Equation 4 is defined and projection vectors satisfying it are obtained.

[수학식4]

Figure 112019085471346-pat00028
[Equation 4]
Figure 112019085471346-pat00028

이때,

Figure 112019085471346-pat00029
는
Figure 112019085471346-pat00030
개의 투영벡터
Figure 112019085471346-pat00031
으로 구성된 투영 행렬이다.At this time,
Figure 112019085471346-pat00029
Is
Figure 112019085471346-pat00030
dog projection vector
Figure 112019085471346-pat00031
It is a projection matrix composed of .

보행 데이터의 샘플

Figure 112019085471346-pat00032
에 대한 특징 벡터
Figure 112019085471346-pat00033
는 수학식5와 같이 구할 수 있다.Sample of gait data
Figure 112019085471346-pat00032
feature vector for
Figure 112019085471346-pat00033
can be obtained as in Equation 5.

[수학식5]

Figure 112019085471346-pat00034
[Equation 5]
Figure 112019085471346-pat00034

각 센서(모드) 데이터로부터 추출된 특징 벡터

Figure 112019085471346-pat00035
는 C-1개의 특징들로 구성되는데, 모든 특징이 분류 작업에서 동일한 기여를 하지는 않는다. 각 특징의 분별력은 해당 특징을 만들때 사용된 투영 벡터의 고유값(eigenvalue)에 반영이 되어 있기 때문에, 개인식별부(45)는 투영 행렬
Figure 112019085471346-pat00036
를 고유값이 큰 투영벡터부터 나열(정렬)한다. 그러나 고유값의 상대적 비교에 따른 특징 평가는 같은 모드 내에서만 유효하다. 따라서 개인식별부(45)는 각 센서 데이터에서 추출된 모든 특징들에 대한 분별력을 측정하고, 그 결과를 바탕으로 다중 모달(multi-modal) 특징 벡터를 구성한다.Feature vectors extracted from each sensor (mode) data
Figure 112019085471346-pat00035
is composed of C-1 features, which do not all contribute equally to the classification task. Since the discrimination power of each feature is reflected in the eigenvalue of the projection vector used to create the feature, the personal identification unit 45 is a projection matrix
Figure 112019085471346-pat00036
Sorts (sorts) from the projection vector with the largest eigenvalue. However, feature evaluation according to the relative comparison of eigenvalues is valid only within the same mode. Therefore, the personal identification unit 45 measures the discrimination power of all features extracted from each sensor data, and constructs a multi-modal feature vector based on the result.

특징의 유용성을 평가하는 방법은 다양하다. 그 중, 이 실시예의 개인식별부(45)는 감독형 방식(supervised fashion)으로 특징들의 분별력을 측정하는 라플라시안 점수(laplacian score)를 이용하여 각 특징들을 평가하였다. 라플라시안 점수는 국부적인 기하학적 구조(local geometric structure)를 근거로 특징(feature)들의 차별점(discrimination)을 판단한다.There are various ways to evaluate the usefulness of a feature. Among them, the personal identification unit 45 of this embodiment evaluated each feature using a laplacian score that measures the discrimination power of the features in a supervised fashion. The Laplacian score judges the discrimination of features based on the local geometric structure.

먼저, 개인식별부(45)는 각 센서에 대한 모든 특징

Figure 112019085471346-pat00037
와
Figure 112019085471346-pat00038
(
Figure 112019085471346-pat00039
)을 다중 모달 특징 벡터에 대한 후보 벡터
Figure 112019085471346-pat00040
로 병합하고 각 특징의 라플라시안 스코어를 연산한다.First, the personal identification unit 45 includes all features for each sensor.
Figure 112019085471346-pat00037
Wow
Figure 112019085471346-pat00038
(
Figure 112019085471346-pat00039
) is a candidate vector for a multimodal feature vector.
Figure 112019085471346-pat00040
, and compute the Laplacian score of each feature.

이를 위해, 학습데이터 수(N) 및 가중치 행렬

Figure 112019085471346-pat00041
와 가장 인접한 노드(node)를 갖는 NNG(nearest neighbor graph)(G)를 정의한다. i번째 노드와 j 번째 노드에 해당하는 두 후보 벡터
Figure 112019085471346-pat00042
와
Figure 112019085471346-pat00043
가 같은 클래스에 속하였으면 두 노드사이에는 엣지(edge)가 놓여진다.For this, the number of training data (N) and weight matrix
Figure 112019085471346-pat00041
Define a nearest neighbor graph (NNG) (G) with the closest node to . Two candidate vectors corresponding to the i-th node and the j-th node
Figure 112019085471346-pat00042
Wow
Figure 112019085471346-pat00043
If is belonging to the same class, an edge is placed between the two nodes.

엣지가 놓인 두 노드에 대한

Figure 112019085471346-pat00044
는
Figure 112019085471346-pat00045
이고 (여기서 m은 사용자 매개 변수, 이 실시예는 m을 2로 설정), 그렇지 않은 경우
Figure 112019085471346-pat00046
는 0이다.for two nodes with edges
Figure 112019085471346-pat00044
Is
Figure 112019085471346-pat00045
(where m is a user parameter, this example sets m to 2), otherwise
Figure 112019085471346-pat00046
is 0.

그런 다음,

Figure 112019085471346-pat00047
, D 및 1이 각각
Figure 112019085471346-pat00048
,
Figure 112019085471346-pat00049
및
Figure 112019085471346-pat00050
일 때, r 번째 피처에 대한 라플라시안 점수
Figure 112019085471346-pat00051
은 [수학식6]과 같이 연산된다.after that,
Figure 112019085471346-pat00047
, D and 1 are each
Figure 112019085471346-pat00048
,
Figure 112019085471346-pat00049
and
Figure 112019085471346-pat00050
When , Laplacian score for the rth feature
Figure 112019085471346-pat00051
is calculated as in [Equation 6].

[수학식6]

Figure 112019085471346-pat00052
[Equation 6]
Figure 112019085471346-pat00052

이때,

Figure 112019085471346-pat00053
이고, L=D-
Figure 112019085471346-pat00054
이다.At this time,
Figure 112019085471346-pat00053
and L=D-
Figure 112019085471346-pat00054
am.

개인식별부(45)는 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산한다. 즉, 라플라시안 점수에 기초하여 더 큰 라플라시안 점수에 대응하는 피쳐들이 사용자 식별을 위한 분류자에 입력들로서 사용되는 결합된 피쳐 벡터

Figure 112019085471346-pat00055
을 구성하도록 선택된다.The individual identification unit 45 calculates a multi-modal feature vector by using the Laplacian score to input the discrimination information in the order of the single modal features. That is, based on the Laplacian score, the features corresponding to the larger Laplacian score are used as inputs to the classifier for user identification.
Figure 112019085471346-pat00055
is chosen to configure

개인식별부(45)는 다중 모달 특징 벡터의 값 및 기 마련된 사용자 식별 분류기를 이용하여 상기 사용자의 신분을 식별하게 된다. 이 실시예는 사용자 식별 분류기로써 단일 모달 특징(single-modal feature)과 다중 모달 특징(multi-modal feature)을 입력할 수 있는 One-NN 규칙(One-Nearest Neighborhood rule)을 이용하였다. 또한, One-NN 규칙은 거리 측정(distance measure)에 유클리디안 거리(Euclidean distance)를 이용하였다.The personal identification unit 45 identifies the identity of the user by using the value of the multi-modal feature vector and the user identification classifier. In this embodiment, as a user identification classifier, a One-Nearest Neighborhood rule capable of inputting a single-modal feature and a multi-modal feature is used. In addition, the One-NN rule used Euclidean distance for distance measure.

이 실시예에서 사용자의 신분이란, 이 실시예에 기 저장된 사용자의 정보로써, 보행 특징과 매칭되어 기 저장된 관련자의 이름, 고유의 ID코드, 연락처 등이 포함될 수 있다. In this embodiment, the user's identity is information of the user pre-stored in this embodiment, and may include the name of a related person, a unique ID code, contact information, and the like, which are pre-stored by matching walking characteristics.

이어서, 본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법을 설명한다.Next, a method for identifying an individual by performing discriminative analysis for each detection information according to an embodiment of the present invention will be described.

도 5 및 도 6을 참조하면, 본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법은, 정보수집부가 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 단계(S120), 전처리부(20)가 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 단계(S140), 분류부(40)가 정규화된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 단계(S160)를 포함한다.5 and 6 , in the method of identifying an individual by performing discrimination analysis for each detection information according to an embodiment of the present invention, the user's gait from the smart insole including the sensor for detecting motion information by the information collection unit Receiving data (S120), the preprocessor 20 defining a section of a unit step in the gait data, dividing the data for each unit step, and normalizing the divided data so that the lengths of the divided data are all the same (S140), the classification unit 40 performs discriminant analysis for each type of sensor among the normalized gait data, and uses the discriminant analysis result to identify the user's identity (S160).

도 7을 참조하면, S160 단계는 정보 수집부(10)에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계(S162), 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계(S166, S168)를 포함한다.Referring to Figure 7, step S160 is a step of performing discriminant analysis for each sensor type on the gait data received from the information collection unit 10 (S162), a step of identifying the user's identity by comprehensively analyzing the results of the discriminant analysis (S162) S166 and S168).

판별 분석은 NLDA(Null-space linear discriminant analysis) 방법이 될 수 있다.Discriminant analysis may be a null-space linear discriminant analysis (NLDA) method.

S162 단계는 센서 종류별 보행 데이터를 NLDA에 적용하여 단일 모달(single-modal) 특징을 추출한다. 또한, 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는 센서 종류별 단일 모달(single-modal) 특징의 분별력을 평가하여 사용자 식별에 이용될 결합된 특징을 생성한다.In step S162, a single-modal feature is extracted by applying the gait data for each sensor type to the NLDA. In addition, the step of identifying the user's identity by comprehensively analyzing the result of the discriminant analysis generates a combined feature to be used for user identification by evaluating the discrimination power of a single-modal feature for each sensor type.

구체적으로 S162 단계는, 보행 데이터의 샘플

Figure 112019085471346-pat00056
에 대한 특징 벡터
Figure 112019085471346-pat00057
를 수학식5로 연산한다.Specifically, in step S162, a sample of gait data
Figure 112019085471346-pat00056
feature vector for
Figure 112019085471346-pat00057
is calculated by Equation 5.

또한, 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는, 라플라시안 점수(laplacian score)를 이용하여 상기 단일 모달 특징의 분별력(discrimination)을 판단한다.In addition, in the step of identifying the user's identity by comprehensively analyzing the results of the discriminant analysis, the discrimination of the single modal feature is determined using a laplacian score.

구체적으로, 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는, 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산하는 단계(S166), 다중 모달 특징 벡터의 값을 이용하여 사용자의 신분을 식별하는 단계(S168)를 포함한다.Specifically, the step of identifying the user's identity by comprehensively analyzing the results of the discriminant analysis includes inputting a multi-modal feature vector by using the Laplacian score to input the discrimination information among the single modal features in the order of the most. Calculating (S166), and identifying the identity of the user using the value of the multi-modal feature vector (S168).

한편, S140 단계는 센서 종류별 단위 걸음에 대한 검출 값을 배열로 나타내는 단계, 사전 순서 연산자(lexicographic ordering operator)를 이용하여 상기 각 배열을 일렬의 정보로 변환하는 단계를 포함한다.Meanwhile, step S140 includes displaying the detection values for unit steps for each sensor type in an array, and converting each array into a row of information using a lexicographic ordering operator.

실험.Experiment.

FootLogger 스마트 인솔을 이용하여 실측한 데이터를 이용하여 본 발명의 실시예에 따른 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치 및 방법의 성능을 평가하였다.The performance of the device and method for identifying an individual was evaluated by performing discriminative analysis for each detection information according to an embodiment of the present invention using the data measured using the FootLogger smart insole.

데이터 수집을 위해 20~30대 성인 14명이 참여하였으며, 한 사람당 3분 동안의 걸음을 측정하였다. 14명에 대한 걸음 데이터는 전처리 과정을 거쳐 총 2295개의 단위걸음 샘플로 저장되었다. 전체 샘플 중 랜덤하게 700개의 샘플을 선택하고, 이 중 한 사람당 샘플을 3개씩 선별하여 학습 데이터 셋을 42개(3×14명) 구성하고, 나머지 데이터들(658개)은 테스트셋에 이용하였다. 이러한 실험을 25번 반복하여 얻은 인식률들의 평균을 실험 결과로 제시한다.For data collection, 14 adults in their 20s and 30s participated, and each person's steps were measured for 3 minutes. Step data for 14 people was pre-processed and stored as a total of 2295 unit step samples. Among all samples, 700 samples were randomly selected, and among them, three samples were selected for each person to compose 42 training data sets (3 × 14 people), and the remaining data (658 samples) were used for the test set. . The average of the recognition rates obtained by repeating this experiment 25 times is presented as the experimental result.

사용자 식별을 위한 분류기로는 단일 모달 특징(single-modal feature)과 다중 모달 특징(multi-modal feature)을 입력으로 하는 One-NN 규칙(One-Nearest Neighborhood rule)을 사용하였으며, 거리 측정(distance measure)에는 유클리디안 거리(Euclidean distance)를 사용하였다.As a classifier for user identification, the One-Nearest Neighborhood rule with single-modal features and multi-modal features as inputs was used, and distance measure ), the Euclidean distance was used.

도 8은 스마트 인솔(1)로 측정한 14명의 단위 걸음 데이터에 대해 입력 데이터 공간(input data space)(

Figure 112019085471346-pat00058
및
Figure 112019085471346-pat00059
)과 다중 모달 특징 공간(
Figure 112019085471346-pat00060
)에서 각 단계의 데이터 샘플을 2차원적으로 나타낸 것이다. 고차원 데이터를 2차원 공간에 시각화(visualization)하기 위해, t-SNE(t-distributed Stochastic Neighbor Embedding)를 이용하였다. t-SNE는 다양한 기계 학습 애플리케이션에서 이용되는 비선형 차원 감소 방법이다.8 is an input data space (input data space) for the unit step data of 14 people measured with the smart insole (1).
Figure 112019085471346-pat00058
and
Figure 112019085471346-pat00059
) and the multimodal feature space (
Figure 112019085471346-pat00060
) is a two-dimensional representation of the data samples of each step. In order to visualize high-dimensional data in a two-dimensional space, t-distributed stochastic neighbor embedding (t-SNE) was used. t-SNE is a nonlinear dimensionality reduction method used in various machine learning applications.

입력 공간(input space)보다 특징 공간(feature space)에서 대상(subject)별로 피험자가 보다 분명하게 클러스터링(clustering)되어 있는 것을 볼 수 있다. 특징 추출에 의한 클러스터링 개선 효과는 특히 가속도 센서 데이터에서 두드러지게 나타났다. 멀티 모달 특징 공간(multi-modal feature space)은 클러스터(cluster)의 분산(scatter)이 가속도 센서 데이터의 입력 공간보다 더 적게 나타난 것을 볼 수 있다.It can be seen that the subjects are more clearly clustered by subject in the feature space than in the input space. The effect of clustering improvement by feature extraction was particularly noticeable in the accelerometer data. In the multi-modal feature space, it can be seen that the scatter of the cluster is smaller than the input space of the acceleration sensor data.

도 9는 각 단계별 사용자 식별 성능을 보여준다. 도 9에서, 다중 모달 특징(multi-modal feature)(

Figure 112019085471346-pat00061
)이 단일 모달 특징(single-modal feature)(
Figure 112019085471346-pat00062
및
Figure 112019085471346-pat00063
)보다 더 우수한 인식 성능을 보여 주었다.
Figure 112019085471346-pat00064
의 인식률은 특징 공간의 차원이 늘어남에 따라 점차 증가하다가 약 20차원 정도부터 인식률이 포화(saturated)되는 것을 볼 수 있다. 따라서, 각 특징들에 대한 분별력 평가를 통해 인식에 유용한 특징들을 순차적으로 선별하면 사용자 식별을 위한 다중 모달 특징 벡터를 구성하는데 효과적이다.9 shows the user identification performance for each stage. 9, a multi-modal feature (
Figure 112019085471346-pat00061
) is a single-modal feature (
Figure 112019085471346-pat00062
and
Figure 112019085471346-pat00063
) showed better recognition performance than
Figure 112019085471346-pat00064
It can be seen that the recognition rate of is gradually increased as the dimension of the feature space increases, and then the recognition rate is saturated from about 20 dimensions. Therefore, it is effective to construct a multi-modal feature vector for user identification by sequentially selecting features useful for recognition through discrimination evaluation of each feature.

한편, 압력 센서 데이터로부터 얻은 단일 모달 특징(single-modal feature)(

Figure 112019085471346-pat00065
)이 가속도 센서 데이터의 특징(feature)(
Figure 112019085471346-pat00066
)보다 더 좋은 인식 성능을 보여주었다. 이것은 사용자를 구분할 수 있는 개인 고유의 보행 특징이 걸을 때에 발바닥에 체중이 실리는 지점들의 분포에서 더 잘 나타남을 보여준다.On the other hand, a single-modal feature obtained from the pressure sensor data (
Figure 112019085471346-pat00065
) is a feature of the accelerometer data (
Figure 112019085471346-pat00066
) showed better recognition performance. This shows that an individual's unique gait characteristic that can distinguish the user is better expressed in the distribution of the weight-bearing points on the sole of the foot when walking.

이어서, 사용자 식별을 위한 보행 특징을 추출하는데 필요한 최소 걸음 수를 확인하기 위해, 한 개의 단위걸음으로 보행 샘플을 구성했을 때와(k=1), 두 걸음(k=2)과 세 걸음(k=3)으로 보행 샘플을 구성했을 때의 인식 성능을 평가해 보았다. k=1은 총 걸음 샘플의 수가 2295개이고, k=2 및 k=3인 경우는 각각 1148개와 765개가 된다.Next, in order to confirm the minimum number of steps required to extract gait features for user identification, when a gait sample is constructed with one unit step (k=1), two steps (k=2), and three steps (k =3) to evaluate the recognition performance when a walking sample was constructed. For k=1, the total number of step samples is 2295, and for k=2 and k=3, it is 1148 and 765, respectively.

도 10은 압력 센서와 가속도 센서 각각의 단일 모달 특징과 다중 모달 특징의 k에 대한 인식률을 나타낸다. 도 10에서, 단일 모달 특징(single-modal feature)과 다중 모달 특징(multi-modal feature) 모두 k가 증가함에 따라 인식률이 향상되었다. 모든 k에 대해서 다중 모달 특징(multi-modal feature)이 단일 모달 특징(single-modal feature)보다 좋은 인식 성능을 보여주었으며, 특히 다중 모달 특징(multi-modal feature)는 단일 모달 특징(single-modal feature)들에 비해 k=1에서도 93% 이상의 높은 인식률을 보여주었다. 이는 서로 다른 종류의 센서들의 특성이 상호 보완되면서 시너지 효과를 통해 적은 데이터에서도 좋은 특징들을 추출할 수 있기 때문으로 판단된다.10 shows the recognition rates for k of a single modal feature and a multi-modal feature of a pressure sensor and an acceleration sensor, respectively. In FIG. 10 , the recognition rates of both single-modal features and multi-modal features improved as k increased. For all k, the multi-modal feature showed better recognition performance than the single-modal feature, and in particular, the multi-modal feature ) showed a higher recognition rate of more than 93% even at k=1. This is thought to be because the characteristics of different types of sensors complement each other and good features can be extracted from a small amount of data through a synergistic effect.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 다음 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.Although preferred embodiments of the present invention have been described above, various changes, modifications and equivalents may be used in the present invention. It is clear that the present invention can be equally applied by appropriately modifying the above embodiments. Therefore, the above description does not limit the scope of the present invention, which is defined by the limits of the following claims.

1 : 스마트 인솔
10 : 정보 수집부
20 : 전처리부
22 : 걸음단위 설정부
23 : 정보 배열부
26 : 정규화부
40 : 분류부
42 : 특징 추출부
45 : 개인식별부 1: Smart insole
10: information collection unit
20: preprocessor
22: step unit setting unit
23: information arrangement unit
26: normalization unit
40: classification unit
42: feature extraction unit
45: personal identification unit

Claims (20)

보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 정보 수집부;
상기 정보 수집부에서 수신된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 상기 판별 분석 결과를 이용하여 상기 사용자의 신분을 식별하는 분류부를 포함하며,
상기 분류부는, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하며, 센서 종류별 보행 데이터를 NLDA에 적용하여 단일 모달(single-modal) 특징을 추출하는 특징 추출부; 및
상기 특징 추출부의 판별 분석 결과를 종합 분석하여 사용자의 신분을 식별하는 개인식별부;를 포함하고,
상기 개인식별부는, 상기 센서 종류별 단일 모달(single-modal) 특징의 분별력을 평가하여 사용자 식별에 이용될 결합된 특징을 생성하며, 라플라시안 점수(laplacian score)를 이용하여 상기 단일 모달 특징의 분별력(discrimination)을 판단하며, 상기 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산하며, 상기 다중 모달 특징 벡터의 값을 이용하여 상기 사용자의 신분을 식별하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.an information collection unit for receiving user's gait data from a smart insole including a sensor for detecting movement information by walking;
and a classification unit that performs discriminant analysis for each type of sensor among the gait data received from the information collection unit, and identifies the identity of the user using the discriminant analysis result,
The classification unit may include: a feature extraction unit configured to perform discriminative analysis on the gait data received from the information collection unit for each sensor type, and extract a single-modal feature by applying the gait data for each sensor type to NLDA; and
Including; a personal identification unit that identifies the user's identity by comprehensively analyzing the result of the discrimination analysis of the feature extraction unit;
The personal identification unit generates a combined feature to be used for user identification by evaluating the discrimination power of a single-modal feature for each sensor type, and uses a laplacian score to discriminate the single-modal feature ), and using the Laplacian score, input the discrimination information in the order of the single modal features in the order of the most to calculate a multi-modal feature vector, and using the value of the multi-modal feature vector, A device for identifying an individual by performing a discriminative analysis for each detection information, characterized in that the identification of the user is identified. 삭제delete 제1항에 있어서,
상기 특징 추출부의 판별 분석은 NLDA(Null-space linear discriminant analysis) 방법인 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.According to claim 1,
The discriminant analysis of the feature extraction unit is an apparatus for identifying an individual by performing discriminant analysis for each detection information, characterized in that the NLDA (Null-space linear discriminant analysis) method. 삭제delete 제3항에 있어서,
상기 특징 추출부는 보행 데이터의 샘플
Figure 112021072544043-pat00067
에 대한 특징 벡터
Figure 112021072544043-pat00068
를
Figure 112021072544043-pat00069

으로 연산하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.
(이때,
Figure 112021072544043-pat00070
는
Figure 112021072544043-pat00071
개의 투영벡터
Figure 112021072544043-pat00072
으로 구성된 투영행렬)4. The method of claim 3,
The feature extracting unit is a sample of gait data
Figure 112021072544043-pat00067
feature vector for
Figure 112021072544043-pat00068
cast
Figure 112021072544043-pat00069

A device for identifying an individual by performing a discriminatory analysis for each detection information, characterized in that the calculation is performed as
(At this time,
Figure 112021072544043-pat00070
Is
Figure 112021072544043-pat00071
projection vector
Figure 112021072544043-pat00072
projection matrix composed of 삭제delete 삭제delete 제1항에 있어서,
상기 개인식별부는 상기 다중 모달 특징 벡터를 One-NN 규칙(One-Nearest Neighborhood rule)에 입력하여 상기 사용자의 신분을 식별하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.According to claim 1,
The individual identification unit inputs the multi-modal feature vector into a One-Nearest Neighborhood rule to identify an individual by performing discriminative analysis for each detection information, characterized in that the identification of the user is identified. 제8항에 있어서,
상기 개인식별부의 One-NN 규칙은 거리 측정(distance measure)에 유클리디안 거리(Euclidean distance)를 이용하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.9. The method of claim 8,
The One-NN rule of the personal identification unit identifies an individual by performing discriminant analysis for each detection information, characterized in that it uses a Euclidean distance for a distance measure. 제1항에 있어서,
상기 정보 수집부가 수신한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 전처리부를 더 포함하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.According to claim 1,
Detecting characterized in that it further comprises a pre-processing unit for defining a section of a unit step from the gait data received by the information collecting unit, dividing the data for each unit step, and normalizing the divided data to have the same length. A device that identifies an individual by performing discriminant analysis by information. 제10항에 있어서,
상기 전처리부는 센서 종류별 단위 걸음에 대한 검출 값을 배열로 나타내고, 사전 순서 연산자(lexicographic ordering operator)를 이용하여 각 배열을 일렬의 정보로 변환하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.11. The method of claim 10,
The preprocessor performs discriminant analysis for each detection information, characterized in that the detection values for the unit steps for each sensor type are represented in an array, and each array is converted into a line of information using a lexicographic ordering operator to provide individual identifying device. 제11항에 있어서,
상기 전처리부는 0 내지 0.1 사이의 랜덤 넘버를 더해주는 규칙화(regularization)를 수행함으로써 순위 부족으로 발생하는 고유값 분해(eigenvalue decomposition)의 불안정성 문제를 해결하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 장치.12. The method of claim 11,
The pre-processing unit performs discriminant analysis for each detection information, characterized in that it solves the problem of instability of eigenvalue decomposition caused by lack of rank by performing regularization that adds a random number between 0 and 0.1. A device that identifies an individual. 정보수집부가 보행에 의한 운동 정보 검출 센서를 포함하는 스마트 인솔로부터 사용자의 보행 데이터를 수신하는 단계;
전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 단계;
분류부가 정규화된 보행 데이터 중 센서의 종류별로 판별 분석(discriminant analysis)을 실시하고, 판별 분석 결과를 이용하여 사용자의 신분을 식별하는 단계를 포함하며,
상기 분류부는, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계; 및 상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계를 포함하며,
상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는, 라플라시안 점수(laplacian score)를 이용하여 단일 모달 특징의 분별력(discrimination)을 판단하며, 상기 라플라시안 점수를 이용하여 상기 단일 모달 특징 중 분별 정보가 많은 순서대로 입력하여 다중 모달 특징 벡터(multi-modal feature vector)를 연산하는 단계, 상기 다중 모달 특징 벡터의 값을 이용하여 상기 사용자의 신분을 식별하는 단계를 포함하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법.Receiving, by the information collection unit, the user's gait data from the smart insole including a sensor for detecting movement information by walking;
dividing, by a preprocessing unit, a section of a unit step in the gait data, dividing the data for each unit step, and normalizing the divided data to have the same length;
A classification unit performs discriminant analysis for each type of sensor among the normalized gait data, and uses the discriminant analysis result to identify the user's identity,
performing, by the classification unit, a discriminative analysis on the gait data received from the information collection unit for each sensor type; and identifying the user's identity by comprehensively analyzing the results of the discriminant analysis,
In the step of identifying the identity of the user by comprehensively analyzing the results of the discriminant analysis, the discrimination of a single modal feature is determined using a laplacian score, and among the single modal features using the laplacian score. Detecting comprising the steps of calculating a multi-modal feature vector by inputting discrimination information in the order of many, and identifying the identity of the user using the value of the multi-modal feature vector A method of identifying an individual by performing discriminant analysis by information. 삭제delete 제13항에 있어서,
상기 판별 분석은 NLDA(Null-space linear discriminant analysis) 방법인 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법.14. The method of claim 13,
The discriminant analysis is a method of identifying an individual by performing discriminant analysis for each detection information, characterized in that the NLDA (Null-space linear discriminant analysis) method. 제15항에 있어서,
상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계는 센서 종류별 보행 데이터를 NLDA에 적용하여 단일 모달(single-modal) 특징을 추출하고,
상기 판별 분석의 결과를 종합 분석하여 사용자의 신분을 식별하는 단계는 상기 센서 종류별 단일 모달(single-modal) 특징의 분별력을 평가하여 사용자 식별에 이용될 결합된 특징을 생성하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법.16. The method of claim 15,
In the step of performing discriminative analysis of the gait data received from the information collection unit for each sensor type, a single-modal feature is extracted by applying the gait data for each sensor type to NLDA,
The step of identifying the identity of the user by comprehensively analyzing the result of the discriminant analysis comprises generating a combined feature to be used for user identification by evaluating the discrimination power of the single-modal feature for each sensor type. A method of identifying an individual by conducting a stellar discriminant analysis. 제16항에 있어서, 상기 정보 수집부에서 수신된 보행 데이터를 센서 종류별로 판별 분석을 실시하는 단계는,
보행 데이터의 샘플
Figure 112019085471346-pat00073
에 대한 특징 벡터
Figure 112019085471346-pat00074
를
Figure 112019085471346-pat00075

으로 연산하는 것을 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법.
(이때,
Figure 112019085471346-pat00076
는
Figure 112019085471346-pat00077
개의 투영벡터
Figure 112019085471346-pat00078
으로 구성된 투영행렬)The method according to claim 16, wherein the step of discriminating and analyzing the gait data received by the information collection unit for each sensor type comprises:
Sample of gait data
Figure 112019085471346-pat00073
feature vector for
Figure 112019085471346-pat00074
cast
Figure 112019085471346-pat00075

A method of identifying an individual by performing a discriminatory analysis for each detection information, characterized in that the calculation is performed as
(At this time,
Figure 112019085471346-pat00076
Is
Figure 112019085471346-pat00077
projection vector
Figure 112019085471346-pat00078
projection matrix composed of 삭제delete 삭제delete 제13항에 있어서, 상기 전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 정규화(normalize)하는 단계는,
센서 종류별 단위 걸음에 대한 검출 값을 배열로 나타내는 단계;
사전 순서 연산자(lexicographic ordering operator)를 이용하여 상기 각 배열을 일렬의 정보로 변환하는 단계를 포함하는 특징으로 하는 검출정보별 판별 분석을 실시하여 개인을 식별하는 방법.14. The method of claim 13, wherein the step of dividing the data for each unit step by defining a section of the unit step in the gait data by the preprocessor, and normalizing the divided data so that all lengths of the divided data are the same,
Representing a detection value for a unit step for each sensor type in an array;
A method of identifying an individual by performing discriminant analysis for each detection information, comprising the step of converting each array into a line of information using a lexicographic ordering operator.
KR1020190101807A 2019-08-20 2019-08-20 Apparatus and method for identifying individuals by performing discriminant analysis for various detection information KR102302234B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190101807A KR102302234B1 (en) 2019-08-20 2019-08-20 Apparatus and method for identifying individuals by performing discriminant analysis for various detection information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101807A KR102302234B1 (en) 2019-08-20 2019-08-20 Apparatus and method for identifying individuals by performing discriminant analysis for various detection information

Publications (3)

Publication Number Publication Date
KR20210022375A KR20210022375A (en) 2021-03-03
KR102302234B1 true KR102302234B1 (en) 2021-09-14
KR102302234B9 KR102302234B9 (en) 2022-03-15

Family

ID=75151261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101807A KR102302234B1 (en) 2019-08-20 2019-08-20 Apparatus and method for identifying individuals by performing discriminant analysis for various detection information

Country Status (1)

Country Link
KR (1) KR102302234B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990869B (en) * 2021-03-12 2023-08-22 盐城师范学院 Intelligent student attendance management device
CN116439693B (en) * 2023-05-18 2024-05-28 四川大学华西医院 Gait detection method and system based on FMG

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583369B1 (en) 2015-04-27 2016-01-21 (주)엠더블유스토리 System and method for recognizing gait, and storage medium for recoding computer program therefor
KR101790719B1 (en) * 2015-10-13 2017-10-26 충북대학교 산학협력단 Method for identificating Person on the basis gait data

Also Published As

Publication number Publication date
KR102302234B9 (en) 2022-03-15
KR20210022375A (en) 2021-03-03

Similar Documents

Publication Publication Date Title
US10503967B2 (en) Fast behavior and abnormality detection
Xia et al. Classification of gait rhythm signals between patients with neuro-degenerative diseases and normal subjects: Experiments with statistical features and different classification models
CN108244744B (en) Motion state identification method, sole and shoe
Dolatabadi et al. An automated classification of pathological gait using unobtrusive sensing technology
Kumar et al. Gait recognition based on vision systems: A systematic survey
Uddin et al. Random forests based recognition of human activities and postural transitions on smartphone
US20190365287A1 (en) Apparatus and method for gait type classification using pressure sensor of smart insole
Zheng et al. Evaluation framework on translation-invariant representation for cumulative foot pressure image
Alzahrani et al. Comprehensive evaluation of skeleton features-based fall detection from Microsoft Kinect v2
KR102302234B1 (en) Apparatus and method for identifying individuals by performing discriminant analysis for various detection information
Rastegari et al. A bag-of-words feature engineering approach for assessing health conditions using accelerometer data
KR102280291B1 (en) Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information
Vajdi et al. Human gait database for normal walk collected by smartphone accelerometer
Nandy et al. A study on gait entropy image analysis for clothing invariant human identification
KR102175191B1 (en) Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole
Aydemir et al. A novel biometric recognition method based on multi kernelled bijection octal pattern using gait sound
Horst et al. Modeling biological individuality using machine learning: A study on human gait
KR102194313B1 (en) Apparatus and method for identifying individuals by performing neural network analysis for various detection information
Bora et al. Understanding human gait: A survey of traits for biometrics and biomedical applications
KR102302719B1 (en) Apparatus and method for classification of gait type by performing neural network analysis for various detection information
Yadav et al. SPECIAL SESSION ON RECENT ADVANCES IN COMPUTATIONAL INTELLIGENCE & TECHNOLOGYS (SS_10_RACIT) Development of Generic Human Motion Simulation Categorization using Inception based CNN
Uslu et al. RAM: Real Time Activity Monitoring with feature extractive training
Huang et al. Human behavior recognition based on motion data analysis
Dehzangi et al. Activity detection using fusion of multi-pressure sensors in insoles
Iskandar et al. A comparative study of the different features engineering techniques based on the sensor used in footstep identification and analysis using the floor-based approach

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]