KR20190136324A - Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole - Google Patents
Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole Download PDFInfo
- Publication number
- KR20190136324A KR20190136324A KR1020180061894A KR20180061894A KR20190136324A KR 20190136324 A KR20190136324 A KR 20190136324A KR 1020180061894 A KR1020180061894 A KR 1020180061894A KR 20180061894 A KR20180061894 A KR 20180061894A KR 20190136324 A KR20190136324 A KR 20190136324A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- walking
- pressure sensor
- classifying
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0247—Pressure sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
본 발명은 보행 패턴 분석에 관한 것으로, 구체적으로 압력 센서만을 이용하여 다양한 변이가 존재하는 보행데이터의 형태를 분류할 수 있도록 한 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법에 관한 것이다.The present invention relates to a gait pattern analysis, and more particularly, to an apparatus and method for classifying a gait pattern using a pressure sensor of a smart insole to classify types of gait data having various variations using only a pressure sensor. .
보행은 인간의 대표적인 동작들 가운데 하나로서, 보행 패턴의 분석은 생체공학, 재활의학, 헬스케어 등의 많은 응용분야에서 활용될 수 있다.Gait is one of human representative movements, and the analysis of gait patterns can be utilized in many applications such as biotechnology, rehabilitation medicine, and healthcare.
보행분석의 세부 분야의 하나로서 보행형태 분류는 센서를 사용해 취득한 보행데이터를 바탕으로 파킨슨씨병 진단, 스포츠 분석, 노인 보행보조기구 개발을 위해 연구되고 있다.As one of the detailed areas of pedestrian analysis, pedestrian type classification is being studied for Parkinson's disease diagnosis, sports analysis, and development of elderly pedestrian aid based on pedestrian data acquired using sensors.
보행형태는 신체적 특성에 의한 물리적 차이, 속도 및 지형의 차이와 같은 요인에 쉽게 영향을 받는 특성을 가지고 있는데, 이러한 특성은 같은 보행형태 내에서의 변이를 크게 만들어 보행형태 분류의 성능에 악영향을 미친다.Pedestrian styles are easily influenced by factors such as physical differences, speed, and topography due to physical characteristics, which greatly affect the performance of the classification of walking styles by making the variation within the same walking style large. .
이를테면, 같은 걸음 동작에 대해서도 평지를 걷는 것과 언덕길을 걷는 것의 패턴에 차이가 있고 이러한 변이는 '걸음'이라는 보행형태를 분류하기 위한 특징추출을 힘들게 한다.For example, there is a difference in the pattern of walking on flat lands and walking on hills for the same walking motion, and this variation makes it difficult to extract features to classify the walking pattern of 'walking'.
보행형태 분류시스템은 센서데이터를 취득하는 센서 모듈과 취득된 데이터를 기반으로 분류결과를 계산하는 어플리케이션 모듈로 구성된다 보행분류에 이용되는 센서로는 주로 비디오 센서, EMG(electromyographic)센서, plantar pressure 센서, 가속도센서, 자이로 센서 등이 있다.The walk type classification system consists of a sensor module that acquires sensor data and an application module that calculates a classification result based on the acquired data. The sensors used for the walk classification are mainly a video sensor, an EMG (electromyographic) sensor, and a plantar pressure sensor. , Accelerometer and gyro sensor.
하지만, 대부분의 센서들은 센서의 크기, 설치의 불편함과 같은 제약으로 인해 제한된 환경에서만 보행데이터를 측정할 수 밖에 없는 한계가 존재했다.However, most sensors have limitations such as measuring walking data only in limited environments due to limitations such as sensor size and inconvenience of installation.
최근 웨어러블 센서 기술의 발전은 보행데이터의 측정에 사용할 장비의 경량화 및 간소화를 이끌어내었다.Recent advances in wearable sensor technology have led to the reduction in weight and simplicity of equipment used to measure walking data.
이러한 요인들에 기인해 장소 및 행동의 제약이 완화된 보행분류 연구가 활발히 진행되고 있으며, 스마트폰, 스마트 워치의 가속도센서, 자이로센서를 이용한 보행분류 연구가 많이 이루어지고 있다.Due to these factors, research on pedestrian classification with eased restrictions on places and behaviors is being actively conducted, and pedestrian classification using smartphones, smart watches, acceleration sensors, and gyro sensors is being conducted.
최근 압력 센서를 부착한 스마트 깔창이 개발되어 가속도, 자이로 뿐만 아니라 발바닥 표면의 정보를 이용하여 보행형태를 분류하는 연구도 시도되고 있다.Recently, a smart insole equipped with a pressure sensor has been developed, and research has been attempted to classify walking patterns using information on the sole surface as well as acceleration and gyro.
어플리케이션 모듈은 크게 전처리 단계, 특징추출 단계, 분류 단계의 세 단계로 나눌 수 있다.The application module can be divided into three stages: preprocessing stage, feature extraction stage, and classification stage.
전처리 단계에서는 수집된 데이터의 노이즈를 제거하고 분석에 적합한 형태로 데이터를 변환한다. 이를 위해, low-pass filter, 이동평균 필터(moving average filter), 다단계 웨이블릿 분해(multi level wavelet decomposition)와 같은 노이즈 제거 필터와 걸음 단위를 정의하기 위해 영점교차검출(zero-crossing detection), sliding window와 같은 방법들이 사용된다.The preprocessing step removes noise from the collected data and transforms the data into a form suitable for analysis. To do this, zero-crossing detection, sliding window to define noise reduction filters and step units, such as low-pass filters, moving average filters, and multi-level wavelet decomposition The same method is used.
특징추출 단계는 데이터로부터 분류가 용이한 특징을 추출하는 단계로서, 다양한 종류의 선형 판별 분석 방법이나, 신경망과 같은 기계학습 방법들이 사용될 수 있다.The feature extraction step is to extract features that can be easily classified from data. Various types of linear discriminant analysis methods and machine learning methods such as neural networks may be used.
분류 단계에서는 K-최근접 이웃 분류기(K-nearest neighbor classifier), 지지벡터기계(support vector machine)가 사용될 수 있다.In the classification step, a K-nearest neighbor classifier and a support vector machine may be used.
종래 기술의 보행패턴 분류를 위한 방법들을 설명하면 다음과 같다.A method for classifying a walking pattern of the prior art is as follows.
도 1은 종래 기술의 압력 센서를 이용한 보행 형태 분류를 위한 장치의 구성도이고, 도 2는 종래 기술의 가속도 센서 및 자이로 센서를 이용한 보행 형태 분류를 위한 장치의 구성도이다.1 is a block diagram of an apparatus for classifying walking types using a pressure sensor of the prior art, and FIG. 2 is a block diagram of an apparatus for classifying walking types using an acceleration sensor and a gyro sensor according to the prior art.
도 1은 스마트 깔창의 압력 센서로부터 취득된 보행데이터에 kernel PCA(kernel principal component analysis)와 SVM(support vector machine)을 적용하여 계단, 평지에서의 보행 형태를 분류하는 분류기를 나타낸 것이다.FIG. 1 illustrates a classifier for classifying walking patterns on stairs and plains by applying kernel principal component analysis (PCA) and support vector machine (SVM) to walking data obtained from a pressure sensor of a smart insole.
그러나 PCA는 데이터의 공분산 행렬(covariance matrix)의 분산이 최대화되는 방향으로 데이터를 사영하는 방법으로 원치 않는 변이까지 반영하게 되므로 다양한 변이가 존재하는 데이터를 분류하는 문제에 적합하지 않다는 한계를 가지고 있다.However, PCA has a limitation that it is not suitable for classifying data with various variations because it reflects unwanted variations by projecting data in the direction of maximizing the variance of the covariance matrix of the data.
그리고 도 2는 신발에 부착된 가속도 센서, 자이로 센서로부터 데이터를 취득한 후, 웨이블릿 분해를 적용한 특징을 사용하여 평지와 계단에서의 보행을 분류하는 분류기를 나타낸 것이다.FIG. 2 illustrates a classifier classifying walks on flat and stairway using the feature applying wavelet decomposition after acquiring data from an acceleration sensor and a gyro sensor attached to a shoe.
스마트 깔창의 압력 센서와 가속도센서, 자이로센서로부터 취득된 데이터의 평균, 최대, 최소, 상관계수와 같은 기술통계량을 특징으로 사용하여 평지, 계단, 언덕에서의 보행의 상태를 분류하는 분류기이다.It is a classifier that classifies the state of walking on flat, stair and hill using technical statistics such as average, maximum, minimum and correlation coefficient of data acquired from smart insole pressure sensor, acceleration sensor and gyro sensor.
압력 센서, 가속도센서, 자이로센서 모두를 사용할 경우, 분류의 정확도는증가할 수 있지만, 반면, 비용과 연속형 값을 사용하는 데에 따른 계산 시간이 늘어나는 단점이 존재한다.The use of pressure sensors, accelerometers, and gyro sensors all increases the accuracy of the classification, but the disadvantage is that the computation time associated with the use of cost and continuous values is increased.
또한, 기술통계량을 특징으로 사용하기 위해서는 충분한 크기의 보행데이터를 축적하는 것이 필요하며 이역시 보행분류에 필요한 시간을 증가시키는 원인이 된다.In addition, in order to use the technical statistics as a feature, it is necessary to accumulate walking data having a sufficient size, which in turn causes an increase in the time required for walking classification.
특히, 평지, 계단에서 측정된 보행형태에 대하여 높은 분류율을 보이지만, 피크 검출에서 많은 계산을 필요로 하며, 시간 변이가 큰 보행형태의 경우 안정적인 피크 검출이 어려우므로 다양한 보행형태 분류에 적용할 수 없다는 한계를 지니고 있다.In particular, although it shows a high classification rate for walking patterns measured on flat and staircases, it requires a lot of calculation in peak detection, and it is difficult to detect stable peaks for walking patterns with large time variability, so it can be applied to various walking patterns. There is no limit.
따라서, 단순한 하드웨어 구조 및 적은 연산량으로 보행 환경에 따라 발생 할 수 있는 보행 데이터의 변이에 대해 강인한 분류 결과를 얻을 수 있는 새로운 보행 형태 분류를 위한 기술의 개발이 요구되고 있다.Therefore, there is a demand for the development of a technique for classifying a new walking type that can obtain a strong classification result for the variation of walking data that can occur according to the walking environment with a simple hardware structure and a small amount of calculation.
본 발명은 이와 같은 종래 기술의 보행 형태 분류 기술의 문제를 해결하기 위한 것으로, 압력 센서만을 이용하여 다양한 변이가 존재하는 보행데이터의 형태를 분류할 수 있도록 한 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention is to solve the problem of the prior art walk type classification technology, the walk pattern classification using the pressure sensor of the smart insole that can classify the form of the walking data having various variations using only the pressure sensor. It is an object of the present invention to provide an apparatus and method for the same.
본 발명은 발이 공중에 떠 있는 상태인 Swing phase 검출을 통해 전체 데이터에서 한 걸음에 해당하는 구간을 정의하고, 각 단위 걸음에 대한 데이터를 분할하여 분류 정확도를 높일 수 있도록 한 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention defines a section corresponding to one step from the total data through the swing phase detection in which the foot is in the air, and divides the data for each unit step to increase the accuracy of classification. An object of the present invention is to provide an apparatus and method for classifying walking patterns.
본 발명은 걸음속도에 따른 데이터의 변이를 제거하고 단위 보행데이터 간의 동등한 비교를 위해 데이터 리사이징(resizing)을 수행하여 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하여 다양한 변이가 존재하는 보행데이터의 형태 분류가 정확하게 이루어질 수 있도록 한 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention removes the variation of data according to the pace of walking and performs data resizing for equal comparison between unit walking data, and normalizes the data so that the lengths of the divided data are all the same. An object of the present invention is to provide an apparatus and method for classifying a walking pattern using a pressure sensor of a smart insole, which can accurately classify the shape of walking data.
본 발명은 보행 형태 분류를 위한 특징 추출시에 Null-LDA(null-space linear discriminant analysis)방법을 이용하여 정규화된 데이터로부터 판별 특징들을 효과적으로 추출할 수 있도록 한 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법을 제공하는데 그 목적이 있다.According to the present invention, the gait pattern classification using the pressure sensor of the smart insole can effectively extract the discriminant features from the normalized data by using the null-space linear discriminant analysis (Null-LDA) method. It is an object of the present invention to provide an apparatus and method for the same.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치는 압력 센서를 이용하여 보행 데이터 측정을 하는 보행 데이터 측정부;전체 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 전처리부;전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하는 특징 추출부;추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류를 하는 보행 패턴 분류부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a device for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention includes a walking data measuring unit configured to measure walking data using a pressure sensor; A preprocessing unit for dividing data for each unit step and normalizing the data so that the lengths of the divided data are all the same; a feature extraction unit for extracting a feature suitable for walking type classification from the preprocessed data; It characterized in that it comprises a; walking pattern classification unit for classifying to receive the input and determine the final walking form.
여기서, 보행 데이터 측정부의 압력 센서는 신발의 인솔에 서로 이격되는 위치에 복수 개가 구비되고, 압력의 세기에 따라 발이 지면에서 떨어져 압력이 없는 상태를 '0'으로, 약한 압력이 있는 상태를 '1'로, 강한 압력이 있는 상태를 '2'로 구분하여 측정 및 저장하는 것을 특징으로 한다.Here, a plurality of pressure sensors of the walking data measuring unit are provided at positions spaced apart from each other on the insole of the shoe, and the foot is separated from the ground according to the strength of the pressure, so that there is no pressure and the pressure is '0', ', Characterized by measuring and storing the state with a strong pressure divided by' 2 '.
그리고 상기 전처리부는, 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고, swing phase를 검출하고 이를 바탕으로, 측정한 전체 걸음 데이터에서 단위 걸음 별로 보행 샘플을 구성하는 것을 특징으로 한다.The preprocessing unit classifies one walk cycle into a swing phase in which one foot is floating and a stance phase in a state of being attached to the ground, detects a swing phase, and based on this, walks by unit steps in the measured total step data. It is characterized by constituting the sample.
그리고 Swing phase에서의 샘플링 포인트에서는 발이 지면에서 떨어져 있기 때문에 모든 센서의 값이 0이 되어야 하는 점을 이용하여 swing phase와 stance phase를 검출하는 기준을,At the sampling point in the swing phase, since the feet are off the ground, all the sensor values should be zero so that the swing phase and stance phase can be detected.
그리고 보행 시 왼쪽 발의 swing phase를 검출하여 이를 기준으로 왼쪽 발의 swing phase의 시작 시점부터 stance phase의 종료시점까지를 하나의 걸음데이터로 정의하는 것을 특징으로 한다.In addition, the swing phase of the left foot is detected during walking and based on this, a step data is defined from the start of the left foot to the end of the stance phase.
그리고 상기 전처리부는, 한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP(false positive) swing phase에 의해 생성된 것으로 간주하고 제거하는 것을 특징으로 한다.And the pre-processing unit, the section having a length of 0.5 seconds or less of the section for one step is characterized in that it is generated by the FP (false positive) swing phase and characterized in that the removal.
그리고 상기 전처리부는, 노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 것을 특징으로 한다.The preprocessing unit measures the shortest time of the unit step data from which noise is removed, resizing all the unit step data to a length equal to the measured unit time, and normalizes the section for one step to have the same size. It is characterized by.
그리고 상기 특징 추출부는, 보행 형태 분류를 위한 특징 추출시에 Null-LDA(null-space linear discriminant analysis)방법을 이용하여 정규화된 데이터로부터 판별 특징들을 추출하는 것을 특징으로 한다.The feature extracting unit may extract discriminating features from normalized data using a null-space linear discriminant analysis (Null-LDA) method when extracting a feature for classifying a walking type.
그리고 Null-LDA(null-space linear discriminant analysis)방법은, C개의 클래스로 구성된 N개의 학습 데이터 
그리고 목적함수를 만족하는 WLDA는 
그리고 샘플의 개수가 데이터의 차원보다 적어 
그리고 전체 산란 행렬(total scatter matrix) ST를,And the total scatter matrix S T ,
다른 목적을 달성하기 위한 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법은 신발의 인솔에 서로 이격되는 위치에 복수 개가 구비되는 압력 센서를 이용하여 보행 데이터 측정을 하는 단계;한 걸음에 대한 구간들 중 설정 시간 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거하는 단계;노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 전처리 단계;전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하고, 추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류하는 단계;를 포함하는 것을 특징으로 한다.Method for classifying a walking pattern using a pressure sensor of the smart insole according to the present invention for achieving another object comprises the steps of measuring the walking data using a pressure sensor provided with a plurality of locations in the shoe insole spaced from each other; Steps having a length less than or equal to a set time among steps for the step are regarded as generated by the FP swing phase and removed; Measuring the shortest time of the unit step data without noise and measuring all the step data Resizing to a length of one unit time to normalize the section for one step to have the same size; Extracts a feature suitable for walking type classification from the preprocessed data, and receives the extracted feature as an input for the final walk And classifying to determine the form.
그리고 보행 데이터 측정을 하는 단계에서, 압력의 세기에 따라 발이 지면에서 떨어져 압력이 없는 상태를 '0'으로, 약한 압력이 있는 상태를 '1'로, 강한 압력이 있는 상태를 '2'로 구분하여 측정 및 저장하는 것을 특징으로 한다.In the step of measuring walking data, the foot falls off the ground according to the strength of pressure and the pressureless state is divided into '0', the weak pressure is divided into '1', and the strong pressure is divided into '2'. It is characterized by measuring and storing.
그리고 상기 전처리 단계에서, 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고, swing phase를 검출하고 이를 바탕으로, 측정한 전체 걸음 데이터에서 단위 걸음 별로 보행 샘플을 구성하는 것을 특징으로 한다.In the pre-processing step, one walking cycle is classified into a swing phase in which one foot is floating and a stance phase in a state of being attached to the ground, and the swing phase is detected and based on the measured steps of each step. It is characterized by constructing a walking sample.
그리고 Swing phase에서의 샘플링 포인트에서는 발이 지면에서 떨어져 있기 때문에 모든 센서의 값이 0이 되어야 하는 점을 이용하여 swing phase와 stance phase를 검출하는 기준을,At the sampling point in the swing phase, since the feet are off the ground, all the sensor values should be zero so that the swing phase and stance phase can be detected.
그리고 보행 시 왼쪽 발의 swing phase를 검출하여 이를 기준으로 왼쪽 발의 swing phase의 시작 시점부터 stance phase의 종료시점까지를 하나의 걸음데이터로 정의하는 것을 특징으로 한다.In addition, the swing phase of the left foot is detected during walking and based on this, a step data is defined from the start of the left foot to the end of the stance phase.
이와 같은 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법은 다음과 같은 효과를 갖는다.Such an apparatus and method for walking pattern classification using a pressure sensor of the smart insole according to the present invention has the following effects.
첫째, 압력 센서만을 이용하여 다양한 변이가 존재하는 보행데이터의 형태를 분류할 수 있도록 한다.First, it is possible to classify the type of walking data in which various variations exist using only the pressure sensor.
둘째, 발이 공중에 떠 있는 상태인 Swing phase 검출을 통해 전체 데이터에서 한 걸음에 해당하는 구간을 정의하고, 각 단위 걸음에 대한 데이터를 분할하여 분류 정확도를 높일 수 있도록 한다.Second, swing phase detection with feet floating in the air defines a step corresponding to one step in the entire data, and improves the classification accuracy by dividing the data for each step.
셋째, 걸음속도에 따른 데이터의 변이를 제거하고 단위 보행데이터 간의 동등한 비교를 위해 데이터 리사이징(resizing)을 수행하여 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하여 다양한 변이가 존재하는 보행데이터의 형태 분류가 정확하게 이루어질 수 있도록 한다.Third, the gait where various variations exist by removing data variation according to the pace of walking and resizing the data for equal comparison between unit walking data and normalizing the data to have the same length of the divided data. Ensure that the classification of the data is done correctly.
넷째, 보행 형태 분류를 위한 특징 추출시에 Null-LDA(null-space linear discriminant analysis)방법을 이용하여 정규화된 데이터로부터 판별 특징들을 효과적으로 추출할 수 있도록 한다.Fourth, it is possible to effectively extract discriminant features from normalized data using a null-space linear discriminant analysis (Null-LDA) method for feature extraction for walking type classification.
도 1은 종래 기술의 압력 센서를 이용한 보행 형태 분류를 위한 장치의 구성도
도 2는 종래 기술의 가속도 센서 및 자이로 센서를 이용한 보행 형태 분류를 위한 장치의 구성도
도 3은 보행 주기를 나타낸 구성도
도 4는 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치의 구성도
도 5는 본 발명에 따른 측정 센서의 일 예를 나타낸 구성도
도 6은 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법을 나타낸 플로우 차트
도 7a 내지 도 7h는 양쪽 인솔의 각 센서의 압력 측정값을 나타낸 그래프
도 8은 걸음 데이터의 정규화의 일 예를 나타낸 구성도
도 9는 샘플당 스텝수에 따른 분류 정확도 변화를 나타낸 그래프1 is a block diagram of a device for classifying walking type using a pressure sensor of the prior art
2 is a block diagram of an apparatus for classifying walking types using an acceleration sensor and a gyro sensor according to the related art.
3 is a block diagram showing a walking cycle
4 is a block diagram of an apparatus for classifying walking patterns using a pressure sensor of a smart insole according to the present invention
5 is a configuration diagram showing an example of a measurement sensor according to the present invention
6 is a flowchart illustrating a method for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention.
7A-7H are graphs showing pressure measurements of each sensor of both insoles
8 is a configuration diagram showing an example of normalization of step data;
9 is a graph showing a change in classification accuracy according to the number of steps per sample.
이하, 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of an apparatus and method for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention will be described in detail.
본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the apparatus and method for walking pattern classification using the pressure sensor of the smart insole according to the present invention will be apparent from the detailed description of each embodiment below.
도 3은 보행 주기를 나타낸 구성도이다.3 is a diagram illustrating a walking cycle.
그리고 도 4는 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치의 구성도이고, 도 5는 본 발명에 따른 측정 센서의 일 예를 나타낸 구성도이다.4 is a configuration diagram of a device for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention, and FIG. 5 is a configuration diagram illustrating an example of a measurement sensor according to the present invention.
본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법은 압력 센서만을 이용하여 다양한 변이가 존재하는 보행데이터의 형태를 분류할 수 있도록 한 것이다.An apparatus and method for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention is to be able to classify the type of walking data having various variations using only the pressure sensor.
이를 위하여 본 발명은 측정 데이터의 노이즈를 제거하고 같은 보행형태 이더라도 보행 속도의 변화나 지형과 같은 보행 환경의 변화 등의 여러 변이를 완화하기 위한 전처리 구성을 포함할 수 있다.To this end, the present invention may include a preprocessing configuration for removing noise of the measurement data and mitigating various variations such as changes in walking speed or changes in walking environment such as terrain even in the same walking type.
이와 같은 전처리는 한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거하고, 노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정한 후, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 구성을 포함할 수 있다.This pre-processing considers and removes the sections having a length of 0.5 seconds or less of the steps for one step, generated by the FP swing phase, measures the shortest time of the noise-removed unit step data, and then Resizing the unit step data by the length of the unit time measured by the unit (resizing) may include a configuration for normalizing the interval for each step to have the same size.
본 발명에서 보행데이터의 취득을 위한 압력 센서로는 도 5에서와 같이, 3L-Labs Co,Ltd(Seoul Korea)에서 개발한 상용 스마트 깔창인 FootLogger를 사용할 수 있고, 압력 센서가 이로 제한되지 않는다.In the present invention, as the pressure sensor for acquiring walking data, FootLogger, which is a commercial smart insole developed by 3L-Labs Co, Ltd. (Seoul Korea), may be used, and the pressure sensor is not limited thereto.
FootLogger는 하나의 깔창에 8개의 압력 센서가 있으며 각각의 센서는 압력의 세기에 따라 0, 1, 2의 값을 저장한다.The FootLogger has eight pressure sensors in one insole, each of which stores values of 0, 1 and 2 depending on the strength of the pressure.
도 3에서와 같이, 보행주기(gait cycle)는 heel strike, foot flat, mid stance, heel off, toe off, mid swing, late swing의 7개 단계로 구분할 수 있다.As shown in FIG. 3, the gait cycle may be divided into seven stages: heel strike, foot flat, mid stance, heel off, toe off, mid swing, and late swing.
Heel strike는 보행주기의 시작으로서, 발뒤꿈치가 지면과 만나는 상태, foot flat은 발바닥 전체가 바닥에 닿은 상태, mid stance는 몸의 중심이 앞발로 이동할 때까지의 상태, heel off와 toe off는 발뒤꿈치와 발끝이 지면에서 떨어지는 상태, mid swing과 late swing은 모두 발이 공중에 떠있는 상태이며 late swing에서 하나의 보행주기가 끝난다.Heel strike is the beginning of the walking cycle, where the heel meets the ground, the foot flat is the entire sole of the foot, the mid stance is until the center of the body moves to the forefoot, and the heel off and toe off are the feet The heel and toe are off the ground, the mid swing and late swing are all feet floating in the air, and a walking cycle ends at the late swing.
또한, 하나의 보행주기는 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류할 수도 있다.In addition, a walking cycle may be classified into a swing phase in which one foot is floating and a stance phase in which it is attached to the ground.
이전에 사용된 보행분류기들은 빠른 보행분류를 위해 sliding window 방법을 사용하였다.Previously used walk classifiers used sliding window method for fast walk classification.
하지만, 같은 형태의 보행이라 할지라도 사람에 따라 또는 상황에 따라 조금씩 보행 속도의 차이가 있을 수 있고 이러한 보행 패턴의 변이는 수집된 데이터로부터 보행의 형태를 파악하는데 어려움을 초래한다.However, even with the same type of walking, there may be a slight difference in walking speed depending on a person or a situation, and the variation of the walking pattern causes difficulty in identifying a walking type from the collected data.
본 발명은 swing phase를 검출하고 이를 바탕으로, 측정한 전체 걸음 데이터에서 단위 걸음 별로 보행 샘플을 구성한다.The present invention detects a swing phase and based on this, constitutes a walking sample for each unit step in the measured total step data.
먼저, 전체 걸음 데이터로부터 swing phase를 검출하고, 검출 기준은 다음과 같다.First, the swing phase is detected from the entire step data, and the detection criteria are as follows.
표 1은 FootLogger 깔창의 압력 센서를 이용하여 측정한 데이터의 일부를 나타낸 것이다.Table 1 shows some of the data measured using a pressure sensor on the FootLogger insole.
FootLogger는 8개의 압력센서를 갖고 있으며 각 센서는 100Hz의 샘플링율로 데이터를 측정한다.The FootLogger has eight pressure sensors, each of which measures data at a sampling rate of 100 Hz.
압력 센서의 경우, 압력의 세기에 따라 0, 1, 2의 값으로 저장된다.In the case of a pressure sensor, it is stored as a value of 0, 1, 2 depending on the strength of the pressure.
0은 압력이 없는 상태(발이 지면에서 떨어진 상태), 1은 약한 압력이 있는 상태, 2는 강한 압력이 있는 상태이다.0 is no pressure (foot off the ground), 1 is weak pressure, 2 is strong pressure.
표 1에서 가로축은 각 센서의 인덱스를 의미하고 세로축은 0.01초 간격의 샘플링 포인트를 의미한다.In Table 1, the horizontal axis represents the index of each sensor and the vertical axis represents the sampling points at 0.01 second intervals.
도 7a 내지 도 7h는 양쪽 인솔의 각 센서의 압력 측정값을 나타낸 그래프이다.7A-7H are graphs showing pressure measurements of each sensor of both insoles.
Swing phase에서의 샘플링 포인트에서는 발이 지면에서 떨어져 있기 때문에 모든 센서의 값이 0이 되어야 하는 점을 이용하여 swing phase와 stance phase를 검출하는 기준은 다음과 같이 정할 수 있다.Since the feet are off the ground at the sampling point in the swing phase, the criteria for detecting the swing phase and stance phase can be determined as follows.
여기서, p는 어떤 샘플링 포인트에서의 모든 압력 센서값의 합을 의미한다.Where p is the sum of all pressure sensor values at any sampling point.
도 7a 내지 도 7h는 양쪽 깔창의 각 센서의 압력 측정값을 그래프로 표현한 것으로, 보행 시 왼발의 swing phase(발이 지면에서 떨어진 상태, 즉 압력 센서 값이 0인 구간)와 오른발의 swing phase가 서로 교차하는 것을 알 수 있다.7A to 7H are graphs of pressure measurement values of each sensor of both insoles, in which a swing phase of the left foot (walking distance from the ground, ie, a pressure sensor value of 0) and a right swing swing phase You can see that it crosses.
본 발명에서는 보행 시 왼쪽 발의 swing phase를 검출하여 이를 기준으로 왼쪽 발의 swing phase의 시작 시점부터 stance phase의 종료시점까지를 하나의 걸음데이터로 정의한다.In the present invention, the swing phase of the left foot is detected during walking and based on this, one step data is defined from the start point of the swing phase of the left foot to the end point of the stance phase.
본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치는 도 4에서와 같이, 압력 센서만을 이용하여 보행 데이터 측정을 하는 보행 데이터 측정부(10)와, 한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거하고, 노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 전처리부(20)와, 전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하는 특징 추출부(30)와, 추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류를 하는 보행 패턴 분류부(40)를 포함한다.An apparatus for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention includes a walking
여기서, 전처리부(20)에서의 노이즈 제거는 다음과 같이 이루어진다.Here, the noise removal in the
보행 데이터 측정부(10)에 의해 측정된 센서 데이터는 측정 환경, 모듈 내 전위차이 및 센서의 열과 같은 요소로 인하여 노이즈가 포함될 수 있다.The sensor data measured by the walking
이러한 노이즈로 인해 swing phase에서의 8개 중 하나라도 0이 아닌 측정값을 나타낸다면 이는 swing phase 오검출(false positive, FP)을 초래한다.This noise causes a swing phase false positive (FP) if any of the eight in the swing phase represents a nonzero measurement.
그리고 한 걸음에 대한 구간은 swing phase에 의해 구성되기 때문에 결과적으로, 분류기 전체의 성능을 악화시킬 수 있다.And because the interval for each step is composed of swing phases, the performance of the classifier can be degraded as a result.
FP에 해당하는 swing phase들은 정상적인 swing phase에 비해 길이가 짧기때문에 본 발명에서는 구성된 한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거한다.Since the swing phases corresponding to the FP are shorter than the normal swing phase, in the present invention, the sections having a length of 0.5 seconds or less among the sections for one step configured are considered to be generated by the FP swing phase and are removed.
표 2는 본 발명에 의해 FP에 의한 한걸음 구간들을 제거하고 정상적인 swing phase에 의해 측정된 걸음의 수를 비교한 결과이다.Table 2 shows the result of comparing the number of steps measured by the normal swing phase by removing the step steps by the FP according to the present invention.
여기서, 보행형태는 평지에서 걷기(WK), 빠른 걷기(FWK), 달리기Here, the walking type is walking on the flat (WK), fast walking (FWK), running
(RUN), 언덕 올라가기(RA)와 내려가기(RD), 계단 올라가기(SA), 내려가기(SD)이다.(RUN), Hill Climb (RA) and Climb (RD), Stair Climb (SA), Climb (SD).
그리고 전처리부(20)에서의 보행 데이터 정규화는 다음과 같이 이루어진다.The walking data normalization in the
보행형태에 영향을 끼치는 변인은 신체적 요인과 지형적 요인 그리고 속도 요인 3가지가 있다 신체적 요인은 보행자의 나이,건강상태 등이 있으며, 지형적 요인은 지형의 경사 및 형태가 있고, 속도 요인은 보행자가 걸을 때의 상황 또는 개인별 차이를 들 수 있다.There are three factors that affect walking style: physical factors, topographical factors, and speed factors. Physical factors include the pedestrian's age and health status, and topographical factors include the slope and shape of the terrain. The situation or individual differences.
이와 같은 3가지 변인 중, 보행 속도의 차이는 데이터의 크기에 영향을 주며, 이는 분할된 단위 걸음 데이터 샘플을 이용한 여러가지 판별 분석을 어렵게 한다.Among these three variables, the difference in walking speed affects the size of the data, which makes it difficult to perform various discriminant analysis using the divided unit-step data samples.
본 발명에서는 노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정(t*)한 후, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화한다.In the present invention, after measuring the shortest time (t * ) of the unit step data from which the noise is removed, resizing (resize) all the unit step data to the length of the unit time to measure the same size step for each step Normalize to have
도 8은 걸음 데이터의 정규화의 일 예를 나타낸 구성도이다.8 is a configuration diagram illustrating an example of normalization of step data.
그리고 특징 추출부(30)에서의 선형 판별분석을 설명하면 다음과 같다.The linear discriminant analysis in the
선형판별분석(LDA)은 멀티 클래스(multi-class) 분류 문제를 위한 특징을 추출하는데 많이 사용되는 방법으로, C개의 클래스로 구성된 N개의 학습 데이터 
수학식 6의 목적함수를 만족하는 WLDA는 
한편, 학습 샘플의 개수가 데이터의 차원보다 적을 경우, 
SSS문제를 해결하기 위하여 PCA를 적용하여 데이터의 차원을 클래스 내 산포행렬(Sw)의 차원보다 낮춘 후 LDA를 적용하는 PCA+LDA와 같은 클래스 내의 데이터를 Null Space로 사영시킨 후 산포행렬이 극대화 되는 부분공간을 탐색하는 Null-LDA 같은 방법이 사용될 수 있다.In order to solve the SSS problem, the PCA is applied to lower the dimension of the data than the scatter matrix (S w ) in the class, and then the data in the class such as PCA + LDA using LDA is projected to the null space and the scatter matrix is maximized. Methods such as Null-LDA can be used to search subspaces.
전체 산란 행렬(total scatter matrix) ST를 수학식 7에서와 같이,The total scatter matrix S T as in Equation 7,
여기서, 
Null-LDA는 SW의 null 공간을 이용하여 
이와 같이 Null-LDA는 SW의 null 공간의 충분히 발생하는 고차원 데이터의 분류에서 좋은 성능을 보이며, 본 발명에서는 보행형태 분류를 위한 선형 판별 분석 방법으로서 Null-LDA를 사용할 수 있다.As described above, Null-LDA has a good performance in classifying high-dimensional data generated sufficiently in the null space of S W. In the present invention, Null-LDA can be used as a linear discriminant analysis method for gait classification.
이와 같은 구성을 갖는 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치의 동작을 구체적으로 설명하면 다음과 같다.Referring to the operation of the device for classification of the walking pattern using the pressure sensor of the smart insole according to the present invention having such a configuration in detail as follows.
도 6은 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법을 나타낸 플로우 차트이다.6 is a flowchart illustrating a method for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention.
본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법은 데이터의 노이즈를 제거하고 단위 걸음으로 분할하여 단위 걸음 샘플을 구성하는 전처리 단계, 데이터 샘플들로부터 분류에 유용한 특징을 추출하는 특징추출 단계, 그리고 추출된 특징을 이용한 분류 단계를 포함한다.A method for classifying a walking pattern using a pressure sensor of a smart insole according to the present invention is characterized by extracting a feature useful for classification from a preprocessing step of constructing a unit step sample by removing noise of data and dividing it into unit steps. An extraction step, and a classification step using the extracted features.
전처리 단계에서는 먼저 발이 공중에 떠 있는 상태인 Swing phase 검출을 통해 전체 데이터에서 한 걸음에 해당하는 구간을 정의하고, 각 단위 걸음에 대한 데이터를 분할한다.In the preprocessing step, first, a step corresponding to one step in the entire data is defined through swing phase detection in which the foot is in the air, and the data for each step is divided.
그런 다음 걸음속도에 따른 데이터의 변이를 제거하고 단위 보행데이터 간의 동등한 비교를 위해 데이터 리사이징(resizing)을 수행하여 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)한다. Then, data variation according to the walking speed is eliminated and data resizing is performed for an equal comparison between the unit walking data to normalize the data so that the lengths of the divided data are all the same.
특징 추출단계에서 Null-LDA(null-space linear discriminant analysis)방법을 이용하여 정규화된 데이터로부터 판별 특징들을 추출한다.In the feature extraction step, discriminating features are extracted from normalized data using a null-space linear discriminant analysis (NLD-LDA) method.
구체적으로, 압력 센서만을 이용하여 보행 데이터 측정을 한다.(S801)Specifically, the walking data is measured using only the pressure sensor (S801).
이어, 한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거한다.(S802)Subsequently, sections having a length of 0.5 seconds or less among the sections for one step are regarded as generated by the FP swing phase and removed (S802).
그리고 노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고(S803), 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화한다.(S804)The shortest time of the unit step data from which the noise is removed is measured (S803), and all unit step data are resized to a length equal to the measured unit time, and normalized to have the same size for each step. (S804)
이어, 전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하고(S805), 추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류한다.(S806)Next, a feature suitable for classifying a walking pattern is extracted from the preprocessed data (S805), and the classification is performed to determine a final walking pattern by receiving the extracted feature as an input (S806).
이상에서 설명한 본 발명에 따른 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법의 성능을 확인하기 위해 다음과 같은 테스트를 진행하였다.In order to confirm the performance of the apparatus and method for walking pattern classification using the pressure sensor of the smart insole according to the present invention described above, the following tests were carried out.
본 발명의 일 실시 예에서는 보행 데이터 수집을 위해 3L-Labs Co, Ltd(Seoul Korea)에서 제작한 상용 스마트 깔창인 FootLogger 스마트 깔창을 사용하였다.In an embodiment of the present invention, FootLogger smart insole, a commercial smart insole manufactured by 3L-Labs Co, Ltd (Seoul Korea), was used to collect walking data.
FootLogger 깔창은 8개의 압력 센서와 3축가속도 센서, 3축 자이로 센서를 내장하고 있으며, 양 쪽 발의 신발에 착용하여 보행 패턴을 측정한다.The FootLogger insole incorporates eight pressure sensors, a three-axis accelerometer, and a three-axis gyro sensor, which are worn on both feet to measure walking patterns.
스마트 깔창의 센서 데이터는 블루투스를 통해 스마트폰에 저장된다.Sensor data from the smart insole is stored on the smartphone via Bluetooth.
지형 변이와 속도 변이가 큰 데이터셋을 취득하기 위하여 평지, 계단, 언덕 지형을 걷거나 뛰면서 데이터를 수집하였다.Data were collected by walking or running on flat, stair and hill terrain to obtain a large data set of terrain and speed variations.
평지에서 걷기, 경보, 달리기 수집, 언덕에서 오르기, 내리기 수집, 계단에서 오르기, 내리기의 총 7 종류로 구분하였으며, 데이터 수집 시 자연스러운 속도로 보행하도록 하였다.There were seven types of walking, warning, running collection, climbing on hill, climbing on hill, climbing on stairs, and falling on the plain, and walking at natural speed when collecting data.
각각의 보행데이터는 전처리 과정을 거쳐 816차원 벡터 형태로 저장되었다.Each gait data was preprocessed and stored in 816-dimensional vector form.
표 3은 측정된 데이터 샘플에 대한 정보를 나타낸 것이다.Table 3 shows the information for the measured data samples.
본 발명에 따른 보행형태 분류 방법의 성능을 확인하기 위해, FootLogger를 이용하여 취득한 보행 데이터를 전처리를 한 후, 분류 실험을 수행하였다.In order to confirm the performance of the walk type classification method according to the present invention, after preprocessing the walking data acquired using the FootLogger, the classification experiment was performed.
선형 판별 분석 기반의 특징추출 방법으로는 Null-LDA를 사용하였다.Null-LDA was used as a feature extraction method based on linear discriminant analysis.
전체 데이터 샘플을 임의로 섞은 후, 그 중 절반은 학습데이터로, 나머지 절반을 테스트 데이터로 사용하여 분류율을 측정하였으며, 이러한 실험을 20번 반복하여 평균 분류율을 계산하였다.After random mixing of all the data samples, half of them were used as training data and the other half as test data.
Null-LDA 특징을 추출하기에 앞서, 모든 데이터 샘플들은 학습데이터의 평균과 표준편차로 영 평균(zero-mean), 단위 표준편차(unit standard deviation)을 갖도록 정규화 하였으며, 추출된 특징들을 이용한 분류기로는 NN(nearest neighborhood rule) 분류기를 사용하였다.Before extracting the Null-LDA feature, all data samples were normalized to have zero-mean and unit standard deviation as the mean and standard deviation of the training data. We used NN (nearest neighborhood rule) classifier.
전처리 과정을 거친 보행 데이터는 보행형태의 종류에 따라 총 760~3154걸음을 포함하고 있다.The pedestrian data after the pretreatment process includes a total of 760 ~ 3154 steps depending on the type of walking type.
먼저, Null-LDA 특징 공간에서 의미 있는 보행패턴을 추출하기 위해 몇 걸음 정도가 필요한지를 알아보기 위해, 한 걸음을 한 개의 보행 샘플로 구성한 경우에서부터 여섯 걸음을 한 개의 샘플로 구성하는 경우까지에 대해서 각각 분류 실험을 수행해 보았다.First, to find out how many steps are needed to extract meaningful gait patterns from the Null-LDA feature space, from one walk to one walk sample to six walks to one sample Each classification experiment was performed.
한 개의 샘플을 한 걸음으로 구성할 경우, 보행 데이터 샘플은 816차원의 벡터로 저장되고, 여섯 걸음으로 구성할 경우는 4896차원의 벡터로 저장된다.When one sample is configured in one step, the walking data sample is stored as a vector in 816 dimensions, and when configured in six steps, it is stored as a vector in 4896 dimensions.
도 9는 샘플당 스텝수에 따른 분류 정확도 변화를 나타낸 그래프이다.9 is a graph showing a change in classification accuracy according to the number of steps per sample.
한 걸음에서 특징을 추출한 경우와 두 걸음에서 특징을 추출한 경우 분류 성능이 크게 향상된 것을 볼 때 최소한 두 걸음 이상 걸었을 때 유의미한 보행패턴이 발견되는 것으로 판단된다.In the case of feature extraction in one step and feature extraction in two steps, it is considered that a significant gait pattern is found when walking at least two steps.
또한 한 개의 샘플이 더 많은 걸음을 포함할수록 조금씩 분류 성능이 높아지는 것은 샘플의 차원이 커질수록 Null-LDA의 특징 공간을 찾는 과정에서 SW의 null 공간이 충분히 확보되기 때문인 것으로 판단된다.In addition, as one sample includes more steps, the classification performance gradually increases because the larger the dimension of the sample, the more sufficient null space of S W is secured in the process of finding the feature space of Null-LDA.
본 발명은 실수(real valued) 압력 측정값을 사용하는 기존 방법과 달리 0, 1, 2 세 단계의 압력 측정값만을 사용하여 평지, 계단 오르기, 계단 내려가기의 세 종류의 보행형태에 대해 88%의 높은 분류 성능을 나타내었다.Unlike the conventional method using real valued pressure measurement, the present invention uses only three pressure measurement values of 0, 1, and 2 levels to use 88% of the three types of walking types: flat, step climbing, and step climbing. Showed high classification performance.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.It will be understood that the present invention is implemented in a modified form without departing from the essential features of the present invention as described above.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Therefore, the described embodiments should be considered in descriptive sense only and not for purposes of limitation, and the scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope are included in the present invention. It should be interpreted.
10. 보행 데이터 측정부 20. 전처리부
30. 특징 추출부 40. 보행 패턴 분류부10. Walking
30.
Claims (17)
전체 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 전처리부;
전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하는 특징 추출부;
추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류를 하는 보행 패턴 분류부;를 포함하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.A walking data measuring unit configured to measure walking data using a pressure sensor;
A preprocessor that defines a section of unit steps in all data, divides the data for each unit step, and normalizes the data so that the lengths of the divided data are all the same;
A feature extracting unit for extracting a feature suitable for walking type classification from the preprocessed data;
Apparatus for classifying walking patterns using a pressure sensor of the smart insole comprising a; walk pattern classifying unit for classifying to determine the final walking form by receiving the extracted features as an input.
압력의 세기에 따라 발이 지면에서 떨어져 압력이 없는 상태를 '0'으로, 약한 압력이 있는 상태를 '1'로, 강한 압력이 있는 상태를 '2'로 구분하여 측정 및 저장하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.According to claim 1, The pressure sensor of the walk data measuring unit is provided with a plurality of locations in spaced apart from each other on the insole of the shoe,
The foot is separated from the ground according to the strength of the pressure, and the state without pressure is measured as '0', the state with weak pressure as '1', and the state with strong pressure as '2'. Device for classifying walking pattern using pressure sensor of smart insole.
하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고,
swing phase를 검출하고 이를 바탕으로, 측정한 전체 걸음 데이터에서 단위 걸음 별로 보행 샘플을 구성하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.The method of claim 1, wherein the pretreatment unit,
A walk cycle is classified into a swing phase with one foot floating and a stance phase with ground attached,
A device for classifying gait patterns using a pressure sensor of a smart insole, comprising detecting a swing phase and constructing a gait sample for each step from the measured total gait data.
여기서, p는 어떤 샘플링 포인트에서의 모든 압력 센서값의 합을 의미하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.The method of claim 3, wherein the sampling point in the swing phase is a reference for detecting the swing phase and the stance phase using the point that all the values of the sensors should be zero because the feet are off the ground.
Here, p is a device for classifying walking pattern using the pressure sensor of the smart insole, characterized in that the sum of all the pressure sensor value at a certain sampling point.
한 걸음에 대한 구간들 중 0.5초 이하의 길이를 가지는 구간들은 FP(false positive) swing phase에 의해 생성된 것으로 간주하고 제거하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.The method of claim 1, wherein the pretreatment unit,
Apparatus for classifying walking patterns using a pressure sensor of a smart insole, characterized in that the section having a length of less than 0.5 seconds of one step is considered to be generated by the FP (false positive) swing phase.
노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.The method of claim 1 or 6, wherein the pretreatment unit,
Smart is characterized in that it measures the shortest time of the unit step data without noise and resizing all the unit step data to the length of the measured unit time to normalize the interval for each step to have the same size Apparatus for classifying walking pattern using pressure sensor of insole.
보행 형태 분류를 위한 특징 추출시에 Null-LDA(null-space linear discriminant analysis)방법을 이용하여 정규화된 데이터로부터 판별 특징들을 추출하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.The method of claim 1, wherein the feature extraction unit,
Apparatus for classifying gait patterns using pressure sensors of smart insoles, characterized in that the discriminant features are extracted from normalized data using a null-space linear discriminant analysis (Null-LDA) method for feature extraction for gait classification .
C개의 클래스로 구성된 N개의 학습 데이터
같은 클래스 내 분산과 다른 클래스의 평균들 간 분산의 비율이 최대가 되도록
N training data consisting of C classes
To maximize the ratio of variance between the variances in the same class and the averages in other classes
PCA(kernel principal component analysis)를 적용하여 데이터의 차원을 클래스 내 산포행렬(Sw)의 차원보다 낮춘 후 LDA를 적용하는 PCA+LDA와 같은 클래스 내의 데이터를 Null Space로 사영시킨 후 산포행렬이 극대화 되는 부분공간을 탐색하는 Null-LDA 같은 방법을 적용하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치.10. The method of claim 9 wherein the number of samples is less than the dimension of the data
Apply kernel principal component analysis (PCA) to lower the dimension of the data than that of the scatter matrix (S w ) in the class, and then maximize the scatter matrix after projecting data in a class such as PCA + LDA that applies LDA to null space. Apparatus for classifying walking patterns using a pressure sensor of a smart insole, which applies a method such as Null-LDA to search the subspace.
PCA+LDA의 투영행렬은
여기서,
Null-LDA는 SW의 null 공간을 이용하여
The projection matrix of PCA + LDA is
here,
Null-LDA uses the null space of S W
한 걸음에 대한 구간들 중 설정 시간 이하의 길이를 가지는 구간들은 FP swing phase에 의해 생성된 것으로 간주하고 제거하는 단계;
노이즈가 제거된 단위 걸음 데이터 중 가장 짧은 시간을 측정하고, 모든 단위 걸음 데이터를 측정한 단위시간만큼의 길이로 리사이징(resizing)하여 한 걸음에 대한 구간이 동일한 크기를 갖도록 정규화하는 전처리 단계;
전처리된 데이터로부터 보행형태 분류에 적합한 특징을 추출하고, 추출된 특징을 입력으로 받아 최종 보행형태를 결정하는 분류하는 단계;를 포함하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법.Measuring gait data using a pressure sensor provided in a plurality of locations on the insole of the shoe spaced apart from each other;
A step having a length less than or equal to a set time of the steps for one step is regarded as generated by the FP swing phase and removed;
A pre-processing step of measuring the shortest time of the unit step data from which noise is removed, and resizing all the unit step data to a length equal to the measured unit time, and normalizing the sections for one step to have the same size;
Extracting a feature suitable for walking type classification from the preprocessed data, and classifying a final walking shape by receiving the extracted feature as an input; for classifying a walking pattern using a pressure sensor of a smart insole Way.
압력의 세기에 따라 발이 지면에서 떨어져 압력이 없는 상태를 '0'으로, 약한 압력이 있는 상태를 '1'로, 강한 압력이 있는 상태를 '2'로 구분하여 측정 및 저장하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법.The method of claim 13, wherein in the step of making gait data measurements,
The foot is separated from the ground according to the strength of the pressure, and the state without pressure is measured as '0', the state with weak pressure as '1', and the state with strong pressure as '2'. Method for classifying walking pattern using pressure sensor of smart insole.
하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고,
swing phase를 검출하고 이를 바탕으로, 측정한 전체 걸음 데이터에서 단위 걸음 별로 보행 샘플을 구성하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법.The method of claim 13, wherein in the pretreatment step,
A walk cycle is classified into a swing phase with one foot floating and a stance phase with ground attached,
A method for classifying a walking pattern using a pressure sensor of a smart insole, comprising detecting a swing phase and constructing a walking sample for each unit step from the measured total step data.
여기서, p는 어떤 샘플링 포인트에서의 모든 압력 센서값의 합을 의미하는 것을 특징으로 하는 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 방법.The method of claim 15, wherein the sampling point in the swing phase is a reference for detecting the swing phase and the stance phase using the point that all the values of the sensors should be zero because the feet are off the ground.
Here, p is a method for classifying walking patterns using pressure sensors of a smart insole, characterized in that the sum of all the pressure sensor values at a certain sampling point.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180061894A KR102175191B1 (en) | 2018-05-30 | 2018-05-30 | Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole |
| US16/191,616 US20190365287A1 (en) | 2018-05-30 | 2018-11-15 | Apparatus and method for gait type classification using pressure sensor of smart insole |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180061894A KR102175191B1 (en) | 2018-05-30 | 2018-05-30 | Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190136324A true KR20190136324A (en) | 2019-12-10 |
| KR102175191B1 KR102175191B1 (en) | 2020-11-05 |
Family
ID=69002732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180061894A KR102175191B1 (en) | 2018-05-30 | 2018-05-30 | Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102175191B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102350593B1 (en) | 2020-11-04 | 2022-01-14 | 단국대학교 산학협력단 | Apparatus and method for classifying gait pattern based on multi modal sensor using deep learning ensemble |
| CN116439693A (en) * | 2023-05-18 | 2023-07-18 | 四川大学华西医院 | Gait detection method and system based on FMG |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230006247A (en) | 2021-07-02 | 2023-01-10 | 단국대학교 산학협력단 | Multi-modal Few-Shot Learning Device for User Identification Using Walking Pattern Using Deep Learning Ensemble |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991437A (en) * | 1995-07-19 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Walking pattern processing method and device therefor |
| KR20130127517A (en) | 2011-02-24 | 2013-11-22 | 퀄컴 인코포레이티드 | Low average velocity pedestrial motion identification |
| KR101583369B1 (en) | 2015-04-27 | 2016-01-21 | (주)엠더블유스토리 | System and method for recognizing gait, and storage medium for recoding computer program therefor |
| KR20170043308A (en) * | 2015-10-13 | 2017-04-21 | 충북대학교 산학협력단 | Method for identificating Person on the basis gait data |
| KR20170110981A (en) | 2016-03-24 | 2017-10-12 | 주식회사 에스제이테크시스템 | Motion analysis and method and appratus using pressure data of feet |
| KR20180003377A (en) * | 2016-06-30 | 2018-01-09 | 국민대학교산학협력단 | Device and system for measuring distance traveled |
-
2018
- 2018-05-30 KR KR1020180061894A patent/KR102175191B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991437A (en) * | 1995-07-19 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Walking pattern processing method and device therefor |
| KR20130127517A (en) | 2011-02-24 | 2013-11-22 | 퀄컴 인코포레이티드 | Low average velocity pedestrial motion identification |
| KR101583369B1 (en) | 2015-04-27 | 2016-01-21 | (주)엠더블유스토리 | System and method for recognizing gait, and storage medium for recoding computer program therefor |
| KR20170043308A (en) * | 2015-10-13 | 2017-04-21 | 충북대학교 산학협력단 | Method for identificating Person on the basis gait data |
| KR20170110981A (en) | 2016-03-24 | 2017-10-12 | 주식회사 에스제이테크시스템 | Motion analysis and method and appratus using pressure data of feet |
| KR20180003377A (en) * | 2016-06-30 | 2018-01-09 | 국민대학교산학협력단 | Device and system for measuring distance traveled |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102350593B1 (en) | 2020-11-04 | 2022-01-14 | 단국대학교 산학협력단 | Apparatus and method for classifying gait pattern based on multi modal sensor using deep learning ensemble |
| CN116439693A (en) * | 2023-05-18 | 2023-07-18 | 四川大学华西医院 | Gait detection method and system based on FMG |
| CN116439693B (en) * | 2023-05-18 | 2024-05-28 | 四川大学华西医院 | Gait detection method and system based on FMG |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102175191B1 (en) | 2020-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190365287A1 (en) | Apparatus and method for gait type classification using pressure sensor of smart insole | |
| Khandelwal et al. | Evaluation of the performance of accelerometer-based gait event detection algorithms in different real-world scenarios using the MAREA gait database | |
| Yoneyama et al. | Accelerometry-based gait analysis and its application to Parkinson's disease assessment—part 1: detection of stride event | |
| US10503967B2 (en) | Fast behavior and abnormality detection | |
| Aung et al. | Automated detection of instantaneous gait events using time frequency analysis and manifold embedding | |
| Jain et al. | Stride segmentation of inertial sensor data using statistical methods for different walking activities | |
| KR102175191B1 (en) | Apparatus and Method for Gait Type Classificating Using Pressure Sensor of Smart Insole | |
| Yuwono et al. | Unsupervised nonparametric method for gait analysis using a waist-worn inertial sensor | |
| WO2014118767A1 (en) | Classifying types of locomotion | |
| Pendharkar et al. | Using blind source separation on accelerometry data to analyze and distinguish the toe walking gait from normal gait in ITW children | |
| EP3459453B1 (en) | Information processing device, information processing method, and information processing program | |
| Yang et al. | Assessing accelerometer based gait features to support gait analysis for people with complex regional pain syndrome | |
| Rastegari et al. | A bag-of-words feature engineering approach for assessing health conditions using accelerometer data | |
| Reinfelder et al. | Timed Up-and-Go phase segmentation in Parkinson's disease patients using unobtrusive inertial sensors | |
| Choi et al. | Gait type classification using smart insole sensors | |
| KR102302234B1 (en) | Apparatus and method for identifying individuals by performing discriminant analysis for various detection information | |
| Majumder et al. | A wireless smart-shoe system for gait assistance | |
| KR102194313B1 (en) | Apparatus and method for identifying individuals by performing neural network analysis for various detection information | |
| CN114881079A (en) | Human body movement intention abnormity detection method and system for wearable sensor | |
| Andrei et al. | Parkinson’s disease detection from gait patterns | |
| KR102280291B1 (en) | Apparatus and method for identify patients with parkinson's disease and patients with podarthritis by performing neural network analysis by various detection information | |
| Santhiranayagam et al. | Automatic detection of different walking conditions using inertial sensor data | |
| KR102302719B1 (en) | Apparatus and method for classification of gait type by performing neural network analysis for various detection information | |
| Wahjudi et al. | IMU-Based walking workouts recognition | |
| Yuwono et al. | Unsupervised segmentation of heel-strike IMU data using rapid cluster estimation of wavelet features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |