KR20200063795A - System and method for gait type classification using machine learning and gait pressure data - Google Patents

Abstract

The present invention relates to a technique about a method for acquiring walking data using an insole including a pressure sensor array, normalizing the acquired walking data, and automatically classifying walking patterns using machine learning. A system for classifying walking patterns comprises: a walking data collection unit acquiring walking data from a plurality of pressure sensors included in a smart insole; a pre-processing unit dividing the data for each unit step by defining a section of the unit steps in the walking data acquired by the walking data collection unit, and normalizing the data so that lengths of the divided data are all the same; and a walking pattern classification unit classifying the final walking type using a fully connected network, which receives the normalized walking data as an input from the pre-processing unit.

Description

보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법 {SYSTEM AND METHOD FOR GAIT TYPE CLASSIFICATION USING MACHINE LEARNING AND GAIT PRESSURE DATA} A walking pattern classification system and method using walking pressure data and machine learning {SYSTEM AND METHOD FOR GAIT TYPE CLASSIFICATION USING MACHINE LEARNING AND GAIT PRESSURE DATA}

본 발명은 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법에 관한 것으로서, 보다 상세하게는 압력센서 어레이가 포함된 인솔을 이용하여 보행 데이터를 취득하고, 취득된 보행 데이터를 정규화 하며, 머신러닝을 이용하여 보행 형태를 자동으로 분류하는 방법에 관한 기술이다.The present invention relates to a walking pattern classification system and method using walking pressure data and machine learning, and more specifically, to acquire walking data using an insole including a pressure sensor array, normalize the acquired walking data, and This is a technique for automatically classifying gait patterns using running.

보행은 일상생활의 여러 행동들 가운데 가장 많은 비중을 차지하는 행동의 하나로서, 신체 건강 전반에 걸쳐 중요한 요소이다. 이에 보행에 관한 연구들이 다수 수행되어 왔으며, 특히 보행의 종류를 분류하는 방법은 의료 진단 분야를 비롯하여 다양한 종류의 헬스케어 분야에서도 많은 관심을 받고 있다.Walking is one of the most important activities in everyday life, and it is an important factor throughout physical health. Accordingly, many researches on walking have been conducted, and in particular, the method of classifying the types of walking has received a lot of attention in various fields of healthcare, including medical diagnosis.

그 동안 보행의 종류를 분류하는 다양한 방법들이 제안되어 왔다. 그러나 많은 경우 데이터를 측정하기 위해 다수의 센서를 몸에 부착하거나, 제한된 장소에서 측정이 이루어져야 하는 불편함과, 측정 값의 불안정성으로 인해 정확도에 한계가 있었다.Various methods of classifying the types of walking have been proposed. However, in many cases, accuracy is limited due to the inconvenience of attaching a large number of sensors to the body to measure data, or inconvenient measurement in a limited place, and instability of the measured values.

한편, 웨어러블 센서는 데이터를 수집하기 위한 환경적 제약이 적기 때문에 일상생활에서 비교적 쉽게 데이터를 수집할 수 있으며, 옵티컬플로우나 히트맵(heat map) 같은 비디오 데이터에 비해 데이터 볼륨이 작기 때문에 데이터 저장 및 처리하는 부담이 적은 장점이 있다.On the other hand, the wearable sensor can collect data relatively easily in everyday life because it has less environmental restrictions to collect data, and because the data volume is small compared to video data such as optical flow or heat map, data storage and storage It has the advantage of less processing burden.

공개특허공보 제10-2017-0052870호Patent Publication No. 10-2017-0052870

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 압력센서 어레이가 포함된 인솔을 이용하여 보행 데이터를 취득하고, 취득된 보행 데이터를 정규화 하며, 머신러닝을 이용하여 보행 형태를 자동으로 분류하는 방법을 제공하기 위한 것이다.Accordingly, the present invention is proposed to solve the above-mentioned problems, and the object of the present invention is to acquire gait data using an insole including an array of pressure sensors, normalize the acquired gait data, and machine learning. It is to provide a method for automatically classifying the walking type by using.

상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템은 스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터를 취득하는 보행 데이터 수집부; 상기 보행 데이터 수집부가 취득한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 전처리부; 상기 전처리부에서 정규화된 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 보행 패턴 분류부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a walking pattern classification system using walking pressure data and machine learning according to the technical idea of the present invention includes a walking data collection unit that acquires walking data from a plurality of pressure sensors included in a smart insole; A pre-processing unit that divides data for each unit step by defining a section of the unit step in the walking data acquired by the walking data collection unit, and normalizes the data so that the lengths of the divided data are all the same; It characterized in that it comprises a walking pattern classification unit to classify the final walking type using a fully connected network (fully connected network) that receives the normalized walking data as input from the pre-processing unit.

또한, 상기 전처리부는, 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고, 기 정해진 수의 압력센서 값이 0이 되는 시점을 swing phase 시작점으로 정의하는 걸음단위 설정부를 포함하는 것을 특징으로 할 수 있다.In addition, the pre-processing unit classifies one gait cycle into a swing phase in which one foot is floating and a stance phase in which it is attached to the ground, and defines a point at which the predetermined number of pressure sensor values becomes 0 as a swing phase starting point. It may be characterized in that it comprises a step unit setting unit.

또한, 상기 전처리부는, swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값을 가지는 보행 데이터 값을 0으로 치환하는 노이즈 제거부를 더 포함하는 것을 특징으로 할 수 있다.In addition, the pre-processing unit may further include a noise removing unit that replaces a walking data value having a value other than 0 with a value of 0 during the start point of the swing phase and the start point of the stance phase.

또한, 상기 전처리부는, 단위 걸음의 보행 데이터 중 가장 짧은 시간을 측정하고, 측정된 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)하는 정규화부를 포함하는 것을 특징으로 할 수 있다.In addition, the pre-processing unit may be characterized in that it comprises a normalizing unit for measuring the shortest time among the walking data of the unit step, and resizing (resizing) the data length of all unit steps by the measured time length.

또한, 상기 리사이징된 보행 데이터는 상기 압력센서의 수(S) 및 리사이징된 데이터 길이(t)에 대응하여 t×S의 포맷을 가지는 것을 특징으로 할 수 있다.In addition, the resized walking data may be characterized in that it has a format of t×S corresponding to the number S of the pressure sensor and the length t of the resized data.

또한, 상기 보행 패턴 분류부는, 보행형태를 분류하는 DCNN(Deep Convolutional Neural Network)를 포함하는 것을 특징으로 할 수 있다.In addition, the gait pattern classification unit may include a DCNN (Deep Convolutional Neural Network) that classifies gait patterns.

또한, 상기 보행 패턴 분류부는, 상기 DCNN의 학습 중 그레디언트 손실(vanishing gradient) 방지 및 학습 안정성 향상을 위해, ReLU(Rectifier Linear Unit) 함수 이용하는 것을 특징으로 할 수 있다.In addition, the walking pattern classification unit may be characterized by using a rectifier linear unit (ReLU) function to prevent a gradient gradient and improve learning stability during learning of the DCNN.

또한, 상기 DCNN은 복수개의 컨볼루션 레이어를 포함하고, 상기 DCNN은 과적합(over-fitting) 문제 방지 및 일반화(regularization) 성능 향상을 위해, 학습 시 상기 컨볼루션 레이어에 포함된 노드(node)를 무작위로 선택하여 삭제하고, 남겨진 노드만을 이용하여 학습되는 것을 특징으로 할 수 있다.In addition, the DCNN includes a plurality of convolutional layers, and the DCNN uses a node included in the convolutional layer during learning to prevent over-fitting problems and improve regularization performance. It may be characterized by randomly selecting and deleting, and learning using only the remaining nodes.

한편, 상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 방법은 (a)보행 데이터 수집부가 스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터를 취득하는 단계; (b)전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 단계; (c)보행 패턴 분류부가 상기 정규화된 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 단계를 포함하는 것을 특징으로 한다.On the other hand, in order to achieve the above object, a walking pattern classification method using walking pressure data and machine learning according to the technical idea of the present invention includes: (a) the walking data collection unit receives walking data from a plurality of pressure sensors included in the smart insole. Obtaining; (b) a step in which the pre-processing unit divides data for each unit step by defining a section of the unit step in the walking data, and normalizes the data so that the lengths of the divided data are all the same; (c) a step of classifying a final gait type using a fully connected network that receives the normalized gait data as a gait pattern classifying unit.

또한, 상기 (b)단계는, 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하는 단계; swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값이 출력되는 보행 데이터 값을 0으로 치환하는 단계; 단위 걸음의 보행 데이터 중 가장 짧은 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)하는 단계를 포함하는 것을 특징으로 할 수 있다.In addition, the step (b) may include: classifying one walking cycle into a swing phase in which one foot is floating and a stance phase in a state attached to the ground; a step of substituting a gait data value outputting a non-zero value with zero during a start point of the swing phase and a start point of the stance phase; It may be characterized in that it comprises the step of resizing (resizing) the data length of all the unit steps to the shortest time length of the walking data of the unit step.

또한, 상기 완전 연결 네트워크는 DCNN(Deep Convolutional Neural Network)인 것을 특징으로 할 수 있다.In addition, the fully connected network may be characterized as a Deep Convolutional Neural Network (DCNN).

또한, 상기 (c)단계 후, 상기 보행 패턴 분류부가 소프트맥스(softmax) 함수를 이용하여 최종 출력을 연산하는 단계를 더 포함하는 것을 특징으로 할 수 있다.In addition, after step (c), the walking pattern classification unit may further include the step of calculating a final output using a softmax function.

본 발명에 의한 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법에 따르면,According to the walking pattern classification system and method using the walking pressure data and machine learning according to the present invention,

첫째, 압력센서만을 이용하여 다양한 변이가 존재하는 보행 형태를 분류할 수 있게 된다.First, it is possible to classify a walking type in which various variations exist using only the pressure sensor.

둘째, 발이 공중에 떠 있는 상태인 Swing phase 검출을 통해 전체 데이터에서 한 걸음에 해당하는 구간을 정의하고, 각 단위 걸음에 대한 데이터를 분할하여 분류 정확도를 높일 수 있게 된다.Second, it is possible to increase the accuracy of classification by defining a section corresponding to one step in the entire data through the detection of a swing phase in which the foot is floating in the air, and dividing the data for each unit step.

셋째, 걸음속도에 따른 데이터의 변이를 제거하고, 단위 보행데이터 간의 동등한 비교를 위해 데이터 리사이징(resizing)을 수행하며, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하므로, 다양한 변이가 존재하는 보행 데이터의 형태 분류가 정확하게 이루어질 수 있게 된다.Third, data variation according to the walking speed is removed, data resizing is performed for equal comparison between unit walking data, and data is normalized so that the lengths of the divided data are all the same, so various variations It is possible to accurately classify the shape of the existing walking data.

넷째, 이 실시예를 이용하면 사용자의 보행 형태를 심도 있게 분석할 수 있기 때문에 치매환자의 병증 진행도 진단 등 의학적인 분야에서 보행을 이용하는 진단에 이용할 수 있게 된다.Fourth, by using this embodiment, since the user's gait pattern can be analyzed in-depth, it can be used for diagnosis using gait in the medical field, such as diagnosing the progression of patients with dementia.

도 1은 본 발명의 실시예에 따른 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템의 구성도.
도 2는 여덟 개의 압력센서를 포함하는 인솔에서 취득된 보행 데이터 값이 정리된 표.
도 3은 본 발명의 실시예에 따른 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 방법의 순서도.
도 4는 S140 단계의 구체적인 과정을 나타낸 순서도.
도 5는 동일한 보행 데이터를 대상으로 본 발명의 실시예 및 종래 DA-NLDA 알고리즘을 이용하여 보행 형태를 분류했을 때의 정확도를 대비한 그래프.1 is a configuration diagram of a walking pattern classification system using walking pressure data and machine learning according to an embodiment of the present invention.
2 is a table in which walking data values obtained from an insole including eight pressure sensors are arranged.
3 is a flowchart of a walking pattern classification method using walking pressure data and machine learning according to an embodiment of the present invention.
Figure 4 is a flow chart showing the specific process of step S140.
5 is a graph comparing the accuracy of classifying gait types using the embodiment of the present invention and the conventional DA-NLDA algorithm for the same gait data.

첨부한 도면을 참조하여 본 발명의 실시예들에 의한 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.A walking pattern classification system and method using walking pressure data and machine learning according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention can be variously changed and can have various forms, and specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosure form, and it should be understood that it includes all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals are used for similar components.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

본 발명의 실시예에 따른 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법은 압력센서를 이용하여 다양한 변이가 존재하는 보행데이터를 분석하여 보행 형태를 분류할 수 있도록 한 것이다.A walking pattern classification system and method using walking pressure data and machine learning according to an embodiment of the present invention is to enable a walking type to be classified by analyzing walking data having various variations using a pressure sensor.

도 1을 참조하면, 이 실시예의 보행 패턴 분류 시스템은 스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터 취득하는 보행 데이터 수집부(10); 보행 데이터 수집부(10)가 취득한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 전처리부(20); 전처리부(20)가 정규화한 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 보행 패턴 분류부(40)를 포함한다.Referring to FIG. 1, the walking pattern classification system of this embodiment includes a walking data collection unit 10 that acquires walking data from a plurality of pressure sensors included in a smart insole; A pre-processing unit 20 that divides data for each unit step by defining a section of the unit step in the walking data acquired by the walking data collection unit 10 and normalizes the data so that the lengths of the divided data are all the same. ; The pre-processing unit 20 includes a gait pattern classification unit 40 that classifies the final gait type using a fully connected network that receives normalized gait data as input.

스마트 인솔은 복수의 압력센서가 간격을 두고 어레이(array)를 형성하는 것이 특징이다. 스마트 인솔에는 가속도센서, 자이로센서 등이 더 포함될 수 있다. 이 실시예는 스마트 인솔에서 압력센서만을 이용하였다.The smart insole is characterized in that a plurality of pressure sensors form an array at intervals. The smart insole may further include an acceleration sensor and a gyro sensor. In this embodiment, only the pressure sensor is used in the smart insole.

이 실시예는 실험을 위해 쓰리엘랩스(3L-Labs)에서 제작한 FootLogger라는 스마트 인솔을 이용하였다. FootLogger는 8개의 압력센서로 구성된 센서 어레이(array)를 내장하고, 압력센서들은 압력의 세기에 따라 0, 1, 2의 값을 출력하는 것이 특징이다. 각 압련센서는 100Hz의 샘플링율로 데이터를 측정한다.For this example, a smart insole called FootLogger manufactured by 3L-Labs was used for the experiment. The FootLogger has a built-in sensor array consisting of 8 pressure sensors, and the pressure sensors feature a value of 0, 1, or 2 depending on the strength of the pressure. Each compression sensor measures data at a sampling rate of 100 Hz.

도 2를 참조하면, 보행 데이터 수집부(10)는 스마트 인솔의 압력센서에서 취득된 보행 데이터를 2차원 행렬 형태로 저장한다.Referring to FIG. 2, the walking data collection unit 10 stores the walking data obtained from the pressure sensor of the smart insole in the form of a two-dimensional matrix.

전처리부(20)는 걸음단위 설정부(22), 노이즈 제거부(24), 정규화부(26)를 포함한다.The pre-processing unit 20 includes a walking unit setting unit 22, a noise removing unit 24, and a normalization unit 26.

걸음단위 설정부(22)는 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와, 발이 땅에 붙어있는 상태인 stance phase로 분류한다. 또한, 기 정해진 수의 압력센서 값이 0이 되는 시점을 swing phase 시작점으로 정의한다.The walking unit setting unit 22 classifies one walking cycle into a swing phase in which one foot is floating and a stance phase in which the foot is attached to the ground. In addition, the starting point of the swing phase is defined as the point at which the predetermined number of pressure sensor values becomes zero.

실험 중 압력센서 간 전위 차이, 발열 등의 요인에 의해 swing phase 임에도 일부 압력센서에서 0이 아닌 값이 취득되었다. 이러한 값은 1회의 swing phase가 여러 차례 발생된 것으로 오판되는 오류를 유발하여 보행형태 분류 성능을 악화시킬 수 있다.During the experiment, non-zero values were obtained in some pressure sensors even in the swing phase due to factors such as potential difference between the pressure sensors and heat generation. Such a value may lead to an error in which a single swing phase occurs several times, which may degrade the gait classification performance.

노이즈 제거를 위해, 좌측 발에 위치하는 모든 압력센서 어레이 값의 합이 0이 되는 시점을 swing phase의 시작점으로 정의하였다. 또한, swing phase 다음에 오는 swing phase의 시작점은 압력센서 중 2개 이상의 센서에서 0이 아닌 값이 출력되는 시점으로 정의하였다.In order to remove noise, the point at which the sum of all pressure sensor array values located on the left foot becomes 0 is defined as the starting point of the swing phase. In addition, the starting point of the swing phase following the swing phase was defined as a time point at which two or more of the pressure sensors output non-zero values.

노이즈 제거부(24)는 swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값을 가지는 보행 데이터 값을 0으로 치환한다. 예를 들어, 노이즈 제거부(24)는 도 2에 도시된 노이즈(noise)를 0으로 치환한다.The noise removing unit 24 replaces a walking data value having a value other than 0 with a value of 0 during the start point of the swing phase and the start point of the stance phase. For example, the noise removing unit 24 replaces the noise shown in FIG. 2 with zero.

보행 속도의 변위는 보행형태 분류를 위해 데이터에서 특징을 추출할 때 방해가 된다. 정규화부(26)는 단위 걸음의 보행 데이터 중 가장 짧은 시간을 측정하고, 측정된 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)한다. 리사이징된 모든 단위 걸음의 구간들은 동일한 크기가 됨으로써 정규화된다. 단위 걸음의 시간 길이는 도 2의 행렬에서 행의 개수인 것으로 이해할 수 있다. 보행 데이터 수집부(10)는 보통 일정한 시간 단위로 보행 데이터를 취득한다(도 2의 시간 참조). 사용자가 일정한 속도로 걷는다면 대부분의 단위 걸음은 동일한 행(row) 개수의 보행 데이터를 갖는다. 하지만, 보행 속도가 점차 느려진다면 처음 단위 걸음에 대응하는 보행 데이터의 행(row) 개수는 60개가 되고, 다음 단위 걸음에 대응하는 보행 데이터의 행(row) 개수는 70개가 될 수 있다. 단위 걸음에 대응하는 보행 데이터의 행(row) 개수의 차이는 보행 형태를 분류할 때 의미가 크지 않으므로 가장 짧은 단위 걸음과 동수로 정규화 된다.The displacement of the walking speed is a hindrance when extracting features from the data to classify the walking type. The normalization unit 26 measures the shortest time among the gait data of the unit gait, and resizings the data length of all unit gaits by the measured time length. The intervals of all resized unit steps are normalized by being the same size. It can be understood that the time length of the unit step is the number of rows in the matrix of FIG. 2. The walking data collection unit 10 usually acquires walking data in a predetermined time unit (see the time in FIG. 2). If the user walks at a constant speed, most unit steps have the same number of rows of walking data. However, if the walking speed gradually decreases, the number of rows of walking data corresponding to the first unit step may be 60, and the number of rows of walking data corresponding to the next unit step may be 70. The difference in the number of rows of the gait data corresponding to the unit gait is not significant when classifying the gait type, so it is normalized to the shortest unit gait and the same number.

정규화된 단위 걸음의 보행 데이터는 압력센서의 수(S) 및 리사이징된 데이터 길이(t)에 대응하여 t×S의 포맷을 가진다.The normalized unit step gait data has a format of t×S corresponding to the number S of pressure sensors and the length t of the resized data.

정규화된 포맷의 보행 데이터가 완전 연결 네트워크에 입력되는 특징맵(feature map) 정보가 된다.The walking data in the normalized format becomes feature map information input to the fully connected network.

완전 연결 네트워크는 임의의 두 노드 사이에 반드시 분기를 가지고 있는 망을 의미한다.A fully connected network means a network that must have a branch between any two nodes.

이 실시예의 보행 패턴 분류부(40)는 완전 연결 네트워크로서 DCNN(Deep Convolutional Neural Network)이 적용되었다.The walking pattern classification unit 40 of this embodiment is applied with a deep convolutional neural network (DCNN) as a fully connected network.

DCNN은 심층신경망(Deep Neural Network)의 한 종류로, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망이다. DCNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용된다.DCNN is a type of deep neural network, and is a neural network composed of one or several convolutional layers, a pooling layer, and fully connected layers. DCNN has a structure suitable for learning two-dimensional data, and can be trained through a backpropagation algorithm. It is widely used in various application fields such as object classification and object detection in images.

이 실시예의 DCNN은 3개의 컨볼루션 레이어를 포함한다. 각 컨볼루션 레이어는 해당 특징 수준(feature level)의 필터를 포함한다.The DCNN of this embodiment includes three convolutional layers. Each convolutional layer includes a filter of a corresponding feature level.

kind of filterskind of filters filter sizefilter size filtering stridefiltering stride 1st layer1st layer 3232 16×2016×20 ss 2nd layer2nd layer 6464 20×6420×64 ss 3rd layer3rd layer 128128 20×12820×128 ss

각 컨볼루션 레이어에서 이용하는 필터의 개수, 크기 및 필터링 스트라이드(k≤2 경우 s=1; k>2 경우 s=2)는 표 1에 요약되어 있다.The number, size, and filtering stride (s=1 for k≤2; s=2 for k>2) of filters used in each convolution layer are summarized in Table 1.

보행 패턴 분류부(40)는 DCNN의 학습 중 그레디언트 손실(vanishing gradient) 방지 및 학습 안정성 향상을 위해, ReLU(Rectifier Linear Unit) 함수 이용한다.The walking pattern classification unit 40 uses a rectifier linear unit (ReLU) function to prevent a gradient gradient and improve learning stability during DCNN learning.

또한, 활성화 함수 적용 이후, 배치 정규화(배치 크기: 32)를 수행한다.In addition, after applying the activation function, batch normalization (batch size: 32) is performed.

DCNN은 과적합(over-fitting) 문제 방지 및 일반화(regularization) 성능 향상을 위해, 드롭아웃(dropout) 방법으로 학습된다. 드롭아웃은 학습 시 컨볼루션 레이어에 포함된 노드(node)를 기 설정된 드롭아웃 비율만큼 무작위로 선택하여 삭제하고, 남겨진 노드만을 이용하여 학습하는 방법이다.DCNN is trained by a dropout method to prevent over-fitting problems and improve regularization performance. Dropout is a method of randomly selecting and deleting a node included in the convolution layer at a preset dropout ratio and learning using only the remaining nodes.

보행 패턴 분류부(40)는 최종 출력을 소프트맥스(softmax) 함수를 이용하여 연산한다.The walking pattern classification unit 40 calculates the final output using a softmax function.

이어서, 본 발명의 실시예에 따른 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 방법을 설명한다.Next, a walking pattern classification method using walking pressure data and machine learning according to an embodiment of the present invention will be described.

도 3을 참조하면, 이 실시예는 보행 데이터 수집부(10)가 스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터를 취득하는 단계(S120); 전처리부(20)가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 단계(S140); 보행 패턴 분류부(40)가 상기 정규화된 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 단계(S160)를 포함한다.Referring to FIG. 3, this embodiment includes the steps of the walking data collection unit 10 acquiring walking data from a plurality of pressure sensors included in a smart insole (S120); The pre-processing unit 20 divides the data for each unit step by defining a section of the unit step in the walking data, and normalizes the data so that the lengths of the divided data are all the same (S140); The walking pattern classification unit 40 includes the step of classifying the final walking type using a fully connected network that receives the normalized walking data as an input (S160 ).

도 4를 참조하면, S140 단계는 구체적으로 하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하는 단계; swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값이 출력되는 보행 데이터 값을 0으로 치환하는 단계; 단위 걸음의 보행 데이터 중 가장 짧은 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)하는 단계를 포함한다.Referring to FIG. 4, step S140 specifically includes classifying one gait cycle into a swing phase in which one foot is floating and a stance phase in a state attached to the ground; a step of substituting a gait data value outputting a non-zero value with zero during a start point of the swing phase and a start point of the stance phase; And resizing the data length of all unit steps to the shortest time length among the walking data of the unit steps.

또한, 이 실시예는 S160 단계 후, 보행 패턴 분류부(40)가 소프트맥스(softmax) 함수를 이용하여 최종 출력을 연산하는 단계(S180)를 더 포함한다.In addition, this embodiment further includes a step S180 of calculating the final output by the walking pattern classification unit 40 using a softmax function after step S160.

실험 예.Experimental example.

실험을 위한 스마트 인솔은 쓰리엘랩스(3L-Labs)에서 제작한 FootLogger를 이용하였다. FootLogger는 압력의 세기에 따라 0, 1, 2의 값을 출력하는 8개의 압력센서로 구성된 센서 어레이(array)를 내장하고 있다. 각 센서들은 100Hz의 샘플링율로 데이터를 측정한다.The smart insole for the experiment used FootLogger manufactured by 3L-Labs. FootLogger has a built-in sensor array consisting of 8 pressure sensors that output values of 0, 1, and 2 depending on the intensity of pressure. Each sensor measures data at a sampling rate of 100 Hz.

성인 14명에게 스마트 인솔이 삽입된 신발을 착용시킨 후 걷기(WK), 언덕 오르기(RA), 언덕 내려가기(RD), 계단 오르기(SA), 계단 내려가기(SD), 달리기(RUN), 경보(FWK) 총 7개 유형으로 보행하게 하였다.Walking (WK), climbing a hill (RA), climbing a hill (RD), climbing a stairs (SA), climbing a stairs (SD), running (RUN) after wearing shoes with smart insoles on 14 adults, A total of seven types of warning (FWK) were used to walk.

스마트 인솔에서 취득된 보행 데이터를 대상으로 전처리 및 보행 패턴 분류를 실시하였다.Pre-processing and gait pattern classification were performed on the gait data obtained from the smart insole.

DCNN 학습 및 실험을 위해, 보행 데이터를 보행형태 별로 분류하고, 전처리 및 정규화하여 단위 걸음(#. of steps)을 표 2와 같이 준비하였다.For DCNN learning and experiments, walking data was classified by gait type, and preprocessed and normalized to prepare unit steps (#. of steps) as shown in Table 2.

gait typegait type #. of steps#. of steps durationduration WKWK 2,2952,295 3 m3 m FWKFWK 2,7142,714 3 m3 m RARA 1,5771,577 1 m1 m RDRD 1,5861,586 1 m1 m SASA 747747 1 m1 m SDSD 971971 1 m1 m RUNRUN 3,6423,642 3 m3 m

DCNN의 학습과 실험을 위해 각 보행형태에서 단위 걸음의 데이터를 1,000개 씩 무작위로 선별하였다. 통계적 신뢰도를 높이기 위해, 무작위로 단위 걸음을 선별하는 작업을 20회 반복하여 평균 분류율을 계산하였다.For DCNN learning and experiments, 1,000 steps were randomly selected from each gait type. To increase the statistical reliability, the task of randomly selecting unit steps was repeated 20 times to calculate the average classification rate.

학습 과정에서, 손실함수에는 Categorical Cross Entropy를 이용하였다.In the learning process, categorical cross entropy was used for the loss function.

네트워크의 가중치를 최적화하기 위한 방법으로 아담 옵티마이저(adaptive momentum optimizer)를 이용하였다(학습율 = 0.0001).As a method for optimizing the weight of the network, an Adam momentum optimizer was used (learning rate = 0.0001).

아울러, 이 실시예의 성능을 판별 분석 기반의 DA-NLDA 방법과 비교 평가하였다.In addition, the performance of this example was evaluated in comparison with the DA-NLDA method based on discriminant analysis.

먼저, 보행형태 분류를 위해 유의미한 보행 특징 추출에 몇 걸음이 필요한지 확인하였다. 한 걸음으로 구성된 보행 샘플(k=1)부터 다섯 걸음으로 구성된 보행 샘플(k=5)까지의 인식률을 연산하였다.First, it was confirmed how many steps are needed to extract meaningful gait features for classification of gait types. The recognition rate from a walking sample (k=1) consisting of one step to a walking sample (k=5) consisting of five steps was calculated.

도 5를 참조하면, 본 발명의 실시예는 단지 0, 1, 2를 출력하는 8개의 압력센서만으로 우수한 보행형태 분류 성능을 나타냈다. 모든 걸음 수에서 이 실시예가 DA-NLDA보다 더 나은 성능을 보여 주었다. 특히, 한 걸음으로 구성된 보행 샘플의 경우, DA-NLDA의 보행형태 분류 성능이 25.10%에 불과하지만, 이 실시예는 한 걸음 만으로도 84.82%의 높은 성능을 나타내었다.Referring to Figure 5, the embodiment of the present invention showed excellent walking type classification performance with only 8 pressure sensors outputting 0, 1, and 2. This example showed better performance than DA-NLDA at all steps. In particular, in the case of a gait sample composed of one step, DA-NLDA has a gait type classification performance of only 25.10%, but this embodiment shows a high performance of 84.82% in just one step.

보행 샘플의 걸음 수가 많을수록 보행형태 분류 성능이 향상되다가 4 내지 5걸음에서 성능 향상 폭이 둔화되는 것을 관찰할 수 있었다. 이것은 네 걸음 이상의 보행 데이터부터는 걸음 수 증가에 대한 추가적인 정보 획득 효과가 미미한 것으로 판단된다.As the number of steps of the walking sample increased, it was observed that the walking type classification performance improved, and the performance improvement width decreased at 4 to 5 steps. From this, it is judged that the effect of acquiring additional information for increasing the number of steps is negligible from walking data of four or more steps.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 다음 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.The preferred embodiments of the present invention have been described above, but the present invention can use various changes, modifications, and equivalents. It is clear that the present invention can be equally applied by appropriately modifying the above embodiments. Therefore, the above description is not intended to limit the scope of the present invention as defined by the following claims.

10 : 보행 데이터 수집부 20 : 전처리부
22 : 걸음단위 설정부 24 : 노이즈 제거부
26 : 정규화부 40 : 보행 패턴 분류부10: walking data collection unit 20: pre-processing unit
22: walking unit setting unit 24: noise removal unit
26: normalization unit 40: walking pattern classification unit

Claims (12)

스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터를 취득하는 보행 데이터 수집부;
상기 보행 데이터 수집부가 취득한 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 전처리부; 및
상기 전처리부에서 정규화된 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 보행 패턴 분류부를 포함하는 것을 특징으로 하는 보행 패턴 분류 시스템.A walking data collection unit acquiring walking data from a plurality of pressure sensors included in a smart insole;
A pre-processing unit that divides data for each unit step by defining a section of the unit step in the walking data acquired by the walking data collection unit, and normalizes the data so that the lengths of the divided data are all the same; And
A walking pattern classification system comprising a walking pattern classification unit that classifies a final walking type using a fully connected network that receives normalized walking data from the preprocessing unit. 제1항에 있어서, 상기 전처리부는,
하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하고, 기 정해진 수의 압력센서 값이 0이 되는 시점을 swing phase 시작점으로 정의하는 걸음단위 설정부를 포함하는 것을 특징으로 하는 보행 패턴 분류 시스템.According to claim 1, wherein the pre-processing unit,
Includes a walking unit setting unit that classifies one gait cycle into a swing phase with one foot floating and a stance phase attached to the ground, and defines the point at which the predetermined number of pressure sensor values become 0 as the starting point of the swing phase. Gait pattern classification system, characterized in that. 제2항에 있어서, 상기 전처리부는,
swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값을 가지는 보행 데이터 값을 0으로 치환하는 노이즈 제거부를 더 포함하는 것을 특징으로 하는 보행 패턴 분류 시스템.According to claim 2, The pre-processing unit,
A walking pattern classification system, further comprising a noise removing unit that substitutes a walking data value having a value other than 0 during a start phase of the swing phase and a starting point of the stance phase. 제1항에 있어서, 상기 전처리부는,
단위 걸음의 보행 데이터 중 가장 짧은 시간을 측정하고, 측정된 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)하는 정규화부를 포함하는 것을 특징으로 하는 보행 패턴 분류 시스템.According to claim 1, wherein the pre-processing unit,
A walking pattern classification system comprising a normalizing unit that measures the shortest time among walking data of a unit step and resizings the data length of all unit steps by the measured time length. 제4항에 있어서,
상기 리사이징된 보행 데이터는 상기 압력센서의 수(S) 및 리사이징된 데이터 길이(t)에 대응하여 t×S의 포맷을 가지는 것을 특징으로 하는 보행 패턴 분류 시스템.The method of claim 4,
The resized walking data is a walking pattern classification system, characterized in that it has a format of t × S corresponding to the number (S) and the resized data length (t) of the pressure sensor. 제1항에 있어서, 상기 보행 패턴 분류부는,
보행형태를 분류하는 DCNN(Deep Convolutional Neural Network)를 포함하는 것을 특징으로 하는 보행 패턴 분류 시스템.According to claim 1, wherein the walking pattern classification unit,
A walk pattern classification system comprising a DCNN (Deep Convolutional Neural Network) for classifying walk types. 제6항에 있어서, 상기 보행 패턴 분류부는,
상기 DCNN의 학습 중 그레디언트 손실(vanishing gradient) 방지 및 학습 안정성 향상을 위해, ReLU(Rectifier Linear Unit) 함수 이용하는 것을 특징으로 하는 보행 패턴 분류 시스템.The method of claim 6, wherein the walking pattern classification unit,
A walking pattern classification system characterized by using a rectifier linear unit (ReLU) function to prevent a gradient gradient during learning of the DCNN and to improve learning stability. 제7항에 있어서,
상기 DCNN은 복수개의 컨볼루션 레이어를 포함하고,
상기 DCNN은 과적합(over-fitting) 문제 방지 및 일반화(regularization) 성능 향상을 위해, 학습 시 상기 컨볼루션 레이어에 포함된 노드(node)를 무작위로 선택하여 삭제하고, 남겨진 노드만을 이용하여 학습되는 것을 특징으로 하는 보행 패턴 분류 시스템.The method of claim 7,
The DCNN includes a plurality of convolutional layers,
The DCNN randomly selects and deletes nodes included in the convolution layer during learning to prevent over-fitting problems and improve regularization performance. Gait pattern classification system, characterized in that. (a) 보행 데이터 수집부가 스마트 인솔에 포함된 복수의 압력센서로부터 보행 데이터를 취득하는 단계;
(b) 전처리부가 상기 보행 데이터에서 단위 걸음의 구간을 정의하여 각 단위 걸음에 대한 데이터를 분할하고, 분할된 데이터의 길이가 모두 같도록 데이터를 정규화(normalize)하는 단계; 및
(c) 보행 패턴 분류부가 상기 정규화된 보행 데이터를 입력으로 받는 완전 연결 네트워크(fully connected network)를 이용하여 최종 보행형태를 분류하는 단계를 포함하는 것을 특징으로 하는 보행 패턴 분류 방법.(A) walking data acquisition unit acquiring the walking data from a plurality of pressure sensors included in the smart insole;
(b) a step in which the pre-processing unit divides data for each unit step by defining an interval of unit steps in the walking data, and normalizes the data so that the lengths of the divided data are all the same; And
(c) a walking pattern classification method comprising the step of classifying the final walking type using a fully connected network that receives the normalized walking data as an input of the walking pattern classification unit. 제9항에 있어서, 상기 (b)단계는,
하나의 보행주기를 한 발이 떠 있는 상태인 swing phase와 땅에 붙어있는 상태인 stance phase로 분류하는 단계;
swing phase의 시작점과 stance phase의 시작점 사이 동안, 0 이외의 값이 출력되는 보행 데이터 값을 0으로 치환하는 단계;
단위 걸음의 보행 데이터 중 가장 짧은 시간 길이만큼으로 모든 단위 걸음의 데이터 길이를 리사이징(resizing)하는 단계를 포함하는 것을 특징으로 하는 보행 패턴 분류 방법.The method of claim 9, wherein step (b),
Classifying one gait cycle into a swing phase with one foot floating and a stance phase attached to the ground;
a step of substituting a gait data value outputting a non-zero value with zero during a start point of the swing phase and a start point of the stance phase;
And resizing data lengths of all unit steps by the shortest time length among the unit step walking data. 제9항에 있어서,
상기 완전 연결 네트워크는 DCNN(Deep Convolutional Neural Network)인 것을 특징으로 하는 보행 패턴 분류 방법.The method of claim 9,
The fully connected network is a DCNN (Deep Convolutional Neural Network), characterized in that the walking pattern classification method. 제9항에 있어서, 상기 (c)단계 후,
상기 보행 패턴 분류부가 소프트맥스(softmax) 함수를 이용하여 최종 출력을 연산하는 단계를 더 포함하는 것을 특징으로 하는 보행 패턴 분류 방법.The method of claim 9, after step (c),
The walking pattern classification method further comprises the step of calculating the final output using a softmax (softmax) function.

Images