KR101987308B1 - Method and apparatus for recognizing motion to be considered noise - Google Patents
Method and apparatus for recognizing motion to be considered noise Download PDFInfo
- Publication number
- KR101987308B1 KR101987308B1 KR1020190026447A KR20190026447A KR101987308B1 KR 101987308 B1 KR101987308 B1 KR 101987308B1 KR 1020190026447 A KR1020190026447 A KR 1020190026447A KR 20190026447 A KR20190026447 A KR 20190026447A KR 101987308 B1 KR101987308 B1 KR 101987308B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- user
- noise
- noise pattern
- module
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H04M1/72569—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 물리적 변화를 감지하는 하나 이상의 센서를 통한 센싱값을 이용하여 동작을 인식하는데 있어서, 주변 상황에 따라서 발생하는 노이즈에 의한 영향을 제거함으로써 주변 상황에 관계없이 항상 동작 인식에 대한 신뢰성을 확보할 수 있는 노이즈를 고려한 동작 인식 방법 및 장치에 관한 것으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 센싱값을 수집하고, 사용자 동작이 감지되기 전까지, 상기 수집된 센싱값을 변화를 분석하여, 노이즈 패턴을 추출하여, 노이즈 패턴의 특징 정보를 추출하고, 사용자 동작이 감지되면, 상기 사전 정의 동작에 대한 특징 정보 및 상기 노이즈 패턴의 특징 정보를 이용하여 동작 인식 처리를 수행하도록 구현된다.In the present invention, in recognizing an operation using a sensing value through one or more sensors that detect a physical change, it is possible to reliably obtain the reliability of the operation recognition regardless of the surrounding situation by eliminating the influence of noise caused by the surrounding situation The method includes the steps of: collecting a sensing value from at least one sensor that senses a physical change; analyzing a change in the sensed value until a user operation is sensed; Extracts the feature information of the noise pattern, and performs a motion recognition process using the feature information of the predefined operation and the feature information of the noise pattern when a user operation is detected.
Description
본 발명은 물리적 변화를 감지하는 하나 이상의 센서를 통한 센싱값을 이용하여 동작을 인식하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 주변 상황에 따라서 발생하는 노이즈에 의한 영향을 제거함으로써 주변 상황에 관계없이 항시 동작 인식에 대한 신뢰성을 확보할 수 있는 노이즈를 고려한 동작 인식 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for recognizing an operation using a sensing value through at least one sensor for sensing a physical change, and more particularly, to a method and apparatus for recognizing an operation by eliminating the influence of noise caused by a surrounding situation And more particularly, to a method and apparatus for recognizing motion in consideration of noise that can ensure reliability of motion recognition at all times.
최근에는 개방형 OS를 탑재함으로써, 휴대전화에 PC의 고기능을 결합시킨 스마트폰(Smart Phone)이 대중화되면서, 고기능, 고성능의 스마트폰의 활용 방향에 대한 다양한 시도가 이루어지고 있다.In recent years, with the introduction of an open OS, a smart phone combining a high function of a PC with a mobile phone has become popular, and various attempts have been made to utilize a high-function and high-performance smart phone.
특히, 초소형 제작 기술의 발달과 함께 첨단 센서들이 더욱 소형화되고 저렴해지면서 스마트폰에 더 많은 센서들이 탑재될 수 있으며, 이에 증강현실이나 3D 게임 등과 같이 이러한 센서들을 활용한 지능형 애플리케이션들이 많이 개발되고 있다.In particular, with the development of micro-fabrication technology, advanced sensors become smaller and cheaper, and more sensors can be mounted on smart phones, and intelligent applications utilizing such sensors, such as augmented reality and 3D games, are being developed .
아울러, 스마트폰에 탑재되는 센서들이 단순히 주변상황을 감지하는 장치에서 사용자의 신체 변화, 감정상태까지 고려하는 지능형 센서로서 진화하여 인간과 감성을 교감할 수 있는 핵심 매개체 역할을 담당할 수 있을 것으로 전망됨에 따라서, 센서들을 활용한 지능형 애플리케이션들은 더 많이 증대될 것으로 예측된다.In addition, sensors mounted on smart phones will be able to play a key role in communicating emotions with human beings by evolving into an intelligent sensor that takes into consideration the user's physical changes and emotional states in a device that senses the surroundings. As a result, intelligent applications utilizing sensors are expected to grow even more.
스마트폰에 탑재되는 센서로서, 카메라(이미지) 센서, 음향 센서, 근접 센서, 조도 센서, 중력 센서, GPS 센서, 가속도 센서, 자이로 센서, 지자기 센서 등이 있다.There are camera (image) sensor, acoustic sensor, proximity sensor, illuminance sensor, gravity sensor, GPS sensor, acceleration sensor, gyro sensor, and geomagnetic sensor.
이 중에서, 단위시간당 물체 속도의 변화, 충격, 등 동적 힘의 변화를 감지하는 가속도 센서, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 지자기 센서이고, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 자이로 센서 등이, 동작 인식에 주로 활용된다.Among them, an acceleration sensor that detects a change of an object speed per unit time, an impact, a dynamic force such as an impact, a geomagnetic sensor that detects the azimuth angle like a compass by grasping the flow of a geomagnetic field, detects an inertial force of an object as an electric signal, And a gyro sensor for detecting the rotation angle are mainly used for motion recognition.
그런데, 이러한 가속도센서, 지자기 센서, 자이로 센서의 센싱값을 분석하여 동작을 인식하는 경우, 단말의 진동 상황, 버스/자동차/지하철/보행 등에 의해 이동 상황에서 움직임으로 인해 상기 센싱값에 노이즈가 발생할 수 있으며, 이러한 노이즈로 인하여 사용자가 미리 설정되어 있는 사전 정의 동작을 수행하더라도 이를 인지할 수 없게 되는 일이 발생할 수 있다.However, when the motion is recognized by analyzing the sensed values of the acceleration sensor, the geomagnetism sensor, and the gyro sensor, noise may be generated in the sensing value due to movement of the mobile station due to the vibration state of the terminal, bus, automobile, subway, Even if the user performs the preset predefined operation due to the noise, the user may not be able to recognize the predefined operation.
구체적으로 설명하면, 정지상태에 있을 때, 가속도 센서, 지자기 센서, 자이로 센서의 센싱값에는 미미한 변화만 나타날 뿐 거의 일정한 값을 유지하는데 반해, 보행중이거나, 버스/자동차/지하철등의 교통 수단을 타고 이동중이거나, 진동 상태인 경우, 상기 가속도 센서, 지자기 센서, 자이로 센서의 센싱값은, 이동 시 혹은 진동 시에 발생하는 움직임으로 인하여, 정지상태에서는 달리 센싱값이 변화된다. 이렇게 발생하는 센싱값의 성분을 노이즈라고 하며, 이러한 노이즈가 발생하는 상황에서는 사용자가 기 설정된 동작을 취하더라도, 센싱값에 상기 노이즈 성분이 포함되어, 사용자가 취한 상기 동작을 인식하지 못하는 경우가 발생하게 된다.Specifically, when the vehicle is at rest, the sensed values of the acceleration sensor, the geomagnetic sensor, and the gyroscope are only slightly changed, while maintaining a substantially constant value. On the other hand, When the vehicle is in motion or in a vibrating state, the sensed values of the acceleration sensor, the geomagnetic sensor, and the gyro sensor are different from each other in the stop state due to movement occurring during movement or vibration. A component of the sensing value thus generated is referred to as noise. In a situation where such a noise occurs, even if the user takes a predetermined operation, the noise component is included in the sensing value, and the user may not recognize the operation .
본 발명은 물리적 변화를 감지하는 하나 이상의 센서를 통한 센싱값을 이용하여 동작을 인식하는데 있어서, 주변 상황에 따라서 발생하는 노이즈에 의한 영향을 제거함으로써 주변 상황에 관계없이 항상 동작 인식에 대한 신뢰성을 확보할 수 있는 노이즈를 고려한 동작 인식 방법 및 장치를 제공하고자 한다.In the present invention, in recognizing an operation using a sensing value through one or more sensors that detect a physical change, it is possible to reliably obtain the reliability of the operation recognition regardless of the surrounding situation by eliminating the influence of noise caused by the surrounding situation And to provide a motion recognition method and apparatus considering noise that can be performed.
상술한 과제의 해결 수단으로서, 본 발명은 물리적 변화를 감지하는 하나 이상의 센서로부터 센싱값을 수집하는 센싱값 수집 모듈; 상기 수집한 센싱값으로부터 움직임 정보를 산출하는 연산 모듈; 사용자 동작이 감지되기 전까지, 상기 센싱값 수집 모듈로부터 수집된 센싱값을 변화를 분석하여, 노이즈 패턴을 추출하고, 상기 노이즈 패턴의 특징 정보를 추출하여 노이즈 패턴 관리 테이블을 생성하는 노이즈 패턴 추출 모듈; 및 상기 연산 모듈로부터 산출된 움직임 정보를 기반을 상기 사용자 동작을 감지하고, 사용자 동작이 감지되면, 사전 정의 동작에 대한 특징 정보 및 상기 노이즈 패턴의 특징 정보를 이용하여 동작 인식 처리를 수행하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치를 제공한다.As a solution to the above-mentioned problems, the present invention provides a sensing value collection module for collecting sensing values from at least one sensor that senses a physical change; A calculation module for calculating motion information from the collected sensing values; A noise pattern extracting module for analyzing a change in the sensing value collected from the sensing value collecting module until a user operation is detected, extracting a noise pattern, extracting feature information of the noise pattern, and generating a noise pattern management table; And an operation recognition unit that detects the user operation based on the motion information calculated from the operation module and performs motion recognition processing using the feature information of the predefined operation and the feature information of the noise pattern when a user operation is detected The present invention also provides a motion recognition device in which noise is included.
또한, 본 발명은 물리적 변화를 감지하는 하나 이상의 센서로부터 센싱값을 수집하는 단계; 사용자 동작이 감지되기 전까지, 상기 수집된 센싱값을 변화를 분석하여, 노이즈 패턴을 추출하는 단계; 상기 노이즈 패턴의 특징 정보를 추출하여 노이즈 패턴 관리 테이블을 생성하는 단계; 및 상기 사용자 동작이 감지되면, 사전 정의 동작에 대한 특징 정보 및 상기 노이즈 패턴의 특징 정보를 이용하여 동작 인식 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 방법을 제공한다.The present invention also relates to a method for detecting a physical change, comprising: collecting a sensing value from at least one sensor that senses a physical change; Extracting a noise pattern by analyzing a change in the collected sensing value until a user operation is detected; Extracting feature information of the noise pattern to generate a noise pattern management table; And performing a motion recognition process using the feature information of the predefined operation and the feature information of the noise pattern when the user operation is sensed.
본 발명에 따르면, 자이로 센서, 가속도 센서, 지자기 센서 등의 센싱값을 분석하여, 사용자 동작을 인식하는데 있어서, 사용자 동작이 시작되기 전까지의 대기 상태 동안, 센싱값을 분석하여 노이즈 패턴 및 그 특징 정보를 추출하고, 이를 기반으로 사용자 동작을 인식함으로써, 노이즈와 올바른 사용자 동작을 보다 정확하게 구분하여 인식할 수 있다.According to the present invention, sensing values of a gyro sensor, an acceleration sensor, a geomagnetism sensor, and the like are analyzed to recognize a user's operation. During a standby state before a user's operation is started, a sensed value is analyzed, And by recognizing the user's action based on the extracted user's operation, it is possible to distinguish and recognize the noise and the correct user's action more accurately.
특히, 본 발명은, 주변 상황, 즉, 동작 인식이 수행될 사용자 단말에서 진동이 울리거나 이동하는 경우, 이러한 움직임에 의해 발생하는 노이즈 패턴을 추출하고, 사용자 동작을 상기 노이즈 패턴 및 사전 정의 동작과 각각 비교함에 의해, 노이즈를 구분하여, 동작 인식 처리를 수행하도록 함으로써, 불필요한 연산 및 자원 낭비를 줄이고, 오인식률을 줄여 동작 인식 결과의 신뢰도를 향상시킬 수 있다.Particularly, the present invention extracts a noise pattern generated by such motion when a vibration or a vibration occurs in a user's terminal to be perceived to be motion-recognized, and performs a user's operation on the noise pattern and the pre- By comparing each of them, it is possible to distinguish noise and perform motion recognition processing, thereby reducing unnecessary arithmetic operations and resource waste, and reducing the error recognition rate, thereby improving the reliability of motion recognition results.
도 1은 동작 인식을 위해 사용되는 기준 좌표계 및 움직임 정보를 나타낸 도면이다.
도 2는 본 발명에 따른 동작 인식 장치에서 인식되는 사전 정의 동작을 예시한 도면이다.
도 3은 본 발명에 따른 노이즈를 고려한 동작 인식 장치를 나타낸 블럭도이다.
도 4 및 도 5는 본 발명에 따른 노이즈를 고려한 동작 인식 방법을 나타낸 순서도이다.
도 6 및 도 7은 정지 상태 및 이동 상태에서의 센서 측정값 변화를 예시한 그래프이다.
도 8은 본 발명에 따른 동작 인식 중에 검출되는 노이즈 패턴의 예시도이다.
도 9는 본 발명에 따른 노이즈 패턴 관리 테이블의 예시도이다.
도 10은 본 발명에 따른 사전 정의 동작을 예시한 그래프이다.
도 11은 본 발명에 따른 동작 관리 테이블의 예시도이다.
도 12는 본 발명에 따른 노이즈를 노이즈 인식 과정을 설명하기 위한 예시도이다.1 is a diagram showing a reference coordinate system and motion information used for motion recognition.
2 is a diagram illustrating a predefined operation recognized by the motion recognition apparatus according to the present invention.
FIG. 3 is a block diagram showing an operation recognition apparatus considering noise according to the present invention.
4 and 5 are flowcharts illustrating an operation recognition method in consideration of noise according to the present invention.
Figs. 6 and 7 are graphs illustrating changes in sensor measurement values in the stationary state and the moving state. Fig.
8 is an exemplary diagram of a noise pattern detected during operation recognition according to the present invention.
9 is an exemplary diagram of a noise pattern management table according to the present invention.
10 is a graph illustrating a predefined operation according to the present invention.
11 is an exemplary diagram of an operation management table according to the present invention.
12 is an exemplary diagram for explaining a noise recognition process according to the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.Also, terms including ordinal numbers such as first, second, etc. are used to describe various elements, and are used only for the purpose of distinguishing one element from another, Not used. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.In addition, when referring to an element as being "connected" or "connected" to another element, it means that it can be connected or connected logically or physically. In other words, it is to be understood that although an element may be directly connected or connected to another element, there may be other elements in between, or indirectly connected or connected.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is also to be understood that the terms such as " comprising "or" having ", as used herein, are intended to specify the presence of stated features, integers, It should be understood that the foregoing does not preclude the presence or addition of other features, numbers, steps, operations, elements, parts, or combinations thereof.
본 발명에 따른 노이즈를 고려한 동작 인식 방법 및 장치는, 단말의 사용자 동작 인식, 로봇 제어 등 다양한 분야에 적용될 수 있으나, 이하에서는 사용자 단말에 적용된 경우를 예로 들어 설명하기로 한다.The noise recognition method and apparatus according to the present invention can be applied to various fields such as user operation recognition of a terminal, robot control, and the like. Hereinafter, a description will be made of a case where the present invention is applied to a user terminal.
사용자 단말에서의 동작 인식은, 사용자 단말에 대해 발생하는 기 정의된 특정 움직임(뒤집기, 특정 방향으로 흔들기, 특정 패턴 그리기, 사용자 접근)을 감지하여 사용자 단말의 특정 기능을 제어하기 위한 용도로 이용되는 것으로서, 이러한 사용자 단말의 움직임 정보를, 예를 들어, 도 1과 같은 3차원 직각 좌표계를 기준으로, 방위각, 피치(Pitch), 롤(Roll)의 회전 각도로 나타낼 수 있다.The operation recognition in the user terminal is used for controlling a specific function of the user terminal by sensing a predefined specific motion (flipping, wiggling in a specific direction, drawing a specific pattern, user access) generated for the user terminal For example, the motion information of the user terminal may be expressed by a rotation angle of an azimuth angle, a pitch, and a roll with reference to a three-dimensional rectangular coordinate system as shown in FIG.
도 1은 동작 인식을 위해 사용되는 기준 좌표계 및 움직임 정보를 나타낸 것으로서, 사용자 단말의 가로 방향을 X축, 세로 방향을 Y축, 폭 방향을 Z축이라 할 때, 방위각은 사용자 단말이 향하는 방향(동, 서, 남, 북)에 따라서 Z축을 기준으로 0~360° 또는 -180~180°로 나타내며, 피치는 가로축 기준 회전각으로서, 사용자 단말이 세워진 형태에 따라서 -90~90°로 나타내며, 롤은 세로축 기준 회전각으로서, 사용자 단말이 뉘어진 형태에 따라서 -180~180°로 나타낸다.1 shows a reference coordinate system and motion information used for motion recognition. When the horizontal direction of the user terminal is an X axis, the vertical direction is a Y axis, and the width direction is a Z axis, the azimuth is a
물론, 본 발명에 따른 동작 인식 방법 및 장치에 있어서, 기준 좌표계 및 움직임의 표현 방법은 달라질 수 있는 것으로서, 상술한 정의는 예시에 불과하다.Of course, in the motion recognition method and apparatus according to the present invention, the reference coordinate system and the method of expressing the motion can be changed, and the above definition is only an example.
본 발명에 따른 동작 인식 방법 및 장치에서는, 물리적 변화를 감지하는 하나 이상의 센서에서 측정된 센싱값을 이용하여, 상술한 움직임 정보(x, y, z축 별 회전 각도)를 산출하고, 이렇게 산출된 움직임 정보를 사전 정의 동작에 대한 동작 인식 조건과 비교하여, 동작 인식을 수행한다. In the motion recognition method and apparatus according to the present invention, the above-described motion information (rotation angles for x, y, and z axes) is calculated using sensing values measured by one or more sensors that detect physical changes, The motion information is compared with the motion recognition condition for the predefined motion, and motion recognition is performed.
본 발명에 따른 동작 인식 방법 및 장치에서 인식되는 사전 정의 동작은, 하나 이상의 단위 동작의 조합으로 이루어질 수 있다. 여기서, 단위 동작은, 사전 정의 동작을 방향, 시간, 속도 중 하나 이상을 기준으로 세분화한 동작을 의미한다.The predefined operations recognized by the method and apparatus for recognizing an operation according to the present invention can be a combination of one or more unit operations. Here, the unit operation means an operation in which the predefined operation is subdivided based on at least one of direction, time, and speed.
도 2에 도시된 바와 같이, 단말을 움직이는 동작이 정의된다고 할 때, 이는 방향에 따라서 단위 동작 1, 단위 동작 2, 및 단위 동작 3으로 구분할 수 있다. 따라서, 이러한 동작을 인식할 때, 상기 단위 동작 1, 단위 동작 2 및 단위 동작 3이 순차적으로 인식된 경우, 해당 동작이 인식된 것으로 판단하게 할 수 있다. 따라서, 상기 동작 인식을 위한 동작 인식 조건은, 단위 동작 단위로 설정될 수 있다.As shown in FIG. 2, when an operation of moving a terminal is defined, it can be divided into a
이상의 내용을 기반으로 본 발명에 따른 노이즈를 고려한 동작 인식 장치 및 방법에 대해 설명한다.An apparatus and method for recognizing motion in consideration of noise according to the present invention will be described based on the above description.
도 3은 본 발명에 따른 노이즈를 고려한 동작 인식 장치를 나타낸 블럭도이다. FIG. 3 is a block diagram showing an operation recognition apparatus considering noise according to the present invention.
도 3을 참조하면, 본 발명에 따른 동작 인식 장치(100)는, 물리적 변화를 감지하는 하나 이상의 센서(10)로부터 출력되는 센싱값을 수집하고, 수집한 센싱값을 비교 분석하여, 주변 상황에 대응하는 노이즈 패턴을 추출하고, 상기 추출된 노이즈 패턴을 고려하여 사전 정의 동작을 인식하기 위한 것이다. 이때, 상기 센싱값을 수집은 기 설정된 샘플링 주기로 이루어질 수 있다.Referring to FIG. 3, the
이를 위하여, 상기 동작 인식 장치(100)는, 센싱값 수집 모듈(110)과, 연산 모듈(120)과, 노이즈 패턴 추출 모듈(130)과, 동작 인식 모듈(1400)을 포함할 수 있다.The
*32상기 센싱값 수집 모듈(110)은 하나 이상의 센서(10)로부터 출력되는 센싱값을 일정 주기로 수집한다. 이때, 하나 이상의 센서(10)로부터 출력되는 센싱값은, 센서에 따라서 상이한 단위의 값을 갖게 된다. 예를 들어, 조도 센서의 센싱값은, 조도의 양(Lux)를 나타내고, 근접 센서의 센싱값은, 근접한 사물과의 거리 및/또는 근접 여부를 나타내며, 3축 가속도 센서의 센싱값은, 3축(X, Y, Z) 방향으로의 가속도값을 나타내며, 3축 자이로 센서의 센싱값은, 3축(X, Y, Z)에 방향으로의 각속도를 나타내며, 지자기 센서의 센싱값은 지자기의 방향을 나타낸다. 상기 가속도 센서의 센싱값을 기반으로 중력가속도를 측정할 수 있으며, 이를 통해 사용자 단말이 어떻게 놓여 있는 지를 판단할 수 있다. 예를 들어, 단말이 지면에 놓여있는 경우, z축이 중력 가속도의 영향을 받게 되어, 가속도 센서의 z축 센싱값이 약 1G(=9.8m/s2)가 된다. 자이로 센서는 3개의 축별 회전 각속도를 측정하는 것으로서, 이를 통해서는 사용자 단말이 어느 방향으로 어떤 속도로 회전하는 지를 파악할 수 있다.32 The sensing
상기 연산 모듈(120)은, 상기 센싱값 수집 모듈(110)이 수집한 하나 이상의 센싱값을 조합하여 움직임 정보를 산출한다. 더 구체적으로 설명하면, 상기 연산 모듈(120)은 회전 벡터와 회전 행렬 연산을 통해서, 수집한 센싱값을 도 1과 같은 기 설정된 좌표계의 x, y, z축에 대한 회전각도로 변환한다.The
본 발명에 따른 동작 인식 장치(100)는 동작 인식을 위한 대기 상태에서, 상기 센싱값 수집 모듈(110) 및 연산 모듈(120)을 통해서 주기적으로 하나 이상의 센서(10)의 센싱값을 수집하여, 움직임 정보(회전 각도)를 산출하며, 상기 동작 인식 모듈(140)은 상기 연산 모듈(120)에서 산출된 움직임 정보를 기반으로 사용자 움직임이 발생하였는 지 여부, 즉, 동작 인식 처리를 시작할 지 여부를 판단한다.The
한편, 상기 노이즈 패턴 추출 모듈(130)은, 현재 동작 인식 장치(100)가 적용된 단말의 상태에 따른 노이즈 특성을 추출하기 위한 구성이다. 구체적으로, 상기 노이즈 패턴 추출 모듈(130)은 기 센싱값 수집 모듈(110)에 의해 수집된 하나 이상의 센싱값을 지속적으로 모니터링하여, 하나 이상의 센서(10)가 인에이블(enable)되는 시점부터 사전 정의 동작이 발생되는 시점까지의 구간으로부터 노이즈 패턴을 추출한다. 여기서, 사용자 동작이 시작되는 시점까지의 구간을 단말 상태 확인 구간이라 한다. 상기 노이즈 패턴은, 상기 단말 상태 확인 구간에서 동일한 형태로 반복되는 움직임의 최소 단위로서, 센싱값 종류 별로 추출된다. Meanwhile, the noise
마지막으로, 상기 동작 인식 모듈(140)은 상기 연산 모듈(200)로부터 출력되는 움직임 정보를 이용하여 기 정의된 동작을 인식하기 위한 구성이다. 구체적으로 본 발명에 있어서, 상기 동작 인식 모듈(140)은, 상기 연산 모듈(120)로부터 산출된 움직임 정보를 사전 정의 동작과 비교하여, 사용자 동작이 발생하였는 지를 판단하고, 사용자 동작이 발생한 것으로 판단되면, 상기 사용자 동작에 대응하는 센싱값에서 상기 노이즈 패턴 추출 모듈(130)에 추출된 노이즈 패턴을 제거한 후, 사전 정의 동작과 비교하여, 상기 사용자 동작이 사전 정의 동작인지 여부를 판단한다.Lastly, the
상술한 바와 같이 구성된 본 발명의 동작 인식 장치(100)에 의해 노이즈 패턴을 고려한 동작 인식 과정을 도 4 내지 도 12를 참조하여 설명한다. 여기서, 도 4 및 도 5는 본 발명에 따른 노이즈를 고려한 동작 인식 방법을 나타낸 순서도이고, 도 6 내지 도 12는 이를 설명하기 위한 예시도이다.The operation recognition process considering the noise pattern by the
먼저, 도 4를 참조하면, 본 발명에 따른 동작 인식 장치(100)는, 동작 인식 대기 상태(S105)에서, 센싱값 수집 모듈(110)을 통해 주기적으로 하나 이상의 센서(10)의 센싱값을 수집한다(S110). 4, the
상기 센싱값 수집 모듈(110)에서 수집된 하나 이상의 센싱값은, 예를 들어, 3축 자이로 센서의 x, y, z축 센싱값, 3축 가속도 센서의 x, y, z축 센싱값이 될 수 있다. 상기 하나 이상의 센싱값은 연산 모듈(120)로 입력되며, 상기 연산 모듈(120)은 상기 하나 이상의 센싱값으로부터 움직임 정보(예를 들어, 회전 각도)를 산출하고, 이어서 동작 인식 모듈(140)은 상기 움직임 정보를 기반으로 우선 사용자 동작이 발생되는 지를 판단한다(S115).One or more sensing values collected by the sensing
더하여, 상기 센싱값 수집 모듈(110)에서 수집된 센싱값은 노이즈 패턴 추출 모듈(130)로 입력되며, 상기 노이즈 패턴 추출 모듈(130)은, 상기 사용자 동작이 시작되기 전까지의 단말 상태 확인 구간에서 주변 상황에 따라서 발생하는 센싱값의 변화 패턴을 확인하여(S120), 노이즈 패턴을 추출한다(S125). In addition, the sensing value collected by the sensing
예를 들어, 도 6은 하나 이상의 센서(10)가 탑재된 사용자 단말이 정지 상태인 경우, 상기 하나 이상의 센서(10)에서 발생한 센싱값을 나타낸 그래프이고, 도 7은 상기 사용자 단말이 이동 상태일 때 상기 하나 이상의 센서(10)에서 발생한 센싱값을 나타낸 그래프이다. 특히, 도 6 및 도 7은, 가속도 센서 및 자이로 센서의 센싱값을 예시한다.For example, FIG. 6 is a graph showing a sensing value generated by the at least one
사용자 단말이 정지 상태인 경우, 가속도 센서 및 자이로 센서에서 발생하는 x, y, z 축의 센싱값은, 도 6에 도시된 바와 같이, 큰 변화 없이 거의 직선에 가까운 형태로 나타나지만, 사용자 단말이 진동하거나, 이동하고 있는 경우에는, 도 7에 도시된 바와 같이, 일정한 변화 패턴이 반복하여 나타나는 양상을 보인다. 따라서, 하나 이상의 센서(10)에서 수집된 센싱값의 변화 상태를 확인함으로써, 사용자 단말의 상태를 파악할 수 있다.When the user terminal is in a stationary state, the sensing values of the x, y, and z axes generated by the acceleration sensor and the gyro sensor appear almost linearly without significant change as shown in FIG. 6, , And when it is moving, as shown in Fig. 7, a certain change pattern appears repeatedly. Accordingly, the state of the user terminal can be grasped by checking the change state of the sensing value collected by the at least one
상기 S120 단계는, 이러한 센싱값의 변화 패턴을 확인하여, 이동이나 진동에 의해 노이즈가 발생하는 상황인지, 정지 상태인지를 판단하기 위한 것이다.In step S120, it is determined whether or not a noise occurs due to movement or vibration by checking a change pattern of the sensing value.
그리고, S125 단계는, 사용자 단말의 이동이나 진동에 의해 발생된 움직임에 의해 센싱값에 나타나는 변화 패턴으로부터 노이즈 패턴을 추출하기 위한 단계로서, 상기 S125 단계에서, 상기 노이즈 패턴 추출 모듈(130)은, 수집한 센싱값에 도 7에 도시된 바와 같이, 소정의 변화가 나타나는 경우, 동일한 형태로 반복되는 변화의 최소 단위인 노이즈 패턴을 추출한다. 상기 노이즈 패턴은, 센싱값 별로 각각 추출될 수 있다. 예를 들어, 가속도 센서의 x, y, z 축 센싱값, 자이로 센서의 x, y, z 축 센싱값, 각각에 대한 노이즈 패턴이 추출된다.In step S125, the noise
이서, 상기 노이즈 패턴 추출 모듈(130)은, 상기 추출된 노이즈 패턴의 특징 정보를 추출하여 노이즈 패턴 관리 테이블을 생성한다(S130). 상기 노이즈 패턴의 특징 정보는, 노이즈 패턴에서, 센싱값의 변화가 일정 범위를 벗어나면서 증감 형태(+/-)가 전환되는 하나 이상의 측정 시점 및 각 측정 시점에서의 평균 회전 각도를 포함하여 이루어질 수 있다. 더하여, 상기 노이즈 패턴의 특징 정보는, 센싱값의 변화 정도를 나타내는 정보를 더 포함할 수 있다. 상기 변화 정도를 나타내는 정보는, 예를 들어, 하나 이상의 측정 시점의 평균 회전 각도에 대한 표준편차로 나타낼 수 있다. 상술한 노이즈 패턴의 특징 정보는 노이즈 패턴 관리 테이블이 기록된다.The noise
도 8은, 본 발명에 따라서 노이즈 패턴 추출 모듈(130)에서 추출된 노이즈 패턴의 예시도로서, 도 7에 도시된 가속도 센서의 z축 센싱값으로부터 추출된 노이즈 패턴이다.FIG. 8 is an example of a noise pattern extracted by the noise
도 8에 도시된 노이즈 패턴에서, 일정 범위 이상의 변화가 발생하고, 증감 형태가 전환되는 측정 시점으로서, PN0(Start), PN1, PN2, PN3, PN4, PN5(End)이 추출될 수 있다. 그리고, 노이즈 패턴 추출 모듈(130)은, 동작 인식 대기 상태에서 사용자 동작이 시작되기 전까지인 단말 상태 확인 구간 동안에, 누적된 노이즈 패턴의 수를 파악하고, 각 노이즈 패턴의 측정 시점에 대응하여 연산 모듈(120)에 의해서 산출되는 움직임 정보(회전 각도)를 확인하여, 각 측정 시점 별로 단말 상태 확인 구간 동안에 나타난 복수의 노이즈 패턴들의 평균 움직임 정보(회전 각도)를 산출하여, 도 9에 도시된 바와 같이, 노이즈 패턴 관리 테이블을 생성한다. 상기 노이즈 패턴 관리 테이블에서, 각 측정 시점 별로, 시간 정보[ms](○ms)와 평균 회전 각도[degree](□)가 매핑되어 저장된다. 아울러, 상기 노이즈 패턴 추출 모듈(130)은 하나 이상의 측정 시점에서 산출된 평균 움직임 정보의 표준 편차(△)를 구하여 도 9의 노이즈 패턴 관리 테이블에 기록한다.P N0 (Start), P N1 , P N2 , P N3 , P N4 , and P N5 (End) as measurement points at which a change over a certain range occurs in the noise pattern shown in FIG. Can be extracted. In addition, the noise
도 9와 같은 노이즈 패턴 관리 테이블은, 하나 이상의 센싱값에 각각 대응하여 생성될 수 있다.The noise pattern management table as shown in FIG. 9 can be generated corresponding to one or more sensing values.
한편, 상기 S115 단계에서, 사용자 동작으로 판단되면, 이후, 상기 센싱값 수집 모듈(110)에 의해 수집되는 센싱값은, 동작 인식 모듈(140)로 전달되어, 불필요한 처리를 줄일 수 있도록, 노이즈를 필터링하는 과정을 수행한다.If it is determined in step S115 that the user operation is to be performed, the sensing value collected by the sensing
더 구체적으로, 상기 동작 인식 모듈(140)은, 기본적으로, 인식하고자 하는 사전 정의 동작에 대해서, 상기 사전 정의 동작의 특징 정보를 기록한 동작 관리 테이블을 구비하고 있다. 도 10 및 도 11은 사전 정의 동작 및 그에 대응하는 동작 관리 테이블을 예시한 것으로서, 상기 동작 관리 테이블도, 사전 정의 동작에 대응하는 하나 이상의 기준 센싱값의 변화 패턴으로부터 추출된 변화 정도가 일정 범위를 벗어나며 증감 형태(+/-)가 전환되는 하나 이상의 측정 시점 및, 상기 하나 이상의 측정 시점에 대한 시간 정보와, 움직임 정보(회전 각도)가 매핑되어 설정된다.More specifically, the
상기 상태에서, 상기 동작 인식 모듈(140)은, 상기 센싱값 수집 모듈(110)로부터 사용자 동작이 시작된 시점부터 수집되는 센싱값과 동작 관리 테이블의 사전 정의 동작의 특징 정보를 각각 비교하여, x, y, z축 중 적어도 하나의 축의 방향이 사전 정의 동작과 일치하는 지를 판단한다(S140). 즉, 동작 시작 시점부터 동작이 완료되는 시점까지의 움직인 방향이 사전 정의 동작과 일치하는 지를 판단한다. 상기 판단 결과, 사용자 동작의 방향이 x, y, z축 중 하나라도 일치하지 않으면, 노이즈로 판단하여 동작 인식 처리를 수행하지 않는다. In this state, the
그리고, 상기 사용자 동작의 x, y, z축 중 적어도 한 축의 방향이 사전 정의 동작과 일치하는 경우, 상기 동작 인식 모듈(150)은, 노이즈 패턴 관리 테이블을 참조하여, 가장 변화 폭이 적은 축, 즉, 표준편차가 가장 작은 축을 기준으로 감지된 사용자 동작의 움직임 정보와, 상기 노이즈 패턴 관리 테이블에 저장된 움직임 정보를 비교하여, 그 차이를 산출하여, 상기 차이가 일정 범위 내인 지를 판단한다(S145, S150). 여기서, 판단 결과, 사용자 동작의 움직임 정보와 노이즈 패턴 관리 테이블에 정의된 움직임 정보의 차이가 일정 범위 이내이면, 노이즈로 판단하여 동작 인식 처리를 중단한다. 이에 의하면, 오인식을 줄이고, 불필요한 연산 처리 및 자원 낭비를 줄일 수 있다.When the direction of at least one of the x, y, and z axes of the user operation coincides with the predefined operation, the motion recognition module 150 refers to the noise pattern management table, That is, the motion information of the user motion detected based on the axis having the smallest standard deviation is compared with the motion information stored in the noise pattern management table, and the difference is calculated to determine whether the difference is within a predetermined range (S145, S150). If it is determined that the difference between the motion information of the user's operation and the motion information defined in the noise pattern management table is within a certain range, the motion recognition process is discontinued. According to this, it is possible to reduce the erroneous recognition and reduce unnecessary arithmetic processing and resource waste.
반면, 상기 판단 결과, 사용자 동작의 움직임 정보와 노이즈 패턴 관리 테이블에 정의된 움직임 정보의 차이가 일정 범위를 벗어나면, 노이즈가 아닌 것으로 판단하여, 상기 사용자 동작이 사전 정의 동작인지를 확인하는 동작 인식 처리를 수행한다(S155). 상기 S155 단계에서, 동작 인식 처리는, 노이즈 성분을 제거하고, 그 변화 패턴이 사전 정의 동작의 변화 패턴과 일치하는 지를 비교하는 방식으로 이루어질 수 있다.If it is determined that the difference between the motion information of the user's operation and the motion information defined in the noise pattern management table is out of a predetermined range as a result of the determination, it is determined that the noise is not noise, (S155). In step S155, the motion recognition process may be performed by a method of removing a noise component and comparing the change pattern with a change pattern of the predefined operation.
상술한 S155 단계는 도 5에 도시된 바와 같이 이루어질 수 있다.The above-described step S155 may be performed as shown in FIG.
도 5를 참조하면, 상기 S155 단계에서, 동작 인식 모듈(140)은, 먼저, 노이즈 패턴 추출 모듈(130)에서 생성된 노이즈 패턴 관리 테이블 및 동작 관리 테이블에 설정된 모든 측정 시점에 대응하는 사용자 동작의 센싱값을 추출하고, 상기 추출된 센싱값을 연결하여, 사용자 동작의 변화 패턴을 추출한다(S205).Referring to FIG. 5, in step S155, the
예를 들어, 도 12에 도시된 바와 같이, 노이즈 패턴(12)이 추출되고, 사전 정의 동작(13)이 설정된 상태에서, 사용자 동작에 대응하여 센싱값이 부호 14와 같이 수집된다고 가정할 때, 상기 동작 인식 모듈(140)은, 노이즈 패턴(12)으로부터 추출된 6개의 측정 시점(PN0~PN5)과, 사전 정의 동작(13)에서 추출된 7개의 측정 시점(P0~P6)에서의 사용자 동작의 센싱값을 추출한다. 도 12의 하부 그래프에서, 붉은 점은, 상기 측정 시점, PN0~PN5, 및 P0~P6에서 각각 추출된 사용자 동작의 센싱값을 나타낸다. 그리고, 상기 추출된 센싱값을 시간 순서로 연결하여, 사용자 동작 패턴(15)를 추출하는데, 이때, 일정 시간 동안에 급격하게 센싱값이 변화한 측정 시점은 제외시킨다. 도 12에서, 측정 시점 P1 및 PN1에 대응하는 시점이 제외되었다.Assuming, for example, that as shown in FIG. 12, the
그리고, 동작 인식 모듈(140)은 상기 추출된 사용자 동작 패턴(15)을 사전 정의 동작(13)의 변화 패턴과 비교하여 사전 정의 동작과 일치하는 지를 판단하게 된다.Then, the
이를 위하여, 동작 인식 모듈(140)은, 상기 사용자 동작 패턴(15)에서, 각 측정 시점 간 기울기와 증감 형태를 추출한다(S210).To this end, the
상기 추출된 사용자 동작 패턴(15)의 증감 전환 횟수와 사전 정의 동작(13)의 증감 전환 횟수를 비교하여 일치율을 산출하고(S215), 산출된 일치율을 기준값과 비교하여, 기준값 이상인 경우 사용자 동작을 사전 정의 동작으로 인식한다(S225). 상기 기준값은, 하기의 수학식 1과 같이 설정될 수 있다.The matching rate is calculated by comparing the number of increase / decrease conversion of the extracted
상술한 과정을 통해서, 사용자 동작을 인식함으로써, 이동 중이거나 진동에 의해 노이즈가 발생하는 상황에서도, 사전 정의 동작을 효율적으로 인식하여, 노이즈에 의한 오인식을 최소할 수 있게 된다.By recognizing the user's operation through the above-described process, it is possible to efficiently recognize the predefined operation even in a situation where noise occurs due to movement or vibration, thereby minimizing false recognition due to noise.
본 발명에 따른 민감도 조정이 가능한 동작 인식 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The motion recognition method capable of adjusting the sensitivity according to the present invention can be implemented in a form of software readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be an optical recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, a compact disk read only memory (CD-ROM), a digital video disk (DVD) Includes a hardware device that is specially configured to store and execute program instructions such as a magneto-optical medium such as a floppy disk and a ROM, a random access memory (RAM), a flash memory, do. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Further, the functional operations and subject matter implementations described herein may be implemented in other types of digital electronic circuitry, or may be implemented in computer software, firmware, or hardware, including the structures disclosed herein and their structural equivalents, ≪ / RTI > Implementations of the subject matter described herein may be embodied in one or more computer program products, i. E. One for computer program instructions encoded on a program storage medium of the type for < RTI ID = 0.0 & And can be implemented as a module as described above. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.
아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.In addition, while the specification contains a number of specific implementation details, it should be understood that they are not to be construed as limitations on the scope of any invention or claim, but rather on the features that may be specific to a particular embodiment of a particular invention Should be understood as an explanation. Certain features described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although the features may operate in a particular combination and may be initially described as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, Or a variant of a subcombination.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated operations should be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products It should be understood.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Certain embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, the operations recited in the claims may be performed in a different order and still achieve desirable results. By way of example, the process illustrated in the accompanying drawings does not necessarily require that particular illustrated or sequential order to obtain the desired results. In certain implementations, multitasking and parallel processing may be advantageous.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The description sets forth the best mode of the invention, and is provided to illustrate the invention and to enable those skilled in the art to make and use the invention. The written description is not intended to limit the invention to the specific terminology presented. Thus, while the present invention has been described in detail with reference to the above examples, those skilled in the art will be able to make adaptations, modifications, and variations on these examples without departing from the scope of the present invention.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be limited by the described embodiments but should be defined by the claims.
본 발명에 따르면, 자이로 센서, 가속도 센서, 지자기 센서 등의 센싱값을 분석하여, 사용자 동작을 인식하는데 있어서, 사용자 동작이 시작되기 전까지의 대기 상태 동안, 센싱값을 분석하여 노이즈 패턴 및 그 특징 정보를 추출하고, 이를 기반으로 사용자 동작을 인식함으로써, 노이즈와 올바른 사용자 동작을 보다 정확하게 구분하여 인식할 수 있다.According to the present invention, sensing values of a gyro sensor, an acceleration sensor, a geomagnetism sensor, and the like are analyzed to recognize a user's operation. During a standby state before a user's operation is started, a sensed value is analyzed, And by recognizing the user's action based on the extracted user's operation, it is possible to distinguish and recognize the noise and the correct user's action more accurately.
특히, 본 발명은, 주변 상황, 즉, 동작 인식이 수행될 사용자 단말에서 진동이 울리거나 이동하는 경우, 이러한 움직임에 의해 발생하는 노이즈 패턴을 추출하고, 사용자 동작을 상기 노이즈 패턴 및 사전 정의 동작과 각각 비교함에 의해, 노이즈를 구분하여, 동작 인식 처리를 수행하도록 함으로써, 불필요한 연산 및 자원 낭비를 줄이고, 오인식률을 줄여 동작 인식 결과의 신뢰도를 향상시킬 수 있다.Particularly, the present invention extracts a noise pattern generated by such motion when a vibration or a vibration occurs in a user's terminal to be perceived to be motion-recognized, and performs a user's operation on the noise pattern and the pre- By comparing each of them, it is possible to distinguish noise and perform motion recognition processing, thereby reducing unnecessary arithmetic operations and resource waste, and reducing the error recognition rate, thereby improving the reliability of motion recognition results.
10: 센서
100: 동작 인식 장치
110: 센싱값 수집 모듈
120: 연산 모듈
130: 노이즈 패턴 추출 모듈
140: 동작 인식 모듈10: Sensor
100: motion recognition device
110: Sensing value acquisition module
120: Operation module
130: Noise pattern extraction module
140: motion recognition module
Claims (9)
상기 수집한 센싱값으로부터 움직임 정보를 산출하는 연산 모듈;
상기 센싱값 수집 모듈로부터 수집된 센싱값을 분석하여, 노이즈 패턴을 추출하는 노이즈 패턴 추출 모듈; 및
상기 연산 모듈로부터 산출된 움직임 정보를 기반으로 사용자 동작을 감지하되, 상기 노이즈 패턴을 반영하여 동작 인식 처리를 수행하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.A sensing value collection module for collecting sensing values from at least one sensor that senses a physical change;
A calculation module for calculating motion information from the collected sensing values;
A noise pattern extracting module for analyzing the sensed values collected from the sensing value collecting module and extracting a noise pattern; And
And an operation recognition module for sensing a user operation based on the motion information calculated from the operation module and performing motion recognition processing by reflecting the noise pattern.
상기 노이즈 패턴은, 센싱값의 변화가 일정 범위를 벗어나며 증감 형태가 전환되는 하나 이상의 측정 시점, 상기 하나 이상의 측정 시점의 평균 움직임 정보, 상기 하나 이상의 측정 시점들의 평균 움직임 정보에 대한 표준 편차 중 하나 이상을 포함하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.The method according to claim 1,
Wherein the noise pattern includes at least one of a measurement time point at which a change in sensing value is out of a predetermined range and an increase / reduction mode is changed, an average motion information at the at least one measurement time point, and a standard deviation of average motion information at the one or more measurement points Wherein the motion recognition device includes:
상기 사용자 동작이 감지되면, 노이즈 패턴과, 사용자 동작의 차이를 구하여, 그 차가 일정 범위를 벗어나는 경우, 상기 동작 인식 처리를 수행하도록 하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.The apparatus of claim 1, wherein the motion recognition module
Wherein when the user operation is detected, a difference between a noise pattern and a user's operation is determined, and when the difference is out of a predetermined range, the operation recognizing process is performed.
상기 노이즈 패턴에서 추출된 측정 시점 및 사전 정의 동작에서 추출된 측정 시점에서 측정된 사용자 동작의 센싱값을 추출하고, 상기 추출한 사용자 동작의 센싱값을 시간 순으로 연결하여, 상기 사용자 동작 패턴을 추출하고, 추출한 사용자 동작 패턴과 사전 정의 동작의 변화 패턴을 비교하여, 상기 사용자 동작이 사전 정의 동작인지를 판단하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.3. The apparatus of claim 2, wherein the motion recognition module
Extracting a sensed value of a user's action measured at a measuring point extracted from the noise pattern and a measuring point extracted at a predefined operation, extracting the user's action pattern by connecting sensed values of the extracted user's action in time order, And comparing the extracted user action pattern with a change pattern of the predefined action to determine whether the user action is a predefined action.
상기 추출한 사용자 동작의 센싱값을 시간 순으로 연결할 때, 값의 차이가 기준값 이상 변화되는 센싱값을 제거하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.5. The apparatus of claim 4, wherein the motion recognition module
Wherein when the sensed values of the extracted user actions are connected in chronological order, a sensed value whose value difference is changed by more than a reference value is removed.
상기 사용자 동작 패턴의 각 센싱값 사이의 기울기의 부호 전환 횟수와, 상기 사전 정의 동작의 변화 패턴의 기울기 부호 전환 횟수를 비교하여, 그 일치율이 기준값 이상이면 상기 사용자 동작을 사전 정의 동작으로 판단하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.6. The apparatus of claim 5, wherein the motion recognition module
Comparing the number of times of conversion of the slope between each sensing value of the user operation pattern with the number of times of conversion of the slope code of the variation pattern of the predefined operation and judging that the user operation is a predefined operation when the matching rate is not less than the reference value The motion recognition device taking noise into consideration.
인 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.7. The method of claim 6,
Wherein the motion recognition unit recognizes the noise.
상기 사용자 동작이 감지되면, 사전 정의 동작과 상기 노이즈 패턴을 이용하여 동작 인식 처리를 수행하고,
상기 사전 정의 동작은, 방향, 시간, 속도 중 하나 이상을 기준으로 세분화한 동작을 포함하는 하나 이상의 단위 동작의 조합으로 이루어지는 것을 특징으로 하는 노이즈를 고려한 동작 인식 장치.The apparatus of claim 1, wherein the motion recognition module
Performing a motion recognition process using a predefined motion and the noise pattern when the user motion is detected,
Wherein the predefined operation comprises a combination of one or more unit operations including operations segmented by one or more of direction, time, and velocity.
상기 수집된 센싱값으로부터 움직임 정보를 산출하고, 상기 수집된 센싱값을 분석하여, 노이즈 패턴을 추출하는 단계;
상기 움직임 정보를 기반으로 동작을 감지하되, 상기 노이즈 패턴을 반영하여 동작 인식 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 노이즈를 고려한 동작 인식 방법.Collecting a sensing value from at least one sensor that senses a physical change;
Calculating motion information from the collected sensing values, analyzing the sensed values, and extracting a noise pattern;
Detecting motion based on the motion information, and performing motion recognition processing by reflecting the noise pattern based on the motion information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190026447A KR101987308B1 (en) | 2019-03-07 | 2019-03-07 | Method and apparatus for recognizing motion to be considered noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190026447A KR101987308B1 (en) | 2019-03-07 | 2019-03-07 | Method and apparatus for recognizing motion to be considered noise |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140140119A Division KR101958334B1 (en) | 2014-10-16 | 2014-10-16 | Method and apparatus for recognizing motion to be considered noise |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190028675A KR20190028675A (en) | 2019-03-19 |
KR101987308B1 true KR101987308B1 (en) | 2019-06-10 |
Family
ID=65908449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190026447A KR101987308B1 (en) | 2019-03-07 | 2019-03-07 | Method and apparatus for recognizing motion to be considered noise |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101987308B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009264918A (en) | 2008-04-24 | 2009-11-12 | Kddi Corp | Portable terminal, program, and method for determining progression direction of pedestrian by using acceleration sensor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101511160B1 (en) | 2009-01-06 | 2015-04-13 | 삼성전자주식회사 | Charge pump circuit and voltage converting apparatus using the same |
KR101371655B1 (en) * | 2010-12-30 | 2014-03-12 | 울산대학교 산학협력단 | System for detecting zero velocity interval and method for detecting zero velocity interval |
KR101339844B1 (en) * | 2012-02-24 | 2013-12-10 | 주식회사 내비오닉스코리아 | Data filtering apparatus using moving standard deviation and filtering method tehreof |
KR101418333B1 (en) * | 2012-12-26 | 2014-08-13 | 전남대학교산학협력단 | Apparatus and method for recognizing user activity |
-
2019
- 2019-03-07 KR KR1020190026447A patent/KR101987308B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009264918A (en) | 2008-04-24 | 2009-11-12 | Kddi Corp | Portable terminal, program, and method for determining progression direction of pedestrian by using acceleration sensor |
Also Published As
Publication number | Publication date |
---|---|
KR20190028675A (en) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101894252B (en) | Walking movement classification method based on triaxial acceleration transducer signals | |
US20160061582A1 (en) | Scale estimating method using smart device and gravity data | |
EP3281020B1 (en) | Opportunistic calibration of a smartphone orientation in a vehicle | |
EP1764582A3 (en) | Apparatus and method for detecting steps in a personal navigation system | |
US8750897B2 (en) | Methods and apparatuses for use in determining a motion state of a mobile device | |
CN111595344B (en) | Multi-posture downlink pedestrian dead reckoning method based on map information assistance | |
CN104238743A (en) | Information processing apparatus, and information processing method | |
KR101685388B1 (en) | Method and apparatus for recognizing motion using a plurality of sensors | |
CN109540143B (en) | Pedestrian unconventional action direction identification method based on multi-sensing-source dynamic peak fusion | |
EP3289435B1 (en) | User interface control using impact gestures | |
CN104112112A (en) | Action identification method and device | |
KR101958334B1 (en) | Method and apparatus for recognizing motion to be considered noise | |
KR101987308B1 (en) | Method and apparatus for recognizing motion to be considered noise | |
WO2018014432A1 (en) | Voice application triggering control method, device and terminal | |
CN116092193A (en) | Pedestrian track reckoning method based on human motion state identification | |
CN110929766A (en) | Self-adaptive pedestrian mobile phone attitude identification method based on Gaussian mixture clustering algorithm | |
KR101886033B1 (en) | Method for establishing user definition motion and motion recognition apparatus using the same | |
KR101870542B1 (en) | Method and apparatus of recognizing a motion | |
EP2998703A1 (en) | Offset estimation device, offset estimation method, and program | |
KR101900754B1 (en) | Method for establishing user definition motion and motion recognition apparatus using the same | |
JP3841953B2 (en) | Pen-type input device and character recognition method | |
KR102081966B1 (en) | Apparatus for motion recognition based on context awareness and storage medium therefor | |
KR100718126B1 (en) | User interface method and apparatus for gesture-recognition based input device | |
US10558270B2 (en) | Method for determining non-contact gesture and device for the same | |
CN115293299B (en) | Human body posture characteristic real-time detection method, device, equipment and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |